こんにちは、Kanot (狩野)です。今回は一般社団法人ICT for Developmentと、金沢工業大学 狩野研究室の共同研究プロジェクトとして動いていた「生成AIを活用した難民問題を啓発するインタラクティブ・シネマの制作」についての進捗報告をさせていただきます。
ICT4D LabのPeaceTech部「プロジェクトおあいこ」としてはじまった、インタラクティブシネマの新企画、以前、ブログでも共同研究プロジェクト開始を宣言させていただきました。
最初は狩野研のゼミ活動として、ゼミの有志で生成AIの技術選定やサンプル作成という勉強を行ないましたが、最終的には狩野研の前田尚寛さん（2024年3月卒業）が卒業研究として、シナリオの一本を使って実際のインタラクティブシネマを完成させるところまで持って行ってくれました。（この記事では触れませんが、このシネマを用いた行動変容に向けた評価も卒業研究の中では行なっています。）
プロジェクトの概要は以下の図のように、日本に来ている難民について理解するために、異なる視点からこの状況を追体験してもらうことを目的に、同じ事象を異なる視点から見た４本のシナリオを作成し、インタラクティブ・シネマ化しようとしています。
今回新たに作成したのは、４本あるシナリオのうち、入国審査官編で、入国審査官が難民たちと接する葛藤・ジレンマを追体験していただけるようなシナリオになっています。
百聞は一見にしかずですので、こちらが完成したインタラクティブシネマです。全部で５〜１０分程度ですので、難民を受け入れる入国審査官になったつもりで、ぜひ体験してみてください。
いかがでしたでしょうか。以下、「面白かったという方」「生成AIの動画生成ってこの程度？という方」向けに書いてみます。お好きな方をお読みください（インタラクティブシネマ風）。
面白かったという方
面白かったという方、ありがとうございます。最後の選択肢など「ドキッ」としませんでしたか？この「ドキッ」感こそが、インタラクティブシネマの強みである「自分ごと化（自己選択効果）」なのだと思います。
選択肢を自分で選んでいくことによって、少なからず自分と主人公を重ね合わせてしまう感覚こそが、この多くの人にとっては接点のない難民問題への理解を広げていくことに貢献できるのではないかと思っています。
というのも、そもそもインタラクティブシネマというアプローチは、難民問題に興味を持っていない層を取り込むために、ゲーム要素やなりきり要素を入れることで、これまで関心を示さなかった層にアプローチが可能になるのではという仮説に基づいて企画されたものでした。
生成AIの動画生成ってこの程度？という方
「あれ？生成AIといいつつ、動画は生成できてないじゃん」と思った方、そのリアクションも正解です。ありがとうございます。
実は今回のプロジェクトには２つ目的があり、一つは生成AIを活用したシネマ作り、もう一つは生成AIの限界を知るというものでした。
つまり、AIでどこまで作れるのかという点です。
我々は最初の技術選定の時に、複数の動画生成AIツールも試してみたのですが、選定当時（2023年）の技術では、せいぜい数秒の動画生成が限界で、とても映画で使えるようなものを生成するのは難しいと判断しました。
一方、2024年2月にOpen AIがSORAという動画生成ツールを発表したこともあり、また数ヶ月単位で状況が変わってくる可能性はあります。一方、SORAを利用しても、それっぽい動画は作れても、自分で細かくキャラや動きを指示する動画は生成できないのではないかと推測しています。理由は、現時点では画像でさえ思い通りの配置、トーンの画像を生成するのは難しいので、そこまでleap frogはできないと思います。
今回のプロジェクトでは、技術選定・アプローチ選定の結果、背景・人物・音声を生成AIを使って別々に生成し、それを重ね合わせる形を取ることにしました。
なお、繰り返しになりますが、生成AIは日進月歩なので、明日の最適解がこの形なのかもわからない状況ですので、常に最適解を探し続けるパッションと能力が必要になります。
どのAIをどのように使ったのかなども記載したいのですが、長くなるので今回はここまでにしておこうと思います。ヒントとしてこのインタラクティブシネマの作成に使ったツールを列挙すると、MidJourney、CoeFont、Adobe Firely、Stornaway、Wondershareになります。
いずれにせよ、生成AIの技術選定やサンプル作りに積極的に参加してくれた狩野研の学生たち、そして何より、一人で上記ツールを使いこなして画像生成・人物生成・音声生成・動画編集・インタラクティブシネマ作りの全工程てを成し遂げた前田尚寛さんさんに、深く感謝いたします。Excellect Jobでした！
今後の活用
これで四本ある脚本のうち二本が完成したのですが、残り二本の制作と並行し、難民問題を追体験できるマテリアル、教育教材やワークショップなどとして活用していきたいなと思っています。
例えば、すでにある採用担当者編と入国審査官編は同じ事象を違う視点から見ているものなので、それぞれを違うグループに見てもらって、そのあとディスカッションするワークショップ、などは面白い活用方法になるのではと思います。
また、どれかのシナリオをみんなで体験してもらい、その感想含めて深め合うという講座も可能かと思います。
もしご活用に興味のある方・団体などおられましたら、お気軽にご連絡ください。（著作権は一般社団法人ICT for Developmentが有しておりますので、無断での利用はご遠慮ください。）
以下が作成済みマテリアルです。
（１）入国審査官編
（２）国民（採用担当者）編
すでにいただいているコメント（YRP、ICT4D Lab）
この記事を書くに先立って、３回（ユースなんみんプラットフォーム、ICT4D Lab、映像・映画関係者）体験会を実施してみました。備忘録も兼ねていただいたコメントを記載しておきます。我々が今後の展開を考える貴重なアドバイスでもありますし、活用を考える方のアイディアとしてもご活用ください。ご参加・コメントいただいた皆様、ありがとうございました。
- 使い方に関するコメント
- 各グループが異なるシナリオを体験し、その後ディスカッションをする
- 一つのシナリオを体験し、なぜその選択肢を選んだのか、など深掘りする
- 生成AIを使ったインタラクティブシネマという点に着目し、シナリオを作るワークショップ、インタラクティブシネマを作るワークショップやコンペなども面白いのでは
- ワークショップで使う場合、どのシナリオをどの順番で体験させるかは重要。それによって終了後の参加者の気持ちに影響を与えると考えられる。
- 出口をどうするのかが重要（考えさせる？難民支援NGOなどの情報提供？何らかのアクション？）
- 内容に関するコメント
- どうしようもないという中で選ばなければいけないこと、なんともしようがないという絶望感がリアルであった
- 実写もよいが、背景と顔というシンプルな構成が逆に気が逸れないのでリアルさを感じた
- 実写の方が没入感を感じられた
- ４つのアクターに加えて、難民支援弁護士、難民支援団体などの視点もあるとよいのでは
- 参加者がより共感を得やすいシナリオだとよりよい（例：大学生向けなら、同世代の難民や同世代の日本人のシナリオ）
- DVより迫害など、より納得感を得やすいシナリオもあり
コメント