相変わらずAIを駆使して、いろいろ創作に勤しんでいる。少し前は集中的に「SUNO」を使って楽曲制作に挑んでいたのだが、近頃は動画の制作を試してみている。まったくゼロから作るのは大変で難しいので、まずは楽曲のときと同じように、過去作品をリメイクすることから始めてみた。
実は今から11年前の2015年頃、私（佐藤）は動画制作に夢中だった時期がある。その頃に作った動画をAIを使ってリメイクしてみた。使用したAIとそのプロセスをカンタンにご紹介しよう。
・AIで過去動画をリメイク
今回リメイクするにあたって、いくつか課題があった。まずは元の撮影データがないこと。よくよく探せば見つかるのかもしれないけど、古いハードディスクを引っ張りだすのが面倒なので、当サイトのYouTubeチャンネルにあるものをダウンロードして使うことにした。
まずは元動画をご覧頂こう。
タイトル「ショートムービー『網走を舞台にするとどうでもいいことがシリアスになる』」
これは友人の衝撃的な寝言に関する思い出について語った、本当に中身のない動画である。冬の網走を訪ねた際に、この環境で撮影したら、シリアスな話になるんじゃないか？ と思って撮ったものである。
これを作り直す上で、いくつか課題がある。
まず第1に、映像が粗い。先に述べたように元データではなく、YouTubeに上げたものをダウンロードしているので、今見るとかなり粗い映像になっている。全部とはいわないまでも、部分的にキレイに見せたい。
次に、横長（16：9）の元動画を縦長（9：16）に変えたい。イントロとアウトロを省いた本編は2分30秒程度しかないのに、横長であるためにYouTubeでショート動画扱いになっていなかった。
そこで縦横比を変えたい。だが、撮影当時はそんなことを考えていなかったので、縦幅が足りないシーンがいくつもある。
最後に、元動画のナレーションの声を大きくしたい。だが、音声は音楽とくっついているので、声だけを抜き出さないといけない。
リアリティを残すために使えるシーンはそのまま活用したいのだが、テロップが入っている。再利用する場合はこれが写り込むのを避けなければならない。幸い、かなり低い位置に入れていたので、切り取る余地は十分にあった。
以上の課題を順番に解決していく。私の行ったプロセスはこうだ。
1．動画編集ソフト「DaVinci Resolve（ダヴィンチ・リゾルブ）」で動画から音声を抜き出す
2．音声抽出AI「Lalal.ai（ララルドットエーアイ）」で音声をナレーションと音楽に分離
3．元動画の必要なシーンをキャプチャーして、静止画として切り出す
4．切り出した静止画（16：9）をGeminiの「Nanobanana2」で縦長（9：16）に描き直す
5．縦長に描き直した画像を、Google Cloudの「Agent Platform」でシーンごとに数秒の動画を生成する
6．元動画で使えるシーン ＋ 生成した動画クリップ ＋ 分離したナレーション ＋ 分離した音楽をDaVinci Resolveで再びひとつにする
以上だ。たかだか2分30秒だが、意外と手間がかかった。1番面倒だったのは動画の生成で、なかなか指示通りの動画が生成されずに、何度もやり直す必要があった。それから、画像を縦長に描き直させる際も、自然な画を描かせるのも難しかった。
とはいえ、これらはいわゆる「ガチャ要素」なので、何度も繰り返して当たりを引き当てるまで待つしかなく今のところは方法はない。いずれはもっとスムーズになるとは思うのだが……。
さて、そうして完成したのが、このショート動画だ。
いかがだろうか？ 実際に撮影したシーンを合間に入れることによって、AI臭さは多少薄らいでいるように思う。とはいえ、AI臭を隠し切れていない部分もあるにはあるが……。
比較的動きの少ない内容だったので、リメイクはしやすかった方だと思う。もっと人物が動く映像を作り直すのは、相当骨が折れる作業であるに違いない。今後さらに進化すれば、これらも解消されるだろう。それまで気長に待ちたい。
参考リンク：DaVinci Resolve、Lalal.ai、Nanobanana2、Google Cloud
執筆：佐藤英典
イラスト：ChatGPT