AI動画生成にプレビズを使ってみた。雑でも、あった方がいい

AI動画生成に、箱やマネキンで作った簡単なプレビズを渡してみました。プレビズは、人物の配置や動き、カメラワークを先に決めておくためのラフな映像です。

結論から言うと、かなり使えます。ただし、細かいところまでそのまま再現されるわけではありません。むしろ、大まかな演出を渡すと、足りない部分をいい感じに補完してくれる。そのための設計図として便利でした。

プレビズと生成結果を比較

動画はすべて、上がAIの生成映像、下が元のプレビズです。1本約15秒。背景や人物を作り込まなくても、シーンの流れをどこまで伝えられるか試しています。

簡単なテーブルと人物の配置から、夕暮れのカフェへ。飲み物を口に運ぶ動作などを、実写風の映像にしています。

人物の位置や歩く方向をプレビズで指定。昼のように明るい簡素な街並みを、プロンプトで夜の街に仕上げています。

ざっくりした海底とウミガメの動きから、水中の光やサンゴのある風景へ。見た目の補完が分かりやすいサンプルです。

走る人物と、それを追うカメラの動きを指定。ラフな背景が、海沿いの遊歩道に置き換わっています。

傘を持つ人物とトラムの配置をベースに、雨の夜の雰囲気を加えています。

今回の制作では、次の流れで作りました。

Python＋Blender 4.2で、箱や簡単な形を使ったプレビズを作る。人物の動きにはMixamoも使用。
Codexの画像生成で人物などの参照画像を用意する。
MiniMax-H3 Ref2VAに、プレビズ・参照画像・参照音声を渡し、約15秒の映像を生成する。
セリフはHiggsAudio v3、効果音はStable Audio 3 Medium、BGMはACE-Step 1.5で用意し、ffmpegでミックス・編集する。制作スクリプトと実行管理にはClaude Codeを使いました。

指示のポイントは、参照の役割を分けること。「画像は顔と衣装」「プレビズは配置・動作・カメラの動き」を参考にしてもらい、マネキンや箱の見た目は引き継がないように伝えます。夜・雨・照明などの仕上がりは、文章で指定しました。

人物の配置、移動方向、動作の順番、カメラの大まかな動きは伝わりやすい一方で、「何秒で止まる」「どのくらいズームする」といった細かな指定は、ずれたり、反映されなかったりしました。細部をきっちり固定できるわけではありません。

また、プレビズ側の照明のちらつきや、規則的に並べすぎた背景が、生成結果に残ることもありました。プレビズは照明も形もシンプルにして、伝えたい動きに絞るのがよさそうです。

それでも、大雑把な指定から見栄えのする映像まで補完してくれるのは便利です。細部は結構変えられるけれど、演出の大枠を伝えるには十分使える。完璧に作り込む必要はなく、雑でもいいのでプレビズは使った方がいい、というのが今回の感想です。