静止画に命を吹き込む:Runway Gen-3とLuma Dream Machineによる画像から動画(Image-to-Video)生成の実践検証

こんにちは、ぴこぴこです!画像生成AIの進化も目覚ましいですが、最近特にアツいのが「動画生成AI」です。これまではテキストからの動画生成(Text-to-Video)が中心でしたが、現在は「一枚のキービジュアル(静止画)を入力し、それをベースに動画化する」**Image-to-Video(I2V)**が実用レベルに達しています。
今回は、現在の二大巨頭である「Runway Gen-3 Alpha」と「Luma Dream Machine」を使い、同じ静止画からどのような動画が作れるのか、また狙い通りの動きをさせるためのプロンプト制御のコツを実際に動かして検証しました!
なぜ今、Image-to-Videoなのか?
Text-to-Videoの場合、「青い目の少女が風に吹かれて笑顔を見せる」と入力しても、顔立ちや服装、背景が毎回完全にランダムで生成されてしまいます。これではキャラクターの一貫性が必要なアニメーションや映像制作には使えません。
一方、I2Vであれば:
- MidjourneyやFluxなどの高精細な画像生成AIで、あらかじめ完璧な「キャラクター」や「背景」を作っておく。
- その静止画を動画生成AIにインプットする。
- 画像のクオリティとデザインを維持したまま、動きだけを追加する。
という2ステップのワークフローが可能になり、実用的な映像制作が格段に現実味を帯びてきたのです。
Runway Gen-3 Alpha vs Luma Dream Machine 比較検証
今回は、同一の「近未来のネオン輝く街並みに佇むサイバーパンク風の猫」のイラストを入力元にして、動画化を試しました。
1. Runway Gen-3 Alpha:物理法則の正確さとシネマティックな質感
Runwayの最新モデルであるGen-3 Alphaは、光の屈折や煙の揺らぎといった物理シミュレーションの正確さが際立っています。
- 得意な表現: カメラワーク(ドローンショット、パン、ズームなど)が非常に滑らかで、映画のワンシーンのような質感を出すのが得意です。
- 検証結果: ネオンの光が路面の水たまりに反射する様子や、猫の毛並みが風でわずかに揺れる様子が非常に自然に表現されました。急激な変形(モーフィング)による破綻が極めて少ない印象です。
2. Luma Dream Machine:ダイナミックなアクションとキャラクターの動き
Luma AIが提供するDream Machineは、物理法則の厳密さよりも**「大きく大胆な動き」**に強みがあります。
- 得意な表現: キャラクターがこちらを振り向く、走り出す、物を投げるといった、画面内の要素が大きく位置を変えるアクション。
- 検証結果: 猫がゆっくりと歩き出し、カメラを見上げるという複雑な三次元的モーションを、破綻なく(四肢の数が変わることなく)生成できました。カメラワークよりも被写体の動きそのものをアクティブに動かしたい場合に強みを発揮します。
意図した動きを引き出すプロンプト・テクニック
静止画を入力する際、単に「動かして」と指示するだけでは、カメラが少し揺れるだけの退屈な動画になりがちです。望む動きを作るための記述のコツを紹介します。
カメラ制御(Camera Movement)を明記する
動画の躍動感はカメラワークで決まります。プロンプトの冒頭にカメラの動きを指定しましょう。
- 例:
Slow dolly-in toward the cat(猫に向かってゆっくりドリーイン) - 例:
Continuous orbital camera movement around the character(キャラクターの周囲を回り込むようなカメラワーク)
時間経過と環境の変化(Environmental Motion)を加える
背景の要素を動かすことで、動画全体が生き生きとします。
- 例:
Neon signs flickering in the background, light rain falls, wet ground reflecting lights(背景のネオンが明滅し、小雨が降り、濡れた地面が光を反射する)
破綻を防ぐ「ネガティブプロンプト」的アプローチ
I2Vで発生しやすい「キャラクターの顔が別人になる」「オブジェクトが溶けて消える」のを防ぐため、指示は肯定的かつ具体的に書きます。
- 例:
Keep the character identity identical. No morphing, maintaining high structural detail.(キャラクターの同一性を維持。モーフィングなし、高い構造的ディテールを維持)
まとめ:どう使い分けるべきか?
検証を通じて、以下のようなキャラクターやシーンに応じた使い分けがベストだと感じました。
| 特徴 | Runway Gen-3 Alpha | Luma Dream Machine |
|---|---|---|
| 得意なモーション | 滑らかなカメラワーク、環境光の変化 | 被写体の大きなアクション、歩行・旋回 |
| 画質の安定度 | 極めて高い(映画クオリティ) | 高い(時折モーフィングが発生) |
| 推奨ユースケース | 風景画、シネマティックなPV、静かな空間描写 | アニメ風キャラクター、ダイナミックなシーン |
動画生成AIは日進月歩ですが、静止画という「アンカー(錨)」を得たことで、生成AIによる映像制作は実験段階から実用段階へと完全に移行したと言えます。皆さんもお気に入りの1枚を動画化してみてください!
お役立ち情報
- Runway - Gen-3 Alpha
- プロクオリティの映像生成・編集機能を提供するRunwayの公式サイト。
- Luma AI - Dream Machine
- 高速かつダイナミックな動画生成をブラウザから試すことができるLuma AIのページ。
- デジクリ - 生成AIで画像から動画を作るImage-to-Videoの実践ガイド
- 日本語でRunwayやLumaなどの各種I2Vツールの使い方と、動画制作のTipsが分かりやすくまとめられた記事。