画像・動画・音声 初級
画像から動画(I2V)
Image-to-Video
1枚の静止画を元にして、動きのある短い動画を生成する技術です。文章だけから作る場合に比べて、構図や登場人物の見た目を保ったまま動かしやすいという特徴があります。
別の呼び方I2V、画像動画化、静止画アニメーション
例生成したキャラクター画像を I2V で5秒の動画にして、プロモーションの冒頭カットに使った。
詳しく
画像から動画(Image-to-Video、略してI2V)とは、あらかじめ用意した1枚の画像を最初のフレームとして、そこから続きの動きを AI に生成させる方法です。文章の指示だけで動画を作るテキストから動画(T2V)に対して、「見た目をこちらで決めてから動かす」やり方といえます。
しくみ
動画生成モデルの多くは、拡散モデルをもとにしています。ノイズから少しずつ画像を作る仕組みを、時間方向に広げて、連続する複数のフレームをまとめて生成します。I2Vでは、与えられた画像を条件として固定し、そこに「カメラがゆっくり寄る」「髪が風になびく」といった文章の指示を組み合わせて、自然につながる動きを作ります。
なぜ使われるか
文章だけで動画を作ると、登場人物の顔や服装、背景の雰囲気が生成のたびに変わってしまいます。先に静止画を作り込んでおけば、見た目を固定できるため、次のような使い方がしやすくなります。
- 商品写真を、回転や光の反射が付いた紹介映像にする
- イラストやキャラクターに、まばたきや表情の変化を付ける
- 風景写真に、雲や水面の動きを加える
- 絵コンテや、プロモーションの構図案を動かして確認する
具体例
画像生成 AI で作ったキャラクターの立ち絵を入力し、「振り返って微笑む」と指示します。数秒の動画が得られ、同じ画像から別の指示で何度でも作り直せます。複数のカットを作って、編集ソフトでつなぐと、短い作品になります。
注意点
- 長さに限りがあります。多くのサービスでは1回に生成できるのは数秒から十数秒程度で、長い映像は、複数のカットをつなぎ合わせます。
- 動きの指示通りになるとは限らず、手や指、細かい模様が崩れたり、時間が進むにつれて顔が変わったりすることがあります。何度か試して良いものを選びます。
- 入力画像の権利に注意してください。他人の写真や著作物を無断で動かすのは、肖像権や著作権の問題になりえます。実在の人物の画像を使ったディープフェイクの悪用も社会問題です。
- 生成物であることを示す来歴情報(C2PA など)や、サービスの利用規約を確認しましょう。
関連する考え方
動画の口の動きと音声を合わせるリップシンク、画像の一部を描き直すインペインティングなどと組み合わせると、表現の幅が広がります。
あわせて知りたい言葉
- 拡散モデルノイズだらけの状態から少しずつノイズを取り除いていくことで、画像・動画・音声などを生成するモデルです。現在の画像生成・動画生成の多くが、この方式を土台にしています。
- Text-to-Xテキストを入力として画像・動画・音声・音楽などを生成することを表す呼び方です。X の部分に出力の種類が入り、Text-to-Image(画像)、Text-to-Video(動画)のように使います。
- リップシンク音声に合わせて、映像の人物やキャラクターの口の動きを自動で合わせる技術です。吹き替え動画、多言語化、アバターによる説明動画などに使われています。実在の人物を使う場合は本人の同意が必要です。
- ディープフェイクAI を使って、実在する人の顔や声を本物そっくりに合成した映像や音声のことです。娯楽や映像制作に使える一方、なりすまし詐欺や偽情報への悪用が問題になっています。
- 電子透かし・C2PAAI が生成したことや、コンテンツの作成・編集の履歴を示すための仕組みです。画像や音声に目に見えない印を埋め込む電子透かしと、来歴情報をファイルに付ける C2PA の規格があります。