画像・動画・音声 中級
リップシンク
Lip Sync
音声に合わせて、映像の人物やキャラクターの口の動きを自動で合わせる技術です。吹き替え動画、多言語化、アバターによる説明動画などに使われます。
別の呼び方口パク合わせ、リップシンク生成、Lipsync
例日本語で撮った社長メッセージの動画を英語音声に差し替え、リップシンクで口の動きを合わせた。
詳しく
- 既存の動画と別の音声を入力して口元だけを作り直す方式と、1枚の顔写真と音声から話している動画を生成する方式があります。
- 動画生成モデルの中には、セリフを含む音声と口の動きを同時に生成できるものもあります。
- 顔の向きが大きく変わる場面や、手で口元が隠れる場面では不自然になりやすいです。
- 実在の人物の映像を使う場合は、本人の同意が必要です。なりすましに悪用されうるため、多くのサービスで利用条件が定められています。
あわせて知りたい言葉
- 音声合成（TTS）テキストを人の声のような音声に変換する技術です。ナレーション、読み上げ、音声アシスタント、電話の自動応答などに使われます。
- Text-to-Xテキストを入力として画像・動画・音声・音楽などを生成することを表す呼び方です。X の部分に出力の種類が入り、Text-to-Image（画像）、Text-to-Video（動画）のように使います。
- ボイスクローン短い録音をもとに、特定の人の声に似た音声を合成できるようにする技術です。本人のナレーションの多言語化や、収録の手間の削減に使われます。
- 電子透かし・C2PAAI が生成したことや、コンテンツの作成・編集の履歴を示すための仕組みです。画像や音声に目に見えない印を埋め込む電子透かしと、来歴情報をファイルに付ける C2PA の規格があります。