効果音 イリノイ大学・Sony AI
MMAudio V2
動画やテキストから、映像に合った音を作るモデル。動画に後から効果音や環境音を付けるのに向く。fal.ai で1秒 $0.001。
- 用途
- 効果音
- 料金の目安
- $0.001 / 秒（fal.ai）
- 公開日
- —
スペックと料金
- 用途
- 効果音
- 提供元
- イリノイ大学・Sony AI
- 公開日
- —
- 入力と出力
- 動画→効果音・テキスト→効果音
- 料金の目安
- $0.001 / 秒（fal.ai）
- 重みの公開
- あり（自社環境で実行できる）
- 使い方と料金
- fal.ai の API、または重みを入手して自分で実行
- 得意なこと
- 生成した動画への効果音付け、映像と同期した環境音
使える場所
- fal.ai$0.001 / 秒
仕様と料金は、公式ページと fal.ai のモデルページ（2026年11月8日時点）にもとづきます。
詳しい説明
イリノイ大学アーバナ・シャンペーン校、Sony AI、ソニーグループの研究者が発表した、動画から音を生成するモデルです（CVPR 2025 採択）。映像の動きと同期した効果音・環境音を作ることを目的にしています。
- 入力：動画（MP4・MOV・WebM など）とテキスト。テキストだけでも生成できる
- fal.ai では1〜30秒を指定可能
- 学習・既定の長さは8秒で、大きく外れると品質が落ちることがある
コードは MIT ライセンスですが、公開されている学習済みの重みは CC-BY-NC 4.0（非商用）です。
詳しい情報
- シリーズ
- MMAudio
- 細かい分類
- 動画→効果音
- 入力できるもの
- 動画、テキスト
- 出力できるもの
- 音声
- 提供状況
- 研究公開
- ライセンス
- コード MIT / 重み CC-BY-NC 4.0
- モデルカード・論文
- arxiv.org/abs/2412.15322 ↗