画像・動画・音声 上級
3Dガウシアンスプラッティング
3D Gaussian Splatting
複数の写真から、シーンを無数のぼんやりした粒(ガウス分布)の集まりとして再現し、新しい視点から見た映像をなめらかに描く3D技術です。2023年に発表されました。
別の呼び方3DGS、ガウシアンスプラッティング
例展示室を数百枚撮影して3Dガウシアンスプラッティングで再現し、ブラウザ上で自由に見回せる展示にした。
詳しく
3Dガウシアンスプラッティング(3DGS)は、現実の場所や物を撮った複数の写真や動画から、自由に視点を動かせる3D表現を作る手法です。2023年に発表された論文で注目を集め、3D再構成の分野で急速に広まりました。
しくみ
シーンを、色・位置・大きさ・向き・透明度をもつ無数の「3Dガウス(楕円体状にぼやけた粒)」で表します。粒を絵の具の点にたとえるなら、数十万から数百万の点が集まって、空間を描いているイメージです。描画するときは、これらの粒を画面に投影して重ね合わせます(これを「スプラッティング」と言います)。学習では、実際の写真と、同じ視点から描いた結果の差が小さくなるよう、粒の配置や色を調整していきます。
NeRF との違い
同じ目的の先行技術に NeRF(ニューラル放射場)があります。NeRF はニューラルネットワークでシーンを表し、描画に時間がかかりました。3DGS は明示的な粒の集合なので、描画が高速で、リアルタイム表示がしやすいのが大きな利点です。
具体例
- 不動産や観光地、美術館の展示物を撮影し、ブラウザ上で自由に見回せる3D空間にする。
- 映像制作やゲームで、実在の場所を素材として取り込む。
- ロボットや自動運転の研究で、周囲の環境の再現に利用する。
使うときの注意・よくある誤解
- 3DGS は主に「見た目の再現」の技術で、きれいな面(ポリゴン)の3Dモデルを直接作るわけではありません。ゲームエンジンで物理演算や当たり判定に使うには、別途の変換が必要です。
- 撮影した範囲の外や、写真に写っていない角度は、破綻やノイズが出ます。十分な枚数と重なりのある撮影が必要です。
- 反射する面、透明な物、動く被写体は苦手です。
- データ量が大きくなりがちで、圧縮や軽量化の研究が進められています。
- 生成 AI の「生成」とは異なり、基本的には写真に写った現実を再構成する技術です。ただし、画像や動画の生成 AI から3DGS用の素材を作る研究や、1枚の写真から推定する研究も進んでいます。
関連する考え方
3Dの生成・再構成の流れは、画像の拡散モデルや、動画生成モデルの発展と並行して進んでいます。生成された3D資産の利用では、撮影対象の権利や、利用条件の確認が必要です。
撮影のコツ
シーンの周囲を、重なりを持たせながら、ゆっくり歩いて撮影するのが基本です。ピンボケや急な明るさの変化は、仕上がりを悪くします。
あわせて知りたい言葉
- 拡散モデルノイズだらけの状態から少しずつノイズを取り除いていくことで、画像・動画・音声などを生成するモデルです。現在の画像生成・動画生成の多くが、この方式を土台にしています。
- コンピュータビジョンコンピューターに画像や動画の中身を見分けさせる技術の分野です。写真に写っているものの識別、顔認証、自動運転、医療画像の解析、工場の検品などに幅広く使われています。
- 画像から動画(I2V)1枚の静止画を元にして、動きのある短い動画を生成する技術です。文章だけから作る場合に比べて、構図や登場人物の見た目を保ったまま動かしやすいという特徴があります。
- ニューラルネットワーク人間の脳の神経細胞のつながりをヒントにした、数値の計算を何層にも重ねて入力から出力を導くしくみです。現在の生成 AI を含む、ほとんどの AI モデルの土台になっています。