画像・動画・音声 上級

3Dガウシアンスプラッティング

3D Gaussian Splatting

複数の写真から、シーンを無数のぼんやりした粒(ガウス分布)の集まりとして再現し、新しい視点から見た映像をなめらかに描く3D技術です。2023年に発表されました。

別の呼び方3DGS、ガウシアンスプラッティング

例展示室を数百枚撮影して3Dガウシアンスプラッティングで再現し、ブラウザ上で自由に見回せる展示にした。

詳しく

3Dガウシアンスプラッティング(3DGS)は、現実の場所や物を撮った複数の写真や動画から、自由に視点を動かせる3D表現を作る手法です。2023年に発表された論文で注目を集め、3D再構成の分野で急速に広まりました。

しくみ

シーンを、色・位置・大きさ・向き・透明度をもつ無数の「3Dガウス(楕円体状にぼやけた粒)」で表します。粒を絵の具の点にたとえるなら、数十万から数百万の点が集まって、空間を描いているイメージです。描画するときは、これらの粒を画面に投影して重ね合わせます(これを「スプラッティング」と言います)。学習では、実際の写真と、同じ視点から描いた結果の差が小さくなるよう、粒の配置や色を調整していきます。

NeRF との違い

同じ目的の先行技術に NeRF(ニューラル放射場)があります。NeRF はニューラルネットワークでシーンを表し、描画に時間がかかりました。3DGS は明示的な粒の集合なので、描画が高速で、リアルタイム表示がしやすいのが大きな利点です。

具体例

  • 不動産や観光地、美術館の展示物を撮影し、ブラウザ上で自由に見回せる3D空間にする。
  • 映像制作やゲームで、実在の場所を素材として取り込む。
  • ロボットや自動運転の研究で、周囲の環境の再現に利用する。

使うときの注意・よくある誤解

  • 3DGS は主に「見た目の再現」の技術で、きれいな面(ポリゴン)の3Dモデルを直接作るわけではありません。ゲームエンジンで物理演算や当たり判定に使うには、別途の変換が必要です。
  • 撮影した範囲の外や、写真に写っていない角度は、破綻やノイズが出ます。十分な枚数と重なりのある撮影が必要です。
  • 反射する面、透明な物、動く被写体は苦手です。
  • データ量が大きくなりがちで、圧縮や軽量化の研究が進められています。
  • 生成 AI の「生成」とは異なり、基本的には写真に写った現実を再構成する技術です。ただし、画像や動画の生成 AI から3DGS用の素材を作る研究や、1枚の写真から推定する研究も進んでいます。

関連する考え方

3Dの生成・再構成の流れは、画像の拡散モデルや、動画生成モデルの発展と並行して進んでいます。生成された3D資産の利用では、撮影対象の権利や、利用条件の確認が必要です。

撮影のコツ

シーンの周囲を、重なりを持たせながら、ゆっくり歩いて撮影するのが基本です。ピンボケや急な明るさの変化は、仕上がりを悪くします。

あわせて知りたい言葉

「画像・動画・音声」の言葉をすべて見る