3D生成AIの現在地：画像から一瞬で3Dモデルを作る「LGM」を実際に試す
出典: cottonbro CG studio / Pexels
ここ数年、画像生成やテキスト生成AIの進化は目覚ましいものがありますが、その波は3次元空間のデータ生成にも確実に押し寄せています。これまで3Dデータの構築には高度な専門スキルと膨大な作業時間が必要でしたが、近年はAIを用いることで画像1枚から瞬時に3Dデータを生成する技術が現実的なものとなってきました。
今回は、その中でも驚異的な生成速度と高いクオリティを両立して注目を集めている3D生成AIモデル「LGM」（Large Multi-View Gaussian Model）について、その技術的特徴から実際のデモを使用した検証までをレポートします。
LGMとは？数秒で3Dモデルを作る仕組み
LGMは、北京大学などの研究チームによって開発されたオープンソース of 3D生成AIモデルです。従来の3D生成AI技術の多くは、NeRF（Neural Radiance Fields）などをベースにしており、生成されたデータのレンダリングや最適化（フィッティング）に数十分から数時間かかるものが一般的でした。
これに対し、LGMは生成速度を「わずか数秒（5秒以下）」にまで短縮することに成功しています。この圧倒的な高速化を実現している背景には、以下の2つの技術的アプローチがあります。
- 3D Gaussian Splattingの採用 LGMは、出力する3Dデータのフォーマットとして「3D Gaussian Splatting」を採用しています。これは3次元空間上に数万から数十万個の楕円球（Gaussian）を配置し、それをリアルタイムでレンダリングする技術です。ポリゴンによる3Dモデル（メッシュデータ）に比べて、微細な凹凸や反射といった複雑な質感を高速かつ綺麗に表現できます。
- マルチビュー画像からの直接予測 LGMは、入力された1枚の画像から、対象物を異なる4つの角度から見た「マルチビュー画像（多視点画像）」をまず拡散モデル（Diffusion Model）を用いて一瞬で生成します。そして、その4枚 of マルチビュー画像を入力として、3D Gaussianのパラメータ（位置、回転、スケール、不透明度、色）を直接予測（推論）するニューラルネットワーク「LGM-Net」に通すことで、反復最適化を行わずに一発で3Dデータを構築します。
Hugging Face上の公式デモを試す
LGMの実力を手軽に体感できるように、Hugging Face SpaceにてWeb上で動く公式デモが公開されています。今回はこのデモを用いて、実際にどれほどのクオリティで生成できるかを試してみました。
1. 入力画像の用意
今回は、シンプルなキャラクターの2Dイラスト画像を入力として使用しました。LGMは、被写体が画像の中心に配置され、背景が綺麗に白または透明に抜けている画像で最も高い精度を発揮します。
2. 生成プロセスの実行
デモ画面で画像をアップロードし、「Generate」ボタンを押すと処理が開始されます。 実際の推論時間は、Hugging Faceの共有GPU環境でも約5秒〜10秒程度でした。画面上にプログレスバーが表示され、あっという間に3Dモデルのレンダリング結果（動画およびドラッグで回転できるビューア）が生成されます。
3. 生成結果のクオリティ
生成された3D Gaussian Splattingデータは、非常になめらかで光沢のある表現となっていました。入力画像からは見えていない「背中側」や「側面」についても、AIが破綻のない形状とテクスチャを推測して埋めてくれています。
さらに、LGMのデモ機能には、生成したGaussianデータをポリゴンメッシュ（.obj 形式など）に変換してダウンロードする機能も備わっています。メッシュに変換する過程で若干のディテール低下は見られますが、一般的な3D制作ソフト（Blenderなど）へそのままインポートしてゲーム制作アセットやCG素材のベースとして利用できるクオリティに達しているのには驚かされました。
今後の展望と課題
LGMのような「画像から一瞬で3Dを作る技術」は、ゲーム開発でのプロトタイピングやECサイトの3D商品プレビュー、VR/ARコンテンツ制作など、幅広い分野でのクリエイティブワークフローを劇的に変化させる可能性を秘めています。
一方で、現状の課題としては、左右非対称な複雑な構造物や、細かすぎる幾何学的パーツ（網の目や髪の毛の束など）では背面の推測が崩れやすいという点が挙げられます。しかし、今後のモデルのスケールアップやマルチビュー生成用拡散モデルの精度向上によって、これらの問題も近い将来に克服されると考えられます。
手軽に試せるWebデモも提供されていますので、3D生成AIの「現在地」をぜひ一度自分の目で確かめてみてください。
お役立ち情報
- 📄 LGMの公式デモページ (Hugging Face Space)
- 手持ちの画像やテキストプロンプトを入力するだけで、LGMを用いた3D生成プロセスをブラウザから無料で体験できるデモです。
- 📄 GitHub - 3DTopia/LGM
- 開発チームが公開している公式ソースコード。ローカルのLinux環境やGPU環境にLGMをインストールして実行するための詳細な手順とリポジトリが揃っています。
- 📄 Zenn - 3D Gaussian Splattingとは何か (日本語)
- LGMで採用されている新しい3D表現技術「3D Gaussian Splatting」の基本概念、メッシュやNeRFとの違いについて日本語でわかりやすく解説している技術ブログです。