大規模な風景も映像から3D化が可能
NVIDIA、2D動画から3Dオブジェクトを生成するAI「Neuralangelo」発表
Share
NVIDIAは、古典的彫像から自動車やビルなど、様々な形状、大きさの物体の周囲を回るように撮影した2D映像から、3Dのオブジェクトを生成するAIモデル「Neuralangelo」を発表した。
このAIモデルは、被写体の周囲をぐるりと回るように撮影した動画から、その被写体の奥行き、サイズ、形状を把握し、3Dオブジェクトを生成する。この技術は数十枚の画像から3DシーンをレンダリングするInstant NeRFと呼ばれる技術を採用したことで、被写体の細部まで正確に捉え、複雑なディテールや質感を再現することが可能になっている。
クリエイターはこのオブジェクトの細部を仕上げることで、元の被写体にそっくりな3Dオブジェクトを作ることができる。さらにデザイン用アプリケーションに取り込んで編集を加えることで、アート、ゲーム開発、ロボット工学、産業用のデジタルツインの開発に使用することができる。
とくに変換の際に自動で生成されるテクスチャーは、それだけでも高い再現度を持っていると説明され、例えばスマートフォンで撮影した動画からでも、プロジェクトに取り込んでそのまま使えるレベルのオブジェクトができるという。たとえばドローンで撮影した映像を使えば、巨大な建造物の形状を取り込んだり、大規模な景色を3Dに落とし込むことも可能だ。さらに屋内の再現にも対応するとのことだ。
NVIDIAは、6月18日にバンクーバーで開幕するコンピュータービジョンに関する会合「Conference on Computer Vision and Pattern Recognition」でこの3Dモデル生成AIを公開することを予定している。
