1枚の写真から別アングルの映像を作り、スマートフォンで撮影した数枚の映像からロボット訓練用の3D空間を作るワールドモデルが登場した。AI研究者フェイフェイ・リーが共同創業したWorld Labsは1日、次世代ワールドモデル「Atlas」を公開した。テキストと画像、映像、3D情報を1つのモデルが同時に処理し、シーンを生成・復元・シミュレーションするモデルである。
World Labsはこの日、ブログでAtlasを「オムニ・ワールドモデル（omni world model）」として紹介した。テキスト・画像・映像・3Dをそれぞれ別のモデルで処理する代わりに、1つのモデルが複数形態の入力を受け取り、同じ3次元空間の中で互いに矛盾しない結果を出すよう最初から新たに学習させたという説明だ。同社はAtlasがまだ一般公開段階にはなく、一部パートナーを対象に早期アクセスを開始すると明らかにした。自社の3Dワールド生成製品「Marble」の次世代版や、他の製品にも基盤モデルとして使う計画だ。
World Labsが掲げる目標は「空間知能（spatial intelligence）」である。大規模言語モデルがテキストの構造を学習するように、ワールドモデルは空間と時間の中で物がどのように見え、動き、互いに影響を与え合うかを学習するという概念だ。同社はこれをコンテンツ制作だけでなく、ロボットが現実世界を理解し行動するための基盤技術と位置づけている。
目次
カメラ位置を直接指定して新視点映像を生成
Atlasの最初の機能は、カメラの動きを直接制御する映像生成だ。1枚または複数枚の画像を入力し、カメラの位置と移動経路を指定すると、新しい視点の画像や映像を作る。World Labsによると、最大1440p解像度で1分間の映像を生成でき、パン・トラック・クレーンといった撮影現場で使われるカメラワークも指定できる。
一般的な画像・映像生成モデルはプロンプトを基にシーンを新しく描く。Atlasは与えられた空間の3次元構造を維持したまま、カメラ視点だけを変える。部屋の内部写真を入力してカメラが横に移動したり後退したりする場面を作ると、最初の写真に映っていなかった領域まで、既存の空間と矛盾しないよう推論して埋める。World Labsは、ロボットの写真1枚からロボットの背面を作り出したり、プールの横に芝生があると推定して描き加える例を挙げた。互いに無関係な画像2枚を3D空間の別々の位置に配置すると、その間をつなぐ通路や廊下を作り、1つの空間として連結する機能も披露した。
複数視点の画像で実際の空間を3D復元
Atlasは実際のシーンを3D復元する機能も備える。1枚から数十枚の画像を入力すると、異なる視点を総合して空間構造を推定し、入力にはなかった視点の画像を生成する。画像とともに各地点までの距離を含む深度情報を出力し、これを基にゲーム・設計・視覚効果制作にそのまま使える3Dデータも作る。
入力写真が増えるほど、モデルが想像で埋める領域は減る。World Labsは、2、3枚の写真でも実際の場所に近い復元が可能な場合があり、100枚以上の画像を入力すればより実際の環境に忠実な再構成が可能だと説明した。地上で撮影した写真2~25枚でスタンフォード大学キャンパスを復元し、その後空から見下ろす経路の映像を作った事例を公開した。
World Labsは、3D復元に特化したオープンソースモデル群との比較ベンチマークで、Atlasがより優れた結果を出したと明らかにした。カメラ制御による映像生成では、既存の映像生成モデルと比べて第三者評価者がAtlasの結果をより多く選んだと付け加えた。いずれの評価も同社が自社で実施したものだ。
Atlasが入力画像1枚とカメラ位置情報を基に新しい視点のシーンを生成する様子/World Labs
スマートフォン映像24フレームでロボット訓練環境を構築
World Labsが最も多くの分量を割いた用途はロボットシミュレーションだ。スマートフォンで撮影した実際の空間を3D環境として再構成し、その中で仮想のロボットを動かす「Real-to-Sim」作業にAtlasを使えるという説明だ。同社のデモでは、大型空間2カ所をスマートフォン映像で撮影し、それぞれ24フレームのみで環境を再構成した。World Labsは、こうした空間をスキャンするにはこれまで高価な専門機材が必要だったと説明した。
続いて、複数の形態のロボットが空間内を移動すると仮定し、ロボットの機体に取り付けられたカメラが見ることになる画像と深度情報をAtlasが生成した。空間を復元するモデルとロボットの視野を作るモデルは同一である。
ロボットの物体操作学習にも使える。実際の作業シーンを数回撮影してシミュレーション環境に移した後、物体の種類・位置・照明・背景・ロボットの動きを変えて訓練データと評価環境を複数パターン作る方式だ。硬い物体だけでなく、関節のある物体、形状が変化する物体との相互作用まで扱うことを目標としている。実際のロボットで同じ動作を数千、数万回繰り返さなくても、多様な環境でロボットの制御方針を訓練・評価しようとするアプローチだ。World Labsは7月、実際の環境をシミュレーションに移して学習した後、再び実際のロボットに適用する「Real-to-Sim-to-Real」をロボット学習戦略として提示したことがある。
カメラ3台で「バレットタイム」
映像を扱う機能もある。カメラ3台から5台で撮影した映像があれば、Atlasがシーンを復元した後、時間を止めて元のカメラがなかった角度からシーンを再び見せる。複数台のカメラで同時撮影し、時間が止まったように見せるいわゆる「バレットタイム」効果を専用スタジオなしで作る方式だ。World Labsは、デモ映像を研究者やエンジニアが三脚とクランプに固定した携帯電話とアクションカメラで撮影したと明らかにした。
テキストから画像と360度パノラマを作る機能も対応する。同社は画像生成がAtlasの主目的ではないが、複雑なプロンプトに従い文字を描き入れることも可能だと説明した。
言語モデルと映像モデルの結合
Atlasの構造は、World Labsが「マルチモーダル自己回帰拡散トランスフォーマー（multimodal autoregressive diffusion transformer）」と呼ぶ形態だ。テキスト、画像、カメラ位置、深度情報を1つの3次元空間的文脈にまとめた後、先に与えられた情報を基に次の要素を順に生成する。画像と深度情報はいずれもカメラ位置に紐づけて処理する。
言語モデルのように前の内容を参照して次の要素を1つずつ作る方式と、画像・映像生成に広く使われる拡散モデル方式を組み合わせた。World Labsは、この構造のおかげで言語モデルのサービング（推論提供）に使われる速度改善技法と、映像生成モデルの軽量化技法を両方から取り入れられると説明した。現在Atlasが直接処理するデータはテキスト、画像、カメラの位置と方向、3D深度マップであり、映像は画像の連続として扱う。同社はモデルサイズと学習演算量を増やすたびに新しい能力が現れており、この傾向が続くとみていると明らかにした。
Marbleからロボットへ
World Labsは2024年、フェイフェイ・リーとジャスティン・ジョンソン、ベン・ミルデンホール、クリストフ・ラスナーが共同創業した。最初の商用製品であるMarbleは、テキストや画像を入力すると探索可能な3D環境を作るツールで、映画・ゲーム・建築の制作過程で使われる。7月にはロボットスタートアップSceniX（セニックス）を買収し、空間知能を物理的環境で行動するロボットに適用する方向性を明らかにした。Atlasは、画像と映像を作るモデル、3D空間を復元するモデル、ロボット用シミュレーターを別々に用意する代わりに、1つのモデルが同じ空間表現の上で生成と復元、シミュレーションをすべて担うようにしたものだ。
＜画像＝World Labsの次世代ワールドモデル「Atlas」紹介映像のキャプチャー/World Labs＞
