李飞飞团队WorldLabs推出多模态世界模型Atlas。

该模型以“新视角预测”为核心,用户输入场景的若干视角图像或文字描述,模型可输出时空任意位置的画面。Atlas能原生处理文字、图像、视频、3D及相机位姿等多模态数据。相比传统3D重建需数百张照片,Atlas仅需几张或几十张照片即可还原三维空间,例如用三部iPhone拍摄的画面可生成子弹时间视频。Atlas是前代模型Marble的迭代升级,解决了高斯泼溅输出表示的技术瓶颈。应用方向包括创意设计、建筑与施工、机器人领域。目前Atlas具备初步动态处理能力,未来将推进动态效果、内容编辑及人机交互。