Atlas：空间智能的世界模型

世界模型生成、重建和模拟任何可能的世界。他们了解世界如何出现、行为和演变，以便我们可以为创意用户渲染想象的世界，高保真地模拟现实世界，并帮助机器人计划行动。在世界实验室，我们构建这些通用世界模型以追求空间智能。今天我们要介绍的是我们的下一代世界模型 Atlas。 Atlas 是一个全向模型，我们从头开始对其进行预训练，可以对文本、图像、视频和 3D 进行本机操作。它是一个多模态自回归扩散变换器：所有输入都被组合到一个共享的空间上下文中。 Atlas 使用该上下文来生成接下来的内容，在 3D 中与它所看到的一切保持一致，并想象它之外的内容。 Atlas 是为了扩展而构建的：它的性能随着训练计算的增加而提高，并且我们预计随着我们继续扩展，这种趋势将持续下去。 Atlas 可以执行涵盖世界生成、重建和模拟的广泛任务： 摄像机控制生成：Atlas 通过像素完美的摄像机控制从一幅或多幅图像生成图像和视频，以 1440p 输出长达 1 分钟的视频。空间重建：Atlas 从一张到几十张输入图像重建现实世界场景。它从新颖的视图和显式 3D 输出生成图像帧，其性能优于专门用于 3D 重建的最先进模型。时空模拟：Atlas 根据输入视频对空间和时间进行建模，重新构建视频以获得戏剧性的视觉效果，并为机器人提供实时到模拟的工作流程。图像生成：Atlas 从文本生成图像和 360 度全景图；它可以遵循复杂的提示、渲染文本并生成各种视觉样式。 Atlas 将为 Marble 和 World Labs 的其他产品的未来版本提供支持。摄像机控制的生成图集会拍摄一张或多张参考图像，并在您指定的任何摄像机位置和角度生成新视图。生成的视图与输入图像的内容和几何形状相匹配，平滑地推断出它们以想象输入中不可见的场景部分。 Atlas 可处理广泛的场景类型、视觉风格和摄像机运动。视频是通过手动设计的摄像机路径从一到六个输入图像生成的。像素完美的摄像机控制 Atlas 使用精确的摄像机几何形状作为本机输入类型，超越了基于粗略文本的摄像机控制指令。这让您可以构图每个镜头并控制每个动作。在此处的示例中，Atlas 从单个输入图像生成完整的场景。它使用输入图像的内容及其广泛的世界知识来从新的角度想象场景应该是什么样子。例如，它生成机器人的背面，它猜测水池旁边应该有一片草坪。 Atlas 从单个图像生成任意角度的视图。拖动以更改视图。使用空间上下文生成与 LLM 类似，Atlas 首先将其输入编码到上下文中，然后生成以上下文为条件的输出。然而 Atlas 是独一无二的，因为每张图像都基于空间中的 3D 位置；这就形成了一个空间语境。管理这种空间环境可以解锁全新的创意控制方式。例如，您可以将两个不相关的参考图像放置在上下文中，将它们放置在 3D 空间中，Atlas 会生成一个在它们之间平滑插入的世界。这些例子展示了模型的世界知识和创造力；它想象门口、走廊、角落以及其他不相关的输入图像之间的过渡。选择左右帧来填充空间上下文，Atlas 将它们拼接在一起 可控制的长视频 Atlas 可让您通过结合摄像机移动和空间上下文管理来生成具有精确控制的长视频。您设计每个场景和每个摄像机角度。这让你坐在导演的椅子上：你正在布置场景，而不是拉老虎机的杠杆。在下面的示例中，我们使用少量参考图像生成 1440p 分辨率的 1 分钟视频。我们手工设计穿过场景的摄像机路径，Atlas 生成一个连贯的世界。此页面上的其余视频已被压缩以优化页面性能。空间重建图集从一幅或多幅输入图像重建现实世界空间。它不需要特殊的捕捉设备或数百个密集的视图来忠实地重建对象和场景。我们相信 Atlas 是解决稀疏输入图像新颖视图合成问题的重要一步，这是 3D 计算机视觉中一个已有数十年历史的基本问题。从多个图像重建 Atlas 可以获取场景的可变数量的输入视图。当世界的某些部分在输入视图中不可见时，Atlas 会设想一种合理的方法，通过利用其丰富的世界知识来填补空白。但有时你不需要想象力；你需要的是想象力。你可能想要一个精确的重建