英伟达（NVIDIA）展示了Lyra 2.0，这是一个由AI驱动的框架，能够将单张照片转化为可探索的3D环境，让用户能够在原始画面之外自由漫游，同时保持虚拟世界的一致性。
Lyra 2.0由英伟达空间智能实验室（Spatial Intelligence Lab，简称SIL）开发，将AI视频生成与3D重建技术相结合，有望为游戏开发、虚拟现实和机器人仿真开辟新的可能性。该研究最初发表于2026年4月，英伟达在SIGGRAPH Asia 2026召开前夕重点推介了这项技术。
与传统的图像转视频生成器不同——后者只能生成预先确定的序列——Lyra 2.0允许用户控制摄像机的运动轨迹，在穿行环境的过程中逐步生成新的视角。
Lyra 2.0将AI生成的视频序列重建为显式的3D高斯表示，使环境能够从不同视角进行渲染。然而，这项技术最引人注目的突破在于，它能够解决生成式AI长期存在的两大短板：空间遗忘和时间漂移。空间遗忘是指AI模型丢失对先前生成位置的追踪，当用户重新访问这些位置时可能产生不一致的结构。时间漂移则是指在长时间生成过程中，视觉和几何误差的逐渐累积。
为应对这些问题，英伟达的研究人员开发了一套空间记忆系统，利用3D几何信息检索相关的历史帧。该模型还使用自身不完美的输出进行训练，有效地教会它纠正累积的视觉误差，而非不断放大这些误差。
Lyra 2.0利用几何引导的空间记忆和自我增强训练，提升长距离相机轨迹的一致性。生成的视频序列随后可重建为3D高斯溅射（3D Gaussian Splats）和多边形网格，从而实现实时渲染，并允许将生成的环境导出至英伟达Isaac Sim等应用。
性能提升同样值得关注。英伟达开发了一个蒸馏模型，将视频生成过程从35步去噪缩减至仅4步，生成时间缩短了约13倍。根据研究论文，在单块英伟达GB200 GPU上生成一段80帧的视频大约需要15秒，而使用完整模型则需要194秒。不过，这不应与实时世界生成混为一谈，因为后者在计算上仍然要求极高。
该技术目前仍局限于以静态为主的环境，动态场景生成和偶发的视觉不一致仍是挑战。将Lyra 2.0生成的环境导入英伟达Isaac Sim，展示了AI生成的3D场景在机器人训练和仿真中的潜力。图片来源：英伟达。尽管如此，这项技术对游戏领域的意义颇具吸引力。我们此前报道过谷歌（Google）的Project Genie，这是另一个能够生成可探索虚拟世界的实验性AI系统。Lyra 2.0采取了略有不同的路径，将其生成的内容重建为可渲染、可用于仿真环境的显式3D几何体。
虽然距离从单张图片生成完整可玩的电子游戏还很遥远，但此类进展表明，AI辅助的环境创建最终可能成为开发者日益有用的工具。英伟达已在GitHub上发布了Lyra 2.0的实现代码，并在Hugging Face上提供了模型权重，不过后者受英伟达研究用途许可限制。
