来源：世界模型研究
原文链接：https://mp.weixin.qq.com/s/fbgFvWxyy5ds_vIoEQqJDQ
【总结】One Video, One World（OVOW） 是一种面向单目视频到物理 4D 场景重建的训练免方法，它的核心目标是：只输入一段普通单目视频，就把其中的动态世界重建成可仿真、可编辑、可交互的 4D 网格场景！ 这里的 4D 指的是三维空间 + 时间变化。过去很多 4D 重建方法主要追求渲染效果，输出通常是隐式场、3D 高斯或点云，看起来很真实，但不能直接放进物理仿真器里用。OVOW 则进一步输出实例级、封闭网格、带运动轨迹的物理场景资产，可以用于机器人、具身智能、游戏、虚拟现实和仿真数据生成。
单位：由清华大学深圳国际研究生院、SparcAI、中国科学技术大学、香港理工大学、电子科技大学、南洋理工大学、清华大学 AIR 等机构提出。 注：该论文PDF已上传至星球！大家加入星球后，可以一键秒下载！快学起来！ 【简介】本文提出 OVOW，全称 One Video, One World，可以理解为“一个视频生成一个可用世界”。它要解决的是一个很关键的问题：现在的视频和 4D 重建模型虽然能生成好看的动态画面，但很多结果只是视觉上可渲染，并不具备物理仿真所需的结构。真正能被 MuJoCo、Isaac Gym、PyBullet 等物理仿真器使用的资产，通常需要封闭网格、明确的物体实例分离、合理的接触关系、标准化物理接口等，而这些恰恰是普通 4D 表示难以提供的。OVOW 的核心流程分为四步。第一步是场景分解，利用视觉语言模型识别视频里有哪些物体，并判断它们是静态物体、刚体运动物体，还是可变形物体。这里的刚体运动指物体形状不变、整体移动或旋转，例如杯子、玩具车；可变形物体则指形状会发生变化，例如动物身体、软物体或非刚性运动目标。第二步是实例级网格重建，对静态和刚体物体生成单个标准网格，对可变形物体生成随时间变化但拓扑一致的网格序列。网格可以理解为由顶点和三角面组成的 3D 物体表面，是物理仿真和游戏引擎最常用的资产格式之一。 第三步是尺度、姿态和运动恢复。OVOW 会结合视频中的深度、相机参数、物体遮挡情况和多帧对应关系，估计每个物体在每一帧中的真实尺度和 6 自由度姿态。6 自由度指三维位置加三维旋转，也就是物体在空间中“在哪里”和“朝向哪里”。对于可变形物体，OVOW 进一步把整体运动和局部形变分开处理：整体轨迹负责物体怎么移动，顶点变形负责物体表面怎么变化。第四步是物理场景组装，系统会估计地面平面，修正物体悬空或穿地问题，并处理物体之间的支撑和接触关系，最终导出可用于物理仿真的实例级 4D 场景。 【结果性能】实验上，论文构建了两个新的评测基准：OVOW-3D-Scene-Bench 和 OVOW-4D-Scene-Bench。前者包含 120 个静态场景，后者包含 120 个动态场景，用来评估方法是否真的能恢复正确布局、物体实例和动态结构。在静态 3D 场景评测中，OVOW 取得 Scene-IoU-OBB 0.218、Object-IoU 0.190、PL 5.70、N-CLIP 1.87，其中 Scene-IoU 衡量整体场景布局，Object-IoU 衡量单个物体匹配程度，PL 是光度误差，N-CLIP 是语义误差。在动态 4D 场景评测中，OVOW 在所有质量指标上领先，达到 Scene-IoU-AABB 0.180、Scene-IoU-OBB 0.440、Object-IoU 0.210、PL 2.90、N-CLIP 1.43，说明它在动态场景里更能发挥视频时序信息的优势。更值得注意的是，在 4D 场景中 OVOW 的平均速度约为 3.35 秒/帧，而对比方法通常需要 103 到 788 秒/帧，速度快了一个到两个数量级。 整体来看，OVOW 的意义不只是把视频重建成 4D，而是把“看起来像世界”的视频结果进一步变成“可以放进仿真器里运行的世界资产”。它可以从真实视频中生成“视频 ↔ 实例级 4D 网格场景”的成对数据，为未来 4D 世界模型、机器人仿真、具身智能训练和物理交互数据生成提供基础设施。 【客观评价】OVOW 的亮点在于把单目视频 4D 重建从“视觉渲染”推进到“物理可用资产”，输出实例分离、封闭网格和运动轨迹，应用价值很强。不过，它是由多个基础模型串联而成的训练免管线，效果仍依赖物体识别、分割、深度估计、姿态跟踪和网格生成质量；在严重遮挡、复杂形变和长时交互场景中仍可能存在误差累积。 《One Video, One World: Turning Monocular Video into Physical 4D Scenes》
nebula