CVPR 2026 Findings | RAF：让 3D Gaussian Splatting 从“高保真可看”走向“物理可交互”

· · ·

3D Gaussian Splatting（3DGS）近年来在实时、高保真新视角合成中取得了显著进展，能够用显式 Gaussian 表示重建逼真的真实场景。然而，这些高质量 3DGS 场景大多仍然是“静态可看”的：它们可以被渲染，却很难像真实世界中的物体一样被碰撞、变形，或与流体、布料、刚体、机器人等复杂资产发生物理交互。

造成这一问题的核心原因在于 表示鸿沟（representation gap）：3DGS 是面向渲染的视觉表示，而成熟物理引擎通常基于粒子、网格、刚体、流体、布料等物理表示运行。已有 physics-for-3DGS 方法大多为 3DGS 单独设计封闭求解器，通常只能在孤立环境或理想平面上演示物体级交互，难以支持复杂真实场景、异构资产和多求解器耦合。

为了解决这一问题，我们提出 Representation Abstraction Framework（RAF）。RAF 不再为 3DGS 重新发明一个封闭物理求解器，而是将 3DGS、虚拟 mesh、流体粒子、布料、刚体以及真实捕获的静态场景统一抽象到同一个物理仿真上下文中，并在仿真后将物理状态重新映射回高保真可渲染资产。

通过 RAF，真实捕获的 3DGS 资产能够在复杂场景中与标准 CG 资产进行双向物理交互，例如流体冲刷 3DGS 软体、布料披挂在捕获雕像上、刚体水果在 3DGS 容器中碰撞，以及机器人操作虚拟物体等。

图 1：RAF 旨在弥合真实捕获 3DGS 资产与工业级物理引擎之间的表示鸿沟。

· · ·

3DGS 的出现极大推动了真实场景的高保真重建与实时渲染。但从“能看”到“能互动”，3DGS 仍面临关键瓶颈：每个 Gaussian 主要由位置、协方差、颜色球谐系数和透明度等视觉属性组成；而物理引擎关心的是质量、速度、碰撞边界、材料参数、流体压力和布料约束等物理属性。二者并没有天然兼容关系。

现有方法通常尝试将 3DGS 直接塞进某一种特定物理求解器，例如 MPM 或 PBD。这类方法虽然能展示一些有趣的物体级物理效果，但容易受到三点限制：一是系统中通常只有 GS 粒子，难以与外部 mesh、fluid、rigid body 等标准资产交互；二是大多运行在空场景或理想平面中，无法处理真实捕获场景中的复杂静态碰撞几何；三是通常绑定单一求解器，难以接入工业级多求解器物理系统。

表 1：与已有 physics-for-3DGS 方法相比，RAF 更强调场景级、异构资产、多求解器和工业级渲染能力。

与其为 3DGS 再造一个封闭物理求解器，不如构建一个“表示抽象层”，让 3DGS 能够进入成熟、异构、可扩展的物理仿真生态。

· · ·

RAF 的整体思路可以概括为三步：先翻译，再仿真，最后翻译回来。

具体来说，RAF 首先将不同来源、不同表示形式的资产抽象为物理引擎能够理解的统一输入；随后在统一仿真内核中进行多求解器耦合；最后再将仿真后的物理状态映射回原始视觉资产，实现高保真渲染。

图 2：RAF 的整体框架，包括资产准备与表示抽象、统一仿真内核，以及视觉重耦合与 UE5 渲染。

3.1 资产准备与表示抽象

RAF 首先构建两类世界：静态世界 和 动态世界。静态世界指场景中不会运动、但会参与碰撞的几何结构，例如真实捕获的桌面、花园、雕像和房间。RAF 通过多视角图像重建、Gaussian segmentation、surface reconstruction 等流程，从真实捕获场景中提取静态碰撞边界，形成统一的静态碰撞 mesh。

动态世界则包含所有会参与物理运动的对象，例如捕获的 3DGS 物体、虚拟 mesh、外部流体粒子、布料、刚体和机器人等。对于 3DGS 动态物体，RAF 会从其连续 opacity field 中采样内部物理粒子，使原本面向表面渲染的 Gaussian 表示获得可仿真的体积物理结构。对于虚拟 mesh，RAF 通过采样将其转化为物理粒子，并保存 mesh 顶点与粒子之间的绑定关系，用于后续形变回传。

不管原始资产是 3DGS、mesh、fluid 还是 cloth，进入物理内核之前，都会被抽象到统一的物理表示中。

3.2 统一仿真内核

完成表示抽象后，RAF 将统一粒子列表和静态碰撞 mesh 输入到仿真内核中。这个内核是 solver-agnostic 的，可以调度多种专用求解器，例如用于软体和连续体的 MPM、用于流体的 SPH、用于布料和约束系统的 PBD / XPBD，以及用于刚体和机器人的 rigid-body / articulated-body solver。

RAF 的统一内核负责处理这些异构求解器之间的耦合，例如流体与软体之间的压力交换、刚体与粒子之间的碰撞、布料与复杂静态几何之间的接触等。这使得流体不再只是穿过 3DGS 物体，而是可以撞击、推动、压缩并停留在其表面；布料也不再只能落在理想平面上，而是能够真实披挂在复杂捕获雕像上。

3.3 视觉重耦合与 UE5 渲染

物理仿真得到的是粒子的新位置、速度和形变梯度等物理状态。为了得到最终高保真视觉效果，RAF 会把这些物理状态重新映射回各类视觉资产：3DGS 资产通过更新 Gaussian center 和 covariance 表现形变；mesh 资产通过 barycentric weights 将粒子运动传递回顶点；流体粒子则直接作为可视化状态。

最后，RAF 将结果序列化为 .splat、.abc、粒子缓存等资产格式，并导入 Unreal Engine 5 进行渲染。借助 UE5 的 Lumen 全局光照和 ray-traced shadows，RAF 能够在统一场景中渲染 3DGS、mesh、流体和布料等多类资产，实现兼具物理真实感与视觉真实感的动态结果。

· · ·

RAF 的实验并不只是展示单个物体在空场景中的运动，而是围绕五类具有代表性的场景级异构物理交互展开。这些场景覆盖流体、软体、布料、刚体、机器人、3DGS 物体和真实捕获环境等多种资产与求解器。

图 3：RAF 在真实捕获 3DGS 场景中实现多种场景级异构物理仿真。

动态 Demo 展示 ?

静态图很难完整体现物理仿真的时序稳定性和交互细节。下面 5 个短动图对应论文中的代表性场景，分别覆盖流体、软体、机器人、布料和刚体容器交互。

Demo 1SPH 流体被倒入虚拟碗中，同时与虚拟 mesh 和真实捕获的 3DGS 花园桌面发生交互。

Demo 2高粘度流体与捕获 3DGS 软体 donut 发生 SPH–MPM 双向耦合。

Demo 3机器人手臂在真实捕获桌面场景中操作虚拟刚体，展示 articulated-body solver 与场景级碰撞的结合。

Demo 4PBD 布料落在真实捕获雕像上，并沿着复杂非凸几何产生披挂、折叠和滑动。

Demo 5多个虚拟刚体水果在导入的 3DGS 容器中发生碰撞和堆叠。

这些结果共同说明，RAF 不仅能让 3DGS 作为动态软体参与仿真，也能让真实捕获场景和导入的 3DGS 资产作为复杂静态环境参与碰撞，从而支持更丰富的场景级组合。

· · ·

为了验证 RAF 中各个关键模块的必要性，论文从统一仿真内核、场景级静态几何和视觉重耦合三个方面进行了消融分析。

图 4：没有统一仿真内核时，SPH 流体会直接穿过 MPM 软体；完整 RAF 能正确处理流体与 3DGS 软体之间的碰撞和耦合。

图 5：没有静态碰撞 mesh 时，布料只能落到理想平面或穿过雕像；完整 RAF 能让布料真实披挂在复杂捕获几何上。

图 6：仅有物理粒子无法产生高保真视觉结果；RAF 的视觉重耦合层能够将稀疏物理状态恢复为逼真的 3DGS / mesh 渲染资产。

此外，论文也对比了传统 photogrammetry pipeline。传统 photogrammetry 虽然可以直接生成 mesh，但在复杂结构、细小部件和真实场景细节上容易出现 blobby artifacts 或缺失。RAF 利用 3DGS 的高保真捕获能力，再通过表示抽象层将其接入物理仿真，从而兼顾真实视觉质量和物理交互能力。

图 7：传统 photogrammetry 在复杂结构上容易出现几何伪影；基于 3DGS 的 RAF 能保留更高质量的真实场景细节，并进一步赋予其物理交互能力。

· · ·

本文提出了 Representation Abstraction Framework（RAF），一个用于 3D Gaussian Splatting 的场景级异构物理仿真框架。

RAF 的核心思想不是为 3DGS 构建另一个封闭的专用物理求解器，而是通过表示抽象层，将 3DGS、虚拟 mesh、流体、布料、刚体、机器人以及真实捕获静态场景统一到成熟的多求解器物理系统中。

具体而言，RAF 包含三个关键阶段：首先，将真实捕获 3DGS、虚拟 mesh 和粒子系统统一转换为物理内核可处理的粒子与碰撞边界；随后，通过 MPM、SPH、PBD、rigid-body、articulated-body 等多类求解器实现场景级异构耦合；最后，将仿真后的物理状态映射回 3DGS、mesh 和粒子资产，并在 Unreal Engine 5 中渲染最终结果。

通过一系列复杂场景实验，RAF 展示了此前 physics-for-3DGS 方法难以实现的能力：流体与 3DGS 软体双向交互、布料与真实捕获复杂几何接触、机器人与虚拟刚体操作、刚体在 3DGS 容器中碰撞等。

当前 RAF 面向离线、电影级高质量内容制作。未来，将该框架进一步拓展到实时交互场景，并自动估计真实捕获物体的物理材料参数，将是非常有潜力的方向。