Google DeepMind 最新发布的 D4RT（Dynamic 4D Reconstruction and Tracking）模型，标志着人工智能在动态场景理解领域取得了重大突破。这款统一化的 AI 模型能够在单一高效框架内实现四维场景的重建与追踪，为机器人、增强现实和"世界模型"等前沿应用奠定了坚实基础。四维感知：AI 视觉的下一个前沿 人类在观察世界时，会不自觉地执行一项非凡的记忆与预测任务。我们不仅能看到某一时刻的世界状态，还能理解它之前的状态以及即将发生的变化。我们的大脑维持着对现实的持续表征，并利用这一模型来推断过去、现在与未来之间的因果关系。 为了让机器也能像人类一样"看见"世界，研究人员可以为它们配备摄像头，但这只是解决了输入问题。要真正理解这些输入，计算机必须解决一个复杂的逆问题：将视频（一系列二维平面投影）转化为对丰富、立体、动态的三维世界的理解。D4RT 的技术架构：查询驱动的统一框架 D4RT 采用统一的编码器-解码器 Transformer 架构。编码器首先将输入视频处理为场景几何与运动的压缩表征。与早期使用独立模块处理不同任务的系统不同，D4RT 通过灵活的查询机制只计算所需内容，其核心围绕一个根本问题：

视频中的某个像素在任意时刻、从选定相机视角观察时，在三维空间中的位置在哪里？

基于 DeepMind 先前在 SRT（Scene Representation Transformer）方面的工作，轻量级解码器通过查询这一表征来回答具体实例。由于查询相互独立，它们可以在现代 AI 硬件上并行处理。这使得 D4RT 极快且可扩展，无论是追踪几个点还是重建整个场景。核心能力：快速精准的四维理解 凭借这种灵活的公式化方法，D4RT 能够解决多种 4D 任务：

• 点追踪（Point Tracking）：通过查询像素在不同时间步的位置，D4RT 可以预测其 3D 轨迹。重要的是，即使物体在其他视频帧中不可见，模型也能进行预测。
• 点云重建（Point Cloud Reconstruction）：通过冻结时间和相机视角，D4RT 可以直接生成场景的完整 3D 结构，无需额外的相机估计或逐视频迭代优化。
• 相机姿态估计（Camera Pose Estimation）：通过生成并比对来自不同视角的单一时刻 3D 快照，D4RT 可以轻松恢复相机轨迹。

性能突破：效率提升 300 倍 D4RT 的简化架构和新颖查询机制使其处于 4D 重建领域的前沿，同时比先前方法效率提升高达 300 倍——快到足以支持机器人、增强现实等实时应用。 根据技术报告，D4RT 在各种 4D 重建任务中均优于先前方法。定性比较显示，虽然其他方法在处理动态物体时经常遇到困难——常常出现重复或完全无法重建的情况——但 D4RT 能够保持对运动世界的稳固、连续理解。 关键的是，D4RT 的精度并未以效率为代价。在测试中，它的性能比先前最先进方法快 18 到 300 倍。例如，D4RT 在单个 TPU 芯片上处理一分钟视频大约只需 5 秒，而先前最先进方法可能需要长达 10 分钟——提升了 120 倍。下游应用场景 D4RT 证明了在 4D 重建中无需在准确性和效率之间做选择。其灵活的查询系统能够实时捕捉我们的动态世界，为下一代空间计算铺平道路：

• 机器人（Robotics）：机器人需要在充满移动人员和物体的动态环境中导航。D4RT 可以提供安全导航和灵巧操作所需的空间感知能力。
• 增强现实（AR）：为了让 AR 眼镜将数字对象叠加到现实世界，它们需要对场景几何有即时、低延迟的理解。D4RT 的效率使其在设备端部署成为可触及的现实。
• 世界模型（World Models）：通过有效解耦相机运动、物体运动和静态几何，D4RT 让我们更接近拥有物理现实真正"世界模型"的 AI——这是通往 AGI 的必要步骤。

技术细节与资源 D4RT 由 Google DeepMind 的研究人员 Guillaume Le Moing 和 Mehdi S. M. Sajjadi 主导开发。相关技术报告已发布在 arXiv 上，项目网站提供了交互式演示，让用户可以直接在浏览器中探索 D4RT 的输出效果。 研究人员正在继续探索该模型的能力及其在机器人、增强现实等领域的潜在应用。 来源：Google DeepMind Blog - D4RT: Teaching AI to see the world in four dimensions 技术报告：arXiv:2512.08924 项目网站：https://d4rt-paper.github.io/