手术机器人技术正从遥操作向视觉 - 语言 - 动作策略演进，但实体训练面临成本高、复现难及失败风险大等挑战。

传统模拟器虽安全，却难以精准建模可变形组织、镜面反射及复杂器械交互等手术场景。 英伟达正式推出 Cosmos-H-Dreams，一款面向手术机器人的实时、动作条件驱动生成式模拟器。该系统将此前发布的 Cosmos-H-Surgical-Simulator 能力提炼为因果关系的少步学生模型，并依托 NVIDIA 加速流式推理库 FlashDreams 提供服务。在单张 NVIDIA RTX PRO 6000 GPU 上，其推理速度可达每秒 160 帧，支持人或智能策略在闭环环境中进行交互式控制。

从离线评估到实时交互

Cosmos-H-Surgical-Simulator 基于 NVIDIA Cosmos-Predict2.5-2B 构建，能在 Open-H-Embodiment 数据集上根据初始场景和机器人轨迹生成未来视频，主要用于离线策略评估和合成数据生成。而 Cosmos-H-Dreams 则实现了实时化，专门针对 da Vinci Research Kit ( dVRK ) 桌面缝合任务优化，并已通过集成 Versius 外科医生控制器，在 Versius 平台上验证了其实时操作的通用性。

自强制蒸馏与加速推理

为在保留手术动态的同时降低生成成本，Cosmos-H-Dreams 采用了专为长序列 rollout 设计的学生模型蒸馏流程：

* ** 教师模型微调：** 基于包含成功演示及针掉落、打结失败等异常案例的 JHU dVRK 数据集进行微调，确保模拟器能重现不良动作后果。训练时间视界从 12 帧逐步增加至 72 帧以提升稳定性。

* ** 因果预热与自强制蒸馏：** 学生模型首先模仿教师模型缓存的去噪轨迹，随后在训练中利用自身生成的上下文向前推进，并接受冻结教师模型的分布匹配监督。

这种 " 自强制蒸馏 " 机制解决了训练与部署期间的上下文不匹配问题，使模型仅需两步去噪即可生成潜在帧。 FlashDreams 引擎通过流式 KV 缓存、CUDA 图捕获等技术，将推理速度从标准模型的每秒 10 帧提升至交互式水平。系统还提供浏览器及 Meta Quest 客户端接口，支持键盘命令、控制器映射及 WebXR 显示，并可连接学习到的手术策略进行闭环测试。 ### 迈向闭环手术物理智能 Cosmos-H-Dreams 旨在成为手术策略开发的积极伙伴，按需生成罕见故障场景，加速强化学习或模仿学习，无需占用稀缺的实体机器人硬件。

未来，该技术有望应用于延迟感知远程手术、交互式手术排练及术中决策支持。 需注意的是，Cosmos-H-Dreams 定位为研发平台，而非诊断系统或实体手术控制器。随着模型保真度与硬件效率的提升，它将为外科医生教育、合成数据生成及策略评估提供共享的物理智能环境。

目前，英伟达已开放相关模型、数据及训练指南，供开发者适配特定具身形态数据。

【星途科讯 图文丨小林 首发于 ZAKER 科技，转载请注明出处】