Cosmos-H-Dreams是什么?
Cosmos-H-Dreams是NVIDIA推出的实时动作条件生成式模拟器,面向手术机器人,可在单张RTX PRO 6000 GPU上以约160帧/秒生成手术场景视频。
(翻译)英伟达 Cosmos-H-Dreams:为手术机器人带来实时生成式模拟

A Blog post by NVIDIA on Hugging Face
NVIDIA发布Cosmos-H-Dreams,一个面向手术机器人的实时动作条件生成式模拟器。该模型将Cosmos-H-Surgical-Simulator蒸馏为因果少步学生模型,并通过FlashDreams推理库在单张RTX PRO 6000 GPU上实现约160帧/秒的交互生成。系统支持键盘、Meta Quest头显及闭环策略控制,可用于手术技能训练、策略评估和合成数据生成。
Cosmos-H-Dreams是NVIDIA推出的实时动作条件生成式模拟器,面向手术机器人,可在单张RTX PRO 6000 GPU上以约160帧/秒生成手术场景视频。
通过将Cosmos-H-Surgical-Simulator蒸馏为因果少步学生模型,并使用FlashDreams流式推理库,结合KV缓存、CUDA Graph与模型编译等优化实现。
可用于手术策略训练与评估、合成数据生成、罕见失败场景模拟、远程手术延迟补偿及手术排练等。