雷峰网 发布于 08/28 15:24

一段视频,让机器人学会开门并穿越:Video2DoorTraversal 如何打通 Real-to-Sim-to-Real

查看原文

资讯摘要

对人来说,推门近乎是一种下意识动作。对移动操作机器人来说,这是一道把感知、移动、操作和控制绑在一起的综合题。 机器人需要找到并靠近把手,完成接触与旋转,在门体移动时协调底盘、机械臂和夹爪,还要避开门框、连续穿过狭窄门口。任何一步出现误差,都可能让整段任务中断。

AI 摘要

纽娲机器人、上海交通大学和山东大学的研究团队发布预印本 Video2DoorTraversal,提出单视频 Real-to-Sim-to-Real 框架。该系统用一段 RGB 视频重建真实门的数字孪生 DoorTwin,在仿真中生成并筛选轨迹,训练轮足移动操作机器人完成从接近、开门到穿越的连续任务。在五扇门共 175 次真机测试中平均成功率为 96.57%,在三扇结构相似的未见门上零样本平均成功率为 80.95%,平均用时约 13 秒,视觉处理与策略推理均在机器人本地完成。

AI 问答

Video2DoorTraversal 在真机测试中的平均成功率是多少?

在五扇目标门上共测试 175 次,成功 169 次,平均成功率为 96.57%。

该框架在未见门上的零样本表现如何?

在三扇结构相似、训练阶段未见过的门上,零样本平均成功率为 80.95%,无需增加目标门训练或轨迹生成。

打开原文

更多资讯

豆包工作和飞书,把中国第一个团队 Agent 拉进了工作群爱范儿 / APPSO · 09/15 14:39AMC 炮轰 Robinhood:股票归谁做主?金色财经 · 09/15 21:18数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”雷峰网 · 09/15 15:14差 11 票:币圈和华盛顿的蜜月期结束了金色财经 · 09/16 17:20奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台InfoQ 中文 · 09/16 17:10“裁判”不想给阿莫迪吹暂停金色财经 · 09/15 13:07美联储今起议息 沃什或成关键一票金色财经 · 09/15 15:19圆桌:智能向实,产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会36氪 · 09/15 18:00月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07从200亿收购失败到650亿IPO:Figma如何用“协作”颠覆设计帝国人人都是产品经理 · 09/16 11:30二次元“赛博分身”撬动日本市场:玩家“沉默”的AI陪伴产品,凭什么次留60%?人人都是产品经理 · 09/15 08:53个贷不良四年涨 23 倍:这门从“救大行”长出来的生意,底层逻辑是什么?人人都是产品经理 · 09/16 17:12当黄仁勋和Dario遇上休谟:火鸡、台球与AI末日论金色财经 · 09/15 22:18F-Droid 上的应用有多少是在 AI 帮助下编写的?Solidot · 09/15 20:45OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20一张GPU跑10万原子!分子之心用AI把化学反应“拍”成了电影量子位 · 09/15 17:58实测豆包新模型2.1-pro,这次审美和长时间Agent任务都追上第一档了人人都是产品经理 · 09/16 17:21云连锁到轻连锁,品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35XCancel 服务再次下线Solidot · 09/15 14:20读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了人人都是产品经理 · 09/15 12:14Building AI to accelerate science and improve livesGoogle AI Blog · 09/16 00:00比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21只会搜关键词还不够,Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04Java新闻汇总:Simple JSON API、GlassFish、Jakarta EE、JNoSQL和Open Liberty、LangChain4jInfoQ 中文 · 09/16 19:06Denuvo 起诉黑客违反 DMCA 反规避条款Solidot · 09/16 23:27英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22