雷峰网 发布于 09/09 10:32

ECCV 2026 专访:让大模型「忘掉XYZ」,RoboTracer 用 3D 空间感知与度量推理重塑机器人轨迹追踪

查看原文

资讯摘要

    作者丨 张   璐     编辑丨 幸丽娟                                                                       &nbs

AI 摘要

RoboTracer是北航、北大、智源、中科院自动化所等团队提出的3D空间感知与轨迹生成方法,采用图像坐标加度量深度(u,v,d)的表征代替直接预测XYZ,让VLM具备绝对尺度与多步推理能力。其基于约450万样本的TraceSpatial训练,在TraceSpatial-Bench上综合成功率从Gemini-2.5-Pro的3%提升至39%,接入内参与深度达45%;真机UR5桌面任务60%,G1浇花30%。

AI 问答

RoboTracer为什么用(u,v,d)表示轨迹,而不是直接预测(x,y,z)?

直接预测XYZ要求模型同时学准三维绝对数值和相机内外参,容易训练不稳定且泛化差;而(u,v,d)将2D像素坐标与独立深度分离,天然兼容海量互联网2D图文数据,也可通过相机内参无损还原3D坐标,迁移性更好。

大模型如何建立对“1厘米”这类绝对尺度的感知?

RoboTracer引入基于回归监督的尺度解码器,在对数空间做回归,并允许模型按上下文自主选择米、厘米、英寸等物理单位,避免与预训练阶段的物体先验冲突;同时增加通用空间编码器,支持单目RGB或额外深度图、相机内参输入,提升尺度估计。

RoboTracer在真机上表现如何?

论文报告真机成功率:UR5桌面抓放约60%,Unitree G1从左到右悬停浇花约30%,OpenVLA和RoboRefer成功率均为0。说明(u,v,d)轨迹可跨机器人构型复用,但人形长程操作仍非稳定可用。

打开原文

更多资讯

金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48一年28倍妖王:谁在爆炒?金色财经 · 09/15 21:03Firefox 156 释出Solidot · 09/16 14:25派早报:豆包发布手机助手消费者版,绿联发布首款雷电 5 显卡坞等少数派 · 09/15 08:06iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…爱范儿 / APPSO · 09/16 20:20穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:24Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11AI不会放缓金色财经 · 09/15 10:33PS2 Fat 使用的安全芯片在时隔 26 年被破解Solidot · 09/16 23:54我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56个贷不良四年涨 23 倍:这门从“救大行”长出来的生意,底层逻辑是什么?人人都是产品经理 · 09/16 17:12CLARITY折戟 多方博弈撕裂行业预期 市场怎么看?金色财经 · 09/16 10:33被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大雷峰网 · 09/16 18:33百度做了一堆AI产品,却没有一个能代表百度?人人都是产品经理 · 09/15 18:31产品定义意义上的一级场景:四维模型人人都是产品经理 · 09/16 14:07FAST 发现极短周期、最轻双中子星系统Solidot · 09/16 19:09高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:18CLARITY法案为何倒在参议院门口?这主流如你所愿金色财经 · 09/16 12:08产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09美国加密新规又黄了金色财经 · 09/16 20:21AI攻克世纪数学难题,顶尖数学家抱团抵制,而他们担心的并不是丢了工作果壳网 · 09/15 19:15New insights from Google’s AI & Economy ATLASGoogle AI Blog · 09/15 21:00F-Droid 上的应用有多少是在 AI 帮助下编写的?Solidot · 09/15 20:45OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09稳定币挤兑与套利集中化金色财经 · 09/16 18:54“裁判”不想给阿莫迪吹暂停金色财经 · 09/15 13:07找不到小红书爆文选题?去淘宝差评区抄!人人都是产品经理 · 09/15 11:29耐克、妮维雅、谷歌的警示:品类,正在误导品牌战略!人人都是产品经理 · 09/15 09:42AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54加密行业今年最重要的一天 可能就是明天金色财经 · 09/15 14:16