RoboTracer为什么用(u,v,d)表示轨迹,而不是直接预测(x,y,z)?
直接预测XYZ要求模型同时学准三维绝对数值和相机内外参,容易训练不稳定且泛化差;而(u,v,d)将2D像素坐标与独立深度分离,天然兼容海量互联网2D图文数据,也可通过相机内参无损还原3D坐标,迁移性更好。

作者丨 张 璐 编辑丨 幸丽娟 &nbs
RoboTracer是北航、北大、智源、中科院自动化所等团队提出的3D空间感知与轨迹生成方法,采用图像坐标加度量深度(u,v,d)的表征代替直接预测XYZ,让VLM具备绝对尺度与多步推理能力。其基于约450万样本的TraceSpatial训练,在TraceSpatial-Bench上综合成功率从Gemini-2.5-Pro的3%提升至39%,接入内参与深度达45%;真机UR5桌面任务60%,G1浇花30%。
直接预测XYZ要求模型同时学准三维绝对数值和相机内外参,容易训练不稳定且泛化差;而(u,v,d)将2D像素坐标与独立深度分离,天然兼容海量互联网2D图文数据,也可通过相机内参无损还原3D坐标,迁移性更好。
RoboTracer引入基于回归监督的尺度解码器,在对数空间做回归,并允许模型按上下文自主选择米、厘米、英寸等物理单位,避免与预训练阶段的物体先验冲突;同时增加通用空间编码器,支持单目RGB或额外深度图、相机内参输入,提升尺度估计。
论文报告真机成功率:UR5桌面抓放约60%,Unitree G1从左到右悬停浇花约30%,OpenVLA和RoboRefer成功率均为0。说明(u,v,d)轨迹可跨机器人构型复用,但人形长程操作仍非稳定可用。
金色Web3.0日报 | 黄仁勋批驳「AI末日论」
一年28倍妖王:谁在爆炒?Firefox 156 释出
派早报:豆包发布手机助手消费者版,绿联发布首款雷电 5 显卡坞等
iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…
穿透查询怎样升级为穿透管控?Build an AI-powered product tagging system with Amazon SageMaker serverless model customization
AI不会放缓PS2 Fat 使用的安全芯片在时隔 26 年被破解
我的“一人公司”,是怎么搞钱的?
个贷不良四年涨 23 倍:这门从“救大行”长出来的生意,底层逻辑是什么?
CLARITY折戟 多方博弈撕裂行业预期 市场怎么看?
被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大
百度做了一堆AI产品,却没有一个能代表百度?
产品定义意义上的一级场景:四维模型FAST 发现极短周期、最轻双中子星系统高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代
CLARITY法案为何倒在参议院门口?这主流如你所愿
产品经理的体面,是一块不能失守的 “括约肌”
美国加密新规又黄了
AI攻克世纪数学难题,顶尖数学家抱团抵制,而他们担心的并不是丢了工作
New insights from Google’s AI & Economy ATLASF-Droid 上的应用有多少是在 AI 帮助下编写的?
OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成Rust
稳定币挤兑与套利集中化
“裁判”不想给阿莫迪吹暂停
找不到小红书爆文选题?去淘宝差评区抄!
耐克、妮维雅、谷歌的警示:品类,正在误导品牌战略!
AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清
加密行业今年最重要的一天 可能就是明天