雷峰网 发布于 09/01 10:56

李飞飞、吴佳俊再联手,打破世界模型和机器人动作的「巴别塔」

查看原文

资讯摘要

    作者丨 幸丽娟     编辑丨岑   峰                                                                       &nbsp

AI 摘要

本文介绍李飞飞、吴佳俊团队提出的TrAct框架,以视觉轨迹作为中间翻译层,统一机器人动作控制与世界模型预测。实验显示,TrAct在仿真和真机任务中显著提升成功率,尤其在跨本体、跨任务泛化上表现突出,并降低了对机器人动作标注数据的需求。

AI 问答

TrAct的核心创新是什么?

TrAct提出用视觉轨迹作为机器人动作与世界模型之间的统一翻译层,让机器人动作和视觉预测通过轨迹实现对齐,从而提升世界模型预演的准确性和跨本体泛化能力。

TrAct如何利用人类视频数据?

由于人类视频没有机器人动作标注,传统VLA难以使用。TrAct只需视觉轨迹作为监督信号,因此可以混合DROID机器人数据与EgoDex人类视频进行预训练,扩大了训练数据规模。

打开原文

更多资讯

高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:18被用了几千年的铜,怎么突然成了AI时代的新宠?果壳网 · 09/16 16:15微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降人人都是产品经理 · 09/16 11:48分析师:四大关键因素驱动 Robinhood 链快速增长金色财经 · 09/15 17:27How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI FactoriesNVIDIA Technical Blog · 09/16 00:55字节6年,如何一步步走上带20人团队的leader人人都是产品经理 · 09/16 14:39地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36Mozilla 报告称中国开放权重模型与美国前沿模型仅相差 4.4 个月Solidot · 09/16 18:30129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00实习生1天消耗1亿Token被约谈:如何衡量Token的ROI人人都是产品经理 · 09/16 14:19CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:2036氪研究院 | 2026年北京市OPC创业者研究报告36氪 · 09/15 16:30美股太贵 该加仓新兴市场吗?金色财经 · 09/16 18:57别闹,几粒盐就能立起高脚杯?你是不是用胶水了?果壳网 · 09/15 14:15把记忆交给CPU,大模型会变快量子位 · 09/16 11:07横扫四榜,DM0.5 凭什么面面俱到?雷峰网 · 09/15 10:22商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发36氪 · 09/16 10:00Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00超越代币化:让RWA在链上真正有用金色财经 · 09/16 16:39CLARITY折戟 多方博弈撕裂行业预期 市场怎么看?金色财经 · 09/16 10:33产品定义意义上的一级场景:四维模型人人都是产品经理 · 09/16 14:07Anthropic CEO自爆行业黑幕金色财经 · 09/15 19:372人团队0融资,用AI搓的复古相机APP霸榜韩国总榜第4,还做到了3个月10亿销售额?人人都是产品经理 · 09/16 10:20Denuvo 起诉黑客违反 DMCA 反规避条款Solidot · 09/16 23:27OpenAI 总裁最新采访:现在所有人对 AI 的预测,大概率都是错的人人都是产品经理 · 09/15 16:19让AI真正赋能企业(初探)人人都是产品经理 · 09/15 17:20HYROX比赛腹泻这事,运动员拼归拼,但主办方不能装看不见果壳网 · 09/16 23:15CLARITY法案为何倒在参议院门口?这主流如你所愿金色财经 · 09/16 12:08渣打给ARB十美元目标价靠什么?金色财经 · 09/16 21:36