雷峰网 发布于 09/03 18:09

把 Gemini 和 GPT 放到《我的世界》当教练,谁能看懂机器人的微操?

查看原文

资讯摘要

    作者丨 张   璐     编辑丨 幸丽娟                                                                       &nbs

AI 摘要

清华与NVIDIA联合团队在《VLM-AR3L》研究中,将Gemini 2.0、GPT-4.1等主流视觉语言模型放入《我的世界》等具身仿真环境进行动作评估测试。结果显示Gemini 2.0综合最稳,开源小模型在部分任务上反超。针对直接调用大模型作为奖励信号存在的成本高、绝对打分漂移等问题,团队提出绝对加相对双奖励与孪生网络蒸馏框架,将查询开销降至1/20,并在长时程任务中超越人类手写奖励。

AI 问答

VLM-AR3L 是如何解决大模型高频调用带来的高成本和延迟问题的?

研究团队让大模型在后台从经验回放池中离线采样图像对并生成偏好标签,再用这些标签训练一个极小的本地孪生网络。强化学习训练时只调用本地轻量网络获取奖励,从而将大模型API查询需求降低约20倍。

在具身智能动作评估测试中,哪个模型综合表现最好?

Gemini-2.0-Flash 是唯一在所有10项任务中准确率全部保持在70%以上的模型,综合表现最稳,部分任务准确率超过90%。

传统绝对打分方法在具身任务中存在哪些缺陷?

一是奖励评估会发生剧烈漂移,训练后期评分基准不稳定;二是对于循环或非线性动作,如环形跑道任务,全局固定的高低分在数学上不成立,会导致智能体陷入死循环,收益始终为0。

打开原文

更多资讯

视频号评论区小蓝词使用指南人人都是产品经理 · 09/16 10:27贝森特回购落空与通胀重压 美联储加息或全面开启金色财经 · 09/15 11:06地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32被英伟达点名的杭州团队,补上了AI for Science的「最后一公里」量子位 · 09/16 11:40差 11 票:币圈和华盛顿的蜜月期结束了金色财经 · 09/16 17:20GPT-6 Astra 之后,产品经理需要重新设计人在流程中的位置人人都是产品经理 · 09/16 09:10做了两年AI落地,我总结了这7点思考人人都是产品经理 · 09/16 11:04实测豆包新模型2.1-pro,这次审美和长时间Agent任务都追上第一档了人人都是产品经理 · 09/16 17:21Grayscale:比特币能否优化私募市场投资组合?金色财经 · 09/15 09:10清晰法案投票失败 后续还有机会吗?金色财经 · 09/16 14:34豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31开学季 | 学生理财的三条建议,学生党也可以一样理财少数派 · 09/15 11:10我和我的 AI 手机吃了 3 顿饭爱范儿 / APPSO · 09/16 12:04基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用雷峰网 · 09/16 16:20CLARITY折戟 多方博弈撕裂行业预期 市场怎么看?金色财经 · 09/16 10:33语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52AI大模型工场2026 AI产业生态大会今日举办,大咖同台共探智能生长与产业共生量子位 · 09/16 16:51关于项目交付的思考:部署是最后两公里,验收才是最后一公里人人都是产品经理 · 09/16 09:54黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23AI 写了几十页 PPT,“经营分析”报告仍被批不够深入?人人都是产品经理 · 09/15 11:32月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07Denuvo 起诉黑客违反 DMCA 反规避条款Solidot · 09/16 23:27牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15Building AI to accelerate science and improve livesGoogle AI Blog · 09/16 00:00担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39早报|雷军同日到访宇树与B站/罗永浩差评带来流量,野人先生单日涨粉近3万/鸿蒙智行确认问界合作调整,赛力斯主导爱范儿 / APPSO · 09/16 08:45黄仁勋正演讲遇特朗普突然来电:通话全程直播金色财经 · 09/15 21:33梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53