arXiv cs.AI 发布于 10/08 12:00

Learning to Report Unsafe Tasks in a Multi-Agent Game

(翻译)在多智能体博弈中学习报告不安全任务

查看原文

资讯摘要

Abstract page for arXiv paper 2610.09002: Learning to Report Unsafe Tasks in a Multi-Agent Game

AI 摘要

这篇 arXiv 论文研究多智能体共享任务奖励时,不安全任务报告可能降低个体收益的问题。作者提出审计条件,分析共享策略下沉默概率的学习动力,并用 PPO 在 24 个见证者图上训练,发现分离共同见证者可显著降低不安全完成率。

AI 问答

论文研究的核心问题是什么?

研究在多智能体共享完成任务奖励时,报告不安全任务会停止任务并降低报告者收益,从而导致智能体可能学会沉默的问题。

作者提出了哪些主要方法或分析?

论文分析了共享策略下沉默概率的奖励梯度,给出审计条件,使精确策略梯度更新能够达到普遍报告,并讨论不同策略分组的审计成本。

实验结果显示了什么?

在 24 个见证者图的 PPO 训练中,分离共同见证者相比同规模随机分组在相同审计下将不安全完成率降低 33.59 个百分点。

打开原文

更多资讯

Distillation for Incrimination and Distillation for CapabilitiesarXiv cs.AI · 10/09 12:00DeepSeek三年融资史:前两年自己养,今年资本抢着送钱人人都是产品经理 · 10/08 11:29孙宇晨应战CZ健身之约:一年塑形请所有人监督金色财经 · 10/08 17:53全球算力分布:2026年Q4季度金色财经 · 10/08 20:00电子驾驶证来啦!“交管12123”支付宝小程序上线三项新功能雷峰网 · 10/08 17:42iPhone Duo:苹果,终究还是对强迫症下手了少数派 · 10/08 17:28Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior CloningarXiv cs.AI · 10/09 12:00对话如祺出行COO韩锋:世界模型越强,真实数据才是真壁垒雷峰网 · 10/08 10:27AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use TasksarXiv cs.AI · 10/09 12:00硬氪首发丨AI眼镜企业天使轮融资数亿,已与线下数百家门店合作月发售数千台36氪 · 10/08 11:03我所了解的机器视觉检测产品应用(11):换一次型到底花多少钱?五样东西先看哪些重来人人都是产品经理 · 10/08 11:20Token 用不完很焦虑?这是病,得治!人人都是产品经理 · 10/08 15:18黄仁勋发布史上最强 Surface!专为「无限智能」设计爱范儿 / APPSO · 10/08 11:22和过往的捷豹说再见吧:Type 01 发布,用千匹动力迎接一批新买家爱范儿 / APPSO · 10/08 18:41Verification and Self-Improvement in Agentic AI: Foundations and LimitsarXiv cs.AI · 10/09 12:00广告狂人乔治·路易斯的28个Big Idea忠告,句句锋利人人都是产品经理 · 10/08 12:383 个最近爆火的 Personal Agent ,在 GitHub 上有开源平替了。人人都是产品经理 · 10/09 10:36走心,你能做的最好的差异化战略人人都是产品经理 · 10/08 15:22等 AI 干活太无聊?我给 DeepSeek Harness 写了个「合成大鲸鱼」,已开源人人都是产品经理 · 10/08 14:39When Interfaces Speak: Data-Aware Generative UI Harness for Active InteractionarXiv cs.AI · 10/09 12:0036氪首发|「闹翻天PLAYFULLY」获青山资本投资,为世界造一张“中国球星卡”36氪 · 10/09 10:00Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation SystemarXiv cs.AI · 10/08 12:00Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored FeedbackarXiv cs.AI · 10/09 12:00TypeScript 终于能编译成原生程序了?启动快 12 倍,运行却慢 7.5 倍InfoQ 中文 · 10/08 21:22豆包新增“生活缴费”,会是下一个超级App吗?人人都是产品经理 · 10/09 14:34币圈大亨赵长鹏的隐秘生活金色财经 · 10/08 08:36腾讯WorkBuddy悄悄上新功能,我再也不用把文件搬来搬去了人人都是产品经理 · 10/09 13:56定义了软件工程的计算机科学家 Margaret Hamilton 去世,享年 90 岁Solidot · 10/09 14:41最新FOMC纪要出炉 看今年最后三个月该如何加息金色财经 · 10/08 14:19OpenAI 针对欧洲用户在 ChatGPT 和 Codex 嵌入水印Solidot · 10/08 14:54