arXiv cs.AI 发布于 09/04 12:00

DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents

(翻译)DuplexSpeechBench-IFEval:评估全双工语音智能体中的隐式指令遵循

查看原文

资讯摘要

Abstract page for arXiv paper 2609.03423: DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents

AI 摘要

论文提出DuplexSpeechBench-IFEval(DSB-IFEval),用于评估全双工语音智能体在实时口语交互中的隐式指令遵循能力。基准含1,038个测试用例,覆盖八种助手角色和五种指令条件,使用确定性IAS与LLM判定PAS评分。结果显示不同架构存在权衡:PersonaPlex等在全人格条件下遵循度明显下降;GPT-Realtime等在人格一致内容上表现较强,但对话行为不随显式或隐式指令自适应,安全冲突下难以覆盖预设指令。

AI 问答

DSB-IFEval是什么?

DSB-IFEval是一个评估全双工语音智能体隐式指令遵循能力的基准,包含1,038个测试用例,覆盖八种助手角色和五种指令条件。

该研究的主要发现是什么?

研究发现不同架构存在权衡:部分全双工模型在仅依靠人格推断行为时遵循度明显下降,另一些模型在人格一致内容上表现较强,但对话行为不随显式或隐式指令自适应,且在安全冲突下难以覆盖预设指令。

打开原文

更多资讯

今晚「鸽派加息」?金色财经 · 09/16 16:08圆桌:智能向实,产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会36氪 · 09/15 18:00当我怀念旧版 Edge 浏览器时,我在怀念什么?少数派 · 09/16 10:38地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32AI不断进步 不得不把才华埋葬在昨天金色财经 · 09/15 10:14具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性少数派 · 09/16 15:00苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源果壳网 · 09/15 20:15从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08圆桌:落地·量子计算的场景涌现——如果量子算力明天就可用,谁会第一个买单 | 36氪 2026产业未来大会36氪 · 09/15 18:08强化学习大本营新作:如何破解「学新忘旧」困局雷峰网 · 09/15 10:18以太坊 2026 年第二季度报告金色财经 · 09/15 17:06OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09GPT-6 Astra实现具身智能突破 中国如何打具身防卫战金色财经 · 09/16 14:58具透 | 精心优化, 体验感愉悦升华:iOS 27 中值得关注的新特性少数派 · 09/15 15:00Build a serverless PII redaction pipeline with Amazon Bedrock Data AutomationAWS Machine Learning Blog · 09/16 23:17AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43美联储今起议息 沃什或成关键一票金色财经 · 09/15 15:19CLARITY法案为何倒在参议院门口?这主流如你所愿金色财经 · 09/16 12:08旧消费品,正长出新生意人人都是产品经理 · 09/15 11:20高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:18豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:01现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24芯视界创始人、董事长兼首席科学家鲍捷:十年产业实践,量子感知芯片为物理AI打开物质世界 "感知入口" | 2026年36氪产业未来大会36氪 · 09/15 18:15主题演讲:破界·量子计算迈向产业深水区——量子计算的下一公里|36氪2026产业未来大会36氪 · 09/15 15:49Opus 5.2深夜上线 RSI真来了?金色财经 · 09/15 11:43产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格36氪 · 09/16 10:40梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53Introducing Gemini 3.8 Live and 3.8 Live Extended ThinkingGoogle DeepMind Blog · 09/16 01:05Python 拥抱 RISC-V:CPython 正式纳入 Tier 3 平台InfoQ 中文 · 09/15 22:34