DSB-IFEval是什么?
DSB-IFEval是一个评估全双工语音智能体隐式指令遵循能力的基准,包含1,038个测试用例,覆盖八种助手角色和五种指令条件。
(翻译)DuplexSpeechBench-IFEval:评估全双工语音智能体中的隐式指令遵循
Abstract page for arXiv paper 2609.03423: DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents
论文提出DuplexSpeechBench-IFEval(DSB-IFEval),用于评估全双工语音智能体在实时口语交互中的隐式指令遵循能力。基准含1,038个测试用例,覆盖八种助手角色和五种指令条件,使用确定性IAS与LLM判定PAS评分。结果显示不同架构存在权衡:PersonaPlex等在全人格条件下遵循度明显下降;GPT-Realtime等在人格一致内容上表现较强,但对话行为不随显式或隐式指令自适应,安全冲突下难以覆盖预设指令。
DSB-IFEval是一个评估全双工语音智能体隐式指令遵循能力的基准,包含1,038个测试用例,覆盖八种助手角色和五种指令条件。
研究发现不同架构存在权衡:部分全双工模型在仅依靠人格推断行为时遵循度明显下降,另一些模型在人格一致内容上表现较强,但对话行为不随显式或隐式指令自适应,且在安全冲突下难以覆盖预设指令。
今晚「鸽派加息」?圆桌:智能向实,产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会
当我怀念旧版 Edge 浏览器时,我在怀念什么?地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出
AI不断进步 不得不把才华埋葬在昨天
具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性
苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源
从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海圆桌:落地·量子计算的场景涌现——如果量子算力明天就可用,谁会第一个买单 | 36氪 2026产业未来大会
强化学习大本营新作:如何破解「学新忘旧」困局
以太坊 2026 年第二季度报告
OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成Rust
GPT-6 Astra实现具身智能突破 中国如何打具身防卫战
具透 | 精心优化, 体验感愉悦升华:iOS 27 中值得关注的新特性Build a serverless PII redaction pipeline with Amazon Bedrock Data Automation
AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清
从担心AI失控 到AI造福人类:比尔盖茨怎么想
美联储今起议息 沃什或成关键一票
CLARITY法案为何倒在参议院门口?这主流如你所愿
旧消费品,正长出新生意高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代
豆包 2.1 Pro模型更新,已接入豆包工作
现在参与以太坊原生质押为什么要先排队一个月?芯视界创始人、董事长兼首席科学家鲍捷:十年产业实践,量子感知芯片为物理AI打开物质世界 "感知入口" | 2026年36氪产业未来大会主题演讲:破界·量子计算迈向产业深水区——量子计算的下一公里|36氪2026产业未来大会
Opus 5.2深夜上线 RSI真来了?产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格梁文锋CFO到位!投过智谱MiniMax
Introducing Gemini 3.8 Live and 3.8 Live Extended Thinking
Python 拥抱 RISC-V:CPython 正式纳入 Tier 3 平台