arXiv cs.AI 发布于 09/25 12:00

TWIST: A Proposed Benchmark for Intervention Quality in Conversational Memory, with a Human-Validated Draft-Alignment

(翻译)TWIST:面向对话记忆干预质量的拟议基准,附带经人工验证的草稿对齐

查看原文

资讯摘要

Abstract page for arXiv paper 2609.28575: TWIST: A Proposed Benchmark for Intervention Quality in Conversational Memory, with a Human-Validated Draft-Alignment

AI 摘要

TWIST 是一个面向对话记忆系统干预质量的拟议基准,用四条轨道评估系统在信念变化点能否正确检测张力、审查草稿、按当前信念回答并治理敏感回忆。论文先对基准本身进行人工双重标注与仲裁验证,并设置表面匹配的困难负例控制误报。测试显示,flat-RAG 基线能检出 76% 至 97% 的真实矛盾,但会误标 16% 至 43% 的安全草稿;而连贯性导向系统特异性达 98% 至 100%,却只捕获 42% 的真实矛盾。

AI 问答

TWIST 基准主要衡量什么?

衡量对话记忆系统的干预质量,即在信念变化点,系统通过自身的摄取、回忆和审查接口是否能正确行动。

论文如何验证 TWIST 基准本身?

通过独立、盲评的双重标注与仲裁,以及评审诱饵校准和可分性审计来验证。

flat-RAG 基线与连贯性导向系统在测试中表现如何?

flat-RAG 基线可检测 0.76 至 0.97 的真实矛盾,但会误标 16% 至 43% 的表面匹配安全草稿;连贯性导向系统特异性为 0.98 至 1.00,却仅捕获 42% 的真实矛盾。

打开原文

更多资讯

7-Eleven计划最早在2027财年在美国上市36氪 · 10/09 19:09“LaserCyber”完成数千万元融资36氪 · 10/10 13:33人人皆可为师:全球首个物理AI数据众包服务平台“觅蜂派”正式发布雷峰网 · 10/10 11:45Sui 难民:华语开发者为什么选择离开?金色财经 · 10/09 21:29尊界踏板断裂背后:百万豪车,每一个零件都得较真36氪 · 10/10 08:00人社部:“十五五”时期,每年将培养培训100万名高层次、急需紧缺技术人才36氪 · 10/10 11:11:fire::fire:开源接口平台v6.1发布,支持数据插件开源中国 · 10/10 09:51人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制36氪 · 10/10 11:51德国央行官员:欧洲债务危机风险急剧上升36氪 · 10/10 15:37国铁广州局明起实施新列车运行图,多条列车首次开行36氪 · 10/10 17:59为什么 AI 产品需要体验评测人人都是产品经理 · 10/10 15:31美股大型科技股盘前多数上涨,苹果跌超2%36氪 · 10/09 20:50Deno 团队整体加入 Cloudflare:Deno runtime 一年后停止开发,Deno Deploy 六个月后关停开源中国 · 10/10 11:02加强汽车产品创新设计等方面管理,四部门征求意见36氪 · 10/10 17:09OpenAI少赚200亿 倒霉却是英伟达金色财经 · 10/10 16:20天康生物:9月销售生猪收入4.07亿元36氪 · 10/09 20:59SpaceX:猎鹰9号火箭距执行Semp erCitiusSDA任务发射不到一小时36氪 · 10/10 15:28隐私赛道最新进展:从隐私货币到私人金融账户金色财经 · 10/10 12:29当年「字节投毒实习生」田柯宇,估值 2 亿美元,要挑战李飞飞做世界模型雷峰网 · 10/09 18:34今年白云机场口岸出入境客货航班超10万架次,创历史同期新高36氪 · 10/10 13:46Telegram钱包全面开放 CFTC将事件合约纳入互换定义金色财经 · 10/10 07:54深交所:9月28日至10月9日,共对141起证券异常交易行为采取了自律监管措施36氪 · 10/09 19:57特斯拉在欧洲将 Full Self-Driving 改名为 Tesla Assisted DrivingSolidot · 10/10 16:52ModStartBlog v11.3.0 安全加固、体验优化,自动化测试更强大开源中国 · 10/10 18:23OpenAI 高管亲述:我们是怎么在一周内做出 Jev 竞品的InfoQ 中文 · 10/10 01:24名创优品:中国内地第三季度总GMV同比增长25-30%36氪 · 10/09 20:14Rails 之父 DHH 狂吹 Rust 快 150 倍,被开发者翻代码后群嘲InfoQ 中文 · 10/10 23:24纯炒作?那为什么只有 Muse 爆了人人都是产品经理 · 10/10 10:13前8个月万能险保费近5000亿元同比增长8.4%36氪 · 10/10 13:26AI时代,注意力经济终局,意图经济登场人人都是产品经理 · 10/10 15:01