TWIST 基准主要衡量什么?
衡量对话记忆系统的干预质量,即在信念变化点,系统通过自身的摄取、回忆和审查接口是否能正确行动。
(翻译)TWIST:面向对话记忆干预质量的拟议基准,附带经人工验证的草稿对齐
Abstract page for arXiv paper 2609.28575: TWIST: A Proposed Benchmark for Intervention Quality in Conversational Memory, with a Human-Validated Draft-Alignment
TWIST 是一个面向对话记忆系统干预质量的拟议基准,用四条轨道评估系统在信念变化点能否正确检测张力、审查草稿、按当前信念回答并治理敏感回忆。论文先对基准本身进行人工双重标注与仲裁验证,并设置表面匹配的困难负例控制误报。测试显示,flat-RAG 基线能检出 76% 至 97% 的真实矛盾,但会误标 16% 至 43% 的安全草稿;而连贯性导向系统特异性达 98% 至 100%,却只捕获 42% 的真实矛盾。
衡量对话记忆系统的干预质量,即在信念变化点,系统通过自身的摄取、回忆和审查接口是否能正确行动。
通过独立、盲评的双重标注与仲裁,以及评审诱饵校准和可分性审计来验证。
flat-RAG 基线可检测 0.76 至 0.97 的真实矛盾,但会误标 16% 至 43% 的表面匹配安全草稿;连贯性导向系统特异性为 0.98 至 1.00,却仅捕获 42% 的真实矛盾。
Sui 难民:华语开发者为什么选择离开?尊界踏板断裂背后:百万豪车,每一个零件都得较真人社部:“十五五”时期,每年将培养培训100万名高层次、急需紧缺技术人才:fire::fire:开源接口平台v6.1发布,支持数据插件人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制德国央行官员:欧洲债务危机风险急剧上升国铁广州局明起实施新列车运行图,多条列车首次开行为什么 AI 产品需要体验评测美股大型科技股盘前多数上涨,苹果跌超2%Deno 团队整体加入 Cloudflare:Deno runtime 一年后停止开发,Deno Deploy 六个月后关停加强汽车产品创新设计等方面管理,四部门征求意见
OpenAI少赚200亿 倒霉却是英伟达天康生物:9月销售生猪收入4.07亿元SpaceX:猎鹰9号火箭距执行Semp erCitiusSDA任务发射不到一小时
隐私赛道最新进展:从隐私货币到私人金融账户当年「字节投毒实习生」田柯宇,估值 2 亿美元,要挑战李飞飞做世界模型今年白云机场口岸出入境客货航班超10万架次,创历史同期新高
Telegram钱包全面开放 CFTC将事件合约纳入互换定义深交所:9月28日至10月9日,共对141起证券异常交易行为采取了自律监管措施特斯拉在欧洲将 Full Self-Driving 改名为 Tesla Assisted DrivingModStartBlog v11.3.0 安全加固、体验优化,自动化测试更强大
OpenAI 高管亲述:我们是怎么在一周内做出 Jev 竞品的名创优品:中国内地第三季度总GMV同比增长25-30%Rails 之父 DHH 狂吹 Rust 快 150 倍,被开发者翻代码后群嘲纯炒作?那为什么只有 Muse 爆了前8个月万能险保费近5000亿元同比增长8.4%AI时代,注意力经济终局,意图经济登场