该框架要解决的核心问题是什么?
在线A/B实验是用户参与度决策标准,但流量和读出时间限制可测试的对话式AI改动数量;论文检验离线代理信号能否与实验结果一致,以便在稀缺实验流量分配前排序候选方案。
(翻译)从离线代理到在线决策:对话式AI的分层参与度评估框架
Abstract page for arXiv paper 2609.25408: From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI
arXiv论文提出面向对话式AI的分层参与度评估框架,将离线代理视为行为标签到产品结果、分类器到候选助手行为、离线信号到实验效应三层对齐,并用区间感知决策一致性和实验内排序进行审计。基于已部署多轮助手的27个实验、489组离线-在线对比,其中8个实验的113组冻结后对比达到81.1% F1,而原始分类器分数为34.3%,且复合方法无方向错误判断。
在线A/B实验是用户参与度决策标准,但流量和读出时间限制可测试的对话式AI改动数量;论文检验离线代理信号能否与实验结果一致,以便在稀缺实验流量分配前排序候选方案。
将离线代理拆成三层对齐,并用区间感知决策一致性和实验内排序评估,比较离线与在线置信区间而非仅点估计。
在已部署多轮助手上,27个实验产生489组配对对比;冻结映射后的8个实验113组对比中,复合方法F1为81.1%,原始分类器分数为34.3%,且复合方法没有方向错误判断,而原始分数有31次。
3.76亿人集体抛弃,保健品跌出银发消费前三,精准营养成“香饽饽”实测一个月,我把手机里 20 多个常用 App 全删了,只留了一个豆包工作德国央行官员:欧洲债务危机风险急剧上升
陶哲轩转发抵制声明,数学界和OpenAI彻底撕破脸数据越多≠决策越好:从无人机滑翔到多机器人通信,重新审视数据与信息的关系 | IROS 2026
有哪些“你觉得很憋屈但没招”的事情,其实完全可以举报!!!
跨境汇款没有全球赢家:区域玩家捕获绝大部分价值上海国际能源交易中心调整原油、低硫燃料油期货相关合约交易限额新思科技与亚马逊达成多年期定制芯片战略IP协议机构:预估2031年VCSEL市场需求量将有望达到6.5亿颗北京:加大新能源汽车推广力度 培育汽车消费新增长点国旅文化投资集团增资至11.63亿元,增幅超130%我让豆包工作看了30个爆款AI封面,它总结出了八个规律里程碑时刻!比亚迪第15万台新能源商用车下线
不要看衰以太坊:ETH依然重要的10个理由小鹏集团当选联合国欧洲经济委员会自动驾驶新设工作组秘书长超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务“物外智趣”完成数千万元人民币天使轮融资App+1|专注星空:让「少刷手机」这件事更愉悦一点
停产一年,宝马带着 iX4 重回溜背市场,海外售价 53 万元起Java 近期新闻:TornadoVM 7.0、Groovy 6.0、GraalVM、Hibernate、Quarkus、Gradle、Maven.NET多类型数据库通用库更新升级到V26.10.9节后机票价格“跳水”,多条航线低于高铁票价美“天鹅座”货运飞船结束任务 离开国际空间站
Kimi 现代高速开源治理的 AI Native 实践|QCon上海国铁广州局明起实施新列车运行图,多条列车首次开行
隐私赛道最新进展:从隐私货币到私人金融账户梅赛德斯-奔驰美国公司召回30064辆汽车天康生物:9月销售生猪收入4.07亿元