arXiv cs.AI 发布于 09/23 12:00

From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI

(翻译)从离线代理到在线决策:对话式AI的分层参与度评估框架

查看原文

资讯摘要

Abstract page for arXiv paper 2609.25408: From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI

AI 摘要

arXiv论文提出面向对话式AI的分层参与度评估框架,将离线代理视为行为标签到产品结果、分类器到候选助手行为、离线信号到实验效应三层对齐,并用区间感知决策一致性和实验内排序进行审计。基于已部署多轮助手的27个实验、489组离线-在线对比,其中8个实验的113组冻结后对比达到81.1% F1,而原始分类器分数为34.3%,且复合方法无方向错误判断。

AI 问答

该框架要解决的核心问题是什么?

在线A/B实验是用户参与度决策标准,但流量和读出时间限制可测试的对话式AI改动数量;论文检验离线代理信号能否与实验结果一致,以便在稀缺实验流量分配前排序候选方案。

作者如何审计离线代理?

将离线代理拆成三层对齐,并用区间感知决策一致性和实验内排序评估,比较离线与在线置信区间而非仅点估计。

主要实验结果如何?

在已部署多轮助手上,27个实验产生489组配对对比;冻结映射后的8个实验113组对比中,复合方法F1为81.1%,原始分类器分数为34.3%,且复合方法没有方向错误判断,而原始分数有31次。

打开原文

更多资讯

“LaserCyber”完成数千万元融资36氪 · 10/10 13:333.76亿人集体抛弃,保健品跌出银发消费前三,精准营养成“香饽饽”果壳网 · 10/10 16:15实测一个月,我把手机里 20 多个常用 App 全删了,只留了一个豆包工作人人都是产品经理 · 10/10 17:33德国央行官员:欧洲债务危机风险急剧上升36氪 · 10/10 15:37陶哲轩转发抵制声明,数学界和OpenAI彻底撕破脸爱范儿 / APPSO · 10/09 18:21数据越多≠决策越好:从无人机滑翔到多机器人通信,重新审视数据与信息的关系 | IROS 2026雷峰网 · 10/10 11:28有哪些“你觉得很憋屈但没招”的事情,其实完全可以举报!!!果壳网 · 10/10 14:15跨境汇款没有全球赢家:区域玩家捕获绝大部分价值金色财经 · 10/09 17:03上海国际能源交易中心调整原油、低硫燃料油期货相关合约交易限额36氪 · 10/09 18:54新思科技与亚马逊达成多年期定制芯片战略IP协议36氪 · 10/10 13:41机构:预估2031年VCSEL市场需求量将有望达到6.5亿颗36氪 · 10/10 12:52北京:加大新能源汽车推广力度 培育汽车消费新增长点36氪 · 10/10 14:14国旅文化投资集团增资至11.63亿元,增幅超130%36氪 · 10/10 12:05我让豆包工作看了30个爆款AI封面,它总结出了八个规律人人都是产品经理 · 10/10 13:03里程碑时刻!比亚迪第15万台新能源商用车下线雷峰网 · 10/10 12:08不要看衰以太坊:ETH依然重要的10个理由金色财经 · 10/10 15:41小鹏集团当选联合国欧洲经济委员会自动驾驶新设工作组秘书长36氪 · 10/10 15:47超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务36氪 · 10/10 12:12“物外智趣”完成数千万元人民币天使轮融资36氪 · 10/10 13:55App+1|专注星空:让「少刷手机」这件事更愉悦一点少数派 · 10/10 10:19停产一年,宝马带着 iX4 重回溜背市场,海外售价 53 万元起爱范儿 / APPSO · 10/09 18:44Java 近期新闻:TornadoVM 7.0、Groovy 6.0、GraalVM、Hibernate、Quarkus、Gradle、MavenInfoQ 中文 · 10/11 01:00.NET多类型数据库通用库更新升级到V26.10.9开源中国 · 10/10 10:01节后机票价格“跳水”,多条航线低于高铁票价36氪 · 10/10 12:57美“天鹅座”货运飞船结束任务 离开国际空间站36氪 · 10/10 09:24Kimi 现代高速开源治理的 AI Native 实践|QCon上海InfoQ 中文 · 10/09 18:00国铁广州局明起实施新列车运行图,多条列车首次开行36氪 · 10/10 17:59隐私赛道最新进展:从隐私货币到私人金融账户金色财经 · 10/10 12:29梅赛德斯-奔驰美国公司召回30064辆汽车36氪 · 10/10 16:25天康生物:9月销售生猪收入4.07亿元36氪 · 10/09 20:59