InfoQ 中文 发布于 09/13 18:00

Read, Don't Write: 重塑大模型评价体系,构建全自动、可进化的“探测式”评测管线|QCon上海

查看原文

资讯摘要

点击查看原文>

AI 摘要

文章介绍阿里巴巴高级技术专家孙鹏将在 QCon 上海 2026 分享的 BoRP 评测方案。该方案提出“Read, Don't Write”范式,不再让模型生成评语,而是通过对比表示与 PLS 回归读取隐状态满意度信号,将评测成本降低约 97%,并支持无标注流量自动生成评测标准,已在万亿级流量 A/B 测试中落地。

AI 问答

BoRP 评测管线与传统生成式 LLM-as-a-Judge 相比有何优势?

传统生成式 Judge 面临成本、延迟和系统性偏置三大问题。BoRP 不依赖模型生成评语,而是读取模型隐状态下的满意度信号,通过对比表示和 PLS 回归大幅降低成本,同时提升人类对齐度。

如何从无标注流量中自动孵化评测标准?

通过自引导 Bootstrapping 与极化挖掘,在无标注流量中自动生成评测标准(Rubric),仅需数百条标注即可实现 Krippendorff’s alpha 0.80 的高信度专家对齐。

该方案在工业级 A/B 测试中有哪些落地优化?

利用 KV-Cache 复用与前缀共享支撑单卡 A100 日处理百万级会话;同时利用中间层与输出层差异作为认知冲突代理,对异常预测进行不确定性预警和过滤。

打开原文

更多资讯

旗舰SoC进入融合计算时代,天玑9600 Pro首创AI原生架构!雷峰网 · 09/15 21:01华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点雷峰网 · 09/16 17:27Stella:“显化”想要的人生,60天35万美元月收入人人都是产品经理 · 09/16 14:09稳定币挤兑与套利集中化金色财经 · 09/16 18:54手机替我跑了一整套流程!我就说了一句话,AI执行了100步量子位 · 09/15 20:47社区速递 158 | 便宜耐造的副厂手柄与大学宿舍里那些相见恨晚的装备少数派 · 09/15 17:00奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36拼多多链接裂变玩法人人都是产品经理 · 09/15 09:20当我怀念旧版 Edge 浏览器时,我在怀念什么?少数派 · 09/16 10:38只会搜关键词还不够,Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17Java新闻汇总:Simple JSON API、GlassFish、Jakarta EE、JNoSQL和Open Liberty、LangChain4jInfoQ 中文 · 09/16 19:06实测豆包新模型2.1-pro,这次审美和长时间Agent任务都追上第一档了人人都是产品经理 · 09/16 17:21梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53对话蚂蚁灵波 CEO 朱兴:机器人还吃不了「粗粮」爱范儿 / APPSO · 09/16 12:04豆包工作和飞书,把中国第一个团队 Agent 拉进了工作群爱范儿 / APPSO · 09/15 14:39OpenAI 发布适用于编程和计算机应用的 GPT-6 AstraInfoQ 中文 · 09/16 00:52从接住告警到自我进化:快手智能运维助手实践|QCon上海InfoQ 中文 · 09/16 18:00一边喊停一边敲钟:硅谷AI巨头到底在怕什么金色财经 · 09/16 10:53Agent开始调用基础设施,Kubernetes准备好了吗?InfoQ 中文 · 09/16 04:38工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!雷峰网 · 09/15 11:02协同办公进入Agent时代,飞书+豆包工作跑在了最前面量子位 · 09/16 15:46Introducing Gemini 3.8 Live and 3.8 Live Extended ThinkingGoogle DeepMind Blog · 09/16 01:05产品已批量进入全球头部Tier 1产线,「知来具身」要为工业场景打造“开箱即用”的泛化机器人36氪 · 09/16 10:12以太坊 2026 年第二季度报告金色财经 · 09/15 17:06前高通算法研发经理跨界AI算力板检测,获近亿元战略投资丨36氪首发36氪 · 09/15 09:30AWS 称无法恢复中东部分可用区资源和数据的访问Solidot · 09/16 23:11企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33CLARITY折戟 多方博弈撕裂行业预期 市场怎么看?金色财经 · 09/16 10:33廉价太阳能改变世界能源格局Solidot · 09/15 17:19电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36