arXiv cs.AI 发布于 09/14 12:00

WinSyn: An Automated Pipeline for Realistic Enterprise Question-Answering Evaluation

（翻译）WinSyn：面向真实企业问答评估的自动化流水线

资讯摘要

Abstract page for arXiv paper 2609.12171: WinSyn: An Automated Pipeline for Realistic Enterprise Question-Answering Evaluation

AI 摘要

该论文提出 WinSyn，一个自动生成企业问答评估数据集的流水线：模拟历时数月、最多 25 名不同角色员工参与的项目，合成包含邮件、聊天与文档等存在歧义、信息分散特征的职场数据，并配套长问答、短问答及基于数据的标准答案。作者用前沿模型评测若干智能体基线，各数据集聚合得分均低于 80%，说明企业级深度研究系统仍有较大提升空间。

AI 问答

WinSyn 主要解决什么问题？

它针对现有企业问答基准真实复杂度不足、答案偏短、提问不自然的问题，提供自动生成贴近真实职场场景的合成数据集与问题、标准答案的流水线。

该数据集是如何构造的？

通过模拟持续数月、涉及最多 25 名不同角色员工的企业项目，生成包含歧义和分散信息的邮件等数据，并据此产出长文本与短文本问题及有数据支撑的标准答案。

评测结果说明了什么？

在最新前沿模型上运行若干智能体基线，各数据集所有查询的平均聚合得分均低于 80%，表明企业场景的深度研究系统仍有明显改进余地。

更多资讯

科学家演示水下太阳能电池Solidot · 09/15 15:30

基元律动与无问芯穹达成战略合作，推进高质量Token供给与应用雷峰网 · 09/16 16:20

从”边卖边补”到”准备好再卖”：产品商品化的四步闭环人人都是产品经理 · 09/15 14:11

Opus 5.2深夜上线 RSI真来了？金色财经 · 09/15 11:43

破局产品同质化：长期主义的产品突围之路人人都是产品经理 · 09/16 14:12

以太坊 2026 年第二季度报告金色财经 · 09/15 17:06 豆包手机明日开卖，AI能帮你操作App了吗？36氪 · 09/15 22:32

个贷不良四年涨 23 倍：这门从“救大行”长出来的生意，底层逻辑是什么？人人都是产品经理 · 09/16 17:12

云连锁到轻连锁，品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47

微软 CEO 纳德拉：AI 应用的机会正在变大，模型成本将继续下降人人都是产品经理 · 09/16 11:48 手机替我跑了一整套流程！我就说了一句话，AI执行了100步量子位 · 09/15 20:47

从担心AI失控到AI造福人类：比尔盖茨怎么想金色财经 · 09/15 14:43

理想落幕：加密行业为何集体走向同质化？金色财经 · 09/15 18:31

微信桌面端变“三折叠”，可能是在给小微腾位置人人都是产品经理 · 09/15 09:46

AMC 炮轰 Robinhood：股票归谁做主？金色财经 · 09/15 21:18

只会搜关键词还不够，Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17 圆桌：生长·资方投资的新方程——穿越周期的耐心与价值 | 36氪 2026产业未来大会36氪 · 09/15 17:06

关于项目交付的思考：部署是最后两公里，验收才是最后一公里人人都是产品经理 · 09/16 09:54

对话蚂蚁灵波 CEO 朱兴：机器人还吃不了「粗粮」爱范儿 / APPSO · 09/16 12:04

担心代码被拿去训练！英伟达：限制员工使用 Claude；一汽将成广汽第二大股东！南北丰田拟合并；苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23 美国军方首次证实在太空部署了武器Solidot · 09/15 16:07

谁在给我们制造 AI 焦虑金色财经 · 09/15 20:38

实习生1天消耗1亿Token被约谈：如何衡量Token的ROI人人都是产品经理 · 09/16 14:19 Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11

Anthropic CEO自爆行业黑幕金色财经 · 09/15 19:37

AI for everyone in every languageGoogle AI Blog · 09/16 00:00

分析师：四大关键因素驱动 Robinhood 链快速增长金色财经 · 09/15 17:27 Fedora 45 Beta 释出Solidot · 09/16 15:26

缓存不该困在一台服务器里InfoQ 中文 · 09/16 07:00

特朗普“一再让步”：美国加密法案仍未过关金色财经 · 09/16 17:18