Benchy 是什么？
Benchy 是一种用于基准测试 AI 程序的语义语言和执行引擎，它将基准测试定义为程序、评分函数和数据集的组合 B=(P,S,D)。
Benchy: towards a universal language for task-oriented AI benchmarks
（翻译）Benchy：迈向面向任务型 AI 基准测试的通用语言
资讯摘要
Abstract page for arXiv paper 2609.30550: Benchy: towards a universal language for task-oriented AI benchmarks
AI 摘要
arXiv 论文 Benchy 提出面向任务型 AI 基准测试的语义语言与执行引擎。基准由程序、评分函数和数据集定义 B=(P,S,D)，与被测 AI 系统分离；运行绑定二者为 R=(B,AI)。基准以规范 YAML 撰写，经任务/领域/语言本体分类并确定性编译为 JSON 中间表示，编译不改语义。引擎提供统一具名输入输出契约，外部系统在边界适配，避免集成细节进入基准语义。论文还给出语义对象模型、校验规则、评分与失败语义、编译执行架构，并附首个引擎实现的工程契约。
AI 问答
基准测试如何编写和执行？
基准测试以规范 YAML 撰写，经共享的任务/领域/语言本体分类后，确定性编译为规范 JSON 中间表示，再由引擎执行；运行 R=(B,AI) 将被测 AI 系统与基准绑定。
引擎如何与外部 AI 系统集成？
引擎公开统一的运行时契约，即具名输入对象进、具名输出对象出，外部 AI 系统在边界处适配，从而使集成机制不影响基准语义。
更多资讯
当所有人都用AI写内容，你的个人IP靠什么胜出？阿斯麦将对韩国零部件涨价10%App工厂，才是AI时代最被低估的生意商务部：中欧双方以符合世贸组织规则的方式就混动汽车贸易达成谅解广合科技：前三季度净利润同比预增100.33%至107.23%独家丨舒酉星创立新公司「星能远行」，此前是比亚迪欧洲总裁央行：10月10日7天期逆回购操作量为零
兰博基尼、保密协议 Ledger被盗事件疑点重重我国成功发射卫星互联网低轨27组卫星今年白云机场口岸出入境客货航班超10万架次，创历史同期新高一次模型测评后，我开始重新理解WorkBuddy
以太坊主网和L2实现跨链原子交易
森海 Momentum 5 真无线降噪耳机体验：升级无线传输与空间音频，它依然是那个正统 「森海味」芯片专家试图劝退马斯克：Terafab芯片项目可比发射星舰火箭更难特斯拉弃用“自动驾驶”命名，以争取欧洲监管批准
Bitget要求封禁黑客地址：THORChain有义务配合吗？月之暗面增资至约1437万大厂卷 Jarvis，Samantha却在恋爱影游里冒了头？
全球扩散语言模型最大融资诞生：经纬、顺为、君联数亿元押注扩散智能DiffuSpaceDeepSeek Harness 桌面端来了！带你拆解核心机制澳门大学预计未来5年学生规模逾2.2万人客户说要一个功能，产品经理怎么找到真正的需求在那？App+1｜专注星空：让「少刷手机」这件事更愉悦一点前8个月我国软件业务收入超10万亿元WorkBuddy国际版实测，双持打开新世界腾讯入股墨奇智能深交所：9月28日至10月9日，共对141起证券异常交易行为采取了自律监管措施Cloudflare 让决策模型打起了价格战：Clef 降价、提速、上多模态纯炒作？那为什么只有 Muse 爆了“太一量生”完成新一轮融资
兰博基尼、保密协议 Ledger被盗事件疑点重重我国成功发射卫星互联网低轨27组卫星今年白云机场口岸出入境客货航班超10万架次，创历史同期新高一次模型测评后，我开始重新理解WorkBuddy以太坊主网和L2实现跨链原子交易森海 Momentum 5 真无线降噪耳机体验：升级无线传输与空间音频，它依然是那个正统 「森海味」芯片专家试图劝退马斯克：Terafab芯片项目可比发射星舰火箭更难特斯拉弃用“自动驾驶”命名，以争取欧洲监管批准Bitget要求封禁黑客地址：THORChain有义务配合吗？月之暗面增资至约1437万大厂卷 Jarvis，Samantha却在恋爱影游里冒了头？全球扩散语言模型最大融资诞生：经纬、顺为、君联数亿元押注扩散智能DiffuSpaceDeepSeek Harness 桌面端来了！带你拆解核心机制澳门大学预计未来5年学生规模逾2.2万人客户说要一个功能，产品经理怎么找到真正的需求在那？App+1｜专注星空：让「少刷手机」这件事更愉悦一点前8个月我国软件业务收入超10万亿元WorkBuddy国际版实测，双持打开新世界腾讯入股墨奇智能深交所：9月28日至10月9日，共对141起证券异常交易行为采取了自律监管措施Cloudflare 让决策模型打起了价格战：Clef 降价、提速、上多模态纯炒作？那为什么只有 Muse 爆了“太一量生”完成新一轮融资