arXiv cs.AI 发布于 08/26 12:00

ESQ-Bench: A Multi-Tier Enterprise Oracle Benchmark for Evaluating NL2SQL Dialect Generalization and Silent Semantic Divergence

(翻译)ESQ-Bench:评估 NL2SQL 方言泛化与静默语义分歧的多层级企业 Oracle 基准

查看原文

资讯摘要

Abstract page for arXiv paper 2608.23569: ESQ-Bench: A Multi-Tier Enterprise Oracle Benchmark for Evaluating NL2SQL Dialect Generalization and Silent Semantic Divergence

AI 摘要

ESQ-Bench 是一个面向企业 Oracle 环境的 NL2SQL 评测基准,包含465张表、约16.5万行数据和550个金标注问题-查询对,覆盖三个复杂度层级,并对比 Oracle、PostgreSQL、MySQL、SQL Server。结果显示 GPT-4o 等模型执行准确率随复杂度下降,静默语义分歧比例高达73%至99%。Claude Sonnet 4.6 在各层级均超过 GPT-4o,而本地 Llama 3.2 仅13.3%执行准确率。

AI 问答

ESQ-Bench 是什么?

ESQ-Bench 是一个面向企业 Oracle 数据库的 NL2SQL 评测基准,包含465张表、164,682行数据和550个金标注问题-查询对,并按复杂度分为三个层级。

评测中哪个模型表现最好?

Claude Sonnet 4.6 使用 schema-linked 提示在各复杂度层级上的执行准确率均超过 GPT-4o,分别达到87.4%、74.9%和68.7%。

打开原文

更多资讯

泰国证交所修订卖空和高频交易规则36氪 · 10/10 11:57分发与连接:抖音向左,美团向右,两种模式到底有什么差别人人都是产品经理 · 10/10 14:19这届 IROS 2026 上,具身学术与产业边界正在消融雷峰网 · 10/10 11:40MooTool Next 1.3.0 发布!全新重写,带来更现代的界面与多窗口体验开源中国 · 10/10 15:07特斯拉FSD,在欧洲被打回原形量子位 · 10/10 14:59Kimi 现代高速开源治理的 AI Native 实践|QCon上海InfoQ 中文 · 10/09 18:00七部门:推动电商领域高水平开放36氪 · 10/10 10:16客户说要一个功能,产品经理怎么找到真正的需求在那?人人都是产品经理 · 10/10 18:178600万美元被盗 官方授权也不能保证硬件钱包安全?金色财经 · 10/10 19:44重新思考 Neobank 新兴银行金色财经 · 10/10 17:04Agent 落地核心:真正决定上限的是 Harness 闭环,不是模型人人都是产品经理 · 10/10 10:34巧合?Ledger 用户被盗9000万 经销商两个月前刚易主金色财经 · 10/10 11:27广合科技:前三季度净利润同比预增100.33%至107.23%36氪 · 10/09 19:27闲鱼,中国最大的“AI服务商”?人人都是产品经理 · 10/10 07:46贾健旭卸任上汽大通法定代表人36氪 · 10/10 14:50.NET多类型数据库通用库更新升级到V26.10.9开源中国 · 10/10 10:01Claude 动态多 Agent 工作流开始公测,支持庞大的工作负载开源中国 · 10/10 18:21停产一年,宝马带着 iX4 重回溜背市场,海外售价 53 万元起爱范儿 / APPSO · 10/09 18:44受内存、存储芯片短缺推高价格,游戏硬件销量跌至13年新低36氪 · 10/10 10:20ModStartCMS v10.3.0 安全加固、体验优化,自动化测试更强大。开源中国 · 10/10 18:23奈飞据悉正进行组织重组,预计将影响约5%的员工36氪 · 10/09 19:43不输出文本、只输出概率的 Jev —— 上线几周估值飙到 75 亿美元开源中国 · 10/10 11:06AI产品经理到底要学哪些技术?传统PM不要把时间浪费在这3件事上人人都是产品经理 · 10/10 09:13全球扩散语言模型最大融资诞生:经纬、顺为、君联数亿元押注扩散智能DiffuSpaceInfoQ 中文 · 10/09 19:07ModStartBlog v11.3.0 安全加固、体验优化,自动化测试更强大开源中国 · 10/10 18:23纽约联储银行:特朗普关税导致67类商品价格上扬36氪 · 10/10 17:36独家丨蔚来李斌最新内部讲话:明年将有重量级新车,未来3年的核心是三个聚焦雷峰网 · 10/10 15:49超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务36氪 · 10/10 12:12美财长:美国国债已攀升至约41万亿美元规模36氪 · 10/10 09:15欧盟轮值主席国提议将2028-2034年欧盟预算削减8%至1.6万亿欧元36氪 · 10/10 16:57