NVIDIA Technical Blog 发布于 09/24 00:00

How SWE-Serve Exposes the Gap Between Local Tests and Live Serving

(翻译)SWE-Serve 如何揭示本地测试与实际服务之间的差距

查看原文

资讯摘要

An AI coding agent’s patch can pass tests yet fail when the server loads a real model and handles requests. Evaluating changes to inference-serving software…

AI 摘要

NVIDIA 与 SGLang 团队合作推出 SWE-Serve 基准,将 83 个已合并的 SGLang PR 转化为 53 个可执行任务,用于评估编码智能体在推理服务栈上的改动。在 19 个包含实机服务测试的任务中,同一批补丁排除实机检查时通过率为 69.4%,加入完整验证后降至 45.9%,说明本地测试通过并不代表改动在真实服务路径上可用。

AI 问答

SWE-Serve 是什么?

它是 NVIDIA 与 SGLang 团队合作开发的评测基准,把 83 个已合并的 SGLang 拉取请求转化为 53 个可执行任务,覆盖模型启用、解码、缓存、调度、服务 API 与运行时性能等推理服务栈环节。

为什么补丁通过本地测试仍可能失败?

部分问题只在真实服务器加载模型并处理请求时才暴露。在 19 个含实机服务测试的任务中,同一批 627 个补丁在完整验证下通过率为 45.9%,排除实机测试后升至 69.4%,即有 147 个补丁由失败转为通过。

各模型在该基准上的表现如何?

11 个模型最优配置的平均 pass@1 介于 34.6% 至 75.5% 之间,Claude Opus 5 与 GPT-5.6 Sol 最高约为 75%。同为 64% 的四个模型单任务平均成本从 0.95 美元到 7.24 美元不等,耗时也从 25.5 分钟到 99.9 分钟不等。

打开原文

更多资讯

富特科技:股东拟减持不超2.894%公司股份36氪 · 10/09 20:27旅行成为个人 Agent 的高频场景,「豆包工作」把几十小时攻略浓缩成 PPT人人都是产品经理 · 10/10 17:29Stripe创始人:AI agent 将重写整个互联网人人都是产品经理 · 10/10 17:30巴西起诉壳牌子公司,索赔上亿美元洪灾损失36氪 · 10/10 16:49分享一个AI做视频提效10倍的方式人人都是产品经理 · 10/10 10:53人社部:截至9月底三项社会保险基金累计结余11.2万亿元36氪 · 10/10 10:21AI时代,注意力经济终局,意图经济登场人人都是产品经理 · 10/10 15:01冷钱包遭经销商投毒 超8600万美元被盗 请立刻排查金色财经 · 10/10 14:56硬件钱包接连出事 审计得交给AI干了金色财经 · 10/10 10:13七部门:推动电商领域高水平开放36氪 · 10/10 10:16Cloudflare 公共 DNS 服务不需屏蔽盗版网站域名Solidot · 10/10 15:30以太坊大区块时代将至:Glamsterdam 通过测试网首考金色财经 · 10/09 17:38葛洲坝航运扩能工程进入主体施工阶段36氪 · 10/10 16:55Cloudflare 收购 Deno,Deno 停止开发Solidot · 10/10 14:01特朗普政府要求AI公司在发生安全事件后立即上报36氪 · 10/10 09:19AI需求推动日本工业机床未交订单额超1万亿日元36氪 · 10/10 13:08广东加速推进广韶高速改扩建工作,未来将缓解京港澳高速交通压力36氪 · 10/10 14:07国庆期间全国涉旅游特种设备安全形势总体平稳36氪 · 10/10 10:24中国广核、宁德时代等在陆丰成立新核电公司,注册资本1亿36氪 · 10/10 15:24Kimi 现代高速开源治理的 AI Native 实践|QCon上海InfoQ 中文 · 10/09 18:00大厂卷 Jarvis,Samantha却在恋爱影游里冒了头?人人都是产品经理 · 10/10 12:42为何大型犬衰老速度更快Solidot · 10/09 17:44Citrini:区块链终于迎来它的时刻 怎么选择投资组合金色财经 · 10/09 18:34中金黄金等在河南成立黄金投资公司,注册资本2000万元36氪 · 10/10 13:15三晖电气:股东于文彪及其一致行动人拟减持不超3%公司股份36氪 · 10/09 20:02七部门:推动电商平台规则向优转型36氪 · 10/10 10:17美股大型科技股盘前多数上涨,苹果跌超2%36氪 · 10/09 20:50一次模型测评后,我开始重新理解WorkBuddy人人都是产品经理 · 10/10 11:14人人皆可为师:全球首个物理AI数据众包服务平台“觅蜂派”正式发布雷峰网 · 10/10 11:45巧合?Ledger 用户被盗9000万 经销商两个月前刚易主金色财经 · 10/10 11:27