GameASG-Bench 是什么?
它是一个将行为可测试性纳入游戏开发自主软件生成任务的基准,包含 47 个浏览器原生游戏生成任务,覆盖 12 个主要类型及 2D/3D 交互。
(翻译)GameASG-Bench:面向游戏开发的自主软件生成基准测试
Abstract page for arXiv paper 2609.21293: GameASG-Bench: Benchmarking Autonomous Software Generation for Game Development
arXiv 论文提出 GameASG-Bench,将行为可测试性纳入游戏开发中的自主软件生成任务,包含 47 个浏览器原生游戏生成任务,覆盖 12 个主要类型和 2D/3D 交互,并设置 L1 静态检查与 L2 浏览器执行检查。实验显示,九种 agent 栈中最高平均 L2 通过率为 93.2%,但严格任务成功率仅 55.3%(26/47)。
它是一个将行为可测试性纳入游戏开发自主软件生成任务的基准,包含 47 个浏览器原生游戏生成任务,覆盖 12 个主要类型及 2D/3D 交互。
分为静态 L1 检查,评估源码层面的合规性;以及浏览器执行的 L2 检查,结合语义观察、真实输入和运行时证据。
在九种 agent 栈中,最高平均 L2 检查通过率为 93.2%,但最高严格任务成功率仅为 55.3%,即 47 个任务中成功 26 个。
Kimi 现代高速开源治理的 AI Native 实践|QCon上海美财长:美国国债已攀升至约41万亿美元规模独家丨蔚来李斌最新内部讲话:明年将有重量级新车,未来3年的核心是三个聚焦A股市场下探回升,机构称市场具备修复性反弹基础QuotaPanel v0.2.0 点开菜单栏就看到额度,MiMo 额度来源上线报道称OpenAI和Anthropic正在聘用前特朗普政府官员得中女得天下?这个年销3亿的女装品牌AAAD给出了新答案!LinkAndroid v2.4.0 投屏内核更新至 scrcpy 5.0,编码解码全面提速.NET地理空间数据格式解析库升级V26.8.15.2
Sui 难民:华语开发者为什么选择离开?AI时代,注意力经济终局,意图经济登场独家丨舒酉星创立新公司「星能远行」,此前是比亚迪欧洲总裁教育部:教师发展中心全新上线,教师AI素养全覆盖培训启动外交部副部长马朝旭同澳大利亚外交贸易部秘书长安思捷举行中澳外交部政治磋商“太一量生”完成新一轮融资Cloudflare 收购 Deno,Deno 停止开发东软集团等在珠海横琴成立科技公司
这三个摄影 App, 配得上你全新的 iPhone 18 Pro泰国证交所修订卖空和高频交易规则被字节开除的AI实习生,刚刚融资2个亿人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制七部门:构建电商出海良好生态Cloudflare 让决策模型打起了价格战:Clef 降价、提速、上多模态上海国际航运研究中心:预计四季度航运市场发展趋势将保持稳定字节凶猛:从招聘看字节AI战略战术背后的逻辑与细节跨境电商数据驾驶舱怎么搭?从0到1落地全指南