arXiv cs.AI 发布于 08/26 12:00

Function-Level Execution Feedback for Code Preference Optimization

(翻译)函数级执行反馈用于代码偏好优化

查看原文

资讯摘要

Abstract page for arXiv paper 2608.23632: Function-Level Execution Feedback for Code Preference Optimization

AI 摘要

本文提出STEP-KTODER框架,将代码生成中的过程监督定义为多函数程序的模块级步骤,通过自动生成的单元测试为函数分配二进制正确性标签,并结合函数级过程监督与程序级结果反馈进行偏好优化。实验显示该方法在HumanEval、MBPP、BigCodeBench和LiveCodeBench上优于仅用结果级反馈的KTO与DPO,且执行标签比LLM判官标注更可靠。

AI 问答

STEP-KTODER 的核心思路是什么?

STEP-KTODER 将代码生成中的步骤定义为多函数程序里的模块级函数,并用自动生成的单元测试为每个函数分配二进制的正确性标签,从而结合函数级过程监督和程序级结果反馈进行偏好优化。

该方法的实验效果如何?

在 HumanEval(+)、MBPP(+)、BigCodeBench 和 LiveCodeBench 上,STEP-KTODER 相比仅使用结果级反馈的 KTO 和 DPO 均取得了更好的性能。

为什么执行标签比 LLM 判官更可靠?

研究发现,LLM-as-a-judge 的标注会系统性高估函数失败,污染正样本步骤标签并降低偏好优化效果,而基于执行的标签更加准确。

打开原文

更多资讯

月之暗面增资至约1437万36氪 · 10/10 11:49中欧贸易投资磋商机制第二次例会联合声明36氪 · 10/09 19:13AI需求推动日本工业机床未交订单额超1万亿日元36氪 · 10/10 13:08“太一量生”完成新一轮融资36氪 · 10/10 10:52用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发36氪 · 10/10 10:26我让豆包工作看了30个爆款AI封面,它总结出了八个规律人人都是产品经理 · 10/10 13:03微软发布基于 Qwen 后训练的决策模型 “Microsoft-Decision-1”开源中国 · 10/10 14:51给客户装个Workbuddy就能搞定的事,为什么我还在搭工作流人人都是产品经理 · 10/10 10:52黄仁勋为微软站台:没有 Windows 就不会有英伟达,Satya 当场“讨市值”InfoQ 中文 · 10/10 01:53国铁广州局明起实施新列车运行图,多条列车首次开行36氪 · 10/10 17:59成年人要的「安心」,有时是一支笔给的36氪 · 10/10 15:30当所有人都用AI写内容,你的个人IP靠什么胜出?人人都是产品经理 · 10/10 11:06全国性涉外法律服务平台“法通”网正式上线36氪 · 10/10 12:47超强厄尔尼诺已经形成Solidot · 10/09 22:59纯炒作?那为什么只有 Muse 爆了人人都是产品经理 · 10/10 10:13世界的下一个版本,由我们定义 |2026苏客松招募启动36氪 · 10/10 10:35泰国证交所修订卖空和高频交易规则36氪 · 10/10 11:57第三季度21家上市银行获511家机构调研36氪 · 10/10 10:17@ 一下就能派活?谷歌推出办公 Agent,拥有独立账号、能够创建子 Agent,还能调用 ClaudeInfoQ 中文 · 10/10 01:15深港“全天候通道”升级 新皇岗口岸5分钟便捷通关36氪 · 10/10 15:06紧急调研刹车踏板总成材质!曝中汽中心向各大车企发问卷;山姆拟限制亲友卡绑定,打击倒卖副卡;又涨1000元!华为和小米同日上调手机售价雷峰网 · 10/10 08:29AI数据中心用电狂飙,美国密西西比州发出电力预警36氪 · 10/10 12:11得中女得天下?这个年销3亿的女装品牌AAAD给出了新答案!人人都是产品经理 · 10/10 11:12公司是否有提价计划?五粮液:不存在固定的价格比值关系36氪 · 10/10 11:31三峡水运新通道葛洲坝航运扩能主体工程开工36氪 · 10/10 10:58Linear 通过 1000 多次 PR 从 styled-components 迁移到 Meta 的 StyleXInfoQ 中文 · 10/11 02:09大模型通用答案没有考虑每个人需求金色财经 · 10/10 09:02食言?微信小程序Store上线人人都是产品经理 · 10/10 09:26新模型密集发布,该怎么选?分享我的实测感受人人都是产品经理 · 10/10 14:16江淮汽车增资至约22.54亿36氪 · 10/10 11:03