Hugging Face Blog 发布于 09/03 08:00

Fine-tuning a 350M Model for Better Structured Outputs in 100 GRPO Steps

(翻译)用100步GRPO微调350M模型以获得更好的结构化输出

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

本文介绍使用TRL库对LFM2.5-350M模型进行GRPO微调,结合约500条样本和100个训练步骤来提升结构化输出能力,在IFStruct基准上从22.6%提升至29.7%。内容涵盖LoRA配置、三项奖励函数的设计、训练参数、模型合并及GGUF转换评估流程。

AI 问答

该微调方法主要提升模型的什么能力?

主要提升模型对结构化输出的格式与模式符合能力,使LFM2.5-350M在IFStruct基准上的通过率从22.6%提高到29.7%。

训练中使用了哪些奖励函数?

使用了三个奖励函数:json_format_reward、field_count_reward和schema_validation_reward,权重分别为1.0、0.5和2.0。

运行这项微调需要多少资源?

大约使用500条训练样本和100个训练步骤,模型规模适合在免费版Colab或Kaggle GPU上运行。

打开原文

更多资讯

Optimizing cost and latency with Amazon Bedrock prompt cachingAWS Machine Learning Blog · 09/16 00:18这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试果壳网 · 09/15 22:15地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32Mistral 与 Mozilla 合作推出 Firefox Smart WindowSolidot · 09/16 18:53美国加密新规又黄了金色财经 · 09/16 20:21Opus 5.2深夜上线 RSI真来了?金色财经 · 09/15 11:43129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00华为GTS让Agent学会「看着网络排障」,双防火墙难题几乎全拿下量子位 · 09/16 10:27主题演讲:破界·量子计算迈向产业深水区——量子计算的下一公里|36氪2026产业未来大会36氪 · 09/15 15:49Java新闻汇总:Simple JSON API、GlassFish、Jakarta EE、JNoSQL和Open Liberty、LangChain4jInfoQ 中文 · 09/16 19:06圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:39派早报:豆包发布手机助手消费者版,绿联发布首款雷电 5 显卡坞等少数派 · 09/15 08:06今晚「鸽派加息」?金色财经 · 09/16 16:08月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:008点1氪丨选手赛中失禁污染赛道,HYROX中国宣布整改;机构预计美股明年将暴跌21%;苹果推出Siri人工智能36氪 · 09/15 08:03从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04飞书与豆包工作合体后首亮相:Agent 能进群,还能帮你写周报、做PPTInfoQ 中文 · 09/16 02:37Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15美国军方首次证实在太空部署了武器Solidot · 09/15 16:07AI 减速还是不减速:一场周末点燃的行业与政府对垒金色财经 · 09/15 12:06WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34当年救了臭氧层的功臣,现在变成了永久性污染物果壳网 · 09/16 13:15我和我的 AI 手机吃了 3 顿饭爱范儿 / APPSO · 09/16 12:04CLARITY法案为何倒在参议院门口?这主流如你所愿金色财经 · 09/16 12:08英伟达开始限制Claude使用了金色财经 · 09/15 12:37商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发36氪 · 09/16 10:00碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆雷峰网 · 09/16 16:48