这个项目用什么奖励信号训练模型画水彩？
奖励函数包含四项：gate 判断草图是否合规、length 鼓励较长代码、成对裁判与人工评分画作池对比风格，以及 HPSv3 美学偏好模型。
Training a coding model to paint watercolours with TRL and OpenEnv
（翻译）用 TRL 与 OpenEnv 训练代码模型绘制水彩画
资讯摘要
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
AI 摘要
本文介绍了如何用 TRL 与 OpenEnv 复现一个公开技术流程：训练 Qwen 代码模型生成约150行 p5.brush JavaScript 来绘制水彩画，并利用门控规则、代码长度、成对风格裁判和 HPSv3 偏好模型等构成的奖励函数做强化学习。作者开放了参考画作池、RL 环境、训练脚本及模型，并用三种奖励配比做了对比实验。
AI 问答
模型具体通过什么方式生成画作？
模型编写约 150 行 JavaScript 代码，通过 p5.brush 库在 p5.js 中模拟水彩媒介，再将草图渲染为图像。
文章开源了哪些内容？
公开了参考画作池数据集、强化学习环境、训练脚本、训练完成的模型等全部工件，并汇集在一个 Hugging Face collection 中。
更多资讯
WorkBuddy + 美图设计室，在对话框里就能解决办公设计任务？
金色Web3.0日报 | 黄仁勋批驳「AI末日论」
理想落幕：加密行业为何集体走向同质化？前OpenAI后训练VP回应陶哲轩：说AI毁了数学，可能还是太小瞧AI了
苹果Siri AI上线；豆包手机助手消费版正式发布；塔克拉玛干沙漠发现两处大型地下水水源圆桌：新能源：后时代的深水淘金 | 36氪 2026产业未来大会
Xspark AI 丁文伯：触觉替代不了视觉，但机器人需要一套自己的“脊髓” ｜物理AI 50人被英伟达点名的杭州团队，补上了AI for Science的「最后一公里」圆桌：智能向实，产业向新——AI如何进入真实世界 | 36氪 2026产业未来大会
早报｜iOS27正式推送/比亚迪高管：燃油车在中国没有未来/iPhone 18 Pro渠道降价900元，苹果称不干预
电商对账的设计逻辑：四层核对，逐层下钻高通技术公司携手中兴努比亚和豆包手机助手，共同推动智能手机迈入个人AI新时代
从200亿收购失败到650亿IPO：Figma如何用“协作”颠覆设计帝国地平线第1500万颗征程芯片搭载大众 ID. AURA T6，HSD V2.1 即将推出王强宇履新百望：从发票SaaS工具，到财税垂直大模型，再到企业的PalantirAnnouncing instance preference lists for Amazon SageMaker AI training jobs
比 MEGA Home 便宜 14 万！理想 i9 Home 上市定价 36.98 万元，六座旗舰变天了超级智能体“迪迪虾”上车，比亚迪携手阿里云推进智能座舱升级
就业率砍半，年轻人靠什么翻盘？AI时代，这三点越早做越好圆桌：量智共振·多元路径：共筑中国量子产业下一个十年 | 36氪 2026产业未来大会
特朗普“一再让步”：美国加密法案仍未过关
产品经理的体面，是一块不能失守的 “括约肌”“阿宝”交新朋友：携手比亚迪“迪迪虾”，实现车机端一句话办事基元律动与无问芯穹达成战略合作，推进高质量Token供给与应用
潘功胜最新文章：深刻认识中国金融结构变迁（全文）
具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性
Uniswap v4上的恶意Hooks圆桌：中国之光成为新共识| 36氪 2026产业未来大会华为GTS让Agent学会「看着网络排障」，双防火墙难题几乎全拿下产品观察丨xTool做了一台3000元起步的激光雕刻机，难的不只是价格