arXiv cs.AI 发布于 09/12 12:00

Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

(翻译)理解扩散模型微调中的LoRA秩权衡

查看原文

资讯摘要

Abstract page for arXiv paper 2609.10656: Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

AI 摘要

arXiv论文研究扩散模型微调时LoRA秩的选择问题。作者在CIFAR-10上用DDPM U-Net对比秩2、4、8、16、32,固定优化设置,报告FID、可训练参数量、运行时间与显存占用,并用更长预算的DDPM运行和Tiny DiT骨干验证趋势。结果显示秩4取得最佳DDPM FID(124.1380),秩8接近(124.2136),更高秩收益有限但适配成本更大,支持中小秩作为固定训练预算下的实用默认选择。

AI 问答

论文对比了哪些LoRA秩?

在CIFAR-10的DDPM U-Net上对比了秩2、4、8、16、32,并保持固定优化设置。

哪个秩在DDPM上取得最佳FID?

秩4的FID最佳,为124.1380,秩8为124.2136,二者接近。

论文的主要结论是什么?

更高秩带来的收益有限而适配成本更大,因此在固定训练预算下,中小秩是实用的默认选择;该趋势在延长训练预算的DDPM和Tiny DiT骨干上得到验证。

打开原文

更多资讯

8点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高36氪 · 09/16 08:01Fedora 45 Beta 释出Solidot · 09/16 15:26产品定义意义上的一级场景:四维模型人人都是产品经理 · 09/16 14:07抖音上线 “免费短剧” App,短剧赛道再添一员猛将人人都是产品经理 · 09/16 10:20语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.Quanta Magazine · 09/16 23:56从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43做了两年AI落地,我总结了这7点思考人人都是产品经理 · 09/16 11:04黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23OpenAI万亿IPO推迟背后 四本账与三条投资路径金色财经 · 09/16 11:27SDL3 移植到 HarmonyOS / OpenHarmonySolidot · 09/16 16:57被用了几千年的铜,怎么突然成了AI时代的新宠?果壳网 · 09/16 16:15产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00科学家演示水下太阳能电池Solidot · 09/15 15:30我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了量子位 · 09/15 13:39西门子不造机器人,为什么机器人进厂的故事里总有它?量子位 · 09/16 15:38CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20PS2 Fat 使用的安全芯片在时隔 26 年被破解Solidot · 09/16 23:54YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39GPT-6 Astra 之后,产品经理需要重新设计人在流程中的位置人人都是产品经理 · 09/16 09:10长期利率为何不愿下跌?金色财经 · 09/15 18:04碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆雷峰网 · 09/16 16:48数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”雷峰网 · 09/15 15:14展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品雷峰网 · 09/15 23:07早报|雷军同日到访宇树与B站/罗永浩差评带来流量,野人先生单日涨粉近3万/鸿蒙智行确认问界合作调整,赛力斯主导爱范儿 / APPSO · 09/16 08:45OpenAI 总裁最新采访:现在所有人对 AI 的预测,大概率都是错的人人都是产品经理 · 09/15 16:19Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21