NVIDIA Technical Blog 发布于 08/20 01:50

Building Federated Multimodal AI Workflows with NVIDIA FLARE

(翻译)使用 NVIDIA FLARE 构建联邦多模态 AI 工作流

查看原文

资讯摘要

Modern vision-language models (VLMs) can support tasks such as visual question answering, captioning, and image-text reasoning. In practice, however…

AI 摘要

本文介绍使用 NVIDIA FLARE 构建联邦多模态 AI 工作流,重点讨论跨机构训练视觉语言模型时的网络传输与聚合设计,包括大型对象外部化、张量流式传输和磁盘支撑聚合。还介绍了 FedUMM 在冻结的 BLIP3o 骨干上仅聚合 LoRA 适配器,将每轮通信量从 28.6GB 降至 0.094GB,并提升 VQA v2 0.7 分。

AI 问答

NVIDIA FLARE 如何降低联邦多模态训练中的通信和内存压力?

NVIDIA FLARE 支持大型对象外部化、张量流式传输和磁盘支撑聚合,从而减少序列化、传输和聚合时占用的内存。

FedUMM 的联邦训练方式是什么?

FedUMM 冻结 BLIP3o 多模态骨干,客户端只训练并上传 LoRA 适配器和对齐 token,服务器按模态聚合轻量更新。

FedUMM 在实验中取得了哪些结果?

在 8 客户端对比中,每轮通信量从 28.6GB 降至 0.094GB,VQA v2 提升 0.7 分,性能约为集中式参考的 97%。

打开原文

更多资讯

AI灾难或将发生?Anthropic、OpenAI推演最坏情景金色财经 · 10/10 13:38分发与连接:抖音向左,美团向右,两种模式到底有什么差别人人都是产品经理 · 10/10 14:19七部门:构建电商出海良好生态36氪 · 10/10 10:18商务部:中欧双方将继续探讨在世贸组织规则框架下,降低部分商品关税的可能性36氪 · 10/09 19:20大厂卷 Jarvis,Samantha却在恋爱影游里冒了头?人人都是产品经理 · 10/10 12:42商务部:中欧双方以符合世贸组织规则的方式就混动汽车贸易达成谅解36氪 · 10/09 19:21巴西起诉壳牌子公司,索赔上亿美元洪灾损失36氪 · 10/10 16:49AI 落地,此刻发生 |1024 模力工场 AI 社区日,首批报名开启InfoQ 中文 · 10/10 00:59加强汽车产品创新设计等方面管理,四部门征求意见36氪 · 10/10 17:09How Postman runs Agent Mode for 40 million developers on Amazon BedrockAWS Machine Learning Blog · 10/09 23:35独家丨阿维塔酝酿高层调整:董事长王辉已开始负责长安海外业务雷峰网 · 10/10 15:47数据越多≠决策越好:从无人机滑翔到多机器人通信,重新审视数据与信息的关系 | IROS 2026雷峰网 · 10/10 11:28多部门:汽车生产企业不得作虚假、夸大或引人误解的宣传36氪 · 10/10 17:25OpenAI少赚200亿 倒霉却是英伟达金色财经 · 10/10 16:20中国人民银行行长潘功胜会见高盛集团总裁兼首席运营官温泽恩36氪 · 10/09 18:48“鲲为科技”完成4亿元新一轮融资36氪 · 10/09 20:58得中女得天下?这个年销3亿的女装品牌AAAD给出了新答案!人人都是产品经理 · 10/10 11:12Insights4vc:Rain 的 19.5 亿美元估值靠什么撑起金色财经 · 10/09 17:22北京:打造开放多元的国际化餐饮消费生态,吸引全球优质品牌集聚36氪 · 10/10 14:11AI需求推动日本工业机床未交订单额超1万亿日元36氪 · 10/10 13:08用AI降低激光焊使用门槛,这家公司完成数千万元融资|36氪首发36氪 · 10/10 10:26海航控股旗下北京新华顺航商贸公司增资至22亿36氪 · 10/10 16:30本周看什么 | 最近值得一看的 11 部作品少数派 · 10/09 18:04长三角铁路明日起实施新列车运行图36氪 · 10/10 11:40当所有人都用AI写内容,你的个人IP靠什么胜出?人人都是产品经理 · 10/10 11:062026中国国际社会公共安全产品博览会暨第三届智能与安全产业发展大会将于11月3日在北京开幕雷峰网 · 10/10 11:08商务部欧洲司负责人解读中欧贸易投资磋商机制第二次例会成果36氪 · 10/10 13:35为什么 ChatGPT 总爱在标题里塞色情赌博小广告?爱范儿 / APPSO · 10/10 10:13不输出文本、只输出概率的 Jev —— 上线几周估值飙到 75 亿美元开源中国 · 10/10 11:06欧盟轮值主席国提议将2028-2034年欧盟预算削减8%至1.6万亿欧元36氪 · 10/10 16:57