InfoQ 中文 发布于 08/26 22:51

535B 大模型“直播”训练三个月:代码、数据、Loss全公开,吴恩达公开力挺

查看原文

资讯摘要

11 套英伟达 GB200 连续跑 3 个月,大模型最昂贵的“炼丹过程”被彻底摊开。

AI 摘要

斯坦福CRFM发起Marin开放基础模型项目,公开训练5350亿参数MoE模型。训练将处理18.75万亿Token,运行在11套GB200上,全程公开数据、代码、Loss曲线和实验记录。项目通过缩放梯和开放实验室机制探索AI研究透明度,吴恩达公开支持。

AI 问答

Marin 535B-A23B 中的 A23B 是什么意思?

A23B 表示该 MoE 模型每个 Token 实际激活约 230 亿参数,并非所有 5350 亿参数同时参与计算。

为什么 Marin 选择从 4K 上下文开始预训练?

较短的上下文可在同等 Token 批量下容纳更多独立序列,使专家负载更均衡,从而降低 Token Dropping 比例。此前实验中上下文从 4K 扩展到 65K 时,Token Dropping 从约 7% 升至约 40%。

Marin 项目的核心目标是什么?

让基础模型的训练过程像开源软件一样公开可审查,通过开放实验室机制实时发布数据、代码、Loss 和实验记录,推动 AI 研究的透明化和协作。

打开原文

更多资讯

全球扩散语言模型最大融资诞生:经纬、顺为、君联数亿元押注扩散智能DiffuSpaceInfoQ 中文 · 10/09 19:07AI灾难或将发生?Anthropic、OpenAI推演最坏情景金色财经 · 10/10 13:38近1亿美元加密资产被盗 Ledger钱包被盗事件疑云重重金色财经 · 10/10 15:25冷钱包遭经销商投毒 超8600万美元被盗 请立刻排查金色财经 · 10/10 14:56商务部:中欧双方以符合世贸组织规则的方式就混动汽车贸易达成谅解36氪 · 10/09 19:21智能咖啡机 10 天内产生 1TB 数据流量Solidot · 10/09 17:3590 天证书开始倒计时:Let's Encrypt 官宣 2027 年 2 月全面转向 64 天开源中国 · 10/10 10:47Starknet考虑从L2转向L1 量子计算与AI成关键推手金色财经 · 10/09 17:23小红书+AI+知识库,我现在无敌了人人都是产品经理 · 10/10 10:45江淮汽车增资至约22.54亿36氪 · 10/10 11:03三星钱包默认用 USDC:能留住多少美元?金色财经 · 10/09 20:22未经批准含有“金融控股”等字样 三家企业被要求整改36氪 · 10/10 16:44长三角铁路明日起实施新列车运行图36氪 · 10/10 11:40金色Web3.0日报 | Hyperliquid收入破14亿回购HYPE金色财经 · 10/10 21:56重新思考 Neobank 新兴银行金色财经 · 10/10 17:04广合科技:前三季度净利润同比预增100.33%至107.23%36氪 · 10/09 19:27AI产品经理到底要学哪些技术?传统PM不要把时间浪费在这3件事上人人都是产品经理 · 10/10 09:13TRAE负责人石扬离职创业,联手前字节数据安全负责人傅越做 AI 办公,首轮估值 2 亿美元人人都是产品经理 · 10/09 21:52奈飞据悉正进行组织重组,预计将影响约5%的员工36氪 · 10/09 19:43报道称OpenAI和Anthropic正在聘用前特朗普政府官员36氪 · 10/09 19:08北京:打造开放多元的国际化餐饮消费生态,吸引全球优质品牌集聚36氪 · 10/10 14:1124 天估值暴涨 37 倍,这就是 AI 圈年度爽文爱范儿 / APPSO · 10/10 17:11超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务36氪 · 10/10 12:12新思科技与亚马逊达成多年期定制芯片战略IP协议36氪 · 10/10 13:41SpaceX:猎鹰9号火箭距执行Semp erCitiusSDA任务发射不到一小时36氪 · 10/10 15:28天康生物:9月销售生猪收入4.07亿元36氪 · 10/09 20:59大厂夹缝中的Manus人人都是产品经理 · 10/10 15:25世界的下一个版本,由我们定义 |2026苏客松招募启动36氪 · 10/10 10:35中欧贸易投资磋商机制第二次例会联合声明36氪 · 10/09 19:13前8个月我国软件业务收入超10万亿元36氪 · 10/10 11:20