Marin 535B-A23B 中的 A23B 是什么意思?
A23B 表示该 MoE 模型每个 Token 实际激活约 230 亿参数,并非所有 5350 亿参数同时参与计算。

11 套英伟达 GB200 连续跑 3 个月,大模型最昂贵的“炼丹过程”被彻底摊开。
斯坦福CRFM发起Marin开放基础模型项目,公开训练5350亿参数MoE模型。训练将处理18.75万亿Token,运行在11套GB200上,全程公开数据、代码、Loss曲线和实验记录。项目通过缩放梯和开放实验室机制探索AI研究透明度,吴恩达公开支持。
A23B 表示该 MoE 模型每个 Token 实际激活约 230 亿参数,并非所有 5350 亿参数同时参与计算。
较短的上下文可在同等 Token 批量下容纳更多独立序列,使专家负载更均衡,从而降低 Token Dropping 比例。此前实验中上下文从 4K 扩展到 65K 时,Token Dropping 从约 7% 升至约 40%。
让基础模型的训练过程像开源软件一样公开可审查,通过开放实验室机制实时发布数据、代码、Loss 和实验记录,推动 AI 研究的透明化和协作。
全球扩散语言模型最大融资诞生:经纬、顺为、君联数亿元押注扩散智能DiffuSpace
AI灾难或将发生?Anthropic、OpenAI推演最坏情景
近1亿美元加密资产被盗 Ledger钱包被盗事件疑云重重
冷钱包遭经销商投毒 超8600万美元被盗 请立刻排查商务部:中欧双方以符合世贸组织规则的方式就混动汽车贸易达成谅解智能咖啡机 10 天内产生 1TB 数据流量90 天证书开始倒计时:Let's Encrypt 官宣 2027 年 2 月全面转向 64 天
Starknet考虑从L2转向L1 量子计算与AI成关键推手小红书+AI+知识库,我现在无敌了江淮汽车增资至约22.54亿
三星钱包默认用 USDC:能留住多少美元?未经批准含有“金融控股”等字样 三家企业被要求整改长三角铁路明日起实施新列车运行图
金色Web3.0日报 | Hyperliquid收入破14亿回购HYPE
重新思考 Neobank 新兴银行广合科技:前三季度净利润同比预增100.33%至107.23%AI产品经理到底要学哪些技术?传统PM不要把时间浪费在这3件事上TRAE负责人石扬离职创业,联手前字节数据安全负责人傅越做 AI 办公,首轮估值 2 亿美元奈飞据悉正进行组织重组,预计将影响约5%的员工报道称OpenAI和Anthropic正在聘用前特朗普政府官员北京:打造开放多元的国际化餐饮消费生态,吸引全球优质品牌集聚
24 天估值暴涨 37 倍,这就是 AI 圈年度爽文超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务新思科技与亚马逊达成多年期定制芯片战略IP协议SpaceX:猎鹰9号火箭距执行Semp erCitiusSDA任务发射不到一小时天康生物:9月销售生猪收入4.07亿元大厂夹缝中的Manus世界的下一个版本,由我们定义 |2026苏客松招募启动中欧贸易投资磋商机制第二次例会联合声明前8个月我国软件业务收入超10万亿元