快讯 08:00Google Research发布三项研究,推进AI智能体自主湿实验室基础模块06:53Claude 模型 30 分钟破解 NIST 椭圆曲线种子 26 年来源谜题03:05Anthropic 披露 Claude 编写约 90% Claude Code 代码,合并 PR 翻倍回退率降超四成 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 昨天 · 星期五 · 10-16 00:09 约 1 分钟读完

微软MAI-Base-2预训练收官:2.8T参数MoE模型FLOPs效率最高达DeepSeek-V4-Pro-Base的12.3倍

摘要

Microsoft AI宣布完成MAI-Base-2预训练。该模型为800亿激活、2.8T总参数的MoE基础模型,在held-out评测中BPB低于所测全部开源权重模型,预训练FLOPs效率比DeepSeek-V4-Pro-Base高4.2至12.3倍。

Microsoft AI 近日披露了 MAI-Base-2 的预训练进展,宣布该阶段工作已经完成。这是一款采用 MoE 架构的基础模型,总参数规模达到 2.8T,单次推理激活约 800 亿参数。

在 held-out 评测集上,MAI-Base-2 的 BPB 指标低于本次测试所覆盖的全部开源权重模型,意味着其在语言建模的压缩效率上取得了相对领先的位置。

更受关注的是预训练阶段的算力效率。Microsoft AI 给出的数据显示,MAI-Base-2 的预训练 FLOPs 效率达到 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍,具体倍数随对比条件变化。这一区间跨度表明,效率优势在不同评测口径下存在差异,但整体方向一致。

对于基础模型研发而言,FLOPs 效率直接关系到同等算力预算下可达到的模型质量。MAI-Base-2 的数据点出,MoE 稀疏激活路线在超大规模参数下仍具备可观的效率挖掘空间,也为后续微调与部署环节留下观察窗口。

Microsoft AIMAI-Base-2MoE预训练
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词