月之暗面 Kimi 开源 Moonlight：30 亿 160 亿参数混合专家模型

2 月 24 日消息，月之暗面 Kimi 昨日发布了“Muon 可扩展用于 LLM 训练”的新技术报告，并宣布推出“Moonlight”：一个在 Muon 上训练的 30 亿 / 160 亿参数混合专家模型（MoE）。使用了 5.7 万亿个 token，在更低的浮点运算次数（FLOPs）下实现了更好的性能，从而提升了帕累托效率边界。bH528资讯网——每日最新资讯28at.com

bH528资讯网——每日最新资讯28at.com

月之暗面称，团队发现 Muon 优化器可通过添加权重衰减、仔细调整每个参数的更新幅度等技术进行扩展，并具备如下亮点：bH528资讯网——每日最新资讯28at.com

这些技术使得 Muon 能够在大规模训练中开箱即用，无需进行超参数调优。扩展法则实验表明，与计算最优训练的 AdamW 相比，Muon 实现了约 2 倍的计算效率。bH528资讯网——每日最新资讯28at.com

本次论文所使用的模型为 Moonlight-16B-A3B，总参数量为 15.29B，激活参数为 2.24B，其使用 Muon 优化器，在 5.7T Tokens 的训练数据下获得上述成绩。bH528资讯网——每日最新资讯28at.com

我们的模型不仅突破了当前的 Pareto 前沿，还在训练所需的 FLOP 数大幅减少的情况下，达到了比以往模型更优的性能。bH528资讯网——每日最新资讯28at.com

我们开源了一个分布式版本的 Muon 实现，它在内存使用和通信效率上都进行了优化。同时，我们也发布了预训练模型、经过指令调优的模型以及中间训练检查点，旨在为未来的研究提供支持。bH528资讯网——每日最新资讯28at.com

附有关链接如下：bH528资讯网——每日最新资讯28at.com

GitHub：点此前往bH528资讯网——每日最新资讯28at.com

Hugging Face ：点此前往bH528资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-11075-0.html月之暗面 Kimi 开源 Moonlight：30 亿 160 亿参数混合专家模型

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 超 2000 名文化界人士呼吁英国政府：不要将我们的作品白送给 AI 富豪

下一篇： 国产 AI 大模型加速迭代，厂商迈向开源、集聚化