7 月 5 日消息，今天的 2024 世界人工智能大会（WAIC 2024）期间，面壁智能联合创始人、首席科学家刘知远宣布，开源主打高效低能耗的新一代“面壁小钢炮”MiniCPM-S 模型，同时发布助力开发者一键打造大模型 SuperApp 的全栈工具集 MobileCPM。
据介绍，面壁 2024 年发布了具备 GPT-3 同等性能但参数仅为 24 亿的 MiniCPM-2.4B，知识密度提高了约 86 倍。面壁方面更称，这“并不是极限”—— 其持续优化 Scaling Law 使模型知识密度不断提升，可不断训练出计算更加高效、表现更强（参数规模降低，数值位宽降低，结构更加高效）的基础大模型。
而此次开源的 MiniCPM-S 采用“稀疏激活”在同等参数下减少大模型的推理能耗，稀疏度越高，每个词元（token）激活的神经元越少，大模型的推理成本和能耗就越少。
MiniCPM-S 1.2B 采用了高度稀疏架构，通过将激活函数替换为 ReLU 及通过带渐进约束的稀疏感知训练，巧妙地解决了此前主流大模型在稀疏激活上面临的困境。
官方还表示，和同规模的稠密模型 MiniCPM 1.2B 相比，MiniCPM-S 1.2 具备如下特征：
Sparse-高稀疏低能耗：在 FFN 层实现了高达 87.89% 平均稀疏度，推理算力下降 84%；
Speed-神仙推理：更少计算，迅疾响应。纯CPU环境下，结合 Powerinfer 推理框架，推理解码速度提升约 2.8 倍；
Strong-无损强大性能：更少计算量，无损下游任务性能。
MobileCPM 已经支持 iOS 系统，安卓版本也即将上线。附：开源地址、TestFlight 外测地址。
本文链接：http://www.28at.com/showinfo-45-5022-0.html面壁智能开源“小钢炮”MiniCPM-S AI 模型，主打高效低能耗
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
