6 月 12 日消息，面壁智能于本月 6 日晚发布端侧大模型 MiniCPM 4.0。面壁智能官方今日发文称，面壁 MiniCPM 4 与 Intel 全面适配，结合英特尔加速套件与 KV Cache 内存增强技术，实现 AI PC 2.2 倍长文本推理优化，端侧 AI PC 在 Day 0 全面适配，128K 长上下文窗口等多方面突破。
据介绍，此次面壁推出的 MiniCPM 4.0 系列 LLM 模型拥有 8B、0.5B 两种参数规模，针对单一架构难以兼顾长、短文本不同场景的技术难题，MiniCPM 4.0-8B 采用「高效双频换挡」机制，能够根据任务特征自动切换注意力模式：在处理高难度的长文本、深度思考任务时，启用稀疏注意力以降低计算复杂度，在短文本场景下切换至稠密注意力以确保精度，实现了长、短文本切换的高效响应。
目前，具有 CPU、GPU、NPU 三个 AI 运算引擎的英特尔酷睿 Ultra 处理器已对此适配，并借助 OpenVINO工具套件为 MiniCPM 4.0 系列模型提供优化的卓越性能表现。英特尔再次在 NPU 上对模型发布提供第零日（Day 0）支持，为不同参数量模型和应用场景提供更多样化的、更有针对性的平台支持。
据了解，MiniCPM 4.0 可在 vLLM、SGLang、LlamaFactory、XTuner 等开源框架部署。其内置自研 CPM.cu 极速端侧推理框架，从投机采样创新、模型压缩量化创新、端侧部署框架创新几方面，带来 90% 的模型瘦身和速度提升，官方宣称将实现端侧推理“从天生到终生”的丝滑。
本文链接：http://www.28at.com/showinfo-45-13809-0.html面壁智能 MiniCPM 4 与 Intel 全面适配，实现 AI PC 2.2 倍长文本推理优化
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
上一篇： 国内首个：中国天气智能体台风频道上线，自动推送台风预警
下一篇： AMD Advancing AI 2025 大会如期而至：重磅发布 Instinct MI350 系列 GPU 产品，推理性能提升达 35 倍
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
