字节豆包推UltraMem架构，降推理成本83%

近日，字节跳动豆包大模型团队宣布推出全新稀疏模型架构UltraMem。该架构解决了MoE推理的高额访存问题，推理速度较MoE架构提升2-6倍，推理成本最高降83%。jHZ28资讯网——每日最新资讯28at.com

jHZ28资讯网——每日最新资讯28at.com

UltraMem具有出色的Scaling特性，实验显示，在同等计算资源下，训练规模达2000万value的UltraMem模型能同时实现领先的推理速度和模型性能。该创新成果已被ICLR 2025接收，为AI领域提供新思路。jHZ28资讯网——每日最新资讯28at.com

jHZ28资讯网——每日最新资讯28at.com

UltraMem参考PKM设计，但针对其缺陷进行改进，实现更高效访存和优质检索，同时降低显存和部署成本。在降低推理成本和提升速度的同时，UltraMem还保持了模型效果。jHZ28资讯网——每日最新资讯28at.com

jHZ28资讯网——每日最新资讯28at.com

实验表明，UltraMem在模型效果和推理速度方面均优于MoE和PKM架构。jHZ28资讯网——每日最新资讯28at.com

jHZ28资讯网——每日最新资讯28at.com

推理成本的降低将助推AI技术在更多领域应用，尤其是资源受限的场景。对于用户而言，UltraMem架构的突破和推理速度的提升可使AI应用响应更迅速，交互更流畅，优化使用体验，提高效率。jHZ28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-27-130227-0.html字节豆包推UltraMem架构，降推理成本83%

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 富士康应对关税挑战，刘扬伟关注市场趋势

下一篇： 欧盟减排策略陷入两难：拒中系EV与依赖其合作并存