华为提出全新压缩算法：节省70%内存占用

快科技1月24日消息，华为AI算法团队在人工智能领域取得了显著突破，他们研究并发表了一种创新的大模型KV Cache压缩算法，名为“RazorAttention”。WqY28资讯网——每日最新资讯28at.com

这一算法具有卓越的性能，能够有效节省高达70%的大模型推理内存占用，为AI大模型的高效运行提供了有力支持。WqY28资讯网——每日最新资讯28at.com

其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度学习领域国际顶级会议ICLR 2025收录。WqY28资讯网——每日最新资讯28at.com

华为表示，此算法为业界首个基于Attention可解释性的离线静态KV Cache压缩算法，打破了过去AI大模型长序列KV Cache压缩不理想的现状。WqY28资讯网——每日最新资讯28at.com

该算法通过检索头的设置，确保上下文中重要且主要的信息不丢失，在保持高精度（误差小于1%）的情况下，静态有效压缩了大到70%的KV Cache内存占用，可以为用户大大节约AI大模型推理的成本。WqY28资讯网——每日最新资讯28at.com

目前RazorAttention算法已产品化集成在昇腾MindIE/MindStudio，支持主流8K~1M长序列KV Cache压缩，32K以上场景增量吞吐提升20%+。WqY28资讯网——每日最新资讯28at.com

WqY28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-22-127307-0.html华为提出全新压缩算法：节省70%内存占用

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 黄仁勋上手华为三折叠：不可思议 非常适合我

下一篇： 有钱人还是多！2024年中国智能机：6000+市场份额近20%