清华开源赤兔大模型推理引擎，国产芯片上DeepSeek推理成本减半性能翻倍

清华大学高性能计算研究所传来重要消息，翟季冬教授团队携手清华系科创先锋清程极智，共同宣布了一项重大开源成果——大模型推理引擎“赤兔 Chitu”。68Q28资讯网——每日最新资讯28at.com

这款引擎开创性地实现了在非英伟达Hopper架构GPU及众多国产芯片上的FP8精度模型原生运行，显著降低了推理成本，性能更是实现了翻倍。据悉，赤兔引擎被精准定位为“生产级大模型推理引擎”，旨在为用户带来多重优势。68Q28资讯网——每日最新资讯28at.com

首先，赤兔引擎具备强大的多元算力适配能力。无论是NVIDIA的最新旗舰产品，还是旧款的多系列产品，亦或是国产芯片，赤兔引擎都能提供优化的支持，确保了广泛的兼容性。68Q28资讯网——每日最新资讯28at.com

其次，赤兔引擎全场景可伸缩的特性使其应用场景更加灵活。无论是纯CPU部署、单GPU部署，还是大规模集群部署，赤兔引擎都能提供可扩展的解决方案，满足不同场景下的需求。68Q28资讯网——每日最新资讯28at.com

赤兔引擎的长期稳定运行能力也是其一大亮点。在实际生产环境中，赤兔引擎的稳定性足以承载高并发的业务流量，确保了业务的连续性和稳定性。68Q28资讯网——每日最新资讯28at.com

在部署DeepSeek-R1-671B满血版时，赤兔引擎在A800集群的测试中展现出了卓越的性能。与部分国外开源框架相比，赤兔引擎在实现GPU使用量减少50%的同时，推理速度还提升了3.15倍，这一成绩无疑令人瞩目。68Q28资讯网——每日最新资讯28at.com

对于广大开发者和用户而言，赤兔引擎的开源无疑是一个巨大的福音。现在，大家可以通过访问GitHub上的开源地址（https://github.com/thu-pacman/chitu），轻松获取并体验这款强大的大模型推理引擎。68Q28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-26-136913-0.html清华开源赤兔大模型推理引擎，国产芯片上DeepSeek推理成本减半性能翻倍

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 奇瑞星纪元ET纯电版SUV焕新上市，3月18日见证科技新飞跃！

下一篇： A17 Pro芯片揭秘：存在两版本，新版发热功耗问题得改善？