北京清程极智科技有限公司，由清华大学电脑系团队孵化，近日发布了开源AI推论引擎“赤兔”及全场景解决方案。该引擎可在本土芯片上运行，减少对NVIDIA芯片的依赖，推动技术自主。
赤兔引擎支持大型语言模型（LLM），如DeepSeek R1，并在NVIDIA A800 GPU上运行DeepSeep R1时，推论速度提升315%，GPU使用率降低50%。
其加速效果来自算力系统和代码优化，实现模型无损前提下的效能大幅提升。赤兔已兼容ComfyUI，支持多图片生成场景。
赤兔还支持阿里通义千问、Meta LlaMA 3等热门模型及用户自定义模型，满足各国多元算力平台需求。
清程极智由翟季冬教授发起，核心团队多毕业于QS排名前50名校，其中清华电脑系博士占3成。公司已获多家机构投资，并与摩尔线程、燧原科技等达成合作。
鉴于美国对中国AI芯片出口管制，中国AI企业正寻求替代方案，如DeepSeek和字节跳动研究团队通过系统优化提升LLM训练效率，节省GPU使用量。
本文链接：http://www.28at.com/showinfo-27-137798-0.html中国赤兔AI推论架构，助力AI芯片自主化
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
上一篇： 英特尔新CEO陈立武薪酬方案揭晓
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
