PyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率

10 月 2 日消息，据 PyTorch 新闻稿，PyTorch 旗下架构优化库 torchao 现已正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和 RAM 用量，从而提升模型运行效率，附 GitHub 页面地址（点此访问）。civ28资讯网——每日最新资讯28at.com

据介绍，torchao 提供了一系列优化工具集，可以帮助 LLaMA 3等流行的 AI 模型提升性能，其支持 float8、int4 等低精度数据类型，能够有效减少硬件开销和RAM用量。civ28资讯网——每日最新资讯28at.com

civ28资讯网——每日最新资讯28at.com

官方举例，在 LLaMA 3 70B 模型的预训练中，torchao 提供的 float8 训练流程可将模型计算速度提升 1.5 倍。开发者只需利用 convert_to_float8_training 函数，即可将模型训练转换为 float8，从而轻松实现模型高效训练。civ28资讯网——每日最新资讯28at.com

在推理方面，torchao 提供多种量化方法，包括权重量化（Weight-Only Quantization）和动态激活量化（Dynamic Activation Quantization），用户可以自有选择适合的量化策略，以获得最佳的模型推理性能。civ28资讯网——每日最新资讯28at.com

在稀疏性优化方面，torchao 可以优化模型参数计算效率，据称可让 ViT-H 模型的推理速度提升 5%。同时，torchao 还可以将权重量化为 int4，并将键值缓存量化为 int8，可令 LLaMA 3.1 8B 在完整的 128K 上下文长度下仅占用 18.9GB 的显存。civ28资讯网——每日最新资讯28at.com

civ28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-8027-0.htmlPyTorch 架构优化库 torchao 正式发布，可大幅提升 AI 模型效率

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI 发布 Realtime API，助力第三方应用集成其语音合成技术

下一篇： 非 Transformer 架构 AI 模型 Liquid 问世，号称性能“凌驾 Meta Llama 微软 Phi”