11 月 16 日消息，微软 Ignite 2023 大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新 TensorRT-LLM，添加了对 OpenAI Chat API 的支持。
今年 10 月报道，英伟达面向数据中心和 Windows PC，推出 Tensor RT-LLM 开源库。最大的特点是，如果 Windows PC 配备英伟达 GeForce RTX GPU，TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。
英伟达在今天 Ignite 2023 大会上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增强 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。
TensorRT-LLM 可以通过英伟达的 AI Workbench 在本地完成，开发者可以使用这个统一、易用的工具包，在 PC 或工作站上快速创建、测试和定制预训练的生成式 AI 模型和 LLM。英伟达还为此推出了抢先体验注册页面。
英伟达将于本月晚些时候发布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。
用户可以在 8GB 显存以上的 GeForce RTX 30 系列和 40 系列 GPU 上运行，一些便携式 Windows 设备也能使用快速、准确的本地 LLM 功能。
相关阅读：
《英伟达推出 Tensor RT-LLM，使大语言模型在搭载 RTX 的 PC 平台上运行速度提高 4 倍》
本文链接：http://www.28at.com/showinfo-45-2578-0.html英伟达预告新版 TensorRT-LLM：推理能力飙升 5 倍、8GB 以上显卡可本地运行，支持 OpenAI 的 Chat API
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
