10月18日消息，英伟达，硬件领域的人工智能巨头，迈向新的里程碑，推出了一项旨在提升大型语言模型(LLM)性能的软件工具，适用于本地Windows PC。英伟达的 GPU 在全球领先科技公司，如微软和OpenAI的数据中心中发挥重要作用，驱动着BingChat、ChatGPT等人工智能服务。TensorRT-LLM库是英伟达最新的开源工具，原本是为数据中心开发的，现在已经扩展到WindowsPC。最引人瞩目的特性之一是，如果Windows PC搭载英伟达GeForce RTXGPU，TensorRT-LLM能够将LLM在该平台上的运行速度提升至原有速度的四倍。
据ITBEAR科技资讯了解，英伟达在博客文章中详细介绍了TensorRT-LLM对开发者和终端用户的潜在益处。在更大的批量大小下，TensorRT-LLM的加速效果显著，尤其在处理更复杂的LLM任务，如写作和编码助手时，能够同时输出多个独特的自动完成结果，从而提高性能和结果质量，让用户可以有更多智能的选择。
文章中还举例展示了TensorRT-LLM的运作方式。当提问“《心灵杀手2》集成了NVIDIA的哪些技术?”时，传统LLM只能给出“游戏尚未公布”的无帮助回答。然而，使用TensorRT-LLM结合RAG模型，将GeForce新闻添加到向量库中并连接到相同的Llama2模型，不仅能提供正确答案，包括NVIDIADLSS 3.5、NVIDIAReflex和全景光线追踪等技术，而且在TensorRT-LLM的加速下，响应速度更加迅猛，为用户提供更加智能的解决方案。
TensorRT-LLM预计将很快在英伟达的开发者网站上提供，这将为广大开发者提供更强大的工具和资源，以更好地利用英伟达的GPU性能。
此外，英伟达还在最新的GeForce驱动更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video SuperResolution功能的1.5版本，能够在观看在线视频时提供更高的分辨率增强效果，减少了压缩效果。此外，英伟达还为拥有GeForce RTXGPU的用户增加了TensorRT人工智能加速功能，进一步提升了从人工智能图片生成器获取图像的速度。这一系列的更新将进一步提高用户体验，使其受益于英伟达强大的硬件和软件创新。
本文链接：http://www.28at.com/showinfo-45-2215-0.html英伟达TensorRT-LLM库登陆Windows PC，瞄准提高性能
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
