当前位置：首页 > 科技 > 数码

NVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型

来源：责编：时间：2023-11-17 08:49:39 291观看

导读快科技11月16日消息，正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。尤是对于当下在AI领域占据绝对主导地位的NVIDIA来

快科技11月16日消息，正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。

尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说，微软这次送上了一份大礼包，无论是面向OpenAI Chat API的TensorRT-LLM封装接口，还是RTX驱动的性能改进DirectML for Llama 2，以及其他热门大语言模型(LLM)，都可以在NVIDIA硬件上获得更好的加速和应用。

其中，TensorRT-LLM是一款用于加速LLM推理的库，可大大提升AI推理性能，还在不断更以支持越来越多的语言模型，而且它还是开源的。

就在10月份，NVIDIA也发布了面向Windows平台的TensorRT-LLM，在配备RTX 30/40系列GPU显卡的台式机、笔记本上，只要显存不少于8GB，就可以更轻松地完成要求严苛的AI工作负载。

现在，Tensor RT-LLM for Windows可以通过全新的封装接口，与 OpenAI 广受欢迎的聊天 API 兼容，因此可以在本地直接运行各种相关应用，而不需要连接云端，有利于在 PC 上保留私人和专有数据，防范隐私泄露。

只要是针对TensorRT-LLM优化过的大语言模型，都可以与这一封装接口配合使用，包括Llama 2、Mistral、NV LLM，等等。

对于开发者来说，无需繁琐的代码重写和移植，只需修改一两行代码，就可以让AI应用在本地快速执行。

NVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型 ↑↑↑基于TensorRT-LLM的微软Visual Studio代码插件——Continue.dev编码助手

本月底还会有TensorRT-LLM v0.6.0版本更新，将会在RTX GPU上带来多达5倍的推理性能提升，并支持更多热门的 LLM，包括全新的70亿参数Mistral、80亿参数Nemotron-3，让台式机和笔记本也能随时、快速、准确地本地运行LLM。

根据实测数据，RTX 4060显卡搭配TenroRT-LLM，推理性能可以跑到每秒319 tokens，相比其他后端的每秒61 tokens提速足足4.2倍。

RTX 4090则可以从每秒tokens加速到每秒829 tokens，提升幅度达2.8倍。

NVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型

基于强大的硬件性能、丰富的开发生态、广阔的应用场景，NVIDIA RTX正成为本地端侧AI不可或缺的得力助手，而越来越丰富的优化、模型和资源，也在加速AI功能、应用在上亿台RTX PC上的普及。

目前已经有400多个合作伙伴发布了支持RTX GPU加速的AI应用、游戏，而随着模型易用性的不断提高，相信会有越来越多的AIGC功能出现在Windows PC平台上。

NVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型

本文链接：http://www.28at.com/showinfo-24-27406-0.htmlNVIDIA RTX显卡AI推理提速5倍！RTX PC轻松在本地搞定大模型

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：牙膏都懒得挤了！RTX 40笔记本暂时按兵不动

下一篇：微软推出两款定制芯片Azure Maia 100和Azure Cobalt 100

标签：

热门焦点

太卷！Redmi MAX 100英寸电视便宜了：12999元买Redmi史上最大屏

8月5日消息，从小米商城了解到，Redmi MAX 100英寸巨屏电视日前迎来官方优惠，到手价12999元，比发布价便宜了7000元，在大屏电视市场开卷。据了解，Redmi MAX 100
Rust中的高吞吐量流处理

作者 | Noz编译 | 王瑞平本篇文章主要介绍了Rust中流处理的概念、方法和优化。作者不仅介绍了流处理的基本概念以及Rust中常用的流处理库，还使用这些库实现了一个流处理程序
三言两语说透柯里化和反柯里化

JavaScript中的柯里化(Currying)和反柯里化(Uncurrying)是两种很有用的技术，可以帮助我们写出更加优雅、泛用的函数。本文将首先介绍柯里化和反柯里化的概念、实现原理和应用
为什么你不应该使用Div作为可点击元素

按钮是为任何网络应用程序提供交互性的最常见方式。但我们经常倾向于使用其他HTML元素，如 div span 等作为 clickable 元素。但通过这样做，我们错过了许多内置浏览器的功能。
本地生活这块肥肉，拼多多也想吃一口

出品/壹览商业作者/李彦编辑/木鱼拼多多也看上本地生活这块蛋糕了。近期，拼多多在App首页“充值中心”入口上线了本机生活界面。壹览商业发现，该界面目前主要
得物宠物生意「狂飙」，发力“它经济”

作者｜花花小萌主近日，得物宣布正式上线宠物鉴别，通过得物App内的“在线鉴别”，可找到鉴别宠物的选项。通过上传自家宠物的部位细节，就能收获拥有专业资质认证的得物鉴
花7万退货退款无门：谁在纵容淘宝珠宝商家造假？

来源：极点商业作者：杨铭在淘宝购买珠宝玉石后，因为保证金不够赔付，店铺关闭，退货退款难、维权无门的比比皆是。“提供相关产品鉴定证书，支持全国复检，可以30天无理由退换货。&
由于成本持续增加，笔记本产品价格预计将明显上涨

根据知情人士透露，由于材料、物流等成本持续增加，笔记本产品价格预计将在2021年下半年有明显上涨。进入6月下旬以来，全球半导体芯片缺货情况加剧，显卡、处理器
利用职权私自解除被封帐号 Meta开除20多名员工

11月18日消息，据外媒援引知情人士表示，过去一年时间内，Facebook母公司Meta解雇或处罚了20多名员工以及合同工，指控这些人通过内部系统以不当方式重置用户帐号，其