有望改写AI未来！NVIDIA全新nGPT使训练速度暴增20倍

快科技10月20日消息，据媒体报道，NVIDIA的新研究可能彻底改变AI的未来，其研究团队提出了一种名为归一化Transformer（nGPT）的新型神经网络架构。0Zm28资讯网——每日最新资讯28at.com

这一架构在超球面（hypersphere）上进行表示学习，能够显著提升大型语言模型（LLM）的训练速度，高可达20倍，同时保持了模型的精度。0Zm28资讯网——每日最新资讯28at.com

nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。0Zm28资讯网——每日最新资讯28at.com

这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献终的输出预测。0Zm28资讯网——每日最新资讯28at.com

实验结果表明，nGPT在训练时所需的步骤比标准Transformer模型减少了4到20倍，具体加速效果取决于序列长度。0Zm28资讯网——每日最新资讯28at.com

例如，在1k上下文中，训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。0Zm28资讯网——每日最新资讯28at.com

研究人员指出，nGPT的优化路径从超球面上的点开始，通过位移来贡献终的输出预测，其中位移量由MLP和注意力模块定义。0Zm28资讯网——每日最新资讯28at.com

这种方法不仅提高了训练速度，还增强了模型的稳定性。0Zm28资讯网——每日最新资讯28at.com

0Zm28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-17-124310-0.html有望改写AI未来！NVIDIA全新nGPT使训练速度暴增20倍

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 比Java快15倍！国产编程语言MoonBit发布原生后端

下一篇： 微信吃不饱 视频号发力