当前位置：首页 > 元宇宙 > AI

GPT-4：突破巨大参数规模的下一步之旅

来源：责编：时间：2023-08-15 18:48:15 195观看

导读07月13日消息，外媒Semianalysis最近对OpenAI于今年3月发布的GPT-4大模型进行了深度揭秘。据他们透露，GPT-4在架构和参数方面有着显著的提升，以及采用了混合专家模型(Mixtureof Experts)的构建方式。据悉，GPT-4采用了混合

07月13日消息，外媒Semianalysis最近对OpenAI于今年3月发布的GPT-4大模型进行了深度揭秘。据他们透露，GPT-4在架构和参数方面有着显著的提升，以及采用了混合专家模型(Mixtureof Experts)的构建方式。

据悉，GPT-4采用了混合专家模型，这种模型利用数据进行训练，将多个模型分别训练后，将它们的输出整合为一个单独的任务。为了保持合理的成本，OpenAI选择了这种方式进行构建。GPT-4总共有120层，包含了1.8万亿个参数，相比之下，GPT-3只有约1750亿个参数，可见其在规模上的巨大提升。

GPT-4使用了16个混合专家模型，每个模型拥有1110亿个参数，并且每次前向传递路由都会经过两个专家模型。此外，它还拥有550亿个共享注意力参数。为了进行训练，OpenAI使用了一个包含13万亿个tokens的数据集，这些tokens并非唯一，而是根据迭代次数计算出更多的tokens。

据ITBEAR科技资讯了解，GPT-4在预训练阶段的上下文长度为8k，32k版本则是对8k版本的微调结果。然而，GPT-4的训练成本非常高昂。根据外媒报道，即使使用了8倍H100物理机，也无法以每秒33.33个token的速度提供所需的密集参数模型。据估算，一次GPT-4的训练成本高达6300万美元(约4.51亿元人民币)。

为了降低训练成本，OpenAI选择在云端使用A100GPU进行模型训练，最终将训练成本降低至大约2150万美元(约1.54亿元人民币)，尽管需要更长的时间来完成训练过程。这一举措在一定程度上减轻了训练成本的压力。

本文链接：http://www.28at.com/showinfo-45-999-0.htmlGPT-4：突破巨大参数规模的下一步之旅

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：前沿技术、机器人和集成电路成为人工智能领域热门融资领域

下一篇：新一代AI笔记应用Notebook LM亮相：优化信息整理与解答需求

标签：

热门焦点

元宇宙终究没火过两年

来源：传播体操在ChatGPT快速破圈的同时，元宇宙的热度却一泻千里。虽然互联网大厂们都没有否认元宇宙的长期想象力，但在行动上却都纷纷表示了对元宇宙短期前景的悲观。号称改变
如何对一款 NFT 项目进行价值评估？

原文作者 | Othmane Senhaji Rhazi，Web 3 企业家.编译整理 | 黑米@白泽研究院我之所以成为一位大力倡导 Web3 和 NFT 领域的企业家，因为我相信我们正在见证社会
搭上“谷爱凌”，“柳夜熙们”站上风口？

作者：张琳曹杨从“永不塌房”的艺人到频频亮相北京冬奥会，作为元宇宙细分赛道之一的虚拟数字人又火了一把。2月7日，即谷爱凌摘得冬奥会自由式滑雪大跳台金牌的
Kitten Coup社区反转Cool Kittens NFT骗局

当狂热的加密爱好者将金钱投入到NFT图片时，浑水摸鱼的骗局随之而来，Cool Kittens NFT便是其中一个作恶者，该项目于去年11月在Sonala链上启动小猫形象的NFT铸造及
以用户为中心，Web3和区块链如何将用户放在首位

竞争优势正在改变竞争优势是每个企业都在努力争取的，由谷歌、Facebook和Netflix等大型科技公司主导的市场中，两大重要类别的竞争优势十分突出。第一个竞争优势来
独立故事片“Calladita”将使用 NFT 筹集资金

导演 Miguel Faus 正在转向加密来资助他的处女作，由 Paula Grimaldo 和 Emily Mortimer 主演。“Calladita”（导演 Miguel Faus）。图片：米格尔·福斯在过去的一年
大厂打造元宇宙平台的业务重心是什么？

知名市场研究机构IDC发布《2022年中国元宇宙市场十大预测》报告，其中提出互联网大厂各自独立布局元宇宙平台。事实上，在2021年的最后一个季度，包括Meta、英伟达、
Steam 禁止NFT和加密货币原因曝光

近日，Valve（V社）总裁Gabe Newell接受PC Gamer采访时解释了该平台禁止NFT和加密货币的原因。早在2021年10月18日，PC Gamer就报道Steam推出的新规：使用区块链或允许交
3月份值得关注的5个NFT项目

2021年，我们见证了一个新的创造者经济的诞生。它是在区块链上诞生的。自从NFT成为流行文化的中心舞台以来，有些艺术家们已经成为了NFT的超级明星，在几个月的时间