当前位置：首页 > 元宇宙 > AI

阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens

来源：责编：时间：2024-06-11 17:44:56 89观看

导读 6 月 7 日消息，通义千问（Qwen）今天宣布经过数月的努力，Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 上同步开源。附上 Qwen 2.0 主要内容如下：5 个尺寸的预训练和指令微调模型

6 月 7 日消息，通义千问（Qwen）今天宣布经过数月的努力，Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 上同步开源。

附上 Qwen 2.0 主要内容如下：

5 个尺寸的预训练和指令微调模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B

在中文英语的基础上，训练数据中增加了 27 种语言相关的高质量数据；

多个评测基准上的领先表现；

代码和数学能力显著提升；

增大了上下文长度支持，最高达到 128K tokens（Qwen2-72B-Instruct）。

模型基础信息

Qwen2 系列包含 5 个尺寸的预训练和指令微调模型，其中包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。

模型Qwen2-0.5BQwen2-1.5BQwen2-7BQwen2-57B-A14BQwen2-72B参数量0.49B1.54B7.07B57.41B72.71B非 Embedding 参数量0.35B1.31B5.98B56.32B70.21BGQATrueTrueTrueTrueTrueTie EmbeddingTrueTrueFalseFalseFalse上下文长度32K32K128K64K128K

在 Qwen1.5 系列中，只有 32B 和 110B 的模型使用了 GQA。这一次，所有尺寸的模型都使用了 GQA，以便让大家体验到 GQA 带来的推理加速和显存占用降低的优势。

模型评测

相比 Qwen1.5，Qwen2 在大规模模型实现了非常大幅度的效果提升。我们对 Qwen2-72B 进行了全方位的评测。

在针对预训练语言模型的评估中，对比当前最优的开源模型，Qwen2-72B 在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型，如 Llama-3-70B 以及 Qwen1.5 最大的模型 Qwen1.5-110B。

附上参考地址

你好，Qwen2

本文链接：http://www.28at.com/showinfo-45-4549-0.html阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：五粮液浓香酒：劳动节送礼的精致艺术

下一篇：号称效果对标 Sora：快手视频生成大模型“可灵”开放邀测

标签：

热门焦点

元宇宙的文旅赛道，还能如何发力？

来源：X增强现实苹果推出Vision Pro，为XR行业注入一剂强心针。而在苹果开发者大会上迪士尼CEO鲍勃·艾格在宣布迪士尼与苹果达成合作，其Disney+流媒体服务将于Vision Pro
错过了BRC20还有eths,eth铭文协议

来源：三头鸟NFT大家好，我是鸟哥，了解鸟哥的人都知道鸟哥擅撸空投，说实话撸毛虽然回报大但周期还是有点长的，所以除了撸毛我们自己也在研究早期项目，打新，比如BRC20协议ordi当时就有
元宇宙火热的当下，我们该如何“身临其境”的体验元宇宙？

元宇宙的余热依然没有过去，甚至大有星星之火开启燎原之势，元宇宙本身也从殿堂走向了民间，我们可以看到一些企业开始了元宇宙的探索，诸如中国电信全资控股子公司天
城市数字孪生标准化白皮书（2022版）

当前，城市数字孪生已经发展成为支撑智慧城市的重要技术手段。城市数字孪生通过在数字空间对城市物理空间和社会空间进行全要素表达、全过程呈现、全周期可溯，实
AI特效、虚拟人、数字盲盒，来看看元宇宙如何融合冬奥会！

今天是冬奥会比赛的第12天，截至目前所累计的成绩，中国代表团已经取得了冬奥历史最佳战绩。全世界的人都在关注着这场盛事，为奥运健儿呐喊助威。谷爱凌、徐梦桃、
元宇宙是数字共识生态的集成逻辑表达

作者: 李鸣元宇宙是数字共识生态的集成逻辑表达，是以区块链技术为核心的可信数字化价值交互网络，是基于Web3.0技术体系和运作机制支撑下的数字新生态。本体论是
NFT自动售货机来啦！

“纽约市有一台售卖 Solana NFT 的自动售货机，用信用卡就能买”Solana NFT 市场 Neon 可让您使用信用卡亲自购买 NFT，无需使用加密货币。由于基于 Solana 链的 N
音乐家如何利用NFTs来提高歌迷参与度

"音乐是一种语言，不以特定的文字说话。它用情感说话，如果它在骨子里，它就在骨子里。" - Keith Richards音乐激励着我们，使我们流泪，使我们充满狂喜，并抚慰我们的灵魂
PayPal CEO 的加密语录：加密货币将重新定义金融世界

PayPal 近年来一直是加密行业的倡导者。这个本身拥有超过 3.5 亿名活跃用户的支付巨头，已经允许美国和英国的用户交易或持有比特币（BTC）、以太坊（ETH）、比特现金（BCH