当前位置：首页 > 元宇宙 > AI

阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens

来源：责编：时间：2024-06-11 17:44:56 60观看

导读 6 月 7 日消息，通义千问（Qwen）今天宣布经过数月的努力，Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 上同步开源。附上 Qwen 2.0 主要内容如下：5 个尺寸的预训练和指令微调模型

6 月 7 日消息，通义千问（Qwen）今天宣布经过数月的努力，Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 上同步开源。

附上 Qwen 2.0 主要内容如下：

5 个尺寸的预训练和指令微调模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B

在中文英语的基础上，训练数据中增加了 27 种语言相关的高质量数据；

多个评测基准上的领先表现；

代码和数学能力显著提升；

增大了上下文长度支持，最高达到 128K tokens（Qwen2-72B-Instruct）。

模型基础信息

Qwen2 系列包含 5 个尺寸的预训练和指令微调模型，其中包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。

模型Qwen2-0.5BQwen2-1.5BQwen2-7BQwen2-57B-A14BQwen2-72B参数量0.49B1.54B7.07B57.41B72.71B非 Embedding 参数量0.35B1.31B5.98B56.32B70.21BGQATrueTrueTrueTrueTrueTie EmbeddingTrueTrueFalseFalseFalse上下文长度32K32K128K64K128K

在 Qwen1.5 系列中，只有 32B 和 110B 的模型使用了 GQA。这一次，所有尺寸的模型都使用了 GQA，以便让大家体验到 GQA 带来的推理加速和显存占用降低的优势。

模型评测

相比 Qwen1.5，Qwen2 在大规模模型实现了非常大幅度的效果提升。我们对 Qwen2-72B 进行了全方位的评测。

在针对预训练语言模型的评估中，对比当前最优的开源模型，Qwen2-72B 在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型，如 Llama-3-70B 以及 Qwen1.5 最大的模型 Qwen1.5-110B。

附上参考地址

你好，Qwen2

本文链接：http://www.28at.com/showinfo-45-4549-0.html阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：五粮液浓香酒：劳动节送礼的精致艺术

下一篇：号称效果对标 Sora：快手视频生成大模型“可灵”开放邀测

标签：

热门焦点

ChatGPT访问量增速下滑，AI真的是一场泡沫吗？

来源：首席商业评论2023年，最火的莫过于ChatGPT，席卷全球的同时也引发了生成式AI（人工智能）的投资热潮。在美股，ChatGPT相关概念股飙涨，以AI算力龙头英伟达为例，其股价年内一度累计上
超跑与NFT的首次结合，兰博基尼能否破局？

兰博基尼公司近日称即将推出它的首款NFT，并且将加速进军区块链领域。这家闻名遐迩的意大利汽车厂商野心勃勃地将目光投向混合动力和电动跑车，并宣布将拍卖与瑞士
Meta公布AI概念“Builder Bot”；银保监发布元宇宙相关风险提示

概述自从Meta在2月初公布财报后，其负责元宇宙的核心部门Reality Labs表现不佳，净亏损超100亿美元，随后股价断崖式下跌。如今，Meta开始继续发力元宇宙，想要挽回颓势，
韩国国民银行将推出韩国首个加密货币 ETF

韩国国民银行(Kookmin Bank)计划发行该国首个以散户投资者为主要关注点的加密货币投资基金。根据公告，该银行正在等待政府批准，并已建立一个准备就绪的数字资产
数字经济、数据要素与数字治理

深入理解数字经济与数据要素，有利于更准确理解和把握数字治理的基本规律，构建面向未来的健康的数字治理体系，也才能更好地理解元宇宙的治理框架。一、数字经济
NFT世界的艺术家名单

我们汇编了以下艺术家的名单，它包括每个艺术家的简短概述。当然，这份名单肯定不全面，还有很多很多艺术家、哲学家和商业领袖为世界贡献了不可估量的价值。而他们
大厂打造元宇宙平台的业务重心是什么？

知名市场研究机构IDC发布《2022年中国元宇宙市场十大预测》报告，其中提出互联网大厂各自独立布局元宇宙平台。事实上，在2021年的最后一个季度，包括Meta、英伟达、
HTC Vive推出元宇宙平台Viverse；腾讯投资小米生态链AR眼镜厂商

今日热点：HTC Vive正式推出元宇宙平台Viverse；腾讯投资小米生态链AR眼镜厂商北京蜂巢科技；面部追踪和眼动追踪是Quest下一版本的“重点”；索尼PSVR 2将推迟至2023
元宇宙+剧本杀：“在异世界里当演员”

你玩过剧本杀吗？体验过“元宇宙+剧本杀”吗？2月，恒信东方推出了一款次时代剧本杀原创作品——《失落的王朝》。其剧本和线索以数字化资产打造，通过VR技术塑造了与