1 月 27 日消息，阿里通义千问今日宣布，正式推出开源的 Qwen2.5-1M 模型及其对应的推理框架支持。
从官方介绍获悉，通义千问本次发布了两个新的开源模型，分别是Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M，这是通义千问首次将开源的 Qwen 模型的上下文扩展到 1M 长度。
为了帮助开发者更高效地部署 Qwen2.5-1M 系列模型，Qwen 团队完全开源了基于 vLLM 的推理框架，并集成了稀疏注意力方法，使得该框架在处理 1M 标记输入时的速度提升了 3 倍到 7 倍。
长上下文任务在上下文长度为 100 万 Tokens 的大海捞针（Passkey Retrieval）任务中，Qwen2.5-1M 系列模型能够准确地从 1M 长度的文档中检索出隐藏信息，其中仅有 7B 模型出现了少量错误。
对于更复杂的长上下文理解任务，选择了 RULER、LV-Eval 和 LongbenchChat 测试集。
从这些结果中，Qwen 得出以下几点关键结论：
显著超越 128K 版本：Qwen2.5-1M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，特别是在处理超过 64K 长度的任务时表现出色。
性能优势明显：Qwen2.5-14B-Instruct-1M 模型不仅击败了 Qwen2.5-Turbo，还在多个数据集上稳定超越 GPT-4o-mini，为长上下文任务提供了开源模型的选择。
短序列任务
可以发现：
Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M 在短文本任务上的表现与其 128K 版本相当，确保了基本能力没有因为增加了长序列处理能力而受到影响。
与 GPT-4o-mini 相比，Qwen2.5-14B-Instruct-1M 和 Qwen2.5-Turbo 在短文本任务上实现了相近的性能，同时上下文长度是 GPT-4o-mini 的八倍。
模型链接：https://www.modelscope.cn/collections/Qwen25-1M-d6cf9fd33f0a40
技术报告：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf
体验链接：https://modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo
本文链接：http://www.28at.com/showinfo-45-10254-0.html支持 100 万 Tokens 上下文，阿里通义千问推出 Qwen2.5-1M 开源模型
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
