浪潮信息发布“源 2.0”基础大模型，千亿参数代码开源

11 月 27 日消息，浪潮信息今日发布了“源 2.0”基础大模型，并宣布全面开源。源 2.0 基础大模型包括 1026 亿、518 亿、21 亿等三种参数规模的模型。W7N28资讯网——每日最新资讯28at.com

据介绍，源 2.0 通过使用中英文书籍、百科、论文等高质量中英文资料，降低了互联网语料内容占比。为了获取中文数学数据，浪潮信息清洗了从 2018 年至今约 10PB 的互联网数据，但仅获取到了约 10GB 的数学数据。W7N28资讯网——每日最新资讯28at.com

为了更高效地获得相对匮乏的高质量中文数学及代码数据集，源 2.0 采用了基于大模型的数据生产及过滤方法，在保证数据的多样性的同时也在每一个类别上提升数据质量。W7N28资讯网——每日最新资讯28at.com

W7N28资讯网——每日最新资讯28at.com

算力方面，源 2.0 采用了非均匀流水并行的方法，综合运用流水线并行 + 优化器参数并行 + 数据并行的策略，让模型在流水并行各阶段的显存占用量分布更均衡，避免出现显存瓶颈导致的训练效率降低的问题。W7N28资讯网——每日最新资讯28at.com

W7N28资讯网——每日最新资讯28at.com

源 2.0 在评测上进行了代码生成、数学问题求解、事实问答方面的能力测试，测试结果显示，源 2.0 整体表现处于中上水平。W7N28资讯网——每日最新资讯28at.com

W7N28资讯网——每日最新资讯28at.com

源 2.0 采用全面开源策略，全系列模型参数和代码均可免费下载使用。附 GitHub 页面和论文链接：W7N28资讯网——每日最新资讯28at.com

代码开源链接：W7N28资讯网——每日最新资讯28at.com

https://github.com/IEIT-Yuan/Yuan-2.0W7N28资讯网——每日最新资讯28at.com

论文链接：W7N28资讯网——每日最新资讯28at.com

https://github.com/IEIT-Yuan/Yuan-2.0/blob/main/docs/Yuan2.0_paper.pdfW7N28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-2691-0.html浪潮信息发布“源 2.0”基础大模型，千亿参数代码开源

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 消息称字节跳动成立新部门 Flow，发力 AI 应用层

下一篇： 苏州中院试点生成式 AI 辅助办案：可供参考裁判文书完成度达 70%