当前位置：首页 > 元宇宙 > AI

中国电信 AI 研究院完成首个全国产化万卡万参大模型训练，TeleChat2-115B 对外开源

来源：责编：时间：2024-10-01 17:07:26 15观看

导读 9 月 28 日消息，“中国电信人工智能研究院”官方公众号今天宣布，中国电信人工智能研究院（注：下文称 TeleAI）成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型，并正式对外开源首个基于全国产化万卡集群和

9 月 28 日消息，“中国电信人工智能研究院”官方公众号今天宣布，中国电信人工智能研究院（注：下文称 TeleAI）成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型，并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型 —— 星辰语义大模型 TeleChat2-115B。

官方表示，这项科研成果标志着国产大模型训练真正实现全国产化替代，正式进入全国产自主创新、安全可控的新阶段。

TeleChat2-115B 基于中国电信自研的天翼云“息壤一体化智算服务平台”和人工智能公司“星海 AI 平台”训练完成。据介绍，其在保证训练精度的前提下利用多种优化手段提升模型训练效率和稳定性，实现了 GPU 同等算力计算效率超 93% ，模型有效训练时长占比超 98% 。

针对超大参数模型训练，TeleAI 采用了大量小模型进行 Scaling，进而验证不同模型结构的有效性。同时，在数据配比方面，基于小模型实验结果反馈，采用回归预测模型，得到较优数据配比。

在 Post-Training（后训练）方面，TeleAI 首先针对数学、代码和逻辑推理等内容合成了大量问答数据，用于 SFT（监督式微调）第一阶段模型训练。

其次，其采用迭代式更新策略，使用模型对提示词数据进行指令复杂性提升与多样性扩充，通过模型合成和人工标注提升答案质量，并利用拒绝采样获取优质 SFT 数据及 RM（奖励模型）代表性数据，用于 SFT 训练和 DPO（偏好对齐）训练，以及模型效果迭代。

附开源地址

GitHub：

https://github.com/Tele-AI/TeleChat2

Gitee：

https://gitee.com/Tele-AI/tele-chat2

ModelScope：

https://modelscope.cn/models/TeleAI/TeleChat2-115B

Modelers：

https://modelers.cn/models/TeleAI/TeleChat2-115B

本文链接：http://www.28at.com/showinfo-45-8018-0.html中国电信 AI 研究院完成首个全国产化万卡万参大模型训练，TeleChat2-115B 对外开源

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：苏黎世联邦理工学院研究：AI 可 100% 绕过谷歌 reCAPTCHA V2 验证

下一篇： OpenAI：计划五年内将 ChatGPT 每月订阅费用提高到最高 44 美元

标签：

热门焦点

AI界地震！美国对OpenAI展开调查！监管风暴来袭！

来源：清元宇宙还记得5月OpenAI在国会山听证会上的自信、坦诚、游刃有余的问答吗？那时的Sam Altman可谓意气风发，在耐心、友好的国会议员面前，就AI立法、大模型安全性问题侃侃而
元宇宙里卖酸奶，好炸裂的操作！

作者 | 李东阳来源 | 首席营销官有没有发现，当下的热搜出现一个有意思的现象，那就是“情怀”不知不觉成为了主流，爷青回话题讨论性非常高。前有名侦探柯南和优衣库
蓝标亏钱、Meta裁员：天下秀还值得砸钱元宇宙吗？

日前，天下秀数字科技集团正式公布了2022年报及2023年一季报。报告显示，2022年天下秀实现营收41.29亿元，同比下滑8.48%；归母净利润1.8亿元，同比下滑49.2%，几乎出现了盈利腰斩的态势
Terra链上TVL跃升至第二

据DefiLlama数据显示，当前,Terra链上应用锁仓的加密资产价值（TVL）为172.1亿美元，在公链板块中已跃升至第二，超越了币安智能链TVL的118亿美元，TVL排名居首的仍为以太
量子计算在未来能否提高区块链技术的效率

区块链技术的主要成功之处在于对不透明的金融流程进行了去中心化的访问量子计算机的内在目标是解决传统计算机不可能解决的问题随着区块链技术的使用案例逐渐
NFT领域，我们是否应该遵守版权法

NFTs中最有争议的因素之一是你是否真的 "拥有 "你所购买的艺术品。除此之外，围绕着NFT行业内的版权和知识产权盗窃的问题也同样重要，因为人们很容易误解这些事情
艺术创作者能否永久收取版税？

NFTs正在改变我们理解互联网所有权的方式，社区管理的所有权有很多好处，但如果创作者想为他/她的创作获得永久的收益（版税），会发生什么？这不是一个容易解决的问题，版税
从4个方面解析2022年加密行业趋势

作者：去月球基础设施瓶颈仍然存在尽管2021年公链基础设施之间的竞争显著升温，但关键瓶颈仍需解决。例如，以太坊作为DApp开发的顶级公链，仍然遭受网络拥塞和高额交
MR——元宇宙平台的下一代入口

作为“元宇宙”的领头羊，Meta的一举一动都受到业内的高度关注。华尔街见闻提及，2月17日周四，Facebook母公司Meta在透露，其混合现实技术（MR）将在几年后实现，让人们对元