当前位置：首页 > 科技 > 网络

全球首个！中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

来源：责编：时间：2024-06-19 15:35:35 62观看

导读快科技6月19日消息，据“中国电信”官微发文，中国电信人工智能研究院（TeleAI）联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T，成为国内首批发布稠密万亿参数大模型的机构

快科技6月19日消息，据“中国电信”官微发文，中国电信人工智能研究院（TeleAI）联合北京智源人工智能研究院发布全球首个单体稠密万亿参数语义模型Tele-FLM-1T，成为国内首批发布稠密万亿参数大模型的机构。

面对大模型训练过程中算力消耗巨大的挑战，TeleAI与智源通过深度研发，结合模型生长和损失预测等关键技术，成功推出了Tele-FLM系列模型。这一系列模型在算力资源的使用上，仅消耗了业界普通训练方案的9%，展现出极高的算力能效。

通过使用112台A800服务器，TeleAI团队在短短4个月内完成了3个模型总计2.3T tokens的训练，全程无需任何调整和重试，充分证明了模型训练的稳定性和收敛性。

值得一提的是，Tele-FLM-1T版本即将开源，此举旨在为社区提供训练万亿稠密模型的技术参考，有效解决万亿模型训练收敛难等问题，进一步推动大模型技术的进步。

TeleAI不仅在技术创新上不断突破，还积极通过开源方式推动大模型技术的普及和国产化进程。他们接连开源了7B、12B、52B参数规模的大模型，这些模型在开源社区中引发了广泛讨论和使用，开源模型下载量已超过万次，吸引了超过40万用户。

全球首个！中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

本文链接：http://www.28at.com/showinfo-17-94771-0.html全球首个！中国电信发布单体稠密万亿参数语义模型Tele-FLM-1T

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：胖东来爆改后的永辉超市开业了公司回应股价大涨

下一篇：用户体验升级！88VIP会员天猫618同比增长65% 规模创新高

标签：

热门焦点

小米官宣：2023年上半年出货量中国第一！

今日早间，小米电视官方微博带来消息，称2023年小米电视上半年出货量达到了中国第一，同时还表示小米电视的巨屏风暴即将开始。“公布一个好消息2023年#小米电视上半年出货量中国
如何通过Python线程池实现异步编程？

线程池的概念和基本原理线程池是一种并发处理机制，它可以在程序启动时创建一组线程，并将它们置于等待任务的状态。当任务到达时，线程池中的某个线程会被唤醒并执行任务，执行完任
腾讯盖楼，字节拆墙

来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之“想重温暴刷深渊、30+技能搭配暴搓到爽的游戏体验吗？一起上晶核，即刻暴打！”曾凭借直播腾讯旗下代理格斗游戏《DNF》一
猿辅导与新东方的两种“归途”

作者｜卓心月出品｜零态LT（ID：LingTai_LT）如何成为一家伟大企业？答案一定是对“势”的把握，这其中最关键的当属对企业战略的制定，且能够站在未来看现在，即使这其中的
微博大门常打开，迎接海外画师漂洋东渡

作者:互联网那些事“起猛了，我能看得懂日语了”。“为什么日本人说话我能听懂？”“中文不像中文，日语不像日语，但是我竟然看懂了”…&hell
华为发布HarmonyOS 4：更好玩、更流畅、更安全

在8月4日的华为开发者大会2023（HDC.Together）大会上，HarmonyOS 4正式发布。自2019年发布以来，HarmonyOS一直以用户为中心，经历四年多的发展HarmonyOS已
苹果140W USB-C充电器：采用氮化镓技术

据10 月 30 日 9to5 Mac 消息报道，当苹果推出新的 MacBook Pro 2021 时，该公司还推出了新的 140W USB-C 充电器，附赠在 MacBook Pro 16 英寸机型的盒子里，也支
SN570 NVMe SSD固态硬盘价格与性能兼具

SN570 NVMe SSD固态硬盘是西部数据发布的最新一代WD Blue系列的固态硬盘，不仅闪存技术更为精进，性能也得到了进一步的跃升。WD Blue SN570 NVMe SSD的包装外
电博会上海尔智家模拟500平大平层，还原生活空间沉浸式体验

电博会为了更好地让参展观众真正感受到智能家居的绝妙之处，海尔智家的程传岭先生同样介绍了展会上海尔智家的模拟500平大平层，还原生活空间沉浸式体验。程传