当前位置：首页 > 科技 > 数码

连续无故障训练15天！摩尔线程发布夸娥智算集群KUAE 1.2

来源：责编：时间：2024-08-20 09:02:13 43观看

导读快科技8月19日消息，摩尔线程正式发布了夸娥智算集群KUAE 1.2版本，通过软硬件层面的综合性优化，在功能、性能上多维升级，更高效、稳定，对生态系统更友好，可为大模型训练提供更坚实可靠的算力支撑。夸娥1.2主要升级

快科技8月19日消息，摩尔线程正式发布了夸娥智算集群KUAE 1.2版本，通过软硬件层面的综合性优化，在功能、性能上多维升级，更高效、稳定，对生态系统更友好，可为大模型训练提供更坚实可靠的算力支撑。

夸娥1.2主要升级点：

▼MFU提升10% 高可达55%

在新版本中，使用千卡集群训练千亿模型，MFU(模型算力利用率)提升10%。

稠密模型集群训练中，MFU高达到55%。

▼Flash Attention2优化

通过集成新的MUSA SDK平台与优化后的Flash Attention2技术，结合新版Torch MUSA和算子融合，显著提升了大模型训练的效率与资源利用率，大幅缩短训练周期，并降低了整体成本。

▼64K长文本支持

增强了对长文本大模型训练的支持，优化了处理长文本理解和生成任务的能力，能够更好地应对文档摘要、文章写作等复杂语言处理任务。

▼支持混合专家模型MoE

MCCL通信库完成了All2All优化，并针对muDNN算子在不同形状下的矩阵运算进行了优化，以更好地支持MoE（Mixture of Experts）大模型的训练。

这不仅提升了智算效率，还为更大规模参数的大模型训练提供了高度可扩展的基础。

▼断点续训

进一步提升了大模型训练的Checkpoint(检查点)读写性能，写入时间小于2秒，显著提高训练效率。

▼优化DeepSpeed

支持DeepSpeed、Ulysses的适配和性能优化，强化了长文本训练支持。

适配国内外多款大模型，在Hugging Face上支持训练和微调主要的开源大模型，创新型企业可以灵活选择不同的大模型开发智能应用。

▼稳定性提升

千卡集群软硬件进一步成熟，实现了连续无故障训练长达15天。

新版本引入了KUAE Aegis可靠性功能，加强了对GPU、显存、集合通信等方面的监控、自动诊断与故障恢复能力。

▼可视化/可观测

引入了PerfSight性能监控系统，可实时显示模型训练过程中的资源消耗与性能分析数据，有助于快速发现并恢复训练期间的故障，满足大模型上的性能调优需求。

▼内置模型库中新增大模型

KUAE内置模型库Model Zoo新增LLaMA2全系列大模型、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。

连续无故障训练15天！摩尔线程发布夸娥智算集群KUAE 1.2

本文链接：http://www.28at.com/showinfo-24-108653-0.html连续无故障训练15天！摩尔线程发布夸娥智算集群KUAE 1.2

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： AOC推出新款24寸显示器：2K 120Hz屏首发仅749元

下一篇： 7月中国主板市场遇冷：华硕稳居首位成唯一增长品牌

标签：

热门焦点

Find N3入网：最高支持16+1TB

OPPO将于近期登场的Find N3折叠屏目前已经正式入网，型号为PHN110。本次Find N3在外观方面相比前两代有很大的变化，不再是小号的横向折叠屏，而是跟别的厂商一样采用了较为常见的
Mate60手机壳曝光致敬自己的经典设计

8月3日消息，今天下午博主数码闲聊站带来了华为Mate60的第三方手机壳图，可以让我们在真机发布之前看看这款华为全新旗舰的大致轮廓。从曝光的图片看，Mate 60背后摄像头面积依然
7月安卓手机性能榜：红魔8S Pro再夺榜首

7月份的手机市场风平浪静，除了红魔和努比亚带来了两款搭载骁龙8Gen2领先版处理器的新机之外，别的也想不到有什么新品了，这也正常，通常6月7月都是手机厂商修整的时间，进入8月份之
六大权益！华为8月服务日开启：手机免费贴膜、维修免人工费

8月5日消息，一年一度的华为开发者大会2023（Together）日前在松山湖拉开帷幕，与此同时，华为8月服务日也式开启，到店可享六大专属权益。华为用户可在华为商城Ap
印度登月最关键一步！月船三号今晚进入环月轨道

8月5日消息，据印度官方消息，月船三号将于北京时间今晚21时30分左右开始近月制动进入环月轨道。这是该探测器能够成功的最关键步骤之一，如果成功将开始围
如何使用JavaScript创建一只图像放大镜？

译者 | 布加迪审校 | 重楼如果您曾经浏览过购物网站，可能遇到过图像放大功能。它可以让您放大图像的特定区域，以便浏览。结合这个小小的重要功能可以大大改善您网站的用户体验
ESG的面子与里子

来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之三伏大幕拉起，各地高温预警不绝，但处于厄尔尼诺大“烤”之下的除了众生，还有各大企业发布的ESG报告。ESG是“环境保
超闭合精工铰链彻底消灭缝隙三星Galaxy Z Flip5与Galaxy Z Fold5发布

2023年7月26日，三星电子正式发布了Galaxy Z Flip5与Galaxy Z Fold5。三星新一代折叠屏手机采用超闭合精工铰链，让折叠后的缝隙不再可见。同时，配合处
OPPO K11搭载长寿版100W超级闪充：26分钟充满100%

据此前官方宣布，OPPO将于7月25日也就是今天下午14:30举办新品发布会，届时全新的OPPO K11将正式与大家见面，将主打旗舰影像，和同档位竞品相比，其最大的卖