当前位置:首页 > 科技  > 数码

加速国产GPU开发!摩尔线程开源高性能计算库MUTLASS

来源: 责编: 时间:2024-11-13 08:05:24 133观看
导读 快科技11月12日消息,摩尔线程宣布,正式开源高性能线性代数模板库MUTLASS,以便开发者能够更高效地针对摩尔线程GPU MUSA Core、Tensor Core等单元进行编程,加速基于国产GPU的算子开发以及算法创新。在此之前,摩尔

快科技11月12日消息,摩尔线程宣布,正式开源高性能线性代数模板库MUTLASS,以便开发者能够更高效地针对摩尔线程GPU MUSA Core、Tensor Core等单元进行编程,加速基于国产GPU的算子开发以及算法创新。I6l28资讯网——每日最新资讯28at.com

在此之前,摩尔线程已经相继开源OpenCV-MUSA计算机视觉库、MooER音频理解大模型、vLLM-MUSA大语言模型高速推理框架。I6l28资讯网——每日最新资讯28at.com

▼ MUTLASS开源地址:I6l28资讯网——每日最新资讯28at.com

https://github.com/MooreThreads/mutlassI6l28资讯网——每日最新资讯28at.com

在数值计算和深度学习领域,矩阵乘法(GEMM)及其变种,比如FlashAttention、Convolution,是构建复杂上层应用的基石。I6l28资讯网——每日最新资讯28at.com

不够,为了追求更高的算子融合效率,或者更创新的算法,开发者们往往需要超越标准化计算接口的限制,如标准BLAS接口以及芯片厂商的计算库接口,以实现高性能的定制化算子。I6l28资讯网——每日最新资讯28at.com

MUTLASS(MUSA Templates for Linear Algebra Subroutines)正是为满足这一需求而设计。I6l28资讯网——每日最新资讯28at.com

作为摩尔线程专为自研MUSA架构优化的高性能计算库,MUTLASS是基于开源模板库CUTLASS进行的MUSA适配和定制化开发、优化。I6l28资讯网——每日最新资讯28at.com

针对矩阵乘法及相关变种,MUTLASS提供了一系列高性能的C++模板组件,并采用了与muDNN库类似的分层分解及数据搬运策略,以确保性能的充分发挥。 I6l28资讯网——每日最新资讯28at.com

在本次开源的版本中,摩尔线程适配了CuTe后端库,为其增加了第三代MUSA架构的MMA计算原语,支持TF32/FP16/BF16/INT8等多种数据精度,并以此为基础,初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。I6l28资讯网——每日最新资讯28at.com

借助MUTLASS,开发者们既可以灵活复用不同层级的模板组件,也可以按需修改各种模板组件的实现细节,以较低的开发成本实现定制化的高性能算子,从而在摩尔线程全功能GPU上充分释放性能,并尝试更多的算法创新。I6l28资讯网——每日最新资讯28at.com

摩尔线程将持续优化MUTLASS的性能,并不断引入新的功能。I6l28资讯网——每日最新资讯28at.com

加速国产GPU开发!摩尔线程开源高性能计算库MUTLASSI6l28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-24-123455-0.html加速国产GPU开发!摩尔线程开源高性能计算库MUTLASS

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 一个应用整合所有功能!NVIDIA App正式版全面体验:逆天的RTX画质增强

下一篇: RTX 50系列已开工投产!RTX 40系列只剩一根独苗

标签:
  • 热门焦点
  • Redmi Pad评测:红米充满野心的一次尝试

    从Note系列到K系列,从蓝牙耳机到笔记本电脑,红米不知不觉之间也已经形成了自己颇有竞争力的产品体系,在中端和次旗舰市场上甚至要比小米新机的表现来得更好,正所谓“大丈夫生居
  • 小米降噪蓝牙耳机Necklace分享:听一首歌 读懂一个故事

    在今天下午的小米Civi 2新品发布会上,小米还带来了一款新的降噪蓝牙耳机Necklace,我们也在发布结束的第一时间给大家带来这款耳机的简单分享。现在大家能见到最多的蓝牙耳机
  • 得物效率前端微应用推进过程与思考

    一、背景效率工程随着业务的发展,组织规模的扩大,越来越多的企业开始意识到协作效率对于企业团队的重要性,甚至是决定其在某个行业竞争中突围的关键,是企业长久生存的根本。得物
  • 19个 JavaScript 单行代码技巧,让你看起来像个专业人士

    今天这篇文章跟大家分享18个JS单行代码,你只需花几分钟时间,即可帮助您了解一些您可能不知道的 JS 知识,如果您已经知道了,就当作复习一下,古人云,温故而知新嘛。现在,我们就开始今
  • Python异步IO编程的进程/线程通信实现

    这篇文章再讲3种方式,同时讲4中进程间通信的方式一、 Python 中线程间通信的实现方式共享变量共享变量是多个线程可以共同访问的变量。在Python中,可以使用threading模块中的L
  • 一文搞定Java NIO,以及各种奇葩流

    大家好,我是哪吒。很多朋友问我,如何才能学好IO流,对各种流的概念,云里雾里的,不求甚解。用到的时候,现百度,功能虽然实现了,但是为什么用这个?不知道。更别说效率问题了~下次再遇到,
  • 2023年,我眼中的字节跳动

    此时此刻(2023年7月),字节跳动从未上市,也从未公布过任何官方的上市计划;但是这并不妨碍它成为中国最受关注的互联网公司之一。从2016-17年的抖音强势崛起,到2018年的“头腾
  • 三星Galaxy Z Fold5官方渲染图曝光:13.4mm折叠厚度依旧感人

    据官方此前宣布,三星将于7月26日在韩国首尔举办Unpacked活动,届时将带来带来包括Galaxy Buds 3、Galaxy Watch 6、Galaxy Tab S9、Galaxy Z Flip 5、
  • Meta盲目扩张致超万人被裁,重金押注元宇宙而前景未明

    图片来源:图虫创意日前,Meta创始人兼CEO 马克·扎克伯发布公开信,宣布Meta计划裁员超11000人,占其员工总数13%。他公开承认了自己的预判失误:“不仅
Top