快科技6月13日圣何塞现场报道——
2023年发布的Instinct MI300X，可以说是AMD成功的AI GPU加速卡，甚至称得上AMD历史上成功的产品之一，用快的速度拿到了1亿美元收入。
更重大的意义在于，它在几乎被NVIDIA完全垄断的高端AI芯片市场上，撕开了一道口子，为行业提供了更多选择。
2024年，AMD再接再厉发布了升级版的Instinct MI325X，主要提升了HBM3E内存，核心规格没变。
北京时间6月13日，AMD在美国圣何塞举办新一届Advancing AI 2025大会。
会上，AMD正式发布了全新一代“Instinct MI350系列”，包括MI350X、MI355X两款型号。
无论性能还是技术特性，新卡都再次取得了长足的进步，完全可以和NVIDIA Blackwell系列掰一掰手腕。
MI350系列核心的变化，就是升级了新一代CDNA 4架构(可能也是后一代CDNA)，同时采用了新的N3P工艺。
从大的方向上讲，这一代的提升主要有四个方面，首要的自然是更好的AI能力，针对生成式AI和LLM大语言模型增强了数学矩阵模型。
另外，支持新的混合精度数据格式、增强Infinity Fabric互连总线和高级封装互连、改进能效，也都是重中之重。
MI350系列继续采用延续多代的chiplets芯粒设计，仍然分为顶层的XCD(加速器计算模块)、底部的IOD(输入输出模块)和周围的HBM3E内存模块。
其中，XCD工艺从5nm升级为N3P 3nm级工艺高性能版本，IOD则维持在6nm工艺。
它采用了非常复杂的多重先进封装技术，不同模块之间使用了2.5D、3D混合键合，整体则用了台积电的CoWoS-S晶圆级封装，使用硅中介层作为主要的连接媒介——NVIDIA也在大面积使用它，不过已经开始向更高级的CoWoS-L过渡。
上代MI300X就使用了1530亿个晶体管，创下新高，MI350系列进一步增加到1850亿个晶体管。
这是MI350系列的内部架构和布局图。
XCD模块一共有8个，每个内部分为4组着色器引擎，下辖36组CU计算单元，还有4MB二级缓存，配有一个全局资源调度分配单元。
整体合计288个CU单元、32MB二级缓存，但是MI350系列每个XCD中屏蔽了4组CU单元，实际开启了256组(1024个矩阵核心)，反而少于MI300X/MI325X 304组(另屏蔽16组)，而每个单元的二级缓存容量没变。
IOD模块一共2个，集成128个通道HBM3E内存控制器、256MB Infinity Cache无限缓存，容量和上代相同，还支持第四代Infinity Fabric互连总线，双向带宽提升至1075GB/s。
HBM3E内存仍然是8颗，每一颗都是12Hi堆叠，和MI325X相同而高于MI300X 8Hi，只是这次开放了全部容量，单颗是完整的36GB而非32GB，因此总计多达288GB。
内存传输率8Gbps，总带宽高达8TB/s，显著高于MI300X 5.3TB/s、MI325X 6TB/s，尤其是平均到每个CU单元的内存带宽提升了多达50％。
每一个IOD上堆叠四个XCD、四颗HBM3E，而两个IOD之间使用5.5TB/s高带宽的Infinity Fabric AP进行互连整合封装。
整个MI350系列芯片与AMD EPYC处理器之间的通道，走的是完整的PCIe 5.0 x16，带宽128GB/s。
功耗方面，风冷模组高1000W，水冷模组则可以做到1400W。
在裸金属、SR-IOV虚拟化应用中，为了实现大化利用，MI350系列支持对计算资源进行空域分区，多可以分成8个。
不同分区可以支持多种使用模式，但不同于前代的NSP1、NSP4，这次改为NSP1(单个分区)、NSP2(双/四/八个分区)，看似降级了，AMD解释说NSP4模式的性能提升其实比较有限。
MI350系列在单分区＋NSP1模式下，高可以支持5200亿参数的AI模型，而在八分区＋NSP2模式下，可以支持多8个700亿参数Llama 3.1模型的并发。
MI350系列针对生成式AI、LLM的具体改进，包括矩阵核心的提升和更灵活的量化机制，过于专业就不一一解释了。
注意这次支持行业标准的PF6、FP4格式，支持从FP16/BF16到FP32的基于硬件的Stochastic Rounding量化。
MI350系列支持丰富的数据格式，包括FP64、FP32、FP16、BF16、FP8、MXFP8、MXFP6、MXFP4、INT8、INT4。
通过提升每个CU单元每时钟周期的性能，FP16、BF16、FP8、FP6、FP4的单位性能都得到了显著提升。
正因此如，MI355X在核心数更少的情况下，性能基本追上甚至超过了MI300X，其中矢量FP64、FP32、FP16和矩阵FP32下都基本一致，矩阵FP64下约为一半(单位性能也是一半)，矩阵FP16/BF16、FP8、INT8/INT4下的稀疏性性能则几乎翻了一倍，还新增支持了矩阵FP6/FP4稀疏性。
可以看到，MIX350系列的性能并非全方位飞跃，有些数据格式下甚至更弱了，因为这代更注重支持更多更灵活的数据格式、单位性能的提升(类似提升IPC)，以及对于AI训推更关键的矩阵稀疏性能。
Instinct MI350系列有两款型号MI350X、MI355X，都配备完整的288GB HBM3E内存，带宽均为8TB/s。
区别在于，MI355X是满血性能，峰值可达FP64 79TFlops(79万亿次每秒)、FP16 5PFlops(5千万亿次每秒)、FP8 10PFlops(1亿亿次每秒)、FP6/FP4 20PFlops(2亿亿次每秒)，整卡功耗高达1400W。
MI350X的性能削减了8％，FP4峰值可达18.4PFlops，整卡功耗高1000W，和MI325X持平。
当然更关键的是实际性能，官方宣称MI355X对比MI300X在不同AI大模型中的推理性能普遍提升了3倍甚至更多。
在AI助手/对话、内容创作、内容摘要、对话式AI等应用中，性能同样全面提升，高幅度甚至超过4倍。
大模型预训练与微调中，提升幅度也不容小觑，高达3.5倍。
MI350X对比NVIDIA B200/GB200，内存容量多出60％(后者192GB)，内存带宽持平。
FP64/FP32性能领先约1倍，FP6性能领先多约1.2倍，FP16、FP8、FP4领先多约10％。
除了理论性能，大模型推理性能也处在同一水平，或者领先多约30％，训练性能BF16/FP8预训练基本同一档次，FP8微调则有10％以上的领先。
更关键的是高性价比，单位价格可以多生成多40％的Tokens。
MI350系列依然支持多GPU平台化部署，单个节点还是多八卡，总计就有2304GB HBM3E内存，FP16/BF16性能高40.2PFlops(4.02亿亿次每秒)，FP8性能高80.5PFlops(8.05亿亿次每秒)、FP6/FP4 161PFlops(16.1亿亿次每秒)。
八卡并行时，每两者之间都是153.6GB/s双向带宽的Infinity Fabric通道互连，而每块卡和CPU之间都是128GB/s双向带宽的PCIe 5.0通道连接。
MI350系列支持风冷、机架部署，其中风冷下多64块并行，液冷时支持2U到5U，多128块并行，也可以96块。
128卡就能带来36TB HBM3E内存，性能更是达到恐怖的FP16/BF16 644PFlops(64.4亿亿次每秒)、FP8 1.28EFlops(128亿亿次每秒)、FP6/FP4 2.57EFlops(257亿亿次每秒)。
AMD声称，AMD致力于在5年内将AI计算平台的能效提升30倍，MI350系列终做到了38倍！
下一步，从2024年到2030年，AMD将再次把AI系统的能效提升20倍，届时只需一台机架即可完成如今275台的工作，节省多达95％的能源。
特别值得一提的是，作为AI加速系统平台的一部分，AMD此前还发布了一款超高性能网卡Pensando 400 AI(代号“Pollara”)，首次与EPYC CPU、Instinct GPU一起组成完整的平台方案。
这是业界第一个符合超刚刚发布的以太网联盟(Ultra Ethernet)规范的网卡，支持PCIe 5.0，带宽达400G(40万兆)，完全可编程可定制，可卸载和加速AI处理。
现在，AMD有了新一代全部基于自家技术和产品的AI加速系统平台级解决方案。
EPYC CPU处理器、Instinct GPU加速卡、Pensando网卡无缝配合，尤其是网卡可以卸载接手并高效处理CPU、GPU的部分工作，释放平台的大性能潜力。
M350系列方案将从第三季度开始供应客户，可以看到各大OEM、ODM厂商基本都在名单之中了。
生态与应用合作伙伴方面，AMD Instinct的朋友圈正在快速扩大，全球十大AI企业中已经有七家用上了Instinct，包括微软、Meta、OpenAI、特斯拉、xAI、甲骨文等。
Meta Llama 3/4模型推理广泛部署了MI300X，还在与AMD共同研发下一代MI450。
甲骨文率先引入MI355X，新一代AI集群正在部署多达131072块。
微软Azure私有和开源模型都用上了MI300X。
还有红帽、Mavell、Cohere、Astera Labs等等，甚至提到了华为，其正在与AMD探讨共同利用AMD平台打造开放的、可扩展的、高性价比的AI基础设施。
后顺带一提，新发布的TOP500超级计算机排行榜上，AMD EPYC＋Instinct平台支撑了全球快的两台超算，还在各个国家的不同项目中得到了广泛的部署。
位居榜首的是位于加州劳伦斯利弗莫尔国家实验室的El Capitan，采用第四代EPYC处理器、MI300A加速器的组合，拥有超过1100万个核心，大性能达到1.742 EFlops(147.2亿亿次每秒)。
紧随其后的是田纳西州橡树岭国家实验室的Frontier，第三代EPYC、MI250X的组合，大性能1.353EFlops(135.3亿亿次每秒)。
这两台超级计算机均由美国能源部实验室运营，均属于百亿亿次级的超算系统。
延伸阅读——
AMD预告下代AI加速卡MI400系列：432GB HBM4内存！配80万兆网卡
https://news.mydrivers.com/1/1053/1053507.htm
AMD正式发布ROCm 7开发平台：AI训练、推理性能暴涨至高3.8倍
https://news.mydrivers.com/1/1053/1053506.htm
AMD MI350系列AI服务器真机展示：八卡2.3TB内存、每秒16亿亿次算力
https://news.mydrivers.com/1/1053/1053518.htm
本文链接：http://www.28at.com/showinfo-24-159066-0.htmlAMD发布全新AI加速卡Instinct MI350系列：288GB HBM3E海量内存、1400W功耗野兽
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
