随着生成式AI、预测式AI的浪潮一波高过一波，工作负载的类型越来越丰富、复杂度越来越高，对于AI服务器性能、能效的需求也是水涨船高。
每每说到AI服务器、AI工作站、AI一体机等装备，很多人的第一反应就是高算力的AI GPU加速器。
它确实是整个AI系统的主角，承担着繁重的使命，但是别忘了，只有GPU加速器是无法独自支撑整个系统的，而任何计算系统都离不开CPU处理器的坐镇。
CPU处理器作为任何计算系统的中枢和大脑，在AI系统中也起着不可替代的作用，只是一贯比较低调罢了。
如果说GPU加速器是AI系统中在台前炫技的耀眼明星，CPU处理器就是隐藏幕后、默默风险的大管家，协调着整个系统的高效运行，尤其是保障GPU加速器的各项需求可以得到全面满足，强大的算力可以高效释放。
因此，这个时候的CPU处理器，我们一般称之为“主控CPU”。
采用合适、匹配的主控CPU搭档AI加速器，组成高效的AI加速系统，可以在工作负载性能、总体拥有成本(TCO)之间，达到理想的平衡。
在AI加速系统中，主控CPU负责通过提供高效的任务管理，以及出色的预处理性能，来优化处理性能和资源利用率，这对于确保AI模型训练流程中的数据高效供给、维持AI处理器的理想运行状态，都是至关重要的。
主控CPU作为AI加速系统的“中枢神经”，可以执行管理、优化、预处理、处理、卸载等各种任务，从而提高系统性能和能效。
Intel的至强系列处理器，尤其是新一代至强经系列，无论是根据各种AI基准测试，还是根据全球客户的实际部署经验，都可以说是强大、高效AI加速系统的主控CPU的理想之选。
NVIDIA新、强的DGX B300系统，就选择了Intel新款至强6776P来作为主控CPU，而去年的MGX系统曾使用至强6767等——Intel也是NVIDIA B300唯一的主控CPU合作伙伴。
至强6为何如此之强？
我们可以从六个不通过方向，逐一看看AI加速系统对主控CPU的需求，以及至强6系列是如何满足的。
1、AI加速系统需要非常强大、灵活的IO性能。
至强6系列可以支持多达96条PCIe 5.0通道，比上代增加了20％，双路系统就是192条，因此带宽超高、数量管够，可以灵活分配给不同的加速器、扩展卡。
2、AI加速系统需要尽可能高的单线程性能。
至强6系列不但拥有多128个性能核心、504MB海量三级缓存，还具备强大的单线程性能，并支持不同的睿频加速技术。
比如PCT(优先核心睿频)，可以把少部分核心加速到更高的频率来服务相应的GPU，多支持8个核心。
比如SST，可以针对不同的核心配置分配不同的频率，使其拥有不同的性能。
3、AI加速系统需要尽可能高的内存容量与带宽。
至强6系列不但支持更高频率的DDR5-6400，还独家率先支持MRDIMM内存，频率可高达8800MHz，带宽进一步提升30％，对比上代领先2.3倍，对于内存敏感性AI负载尤其有利。
再加上多达12个内存通道，至强6系列可提供无与伦比的内存带宽与容量，单路系统高支持3TB。
NVIDIA DGX B300系统，就选择了每通道两条DIMM(2DPC)、5200MHz频率的方案，主要是为了在带宽和容量以及成本上做到了业界领先的平衡。
另外，至强6系列还支持CXL，可保持CPU内存空间与AI加速器内存之间的一致性，实现高性能资源共享，降低整体系统成本。
4、AI加速系统需要CPU做好数据预处理和卸载。
至强6系列支持AMX(高级矩阵扩展)指令，新增支持FP16数据格式，非常适合这项工作，尤其是随着MoE、Sparse MLP模型的出现和流行，在CPU上卸载部分工作越来越流行。
5、AI加速系统需要强大的RAS。
RAS指的是可靠性、可用性、可维护性，对于工作站、服务器、数据中心硬件是必不可少的属性，至强6当然也少不了，有了它就可以大大减少大规模停机时间，避免高额损失。
RAS技术支持多项高级管理功能，包括遥测、平台监控、共享资源控制、实时固件更新等，汇聚了平台合作伙伴、ISV独立软件开发商、解决方案集成商的丰富专业知识与经验。
6、AI加速系统需要灵活的形态。
至强6系列支持DC-MHS全球标准，无论是NVIDIA MGX还是DGX，双方都有合作，新的就是DGX B300，由双方共同打造，开展了大量的技术验证工作。
至强6系列家族中，有三款特殊型号是专门用于主控CPU的。
它们均基于P核即性能核的设计，目前的主控CPU均是如此，未来是否会有E核即能效核设计，还要观察市场需求的变化。
其中，NVIDIA DGX B300采用的是至强6776P，并且是双路配置。
至强6776P配置了64个核心(128线程)，基准频率2.3GHz，全核睿频3.6GHz，大睿频3.9GHz，PCT睿频可以在多8个核心上跑到4.6GHz，比传统SKU再次提高了多达700MHz。
另外，它配备336MB缓存，支持八通道DDR5-6400、MRDIMM-8000内存，可提供88条PCIe 5.0通道，热设计功耗350W。
这里解释一下几种不同的睿频频率：
全核睿频即All Core Turbo，是指所有核心处于活跃状态时，所能运行的高频率，适合作为虚拟机等场景，此时需要每一个核心跑在尽可能高的性能上。
大睿频即Max Turbo，是在传统SKU中能够达到高的睿频，它假设一半核心活跃、另一半核心休眠，活跃核心就能够运行在更高的频率，也就是Max Turbo对应的频率。
优先核心睿频即Priority Core Tubo，是指只开启更少量的核心，一般2-8个，让它们进一步加速到更高的频率，从而以更高的性能，满足AI加速系统中GPU、I/O等的苛刻需求，避免出现系统瓶颈。
至于使用哪些核心进行加速，可以在启动前使用BIOS设定，也可以在运行中通过SST-TF工具实时设定。
单路的至强6774P也是64核心，除了基准频率提高到2.5GHz，与至强6776P大的不同就是仅支持单路但可提供多达136个IO通道，扩展性能更加强悍。
至强6 AP平台的6962P拥有72核心144线程、432MB缓存，基准频率就有2.7GHz，全核睿频也是3.6GHz，大睿频也是3.9GHz，PCT睿频则是4.4GHz。
它还支持12通道内存，可提供96个PCIe通道，热设计功耗来到了500W。
以上三款都是面向所有客户的开放产品，属于产品规划和路线图的一部分，未来不排除根据市场需求或者客户定制化需求，推出更多产品。
刚才多次提到在AI系统中至强6作为主控CPU的配置，这就是概述图，属于高端的DGX，专为AI训练等应用而生。
它配备了双路至强6776P主控CPU处理器，彼此通过UPI高速总线互连，每路都是多8个PCT睿频核心，客户在使用的时候可以根据需要定制选择8个、6个、4个或2个核心用于PCT睿频。
每一路至强6776P之下，通过两个NIC高速网卡，连接四块AI GPU，整个系统就是八块AI GPU，彼此通过NVLink高速总线互连。
这套系统在选择主控CPU时采取了比较平衡的设计，但性能依然是业界领先的，I/O性能、RAS性能等等也都很均衡，无疑是个理想的选择。
当然，我们知道，NVIDIA AI加速系统中已经普遍使用自行研发的Grace CPU处理器，来搭配AI GPU加速器。
事实上，目前市场上，许多AI系统提供商都在使用自研主控CPU来配合AI GPU。
从Intel的角度来看，其服务方向是为客户提供更多选择，而且作为开放系统，始终秉持开放态度，为主控CPU提供佳选择，以满足客户的多样化需求。
NVIDIA DGX B300产品选择了Intel至强6作为主控CPU，而且这并非测试或者试验产品，而是一款商业化的成熟产品，无疑是对Intel至强产品性能和兼容性的有力认可。
本文链接：http://www.28at.com/showinfo-24-158679-0.htmlIntel至强6：AI江湖的幕后大佬、NVIDIA B300的唯一伙伴
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
