近几年，生成式AI一浪高过一浪，对于各种AI大模型的训练、推理也提出了越来越苛刻的要求。
一般而言，推理工作不需要庞大的GPU加速器集群，更适合交给CPU处理器，尤其专门面向服务器和数据中心的CPU产品。
所谓推理(Inference)，就是将训练好的AI模型应用于新的数据和场景。模型利学习到的规律进行预测、分类或生成新内容，也就是让AI在实际应用中落地的过程(是骡子是马拉出来遛遛)，比如医疗诊断、自动驾驶、自然语言理解等领域。
推理并不需要超强的算力，但因为涉及各种各样的场景和应用，更强调硬件的通用型，CPU天然就是干这活儿的，尤其是强大的服务器型CPU。
说到服务器，相信对大多数人而言既陌生又熟悉。陌生的是鲜有人能接触它们、使用它们、深入了解它们；熟悉的是我们大多数网络服务都依赖于它们提供支撑，也经常听说相关产品和技术的介绍。
所谓服务器，就是负责执行计算任务、处理请求、存储数据以及提供各种服务的平台。
任何服务器都由多个单元模块组成，而把它们有机地组织在一起的，叫做“服务器机头”，简称“机头”，也就是我们常说的“火车跑得快，全凭车头带”。
所谓机头，就是用于管理和协调计算集群的服务器节点，通常位于系统架构的前端，用于处理客户端的初始请求，执行负载均衡、任务调度、资源管理、集群状态监控等工作。
它包括多个硬件组件，比如CPU处理器、内存、硬盘、主板、网络接口等，一定程度上类似我们使用的PC。
CPU处理器则是机头中的核心硬件组件，也是整个服务器的“大脑”，决定了服务器处理任务的速度和效率。
在大规模数据中心或计算集群中，多个服务器节点可以构成一个服务器集群，而每个机头有一个或多个CPU，彼此协调处理大量的并发任务。
优秀的CPU可以支撑优秀的机头，优秀的机头可以支撑优秀的服务器，而优秀的服务器可以优秀地完成AI推理工作。
图源：Pixabay
说到服务器CPU，近些年来AMD EPYC大出风头，凭借领先的产品规格和性能、超高的能效和稳定性、出色的性价比，一直独领风骚。
根据市调机构Mercury Research的数据，截止2024年第二季度，AMD EPYC已经占据整个服务器CPU市场的24.1％，按照收入计算份额高达33.7％，双双创下新纪录。
新一代的Genoa EPYC 9004系列，更是达到了全新的高度，有着卓越的架构设计(Zen 4)、业界高的计算密度、高的性能、高的效率。
或者直白地说有，该系列有着多的核心、大的缓存、高的频率，以及极为丰富的技术特性。
AMD的优良传统也没忘，性价比极高，在服务器和数据中心领域是无可争议的首选。
在AI推理应用中，AMD EPYC 9004系列的优势十分明显，而且非常有针对性。
一是超多的核心、超高的频率。
EPYC 9004系列多做到了96核心192线程，可以更高效地并行处理多个推理工作负载，大大提升效率。
同时提供16/24/32/48/64/84等不同核心数，可以根据实际需求灵活选择核心数量，提高投入产出比。
核心多了，频率也没丢，基础频率高可达4.1GHz，而加速频率高能够跑到4.4GHz，即便是96核心型号也能加速到3.7GHz，而且支持更多核心同时达到高频率。
这对于服务器CPU来说相当罕见，这无疑能大大加速推理工作的速度，无论单个任务独自进行还是多个任务并行处理都得心应手。
二是超大的缓存。
对比上代产品Milan EPYC 9003系列，每个核心的二级缓存翻倍至1MB，每八个核心共享32MB三级缓存，总计多可达96MB二级缓存、384MB三级缓存。
集成了3D V-Cache堆叠缓存的Genoa-X，更是可以让每八核核心共享96MB三级缓存，总容量多达惊人的1152MB，史上第一次超越1GB。
大容量缓存，可以给推理业务提供更强的助力，提高指令命中率，降低数据转移和通信延迟。
三是超高的内存频率和带宽。
EPYC 9004系列不仅支持多达128条PCIe 5.0高速连接通道，还支持12个DDR5内存通道，高频率4800MT/s，可提供460.8GB/s的惊人带宽，双路系统的带宽可超过960GB/s。
内存性能对于推理工作也至关重要，可以容纳更大的模型、更多的负载。
EPYC 9004系列型号众多，针对不同的应用场景，需要筛选匹配的型号，以发挥大性能、高效率。
针对AI推理应用，有三个型号非常合适：
EPYC 9534：
64核心128线程，三级缓存256MB，基础频率2.45GHz，全核加速频率3.55GHz，高频率3.7GHz，默认热设计功耗280W。
多核心，大缓存，频率也不低，适合经常并行执行多个乃至大量推理任务，可以保证足够高的效率。
EPYC 9454：
48核心96线程，三级缓存256MB，基础频率2.75GHz，全核加速频率3.65GHz，高频率3.8GHz，默认热设计功耗290W。
核心、缓存、频率都非常均衡，如果推理任务多变，选它就对了，多任务、单任务都可以轻松应对。
EPYC 9334：
32核心48线程，三级缓存128MB，基础频率2.7GHz，全核加速频率3.85GHz，高频率3.9GHz，默认热设计功耗210W。
核心数依然不少，频率相对更高，功耗也低得多，适合少量但负载相对较高的推理任务，可以专心快速完成。
结语
总的来说，生成式AI的时代，我们经常谈论AI训练，谈论几千、几万块加速卡的壮观，但不要忘了AI推理同样至关重要。
它是对训练成果的检验，是AI的实践应用，而且不需要庞大的计算集群，传统的CPU机头组成的服务器集群就可以轻松应对。
AMD EPYC历经四代发展，已经成为全能型选手，几乎可以胜任你能想到的任何计算工作，用于AI推理自然也是佳选择。
多核心、大缓存、高频率、高内存、高能效、高性价比……AMD EPYC凭借自己的优秀素质，正在各行各业发挥力量，也是生成式AI时代不可或缺的支柱。
本文链接：http://www.28at.com/showinfo-24-113745-0.htmlAI推理 CPU的拿手好戏！细说AMD EPYC 9004的三大优势
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
