当前位置:首页 > 新闻 > 热点

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?

来源: 责编: 时间:2023-12-23 13:46:43 181观看
导读 (导语)实用化 AI 算力又升上了一个新台阶。随着AI大模型加速迭代,智能算力已成为稀缺资源。算力是AI发展的底层土壤,大语言模型的训练和推理都需要消耗大量的计算资源。传统的通用算力往往难以满足大模型对

(导语)实用化 AI 算力又升上了一个新台阶。8W828资讯网——每日最新资讯28at.com

随着AI大模型加速迭代,智能算力已成为稀缺资源。算力是AI发展的底层土壤,大语言模型的训练和推理都需要消耗大量的计算资源。传统的通用算力往往难以满足大模型对算力的高需求,因此,强大可靠的AI算力底座显得尤为重要。8W828资讯网——每日最新资讯28at.com

一些让人始料未及的趋势在人工智能的应用领域出现了:很多传统企业开始选择在CPU平台上落地和优化AI应用。8W828资讯网——每日最新资讯28at.com

例如制造领域在高度精细且较为耗时的瑕疵检测环节,就导入了CPU及其他产品组合,来构建横跨“云-边-端”的AI 缺陷检测方案,代替传统的人工瑕疵检测方式。8W828资讯网——每日最新资讯28at.com

再比如亚信科技就在自家OCR-AIRPA方案中采用了CPU作为硬件平台,实现了从FP32到INT8/BF16的量化,从而在可接受的精度损失下,增加吞吐量并加速推理。将人工成本降至原来的1/5到1/9,效率还提升了约5-10倍。8W828资讯网——每日最新资讯28at.com

在处理AI制药领域最重要的算法——AlphaFold2这类大型模型上,CPU同样也“加入群聊”。从去年开始,CPU便使AlphaFold2端到端的通量提升到了原来的23.11倍;而现如今,CPU让这个数值再次提升3.02倍。8W828资讯网——每日最新资讯28at.com

上述这些CPU,都有个共同的名字——至强,即英特尔®️ 至强®️ 可扩展处理器。8W828资讯网——每日最新资讯28at.com

为什么这些AI任务的推理能用CPU,而不是只考虑由GPU或AI加速器来处理?8W828资讯网——每日最新资讯28at.com

这里历来存在很多争论。8W828资讯网——每日最新资讯28at.com

很多人认为,真正落地的AI应用往往与企业的核心业务紧密关联,在要求推理性能的同时,也需要关联到它的核心数据,因此对数据安全和隐私的要求也很高,因此也更偏向本地化部署。8W828资讯网——每日最新资讯28at.com

而结合这个需求,再考虑到真正用AI的传统行业更熟悉、更了解也更容易获取和使用CPU,那么使用服务器CPU混合精度实现的推理吞吐量,就是他们能够更快和以更低成本解决自身需求的方法了。8W828资讯网——每日最新资讯28at.com

面对越来越多传统AI应用和大模型在CPU上的落地优化,“用CPU加速AI”这条道路被不断验证。这就是在数据中心中,有70%的推理运行在英特尔® 至强® 可扩展处理器上的原因。8W828资讯网——每日最新资讯28at.com

最近,英特尔的服务器CPU完成了又一次进化。12月15日,第五代英特尔® 至强® 可扩展处理器正式发布。英特尔表示,一款为AI加速而生,而且表现更强的处理器诞生了。8W828资讯网——每日最新资讯28at.com

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?8W828资讯网——每日最新资讯28at.com

人工智能正在推动人类与技术交互方式的根本性转变,这场转变的中心就是算力。8W828资讯网——每日最新资讯28at.com

英特尔CEO帕特·基辛格(Pat Gelsinger)在2023英特尔ON技术创新大会表示:“在这个人工智能技术与产业数字化转型飞速发展的时代,英特尔保持高度的责任心,助力开发者,让AI技术无处不在,让AI更易触达、更可见、透明并且值得信任。”8W828资讯网——每日最新资讯28at.com

第五代至强 为AI加速8W828资讯网——每日最新资讯28at.com

第五代英特尔® 至强® 可扩展处理器的核心数量增加至64个,配备了高达320MB的L3缓存和128MB的L2缓存。不论单核性能还是核心数量,它相比以往的至强都有了明显提升。在最终性能指标上,与上代产品相比,在相同功耗下平均性能提升21%,内存带宽提升高达16%,三级缓存容量提升到了原来的近3倍。8W828资讯网——每日最新资讯28at.com

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?8W828资讯网——每日最新资讯28at.com

更为重要的是,第五代至强® 可扩展处理器的每个内核均具备AI加速功能,完全有能力处理要求严苛的AI工作负载。与上代相比,其训练性能提升多达29%,推理能力提升高达42%。8W828资讯网——每日最新资讯28at.com

在重要的AI负载处理能力上,第五代英特尔® 至强® 可扩展处理器也交出了令人满意的答卷。8W828资讯网——每日最新资讯28at.com

首先要让CPU学会高效处理AI负载的方法:在第四代至强® 可扩展处理器上,英特尔面向深度学习任务带来了矩阵化的算力支持。8W828资讯网——每日最新资讯28at.com

英特尔®️ AMX就是至强CPU上的专用矩阵计算单元,可被视为CPU上的Tensor Core,从第四代至强® 可扩展处理器开始成为内置于CPU的AI加速引擎。8W828资讯网——每日最新资讯28at.com

第五代至强®️ 可扩展处理器利用英特尔®️ AMX与英特尔®️ AVX-512指令集,配合更快的内核,以及速度更快的内存,可以让生成式AI更快地在其上运行,无需独立的AI加速器就能执行更多工作负载。8W828资讯网——每日最新资讯28at.com

借助在自然语言处理 (NLP) 推理方面实现的性能飞跃,这款全新的至强® 可支持响应更迅速的智能助手、聊天机器人、预测性文本、语言翻译等工作负载,可以在运行参数量200亿的大语言模型时,做到时延不超过100毫秒。8W828资讯网——每日最新资讯28at.com

据了解,11.11期间,京东云便通过基于第五代英特尔® 至强® 可扩展处理器的新一代服务器,成功应对了业务量激增。与上一代服务器相比,新一代京东云服务器实现了23%的整机性能提升,AI计算机视觉推理性能提升了38%,Llama v2推理性能也提高了51%,轻松hold住用户访问峰值同比提高170%、智能客服咨询量超14亿次的大促压力。8W828资讯网——每日最新资讯28at.com

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?8W828资讯网——每日最新资讯28at.com

除此之外,第五代英特尔® 至强® 可扩展处理器也在能效、运营效率、安全及质量等方面实现了全面提升,提供了向前代产品的软件和引脚兼容性支持,以及硬件级安全功能和可信服务。8W828资讯网——每日最新资讯28at.com

国内云服务大厂阿里云也在发布会上披露了其实测体验数据,基于第五代英特尔® 至强® 可扩展处理器及英特尔® AMX、英特尔® TDX加速引擎,阿里云打造了 “生成式AI模型及数据保护”的创新实践,使第八代ECS实例在实现了全场景加速和全能力提升情况下,更加固了安全性能,且保持实例价格不变,普惠客户。8W828资讯网——每日最新资讯28at.com

数据显示,其在数据全流程保护的基础上,AI推理性能提高25%、QAT加解密性能提升20%、数据库性能提升25%,以及音视频性能提升15%。8W828资讯网——每日最新资讯28at.com

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?8W828资讯网——每日最新资讯28at.com

英特尔表示,第五代至强® 可扩展处理器可为AI、数据库、网络和科学计算工作负载带来更强大的性能和更低的TCO,将目标工作负载的每瓦性能提升高达10倍。8W828资讯网——每日最新资讯28at.com

对先进AI模型实现原生加速8W828资讯网——每日最新资讯28at.com

为让CPU能够高效处理AI任务,英特尔把AI加速的能力提升到了「开箱即用」的程度。8W828资讯网——每日最新资讯28at.com

英特尔®️ AMX除了可以加速深度学习的推理、训练以外,现在已经支持了流行的深度学习框架。在深度学习开发者常用的TensorFlow、PyTorch上,英特尔® oneAPI深度神经网络库 (oneDNN) 提供了指令集层面的支持,使开发人员能够在不同硬件架构和供应商之间自由迁移代码,可以更轻松地利用芯片内置的AI加速能力。8W828资讯网——每日最新资讯28at.com

在保证了AI加速直接可用之后,英特尔利用高性能开源深度学习框架OpenVINO™ 工具套件,帮助开发者实现了一次开发、多平台部署。它可以转换和优化使用热门框架训练好的模型,在多种英特尔硬件的环境中快速实现,帮用户最大程度地利用已有资源。8W828资讯网——每日最新资讯28at.com

OpenVINO™ 工具套件最新的版本也加入了对大型语言模型 (LLM) 性能的改进,可以支持生成式AI工作负载,包括聊天机器人、智能助手、代码生成模型等。8W828资讯网——每日最新资讯28at.com

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?8W828资讯网——每日最新资讯28at.com

OpenVINO™ 工具套件28W828资讯网——每日最新资讯28at.com

通过这一系列技术,英特尔让开发者们能够在几分钟内调优深度学习模型,或完成对中小型深度学习模型的训练,在不增加硬件和系统复杂性的前提下获得媲美独立AI加速器的性能。8W828资讯网——每日最新资讯28at.com

比如在先进的预训练大语言模型上,英特尔的技术就可以帮助用户完成快速部署。8W828资讯网——每日最新资讯28at.com

用户可以从最热门的机器学习代码库Hugging Face中下载预训练模型LLaMA2,然后使用英特尔®️ PyTorch、英特尔®️ Neural Compressor等将模型转换为BF16或INT8精度版本以降低延迟,再使用PyTorch进行部署。8W828资讯网——每日最新资讯28at.com

英特尔表示,为了能够紧跟AI领域的潮流,有数百名软件开发人员正在不断改进常用的模型加速能力,让用户能够在跟上最新软件版本的同时,获得对于先进AI模型的支持。8W828资讯网——每日最新资讯28at.com

第五代至强® 可扩展处理器的实力,目前已在部分大厂进行了验证。火山引擎与英特尔合作升级了第三代弹性计算实例。8W828资讯网——每日最新资讯28at.com

目前,火山引擎已通过独有的潮汐资源并池能力,构建百万核弹性资源池,能够以近似包月的成本提供按量使用体验,降低上云成本。基于第五代英特尔® 至强® 可扩展处理器,火山引擎第三代弹性计算实例整机算力再次提升了39%,应用性能最高提升了43%。8W828资讯网——每日最新资讯28at.com

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?8W828资讯网——每日最新资讯28at.com

这只是个开始。可以预见,很快会有更多科技公司的应用能够从第五代至强®️ 可扩展处理器的性能中获益。8W828资讯网——每日最新资讯28at.com

下一代至强已经现身8W828资讯网——每日最新资讯28at.com

未来,人们对于生成式AI的需求还将不断扩大,更多的智能化应用将会改变我们的生活。以计算能力为基础,万物感知、万物互联、万物智能的时代正在加速到来。8W828资讯网——每日最新资讯28at.com

面对这样的趋势,英特尔正在加紧打造再下一代的至强CPU,它们面向AI的「专业化」程度还会更高。8W828资讯网——每日最新资讯28at.com

在最近披露的英特尔数据中心路线图上,下一代至强® 处理器将对不同工作负载、场景配备不同的核心,其中主打计算密集型与AI任务的型号会使用侧重性能输出的核「P-core」,面向高密度与横向扩展负载的型号则会使用有更高能效的核「E-core」,这两种不同的核心架构并存的设计,既满足部分用户对极致性能的追求,也能兼顾到可持续发展绿色节能的需求。8W828资讯网——每日最新资讯28at.com

未来,英特尔还将如何实现晶体管和芯片性能的飞跃,在AI算力上还能有什么样的跃升?8W828资讯网——每日最新资讯28at.com

让我们拭目以待。8W828资讯网——每日最新资讯28at.com

生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?8W828资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-28-5338-0.html生成式AI就绪 英特尔发布第五代至强可扩展处理器真相究竟是什么?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 华为云张宇昕:以云原生和AI,开启企业数智化跃迁新阶段是真的还是假的?

下一篇: 宝马、华为将搭载当贝同款激光技术,ALPD激光技术有何魅力?你都知道哪些?

标签:
  • 热门焦点
  • 美财长耶伦回忆访华吃菌子经历:我们所有人都喜欢

    美财长耶伦回忆访华吃菌子经历:我们所有人都喜欢

      中新网8月16日电 “我们所有人都喜欢那些菌子、那家餐厅,而且我们都没有因为吃了它们而出现任何不良反应。”近日,美国财政部部长耶伦接受美国有线电视新闻网(CNN)采访时,
  • 俄联邦侦查委员会:已取得普里戈任所乘飞机的黑匣子

    俄联邦侦查委员会:已取得普里戈任所乘飞机的黑匣子

      中新网8月26日电 据俄罗斯卫星通讯社25日报道,俄罗斯联邦侦查委员会新闻处发布消息表示,侦查人员已取得在特维尔州坠毁的巴航工业飞机的飞行记录仪。图为瓦格纳集团创始人
  • 讲深讲透讲活开学“第一课”

    讲深讲透讲活开学“第一课”

    青少年阶段是人生的“拔节孕穗期”,最需要精心引导和栽培。开学,意味着新起点,寄托着新希望。上好开学“第一课”,已成为各地大中小学开学的重要内容
  • 美媒:美警察射杀21岁非裔孕妇,被控滥用执法权

    美媒:美警察射杀21岁非裔孕妇,被控滥用执法权

      【环球时报综合报道】  据美国有线电视新闻网(CNN)1日报道,俄亥俄州哥伦布市警方当天公布了一段警察射杀21岁非裔孕妇塔基亚·杨的执法视频,引发广泛争议。  报道称,哥
  • 大力弘扬尊师重教的传统美德

    大力弘扬尊师重教的传统美德

    今天是第39个教师节,让我们把最深情的问候和最美好的祝福送给敬爱的人民教师,向广大教师和教育工作者致以最诚挚的感谢和最崇高的敬意!5月17日,在广西灵川县海洋乡中心岐
  • 第六届进博会达成哪些成果?

    第六届进博会达成哪些成果?

    中国经济导报、中国发展网讯 记者鲍筱兰 缪晓琴 邱爱荃 上海报道 11月7日,第六届中国国际进口博览会展期过半,已达成哪些成果?今天下午,第六届进博会举行展中新闻通气会。会场,中
  • 东航2023“进博购物车”订单金额超25亿美元

    东航2023“进博购物车”订单金额超25亿美元

    中国经济导报、中国发展网讯 记者邱爱荃上海报道 11月6日,第六届进博会开展第二天,作为首家在本届进博会国资委签约台上签约采购的中央企业,中国东航签署多轮采购订单,总额超25
  • 中国经济具有巨大的发展韧性和潜力

    中国经济具有巨大的发展韧性和潜力

    上海国家会计学院第五届校友日主题论坛在沪举行。中国经济导报、中国发展网讯 记者鲍筱兰 11月18日,上海国家会计学院第五届校友日主题论坛在沪举行。在论坛上,国家金融与发展
  • 在全过程人民民主中有效发挥基层政协作用

    在全过程人民民主中有效发挥基层政协作用

    中国发展网讯 “全过程人民民主是社会主义民主政治的本质属性,是最广泛、最真实、最管用的民主。”浙江基层民主创新实践高度活跃,涌现了温岭“民主恳谈&rdqu
Top