在第四届828 B2B企业节盛大启幕之际，华为云传来了一则振奋人心的消息：其Tokens服务已成功接入CloudMatrix384超节点，标志着华为云在AI算力领域迈出了重要一步。
借助xDeepServe架构的创新突破，华为云的单芯片性能实现了飞跃，达到了2400TPS的超高吞吐量和50ms的超低时延，这一表现远远超越了当前业界的平均水平。这一技术革新，无疑为AI应用的高效运行提供了强有力的支持。
近年来，中国AI算力需求呈现出爆炸式增长。据统计，从2024年初到今年6月底，中国日均Token消耗量从1000亿激增到30万亿，短短一年半时间增长了300余倍。这一数据不仅反映了我国人工智能应用规模的迅速扩张，也对算力基础设施提出了前所未有的挑战。
面对这一挑战，华为云于今年3月正式推出了基于MaaS的Tokens服务。该服务不仅提供了在线版、进线版、离线版及尊享版等多种规格，以满足不同应用和场景的性能需求，还通过灵活的计费方式，为用户带来了更为便捷、低成本的算力解决方案。
此次Tokens服务接入CloudMatrix384超节点，更是将性能推向了新的高度。借助384原生的xDeepServe框架，吞吐量从年初的1920TPS跃升至2400TPS，TPOT也降低至50ms。这一提升，无疑为AI工具的高效运行提供了更为坚实的算力保障。
华为云的这一成就，并非单点突破，而是从硬件到软件、从算子到存储、从推理框架到超节点的全方位创新。CloudMatrix384超节点以其全新的计算架构，突破了性能瓶颈，构筑了强大的算力基础。同时，CANN昇腾硬件使能、EMS弹性内存存储以及xDeepServe分布式推理框架等技术的协同作用，共同推动了算力的极致释放。
作为CloudMatrix384超节点的原生服务，xDeepServe采用了Transformerless的极致分离架构，将MoE大模型拆分为可独立伸缩的微模块，实现了高效的算力分配和利用。通过这一架构，CloudMatrix384上的大模型被拆解成“积木”，并分配到不同的NPU上同步处理任务，从而构建了一条超高吞吐的LLM服务平台，即Tokens的“超高速流水线”。
CANN作为硬件加速计算的中间层，包含了多个算子库和高性能通信库等组件，为AI模型的高效运行提供了有力支撑。其中，专为超节点上的大语言模型（LLM）服务打造的高性能通信库XCCL，充分发挥了CloudMatrix384扩展后的UB互联架构的潜力，为Transformerless的全面分离奠定了坚实的硬件基础。
而FlowServe作为被重构的“去中心”式分布式引擎，则将CloudMatrix384切割成完全自治的DP小组，每个小组都具备Tokenizer、执行器、RTC缓存与网络栈等完整功能，实现了千卡并发也不拥堵的高效运行。
目前，华为云MaaS服务已广泛支持DeepSeek、Kimi、Qwen等主流大模型及versatile、Dify等主流Agent平台。通过大量的模型性能优化和效果调优，华为云实现了“源于开源，高于开源”的目标，让更多大模型能够在昇腾云上实现更快更好的运行。
以文生图大模型为例，在轻微损失画质的前提下，通过Int8量化、旋转位置编码融合算子等方式，华为云MaaS平台实现了出图速度的两倍提升，最大尺寸支持达到2K×2K。而在文生视频大模型上，通过量化提速和通算并行等方式，视频生成速度大幅提升，相较于友商实现了3.5倍的性能提升。
在应用层面，华为云已与超过100家合作伙伴携手深入行业场景，共同推出了丰富的Agent解决方案。这些方案在调研分析、内容创作、智慧办公、智能运维等领域发挥了重要作用，帮助企业更便捷地拥抱AI创新，加速智能化转型。
例如，基于MaaS平台推出的今日人才数智员工解决方案，集成了先进的自然语言处理、机器学习和深度学习技术，能够智能交互并处理任务，显著提升服务效率与客户满意度。而北京方寸无忧科技开发的无忧智慧公文解决方案，则通过智能化手段提升了公文处理效能，推动了政企办公的智能化转型。
本文链接：http://www.28at.com/showinfo-24-179357-0.html华为云Tokens服务接入384超节点，全栈创新引领AI算力新飞跃
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
