在第四届828 B2B企业节盛大开幕之际，华为云宣布了一项重大技术进展：其Tokens服务已成功融入CloudMatrix384超节点，借助创新的xDeepServe架构，实现了单芯片2400TPS的超高吞吐量和50ms的极低时延，这一性能表现远超当前业界标准。
面对中国AI算力需求的急剧增长，华为云积极应对挑战，推出了基于MaaS的Tokens服务。从最初按卡时计费的模式，到如今提供包括在线版、进线版、离线版及尊享版在内的多样化服务规格，这一转变不仅满足了不同应用和场景的性能需求，更为AI工具如大模型和Agent智能体等提供了更为灵活、高效且成本友好的算力支持。
此次Tokens服务与CloudMatrix384超节点的结合，是华为云算力构建策略的重要里程碑。通过384原生的xDeepServe框架，服务吞吐量实现了从年初的1920TPS到2400TPS的显著提升，同时保持了极低的时延。这一成就得益于华为在硬件、软件、算子、存储、推理框架及超节点等各个层面的全栈创新能力。
CloudMatrix384超节点以其革新的计算架构，打破了性能瓶颈，为澎湃算力奠定了坚实基础。而CANN昇腾硬件使能则通过优化算子和高效通信策略，确保云端算力得以最高效地调用和组合。EMS弹性内存存储技术更是突破了AI内存墙，实现了“以存强算”，让每颗芯片的算力得到彻底释放。xDeepServe分布式推理框架则以其Transformerless的极致分离架构，进一步提升了超节点的算力效率。
xDeepServe通过将MoE大模型拆分为可独立伸缩的Attention、FFN、Expert微模块，实现了在CloudMatrix384上的高效并行处理。这些微模块被分配到不同的NPU上同步执行任务，并通过基于内存语义的微秒级XCCL通信库与FlowServe自研推理引擎重新组合，形成了一条超高吞吐量的LLM服务平台，即Tokens的“超高速流水线”。
作为专为超节点上的大语言模型服务设计的高性能通信库，XCCL充分发挥了CloudMatrix384扩展后的UB互联架构潜力，为Transformerless的全面分离提供了坚实的带宽与时延基础。而FlowServe作为被重构的“去中心”式分布式引擎，则将CloudMatrix384划分为完全自治的DP小组，每个小组都能自给自足，确保了即使千卡并发也不会出现拥堵现象。
华为云MaaS服务目前已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify等主流Agent平台。通过积累的大量模型性能优化和效果调优技术，华为云实现了“源于开源，高于开源”，让更多大模型在昇腾云上展现出更快的运行速度和更好的性能表现。以文生图大模型为例，在轻微损失画质的情况下，通过Int8量化和旋转位置编码融合算子等方式，华为云MaaS平台实现了出图速度的两倍提升，最大尺寸支持达到2K×2K。而在文生视频大模型上，通过量化提速和通算并行等方式，视频生成速度相较于友商实现了3.5倍的性能提升。
在应用层面，华为云已与超过100家合作伙伴携手，深入行业场景，共同构建了丰富的Agent，广泛应用于调研分析、内容创作、智慧办公、智能运维等领域，解决了众多产业难题。例如，基于MaaS平台推出的今日人才数智员工解决方案，集成了先进的自然语言处理、机器学习和深度学习技术，能够智能交互并处理任务，显著提升了服务效率与客户满意度。而北京方寸无忧科技开发的无忧智慧公文解决方案，则有效提升了公文处理效能，推动了政企办公的智能化转型。
随着以Token为动力的智能社会的到来，华为云凭借其系统级创新能力和全新的Tokens服务，正构筑起先进算力，助力各行各业加速落地AI，推动智能化进程。
本文链接：http://www.28at.com/showinfo-24-180128-0.html华为云Tokens服务接入384超节点，算力突破至2400TPS引领AI创新
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
