单芯片最高可实现2400TPS，华为云Tokens服务全面接入384超节点

8月27日，在第四届828 B2B企业节开幕式上，华为云宣布其Tokens服务全面接入CloudMatrix384超节点，通过xDeepServe架构创新，单芯片最高可实现2400TPS、50msTPOT的超高吞吐、低时延的性能，超过业界水平。

过去18个月，中国AI算力需求呈现指数级增长。数据显示，2024年初中国日均Token的消耗量为1000亿，截至今年6月底，日均Token消耗量已突破30万亿，1年半的时间增长了300多倍，反映了我国人工智能应用规模快速增长，也对算力基础设施的需求提出了更大的挑战。

在以往按卡时计费的基础上，今年3月，华为云正式推出了基于MaaS的Tokens服务。针对不同应用、不同场景的性能和时延要求，还提供了在线版、进线版、离线版乃至尊享版等多种服务规格，为大模型、Agent智能体等AI工具提供了更为灵活、便捷、低成本的先进算力。

而这一次，华为云的Tokens服务正式接入CloudMatrix384，并通过384原生的xDeepServe框架再次实现了吞吐量的突破，从年初的1920TPS提升至2400TPS，TPOT仅为50ms。

大算力的构建不是单点突破，而是一个从硬件到软件、从算子到存储、从推理框架到超节点的全栈创新，充分依托了华为的“大杂烩”能力。

目前，CloudMatrix384 超节点以全新的计算架构创新，突破性能瓶颈，构筑稳固澎湃的算力根基； CANN昇腾硬件使能，优化算子与高效通信策略，让云端的算力能够以最高效的方式被调用和组合；EMS弹性内存存储打破AI内存墙，突破性地实现“以存强算”， 彻底释放了每一颗芯片的算力；xDeepServe 分布式推理框架则以极致分离架构Transfomerless让超节点释放出更高效算力。

华为云MaaS服务已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify、扣子等主流Agent平台。

华为公有云运营部部长刘杰介绍了算力的演进变化：个人脸识别框架刚被研发出来时，1000美元算力大约等效一个昆虫大脑，2010年时同样的成本已进化到一个老鼠大脑，而到2023年，1000美元驱动的算力等同一个人类大脑。到2025年，我们处在一个指数级增长的拐点，AI正在成为核心引擎。

随着多模态长上下文Agent全球铺开，需求也在指数级增加，如何财能抓住这波洪流？刘杰指出，今年年初，基于零驱总线的CloudMatrix384面世，通过系统性的创新，跳出单点技术，走向系统化、工程化的创新架构能力，凭借着以光带铜、以存促算的技术，大幅提升了单卡吞吐，并创造了当时单卡每秒1920的Token性能记录。

“为什么可以实现这些性能一步一步突破？核心还是依靠华为的大杂烩优势。”刘杰说，CloudMatrix384支持不同代系的算力，可对它们进行统一调配，提升资源利用率。彻底释放每个芯片的算力，并通过软硬协同最终调度、PD分离、动态配比，使成千上万的昇腾芯片协同如一、高效运作。

华为云“天才少年”陈旭升则进一步介绍了XDS的技术。华为云XDS的远景就是通过深度软硬协同，全站协同优化，将CloudMatrix384算力每一份潜能榨干，性能推向极致，推动deepseek这样优秀的国产大模型在CloudMatrix384上跑出业界领先的推理速度。

南方+记者 郜小平

【作者】 郜小平

【来源】 南方报业传媒集团南方+客户端