怡心湖

Brute Force vs Efficiency: CloudMatrix 384 vs GB200 NVL72 实测拆解

下面把两篇里挑出来的「CloudMatrix 384 vs GB200 NVL72 实测拆解」先单独拉透(这一篇有公开实测底表,能拆到数字);「长鑫 HBM3 TSV 良率→国产 GPU 出货敏感性模型」作为第二篇附后,因为它本质是"用良率当自变量、倒推可交货 GPU 张数"的测算框架,公开数据是区间值,我把它做成可套用的模型而不是伪精确结论。


Part A — Brute Force vs Efficiency: CloudMatrix 384 vs GB200 NVL72 实测拆解

Five times the chips, four times the watts, 1.7 times the PFLOPS. Huawei didn't beat NVIDIA at the die; it arbitraged the datacenter.

五倍芯片、四倍电、1.7 倍 PFLOPS。华为没在裸 die 上赢英伟达,它在机房层套了利。

A.1 底表(SemiAnalysis / 民生 / 中信对齐版,2025–2026 公开口径)

指标

GB200 NVL72

CloudMatrix 384 (CM384)

倍数

加速芯片数

72×B200 + 36×Grace

384×Ascend 910C

5.33×

BF16 稠密算力

180 PFLOPS

300 PFLOPS

1.67×

HBM 总容量

13.8 TB (HBM3e)

49.2 TB (HBM2e)

3.56×

总内存带宽

576 TB/s

1229 TB/s

2.13×

Scale-up 单向带宽

518.4 Tb/s (NVLink 5)

1075.2 Tb/s (HCCS+光)

2.07×

Scale-out 单向带宽

28.8 Tb/s

153.6 Tb/s

5.33×

系统总功耗

145 kW

559 kW​ (各源 559–600kW)

3.86×

W / BF16 TFLOP

0.81 W/TFLOP

1.87 W/TFLOP

2.31×

W / TB·s⁻¹ 带宽

251.7 W/(TB/s)

455.2 W/(TB/s)

1.81×

W / TB HBM

10.5 kW/TB

11.4 kW/TB

1.09×

单芯层面 B200 约 2500 TFLOPS BF16、192GB、8TB/s,910C 约 780 TFLOPS、64GB、3.2TB/s——单卡算力 1/3、带宽 2/5、容量 1/3

A.2 线性效率(linear scaling efficiency)怎么读

"线性效率"在超节点语境 = 实际集群算力 ÷ (单卡算力 × 卡数)。

  • NVL72:72 颗 B200 在 NVLink 域内近似近线性,MFU 受限于单卡架构而非互联,训练态 MFU 35–55%(取决于框架)。

  • CM384:384 颗 910C 靠 6912 个 800G LPO 全光 all-to-all​ 组网,单跳 200ns 级、避开了铜缆 NVLink 的机架尺度限制;代价是光模块本身吃电(6912×800G LPO 是功耗大头之一)。

  • 实测口径(华为 WAIC/论文):DeepSeek-R1 类 MoE 推理单卡解码吞吐 1943–2300 tok/s,较 H100 持平或超 H800;千卡~万卡训练态线性效率 90%+(华为官方口径),但这是"相对自身 384 域内"的线性,不是"相对 NVL72 的等效线性"——因为单卡算力基数不同。

  • 换算成"等效训练有效算力":CM384 有效 BF16 ≈ 300P × 90% × 软件系数(~0.8) ≈ 216P 有效;NVL72 有效 ≈ 180P × 45% × 0.95 ≈ 77P。[在 MoE/长上下文/权重驻留场景,CM384 有效吞吐约为 NVL72 的 2.8×,但每有效 PFLOP 耗电 2.3×。]

A.3 带宽拆解:为什么"总带宽 2.1×"比"算力 1.7×"更重要

MoE 训练瓶颈不在 matmul 峰值,在 all-to-all 权重分发 + KV Cache 搬运

  • NVL72:576 TB/s 聚合 HBM 带宽 + 518.4Tb/s NVLink 5 scale-up,单域 72 卡一致性极好,但跨域走 Quantum-X 交换机,域间带宽陡降。

  • CM384:1229 TB/s HBM 总带宽(HBM2e 但堆 384 颗),scale-up 1075Tb/s 全光,scale-out 153.6Tb/s——把"域内通信"从 72 卡扩展到 384 卡且不退化,这是它敢叫 supernode 的原因。

  • 代价:光互联在 <200ns 时延段比 NVLink 电交换仍略慢,但用"域大 5 倍"摊薄了跨域频次。结论:CM384 用带宽冗余换拓扑扁平,NVL72 用单卡能效换单域紧凑。

A.4 功耗不是缺点,是策略

145kW vs 559kW 看着夸张,但:

  • 中国电价 56–90 USD/MWh,559kW 满载年电费 ≈ 145kW 的 3.86×,但CM384 有效算力是 2.8×、且芯片买得到

  • 液冷 PUE 1.1,电力不受限的西部智算中心(贵州/内蒙古/甘肃)愿意用"电换主权";

  • 每 TB HBM 功耗只差 9%——说明多出的电主要在光模块和 5× 芯片数,不在内存本身

一句话定性:NVL72 是"单卡极致+电互联紧凑域",CM384 是"单卡代差用光互联+卡数摊平"。前者卖 TFLOP/W,后者卖 TFLOP/主权。


Part B — 长鑫 HBM3 TSV 良率爬坡 × 国产 GPU 出货指引:敏感性模型

  •  

此文由 怡心湖 编辑,若您觉得有益,欢迎分享转发!:首页 > 常识论 » Brute Force vs Efficiency: CloudMatrix 384 vs GB200 NVL72 实测拆解

()
分享到: