Nvidia、AMD 和英特尔等 GPU 巨头纷纷推出机架式架构，为行业带来了新的复杂性与机遇。
与传统使用以太网或 InfiniBand 的横向扩展网络不同，这些系统核心的纵向扩展结构采用专有或新兴的互连技术，能为每个加速器提供更高带宽。例如，Nvidia 的第五代 NVLink 互连为每个加速器提供的总带宽比当今以太网或 InfiniBand 高 9 倍到 18 倍。这种高带宽使得 GPU 的计算和
内存可以池化，即便它们分布在多个不同
服务器上。Nvidia 执行官黄仁勋将 GB200 NVL72 称为 “一块巨型 GPU”，并非虚言。
这种向机架规模架构的转变，主要受 OpenAI 和 Meta 等模型构建者需求的推动，目标市场涵盖超大规模云提供商、新云运营商以及有本地 AI 工作负载需求的大型企业。不过，这些机器价格昂贵，据 The Next Platform 估计，单个 NVL72 机架成本达 350 万美元。
实现这些机架级架构的纵向扩展架构并非新鲜事物，但此前很少扩展到单个节点之外，且通常多支持 8 个 GPU。以 AMD 发布的 MI350 系列系统为例，每个芯片以全对全拓扑结构连接其他七个芯片。Nvidia 的 HGX 设计沿用四 GPU H100 系统模板，为常见的八个 GPU 节点增加了四个 NVLink 交换机，虽缩短了通信时间，但也增加了复杂性。随着向机架规模转变，基本拓扑结构扩大，对于 AMD 而言，全网状网络不够用，交换机变得不可或缺。
深入探究 Nvidia 的 NVL72 扩展架构 Nvidia 的 NVL72 机架式系统拥有 72 个 Blackwell GPU，分布在 18 个计算节点上。所有 GPU 通过 18 个 7.2TB/s 的 NVLink 5 交换芯片连接，这些芯片成对部署在 9 个刀片服务器上。每个交换机 ASIC 有 72 个端口，每个端口双向带宽为 800Gbps 或 100GB/s，而 Blackwell GPU 总带宽为 1.8TB/s，分布在 18 个端口上。这种高速全互连结构使机架中任何 GPU 都能访问其他 GPU 的内存。
Nvidia 称，这些海量计算域可显著提升 GPU 运行效率。对于 AI 训练工作负载，GB200 NVL72 系统速度比同等数量的 H100 系统快 4 倍，组件芯片性能仅高出 2.5 倍；对于推理，机架规模配置速度提高 30 倍。此外，Nvidia 基于 Grace - Blackwell 的机架 VRAM 为 13.5TB 到 20TB，AMD 即将推出的 Helios 机架 VRAM 约为 30TB，这些系统显然是为服务超大模型而设计。
推测 AMD 首款扩展系统 Helios
本月初的 Advancing AI 大会上，AMD 发布了 Helios 参考设计。该系统预计明年上市，配备 72 个 MI400 系列加速器、18 个 EPYC Venice
CPU 以及 AMD 的 Pensando Vulcano NIC。其扩展结构将提供 260TB/s 的总带宽，并通过以太网传输新兴的 UALink。
关于 Helios 的细节较少，目前推测其拓扑结构可能与 Nvidia 的 NVL72 不同。AMD 的 Helios 计算刀片可能保留 MI300 系列的芯片到芯片网格，每个 GPU 通过三个网格链接连接到其他三个。根据估算，每个 GPU 为节点内网格分配 600GB/s 双向带宽，为扩展网络分配约 3TB/s 带宽，每个交换刀片带宽约为 600GB/s。每个计算刀片可能聚合成大约 60 个 800Gbps 端口，甚至 30 个 1.6Tbps 端口，实际布线将集成到盲插式背板中。
扩大规模并不意味着停止扩大规模 尽管 AMD 和 Nvidia 的机架式架构支持更大的计算域，但以太网、InfiniBand 或 OmniPath 等可扩展网络仍有其存在的必要，因为这些机架式系统中使用的铜质跨接
电缆无法扩展到机架之外。硅光子技术有潜力改变现状，但在集成方面面临障碍。
目前，Nvidia 的 NVL72 和 AMD 的 Helios 等系统无法摆脱机架限制，若需要超过 72 个 GPU，仍需横向扩展架构。Nvidia 本代产品在 NVL72 上仍坚持 1:1 的 NIC 与 GPU 比例，每个刀片还配备另外两个 NIC 或数据处理单元（DPU）端口。
未来 6 到 12 个月，市场将迎来一些高基数
开关。如博通的 Tomahawk 6，支持从 64 个 1.6Tbps 端口到 1024 个 100Gbps 端口的各种带宽；英伟达的 Spectrum - X SN6810 明年上市，将提供多达 128 个 800Gbps 端口，并采用硅光技术；英伟达的 SN6800 将配备 512 个 MPO 端口，每个端口速率可达 800Gbps。这些交换机可大幅减少大规模 AI 部署所需的交换机数量，随着交换机基数增大，可采用两层网络替代大型 AI 训练集群中常见的三层胖树拓扑。
