深度解读英伟达Vera Rubin全栈设计：AI Infra竞争已转向Token吞吐与成本

芯东西（公众号：aichip001）
作者 | 刘煜
编辑 | 陈骏达

7月14日报道，昨日，芯东西受邀参观英伟达北京EBC，了解到英伟达在2026年推出的新一代AI超级计算平台Vera Rubin背后的整体架构与该公司的全栈网络设计。

Vera Rubin平台以7款芯片为底层硬件，部署在5类机架中，多机架组网形成统一POD级AI超算集群，分工覆盖GPU计算、CPU计算、低时延推理、上下文存储和网络互联，并作为1台AI超级计算机协同运行。

与上一代Blackwell平台相比，Vera Rubin在推理场景下的Token吞吐量提升可达10倍。不过，其具体表现仍会受到模型、输入输出长度和部署方式影响。

未来行业的竞争重点不再局限于GPU算力，而是整个AI基础设施的协同效率，以及每Token成本。英伟达正推动算力交付形态从单一GPU服务器，转向多类专用计算单元组成的系统化“AI工厂”，以适配大模型训练与Agentic AI推理带来的全新算力需求。

当前，英伟达在AI工厂建设中落地数字孪生技术。依托英伟达AI Factory Digital Twin（AI工厂仿真平台），企业可在实体设备进场前，对计算、存储、网络、供电、机柜布局与各类网络协议完成全链路模拟推演，提前校验IP参数、网络拓扑、路由规则与业务流量模型，在硬件投产前排查配置隐患，以降低超大规模AI集群的落地建设风险。

与传统GPU服务器不同，Vera Rubin被定义为一个机架级平台。整个AI工厂由五种不同功能的机架组成，包括Vera Rubin NVL72、Groq 3 LPX、Vera CPU、BlueField-4 STX以及Spectrum-6 SPX。

五种机架分别承担不同职责：NVL72负责大规模GPU计算，Groq 3 LPX承担部分推理任务，Vera CPU负责Agentic AI、强化学习等CPU密集型工作负载，BlueField-4 STX提供AI原生存储能力，Spectrum-6 SPX则负责大规模横向网络互连。

Vera Rubin平台整合了七类核心芯片，包括Rubin GPU、Vera CPU、NVLink 6交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6以太网交换机，以及首次纳入平台体系的Groq 3 LPU。

这些芯片覆盖预训练、后训练、强化学习、Agent推理以及AI工厂网络和存储等完整工作流程。

在平台设计上，英伟达也提出了“Extreme Co-Design”理念，即芯片、机架、网络乃至整个AI工厂采用协同设计，而不是各个组件独立优化。

这一变化意味着，未来英伟达平台的竞争优势将越来越多体现在系统级协同，而不仅仅是GPU本身。

二、Agentic AI时代，CPU重新成为关键角色

过去几年，大模型训练和推理几乎完全围绕GPU展开，但随着Agentic AI和强化学习快速发展，CPU正重新成为AI工作流的重要组成部分。

在强化学习过程中，GPU负责生成结果，而测试、验证、环境模拟、数据处理等工作则主要依赖CPU完成。如果CPU性能不足，将直接影响整个训练和推理流程效率。

为此，Vera CPU进行了针对性优化。

Vera CPU搭载88颗英伟达定制的Olympus核心，较上一代Grace CPU拥有更高单核性能和更高IPC，同时配备约1.2TB/s内存带宽，并强化Confidential Computing（机密计算）能力，以满足Agentic AI时代持续增长的数据处理需求。

另一个值得关注的新变化，是Groq正式成为Vera Rubin平台的重要组成部分。我们了解到，未来Vera Rubin平台的AI推理将不再由单一GPU完成，而是拆分为Prefill（预填充阶段）和Decode（解码阶段）两个阶段。

其中，Prefill任务主要由Vera Rubin NVL72完成；Decode任务则进一步拆分为Attention和FFN两个环节，Attention仍由GPU负责，而FFN则交由Groq 3 LPU处理。

Groq 3 LPU拥有约500MB SRAM以及约150TB/s SRAM带宽，更适合承担对内存带宽要求极高的FFN计算，而Rubin GPU则负责算力密集型计算任务。

这一架构意味着，未来推理过程将根据不同计算特点，由不同处理器协同完成，以进一步提升系统整体吞吐能力。

随着Agentic AI快速发展，推理阶段的上下文需求越来越长。为此，英伟达推出了BlueField-4 STX存储参考架构。我们了解到，BlueField初代产品主要承载网络卸载功能，同时搭载通用分布式存储基础加速能力；BlueField-4 STX则突破原有边界，被定位为AI Native Storage（AI原生存储）平台，开始承担存储角色。

该架构主要服务企业、云厂商及AI服务提供商，用于构建面向代理式AI的加速存储基础设施。

同时，英伟达还提出了“G3.5存储”概念。传统推理通常经历GPU显存、本地SSD、网络存储等多个层级，而G3.5位于本地SSD与传统网络存储之间，用于存放KV Cache等临时推理数据。

BlueField-4 STX结合DOCA（英伟达推出的一个统一的软件平台）软件栈，为KV Cache提供专用存储服务，同时通过BlueField DPU实现网络、存储及计算协同。

该公司最新DOCA安全技术已经支持芯片级安全，可在线检查智能体、数据和上下文记忆之间的交互，在AI数据路径中持续执行安全策略。

此外，英伟达已与多家存储厂商联合开发BlueField-4 STX，重点面向Agentic AI时代的数据管理和安全需求。

除了平台架构变化，我们了解到AI基础设施的评价标准也在悄然发生变化。过去行业通常关注GPU数量、FP16算力或集群规模，而未来或将更加关注系统能够产生多少Token，以及生成每个Token需要付出的成本。

这一变化或许意味着，未来AI基础设施竞争将从单纯追求算力规模，逐步转向系统效率和商业回报。

三、AI工厂通常存在五类网络，Spectrum-X是一套协同设计体系

现阶段，AI时代网络架构正逐渐发生变化，而发生变化的部分原因在于AI软件能力快速提升，单颗GPU性能增长已经难以跟上模型规模的发展，因此必须通过网络把大量GPU连接起来，作为一个统一计算系统运行。

而英伟达的整个AI工厂中会存在五类网络。

第一类是Scale Up网络，Scale Up负责GPU之间的高速互联，依靠NVLink把多个GPU组成一个统一计算域，让多颗GPU表现得像一颗超大GPU，为GPU间Load/Store等内存访问提供超高带宽、超低时延和极低抖动。

第二类是Scale Out网络。当多个GPU服务器、GPU机柜进一步组成更大的AI集群时，需要Scale Out网络进行横向扩展。英伟达目前主要有两条相关的技术路线：Quantum-X InfiniBand和Spectrum-X以太网。

其中，InfiniBand源于高性能计算（HPC），已有二十多年发展历史，天然适合大规模并行计算；Spectrum-X则主要面向希望继续采用以太网体系构建AI集群的数据中心用户。

第三类是Scale Across网络。随着单个数据中心受到供电、散热等限制，越来越多AI工厂需要跨数据中心部署。

Scale Across主要解决跨园区、跨城市甚至跨区域的数据中心互联，需要面对长距离网络带来的拥塞控制、负载均衡、时延和抖动等难题。

第四类网络则面向推理时代的新型存储访问需求。

随着分布式推理的发展，KV Cache等推理数据需要高速共享，传统存储网络已无法满足需求，因此催生了新的高速存储互联。

同时，AI工厂还需要管理网络等基础设施网络，因此一个大型AI工厂通常需要五类网络协同运行。

AI训练过程中，数千甚至数万块GPU需要持续同步梯度，GPU之间通信量远高于传统云计算。因此，AI网络需要具备几项新的核心能力：更高带宽、更低时延、极低甚至零抖动、无损网络、更智能的拥塞控制和RDMA能力（远程直接内存访问）。

关于AI以太网，我们了解到英伟达的Spectrum-X以太网硅光技术已经全面量产，采用CPO（光电一体封装）技术，可支持Vera Rubin平台实现AI工厂横向扩展和跨区域部署。

Spectrum-X最大的特点不是单一交换机性能，而是端到端协同设计，这种协同主要包括三个层面。

首先是交换机与网卡协同。交换机负责数据转发，网卡负责服务器侧通信，两者共同完成负载均衡、拥塞控制、乱序处理等任务。

第二是网络与GPU协同。例如GPU已经率先支持PCIe 6.0等新技术，网络侧可以提前适配，与GPU形成更高带宽连接。

再是网络硬件与通信软件协同。Spectrum-X通过NCCL等通信库，把交换机、网卡等底层能力开放给AI框架，实现端到端优化。

据了解，英伟达这种协同设计可有效降低Tail Latency（尾时延）、减少网络噪声，提高网络带宽利用率，并保持训练过程中每一步迭代时间稳定一致，从而提升整体训练效率。

随着网络带宽不断提升，网络设备能耗正在快速增加。据了解，目前AI网络中，光互连功耗已经超过交换芯片本身。因此，CPO正成为下一代AI网络的重要发展方向。

与传统可插拔光模块不同，CPO直接将光器件封装到交换芯片附近，大幅缩短信号传输距离。这样不仅可以降低DSP等器件功耗，还能减少PCB走线长度，提高信号质量，并显著降低整体能耗。

在实验环境中，搭载CPO共封装光学技术的英伟达Spectrum-X以太网方案的系统，相较于采用传统插拔光模块方案的系统，持续稳定运行时间（MTBF）可提升约5倍。

结语：Agentic AI重塑算力赛道，行业竞争重心向AI工厂转移

从Vera CPU到BlueField-4 STX，再到Spectrum-X硅光网络和DOCA安全体系，英伟达正试图将AI工厂打造为一个高度协同的整体系统，而不仅仅是一套GPU服务器。

不止英伟达发力全栈AI系统，AMD推出Helios机架、谷歌布局自研TPU全栈集群，都折射出行业竞争的重心正在从“谁拥有更强GPU”，转向“谁能够构建更完整、更高效的AI工厂”；而围绕整套AI工厂架构的竞争，或将成为未来数据中心市场的新焦点。