11月5日，英伟达发布技术解读，针对大模型参数规模、上下文长度和智能体应用快速增长带来的GPU显存压力，提出以“全栈协同设计”为核心的应对方案。英伟达指出，HBM供应趋紧、价格上升的趋势在可预见的未来仍将持续，单纯依靠增加显存容量已难以匹配AI工作负载的增长速度。
在推理过程中，昂贵的HBM需要同时承载模型权重和KV缓存，后者用于记录模型理解当前请求所需的上下文。智能体工作流会在多次模型调用和工具调用之间持续携带历史上下文，部分场景需处理多达300万个token；检索增强生成（RAG）还会将企业资料加入提示词，进一步推高内存占用。英伟达将HBM比作仓库、将内存带宽比作装卸口，指出容量再大，若数据进出速度跟不上，也会形成“内存墙”，导致新增容量无法有效转化为服务能力。
为此，英伟达的方案强调将数据压缩、放置在合适层级，并在需要前提前送回GPU。具体而言，NVFP4低精度格式可压缩模型权重和KV缓存；在NVL72系统中，模型权重可分散至最多72颗GPU；Vera CPU的大容量LPDDR内存可为暂停的上下文提供就近缓冲；Dynamo推理软件则将不活跃上下文迁移至CMX上下文存储，并在复用前取回。RAG索引也可保留在CPU与存储侧，避免长期占用HBM。这一设计思路将GPU、CPU、网络、存储和软件作为一个整体协同规划，目标是让每一字节内存在AI工厂的各层级都产生更高价值。
英伟达援引SemiAnalysis AgentX基准测试数据称，在每用户每秒125 token的条件下，Vera Rubin NVL72相较GB300 NVL72的每美元智能体吞吐量最高提升30倍，而每GPU的HBM容量仅增加约3％。此外，GB300 NVL72较H200平台在每用户每秒100 token条件下，每美元吞吐量最高提升10倍。上述数据表明，在HBM供给受限的背景下，系统级协同优化可在显存容量近乎持平的情况下显著改善单位成本下的服务能力。
从行业影响看，这一思路将AI算力竞争的衡量标准从“显存多少”推向“每字节、每瓦特能产出多少有效token”。对云服务商和企业用户而言，这意味着评估AI基础设施的维度需要从单一硬件参数转向端到端的系统效率；对芯片与存储产业链而言，HBM的稀缺性短期内难以缓解，围绕内存分层、数据压缩和上下文管理的软件与系统优化能力，或将成为下一阶段算力方案差异化竞争的关键环节。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
