算力之后存储成AI落地新瓶颈 推理需求重构存储架构

存储层的任何延迟抖动,都会被转化为 GPU的空转时间。

AI产业的关注焦点正从算力向存储迁移。随着大模型推理需求爆发式增长,存储系统正从数据基础设施的配角走向前台,成为制约AI应用落地的核心瓶颈。OpenRouter与a16z联合发布的《State of AI》报告显示,OpenRouter平台的年Token处理量在一年内从约10万亿飙升至超过100万亿,单日峰值已突破1万亿。这一数据背后,是存储系统面临的全新挑战。

中国信通院发布的数据显示,全球AI推理算力市场规模从2021年的14.04亿美元跃升至2024年的139.58亿美元,年均复合增长率达到66.3%。更关键的是,推理工作负载占比从2023年的41.3%持续攀升,预计2026年将达到70.5%,实现对训练算力的全面超越。这意味着,AI算力市场正经历从“训练驱动”到“推理驱动”的根本性转变。

推理市场和需求的爆发式增长带来了存储系统的结构性压力。作为数据搬运工的内存和SSD并没有以同样的速度变快,业内经常看到最贵的芯片处于“待机等数据”的状态,存储设备成为决定整个AI系统性价比的关键变量。TrendForce集邦咨询的数据显示,2025年全球企业级SSD市场规模达280亿美元,2026年第一季度全球前五大企业级SSD营收达201亿美元,环比增长85.8%。三星电子保持第一名,2025年第四季营收近36.6亿美元,季增49.7%;SK集团(含SK海力士和Solidigm)位居第二,营收32.6亿美元,季增超过75%;美光位居第三,营收超过14亿美元,季增41.4%。

训练时代,SSD的角色类似仓库,主要工作是装下海量的训练数据,在GPU开工时按批送货,同时定期写入检查点。大模型训练时间通常需要数月,几千张卡里随时可能有卡掉队,因此需要定期将模型参数和优化器状态落盘,以便在故障时从最近的检查点恢复。这两项任务对存储的要求相对朴素:带宽要够大,容量要够多,稳定性要好。

进入推理阶段后,存储的角色发生了根本性变化。变化的根源在于Transformer架构的运行机制。模型每生成一个新Token,都需要计算其与前文所有词元之间的关联关系,这些中间结果被缓存为KV Cache。上下文越长,KV Cache越大,且随上下文长度线性增长。当前主流模型普遍支持百万级上下文,单条会话的KV Cache即可占用数GB至数十GB空间。HBM作为全数据中心单位成本最高的存储空间,以其承载长上下文在成本上并不具备可持续性,这导致KV Cache向外溢出,首先是主机DRAM,进而下沉至SSD。存储的角色由此从数据容器转变为GPU的扩展内存。

这一位移带来的直接后果是:存储层的任何延迟抖动,都会被转化为GPU的空转时间。需求结构的变化已在市场规模上得到验证。据Counterpoint Research的季度追踪,2026年第二季度企业级SSD已占全球NAND闪存出货容量的48%,而一年前这一比例仅为26%,该机构预计到2026年底将超过一半。

面对推理时代对存储的需求,西安三星电子研究所存储解决方案部技术总监何兴将问题归结为三个层面。首先是数据“喂”不饱GPU。传统的存储系统是为CPU设计的,当GPU需要数据时,数据必须先经过CPU、再经过主机内存才能最终到达GPU,每一步都在消耗时间和资源。三星的实测数据显示,在4KB小I/O条件下,系统实际只用了接口带宽的约27%,其余73%被软件开销消耗。何兴表示,传统的PCIe、NVMe发展了很多年,有软件负担,要兼顾老设备和复杂情况,但在AI场景下,这些历史包袱有可能被简化。

其次是KVCache的“写放大”困局。大模型推理中,KVCache是维持长对话上下文的关键,但当KVCache被卸载到SSD时,不同请求的KV数据交错存储,一旦某条数据过期,SSD必须将同一块中其他有效数据重新写入,这大幅缩短了SSD的使用寿命,也拉低了系统吞吐。第三是万亿参数模型装不进显存。当前主流大模型已普遍转向MoE(混合专家)架构,其核心优势在于稀疏激活:每个Token仅需唤醒少量专家,模型规模得以大幅扩张而算力开销不会同比例上升。但其代价是全部专家权重仍需常驻显存,万亿参数模型的权重规模远超单机HBM容量,只能下沉至系统内存和SSD,而决定模型实际吞吐的正是SSD的随机读取性能。

针对这三个新需求,三星半导体Memory战略规划总监冯方将产业的应对路径归纳为两个方向:一是提升硬件本身的性能与容量,二是压缩软件栈的冗余开销。在硬件层面,竞争的主角首先是HBM。SK海力士凭借多年深耕成为英伟达HBM的核心供应商,但三星电子正在快速追赶,在HBM4E的送样节奏上抢先一步——2026年5月29日,三星率先向全球主要客户交付业界首批12层HBM4E样品;约三周后,SK海力士于6月18日跟进,向主要客户交付12层HBM4E工程样品。

在技术规格上,HBM4E相较前代实现了显著跨越。三星12层HBM4E单堆栈容量达48GB,可提供稳定的14Gbps引脚传输速度,性能可扩展至16Gbps,单堆栈带宽高达3.6TB/s;能效较HBM4提升16%以上,热阻改善超14%。SK海力士的12层HBM4E同样实现48GB容量,单引脚最高数据处理速率达16Gbps,能效提升20%以上,热阻改善17%。双方均采用12层堆叠达成48GB容量,用更少的堆叠层数实现了更高的容量密度。

三星作为HBM市场先行者,其优势被概括为“端到端整合”。全球范围内能同时自研NAND颗粒、DRAM、主控芯片并拥有强大固件能力的厂商屈指可数。这意味着当头部云厂商提出定制需求时,三星可以在内部闭环完成底层逻辑修改,而无需与第三方来回拉锯。这种垂直整合在具体产品上体现为多个标志性成果。在内存层面,三星率先押注CXL,自2019年CXL联盟成立以来一直担任董事会成员,近期展示了基于CXL 3.2协议的CMM-D 320内存模块,提供128GB和256GB两档容量。

存储行业的这一轮变革,本质上是AI基础设施从以算力为中心向以数据流为中心的架构演进。当GPU的峰值算力不再是唯一瓶颈,数据搬运的效率将直接决定AI系统的整体表现。存储厂商能否在硬件性能和软件栈两个维度同时完成迭代,将决定其在AI时代的市场地位。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

(0)
Google DeepMind校友创立Fusionality 为企业开发聚变能源控制系统与仿真工具
上一篇 3小时前
DeepSeek开启V4.1 Flash内测,下调API价格并探索智能密度优化
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部