据DigiTimes 9月2日报道，美光科技正在研究一种高耐久性NAND闪存模块，计划将其部署在距离GPU更近的位置，而非像传统存储方案那样通过多个协议连接到距离GPU较远的存储池。这一被暂称为“近GPU NAND”的产品方案，旨在存储密度与耐久性之间提供一种折中路径，用于处理非低延迟或高带宽类工作负载。
该技术的核心思路是让GPU能够直接访问数百GB级别的NAND存储池，存储模块可放置在GPU封装内部或PCB板上，工作方式与HBM、GDDR7等现有高带宽存储方案类似。与传统TLC或QLC NAND相比，这种新型NAND芯片的存储密度更低，但重点在于提升I/O速度和带宽表现。从存储层级看，它位于显存与普通存储之间，可充当高速缓冲层，因此特别适合运行更大规模的AI大语言模型。
当前AI推理场景中，大模型参数量持续增长，而GPU显存容量成为限制模型规模与推理效率的关键因素。近GPU NAND方案若落地，LLM推理将不再受限于显存容量，有望在保持较高吞吐能力的同时，支持更大参数量的模型加载与运行。美光方面尚未公布具体产品时间表或技术参数细节，但该方向已引起行业对存储层级架构重新设计的关注。
从行业视角看，这一探索反映了AI基础设施领域对存储体系创新的迫切需求。随着大模型训练与推理成本攀升，如何在算力、存储带宽与容量之间取得平衡，正成为芯片与存储厂商共同面对的课题。近GPU NAND若成熟，可能为AI服务器设计提供新的存储层级选项，并对现有HBM供应格局及存储控制器生态产生潜在影响。不过，该技术仍处于研究阶段，其耐久性、功耗及与现有GPU架构的兼容性等问题尚待进一步验证。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
