据报道,美光正在探索研发高耐久度NAND闪存模块的方案:将闪存部署在更靠近GPU的位置,而非远端存储池、经过多层协议转发访问。

该公司正在研究把NAND闪存向GPU侧迁移,用于处理那些不需要传统HBM或者普通DRAM所具备的低延迟、高带宽的业务负载。这套架构目前被称作GPU近存NAND,定位在存储密度与耐久度之间的折中方案。这一存储层级介于GPU显存与普通系统存储之间,充当高速缓冲,非常适合超大规模大语言模型推理任务。此外,这类NAND闪存的成本远低于HBM与普通DRAM,并且可以依据系统规格灵活配置容量。所有入局该方向的厂商都需要攻克带宽与耐久度的短板,才能让HBF或者GPU近存NAND成为HBM内存有价值的补充方案。