快科技9月4日消息,美国AI芯片初创d-Matrix近日在HotChips2026上详细介绍了其Raptor3D-DRAM生成式AI推理加速器。

单张Raptor卡配备32GB3D-DRAM,带宽超过100TB/s。相比之下,192GBHBM4配置带宽仅约18TB/s。单位面积带宽达32.6GB/s/mm,是HBM4和英伟达RubinR200的约20倍;每GB/s功耗仅2.96mW,较HBM方案的40mW改善13.5倍。64个并发用户在100万token上下文下,KV缓存占用高达935GB。HBM虽有高容量,但带宽受封装边缘空间限制,100TB/s带宽下仅内存功耗就达1.92kW。3D-DRAM正好介于两者之间。Raptor将逻辑裸片直接置于DRAM上方,信号路径缩短至毫米级,无需PHY接口。单层堆叠功率密度控制在0.5W/mm以下时,可通过液冷将DRAM温度保持在100°C以下。d-Matrix预计Raptor商用产品将于2027年推出,3D-DRAM能否重塑AI推理内存架构,将取决于其在大规模部署中的实际表现。