HBM 内存比使用常规 DRAM 好得多，对于带宽是关键的计算引擎来说，HBM 内存也比 GDDR 好，但即使美光科技与 SK 海力士和三星一起加入 HBM 阵营，世界也无法生产足够的这种产品来满足需求。这反过来又导致高端计算引擎（以及 HBM 所需的中介层封装）短缺，这反过来又使市场向不自然的方向扭曲，导致原始计算和内存容量与带宽之间效率低下和不平衡。
之前已经在许多文章中详细讨论过这个问题，我们不再重复这些冗长的内容，只想说，按照我们的想法，现在和不久的将来推出的 GPU 和定制 AI 处理器可以轻松拥有 2 倍、3 倍甚至 4 倍的 HBM 内存容量和带宽，以更好地平衡其巨大的计算量。当在同一 GPU 上将内存翻倍时，AI 工作负载的性能几乎提高了 2 倍，内存就是问题所在，也许你不需要更快的 GPU，而是需要更多的内存来满足它的需求。
正是考虑到这一点，我们查阅了 SK 海力士近发布的两份公告，SK 海力士是全球 HBM 出货量的领先者，也是 Nvidia 和 AMD 数据中心计算引擎的主要供应商。本周，SK 海力士执行官 Kwak Noh-Jung 在韩国首尔举行的 SK AI 峰会上展示了即将推出的 HBM3E 内存的一种，该内存在过去一年中已在各种产品中批量生产。
但这款新推出的 HBM3E 内存却有一个令人兴奋的地方——内存堆栈有 16 个芯片高。这意味着每个存储体的 DRAM 芯片堆栈高度是许多设备中使用的当前 HBM3E 堆栈的两倍，24 Gbit 内存芯片可提供每个堆栈 48 GB 的容量。
与使用 16 Gbit 内存芯片的八高 HBM3 和 HBM3E 堆栈（容量为每堆栈 24 GB）和使用 24 Gbit 内存芯片的十二高堆栈（容量为 36 GB）相比，这在容量上有了很大的提升。
在您兴奋之前，16 位高堆栈正在使用 HBM3E 内存进行送样，但 Kwak 表示，16 位高内存将“从 HBM 4 代开始开放”，并且正在创建更高的 HBM3E 堆栈“以确保技术稳定性”，并将于明年初向客户提供样品。
可以肯定的是，Nvidia、AMD 和其他加速器制造商都希望尽快将这种技术添加到他们的路线图中。我们拭目以待。
SK 海力士表示，它正在使用同样先进的大规模回流成型底部填充 (MR-MUF) 技术，该技术可以熔化 DRAM 芯片之间的凸块，并用粘性物质填充它们之间的空间，以更好地为芯片堆栈散热的方式将它们连接在一起。
自 2019 年随 HBM2E 推出以来，MR-MUF 一直是 SK 海力士 HBM 设计的标志。2013 年的 HBM1 内存和 2016 年的 HBM2 内存使用了一种称为非导电薄膜热压缩或 TC-NCF 的技术，三星当时也使用过这种技术，并且仍然是其的堆栈胶水。三星认为，TC-NCF 混合键合对于 16 高堆栈是必要的。
