美光旨在通过其一代高带宽内存 (HBM3) 技术实现高带宽、效率和速度之间的平衡。
美光科技近宣布“业界首款”HBM3 Gen2内存芯片已进入样品阶段。随着生成式人工智能模型变得越来越普遍，设计人员必须克服人工智能内存在效率、成本和性能瓶颈。与传统内存解决方案相比，第二代 HBM3 具有独特的优势，因此可以解决其中一些痛点。
美光的 HBM3 Gen2 内存芯片可以提高密度和带宽，同时降低功耗并提高计算模块的效率。 图片由美光科技提供
的 HBM3 内存基于美光的 1β（1-beta）DRAM 工艺节点构建，多允许 24 Gb 内存芯片堆叠成 8 或 12层3D 堆栈。 不仅提高了纯存储密度，还提高了带宽和功耗性能。 本文深入探讨了这些优势以及美光科技的内存产品，让读者了解 HBM3 标准如何实现新的、强大的内存进步。
HBM3 标准因对快速、高效内存的需求而兴起 自推出以来，冯·诺依曼架构就一直是芯片设计师的掣肘。对于需要大量内存的人工智能模型尤其如此，内存墙一直是整个系统的瓶颈。
为了应对这一限制，HBM 使用 3D 集成来进一步耦合计算和内存芯片，并提供更高的整体带宽和功效。 HBM3 Gen1 是 JEDEC 批准的标准，以 HBM2 和 HBM2E 标准为基础，支持未来堆叠内存芯片的更高带宽和能效。
尽管内存标准主要关注速度和带宽，但功耗才是大型部署效率低下的主要原因。 因此，HBM3标准不仅将带宽从3.6 Gbps增加到6.4 Gbps，将容量从16 GB增加到64 GB，而且大大降低了存储设备的核心电压和功耗。
美光 HBM3 Gen2：提高每瓦性能
尽管 JEDEC 尚未发布 HBM3 Gen2 标准，但美光等公司正在开发下一代 HBM 设备，以满足新兴应用的内存需求。 美光 HBM3 Gen2 芯片以其 HBM2E 产品组合为基础，出色的性能使其成为带宽密集型应用的有吸引力的解决方案。
HBM3 内存允许将内存芯片放置在非常靠近计算模块的位置，从而降低处理器和内存之间的延迟，并提高内存密集型应用程序的性能。 图片由 Synopsys 提供
就纯带宽而言，HBM3 Gen2 芯片支持超过 1.2 TB/s 的内存带宽，可与 AI 计算核心结合使用，并且12层堆叠比8层容量密度增加50%。 HBM3 Gen2 提高了性能并降低了功耗，每瓦性能提高了 2.5 倍，从而降低了系统的总运营成本。
美光将于 2024 年第一季度开始发售其 36 GB 12层堆叠HBM3。这种使用先进封装和集成技术的更高带宽内存的趋势预示着复杂 AI 模型的未来。
