例如,美光在周一正式宣布推出 12-Hi HBM3E 内存堆栈。新产品容量为 36 GB,面向用于 AI 和 HPC 工作负载的前沿处理器,例如 Nvidia 的H200和B100/B200 GPU。
美光的 12-Hi HBM3E 内存堆栈拥有 36GB 的容量,比之前的 8-Hi 版本(24GB)高出 50%。容量增加使数据中心能够在单个处理器上运行更大的 AI 模型,例如 Llama 2,其参数多达 700 亿个。此功能消除了频繁卸载 CPU 的需要,并减少了 GPU 之间的通信延迟,从而加快了数据处理速度。
在性能方面,美光的 12-Hi HBM3E 堆栈可提供超过 1.2 TB/s 的内存带宽,数据传输率超过 9.2 Gb/s。据该公司称,尽管内存容量比竞争对手高出 50%,但美光的 HBM3E 功耗低于 8-Hi HBM3E 堆栈。
美光的 HBM3E 12-high 包含一个完全可编程的内存内置自检 (MBIST) 系统,以确保为客户提供更快的上市时间和可靠性。该技术可以全速模拟系统级流量,从而可以对新系统进行全面测试和更快的验证。
美光的 HBM3E 内存设备与台积电的晶圆上芯片 (CoWoS) 封装技术兼容,该技术广泛用于封装 Nvidia 的 H100 和 H200 等 AI 处理器。
台积电生态系统与联盟管理部负责人 Dan Kochpatcharin 表示:“台积电与美光一直保持着长期的战略合作伙伴关系。作为 OIP 生态系统的一部分,我们密切合作,使美光基于 HBM3E 的系统和晶圆基板芯片 (CoWoS) 封装设计能够支持我们客户的 AI 创新。”
美光正在向主要行业合作伙伴运送已投入生产的 12-Hi HBM3E 单元,以进行整个 AI 生态系统的资格测试。
SK海力士,正式量产HBM3E
韩国芯片制造商 SK 海力士公司高管近宣布,公司 12 层高带宽存储器(HBM)芯片即将量产,这将旨在巩固该公司在需求激增的人工智能(AI)存储器市场的领导地位。
随着生成式人工智能 (例如 ChatGPT 等模型) 等应用的兴起,用于人工智能计算的集成组件 HBM 芯片受到越来越多的关注,SK 海力士的 HBM 产品也因此而广受欢迎。
这家韩国公司被视为 HBM 市场的领跑者,也是美国 AI 芯片 Nvidia Corp. 的主要供应商,其的八层 HBM3E 于 3 月在业内首次实现量产。
Kwak 表示:“该公司预计,人工智能技术将从数据中心迅速扩展到更广泛的设备应用领域,如智能手机、个人电脑和汽车。人工智能应用对超高速、高容量和低功耗内存产品的需求预计将出现爆炸式增长。”
SK海力士表示,以HBM和高容量DRAM模块为主导的AI内存销量预计将占据全球内存芯片市场的61%,较2023年的5%大幅增长。
尽管面临三星电子和美光科技等竞争对手的挑战,郭先生仍表示有信心在全球 HBM 市场日益激烈的竞争中获胜。
四月,三星电子宣布计划在第二季度量产 12 英寸 HBM3E 芯片,以跟上不断变化的 HBM 市场趋势。
他表示:“我们的 HBM3 和 HBM3E 芯片保持了水平的质量竞争力”,并引用了该公司的大规模回流成型底部填充 (MR-MUF) 技术,这是 SK 海力士首次开发的一种封装方法。
“由于采用MR-MUF的12高HBM3已经实现量产,我们有信心下一代12高HBM3E将继续保持质量水平,及时满足客户需求。”
为及时满足AI内存需求,SK海力士决定投资5.3万亿韩元(38.5亿美元),在韩国建设名为M15X的DRAM新生产基地,预计2026年第三季度投入商业运营。
该公司还宣布,计划向美国先进的封装制造和研发设施投入近 40 亿美元,从 2028 年下半年开始大规模生产 AI 内存产品,包括下一代高带宽内存 (HBM) 芯片。
Kwak 表示:“公司的目标是通过提高成本竞争力、提高盈利能力和增加增值产品销量来实现质的增长。我们计划通过灵活的投资应对措施,根据不断变化的需求情况提高现金持有量,从而继续改善财务状况。”
三星完成了 NVIDIA 对 HBM3E 内存的质量测试,开始发货
今年二月,三星宣布完成12-Hi 36GB HBM3E 记忆体堆叠的开发,这个宣布是美光宣布大规模生产8-Hi 24GB HBM3E 记忆体产品之后几个小时。这些新的记忆体套件,代号为Shinebolt,与它们的前身代号为Icebolt相比,峰值频宽和容量均提高了50% 以上,目前是世界上快的记忆体设备。
三星电子近完成了 NVIDIA 对 HBM3E(8 堆栈)内存交付的质量测试(QualTest),标志着半导体行业的一个重要里程碑。这一进展正值三星开始向 NVIDIA 运送 HBM3E(8 堆栈)产品之际,此举预计将对这家科技巨头即将推出的产品阵容产生重大影响。
正如名称所暗示,三星的Shinebolt 12-Hi 36GB HBM3E 堆叠在有1024-bit 介面的逻辑芯片上封装了12 个24Gb 记忆体。新的36GB HBM3E 记忆体模组具有10 GT/s 的数据传输速率,因此每个堆叠的峰值频宽为1.28 GB/s,是业界的单个设备(或模组) 记忆体频宽。
需要注意的是,支援HBM 的处理器开发商往往会更加谨慎,因此他们会出于功耗和保证人工智能(AI) 和高性能运算(HPC) 的终稳定性等因素,以低于其值的速度使用三星的HBM3E。
为了制造其Shinebolt 12-Hi 36GB HBM3E 记忆体堆叠,三星使用了多项先进技术。首先,36GB HBM3E 记忆体产品基于三星第四代10nm 级(14nm) 制程技术(称为) 制造的记忆体装置,该技术采用极紫外光(EUV) 光刻技术。
其次,为了确保12-Hi HBM3E 堆叠与8-Hi HBM3 产品具有相同的Z 高度,三星使用了其先进的热压缩非导电薄膜(TC NCF),使其能够在记忆体装置之间实现业界的7 微米(7 ?m) 间隙。透过缩小DRAM 之间的间隙,三星可以提高垂直密度并减轻芯片翘曲。此外,三星还在DRAM IC 之间使用不同尺寸的凸点;较小的凸点用于讯号传输区域,而较大的凸点则放置在需要散热的区域,进而改善散热管理。
三星估计其12-Hi HBM3E 36GB 模组可以将人工智能训练的平均速度提高34%,,并将推理服务的同时用户数量扩大超过11.5倍。然而,该公司尚未详细说明LLM的大小。
三星已经开始向客户提供HBM3E 12H的样品,并计划在今年上半年开始大规模生产。到了今年年四月,根据外媒报导,三星已经与处理器大厂AMD 签订价值30 亿美元的新协议,将供应HBM3E 12H DRAM,预计会用在Instinct MI350 系列AI 芯片上。在此协议中,三星还同意购买AMD 的GPU 以换取HBM 产品的交易,但是具体的产品和数量暂时还不清楚。
近,TrendForce则表示,“今年,NVIDIA的产品阵容将引起轰动,H200是首款配备HBM3E 8堆栈内存的GPU(图形处理单元)。”即将发布的Blackwell芯片预计还将全面采用第五代高带宽内存HBM3E,有望增强性能和效率。