英伟达H200登场:强AI芯片升级?

类别:新品快报  出处:网络整理  发布于:2023-11-16 11:23:50 | 158 次阅读

 英伟达正式宣布,在目前强AI芯片H100的基础上进行大升级,发布新一代H200芯片。H200拥有141GB的内存、4.8TB/秒的带宽,并将与H100相互兼容,在推理速度上几乎达到了H100的两倍。H200预计将于明年二季度开始交付,英伟达尚未公布其价格。
 英伟达透露,下一代Blackwell B100 GPU也将在2024年推出,性能已经“望不到头”。
 H200配备了141GB的HBM3e内存,运行速率约为6.25 Gbps,六个HBM3e堆栈为每个GPU带来4.8 TB/s的总带宽。原有的H100配备80GB的HBM3,对应的总带宽为3.35 TB/s,这是一个巨大的进步。相比于H100的SXM版本,H200的SXM版本将内存容量和总带宽分别提高了76%和43%。不过从原始计算能力来说,H200不会有太大的变化,只是在个别应用场景里会受益于更大的内存配置。
 英伟达表示,根据使用Meta的70B大模型Llama 2进行的测试,H200的输出速度几乎是H100的两倍。基于与H100相同的Hopper架构,H200将具有H100的一切功能,例如可以用来加速基于Transformer架构搭建的深度学习模型的Transformer Engine功能。

 毋庸置疑,与作为前辈的A100和H100相比,H200的变化就是内存。搭载“世界上快的内存”HBM3e技术的H200在性能上得到了直接提升,141GB的内存几乎是A100和H10080GB内存的2倍,4.8TB每秒的带宽则达到了A100的2.4倍,也显著高于H100 3.35TB每秒的带宽。


来源:通信产业网

关键词:英伟达H200

全年征稿 / 资讯合作

稿件以电子文档的形式交稿,欢迎大家砸稿过来哦!

联系邮箱:3342987809@qq.com

版权与免责声明

凡本网注明“出处:维库电子市场网”的所有作品,版权均属于维库电子市场网,转载请必须注明维库电子市场网,https://www.dzsc.com,违反者本网将追究相关法律责任。

本网转载并注明自其它出处的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品出处,并自负版权等法律责任。

如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

热点排行

广告