NVIDIA H200 正式发布：AI 推理性能提升 90%

NVIDIA 发布新一代 H200 Tensor Core GPU，基于 Hopper 架构，配备 141GB HBM3e 显存，专为大模型推理优化。

AIHardwareHub 编辑部

2024/1/15

更新于 2025/8/25

15,420 次浏览

PRODUCT_LAUNCHNVIDIAH200HopperAI推理HBM3e

NVIDIA 今天正式发布了 H200 Tensor Core GPU，这是基于 Hopper 架构的最新产品，专门为大规模 AI 推理工作负载设计。

核心升级

141GB HBM3e 显存，相比 H100 的 80GB 提升 76%

内存带宽达到 4.8TB/s，提升 40%

Llama2 70B 推理性能提升 90%

GPT-3 175B 推理吞吐量提升 60%

支持更大的模型在单卡上运行

H200 的发布进一步巩固了 NVIDIA 在 AI 计算领域的领先地位。预计将在 2024 年 Q2 开始大规模供货，主要面向云服务提供商和企业客户。

本文于 2024/1/15 发布，最后更新于 2025/8/25