一、概况
加速计算的数量级飞跃
NVIDIA H100 （中国版本：NVIDIA H800）Tensor Core GPU 可助力各种工作负载实现卓越的性能、可扩展性和安全性。借助 NVIDIA NVLink Switch 系统，可连接多达 256 个 H100 GPU 来加速百亿亿次级（Exascale）工作负载，并可通过专用的Transformer 引擎来为万亿参数的语言模型提供支持。H100 利用 NVIDIA Hopper? 架构中的突破性创新技术提供先进的对话式 AI，与上一代产品
相比，可使大型语言模型的速度提升 30 倍。
安全地加速从企业级到百亿亿次级（Exascale）规模的工作负载
NVIDIA H100 GPU 配备第四代 Tensor Core 和 Transformer 引擎（FP8 精度），可使大型语言模型的训练速度提升高达 9 倍，推理速度提升惊人的 30 倍，从而进一步拓展了 NVIDIA 在 AI 领域的市场领先地位。对于高性能计算（HPC）应用，H100 可使 FP64 的每秒浮点运算次数（FLOPS）提升至 3 倍，并可添加动态编程（DPX）指令，使性能提升高达7 倍。借助第二代多实例 GPU （MIG）技术、内置的 NVIDIA 机密计算和NVIDIA NVLink Switch 系统，H100 可安全地加速从企业级到百亿亿次级（Exascale）规模的数据中心的各种工作负载。
H100 是完整的 NVIDIA 数据中心解决方案的一部分，该解决方案包含以下方面的基础模组 ：硬件、网络、软件、库以及 NVIDIA NGC? 目录中经优化的 AI 模型和应用。作为适用于数据中心且功能强大的端到端 AI 和 HPC 平台，H100 可助力研究人员获得真实的结果，并能将解决方案大规模部署到生产环境中。
二、应用
>>变革 AI 训练。
H100 配备第四代 Tensor Core 和 Transformer 引擎（FP8 精度），与上一代产品相比，可为多专家 (MoE) 模型提供高 9 倍的训练速度。通过结合可提供 900 GB/s GPU 间互连的第四代 NVlink、可跨节点加速每个 GPU 通信的 NVLINK Switch 系统、PCIe 5.0 以及 NVIDIA Magnum IO? 软件，为小型企业到大规模统一 GPU 集群提供高效的可扩展性。
在数据中心级部署 H100 GPU 可提供出色的性能，并使所有研究人员均能轻松使用新一代百亿亿次级 (Exascale) 高性能计算 (HPC) 和万亿参数的 AI。
>>实时深度学习推理。
AI 正在利用一系列广泛的神经网络解决范围同样广泛的一系列商业挑战。出色的 AI 推理加速器不仅要提供非凡性能，还要利用通用性加速这些神经网络。
H100 进一步扩展了 NVIDIA 在推理领域的市场领先地位，其多项先进技术可将推理速度提高 30 倍，并提供超低的延迟。第四代 Tensor Core 可加速所有精度（包括 FP64、TF32、FP32、FP16 和 INT8）。Transformer 引擎可结合使用 FP8 和 FP16 精度，减少内存占用并提高性能，同时仍能保持大型语言模型的准确性。
>>百亿亿次级高性能计算。
NVIDIA 数据中心平台性能持续提升，超越摩尔定律。H100 的全新突破性 AI 性能进一步加强了 HPC+AI 的力量，加速科学家和研究人员的探索，让他们全身心投入工作，解决世界面临的重大挑战。
H100 使双精度 Tensor Core 的每秒浮点运算 (FLOPS) 提升 3 倍，为 HPC 提供 60 teraFLOPS 的 FP64 浮点运算。融合 AI 的高性能计算应用可以利用 H100 的 TF32 精度实现 1 petaFLOP 的吞吐量，从而在不更改代码的情况下，实现单精度矩阵乘法运算。
H100 还采用 DPX 指令，其性能比 NVIDIA A100 Tensor Core GPU 高 7 倍，在动态编程算法（例如，用于 DNA 序列比对 Smith-Waterman）上比仅使用传统双路 CPU 的服务器快 40 倍。
>>加速数据分析。
在 AI 应用开发过程中，数据分析通常会消耗大部分时间。原因在于，大型数据集分散在多台服务器上，由仅配备商用 CPU 服务器组成横向扩展式的解决方案缺乏可扩展的计算性能，从而陷入困境。
搭载 H100 的加速服务器可以提供相应的计算能力，并利用 NVLink 和 NVSwitch 每个 GPU 3 TB/s 的显存带宽和可扩展性，凭借高性能应对数据分析以及通过扩展支持庞大的数据集。通过结合使用 NVIDIA Quantum-2 InfiniBand、Magnum IO 软件、GPU 加速的 Spark 3.0 和 NVI
戴尔服务器销售中心
