一、H20与A800/A100的对比与平替能力
NVIDIA的H20显卡在特定市场被作为主要的销售产品，虽然其FP16（半精度浮点）的TFLOPS（每秒万亿次浮点运算）仅为148，低于A800的312，但H20在多个方面展现出了其独特的优势，使得NVIDIA宣称其能够平替A800/A100。
首先，H20提供了高达296的FP8（八位浮点）TFLOPS，而A800并不支持FP8运算。FP8在深度学习中的使用正逐渐增多，尤其在推理和某些训练优化中，其能在保持一定精度的同时，显著减少显存占用和计算量。
其次，H20拥有96G的显存，比A800的80G多出20%。这一增加的显存空间使得H20能够处理更大规模的数据集和更复杂的模型，尤其在训练过程中，当需要存储梯度、优化器状态和中间状态时，更大的显存空间尤为重要。
再者，H20的NVL（NVIDIA NVLink）速率是A800的两倍多，显存带宽也接近A800的两倍。这些优势使得H20在多GPU并行计算中能够更有效地进行数据传输和同步，减少通信延迟，提高整体计算效率。
在训练中，影响NVL通讯量的主要因素包括MicroBS（微批次大小）、gradient accumulate（梯度累积）、TP（张量并行）和Global BS（全局批次大小）。由于H20具有更高的显存和NVL速率，当GPU算力未达上限时，可以通过增加MicroBS来减少训练步数，从而加快训练速度，同时避免内存溢出。
二、训练和推理对AI算力的要求
训练过程对AI算力的要求更为严格。除了需要存储模型参数外，还需要额外存储梯度、优化器状态和正向传播的中间状态，这些都对内存提出了更高的需求。在计算需求上，正向传播虽然计算量大，但反向传播中的梯度计算和参数更新是更为关键的计算密集型任务。此外，训练过程中的数据并行和模型并行都需要大量的通信带宽来同步梯度和数据。
相比之下，推理过程主要依赖于正向传播的计算，对算力的需求相对较低。然而，在模型并行的情况下，推理过程同样需要较大的通信带宽来传递数据和结果。为了提高推理效率，可以采用KV Cache等策略，但这会增加存储需求。
综上所述，H20凭借其在FP8运算、显存大小和NVL速率等方面的优势，以及其对训练和推理过程中不同需求的适应性，展现出了其作为A800/A100平替的潜力。
戴尔服务器销售中心
