聊聊GPU通信技术

第第页聊聊GPU通信技术最近（人工智能）大火，（AI）应用所涉及的技术能力包括语音、图像、（视频）、NLP等多方面，而这些都需要强大的计算资源支持。AI技术对算力的需求是非常庞大的，虽然（GPU）的计算能力在持续提升，但是对于AI来说，单卡的计算能力就算再强，也是有极限的，这就需要多GPU组合。而GPU多卡的组合，主要分为单个服务器多张GPU卡和多个服务器，每个服务器多张卡这两种情况，无论是单机多卡还是多机多卡，GPU之间需要有超强的（通信）支持。接下来，我们就来聊聊GPU（通信技术）。

01.单机多卡GPU通信*

GPUDirect

GPUDirect是NVIDIA开发的一项技术，可实现GPU与其他设备（例如（网络）（接口）卡(N（IC）)和存储设备）之间的直接通信和数据传输，而不涉及（CPU）。

传统上，当数据需要在GPU和另一个设备之间传输时，数据必须通过CPU，从而导致潜在的瓶颈并增加延迟。使用GPUDirect，网络适配器和存储（驱动器）可以直接读写GPU内存，减少不必要的内存消耗，减少CPU开销并降低延迟，从而显著提高性能。GPUDirect技术包括GPUDirectSt（or）age、GPUDirectR（DMA）、GPUDirectP2P和GPUDirect视频。

GPUDirectStorage

GPUDirectStorage允许存储设备和GPU之间进行直接数据传输，绕过CPU，减少数据传输的延迟和CPU开销。

通过GPUDirectStorage，GPU可以直接从存储设备（如固态硬盘（S（SD））或非易失性内存扩展（NVMe）驱动器）访问数据，而无需将数据先复制到CPU的内存中。这种直接访问能够实现更快的数据传输速度，并更高效地利用GPU资源。

GPUDirectStorage的主要特点和优势包括：

减少CPU参与：通过绕过CPU，实现GPU和存储设备之间的直接通信，GPUDirectStorage减少了CPU开销，并释放CPU资源用于其他任务，从而改善系统的整体性能。

低延迟数据访问：GPUDirectStorage消除了数据通过CPU的传输路径，从而最小化了数据传输的延迟。这对于实时分析、（机器学习）和高性能计算等对延迟敏感的应用非常有益。

提高存储性能：通过允许GPU直接访问存储设备，GPUDirectStorage实现了高速数据传输，可以显著提高存储性能，加速数据密集型工作负载的处理速度。

增强的可扩展性：GPUDirectStorage支持多GPU配置，允许多个GPU同时访问存储设备。这种可扩展性对于需要大规模并行处理和数据分析的应用至关重要。

兼容性和生态系统支持：GPUDirectStorage设计用于与各种存储协议兼容，包括NVMe、NVMeoverFabrics和网络附加存储（（NAS））。它得到了主要存储供应商的支持，并集成到流行的软件框架（如NVIDIACUDA）中，以简化与现有的GPU加速应用程序的集成。

GPUDirectP2P

某些工作负载需要位于同一服务器中的两个或多个GPU之间进行数据交换，在没有GPUDirectP2P技术的情况下，来自GPU的数据将首先通过CPU和PCIe总线复制到主机固定的共享内存。然后，数据将通过CPU和PCIe总线从主机固定的共享内存复制到目标GPU，数据在到达目的地之前需要被复制两次、

有了GPUDirectP2P通信技术后，将数据从源GPU复制到同一节点中的另一个GPU不再需要将数据临时暂存到主机内存中。如果两个GPU连接到同一PCIe总线，GPUDirectP2P允许访问其相应的内存，而无需CPU参与。前者将执行相同任务所需的复制操作数量减半。

NVLink

在GPUDirectP2P技术中，多个GPU通过PCIe直接与CPU相连，而PCIe3.0*16的双向带宽不足32GB/s，当训练数据不断增长时，PCIe的带宽满足不了需求，会逐渐成为系统瓶颈。为提升多GPU之间的通信性能，充分发挥GPU的计算性能，NVIDIA于2023年发布了全新架构的NVLink。NVLink是一种高速、高带宽的互连技术，用于连接多个GPU之间或连接GPU与其他设备（如CPU、内存等）之间的通信。NVLink提供了直接的点对点连接，具有比传统的PCIe总线更高的传输速度和更低的延迟。

高带宽和低延迟：NVLink提供了高达300GB/s的双向带宽，将近PCle3.0带宽的10倍。点对点连接超低延迟，可实现快速、高效的数据传输和通信。

GPU间通信：NVLink允许多个GPU之间直接进行点对点的通信，无需通过主机内存或CPU进行数据传输。

内存共享：NVLink还支持GPU之间的内存共享，使得多个GPU可以直接访问彼此的内存空间。

弹性连接：NVLink支持多种连接配置，包括2、4、6或8个通道，可以根据需要进行灵活的配置和扩展。这使得NVLink适用于不同规模和需求的系统配置。

NVSwitch

NVLink技术无法使单服务器中8个GPU达到全连接，为解决该问题，NVIDIA在2023年发布了NVSwitch，实现了NVLink的全连接。NVIDIANVSwitch是首款节点交换架构，可支持单个服务器节点中16个全互联的GPU，并可使全部8个GPU对分别达到300GB/s的速度同时进行通信。

△NVSwitch全连接拓扑

***02.***多机多卡GPU通信

RDMA

AI计算对算力需求巨大，多机多卡的计算是一个常态，多机间的通信是影响分布式训练的一个重要指标。在传统的TCP/IP（网络通信）中，数据发送方需要将数据进行多次内存拷贝，并经过一系列的网络协议的数据包处理工作；数据接收方在应用程序中处理数据前，也需要经过多次内存拷贝和一系列的网络协议的数据包处理工作。经过这一系列的内存拷贝、数据包处理以及网络传输延时等，服务器间的通信时延往往在毫秒级别，不能够满足多机多卡场景对于网络通信的需求。

RDMA（Remo（te）DirectMemory（Ac）cess）是一种绕过远程主机而访问其内存中数据的技术，解决网络传输中数据处理延迟而产生的一种远端内存直接访问技术。

目前RDMA有三种不同的技术实现方式：

InfiniBand（IB）：IB是一种高性能互连技术，它提供了原生的RDMA支持。IB网络使用专用的IB适配器和（交换机），通过RDMA操作实现节点之间的高速直接内存访问和数据传输。

RoCE（RDMAoverConverged（Ethernet））：RoCE是在（以太网）上实现RDMA的技术。它使用标准的以太网作为底层传输介质，并通过使用RoCE适配器和适当的协议栈来实现RDMA功能。

iWARP：iWARP是基于TCP/IP协议栈的RDMA实现。它使用普通的以太网适配器和标准的网络交换机，并通过在TCP/IP协议栈中实现RDMA功能来提供高性能的远程内存访问和数据传输。

GPUDirectRDMA

GPUDirectRDMA结合了GPU（加速计）算和RDMA（RemoteDirectMemoryAccess）技术，实现了在GPU和RDMA网络设备之间直接进行数据传输和通信的能力。它允许GPU直接访问RDMA网络设备中的数据，无需通过主机内存或CPU的中介。

GPUDirectRDMA通过绕过主机内存和CPU，直接在GPU和RDMA网络设备之间进行数据传输，显著降低传输延迟，加快数据交换速度，并可以减轻CPU负载，释放CPU的计算能力。另外，GPUDirectRDMA技术允许GPU直接访问RDMA网络设备中的数据，避免了数据在主机内存中的复制，提高了数据传输的带宽利用率。

IPOIB

IPOIB（IPoverInfiniBand）是一种在InfiniBand网络上运行IP协议的技术。它将标准的IP协议栈与IB互连技术相结合，使得在IB网络上的节点能够使用IP协议进行通信和数据传输。

IPOIB提供了基于RDMA之上的IP网络（模拟）层，允许应用无修改的运行在IB网络上。但是，IPoIB仍然经过内核层（IP