CN119473994A 一种混合加速卡管理方法、装置、电子装置和存储介质 （之江实验室）

本申请涉及一种混合加速卡管理方法、装2基于远程直接内存访问技术，将所述混合加速卡的内存地址注册至预设的硬件抽象通过所述预设的硬件抽象层，调用所述运行时库接口执行混合加速将所述库类型编号以及所述服务器数据传输请求对应的当前线程标5.根据权利要求1至4中任一项所述的混合加基于预设的调用方法，在所述服务器系统中加载所述加速卡的运行时库的动态链接根据所述运行时库句柄从所述动态链接库中确定所述加速卡的运将所述运行时库接口函数与所述预设的统一硬件抽获取多个加速卡的数据内存地址；所述多个加速卡包括接收数据和/或发送数据的内3所述注册模块，用于基于远程直接内存访问技术，将所述混合加速远程直接访问内存注册至预设的硬件抽象层；所述硬件抽象层中预设有统一硬件抽象接所述传输模块，用于根据所述预设的硬件抽象层，调用所述运行时库9.一种电子装置，包括存储器和处理器，其4[0002]在高性能计算(Highperformancecomputing，HPC）、人工智能（Artificial力和高吞吐量，逐渐成为高性能计算系统中的关键加速设备。与传统CPU（Central[0003]现有的一些方案试图通过虚拟化技术或容器化技术来简化不同厂商硬件的兼容[0004]针对相关技术中存在如何在兼容不同厂商GPU加速卡的同时，提高数据处理和传建立适配器管理组件，通过所述适配器管理组件管理所述加速卡的硬件适配器；5根据所述运行时库句柄从所述动态链接库中确定所述加速卡的运行时库接口函将所述运行时库接口函数与所述预设的统一硬件抽获取多个加速卡的数据内存地址；所述多个加速卡包括接收数据和/或发送数据6被处理器执行时实现上述第一个方面所述的混合加等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语7[0021]在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执[0023]传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterfaceController，简称为NIC其可通过基站与其他网络设备相连从而可与互联网能力和高吞吐量的GPU加速卡，但是不同厂商GPU的硬件架构和编程接口具有各自的特点，且平台的底层实现机制差异较大，开发人员在应用程序中使用不同GPU时需要编写特定的[0025]为应对多厂商混合GPU的兼容问题，业界提出了多种跨平台硬件抽象方案和编程制了其在一些高性能计算场景中的应用。著影响。特别是在多加速卡混合使用的情况下，不同GPU之间的数据传输往往受到接口差8[0027]现有的一些解决方案试图通过虚拟化技术或容器化技术来简化不同厂商硬件的GPU，又能高效处理数据存储和传输的统一处理方法和装置，以减少开发人员的适配工作方法和装置。该方法通过构建一套统一的运行时API_runtimeAPI，不仅支持多种厂商的[0033]具体地，首先对服务器系统中服务器上不同类型的加速卡运行时库的API接口进9器内存在多种混合类型的加速卡，且对于多个服务器中的单一服务器只存在一种加速卡包括接收数据和/或发送数据的内存地址；判断服务器系统中是否存在加速卡对应的内存统一的接口来管理不同的硬件加速卡适配器，后续如果需要支持更多的加速卡运行时库，[0052]图4是本具体实施例中混合加速卡硬件抽象与数据传输统一处理的方法示意图，速卡软件工具开发包SDK以及X类型计算加速卡软件工具开发包SDK进行[0059]步骤S14，将定义的硬件抽象层运行时接口与选择的加速卡运行时库接口进行绑速卡的运行时库接口函数，然后将这个函数绑定到预先定义好的统一硬件抽象运行时接接收端，一般都是先将加速卡设备内存中的数据拷贝到CPU内存中，再进行以太网数据传件抽象层运行时库的内存拷贝函数接口，将需要并行计算的数据拷贝到加速卡设备内存[0068]图6是本具体实施例提供的加速卡设备内存数据执行数据传输操作的示意图，参速卡发送数据的内存地址，并判断服务器系统中是否存在A类型加速卡和/或B类型加速卡接内存访问RDMA内存注册，并调用硬件抽象层执行远程直接内存访问RDMA的数据传输操[0069]图7是本具体实施例提供的跨服务器混合加速卡设备数据传输的示意图。参考图等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器