FusionSphere虚拟化套件GPU直通技术白皮书

1、 DOCPROPERTY DocumentName GPU直通技术白皮书华为专有和保密信息 版权所有 华为技术有限公司文档版本 DOCPROPERTY DocumentVersion V1.0 ( DOCPROPERTY ReleaseDate 2019-03-30) DOCPROPERTY Product Project Name 华为FusionSphere 虚拟化套件 DOCPROPERTY DocumentName GPU直通技术白皮书目 录 TOC o 1-3 h z u HYPERLINK l _Toc525892354 1 简介 PAGEREF _Toc525892354 h 1

2、 HYPERLINK l _Toc525892355 1.1 背景简介 PAGEREF _Toc525892355 h 1 HYPERLINK l _Toc525892356 1.2 方案简介 PAGEREF _Toc525892356 h 1 HYPERLINK l _Toc525892357 2 技术和方案介绍 PAGEREF _Toc525892357 h 2 HYPERLINK l _Toc525892358 2.1 PCI直通方案 PAGEREF _Toc525892358 h 2 HYPERLINK l _Toc525892359 2.1.1 方案概述 PAGEREF _Toc52

3、5892359 h 2 HYPERLINK l _Toc525892360 2.1.2 适用场景 PAGEREF _Toc525892360 h 3 HYPERLINK l _Toc525892361 2.1.3 方案特点 PAGEREF _Toc525892361 h 3 HYPERLINK l _Toc525892362 2.2 GPU资源组方案 PAGEREF _Toc525892362 h 4 HYPERLINK l _Toc525892363 2.2.1 方案概述 PAGEREF _Toc525892363 h 4 HYPERLINK l _Toc525892364 2.2.2 适用

4、场景 PAGEREF _Toc525892364 h 4 HYPERLINK l _Toc525892365 2.2.3 方案特点 PAGEREF _Toc525892365 h 6 HYPERLINK l _Toc525892366 3 术语 PAGEREF _Toc525892366 h 6简介背景简介随着信息化社会的飞速发展，大数据分析、深度学习等新技术的不断涌现，高性能计算不仅应用在石油勘探、地震分析、流体力学计算、分子运力学等传统领域，互联网、金融、政府信息化、教育等领域对高性能计算的需求也飞速增长。GPU在高性能计算领域的使用，使得CPU不再是计算芯片的唯一选择。与CPU相比，GP

5、U具备更强大的计算能力以及更简单的任务处理模式，在高性能计算领域扮演者越来越重要的角色。与此同时，在传统的图形渲染领域，包括虚拟桌面、游戏、工业设计、影视渲染等场景中，GPU也扮演者不可替代的角色。GPU直通方案，为虚拟机提供接近于物理GPU能力的GPU设备。方案简介华为FusionSphere虚拟化套件针对不同的业务场景及对GPU资源的使用情况，提供以下两种有针对性的解决方案：主机PCI设备直通GPU资源组方案类型解决方案功能特点应用场景PCI直通直接将主机上GPU对应的PCI设备直通给虚拟机使用独占GPU设备不允许GPU超分配视频云等GPU资源组将GPU设备添加到GPU资源组，再从GPU资

6、源组中分配GPU给虚拟机在虚拟机关闭后，GPU可被其他虚拟机使用；允许GPU超分配桌面云等FusionSphere虚拟化套件使用PCI直通技术将GPU设备直通给虚拟机，即将GPU在计算节点中呈现的PCI设备直接绑定给虚拟机以呈现成为虚拟机的一个PCI设备。技术和方案介绍PCI直通方案方案概述FusionSphere虚拟化套件在主机（计算节点）启动等时机主动发现其以装配的GPU设备，这些GPU设备可直接绑定给虚拟机。适用场景使用场景适用于对GPU资源需求明确，需要对GPU进行持续独占使用的场景。例如：地震分析、视频云等领域使用约束PCI直通方案存在以下约束：虚拟机必须与GPU设备所在主机绑定；已

7、直通GPU设备的虚拟机不支持内存快照；已直通GPU设备的虚拟机不支持热迁移、休眠、唤醒操作；仅支持在GPU关闭状态下进行GPU设备的绑定与解绑定操作；一个GPU只能绑定给一个虚拟机或一个GPU资源组；需要进行GPU直通的虚拟机的内存必须全部预留；每个虚拟机最多支持直通8个GPU设备；需要提前在主机的BIOS中开启VT-d和VT-x支持。不同厂商服务器开启的方式会有区别，请参考具体的服务器帮助文档；方案特点绑定GPU的虚拟机，不会因为GPU资源不足导致虚拟机无法启动说明即使绑定GPU的虚拟机的电源已关闭，GPU也不能被其他虚拟机使用GPU资源组方案方案概述GPU资源组方案需要管理员首先创建以直通

8、方式使用的GPU资源组，并将主机上的GPU设备添加到资源组中。在需要对虚拟机分配GPU资源时，直接将GPU资源组绑定给虚拟机，并指定预计在资源组中分配的GPU数量。客户虚拟机启动时，GPU资源组按照虚拟机所需的GPU数量，找到空闲的GPU数量满足条件的主机，并从该主机中分配所需数量的GPU资源以PCI直通的方式直通给虚拟机，以使虚拟机顺利启动。客户虚拟机在关闭后，GPU资源会释放给资源组，此时这些GPU资源可以被分配给其他虚拟机使用。相比于FusionSphere虚拟化套件6.3之前的版本，该方案支持在一套环境中同时使用多种规格的GPU卡，只需将不同的GPU卡划分在不同的资源组中即可。该方案可

9、以支持系统中存在需要使用不同GPU的应用的情况，同时也可在设备演进中平台地支持GPU卡进行更新换代。多种GPU卡是否可以同时直通给一台虚拟机，需要从虚拟机操作系统供应商以及显卡芯片厂商处获取支持。说明每个GPU资源组可以管理相同产品型号的GPU资源，虚拟机可以通过绑定多个不同产品型号的GPU资源组以挂载不同型号的GPU设备，但是这些设备在虚拟机的操作系统中是否可以正常使用，由GPU的驱动程序以及操作系统决定。适用场景使用场景适用于对GPU资源需求存在弹性，允许进行GPU分时复用的场景。场景举例：大数据分析、深度学习、互联网、教育等领域例如：分时复用某公司有3种业务A、B、C均需要使用GPU，但

10、各业务运行的高峰时段存在明显差异，如下表所示：业务高峰时段对GPU数量的诉求常规时段高峰时段A8:0010:0016:0020:0026B11:0014:0024C1:004:0013时段对GPU数量的诉求业务A业务B业务C总数1:004:0022378:0010:00621911:0014:00241716:0020:006219在此种场景下，为满足所有业务在高峰时段对于GPU的诉求，共需配备13块GPU；而各业务存在明显的高峰时段差异，此时对各高峰时段进行分析得出在每个高峰时段中，所需要的GPU数量都不超过9个，如下表所示：在业务系统支持动态扩缩容的情况下，在某个业务处于高峰时段时，业务系

11、统通过扩展节点（虚拟机）的方式进行扩容，在脱离高峰时段时进行缩容，只需配备9块GPU，即可满足所有业务在各自高峰时段对GPU的诉求。此种相同GPU在不同时间由不同的系统或应用使用的情况即为分时复用。使用约束GPU资源组方案存在以下约束：同一台虚拟机所使用的GPU必须集中在同一台主机上，当任意主机空闲的GPU不足以满足虚拟机运行所需时，即使资源组中的空闲GPU总量满足，虚拟机也无法被分配到所需的GPU资源；已直通GPU设备的虚拟机不支持内存快照；已直通GPU设备的虚拟机不支持热迁移、休眠、唤醒操作；仅支持在GPU关闭状态下进行GPU设备的绑定与解绑定操作；一个GPU只能绑定给一个虚拟机或一个GPU资源组；需要进行GPU直通的虚拟机的内存必须全部预留；每个虚拟机最多支持直通8个GPU设备；需要提前在主机的BIOS中开启VT-d和VT-x支持。不同厂商服务器开启的方式会有区别，请参考具体的服务器帮助文档；方案特点允许对GPU资源进行超分配，同一个GPU在多个虚拟机间分时复