CN114721769B 虚拟机迁移的方法 （百度（美国）有限责任公司）

VM具有将人工智能(AI)加速器的资源映射到VM由虚拟功能映射到AI加速器的资源的列表和配用于确保在具有适当AI加速器资源的新主机上2响应于接收到迁移VM-S和虚拟功能的命令，将AI加速器的检查点和状态传输到目标主机的管理程序，以生响应于接收到目标主机验证了检查点和AI状态响应于接收到VM-T已重新启动应用和AI任务的通擦除与虚拟功能关联的VM-S的存储器以及应用对虚拟功能的任何调将虚拟功能和VM-S的状态的检查点存储到VM-S的多个检查点的存储中，VM-S的存储器的快照，包括一个或多个AI加速器内的通信缓存器和虚拟功能调度信在AI加速器状态中存储AI加速器内的存储器的内容，包括与AI与之通信的AI加速器集群中的一个或多个39.一种系统，包括至少一个硬件处理器，所述至任一项所述的用于迁移正在执行访问人工智能（AI）加速器的虚拟功能的应用的源虚拟机4[0001]本公开的实施例总体上涉及耦接到虚拟机的主机的一个或多个人工智能加速的AI应用(至少其中一些任务是在AI加速器上执行的)在迁移到另一个主机后可能会失败VM-T的资源，并且已经利用来自AI加速器状态的数据加载了目标主机上的AI加速器的通一方面所述的迁移正在执行访问系统的人工智能(AI)加速器的虚拟功能的应用的源虚拟5实现如第一方面所述的用于迁移正在执行访问人工智能(AI)加速器的虚拟功能的应用的处理器执行时实现如第一方面所述的用于迁移正在执行访问人工智能(AI)加速器的虚拟[0016]图1是示出根据一个实施例的具有检查点认证和/或人工智能(AI)加速器状态验[0017]图2A和2B是示出根据一个实施例的一个或多个主机与一个或多个人工智能加速[0018]图3是示出根据实施例的控制人工智能加速器的集群的主机的框图，每个集群具[0019]图4A是示出根据实施例的在虚拟化环境中实现具有检查点认证的虚拟机迁移的方法的具有人工智能(AI)加速器的数据处理系统[0020]图4B是示出根据实施例的在虚拟化环境中实现具有AI加速器状态验证的用于虚拟机迁移的方法的具有人工智能(AI)加速器的数据处理系统化环境中带有检查点认证的具有AI加速器的数据处理系化环境中带有AI加速器状态验证的具有AI加速器的数据处理系拟化环境中带有检查点认证的虚拟机迁移方法中使虚拟化环境中迁移具有带有检查点认证的AI加速器的数据处理境中迁移具有带有检查点认证的AI加速器的数据处理系统的[0026]图9示出了根据实施例的在虚拟化环境中迁移具有带有检查点认证的AI加速器的数据处理系统的虚拟机之后执行源主机计算设备的6征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语[0030]以下实施例涉及使用人工智能(AI)加速器来增加可以从主机设备卸载(或委托)到AI加速器的某些类型的操作的处理吞吐量。主机设备主持一个或多个虚拟机(virtual其他GPU等。尽管在主机设备安全地耦接到一个或多个AI加速器的情况下示出和描述了实他高速总线。主机设备和AI加速器可以在执行下面描述的本发明的方面的操作之前通过[0035]主机设备可以包括耦接到一个或多个AI加速器的中央处理单元(CPU)。每个AI加7虚拟机(VM-S)的计算机实现的方法可以包括将VM-S的状态的检查点存储到VM-S的多个状的源虚拟机(VM-S)的方法包括通过目标主机的管理程序接收来自与将人工智能(AI)处理目标虚拟机(VM-T)进行托管的请求。目标主机的管理程序根据检查点分配和配置用于将哈希并确定重新计算的哈希是否与检查点中存储的哈希匹配。响应于检查点的成功验证，多个正在执行的AI任务。方法进一步包括生成或选择与虚拟功能相关联的AI加速器的状8由AI加速器处理的未决指令的高速缓存、队列或流水线，以及(3)生成AI加速器状态的哈的公钥解密AI状态的签名，确定AI加速器状态的日期和时间戳在阈值日期和时间范围内，[0040]任何上述功能可以作为可执行指令被编程到一个或多个非暂时性计算机可读介[0041]图1是示出根据一个实施例的安全处理系统100的框图，安全处理系统100可以迁[0042]客户端设备101-102可以是任何类型的客户端设备，诸如个人计算机(例如台式9服务器104进一步包括接口(未示出)以允许诸如客户端设备101-102的客户端访问由服务个或多个AI加速器105-T..107-T的运行应用的DP服务器104-T托管的客户端虚拟机可以迁AI加速器可以包括一个或多个专用处理器，诸如可从百度公司获得的百度人工智能[0045]根据一个实施例，访问由数据处理服务器104(也称为主机)托管的AI加速器105-得在主机104和AI加速器105-107之间交换的数据受到保护免受恶意软件/入侵[0046]图2A是示出根据一些实施例的在一个或多个主机与一个或多个人工智能(AI)加[0047]驱动器209可以包括调度由一个或多个用户应用205请求的处理任务的调度器AI加速器产生的热量的调度标准，分析为在AI加速器105-107上的执行而调度的处理任务实现调度标准的一个或多个策略。配置AI加速器可以包括将AI加速器分组为一个或多个以及VM201内的虚拟功能的配置进行快照。本文使用的虚拟功能是人工智能(AI)加速器，[0048]未分配给AI加速器集群内的一组AI加速器的AI加速器可被设置为低功耗状态以[0049]配置AI加速器进一步可以包括指示一个或多个AI加速器生成与一个或多个其他可以包括指示一个或多个DP加速器断开AI加速器与一个或多个其他AI加速器之间的通信链接(断开)。AI加速器的连接和断开可以由每个AI加速器中的一个或多个链接寄存器管包括存储设备204。存储设备204可以包括一个或多个人工智能(AI)模型202和一个或多个执行时可以根据内核的编程对任何输入进行数字签名。支持水印的内核可以从数据对象[0054]主机104可以是CPU系统，其可以控制和管理主机104和/或AI加速器105-107上的或多个CPU213的硬件，其可选地配备在主机104内的安全模块(诸如可选的可信平台模块[0056]可选的TPM芯片还可以保护工作内核空间中的驱动器209和操作系统(OS)211以与的驱动器209以控制主机和AI加速器之间的通信信道215。由于可选的TPM芯片和安全启动[0057]因为用于AI加速器105-107的通信信道215可以专供OS211和驱动器209使用，所[0058]运行时库206可以将应用编程接口(API)调用转换为用于AI加速器的执行、配置加速器服务的内核空间中仅启动签名/认证的操作系统211和加速器驱动器209。在一个实算法可以是对称或非对称算法。对称模糊算法可以使用相同的算法模糊和去模糊数据通替换特定目标字符串的过程。控制流模糊可以使用附加代码更改程序中控制流的顺序(插[0067]运行时库206可以提供模糊内核算法以模糊主机104和AI加速器105-107之间的数[0068]图2B是示出根据一个实施例的一个或多个主机与一个或多个人工智能(AI)加速器之间的安全计算环境的框图。在一个实施例中，主机信道管理器(hostchannel选的密钥存储54和可选的密码引擎255。可选的认证模块251可以认证运行在主机服务器104上的用户应用以获得访问或使用AI加速器105的资源的许可。HCM250可以经由通信信道215与AI加速器215的加速器信道管理器(ACM)2的密钥管理器253可以管理(例如，创建或销毁)用于不同安全数据交换信道的一个或多个密非对称密钥对或对称密钥。可选的密码引擎255可以对通过任何安全信道交换的数据的HCM250协作以在主机服务器104和AI加速器105之间建立通信信道215。ACM280进一步包括资源管理器282。资源管理器282强制执行对敏感资源270和非敏感资源290的受限访问。加密或解密用于数据交换的密钥信息或数据包。存储器/存储277可以包括用于AI模型275[0072]AI加速器105进一步可以包括非敏感资源290。非敏感资源290可以包括一个或多[0073]链接配置模块281负责建立或连接从一个AI加速器到另一个AI加速器的链接或路景等进行分类。还可以通过通信链接215经由接口140从主机系统104接收经训练的AI模型[0075]在一个实施例中，敏感资源270中的水印单元(未示出)可以包括水印生成器和水水印或从另一数据结构或数据对象，诸如可从主机系统104接收的人工智能模型或输入数结构或组件以及关于AI加速器的描述将适用于整个应用中的所有集群具有将集群内的AI加速器组311的资源映射到主机上的虚拟机的虚拟功能，每个人工再重复。在虚拟计算实施例中，主机104进一步可以包括管理程序212，诸如vsphere/Esxi⃞或Microsof⃞Hyper-VB。管理程序212可以是直接在物理服务器上运行的可以被视为图1的客户端设备101和102。[0078]人工智能(AI)加速器集群310可以包括上面参考图2A和2B描述的AI加速器105-310中的每个AI加速器可以具有到加速器集群310中的一个或多个其他AI加速器的一个或速器根据从主机104驱动器209接收的策略进行配置。集群310中的每个AI加速器可以具有A和D彼此生成通信链接以及AI加速器B和C生成彼此通信链接的指令。集群310中可以有任[0080]在基于静态策略的实施例中，单个策略定义每个AI加速器的配置并被从驱动器略传输到集群中的所有AI加速器。每个AI加速器读取策略并与集群310中的一个或多个AI加速器建立(连接)或切断(断开)通信链接，从而将AI加速器配置为一个或多个组。在图3态策略的环境中，驱动器209的调度器209A可以使用应用205和/或虚拟机的用户之间的时略重新配置自身，在AI加速器和集群310中的一个或多个其他AI加速器之间建立(连接)或且支持将用户的处理任务分配给集群310中的多个AI加速器组。静态策略可以从分析器[0084]图4A是示出根据实施例的具有人工智能(AI)加速器以在虚拟化环境中实现具有检查点认证的虚拟机迁移的方法的数据处理系统的HOST-S401还可以支持附加的VM，诸如VM2和VM3。虚拟机VM1-S、VM2和VM3(每个标记为[0086]管理程序X405可以是任何类型的管理程序，包括在HOST-S401的硬件上运行的“裸机”管理程序，或者管理程序可以运行在主机的硬件上执行的HOST-S401的操作系统 一个或多个人工智能(AI)加速器410。每个VM可以具有单独加密的通信信道215，此通信信道使用与每个其他VM的加密通信信道215使用不同的一个或多个密钥。相关联的虚拟功能411只能由特定VM402(例如VM1-S)的用户访问。虚拟机资源在图4中每感资源290(包括处理逻辑291和存储器/存储292)、加速器信道管理280(包括链接配置281[0088]目标主机，例如HOST-T451可以具有与HOST-S401相同或相似的硬件和软件配[0092]检查点209C可以根据图6中描述的事件生成检查点帧420。检查点帧420可以例如检查点帧420的日期和时间戳可以在将检查点帧420从源VM1-S传输到目标主机HOST-T451[0093]当目标主机HOST-T451的管理程序455接收到检查点帧420时，管理程序455可以可以与检查点帧420同步获取，使得AI加速器状态帧421获得的信息相对于要迁移的VM1-S的最近检查点帧420及其关联的虚拟功能(将AI加速器410资源的分配映射到虚拟机，例如且在执行的应用403的待执行AI任务已停止之后获取。这样的实施例避免AI加速器状态帧421存储AI加速器的状态，此状态对应于在迁移之后可能难以可靠地重新启动的部分进行到目标主机HOST-T451的管理程序455之前，用AI加速器410的私钥或虚拟机VM1-S的私钥对AI加速器状态帧421、帧的哈希以及帧的日期和时间戳进行数字签名。当到迁移虚拟机查点帧420的选择并且响应于接收将源VM1-S迁移到目标HOST-T451的指令来生成帧421。在源VM1-S的迁移期间，在将AI加速器状态帧421从源VM1-S传输到目标主机HOST-T451的状态帧421，则HOST-T451的管理程序455可以将AI加速器状态帧的内容复制到VM1-T452可以在待迁移到目标主机的源虚拟机上实践，源虚拟机例如VM1-S，目标主机例如HOST-配的存储器以及将一个或多个AI加速器的资源映射到VM1-S的虚拟功能，如上文参考图4A例中，AI加速器状态帧421可以在与应用403相关联的一个或多个AI任务在下面的操作800[0102]在操作900中，响应于VMl-S从目标主机451的管理程序455接收到管理程序455已S和与VM1-S关联的另一个AI加速器的迁移后清理。下面参考图9描述方法900。方法500结境中使用AI加速器状态验证的具有AI加速器的数据处理系统上的虚拟机迁移的方法550。器的虚拟功能迁移到目标主机451的命令，并且响应于接收到在执行迁移时使用的检查点帧420的选择，检查点器209C记录与正在运行的应用相关的一个或多个正在执行的AI任务器状态帧421被成功验证并且迁移完成的通知，目标主机541上的管理程序455重新启动迁[0107]图6从托管要迁移的虚拟机的源管理程序的角度示出了根据实施例的生成在虚拟化环境中具有检查点认证的虚拟机迁移方法中使用的检查[0114]图7从托管待迁移的虚拟机的源管理程序的角度示出根据实施例的在虚拟化环境中确定是否迁移具有AI加速器的数据处理系统的虚拟机的方法700，AI加速器具有检查点如果任何类型的故障或异常发生的次数多于与故障或异常类型相关联的阈值，则方法700[0121]图8示出了根据实施例的从托管待迁移的虚拟机的源管理程序的角度，在虚拟化环境中迁移具有带有检查点认证的AI加速器的数据处理系统的虚拟机的方[0123]在操作802中，停止或暂停VMl-S上运行的应用的一个或多个正在运行的AI任[0126]在操作805中，VM1-S管理程序405将记录的未完成AI作业的状态发送到目标主机[0127]图9示出了根据实施例的在虚拟化环境中迁移具有带有检查点认证的AI加速器的数据处理系统的虚拟机之后执行源虚拟机的迁移后清理[0128]在操作901中，源虚拟机(VMl-S)的管理程序405从目标主机451的管理程序455接一步可以指示VM1-S向目标主机451的迁移完成，应用和未完成的AI任务在目标主机451上用的存储器，VM1-S经由与VM1-S相关联的虚拟功能对使用与应用相关联的AI加速器的API配由VM1-S使用并且与将AI加速器资源映射到VM-S的虚拟功能相关联的AI加速器资源。方[0131]图10从将托管迁移后的虚拟机的主机的目标管理程序的角度示出根据实施例的在虚拟化环境中迁移具有带有检查点认证的AI加速器的数据处理系统的虚拟机的方法[0132]在操作1001中，目标主机451的管理程序455从与将AI处理器资源映射到VM1-