CN114237809B 一种计算机系统、容器管理方法及装置 （华为云计算技术有限公司）

US2017090971A1,2017.US2019107965A1,201US2019392150A1,2019.US2020186600A1,202通道通知计算节点根据容器镜像在计算节点中2所述卸载卡，用于接收所述容器集群管理节点发送的容器创建请求，根据所述述计算节点创建所述容器的容器运行环境并将所述第一虚拟设备挂载至所述容器的根目所述计算节点，用于创建所述容器的容器运行环境并将所述第一所述计算节点，还用于通过所述通信通道获取所述第三虚拟设备，创建第一虚拟设备；关联所述容器镜像与所述第一所述容器的容器运行环境并将所述第一虚拟设备挂载至所述通过所述通信通道将所述第二虚拟设备挂载到所述容器的5.根据权利要求4所述的方法，其特征在于，所述根据所述存储资源设置第二虚拟设7.根据权利要求4或5所述的方法，其特征在于，若所述容器为安全容器，将所述第二虚拟设备直通给用于部署所述38.根据权利要求4或5所述的方法，其特征在于，所通过所述通信通道将所述第三虚拟设备设置9.根据权利要求8所述的方法，其特征在于，所述根据所述网络资源设置第三虚拟设为所述第三虚拟设备设置网络处理规则，所述网络处理规则包括下列的部分或全部：若所述容器为安全容器，将所述第三虚拟设备直通给用于部署所述所述计算节点创建所述容器的容器运行环境并将所述第一虚拟设备挂载至所述容器的根所述通知单元，还用于通过所述通信通道将所述第二虚拟设备挂4若所述容器为安全容器，将所述第二虚拟设备直通给用于部署所述为所述第三虚拟设备设置网络处理规则，所述网络处理规则包括下列的部分或全部：若所述容器为安全容器，将所述第三虚拟设备直通给用于部署所述理器运行所述程序指令以执行权利要求4~13任一所5虚拟机，逐渐向容器过渡。目前容器管理架构大都是基于已有的基础设施即服务点创建容器的容器运行环境并将第一虚拟设备挂载至6通过通信通道直接将第二虚拟设备挂载到容器的目录(如存储目录)中。若容器为安全容7址映射规则包括地址转换(netaddresstrancelate，NAT)和全地址转换(FULLNAT)，其址转换(sourcenetaddresstrancelate，SNAT)、端口转换(portnetaddress[0025]在一种可能的实施方式中，卸载卡在通过通信通道将第三虚拟设备设置于容器8[0038]在一种可能的实施方式中，计算节点在将第二虚拟设备9可以对容器镜像与第一虚拟设备进行关联，通过通信通道向计算节点提供该第一虚拟设[0051]在一种可能的实施方式中，计算节点在将第二虚拟设备可能的实施方式中所述的方法或执行上述第五方面以及第五方面的各个可能的实施方式行上述第五方面以及第五方面的各个可能的实施方式中实施方式中所述的方法或执行上述第五方面以及第五方面的各个可能的实施方式中所述集群200进行交互。用户通过与容器管理集群100交互对该用户所租用或所有的计算节点[0071]容器管理集群100中可以包括一个或多个管理节点110，每个管理节点110能够对[0072]本申请实施例并不限定该管理节点110所部署的位置以及该管理节点110的具体[0073]计算节点集群200包括一个或多个计算节点210，每个计算节点210上还可以插置有卸载卡220。本申请实施例并不限定该计算节点210的架构类型，该计算节点210可以是计算节点210的容器管理，计算节点210仅需运行容器，计算节点210不再具备容器管理功[0080]下面具体到一个计算节点210以及该计算节点210上插置的卸载卡220，对计算节容器管理集群100中的一个或多个管理节点110交互。卸载卡220还能够与所在的计算节点的存储节点上，存储服务节点400能够为计算节点210以及计算节点210上的容器提供存储[0083]卸载卡220中可以部署有网络代理模块221以及存储代理模块222，网络代理模块[0084]卸载卡220能够在管理节点110的指示下对计算节点210上的容器进行管理，具体备(如本申请实施例中的第一VF设备)的形式呈现给计算节点210，该虚拟设备可以为单根输入输出虚拟(singlerooti/ovirtualization，SRIOV)设备形式呈现给计算节点210，[0088]其中，命名空间用于隔离容器所需的资源，如进程间通信(inter-process[0091]在创建容器时，容器网络模块226通过网络代理模块221向虚拟网络服务节点300件存储资源和对象存储资源。容器存储模块225可以通过卸载卡220中存储代理模块222与互联协议为可以为高速外部设备互联(peripheralcomponentinterconnectexpress，限定卸载卡220与计算节点210通过PCIe通道进行通信的具体形式，例如卸载卡220可以以容器资源配置信息还可以指示该网络资源为宿主机网络(也即需要复用计算节点210的网资源需要支持的服务发现能力(service)以及网络控制策略(networkpolicy)能力、以及[0101]本申请实施例并不限定用户与管理节点110交互的方式，例如用户可以通过部署[0105]管理节点110可以主动的向卸载卡220上的管理代理模块223发送资源状态获取请[0106]卸载卡220上的管理代理模块223也可以主动地向管理节点110上报计算节点210[0107]管理节点110对该容器进行调度是指确定该容器所需部署的目标计算节点，向目该计算节点集群200中各个计算节点210上的容器的相关信息(如资源配置信息、容器的标[0109]管理节点110可以从该各个计算节点210中选择空闲资源能够支持该容器的计算[0111]需要说明的是，该容器资源数据库记录容器以及计算节点210是指记录该容器的够唯一标识该容器的方式均适用于本申请实施例。这里并不限定计算节点210的标识信息以开始创建容器，创建容器主要包括两方面的操作，其一为配置容器镜像(可以参见步骤[0116]针对在步骤302中列举的两种管理节点110将该容器调度管理代理模块223可以通过如下两种方式检测该管据该容器资源数据库中增加的信息确定是否有新的容器需要部署到[0118]针对第二种方式，管理代理模块223在接收到容器创建请求时，确定该管理节点[0119]容器运行时模块224为该容器配置容器镜像时，可以从部署在远端的容器镜像仓[0121]步骤304：卸载卡220中的容器运行时模块224通过目标计算节点中的前端代理模[0125]步骤305：前端代理模块211在管理代理模块223的指示下将该第一VF设备挂载到[0126]当该第一VF设备为SRIOV设备时，前端代理模块211可以基于virtio-scsi和211可以将该第一VF设备直通给安全容器虚拟机，由安全容器虚拟机将该第一虚拟机设备[0132]用户向容器管理集群100中的管理节点110发送容器删除请求的方式与用户向容器管理集群100中的管理节点110发送容器创建指令的方式类似，具体可以参见前述说明，[0134]管理节点110指示目标计算节点中的管理代理模块223中删除该容器的方式有两[0136]第二种、管理节点110向目标计算节点中的管理代理模块2[0138]容器运行时模块224可以通过调用目标计算节点中的前端代理模块211释放容器[0140]若该容器为安全容器，前端代理模块211可以先通过安全容器虚拟机给容器进程[0147]容器存储模块225可以创建第二VF设备，并将该块存储资源关联到该第二VF设备blk或virtio-scsi协议的虚挂载到该容器的存储目录中(管理代理模块223可以指示该前端代理模块211将第二VF设备节点400申请的。也即无论预先申请还是实时申请，该对象存储资源均是有存储代理模块220使用。[0151]容器存储模块225可以创建第三VF设备，并将该对象存储资源关联到该第三VF设容器运行时模块224创建容器的过程中，容器存储模块225可以通知该计算节点210将第三[0155]容器存储模块225通过该目标计算节点中的前端代理模块211为容器分配本地存全容器虚拟机将该本地存储资源挂载在该容器的存节点400申请的。也即无论预先申请还是实时申请，该文件存储资源均是有存储代理模块[0160]容器存储模块225通过前端代理模块211将文件存储资源以网络文件系统的形式(如第二VF设备、第三VF设备)将产生的数据发送给卸载卡220中的存储代理模块222(具体[0164]对于文件存储资源，由于文件存储服务是基于网络附属存储(networkattached口)将该产生的数据发送给存储节点，存储节点将该产生的数据存储到为容器分配的存储储资源收回的流程与配置存储资源的流程相反，管理代理模块223可以通过该目标计算节[0173]当目标计算节点上的管理代理模块223监测到有容器调度到目标计算节点上时，准备网络资源。容器网络模块226通过网络代理模块221从虚拟网络服务节点300申请网络第四VF设备可以是基于该卸载卡220中本身具备的网卡抽象的虚拟设备，也可以是支持通知目标计算节点中的前端代理模块211为该容器分配给第四VF设备，目标计算节点中前用的信息可以被该多个不同后端服务端中的一个接收。为了进一步控制该后端服务端务端所在的计算节点210上，该服务发现实例也可以分布式的部署插置在该多个后端服务间的对应关系以及负载均衡策略。安插在计算节点210上的卸载卡220中的容器网络模块[0182]卸载卡220中的容器网络模块226创建该服务发现实例的过程主要是配置服务访[0183]当容器网络模块226通过与管理节点110交互确定各个计算节点210上与该服务发现实例对应的地址的容器的地址，该容器的地址可以包括该容器的网络互连协议可以监控该计算节点210的容器的变更，该容器的变更包括但不限于新建(在该计算节点的一个容器的业务迁移到另一个容器)等，当容器网络模块226确定变更后的容器的地址，更新服务访问地址与变更后的容器的地址的对应[0186]当该变更后的容器为新创建的容器，容器网络模块226可以为增加服务访问地址[0187]当该变更后的容器为删除的容器，容器网络模块226可以删除该服务访问地址与[0188]当该变更后的容器为迁移后的容器，容器网络模块226可以将服务访问地址与迁移前的容器的地址的对应关系更新为服务访问地址与迁移后的容器的地址的例也可以分布式的部署在该多个容器所在的计算节点210，该策略控制实例也可以分布式点110，也即将允许进行互通的容器的标识信息以及不允许进行互通的容器的标识信息发器网络模块226发送指示，该指示用于指示允许进行互通的容器的标识信息以及不允许进行互通的容器的标识信息。管理节点110可以在用户的操作下配置安全组策略，管理节点110执行的配置操作包括配置允许进行互通的容器的对应关系以及不允许进行互通的容器的对应关系。安插在各个计算节点210上的卸载卡220中的容器网络模块226可以监控管理[0195]卸载卡220中的容器网络模块226创建该策略控制实例的过程主要是配置安全组可以监控该计算节点210的容器的变更，该容器的变更包括但不限于新建(在该计算节点的一个容器的业务迁移到另一个容器)等，当容器网络模块226确定变更后的容器的地址，更新允许进行互通的容器的地址之间的对应关系以及不允许进行互通的容器的地址之间[0199]当该变更后的容器为新创建的容器，容器网络模块226可以为将该新创建的容器[0200]当该变更后的容器为删除的容器，容器网络模块226可以将安全组策略中删除的[0201]当该变更后的容器为迁移后的容器，容器网络模块226可以将安全组策略中迁移前的容器的地址与其他容器的地址的对应关系更新为迁移后的容器的地址与其他容器的的管理代理模块223触发容器网络模块226为容器配置网络资源，容器存储模块225可以通点210中的前端代理模块211可以将该虚拟设备分配给容器。管理节点110可以通过卸载卡220中的管理代理模块223触发容器网络模块226为容器配置服务访问规则(如负载均衡策[0205]服务质量、路由规则以及地址映射规则的配置与服务发理节点在检测到用户的配置后，管理节点可以触发容器网络模块226创建能够实现上述部于执行上述任一方法实施例中所述卸载卡执行的方法，相关特征可参见上述方法实施例，建立有通信通道，容器管理装置800还通过网络与容器集群管理节点连接；容器管理装置[0209]通知单元803，用于通过通信通道通知计算节点根据容器镜像在计算节点中创建[0210]作为一种可能的实施方式，通知单元803在通知计算节点根据容器镜像在计算节计算节点创建容器的容器运行环境并将第一虚拟行上述方式实施例中容器存储模块225配置虚拟803可以执行上述方式实施例中容器存储[0214]作为一种可能的实施方式，第一设置单元804在根据存储资源设置第二虚拟设备该存储资源为文件存储资源时，通知单元803可以将该文件存储资源以网络文件系统的形[0216]作为一种可能的实施方式，通知单元803在通过通信通道将第二虚拟设备挂载到行上述方式实施例中容器网络模块226配置虚拟执行上述方式实施例中容器网络模块226挂[0220]作为一种可能的实施方式，第二设置单元805在根据网络资源设置第三虚拟设备[0221]作为一种可能的实施方式，第二设置单元805在根据网络资源设置第三虚拟设备[0222]作为一种可能的实施方式，通知单元803在通过通信通道将第三虚拟设备设置于机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的