CN118283059B 镜像数据处理方法、dpu和系统 （中科驭数（北京）科技有限公司）

本申请提供一种镜像数据处理方法、DPU和是预先分发至各个DPU节点中存储的；自各个关键字与块文件信息之间的对应关系中查找目标存储位置标识返回至发出目标关键字的DPU节点，以使该DPU节点自存储位置标识对应的其他DPU节点中下载各个块文件并组成镜像数据。本申请能够将镜像仓库技术有效卸载到DPU上，能够减轻主机的负载负担并提高应用程序的服务2对所述镜像数据进行拆分以得到多个块文件，并为所述镜像数据和各个生成各个所述块文件各自对应的种子信息，其中，所述种子信将各个所述块文件和对应的种子信息分发至各个所述DPU节点中以进行分在由相互通信并共享数据的多个DPU节点构成的目标网络中，接的各个块文件是预先分发至各个所述DPU节点中进行分布将接收到的关键字作为当前目标关键字，并自预存储在所述目标网将所述目标关键字对应的块文件信息所指向的存储位置标识，返回键字的DPU节点，以使该DPU节点自该存储位置标识对应的其他DPU节点中下载所述目标关根据所述网络拓扑结构类型确定所述目标网络当前对将所述传播路径分发至所述目标网络中的各个所述DPU节点，以使发出所述目标关键字的DPU节点在接收到所述存储位置标识之时或之后，基于所述传播路径在所述目标网络若所述传播路径中显示存在相邻DPU节点不唯一的DPU节点，则将该DPU节点作为当前获取所述目标节点对应的多个相邻DPU节点当前各自的状态信息，并根据各个所述相在所述目标节点对应的各个所述相邻DPU节点中择一作为该目标节点当前的邻居节将所述邻居节点对应的选择信息发送至所述目标节点，以使该目标节点3所述流行度信息包括：相邻DPU节点当前已存储的块文件在所述目标网络中的被下载5.根据权利要求1所述的镜像数据处理方法，其6.根据权利要求2所述的镜像数据处理方法，其特征在于，所述网络拓扑结构类型包相对应的，若所述目标网络当前的网络拓扑结构类型为若所述目标网络当前的网络拓扑结构类型为所述网格网络若所述目标网络当前的网络拓扑结构类型为所述点对点网络，7.一种镜像数据处理方法，其特征在于，接收并存储镜像服务节点发送的块文件和对应的种子信息，的种子信息分发至各个所述DPU节点中以进行分及，所述镜像服务节点还以各个块文件的唯一标识分别作为块文件查询关键字，和/在由相互通信并共享数据的多个DPU节点构成的目标网络中，接收针对镜像数据的下件查询关键字；镜像数据对应的各个块文件是预先分发至各个所述DPU节点中进行分布式将所述关键字发送至所述目标网络对应的镜像服务节点，以使该镜接收所述存储位置标识，并自该存储位置标识对应的其他DPU节点中下载所述目标关4所述目标网络中的任一DPU节点用于被指定为镜像服务节点，或者，与各所述镜像服务节点用于执行权利要求1至6任一项所述的镜像数未被指定为所述镜像服务节点的所述DPU节点用于执行权利要求7所述的镜像数据处5镜像过程中会占用计算机网络中的输入/输出操作，导致影响服务器上正在运行的业务应对应的各个块文件是预先分发至各个所述DPU节点中进行分标关键字的DPU节点，以使该DPU节点自该存储位置标识对应的其他DPU节点中下载所述目[0009]在本申请的一些实施例中，在所述在由相互通信并共享数据的多个DPU节点构成[0013]将各个所述块文件和对应的种子信息分发至各个所述DPU节点中以进行分布式存6数据的唯一标识或名称作为镜像查询关键字，存储各个所述块文件各自对应的唯一标识、所属的镜像数据的名称、该镜像数据的大小和该镜像数据的唯一标识之间的一一对应关[0018]将所述传播路径分发至所述目标网络中的各个所述DPU节点，以使发出所述目标关键字的DPU节点在接收到所述存储位置标识之时或之后，基于所述传播路径在所述目标[0020]若所述传播路径中显示存在相邻DPU节点不唯一的DPU节点，则将该DPU节点作为[0021]获取所述目标节点对应的多个相邻DPU节点当前各自的状态信息，并根据各个所[0022]在所述目标节点对应的各个所述相邻DPU节点中择一作为该目标节点当前的邻居[0026]所述流行度信息包括：相邻DPU节点当前已存储的块文件在所述目标网络中的被[0027]在本申请的一些实施例中，发出所述目标关键字的DPU节点在下载到所述目标关网络对应的所述传播路径包括：自所述树形网络中各个DPU节点构成的树状结构自顶向下7[0033]在由相互通信并共享数据的多个DPU节点构成的目标网络中，接收针对镜像数据块文件查询关键字；镜像数据对应的各个块文件是预先分发至各个所述DPU节点中进行分[0035]接收所述存储位置标识，并自该存储位置标识对应的其他DPU节点中下载所述目[0037]关键字接收模块，用于在由相互通信并共享数据的多个DPU节点构成的目标网络件查询关键字；镜像数据对应的各个块文件是预先分发至各个所述DPU节点中进行分布式[0040]本申请第四个方面提供了一种DPU，用于执行前述第一方面提及的镜像数据处理[0042]所述目标网络中的任一DPU节点用于被指定为镜像服务节点，或者，与各个所述DPU节点之间分别通信连接的一服务器用于被指定为所[0044]未被指定为所述镜像服务节点的所述DPU节点用于前述第二方面提及的镜像数据[0046]本申请的第七个方面提供了一种计算机可读存储介质，该计算机程序被处理器执行时实现前述第一方面提[0048]本申请提供的镜像数据处理方法在由相互通信并共享数据的多个DPU节点构成的8键字的DPU节点，以使该DPU节点自该存储位置标识对应的其他DPU节点中下载所述目标关于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大9[0068]AmazonElasticContainerRegistry(ECR)是亚马逊AWS提供的一个中心化的[0069]GoogleContainerRegistry(GCR)是GoogleCloudPlatform提供的中心化置、DPU镜像服务端或者镜像分发引擎等)或者被指定为所述镜像服务节点的任一DPU节点实现的第一镜像数据处理方法，参见图1，所述第一镜像数据处理方法具体包含有如下内[0088]在本申请的一个或多个实施例中，相互通信并共享数据的多个DPU节点可以指每一个DPU节点均与其他所有DPU节点分别通信连接并共享数据，也可以指每个DPU节点仅与单向传播的下一个相邻节点之间通信连接并共享数据，还可以指每个DPU节点可以与至少[0091]在步骤200中，预存储在所述目标网络中的各个关键字与各个块文件信息之间的统中的数据存储和查找，将数据分散存储在整个DPU分布式镜像网络中的各个DPU节点上。出所述目标关键字的DPU节点，以使该DPU节点自该存储位置标识对应的其他DPU节点中下技术有效卸载到DPU上，能够有效减轻主机的负载负担，能够有效提高应用程序的服务质点上，镜像服务节点将来源于用户上传的镜像镜像的每一层都可以作为一个单独的块文件，然后通过点对点网络在不同的DPU分发节点种类似于DHT(分布式哈希表)的数据结构来管所述目标关键字的DPU节点在接收到所述存储位置标识之时或之后，基于所述传播路径在所述目标网络中查找所述存储位置标识对应的其他DPU节点，并自所述存储位置标识对应的其他DPU节点下载所述目标关键字对应的各个[0119]所述流行度信息包括：相邻DPU节点当前已存储的块文件在所述目标网络中的被[0124](4)维护数据块的可用性信息：即每个DPU节点上已经存储的数据块的数量和类像数据处理方法中，发出所述目标关键字的DPU节点在下载到所述目标关键字对应的各个块文件之时或之后，基于预设的验证规则对各个所述块文件的完整性和正确性进行校验，网络对应的所述传播路径包括：自所述树形网络中各个DPU节点构成的树状结构自顶向下[0132]本申请实施例提供一种可由未被指定为所述镜像服务节点的所述DPU节点实现的所述目标关键字对应的块文件信息所指向的存储技术有效卸载到DPU上，能够有效减轻主机的负载负担，能够有效提高应用程序的服务质所述块文件和对应的种子信息分发至各个所述DPU节点中以进行分布[0139]及，所述镜像服务节点还以各个块文件的唯一标识分别[0145]本申请还提供一种用于执行所述第一镜像数据处理方法中全部或部分内容的镜[0146]关键字接收模块10，用于在由相互通信并共享数据的多个DPU节点构成的目标网文件查询关键字；镜像数据对应的各个块文件是预先分发至各个所述DPU节点中进行分布[0149]本申请提供的镜像数据处理装置的实施例具体可以用于执行上述实施例中的第[0150]所述镜像数据处理装置进行第一镜像数据处理的部分可以在服务器或客户端设的RPC协议(RemoteProcedureCallProtocol，远程过程调用协议)、REST协议[0154]本申请还提供一种用于执行所述第一镜像数据处理方法和/或所述第二镜像数据处理方法中全部或部分内容的DPU节点(即DPU设备)，能够将镜像仓库技术有效卸载到DPU[0156]请求接收及关键字提取模块40，用于在由相互通信并共享数据的多个DPU节点构[0157]关键字发送模块50，用于将所述关键字发送至所述目标网络对应的镜像服务节[0159]本申请提供的用于执行第二镜像数据处理方法的DPU节点的实施例具体可以用于执行上述实施例中的第二镜像数据处理方法的实施例的处理流程，其功能在此不再赘述，[0161]所述目标网络中的任一DPU节点用于被指定为镜像服务节点，或者，与各个所述DPU节点之间分别通信连接的一服务器用于被指定为所[0163]未被指定为所述镜像服务节点的所述DPU节点用于执行前述的第二镜像数据处理DPUP2P镜像服务端执行，将P2P镜像仓库技术硬件卸载到DPU上可以利用专用的网络处理[0169](4)降低主机负载：将P2P镜像仓库卸载到DPU上可以分担主[0182]然后会通过P2P协议在数据中心内的各个节点之间传输镜像文件。当一个节点需[0183]节点之间可以通过P2P分发系统进行直接的数据交换，而不必依赖于单个中心服[0185]也就是说，DPUP2P镜像服务端将来源于用户上传的镜像中大的镜像拆分为多个系统中的数据存储和查找，将数据分散存储在整个DPU分布式镜像网络中的各个DPU节点过提取的该参数或关键字在分布式哈希表中进行查找，其中的关键字可以选择镜像的名向其他节点分享这些数据。种子节点(SeedNode)通常是指拥有完整Docker镜像文件的节种子的热度等因素。并且通过使用一种类似于DHT(分布式哈希表)的数据结构来管理种子[0208]基于上述内容，本申请应用实例还提供一种DPUP2P智能分发引擎(用于块存储、[0211]3.采集DPU节点负载信息：获取DPU[0220]数据块选择：算数据块的流行度：首先需要对P2P网络中的数据块进行流行度统速器和高性能网络特性提高块的传输速度。下载节点通过DHT查找和直接与存储块的节点器及发送器，处理器用于执行上述实施例提及的第一镜像数据处理方法和/或第二镜像数他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field_态计算机可执行程序以及模块，如本申请实施例中的镜像数据处理方法对应的程序指令/的各种功能