CN119396620A 一种数据处理方法及相关设备 （华为技术有限公司）

202211017671.X2022.08.23术领域。该方法由分布式存储系统中主节点执将主节点更新数据块的操作卸载至从节点集合2根据所述第一数据块和所述第二数据块确定通过所述第一从节点向第二从节点发送包括所述校验块更新信息的所述EC条带中的校验块存储在第二从节点，所述主节点与所述第二从节点为同一节将所述数据流中的数据分块得到多个数据块，将所述多个数据块根据所述多个数据块中每组数据块计算校验块，将所述校验块写入所述其中，所述多个数据块无法写满至少一个EC条带时，对所述至确定单元，用于根据所述第一请求确定第一数据块，所述第3数据块的操作卸载至所述从节点集合中的一根据所述第一数据块和所述第二数据块确定通过所述第一从节点向第二从节点发送包括所述校验块更新信息的所述EC条带中的校验块存储在第二从节点，所述主节点与所述第二从节点为同一节读写单元，用于将所述数据流中的数据分块得到多个数据块，将所述多个数据块所述读写单元，还用于根据所述多个数据块中每组数据块计算校验块写入所述分布式存储系统中的校验块存储节点，所述校验块存储节点包括所述第二从节其中，所述多个数据块无法写满至少一个EC条带时，所述读45中国申请都要求于2022年06月27日提交中国生了大量的数据。为了降低数据的存储成本并保障数据的可靠性，业界提出了纠删码[0004]一组数据块和基于这组数据块通过校验生成的校验块的集合称作EC条带6更新请求的返回值为第一数据块，用于指示第一从节点将第一数据块更新为第二数据块，从节点集合发送处理请求，所述从节点集合包括所述分布式存储系统中至少一个从节点，所述处理请求用于指示将所述主节点更新数据块的操作卸载至所述从节点集合中的一个7[0033]该方法将主节点更新数据块的过程中计算新的校验块的[0044]该方法将主节点更新数据块的过程中计算新的校验块的面或第二方面任一种可能实现方式中的数据处理方面或第二方面任一种可能实现方式中的数据处理89′校[0074]为了解决传统技术中多次读操作和写操作占用大量的网络资源导致系统性能下的算子下推至校验块所在的第二从节点，避免了主节点或第一数据块所在的第一从节点括计算节点集群和存储节点集群。计算节点集群包括一个或多个计算节点110(图2中示出举例来说，随机存取存储器是动态随机存取存储器(DynamicRandomAccessMemory,部分随机存取存储器(RandomAccessMemory，RAM)一样，属于一种易失性存储器另外，内存113还可以是双列直插式存储器模块或双线存储器模块(DualIn_lineMemoryModule，简称DIMM)，即由动态随机存取存储器(DRAM)组成的模块，还可以是固态硬盘[0080]网卡114用于与存储节点100通信。例如，当内存113中的数据总量达到一定阈值[0081]任意一个计算节点110可通过网络访问存储节点集群中的任意一个存储节点10固态硬盘或者叠瓦式磁记录硬盘等。控制器101用于根据计算节点110发送的读/写数据请[0082]图3为本申请实施例所应用的另一种分布式存储系统的系统架构图，该系统为存每组数据块以及由该组数据块确定的校验块分散写入不同的存储节点100中，例如是写入不同存储节点100的硬盘105中，形成EC条带。存储EC条带中第一个数据块(例如是数据块Dk-1)的存储节点100可以视为第一从节点，存储校验储EC条带中其他数据块(例如是数据块D[0089]针对EC条带覆盖写的场景，主节点可以获取用于更新EC条带的数据块的第一请更新数据块的操作卸载至第一数据块所在的第一从节点和校验块所在点也可以不对数据流中数据进行填充，而是按照分块粒度切分出K_1个大小等于分块粒度数据块D4至数据块D7分别写入4个数据块存储节点，P1和Q1分别写入不同的校验块存储节入第一个第一从节点，以此类推，数据块D512至D767写入第二个第一从节点，数据块D768至transaction1)中加入zeroOp，而事务2至4(记作transaction2～4)中的writeOp均采用据块D512D769计算得到校验块P1和校验块Q1。[0126]在图5的示例中，请求3和请求4用于指示将主节点更新数据块的操作部分卸载至′[0135]还需要说明的是，执行本申请实施例的数据处理方法也可以不执行上述S516至0′12[0148]应理解的是，本发明本申请实施例的装置1000可以通过中央处理单元(centralprocessingunit，CPU)实现，也可以通过专用集成电路(application_specific现场可编程门阵列(field_programmablegatearray，FPGA)，通用阵列逻辑(generic[0151]接收所述第一从节点将所述第一数据块更新为第二数据块所返回的所述第一数第一数据处理装置1000A和第二数据处理装置1000B，第一数据处理装置1000A部署于分布[0173]所述第二数据处理装置1000B，用于根据所述处理请求更新所述第一数据块和校[0200]存储器1206可以包括易失性存储器(volatilememory)，例如随机存取存储器(randomaccessmemory，RAM)。处理器1204还可以包括非易失性存储器(non_volatile存有数据处理装置1000用于执行数据处理方法的一个或多个计算设备1200中的存储器1206中可以存有相同的数据处理系统1100用于执行设备1200的组合可以共同执行数据处理系统1100用于执行数据处理方是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据以是包含指令的，能够运行在计算设备上或被储存在任何可用介质中的软件或程序产品。以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；