CN119513057A 非结构化文件并行同步方法及系统 （北京科杰科技有限公司）

本发明提供一种非结构化文件并行同步方级联索引编号和数据块关联图谱对数据子块进2获取源端数据库中的目标非结构化文件，通过预先训练好的文件分从区块链网络中的各个存储节点读取数据存储包，基于所述双层级获取所有带有数据验证标识的数据子块及其对应的双层级联索对数据子块进行分层级排序，并利用数据子块的内容特征进行边界特征匹配和顺序优化，文件的内容特征、数据分布特征以及文件结构特征自适应确定最优分块大小和分块数量，从源端数据库获取目标非结构化文件，对所述目标非结构化文件进行双向语义扫描，对所述目标非结构化文件进行数据分布特征提取，按照预设窗口大小进分析所述目标非结构化文件的结构特征，提取文件的将所述第一候选分块点、第二候选分块点和第三候选分块点合并形成候选分块点集3将所述候选分块点集合及其对应的评估特征向量输入预训练的文将所述初始分块方案输入动态规划模型，构建以语义完整性特征、数提取各个数据子块所属文件的文件名、创建时间和文件大小构成元数据与所述标准化块序号通过分隔符连接生成双层级联索将数据子块按照预设大小划分为多个数据片段，计算每个数据片将所述双层级联索引编号转换为索引字节序列，对所述熵值特征从区块链网络中的存储节点读取数据存储包，基于所述数据存储包中的双对所述双层级联索引编号中的标识符进行特征匹配得到块间关4将所述数据重要度得分、动态网络评分、目标端综合负载评分归根据所述传输优先级对数据子块进行优先级排序，将相邻优先获取带有数据验证标识的数据子块及其对应的双层级联索引将所述特征组合输入预训练的文件重组模型，采用所述文件重组在所述数据块关联图谱中融合空间注意力和通道注意力根据所述初始重组方案提取相邻数据子块的边界区域特征，利的重组方案；根据优化后的重组方案计算数据子块间的特征权重，基于所述特征行顺序重组得到重组序列，验证重组序列的完整性后将验证结果更新至双层级联索引编5采用双缓冲区流式处理机制对数据子块进行拼接重组，其中第一缓基于所述文件映射表构建多级哈希验证树，在叶子节点存储将所述多级哈希验证树转换为压缩编码序列，采用分段编码方式对所述压缩编码序基于一致性哈希算法将所述区块链确认信息映射到区块链网络的确对预确认通过的区块链确认信息进行分片处理，根据所述多级哈希验证树将确认信息划分为多个验证分片，在不同分片中并行执行基于实用拜占庭容错的共识算存储节点接收区块链确认信息后，根据所述多级哈希验证树逐层基于所述同步请求的验证路径建立数据同步通道，采用选择性获取区块链网络中各确认节点的计算能力值和存储容量值，基于基于一致性哈希算法计算所述区块链确认信息的确认信息哈希值并映射到所述确认将所述确认信息哈希值、时间戳和协调节点的数字签名组合生成认节点组中的映射位置对应节点作为协调节点向所述确认节点组中的剩余确认节点发送6所述协调节点统计确认节点组的准备响应数量，当所述准备响应数量采用超时检测机制监控所述协调节点的在线状态，当检测到协调节将所述确认日志中的确认操作信息构造为验证树，将所述验证树第一单元，用于获取源端数据库中的目标非结构化文件，第二单元，用于从区块链网络中的各个存储节点读取数据存第三单元，用于获取所有带有数据验证标识的数据子块及其对应的双层级联索引编其中，所述处理器被配置为调用所述存储器存储的指令，以执行7程序指令被处理器执行时实现权利要求1至7中任意8[0003]现有技术中，针对非结构化文件的分块传输方法大多基9提取各个数据子块所属文件的文件名、创建时间和文件大小构成元数据信息集标识符与所述标准化块序号通过分隔符连接生成双层级联索和运算得到特征融合值，将所述索引字节序列与所述特征融合值拼接生成混合特征序列，对所述混合特征序列进行哈希计算得到数据指述传输优先级通过自适应并行传输通道将数据子块传输至目标端在所述数据块关联图谱中融合空间注意力和通道注意力提取节点的局部结构特在所有存储节点中同步更新区块链确认信息，完成所述目标非结构化文件的并行同步包基于一致性哈希算法将所述区块链确认信息映射到区块链网络的确认节点环上，基于一致性哈希算法将所述区块链确认信息映射到区块链网络的确认节点环上，基于一致性哈希算法计算所述区块链确认信息的确认信息哈希值并映射到所述述确认节点组中的映射位置对应节点作为协调节点向所述确认节点组中的剩余确认节点发送预确认请求，所述确认节点组中的确认节点验证预确认请求的合法性并返回准备响源配额，根据所述传输优先级通过自适应并行传输通道将数据子块传输至目标端数据库，对完成传输的数据子块，采用异步验证机制基于数据子块的熵值特征计算得到验证哈希S101.获取源端数据库中的目标非结构化文件，通过预先训练好的文件分块模型S102.从区块链网络中的各个存储节点读取数据存储包，基于所述双层级联索引S103.获取所有带有数据验证标识的数据子块及其对应的双层级联索引编号，将[0023]数据传输优先级模型是一个用于评估和调整数据传输顺序和优先级的智能模[0024]文件重组模型是一种用于将拆分成多个子块的数据重新组合成完整文件的智能[0026]示例性地，首先，从源端数据库，例如关系型数据库MySQL或非关系型数据库现变化，例如从高密度变为低密度，则将该位置视为第二候选分块点。假设在某个位置，[0030]将第一候选分块点、第二候选分块点和第三候选分块点合并形成候选分块点集的双层级联索引编号，基于数据子块的熵值特征和双层级联索引编号计算得到数据哈希提取各个数据子块所属文件的文件名、创建时间和文件大小构成元数据信息集标识符与所述标准化块序号通过分隔符连接生成双层级联索和运算得到特征融合值，将所述索引字节序列与所述特征融合值拼接生成混合特征序列，对所述混合特征序列进行哈希计算得到数据指进行前导零填充，使其长度达到预设值，例如填充到8位，得到标准化块序号，例如为分隔符，生成双层级联索引编号，例如“f78a58e5…_00000001”和“f78a58e5…_该数据子块位于A区域的第一个主索引下的第二个子索于信息熵原理计算每个通道的传输效率得分，并将得分低于效率阈值的通道进行动态重在所述数据块关联图谱中融合空间注意力和通道注意力提取节点的局部结构特息提供了文件整体结构的描述，而块级位置信息则表明该数据子块在文件中的具体位置。方法能够从不同尺度和维度提取数据子块的特征，确保捕捉到文件中多样的模式和信息。图谱的生成有助于确定哪些数据子块在重组过程中应界区域是指相邻数据子块之间的连接部分，这部分通常对于文件重组的正确性至关重要。基于一致性哈希算法将所述区块链确认信息映射到区块链网络的确认节点环上，[0063]接下来，基于文件映射表构建多级哈希验证树。在叶子节点存储数据块的哈希值进行打包，生成具有分层结构的区块链确认信息。每一层包含独立的数字签名和验证字段[0065]然后，基于一致性哈希算法将区块链确认信息映射到区块链网络的确认节点环基于一致性哈希算法计算所述区块链确认信息的确认信息哈希值并映射到所述述确认节点组中的映射位置对应节点作为协调节点向所述确认节点组中的剩余确认节点发送预确认请求，所述确认节点组中的确认节点验证预确认请求的合法性并返回准备响[0079]图2为本