CN114840487B 分布式文件系统的元数据管理方法和装置 （阿里巴巴（中国）有限公司）

说明书披露一种分布式文件系统的元数据分布式文件系统中存储有各级目录的关键字与键字在所述映射关系中查找本级目录元数据的2按照目录从上级至下级的顺序，针对提取出的各目录名称，基于基于所述关键字在所述分布式文件系统的所述第一映射关系中查找本级目录元数据判断基于所述第一映射关系查找到的各级目录元数据的索引节点编号与在云数据库在基于所述第一映射关系查找到的各级目录元数据的索引节点编号与在云数据库的2.根据权利要求1所述的方法，所述基于所述目录名称和上级目录元数据的索引节点3.根据权利要求1所述的方法，所述基于所述目录名称和上级目录元数据的索引节点基于预设的顺序拼接所述目录名称和上级目录元数据的索在基于所述第一映射关系查找到的各级目录元数据的索引节点编号与在云数据库的关系中查找到的索引节点编号更新所述映射关基于云数据库的所述第二映射关系中查找到的文件路径的索引节点编号从云数据库若基于所述关键字无法在所述第一映射关系中查找到本级目录元数据的索引节点编8.一种分布式文件系统的元数据管理装置，应用于3编号查找单元，基于所述关键字在所述分布式文元数据获取单元，判断基于所述第一映射关系查找到的各级目录元映射关系查找到的各级目录元数据的索引节点编号与在云数据库的所述第二映射关系中元数据查询单元，响应于客户端发送的数据访问请求，根据待数据访问单元，将所述元数据返回给客户端，以供客户端基其中，所述分布式文件系统中存储有各级目录的关键字与目按照目录从上级至下级的顺序，针对提取出的各目录名称，基于基于所述关键字在所述分布式文件系统的所述第一映射关系中查找本级目录元数据判断基于所述第一映射关系查找到的各级目录元数据的索引节点编号与在云数据库在基于所述第一映射关系查找到的各级目录元数据的索引节点编号与在云数据库的45件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，所述方法包[0011]当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键[0015]在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节[0016]判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库[0017]在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中6[0019]在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中[0021]基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件[0023]若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编件系统中存储有各级目录的关键字与目录元数据的索引节点编号之间的映射关系，其中，本级目录关键字基于上级目录元数据的索引节点编号与本级目录名称生成，所述装置包所述目录名称和上级目录元数据的索引节点编号生成本级目录的7[0048]图2是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理方法的[0049]图3是本说明书一示例性实施例示出的另一种分布式文件系统的元数据管理方法[0051]图5是本说明书一示例性实施例示出的一种分布式文件系统的数据访问方法的流[0052]图6是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理装置所[0053]图7是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理装置的[0054]图8是本说明书一示例性实施例示出的一种分布式文件系统的数据访问装置的框指并包含一个或多个相关联的列出项目的任何或所8为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或9[0083]图2是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理方法的据的索引节点编号之间的映射关系查找到文件路径上各级目录目录的目录名称和一级目录元数据的索引节点编号在上述映射关系中查找到二级目录元[0095]以前述文件路径/user/hive/warehouse/file为例，假设其一级目录元数据至四[0100]然后，可基于二级目录名称hive和一级目录元数据的索引节点编号100生成二级[0102]最后，可基于四级目录名称file和三级目录元数据的索引节点编号102生成四级[0104]步骤208，基于所述文件路径的索引节点编号从云数据库中获取所述文件路径的文件系统可从云数据库中获取到索引节点编号[0107]以前述文件路径/user/hive/warehouse/file为例，若无需获取文件上级目录的取文件上级目录的元数据，可基于索引节点编号102获取三级目录/user/hive/warehouse[0109]并且，在基于本地存储的映射关系查找到各级目录的索引节点编号后，可采用[0110]在本说明书中，若前述步骤206中基于生成的关键字无法在映射关系中查找到目式文件系统采用新目录名称生成的关键字无法查找到对[0111]分布式文件系统基于生成的关键字无法在本地映射关系中查找到目录元数据的[0112]仍以前述文件路径/user/hive/warehouse/file为例，假设二级目录名称hive被[0117]在本实施例中，分布式文件系统在获取新文件路径/user/hive001/warehouse/file上各级目录元数据的索引节点编号时，先基于一级目录名称user和预设字符0生成一目录关键字100hive001，基于该关键字100hive001无法在本地存储的表2中查询到对应的据库中存储的表3所示的映射关系中查询该关键字100hive001对应[0119]分布式文件系统还可基于云数据库中查询到的关键字100hive001与索引节点编[0122]采用本说明书提供的分布式文件系统的元数据管理方案[0123]图3是本说明书一示例性实施例示出的另一种分布式文件系统的元数据管理方法[0127]步骤306，基于所述关键字在本地映射关系中查找本级目录元数据的索引节点编[0128]在本实施例中，步骤302-306的实现方式可参考前述图2所示实施例中步骤202-[0129]步骤308，在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据[0132]仍以文件路径/user/hive/warehouse/file为例，分布式文件系统在本地存储的映射关系中查找到各级目录元数据的索引节点编号100-103后，可基于各级目录的关键字[0133]步骤310，判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在[0134]基于前述步骤308，分布式文件系统在云数据库中查找到各级目录元数据的索引[0137]步骤312，在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云[0138]基于前述步骤310的判断结果，若在本地映射关系中查找到的索引节点编号与云[0139]步骤314，在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云[0140]基于前述步骤310的判断结果，若在本地映射关系中查找到的索引节点编号与云称在本地映射关系中查找到的索引节点编号不是想要查找的更新后的目录元数据的索引[0141]仍以前述目录名称hive被修改为hive001为例，若在本地存储的映射关系中可以级目录元数据的索引节点编号为100-103，而云数据库中查找到的索引节点编号为100、索引节点编号102修改为105，将本地映射关系中存储的四级目录元数据的索引节点编号[0147]分布式文件系统还可基于索引节点编号105和106获取三级目录元数据和四级目式文件系统本地映射关系未及时更新所导致的元数储的各级目录关键字与元数据索引节点编号之间的映射关系中查询路径的索引节点编号，[0152]步骤504，将所述元数据返回给客户端，以供客户端基于所述元数据进行数据访分布式文件系统的元数据管理装置所在电子设备的一种硬件结构图，除了图6所示的处理[0157]图7是本说明书一示例性实施例示出的一种分布式文件系统的元数据管理装置的[0158]请参考图7，所述分布式文件系统的元数据管理装置700可以应用在前述图3所示基于所述目录名称和上级目录元数据的索引节点编号生成本级目[0161]编号查找单元703，基于所述关键字在所述映射关系中查找本级目录元数据的索[0162]元数据获取单元704，基于所述文件路径的索引节点编号从云数据库中获取所述[0164]当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键[0168]在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节[0169]判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库[0170]在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中[0172]在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中[0174]基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件[0176]若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编数据访问装置所在电子设备的硬件结构可与图6所示的电子设备类似，本说明书对此不作[0179]图8是本说明书一示例性实施例示出的一种分布式文件系统的数据访问装置的框[0184]上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的[0194]当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键[0198]在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节[0199]判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库[0200]在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中[0202]在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中[0204]基于云数据库中查找到的文件路径的索引节点编号从云数据库中获取所述文件[0206]若基于所述关键字无法在所述映射关系中查找到本级目录元数据的索引节点编[0218]当本级目录是一级目录时，基于所述目录名称和预设字符生成本级目录的关键[0222]在云数据库中查找所述文件路径的各级目录关键字对应的目录元数据的索引节[0223]判断基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库[0224]在基于所述映射关系查找到的各级目录元数据的索引节点编号与在云数据库中[0226]在基于所述映射关系查找到的各级目录元数据的索引节点编号与