CN119396745A 一种数据预取方法、计算节点和存储系统 （华为技术有限公司）

202111117681.62021.09.23计算节点基于所述访问信息确定预取数据的信2计算节点基于第一应用在预设时段内对存储节点的访所述计算节点根据所述预取数据的信息确定预取所述预取数据的所述计算节点生成并向所述缓存节点发送预取请求，所述预取请所述缓存节点响应所述预取请求执行对所述预取数所述计算节点根据预取推荐模型基于所述访问信息确定预3.根据权利要求2所述的方法，其特征在于，所述预取推荐模型基于以下至少一种算4.根据权利要求2或3所述的方法，其特征在于，所述述缓存节点响应于所述预取请求执行对所述预取数据的预所述缓存节点基于所述第二标识确定写缓存中是否存储有所述预所述缓存节点在确定所述写缓存中未存储有所述预取数据的情况中所述存储节点根据所述数据读取请求读取所述预取数据，将所述预取所述缓存节点将所述预取数据与所述第二标识对应地存储到所述读所述计算节点用于：基于所述第一应用在预设时段内对存储节点的访3所述缓存节点用于响应于所述预取请求执行对所述预取数预设时段内对存储节点的所述访问信息确定预取数据的所述计算节点用于根据预取推荐模型基于所述访问信息确定预所述缓存节点用于基于所述第二标识确定写缓存中是否存储有所述预所述缓存节点用于在确定所述写缓存中未存储有所述预取数据所述存储节点还用于根据所述数据读取请求读取所述预取数据，将所所述缓存节点还用于将所述预取数据与所述第二标识对应地存储到所述读4根据所述预取数据的信息确定预取所述预取数据的缓存节点，算机程序指令，所述处理器执行所述可执行计算机程序指令以实现权利要求19_22任意一5[0006]通过由计算节点根据本地的访问信息确定预取数据的信[0009]在第一方面一种可能的实现方式中，所述预取推荐6[0012]通过将预取请求转换为统一的格式和语义，缓存节点只[0019]在第二方面一种可能的实现方式中，所述预取推荐7节点用于通过所述预取推荐模型基于所述第一用户的访问信息确定所述第一用户的访问[0028]在第三方面一种可能的实现方式中，所述预取推荐8所述计算机或处理器实现第三方面及其可能的实现方式图1中示意示出计算节点10a和计算节点10b。计算节点可通过应用程序或应用(Applicat[0044]缓存集群200可以是独立的物理集群，也可以与存储集群300共用同一个集群(即9RandomAccessMemory,DRAM)，或者存储级存储器(StorageClassMemory,SCM)等存储是示例性的说明，内存还可以包括其他随机存取存储器，例如静态随机存取存储器(Stat[0047]硬盘203用于提供非易失性存储资源，其访问时延通常高于内存，成本上低于内存。硬盘203例如可以为固态硬盘(SolidStateDisk,SSD)，或者机械存储硬盘(Hard[0048]为了适应当前海量的计算和存储需求，可通过聚合缓存集群200中多个缓存节点缓存节点中的缓存资源。其中，通常选择访问时延低而横向扩展全局缓存池的容量。该全局缓存池对于各术实现数据的高可用。[0049]计算节点(例如计算节点10a)可以将对存储集群的数据访问请求(读请求或者写请求)发送给与用于缓存该数据的缓存节点(例如写缓存和读缓存。如果该数据访问请求为写请求，缓存节点20a可将该数据写入写缓存之所访问的部分数据的数据访问历史，并不能获知该应用所访问的全量数据的数据访问历的中心节点，该中心节点从其他缓存节点收集各个计算节点的各个应用的数据访问历史，如，该存储集群300为Ceph集群，Ceph集群为分布式文件系统，其在计算节点中部署[0056]在计算节点10a可部署客户端适配层11，该客户端适配层11可通过函数库的形式成的对存储集群的数据访问请求，确定该数据访问请求的目标数据对应的缓存节点的标将解析结果返回给计算节点10a中的应用。[0057]计算节点10a中还部署了数据分析服务(DataAnalysisService,DAS[0058]缓存节点20a中部署有服务端适配层21。服务端适配层21用于通过网络接收来自协议翻译和转换，从而将原始数据访问请求转换为具有统一格式和语义的数据访问请求。[0061]图2中的聚合模块25用于将写缓存22中存储的小数据量的数据聚合为大数据量的[0065]下文中将结合图2描述本说明书实施例提供的写数据、读数据和预取数据的方法算节点10a中还安装有客户端适配层11和DAS12。当数据库应用希望向存储集群写入数据适配层11可从Librados组件截获该数据写请求,并基于该数据写请求生成用于发送给缓存[0074]如上文所述，由于与不同的应用和/或不同的数据存储服务对应的数据访问请求具有不同的格式和/或语义，本申请实施例中通过服务端适配层21将缓存节点写请求转换为统一的格式和语义。该统一的格式和语义例如与存储集群中的一种数据存储服务相对[0075]具体是，该转换操作可包括将缓存节点写请求中的待写数据的Key(例如Key1)转[0076]通过如上所述将不同缓存节点写请求中的待写数据的Key转换为相同的预设长该写接口中包括的计算机代码在执行后用于进行数据缓存及向存储集群写入数据等一系列操作。在开始执行该写接口之后，根据该写接口，在写缓存22中与转换后的Key(例如Key3)对应地写入缓存节点写请求中请求写入的数据，该数据也即前述数据写请求中请求的情况下，缓存节点20a对写缓存RAM中存储的部分存储时间较早的数据进行重复数据删[0086]具体是，缓存节点20a中的聚合模块25对从写缓存接收的写缓存中的多个数据进[0088]针对此问题，本申请实施例中通过由聚合模块25对写缓存中的多个数据进行聚[0094]在不对小对象进行聚合的情况中，缓存节点20a可将各个小对象分别提供给存储存节点20a在接收到写入成功信息之后，可以以写入的各个小对象的最新版本更新L1读缓存23和/或L2读缓存24中存储的各个小对象的老版本，以使得读缓存中存储的数据为最新是，聚合模块25可通过存储代理模块26向存储集群请求读取该大对象中仍有效的小对象，收的大对象中仍有效的小对象可再次聚合到新的大对象中再重新写入存储集群。具体是，[0103]参考上文中对步骤S401的描述，当计算节点10a中的数据库应用希望从存储集群[0112]缓存节点20a在确定本地缓存中存储了待读的数据的情况中，可从本地缓存中读22中未存储对象Key2的值的情况中，缓存节点20a可确定L1读缓存23中是否存储有对象[0121]具体是，缓存节点20a通过服务端适配层21将key2转换成key1，并将从存储节点30a接收的key2的值作为key1的值返回给计算节点10a，从而计算节点10a将key1的值返回可根据该模式预测下一个时刻的热点数据作为推荐[0134]与生成缓存节点读请求类似地，计算节点10a的客户端端适配层11根据推荐的预[0136]具体是，客户端适配层11将数据预取请求发送给缓存节点20a中的服务端适配层[0142]缓存节点20a在确定任一读缓存中存储了待预取的数据的情况中，可结束此次预中未存储对象Key2的值的情况中，缓存节点20a可确定L2读缓存24中是否存储有对象Key2[0146]缓存节点20a可将返回的对象Key2存储到L1读缓存或L2读缓存中，并结束此次预[0148]图8为本申请实施例提供的一种计算节点的结构图，所述计算节点用于执行图4、[0151]生成单元83，用于根据所述预取数据的信息确定预取所体用于，所述预取推荐模型基于所述第一用户的访问信息确定所述第一用户的访问模式，