CN113835616B 应用的数据管理方法、系统和计算机设备 （华为技术有限公司）

US8429307B1,2013.US8239584B1,2012.08.07包括但不限于所述应用的I/O操作信息、所述应用的运行信息以及所述应用的进程的信息中的应用读写的数据在存储系统的存储和/或提高所2根据所述应用的信息为所述应用制定存储策略，所述存储策略用在所述应用运行之前或者接收到所述应用的数据处理请求时，括以下信息中的至少一项：所述应用需要存储的数据的结构类型、所述应用需要存储的数据的副冗余策略，所述冗余策略用于确定所述应用待写入所述存储系统的数据的备份方式和/或3从所述应用运行的计算设备获取经过格式化处理的所述通过专用的文件获取所述应用的信息，所述应用或所述应用对应的调度器将行所述应用的节点的IP地址、所述应用执行I/O操作的数据所在的节点名称或所述应用执执行所述应用的作业相关的进程的信息包括执行所述应用的作业所述应用感知模块，用于获取应用的信息，所述应用的信息包括所括执行所述应用的作业的信息或执行所述应用的作业相关所述策略确定模块，用于根据所述信息为所述应用制定存储策略，所述4述应用写入所述存储系统的数据的存储方式和/所述应用需要存储的数据的结构类型、所述应用需要存储的数据的副25.根据权利要求19-24中任意一项所述的数据26.根据权利要求19-24中任意一项所述的数据27.根据权利要求19-24中任意一项所述的数据29.根据权利要求19-24中任意一项所述的30.根据权利要求19-24中任意一项所述31.根据权利要求19-24中任意一项所述的从所述应用运行的计算设备获取经过格式化处理的所述接口从所述应用获取所述应用的信息包括下通过专用的文件获取所述应用的信息，所述应用或所述应用对应的调度器将33.根据权利要求19-24中任意一项所述的数534.根据权利要求19-24中任意一项所述的数据管理37.一种包含指令的计算机程序产品，其特征在于，当所述指令在计算机设备上运行6术中不能针对具体应用实现有针对性的数据述应用读写的数据在存储系统的存储和/或提高所述访问的效率。相对于现有技术基于预源可以包括内存(memory)、固态硬盘(solid-statedrive，SSD)、机械硬盘(harddisk7[0017]根据所述应用的信息和所述存储系统的特征信息，为所述应用制定所述存储策地契合存储系统的特点，能够进一步优化所述应用I/O操作的数据在存储系统的存储并提局策略用于确定所述应用写入所述存储系统的数8[0037]在一些可能的实现方式中，所述应用的信息是按照预设的格式和/或内容进行归[0038]通过对所述应用的信息进行归一化处理，能够简化不同9优化所述应用读写的数据在存储系统的存储和/或提高所述访问的效率。相对于现有技术I/O操作的数据所在的节点名称或所述应用执[0061]根据所述应用的信息和所述存储系统的特征信息，为所述应用制定所述存储策局策略用于确定所述应用写入所述存储系统的数[0079]在一些可能的实现方式中，所述应用的信息是按照预设的格式和/或内容进行归[0080]通过对所述应用的信息进行归一化处理，能够简化不同够优化所述应用读写的数据在存储系统的存储和/或提高所述访问的效率。相对于现有技局策略用于确定所述应用写入所述存储系统的数存储策略用于将所述应用所访问的不同频率的数据存储在读写速度不同的[0108]在一些可能的实现方式中，所述策略确定模块还用于参[0109]在一些可能的实现方式中，所述应用的信息是按照预设的格式和/或内容进行归所述芯片包括处理器和芯片接口。所述处理器可以是CPU，微处理器，应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(field[0126]图3A为本申请实施例提供的一种实现应用的数据管理方法的软件模块的逻辑架[0130]图3E为本申请实施例提供的图3A中策略确定模块302和策略执行模块303的实现[0133]图5为本申请实施例提供的一种根据应用的信息优化存储系统数据管理方式的流[0134]图6为本申请实施例提供的一种实现存储系统中应用的数据管理方法的具体应用[0135]图7A为本申请实施例提供的应用A实现应用感知的数据读写的具体实现方式的流[0136]图7B为本申请实施例提供的应用B实现应用感知的数据读写的具体实现方式的流[0137]图7C为本申请实施例提供的应用C实现应用感知的数据读写的具体实现方式的流不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已接可以是通过一些接口，单元之间的间接耦合或通信连接可以是电性或其他类似的形式，要选择其中的部分或全部单元来实现本申请或其分组。[0152]存储系统是用于存放程序和/或数据的系统，该系统可以包括至少一个存储节点存储设备。具体地，存储系统中可以配置高速缓冲存储器(Cache，简称缓存)、主存储器很少使用的数据(或称为冷数据)存入读写速度低最近用到的数据会被放到更快速的Tier(例如内存或SSD层级的介质)中，而访问次数较少节点中的内存可以组成存储系统的内存池，至少两个存储节点中的SSD可以组成存储系统并实现计算节点与存储节点之间的交互。图1以存储客户端运行在计算节点上为例进行说一种可选的实现方式，本申请实施例提供的方案更适合适用在有较多应用的存储系统中，[0168]图3A为本申请实施例提供的用于实现存储系统中应用的数据管理方法的软件模所述应用执行I/O操作的数据的冗余策略或所述应用执行I/O操作的数据的共享信息等信作的数据所在的节点名称或所述应用执行I/O操作的数据所在[0175]在一种实现方式中，所述策略确定模块302还用于将针对所述应用的存储策略存储在策略信息库中。所述策略信息库用于存储策略确定模块302为每个应用确定的存储策略信息库中的策略以确定所述应用的存储策略，不需要每次就相同的内容确定重复的策互连标准(peripheralcomponentinterconnect，PCI)总线、快捷外设部件互连标准(peripheralcomponentinterconnectexpress，PCIe)或扩展工业标准结构(extended图形处理器(general-purposeGPU，GPGPU)或张量处理器(TensorProcessingUnit，存储器314还可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-从第二计算机设备320本地获取与所述应用相关的策略并结合本次获取的所述应用的信息为所述应用制定存储策略。策略确定模块302还可以将制定的所述应用的存储策略或更新中。示例性的，图3B所示的计算机设备可以适用于图1中的计算节点(如计算节点101或102)，图3C、图3D或图3E所示的计算机设备可以适用于图1所示的存储节点(如存储节点111、112或113)。图3F所示的计算机设备可以适用于图2所述的节点(如节点201、202或模块303的功能还可以通过一个或多个芯片实现。每个芯片包括处理器和芯片接口。可选过所述命令行工具调用应用感知模块301提[0207]4)应用感知模块301提供远程过程调用(remoteprocedurecall，RPC)或表征状述扩展接口的方式获取所述应用的信息。应用感知模块301也可以在所述应用刚运行的时[0212]步骤402：应用感知模块301将获取到的所述应用的信息，发送给策略确定模块[0214]在一种实现方式中，应用感知模块301可以将获取到的所述应用的信息进行归一言(ExtensibleMarkupLanguage，XML)或JavaScript对象表示法(JavaScriptObject数调用；2)共享内存；3)进程间通讯；4)动态库调用；5)网络通信，例如远程过程调用(remoteprocedurecall，RPC)等；6)超文本传输协议(HypertextTransferProtocol，点上实现的场景，方式5)-6)适用于应用感知模块301和策略确定模块302在不同节点上实[0220]策略确定模块302根据接收到的所述应用的信息，确定具体的存储策略用于实现块302根据所述应用的类型或作业参数，参考策略信息库中记录的与所述应用的类型或作储系统的硬件结构不同；有的存储系统存储容量是100GB，有的存储系统的存储容量是进一步优化所述应用I/O操作的数据在存储系统的存储并提升所述应用执行I/O操作的效[0222]策略确定模块302确定所述应用的存储策略后，还可以将确定的所述应用的存储[0223]策略确定模块302确定的所述应用的存储策略，包括但不限于数据布局策略、统的数据的存储方式和/或存储位置。所述应用写入所述存储系统的存储方式包括以下信[0227]冗余策略引擎，用于确定所述应用待写入所述存储系统的数据的备份方式和/或[0230]策略确定模块302确定所述应用的存储策略后，可以将确定的存储策略发送给策述应用的存储策略发送给策略执行模块303。策略执行模块303也可以根据所述应用的信到所述应用发起访问请求时再执行，即在接收到所述应用发起的访问请求后再执行步骤303判断所述分级存储策略的触发条件是否被触发，所述触发条件的一种实现是所述应用的调度器预先调取所述应用将访问的数据。当策略执行模块303确定所述应用的调度器要接口通知存储系统即将发起读操作以及需要读取的数据。策略执行模块303根据所述应用[0236]策略执行模块303可以通过相关的接口调用所述应用向存储系统发起的访问请[0237]示例性的，策略执行模块303判断所述访问请求的执行是否与相关的存储策略相[0239]策略执行模块303根据获取到的所述应用的访问请求，结合获取到的所述应用的对于已经按照图4所示的方法确定过相关应用的存储策略时，可以不再按照现有的存储策[0243]图5为本申请实施例提供的一种根据应用的信息优化存储系统数据管理方式的具息(例如可以为I/Ohints)，策略确定模块通过数据布局策略(例如通过SmartPlacementfile/dir/file1,/my/file/dir2/fileX显示应用1要读写[0245]策略确定模块接收到应用感知模块传递的应用1的上述信息后，调用各策略的引擎(例如各策略的处理函数)为该应用制定策略：数据布局策略引擎收到后识别IOPattern略中128KB是根据存储系统底层的块大小确定的。由于不同的存储系统其底层的块大小是[0246]图5中所示的应用感知模块、策略确定模块和策略实施模块可以分别参考上述关[0247]图6为本申请实施例提供的另一种实现存储系统数据管理方法的具体应用场景的[0248]三个节点上均部署了分布式私有客户端(distributedprivateclient，DPC)，一起传递给存储服务器。图6中的DPC为本申请实施例中应用感知模块的一种具体实现方数据布局策略引擎确定应用A要存储的数据结构类型为日志型数据结构，以降低可能的读写放大；确定应用A要存储的数据的存储方式是将数据打包存储，以提高存储空间的利用[0262]分级存储策略引擎针对应用A数据集频繁会被用到、数据集不会老化且量小的特[0273]I/O文件大小：单文件500MB-5千兆字节(gigabyte，GB)，总数据集4百万兆字节这些信息后，将这些信息传递给策略确定模块。策略确定模块通过数据布局策略引擎、Cache策略引擎和分级存储策略引擎制粒度5MB，以提升应用B读取数据的效率；Cache淘汰采取最近最少使用(leastrecently以避免对其它存储资源的占用并提升写入数据的效率。因为应用B的数据量大且为顺序大程ID(Pid)中的至少一个从应用策略库中查询应用B的存储策略，并执行获取到的存储策程ID(Pid)中的至少一个从应用策略库中查询应用C的存储策略，并执行获取到的存储策提供的应用的数据管理方法的一种实现方式做进一步的[0293]在一种可能的实现方式中，图8所示的场景中还可以包括对应用的作业进行调度[0295]本申请实施例提供的方案，应用感知模块通过一系列接[0296]通常的存储系统中会默认设置一些存储策略，比如Cache系统默认的缓存策略涉[0298]图9为本申请实施例的一种应用的数据管理方法的流程示意图。所述应用的数据统的存储和/或提高所述应用读写数据的效率。相对于现有技术基于预设的方式配置适用数据读写对不同应用的契合度。例如对于不适合使用Cache的场景，如大数据块只写型应[0304]图10为本申请实施例提供的一种数据管理系统1000的结构对所述应用的存储策略，优化所述应用读写的数