CN114328601B 数据降采样和数据查询方法、系统及存储介质 （阿里巴巴（中国）有限公司）

质本申请实施例提供一种数据降采样和数据在原始数据从内存写入持久性存储介质的过程2将获取的原始数据写入内存，以供在聚合查询时从所述内存中获取在所述内存中的原始数据达到设定的数据量的情况下，将内存在所述原始数据写入第一持久性存储介质的过程中，根据预将所述降采样数据写入第二持久性存储介质，以供在聚合查询时从根据预设的降采样规则，对所述至少一个数据单元分别将进行降采针对任一数据单元，从所述任一数据单元中，获取每个采样按照所述聚合算子，对所述每个采样时间间隔内的目标原始数据进行针对任一数据单元对应的降采样数据，根据所述降采样规则和所针对任意两个相邻层级，在下层级中的降采样文件的数量达到3针对所述第一持久性存储介质中的原始数据存在数据删除的情况根据所述墓碑记录中数据的时间信息和所述降采样文件中数据在所述墓碑记录对应的降采样文件合并过程中，从所述墓碑记针对所述内存中存在满足所述查询请求的数据的情况，从所存储介质中分别获取满足所述查询请求的第一原始数据和第根据所述墓碑记录中数据的时间信息和所述第一降采样数据中数据所述第一降采样数据中是否含有所述墓碑记录对应的降确定所述第二降采样数据和删除所述墓碑记录对应的降采样数据后的第一降采样数根据查询条件，生成满足所述第二持久性存储介质中降采样数根据所述第一字段名，查询所述第二持久性存储介质，以确定针对不同降采样文件中的第一降采样数据存在重叠时间窗口4基于所述聚合后的第一降采样数据和所述第二降采样数据，确定根据所述查询请求，查询内存和存储降采样数据的第二持久性存储针对所述内存中存在满足所述查询请求的数据的情况，从所所述处理器与所述内存和所述持久性存储介质通信连接，用于执行权利要求5存储介质中分别获取满足所述查询请求的第一原始数据和第[0015]基于所述第一降采样数据和所述第二降采样数据，确定所述查询请求的查询结678聚合算子等。指标聚合算子可包括：最大值(max)、最小值[0047]上述降采样规则表示对数据库“db”中的原始数据分别按照5s(5秒)和5min(5分9据查询结果可实现全量降采样数据查询，解决CQ降采样不能查询到最新降采样数据的缺[0058]本申请实施例维护的存储系统不仅可提供降采样查询，也可提供非降采样查对于非降采样查询请求，可查询内存中的原始数据和第一持久性存储介质中的原始数据，一步，可扩展出每个逻辑操作符对应的物理操作符(physicaloperator)，得到物理执行二持久性存储介质中分别获取满足查询请求的原始数据(定义为第一原始数据)和降采样式。考虑到第二持久性存储介质存储的降采样数据一般是根据不同的降采样规则降采样处标字段名的格式的第一字段名。例如，对于查询CPU每30s内的最大值(max)的查询条件来写入第一持久性存储介质的目标原始数据进行降采样处理操作及将降采样数据写入第二层级中的降采样文件的数量达到设定阈值N时，可将L1层级中的N个降采样文件进行合并；[0085]考虑到M个降采样文件可能存在时间窗口重叠的降采样数据，为了进一步降低降储介质的原始数据存在数据删除的情况下，可对删除的原始数据进行标记，得到墓碑数据中数据的时间信息，判断聚合第一降采样数据中是否含有墓碑记录对应的降采样数确定第二降采样数据和删除墓碑记录对应的降采样数据后的聚合后的第一降采样数据为[0092]需要说明的是，上述实施例所提供方法的各步骤的执行当计算机程序被处理器执行时，致使处理器执行上述数据降采样方法和/或数据查询方法据查询结果可实现全量降采样数据查询，解决CQ降采样不能查询到最新降采样数据的缺相应控制逻辑。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实门阵列(Field-ProgrammableGateArray，FPGA)、可编程阵列逻辑器件(Programmable(ComplexProgrammableLogicDevice，CPLD)等可编程器件；或者为先进精简指令集现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0122]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体