CN116166715B 时序数据存储引擎的乱序处理方法及系统 （上海沄熹科技有限公司）

本发明公开了时序数据存储引擎的乱序处决的技术问题为如何在存储和使用乱序数据的存区中配置有多个不同ZdataPoint对象，每个块中预留顺序空间及乱序空间；申请一个2在内存区中配置有多个不同ZdataPoint对象，每个ZdataPoint对象中包含有多个在内存区分配固定大小的连续内存区作为缓存，在缓存内对于采集点采集的时序数据，基于采集点来源将时序数据划分至对应的Zdat对于处于已写满状态的ZBlock，通过落盘线程将所述ZBlock对应时序如果当前乱序空间已写满，新产生的乱序数据为当前ZBlock对应时间段内的，通过如果当前顺序空间已写满，申请一个新的ZBlock、通过所述新的Z2.根据权利要求1所述的时序数据存储引擎的乱序处理方法，其特征在于，在内存区3.根据权利要求1或2所述的时序数据存储引擎个ZBlock、通过所述ZBlock将时序数据写入与所述ZBlock对应的时序内存块时，所述临时写状态：当ZBlock状态为不可写状态、但是存在乱序数待重新落盘状态：当ZBlock状态为已落盘，但是有乱序数据写入所述ZBl3所述缓存回收机制为：当缓存中剩余空间不足以分配新的时序数据块磁盘乱序数据，所述磁盘乱序数据为乱序数据的时间戳对应的ZBlock时序内存块中顺序空间用于存放顺序数据，顺序数据指在缓存回收ZBlock时，提取出当前ZBlock含有的乱序数据的比例，如46.一种时序数据存储引擎的乱序处理系统，其特征在内存区中配置有多个不同ZdataPoint对象，每个ZdataPoint对象中包含有多个在内存区分配固定大小的连续内存区作为缓存，在缓存内对于采集点采集的时序数据，基于采集点来源将时序数据划分至对应的Zdat对于处于已写满状态的ZBlock，通过落盘线程将所述ZBlock对应时序如果当前乱序空间已写满，新产生的乱序数据为当前ZBlock对应时间段内的，通过如果当前顺序空间已写满，申请一个新的ZBlock、通过所述新的Z7.根据权利要求6所述的时序数据存储引擎的乱序处理系统，其特征在于，在内存区临时写状态：当ZBlock状态为不可写状态、但是存在乱序数5待重新落盘状态：当ZBlock状态为已落盘，但是有乱序数据写入所述ZBl所述缓存回收机制为：当缓存中剩余空间不足以分配新的时序数据块磁盘乱序数据，所述磁盘乱序数据为乱序数据的时间戳对应的ZBlock时序内存块中顺序空间用于存放顺序数据，顺序数据指6在缓存回收ZBlock时，提取出当前ZBlock含有的乱序数据的比例，如78[0017]如果当前乱序内存块已写满，新产生的乱序数据为当前ZBl数据写入与所述新的ZBlock对应的新[0025]临时写状态：当ZBlock状态为不可写状态、但是存在乱序数据需要写入所述就直接删除所述ZBlock；如果是待重新落盘状态，则将磁盘区中对应的Block数据块更新9[0044]n=[block乱序数据个数为0，则与下一个ZBlock一起统计比例；设定提取出的比例顺序为R1、R2、[0061]如果当前乱序内存块已写满，新产生的乱序数据为当前ZBl数据写入与所述新的ZBlock对应的新[0069]临时写状态：当ZBlock状态为不可写状态、但是存在乱序数据需要写入所述就直接删除所述ZBlock；如果是待重新落盘状态，则将磁盘区中对应的Block数据块更新乱序数据个数为0，则与下一个ZBlock一起统计比例；设定提取出的比例顺序为R1、R2、[0102]图2为实施例1时序数据存储引擎的乱序处理方法中时序数据存储引擎的整体结[0108]本发明一种时序数据存储引擎的乱序处理方法，存储引擎内包括内存区和磁盘[0111]S200、对于采集点采集的时序数据，基于采集点来源将时序数据划分至对应的[0113]本实施例中存储引擎的结构如图2所示，时序数据存储引擎存储很多的采集点(datapoint)采集过来的时序数据。采集的时序数据依据不同的采集点来源划分到不同的[0115]缓存是内存中分配出来的固定大小的连续内存区域，只用于存放时序数据记本实施例中将缓存划分64K的时序内存块和1K固定大小的乱序内存块。每个ZBlock对象分[0116]假设一条时序数据记录占用的字节数为rowLength，假设乱序数据产生的概率为[0121]时序内存块中顺序空间orderedtsdata用于存放顺序数据，顺序数据是指插入[0128]临时写状态：当ZBlock状态为不可写状态、但是存在乱序数据需要写入所述就直接删除所述ZBlock；如果是待重新落盘状态，则将磁盘区中对应的Block数据块更新[0133]本实施例中，基于自适应方法计算乱序数据概率disorderRatio，在缓存回收ZBlock时，提取出当前ZBlock含有的乱序数据的比例(乱序数据个数除以ZBlock存储的数[0139](2)如果当前乱序内存块已写满，新产生的乱序数据为当前ZBlock对应时间段内的时间戳对应的ZBlock对象还存在于内存中；磁盘乱序数据指乱序数据的时间戳对应的[0149]本发明一种时序数据存储引擎的乱序处理系统，存储引擎内包括内存区和磁盘[0151](1)在内存区中配置有多个不同ZdataPoint对象，每个ZdataPoint对象中包含有[0152](2)在内存区分配固定大小的连续内存区作为缓存，在缓存内划分有用于存储时[0153]本实施例中，存储引擎的结构如图2所示，时序数据存储引擎存储很多的采集点(datapoint)采集过来的时序数据。采集的时序数据依据不同的采集点来源划分到不同的[0155]缓存是内存中分配出来的固定大小的连续内存区域，只用于存放时序数据记本实施例中将缓存划分64K的时序内存块和1K固定大小的乱序内存块。每个ZBlock对象分[0156]假设一条时序数据记录占用的字节数为rowLength，假设乱序数据产生的概率为[0161]时序内存块中顺序空间orderedtsdata用于存放顺序数据，顺序数据是指插入[0168]临时写状态：当ZBlock状态为不可写状态、但是存在乱序数据需要写入所述就直接删除所述ZBlock；如果是待重新落盘状态，则将磁盘区中对应的Block数据块更新[0173]本实施例中，基于自适应方法计算乱序数据概率disorderRatio，在缓存回收ZBlock时，提取出当前ZBlock含有的乱序数据的比例(乱序数据个数除以ZBlock存储的数[0178](1)对于采集点采集的时序数据，基于采集点来源将时序数据划分至对应的[0179](2)对于处于已写满状态的ZBlock，通过落盘