CN117874012B 一种基于rocksdb的分布式关系型数据库过期时间表实现方法 （天翼云科技有限公司）

一种基于rocksdb的分布式关系型数据库过本发明公开了一种基于rocksdb的分布式关范围内的数据通过调用CompactionFilter完成层接收到主动Compaction指令后，RocksDB进行2起CompactionRange和CompactionFil步骤S6：引擎层接收到主动Compaction指令后，RocksDB进行Compaction，同时根据所述步骤S4中cleanTs的快照一致性2.如权利要求1所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，3.如权利要求2所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，4.如权利要求3所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，步骤S304：在每个计算节点上，当接收到新的TTL任务后，在RocksDB中注册一个35.如权利要求4所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，6.如权利要求5所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，步骤S502：通过读取RocksDB中的数据文件和索引文件步骤S503：发起CompactionRange和CompactionFiles指令，将文件传递给RocksDB的7.如权利要求6所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，步骤S601：通过每层的分数决定进行compaction操作的顺序，启动步骤S602：RocksDB对compaction进行切分，然后将切分成的多个s步骤S603：通过mergeIterator遍历多路SST文件，步骤S605：在线程池中添加一个任务等待调度，等待所有的subcompaction处理完成8.如权利要求7所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，9.如权利要求8所述的一种基于rocksdb的分布式关系型数据库过期时间表实现方法，所述Compaction调度器单元，用于根据系统的负载情况和数据过期策略，合45种基于rocksdb的分布式关系型数据库过[0002]RocksDB是一款LSM_Tree架构的KV存储引擎，以顺序写的优势极大的提升了写入[0004]如授权公告号为CN111400331B的中国专利公开了一种基于TiDB数据库的处理方[0005]如申请公开号为CN116107806A的中国专利公开了一种数据库备份管理方法、系行粒度的TTL表，都缺少一个好用的使用方法或者清理过期数据的高效方案；2)对于使用[0007]针对现有技术的不足，本发明提出了一种基于rocksdb的分布式关系型数据库过6compaction实现过期数据的清理，同时采用引入cleanTs的快照一致性读，达到实现高效任务，在rocksdb中注册CompactionFilter，并从计算节点定时拉取当前任务数据的[0013]步骤S4：使用cleanTs的快照一致性读方法，使RocksDB执行Compaction，并对range范围内的数据通过调用CompactionFilte则发起CompactionRange和C78[0056]所述CompactionProgressMonitor单元，负责监控和报告Compaction任务的进[0058]1.本发明提出一种基于rocksd工作成本低的优点，通过使用rocksdb的compactionfilter功能达到过期数据清理的目[0059]2.本发明提出一种基于rocksdb的分布用rocksdbcompaction清理过期数据的方案，在rocksdb进行compaction的时候进行数据[0060]3.本发明提出一种基于rocksdb的分[0061]图1为本发明一种基于rocksdb的分布式关系型数据库过期时间表实现方法流程[0062]图2为本发明一种基于rocksdb的分布式关系型数据库过期时间表实现方法[0063]图3为本发明一种基于rocksdb的分布式关系型数据库过期时间表实现方法增加[0064]图4为本发明一种基于rocksdb的分布式关系型数据库过期时间表实现方法TTL清[0065]图5为本发明一种基于rocksdb的分布式关系型数据库过期时间表实现方法系统9[0070]TTL是一种在键值对存储中设置键的生存时间的机制，是指数据在数据库中的存触发器会根据预设的规则判断是否需要删除任务，在rocksdb中注册CompactionFilter，并从计算节点定时拉取当前任务数据的[0081]rocksDB是一个由Facebook基于Google开源的kv存储LevelDB开发的高效、高性[0083]步骤S4：采用cleanTs的快照一致性读方法，使RocksDB执行Compaction，并对range范围内的数据通过调用CompactionFilte辑上是正确的，通常涉及到对数据的预取和缓存。本发明采用cleanTs的快照一致性读方则发起CompactionRange和C据没有被删除，本发明利用rocksdb提供的manualcompaction，主动去触发TTL表的[0097]推高cleanTs是指根据数据项的TTL计算并推高一个特定的cleanTs，用于标记和务数据的cleanTs，并在RocksDB中注册一个CompactionFilter，当数据过期时，注册的储引擎rocksdb触发包含当前数据的compaction决定，所以早于cleanTs可能已经被[0113]所以，当前TTL表的最早可读取范围是[cl[0114]所述步骤S5中判断是否需要主动Compaction的因素包括：数据量统计超过阈值、[0117]CompactFiles相对CompactRange是一种粒度更新的触发compaction方式，是CompactRange的一种补充，相比CompactionRange轻量级，能达到compaction的更精细控描TTL数据keys,可以定制触发CompactRang化存储空间和支持多种数据结构和辅助数据块等优点，有助于提高数据库的性能和可用[0142]所述Compaction模块包括：Compaction触发器单元、Compaction调度器单元、[