CN119474223A 针对联机分析处理数据库的数据存储方法及引擎 （电科云(北京)科技有限公司）

针对联机分析处理数据库的数据存储方法本申请提供一种针对联机分析处理数据库分析处理数据库的数据读取粒度单位为压缩数析处理数据库的数据读取粒度降低到压缩数据2将待存储的原始数据以分区、分块压缩及列式存储的方式存储构建或更新所述数据表当前的分区索引、各个分区将各个所述压缩数据块存储至联机分析处理数据库中理数据库中数据表的分区目录下的以列式存储方式存构建或更新所述数据表当前的分区索引、各个分区目录下的多级索引以及对应的数据标构建或更新所述数据表中当前的分区索引以及各个分区生成用于关联数据文件和多级索引的数据标记文件，以基于所述分基于预设的压缩算法分别对各个所述单批次数根据所述压缩算法的类型、每个所述单批次数据的数据大小和基于各个所述单批次数据对应的头信息和压缩数据，相对应的，所述构建或更新所述数据表中当前分别构建或更新一级索引，并将该一级索引存储至其所在分区目录下的一级索引文件中，3根据所述分区目录下的数据聚合信息构建或更新该分区根据所述数据文件中的各个所述压缩数据块的偏移量信7.根据权利要求2至6任一项所述的针对联校验文件，使用二进制格式存储数据，用于保存其所在分一级索引文件，使用二进制格式存储数据，用于二级索引文件，用于存放作为多级索引中的二级索数据存储模块，用于将待存储的原始数据以分区、分4索引生成模块，用于构建或更新所述数据表5机分析处理数据库OLAP，又可以称为多维分析，是由关系型数据库之父埃德加·科德[0004]鉴于此，本申请实施例提供了针对联机分析处理数据库的数据析处理数据库中数据表的分区目录下的以列式存储方式存储的6[0015]在本申请的一些实施例中，所述生成待存储的原始数据对应的7[0038]本申请的另一个方面提供了一种针对联机分析处理数据库的数据存储引擎，包[0042]本申请的第四个方面提供了一种计算机可读存储介质，其上存该计算机程序被处理器执行时实现所述的针对联机8于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获[0047]图1为本申请一实施例中的针对联机分析处理数据库的数据存储方法的第一种流[0048]图2为本申请一实施例中的针对联机分析处理数据库的数据存储架构设计原理[0049]图3为本申请一实施例中的针对联机分析处理数据库的数据存储方法的第二种流[0051]图5为本申请一实施例中的针对联机分析处理数据库的数据存储方法的第三种流[0058]图12为本申请一实施例中的针对联机分析处理数据库的数据存储引擎的结构示示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大9[0064]为了解决Doris面对大规模批处理时容易内存不足的问题，本申请实施例分别提引擎可以写为NewDB，通过降低加载到内存的数据量从而避免大数据量计算下内存溢出的[0072]从上述描述可知，本申请实施例提供的针对联机分析处理数据库的数据存储方述联机分析处理数据库中数据表的分区目录下的以列式存储方式存储的各个基础文件具[0076](3)计数文件，使用明文格式存储数据，用于记录其所在分区目录下的数据总行[0085]所述分区索引文件以partition.dat表示；所述原始数据的最小值和最大值以[0088](2)checksums.txt：校验文件，使用二进制格式存储。保存了余下各类文件储。标记文件中保存了.bin文件中数据的偏移量信息。每个列字段都会拥有与其对应的立了primary.idx稀疏索引与.bin数据文件之间的映射关系。首先通过稀疏索引述联机分析处理数据库中数据表的分区目录下的以列式存储方式存储的各个基础文件中文件中引入压缩数据块可以在不读取整个数据文件的情况下将读取粒度降低到压缩数据[0103]在图4中，在T0时刻，创建数据表，此时无任何分区目录，即当前的分区目录[[0104]在T1时刻，采用语句INSERTINTOpartition_v5VALUES(A,c1,2019_05_01),1。其中的ID.bin、Code.bin和EventTime.bin均为数据文件，ID.mrk、Code.mrk和[0109]步骤210：构建或更新所述数据表中当前的分区索引以及各个分区目录下的多级表使用的压缩算法类型、压缩后的数据大小和压缩前的数据大小。以数据文件。大小(可写为“UncompressedSize”)，其中的压缩数据类型可以选用32位无符号整型据块所使用的压缩算法，压缩前后数据大小信息。每个压缩数据块上下限分别由min_compress_block_size(默认65536)与max_compress_block_size(默认1048576)参数指定。一个压缩数据块最终的大小和一个索引粒度(index_granularity)内数据的实际大小相储引擎会间隔索引粒度index_granularity行数据才会生成一条索引记录，其索引值会依据文件CounterID.bin的主键写为CounterID，事件日期文件EventDate.bin的事件日期写[0127]步骤212：根据所述分区目录下的数据聚合信息构建或更新该分区目录下的二级引，则会额外生成相应的索引与标记文件(skp_idx_[column].idx与skp_idx_[column]index_granularity的粒度间隔。数据标记文件也与.bin文件一一对应。每一个列字段定9个字节，压缩后大小为8个字节)，因此存储引擎只加载特定的压缩数据块到内存中即[0141]本申请实施例提供的针对联机分析处理数据库的数据存储方法采用了多级索引[0145]本申请提供的针对联机分析处理数据库的数据存储引擎的实施例具体可以用于[0146]所述针对联机分析处理数据库的数据存储引擎进行针对联机分析处理数据库的的RPC协议(RemoteProcedureCallProtocol，远程过程调用协议)、REST协议[0149]从上述描述可知，本申请实施例提供的针对联机分析处理数据库的数据存储引器及发送器，处理器用于执行上述实施例提及的针对联机分析处理数据库的数据存储方他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field_[0160]需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他