CN119537383A 基于冷热数据分离和多模数据库引擎的存储方法及装置 (数翊科技(北京)有限公司武汉分公司)_第1页
CN119537383A 基于冷热数据分离和多模数据库引擎的存储方法及装置 (数翊科技(北京)有限公司武汉分公司)_第2页
CN119537383A 基于冷热数据分离和多模数据库引擎的存储方法及装置 (数翊科技(北京)有限公司武汉分公司)_第3页
CN119537383A 基于冷热数据分离和多模数据库引擎的存储方法及装置 (数翊科技(北京)有限公司武汉分公司)_第4页
CN119537383A 基于冷热数据分离和多模数据库引擎的存储方法及装置 (数翊科技(北京)有限公司武汉分公司)_第5页
已阅读5页,还剩23页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

司发区佳园路9号厂房项目生产大楼1-基于冷热数据分离和多模数据库引擎的存种基于冷热数据分离和多模数据库引擎的存储于存放热数据的行存表以及通过列存引擎承载能支持海量数据查询和分析,又能高效进行DML2在行存表存在冷数据的情况下,将行存表上的冷数据转移存放判断当前时刻与行存数据的最近一次更新时刻之间的时间间隔是否超过时间间隔阈若确定当前时刻与行存数据的最近一次更新时刻之间的时间间隔超过时间间隔阈值,若确定行存表的数据量超过数据量阈值,则通过缓存淘汰算法在分析各个执行计划对应的总计算代价,在多个执行计划中确定总计作为目标执行计划。7.根据权利要求1_6任一所述基于冷热数据分离和多模数据库引擎的存储方法,其特在批量插入数据操作的数据量超过插入数据量阈值的情况下,在批量更新数据操作的数据量超过更新数据量阈值的情况冷热数据转存模块,用于在行存表存在冷数据的情况下,将3至少一个处理器,用于执行所述存储器存储的程序,当所4传统行存表和传统列存表分别满足的是OLTP和OLAP两种对立的应用场景,OLTP操作是高并十亿条时查询性能大幅下降,而传统列存表的并发删除和更新的性能较低。如何实现存储判断当前时刻与行存数据的最近一次更新时刻之间的时间间隔是否超过时间间若确定当前时刻与行存数据的最近一次更新时刻之间的时间间隔超过时间间隔5通过行存引擎承载用于存放热数据的行存表以及通过列存引擎承载用于存放冷[0015]图1是本申请实施例提供的基于冷热数据分离和多模数据库引擎的存储方法的流图2是本申请实施例提供的基于冷热数据分离和多模数据库引擎的HTAP存储架构6图3是本申请实施例提供的基于冷热数据分离和多模数据库引擎的存储装置的结[0020]改良的松耦合模型有基于分布式行存与列存副本的系统(代表性系统有F1Heatwave)。紧耦合模型有基于主行存与内存型列存的系统(代表性系统有Oracle、SQL7冷数据的列存表,能够实现存储系统既能支持海量数据查询和分析,又能高效进行DML操是一种基于一站式架构同时处理事务请求与查[0032](4)ETL(Extract,Transform,Load用来描述将数据从来源端经过抽取8段或列以一定的顺序排列。[0037](9)行存引擎:以行的形式存储数据的功能模块,适合处理频繁的事务性操作[0039](11)列存引擎:以列的形式存储数据的功能模块,适合进行大规模的分析查询[0048]图1是本申请实施例提供的基于冷热数据分离和多模数据库引擎的存储方法的流9中的占比一般少于冷数据在大表中的占比,数据占比较小的热数据承担大部分的业务操数据占比较大的冷数据存放在列存表,一份存储数据以单拷贝方式存放于行存表或列存繁的事务性操作(OLTP由行存引擎承载行存表(存放数据占比较小的热数据能够快速存引擎承载列存表(存放数据占比较大的冷数据能够高效地读取和聚合特定列的数据,判断当前时刻与行存数据的最近一次更新时刻之间的时间间隔是否超过时间间若确定当前时刻与行存数据的最近一次更新时刻之间的时间间隔超过时间间隔[0062]示例性地,图2是本申请实施例提供的基于冷热数据分离和多模数据库引擎的[0083]下面对本申请提供的基于冷热数据分离和多模数据库引下文描述的基于冷热数据分离和多模数据库引擎的存储装置与上文描述的基于冷热数据[0084]图3是本申请实施例提供的基于冷热数据分离和多模数据库引擎的存储装置的结[0085]可以理解的是,上述各个单元/模块的详细功能实现可参见前述方法实施例中的[0088]此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以[0091]可以理解的是,本申请实施例中的处理器可以是中央处理单元(CentralProcessingUnit,CPU还可以是其他通用处理器、数字信号处理器(DigitalSignal机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论