CN119415568A 数据分级存储与查询处理方法、装置、设备及介质 （中国平安人寿保险股份有限公司）

本发明涉及大数据技术领域和金融科技领2根据预定的时间间隔生成实时数据处理任务，根据所述实时数据处通过任务处理器根据所述优先级顺序从所述消息队列中获取实时数据若从所述分布式缓存中未查找到所述目标实时数据，则基于所将更新频率高于预设频率阈值、且响应时间要求低于预设时间阈值将所述业务数据中除所述实时数据之外的数据分类通过定时触发器按照所述生成时间间隔定时生成实根据所述实时数据处理任务的重要性，为所述实时数据处理任务按照实时数据处理任务的优先级顺序，将实时数据处理任务分发至对应的消息队列务从所述实时数据库中提取相应的实时数据，并将提取的实时数据存储至分布式缓存中，任务处理器按照优先级顺序，从不同优先级的消息队列中依次获取实时数据处理任根据实时数据处理任务中的提取参数，通过任务处理器从所述实将处理后的实时数据存储至分布式缓存中，并设置实时数据的唯3接收并解析查询请求中的查询参数，所述查询参数包括目标实时数据的数据标识符、通过所述查询请求中的数据标识符从所述分布式缓存中查找目标若查找到所述目标实时数据且所述目标实时数据有效，则确若未查找到所述目标实时数据或所述目标实时数据无效，则若从所述分布式缓存中查找到所述目标实时数据，通过比较在所述离线数据库的数据表上建立数据索引，并将分类后配置所述实时数据库的数据表结构，以支持实时数据的高频更新操作和快速读取操在所述实时数据库的数据表上建立数据索引，将分类后的实时8.一种数据分级存储与查询处理装置，其特征在数据存储模块，用于将所述离线数据存储在离线数据库中，将任务调度模块，用于根据预定的时间间隔生成实时数据处理任任务处理模块，用于通过任务处理器根据所述优先级顺序从数据处理任务，并根据所述实时数据处理任务从所述实时数据库中提取相应的实时数据，4查询处理模块，用于获取查询请求，并基于所述查缓存查询模块，用于若从所述分布式缓存中查找到所述目标数据库查询模块，用于若从所述分布式缓存中未查找到所述目标与查询处理程序被所述处理器执行时实现如权利要求1_7中任一项所述的数据分级存储与询处理程序，所述数据分级存储与查询处理程序被处理器执行时实现如权利要求1_7中任5统难以根据不同层级的需求实现数据的优先处理。这种缺乏分层级和优先级管理的方式，[0011]通过任务处理器根据所述优先级顺序从所述消息队列中6行时实现如上所述的数据分级存储与查询处理方7[0033]本发明实施例提供的数据分级存储与查询处理方法，可应用在如图1的应用环境8[0045]S20，将所述离线数据存储在离线数据库中，将所述实时数据存储在实时数据库9[0061]S40，通过任务处理器根据所述优先级顺序从所述消息队列中获取实时数据处理息队列系统会按照先进先出的顺序推送任务给任务处理器，高优先级任务优先得到处理。[0072]任务处理器将从实时数据库中提取到的数据写入分布式缓存中。Redis是一种高[0075]S50，获取查询请求，并基于所述查询请求从所述分布式缓存中查找目标实时数常以HTTP请求或消息的形式发送到系统，包含查询的目标数据标识符或查询条件(如时间[0083]分布式缓存命中指在缓存中找到匹配的目标数据。系统根据查询请求中的标识包成系统预定义的响应格式，并通过查询请求的返查询请求的基本信息和返回的数据。系统将封装好的查询结果通过API或消息服务返回给[0090]系统将从实时数据库中获取的目标数据封装成符合预定义响应格式的查询结[0098]系统需要对收集到的业务数据进行分析，以确定数据的更新频率和响应时间需[0126]S502，通过所述查询请求中的数据标识符从所述分布式缓存中查找目标实时数或无效，系统会确认未查找到目标数据。这意的缓存过期时间来判断其有效性。缓存过期时间是系统预先为每个存储到Redis中的数据[0171]将更新频率高于预设频率阈值且响应时间要求低于预设时间阈值的业务数据分[0176]根据所述实时数据处理任务的重要性，为所述实时数据处理任务分配高优先级、相应的实时数据，所述提取参数包括实时数据的数据标识符和实时数据的生成或更新时[0197]配置所述离线数据库的数据表结构，以支持离线数据的压缩操作和批量处理操处理器执行时以实现一种数据分级存储与查询处理方法服务端侧的功能以实现一种数据分级存储与查询处理方法用户端侧[0208]通过任务处理器根据所述优先级顺序从所述消息队列中[0216]通过任务处理器根据所述优先级顺序从所述消息队列中包括非易失性和/或易失性存储器。非易失性