CN119474224A 数据处理方法、装置、服务器及介质 （马上消费金融股份有限公司）

构信息将实时数据写入数据仓库。通过上述方而按照监听到的结构变更信息来对数据仓库的2响应于对数据仓库的初始化指令，从所述数据仓库所关联的业务系统中获取离线数基于更新后的数据结构信息将所述实时数据写入所若所述数据结构描述信息与所述数据结构信息不一致，则将所述数据文件描述信息存储至元数据服务提供层，并将所述数据基于所述离线数据获取所述数据仓库中多个组件表之间的血所述基于所述结构更新信息对所述数据结构信息进行更新，包括：基基于预设的结构变更指示信息对所述结构更新信息进行信息检测，检测所述结构更新信息是否满足预先设置好的结若所述结构更新信息满足所述结构变更指示信息，则向所若接收到针对所述审核请求的正向反馈，则基于所述结构基于所述当前存储数据获取所述数据仓库的当前血响应于接收到来自所述业务系统的实时数据，将所述待写入数据存储至目标消息队从所述目标消息队列中获取所述待写入数据，基于更新后的数据结构信3获取模块，用于响应于对数据仓库的初始化指令，从所述获取模块，还用于响应于接收到来自所述业务系统的实时数所述程序被处理器执行如权利要求1至7中任一项所述的数据处理方法4[0006]响应于对数据仓库的初始化指令，从数据仓库所关联的业务系统中获取离线数5机程序被处理器执行时实现上述数据处理方法所[0023]此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施[0033]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申6多个数据表实现对数据仓库所关联的业务系7[0049]参见图3，图3是本申请根据一示例性实施例示出的一种8[0066]在一些实施例中，对于步骤302，在基于离线数据获取数据仓库的数据结构信息文件描述信息存储到元数据服务提供层(SchemaRegistry)，将数据结构描述信息所包括[0072]在通过上述过程获取到数据结构信息之后，可以实时监听数据链路中的结构变[0073]需要说明的是，对数据结构的更新主要包括数据文件描述信息变更(也即是9中获取其所包括的数据结构描述信息，以达到基于实时数据获取数据结构描述信息的目结构描述信息所包括的数据文件描述信息存储到SchemaRegistry，将数据结构描述信息所包括的数据表结构信息存储至Metastore，以便可以在后续有需求时直接获取到已存储是，无需修改或覆盖已存储的内容，而是直接将新获取到的数据表结构信息存储到[0091]在一种可能的实现方式中，可以每隔第一预设时长获取存储到分布式数据存储(如Redis)中，则基于数据结[0095]在一种可能的实现方式中，可以对数据结构描述信息和可以基于离线数据获取数据仓库中多个数据表之间以先从SchemaRegistry中获取数据描述结构信息，以基于获取到的消息数据对Avro消息[0123]通过本申请所提供的数据处理方法，可以将结构变更过Kafka队列，以便可以通过SparkStreaming处理流式数据的方式来对Kafka队列中的实时过输入控件输入待查询的目标数据表的标识，从而基于所输入的标识触发目标查询指令，[0134]与前述方法的实施例相对应，本申请还提供了装置及其所应用的服务器的实施[0135]如图7所示，图7是本申请根据一示例性实施例示出的一[0159]数据写入模块，在用于基于更新后的数据结构信息将实[0160]上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的存储器820用于存储可在处理器810上运行的计算机指令，处理器810用于在执行计算机指[0163]本申请还提供了一种计算机可读存储介质，计算机可读存储介质可以是多种形形体现的计算机软件或固件、包括本申请中公开的结构及其结构性等同物的计算机硬件、[0169]本申请中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成[0171]适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识