CN119537339A 数据仓库模型优化方法及其相关设备 (顺丰科技有限公司)_第1页
CN119537339A 数据仓库模型优化方法及其相关设备 (顺丰科技有限公司)_第2页
CN119537339A 数据仓库模型优化方法及其相关设备 (顺丰科技有限公司)_第3页
CN119537339A 数据仓库模型优化方法及其相关设备 (顺丰科技有限公司)_第4页
CN119537339A 数据仓库模型优化方法及其相关设备 (顺丰科技有限公司)_第5页
已阅读5页,还剩27页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

据层对应的第二数据层表和维度数据层对应的2在所述数据调度任务为所述已发布任务时,获取所述已发布任确定所述第一数据信息中是否存在重复使用的数据根据所述来源层获取目标处理任务,通过所述目标处理任务对所据层表、明细数据层对应的第二数据层表和维度数据层对应的第三数据层表进行优化处在所述高频表的来源层为数据集市层或原始数据层时,获取根据所述字段缺失范围确定所述目标处理任务的类型,通过所述类型对应的在所述数据表的来源层为所述汇总数据层或所述明细数据层时范围确定所述目标处理任务的类型,通过所述类型对应的任务事项对所述第一数据层表、在所述字段缺失范围为第一范围时,确定所述目标处理任务的类在所述字段缺失范围为第二范围时,确定所述目标处理任务的类所述新建类型对应的任务事项从所述数据仓库模型的原始数据层依次构建新的明细数据在所述数据表的来源层为所述数据集市层时,通过所述第在所述数据表的来源层为所述原始数据层时,读取所述原3获取优化后的第一数据层表、优化后的第二数据层表和优化后的将所述目标用户终端重复提交的任务替换为所述优化后的第一数据在确定所述数据调度任务为发布中任务时,对所述发布中任务根据所述第二数据信息,确定当前数据仓库模型中汇总数据层表的细数据层表的第二数据层表和维度数据层表的第三数据层表分根据所述字段缺失范围确定对应的处理事项,基于所述处理事项对所述第一数据层若所述字段缺失范围为最小范围,确定所述处理事项为提取事项,基于若所述字段缺失范围非所述最小范围,确定所述处理事项为确认模块,用于基于大数据平台获取数据调度任务,确定所解析模块,用于在所述数据调度任务为所述已发布任务时,获取所述已溯源模块,用于确定所述第一数据信息中是否存在重复优化模块,用于根据所述来源层获取目标处理任4[0001]本申请涉及大数据技术领域,具体涉及一种数据仓库模型优化方法及其相关设[0008]确定所述第一数据信息中是否存在重复使用的数据表,在确定存在所述数据表5[0015]在所述字段缺失范围为第一范围时,确定所述目标处理[0016]在所述字段缺失范围为第二范围时,确定所述目标处理基于所述新建类型对应的任务事项从所述数据仓库模型的原始数据层依次构建新的明细[0021]获取优化后的第一数据层表、优化后的第二数据层表和[0025]根据所述第二数据信息,确定当前数据仓库模型中汇总数据层表的第一数据层6序被处理器执行时实现本申请实施例所提供的任一种7[0049]请参阅图1,图1是本申请一实施例提供的数据仓库模型优化方法的流程示意据映射至Hadoop分布式文件系统或其他数据存储系统中,使得数据存储系统能够使用SQL8数据层表和原维度数据层表进行保持。优化任务为对当前数据仓库模型中原明细数据层9该数据集市层的数据通常为高度聚合或高度汇总数据;原始数据层遵循数据安全规范标[0068]在所述字段缺失范围为第一范围时,确定所述目标处理[0069]在所述字段缺失范围为第二范围时,确定所述目标处理基于所述新建类型对应的任务事项从所述数据仓库模型的原始数据层依次构建新的明细完全不包含第三数据层表的字段内容,则确定该第三数据层表的字段缺失范围为第二范[0076]本实施例通过获取原始数据层表的字段信息,实现了对使得通过原始数据层表的字段信息能够对当前数据表在数据仓库模型中各层表中字段缺[0078]获取优化后的第一数据层表、优化后的第二数据层表和提交的任务为目标用户终端重复提交的该数据表对[0082]在本申请一些实施例中,在上述确定所述数据调度任务[0084]根据所述第二数据信息,确定当前数据仓库模型中汇总数据层表的第一数据层务进行优化建模。具体地,在接收到目标用户终端提交的SQL(StructuredQuery第二数据层表和所述优化后的第三数据层表[0122]该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上[0123]处理器601是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的[0124]存储器602可用于存储计算机程序以及模块,处理器601通过运行存储在存储器应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的计算机[0130]确定所述第一数据信息中是否存在重复使用的数据表,在确定存在所述数据表[0132]以上各个操作的具体实施方式以及对应的有益效果可参见上文对数据仓库模型[0137]确定所述第一数据信息中是否存在重复使用的数据表,在确定存在所述数据表机程序产品或计算机程序包括计算机指令,该计算机指令存储在

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论