CN113987086B 数据处理方法、数据处理装置、电子设备以及存储介质 （北京百度网讯科技有限公司）

US2002029207A1,2002US2009271345A1,2009.1维度数据表征与任务主题相关的维度对应的业计指标中的每个统计指标对应的至少一个统计2从多个业务数据中获取与任务主题对应的任务维度数据、与用户主题对根据所述至少一个事实数据集合，得到与至少一个统计指标中其中，所述任务主题包括多个具有层级关系的与所述任务主题相关的主题包括多个具有层级关系的与所述用户主将所述多个具有层级关系的与所述任务主题相关的维度和所述多个具有层级关系的基于所述多个具有层级关系的关联维度，对所述任务维度数据、所基于数据仓库的数据结构规范和多个数据源中的每个数据源根据与所述每个数据源对应的原始业务数据的存储策略，将所述根据与每个数据源对应的原始业务数据的存储策略，确定与所根据特征关联关系，确定与所述任务主题对应的特征、与所述用户根据与所述任务主题对应的特征，从所述多个业务数据中，获取根据与所述用户主题对应的特征，从所述多个业务数据中，获取根据与所述事实对应的特征，从所述多个业务数据中，获取与3针对所述至少一个统计指标中的每个统计指标，对与所述统计指标响应于查询请求，根据所述查询请求包括的的每个统计指标对应的至少一个统计数据集合中确定与所述查询条件相匹配的数据查询指标中的每个统计指标对应的至少一个统计数据集合中确定与所述查询条件相匹配的数获取模块，用于从多个业务数据中获取与任务主题对应的任第二获得模块，用于根据所述至少一个事实数据集合，其中，所述任务主题包括多个具有层级关系的与所述任务主题相关的主题包括多个具有层级关系的与所述用户主第一获得单元，用于将所述多个具有层级关系的与所述任务4第一确定模块，用于基于数据仓库的数据结构规范和多存储模块，用于根据与所述每个数据源对应的原始业务数据的第一确定单元，用于根据与每个数据源对应的原始业务存储单元，用于利用与所述存储策略相匹配的数据导入工具，将第三获得单元，用于针对所述至少一个统计指标中的每个所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被5任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数业务层级关系表征上述任务主题具有的层级关系和上述用户主题具有的层级关系；以及，得到与至少一个统计指标中的每个统计指标对应的至少一个统6[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0012]图1示意性示出了根据本公开实施例的可以应用数据处理方法及装置的示例性系[0015]图4示意性示出了根据本公开实施例的将原始业务数据存储至数据仓库的流程[0016]图5示意性示出了根据本公开实施例的获取多个原始业务数据过程的示例示意[0019]图8示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框7[0027]图1示意性示出了根据本公开实施例的可以应用数据处理方法及装置的示例性系领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、[0029]如图1所示，根据该实施例的系统架构100可以包括业务系统110、数据仓库系统120和应用层系统130。数据仓库系统120可以通过网络分别与业务系统110和应用层系统[0031]数据仓库系统120可以包括元数据管理121、数据质量监控122、原始数据(ApplicationDataService，ADS)层125。数据仓库层124可以包括数据明细(DataWarehouseDetail，DWD)层1240、公共维度汇总(即DIM)层1241和数据汇总(Data[0034]数据仓库系统120可以获取来自业务系统110的原始业务数据。数据仓库系统120数据和与事实对应的事实数据。任务维度数据表征与任务主题相关的维度对应的业务数至少一个统计指标中的每个统计指标对应的至少一指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据查8[0036]需要说明的是，本公开实施例所提供的数据处理方法一般可以由数据仓库系统中。本公开实施例所提供的数据处理方法也可以由不同于数据仓库系统120且能够与数据置也可以设置于不同于数据仓库系统120且能够与数据仓库系统120通信的服务器或服务任务主题对应的任务维度数据、与用户主题对应的用户维度数据和与事实对应的事实数的维度和与用户主题相关的维度对应的业务数据进行聚合，得到至少一个事实数据集合。9标中的每个统计指标，可以从至少一个事实数据集合中获取与统计指标对应的业务数据。[0056]根据本公开的实施例，任务主题包括多个具有层级关系的与任务主题相关的维[0058]将多个具有层级关系的与任务主题相关的维度和多个具有层级关系的与用户主个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的数据一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配查询请求包括的查询条件相匹配的数据查询结果的接口。数据仓库接口可以具有RESTful[0077]根据本公开的实施例，数据仓库系统还可以接入Dashboard(即数据可视化)模块计指标对应的至少一个统计数据集合中确定与查询条件相匹配的[0088]根据本公开的实施例，可以对来自多个数据源的多个原始业务数据进行数据清[0090]图4示意性示出了根据本公开实施例的将原始业务数据存储至数据仓库的流程业务数据的数据结构与数据结构规范对应的数数据源对应的原始业务数据存储至数据仓库可以包括：获取来自该数据源的原始业务数便存储至数据仓库的与该数据源对应的原始业务数据的数据结构与数据仓库的数据结构规范对应的数据结构相匹配。将与该数据源对应的原始业务数据存储至数据仓库可以包[0103]图5示意性示出了根据本公开实施例的获取多个原始业务数据过程的示例示意供的StreamLoad机制，将汇总级数据库中的原始业务数据同步至数据仓库中的原始数据库中的原始业务数据存储至数据仓库中的原始数据层。Doris可以是基于MPP(MassivelyParallelProcessor，大规模并行处理)架构的交互式SQL(StructuredQueryLanguage，[0108]针对系统总线，可以利用数据导入工具Flink和数据导入工具Doris中的至少一[0111]数据仓库的数据明细层对多个原始业务数据进行数据清洗，得到多个业务数少一个统计指标中的每个统计指标，对与统计指标对应的至少一个事实数据集合进行关[0124]根据本公开的实施例，上述数据处理装置700还可以包括第一确定模块和存储模[0135]根据本公开的实施例，任务主题包括多个具有层级关系的与任务主题相关的维个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配的一个统计指标中的每个统计指标对应的至少一个统计数据集合中确定与查询条件相匹配[0153]图8示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框不意在限制本文中描述的和/或者要求的本802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0158]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0161]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计如，本发公开中记载的各步骤可以并