CN110618983A 基于json文档结构的工业大数据多维分析与可视化方法 （复旦大学）

基于JSON文档结构的工业大数据多维分析为基于JSON文档结构的工业大数据多维分析与ElasticSearch并行化构建工业数据集市；通过图形化方式配置数据分析的整体流程构建多维2通过配置关系型数据库、文件系统数据源、定义必要的数据转换与数据清洗操作，利用Spark和ElasticSearch利用JSON格式作为数据的基础载体，通过JSON格式数据之间复杂关系的映射方式，并利用JSON文档配置自定义的数据转换以及数据清洗服一组无序的键值序列，通过树状结构表示JSON-Object时根节点表示该文档结构的逻辑实JSON格式不仅用于抽象表示单维度数据库表，还3（a)对于以小时或天为单位的粗粒度时间序列数据，直接通过嵌套对象数组的形式存在以时间序列数据为主的存储节点中，时序数据数据源配置定义是为了将分散存储在工业企业数据库或文件系统中的各类异构数据通过配置不同的数据源类型，数据源基础配置模板不仅描述包括Mysq内的各关系型数据库，还描述包括Log、Json在内的文件系统数据以及Mongodb，数据转换定义是指配置好数据源之后，还需要基于实数据清洗定义是为保证分析数据的质量，而在数据接入阶段对源数据所做的预处理；并行数据存储定义是指在定义好数据源、数据转换动用基于定制化配置文件的数据处理引擎，将定制的工业大数据导入与转换操作解析为据，并通过预定义的数据转换操作和数据清洗服务对原始数据进行预处理，最终使用4针对不同的数据分析场景，基于上一阶段形成的多个独置数据分析的整体流程来构建目标形式的分析数据集，避免在具体分析时的重复关联操数据转换是对待合并数据集的再次预处理，区别于数据清洗包括自定义图表配置与多维度图表交互展示两个部分，提供多维分析报表的自主定对于待分析的数据集，数据检索能快速定位到特征5在图表交互展示部分，根据用户设置的数据检索条件，通过6[0003]数据模型的建立通常依赖于其使用场景：用于单纯的存储数据或者用于数据分模型转换为用于分析的数据模型。而对于OLAP(OnlineAnalysisProcessing)应用来说，用Spark引擎以并行化的方式将分散在各个业务存储系统中的原始数据导入大数据综合存7[0009](1)基于JSON配置文件的多源异构工业数据导入与转换。即以JSON为数据的基础利用Spark和ElasticSearch[0010]这里，数据集市(DataMart)是指大的数据集，包括多个数据集；而数据集[0020]例如对表1所示的结构化表数据，可以通过列名与值的关系映射为一组无序键值11A8[0033](a)对于以小时或天为单位的粗粒度时间序列数据，可以直接通过嵌套对象数组[0035]本流程中的数据源配置定义是为了将分散存储在工业企业数据库或文件系统中9在内的各关系型数据库，还可以描述包括Log、Json等在内的文件系统数据以及Mongodb，利用定义形成一条处理逻辑链条(图8)，利用本发明实现的基于定制化配置文件的数据处数据清洗服务对原始数据进行必要的预处理，最终使用Elasticsearch分布式文件存储引[0044]并在存储时利用倒排索引构建为以维用于将多个字段拼接起来形成新的字段，例如常见的将日期和时间拼接成完成的时间格Web界面的可视化拖拽方式自定义数据分析报表的各个维度计算指标，系统通过将自定义[0082](3)数据清洗操作定义：任何的原始的数据都必须经过必要的清洗操作才能更好配置文件解析并生成并行化的数据导入与存储计划，利用Spark强大的基于内存的分布式并行化机制将分布在各个业务侧系统的分散数据源导入存储到基于ElasticSearch的分布时，返回结果为一个JSON格式，第一层是产品的不同取值，第二层是不同取值的数量(图