研究院工业云图解决方案

-20--20-XXXX工业云图解决方案（V1.0） XXXX 2019年1月研究院工业云图解决方案目录项目概述......................................................................-1-政策背景......................................................................................-1-现状分析......................................................................................-1-建设目标......................................................................................-2-2.平台应用设计方案..............................................................-2-设计原则......................................................................................-2-技术路线......................................................................................-3-2.2.1JAVAEE体系........................................................................................-3-SOA服务体系架构................................................................................-4-ESB企业服务总线................................................................................-5-消息队列技术................................................................................-6-ETL技术........................................................................................-7-2.3总体应用架构..................................................................................-8-3.项目建设内容...................................................................-9-3.1数据集成平台..................................................................................-9-数据采集....................................................................................-9-数据交换....................................................................................-11-元数据管理..................................................................................-12-数据质量管理................................................................................-17-3.2工业云图监管服务平台............................................................................-18-3.3应用效果展示..................................................................................-23-4.硬件部署方案...................................................................-25-5.投资估算......................................................................-26-项目建设意义...................................................................-26-社会效益......................................................................................-26-经济效益......................................................................................-26-政策背景政策内容工业和信息化部关于《印发信息化和工业化深度融合专项行动计划（20132018年）的通知》317号文中提出“企业两化融合管理体系”标准建设和推广行动，其行动目标中明确要求要制定“企业两化融合管理体系”国家标准，规范企业系统推进两化融合的通用方法，建立全国性的第三方认定服务体系，推动企业建立、实施和改进两化融合管理体系，促使企业稳定获取预期的信息化成效，引领企业打造和提升信息化环境下的竞争能力。完善支撑两化深度融合的相关标准。现状分析根据XX省创新发展战略和加快创新型省份建设要求，为认真贯彻落实XX市委、市政府部署工业企业资源集约利用工作的决策部署，XXXX（江西）工业互联网研究院前期对本地工业企业展开了深入细致的调研，发现存在以下几项比较突出的问题：工业家底摸不清，各委办局数据不对称；企业综合评价难以开展，施政缺乏数据支撑；企业生产能耗高、污染重，政府难以治理；缺乏扶优扶强、树立典型的手段。这些问题的客观存在，在一定程度上已经影响到市委、市政府对于本地工业企业资源作出全面了解、科学规划和精准决策，并进一步影响到了产业布局和经济发展。问题迫在眉睫，亟待解决。XX稀金科创城是江西省重点打造的五大科创城之一，也是XX市“两城两谷一带”的重要一环。运用信息化技术，实现政府对入驻企事业单位科学、精细化管理，打造科技智慧园区，是建设稀金科创城的必然要求。建设意义社会效益面对工业经济发展的新形势新任务，通过建设基于大数据应用的工业云图平台，实现运用信息技术带动工业化生产，促进管理方式的转变，提高工业化效率和管理水平，谋求新型工业化的经济增长方式，缩小与发达地区的信息化差距，实现跨越式发展，变挑战为机遇，走出一条绿色节能、科技智能的新型工业化之路，是推进信息化与工业化融合、建设工业企业信息化监管平台的意义所在。经济效益通过工业云图对企业多维度信息的有效收集和监管，实现了监管部门对企业运营质态的有效掌握，有助于政府及监管部门拿出合理有针对性的对应措施来帮扶优质产业健康发展，精确淘汰落后产业，并通过综合全面的产业化分析，对各企业管理者提供一系列有价值的建设指导数据，有效帮助企业进行产业改革，实现节能减排，增产增效等目标，有效提高企业效益，减耗增效、促进企业健康发展。解决方案数据集成平台数据集成平台作为前端业务应用平台的基础，承担了数据采集、清洗、汇聚、整理等技术性工作，为前端应用平台提供了丰富的数据可视化能力及数据建模、数据挖掘，机器学习等智能型工具，实现了平台对相应业务的智能化处理。针对需求调研，制定各委办局数据上报Excel表格模板及企业基本情况数据上报Excel表格模板。需做以下工作：搭建数据集成平台，涉及BDA标准化数据建模、BDI－企业级数据集成服务平台、BDS－统一化数据服务三款产品实施部署安装各委办局及企业上报数据接入规范数据标准规范制定-20--20--20-建设数据标准字典建设业务流程编排图，实现数据导入建设企业评价数据模型、产业分析数据模型、扶优抚强数据模型、淘汰落后数据模型定制化报表中心开发界面模型定制开发3.1.1数据采集数据采集主要针对各委办局及企业；针对各委办局数据录入包括招商项说明此数据库提供哪些数据内容，数据用途等说明此数据库提供哪些数据内容，数据用途等数据类型oracle、mysql、sqlserver、db2、access、mongodb等连接地址用户名密码数据库表、字段说明能提供文档对表名、字段进行说明数据库负责人姓名、电话WebService500万以上工业企业可分为分规上、规下两大类。数据采集方式说明针对采集的数据格式问题，赣州工业企业信息化服务平台对常见的数据格式有数据解析适配器，对特殊的数据格式要设定不同规则进行解析。开放数据库开发数据库说明WebWeb服务说明简单说明此Web服务提供的数据内容，数据用途等Web服务请求地址提供FTP的账号、密码、目录操作权限等，要交换的数据约定好的数据格式Web服务接口说明文档能够提供文档详细说明交换的数据格式，数据项说明，更新频率等；如果此Web服务接口说明文档能够提供文档详细说明交换的数据格式，数据项说明，更新频率等；如果此Web服务需要登录才能获取数据，请在文档中说明负责人姓名、电话RESTfulAPIRESTfulAPI说明简单说明此API提供的数据内容，数据用途等RESTfulAPI请求地址RESTfulAPI说明文档能够提供文档详细说明交换的数据格式，数据项说明，更新频率等负责人姓名、电话Socket通讯Socket通讯说明简单说明此方式提供的数据内容，数据用途等Socket通讯IPSocket通讯端口号Socket通讯说明文档能够提供参考文档，说明数据交换标准，数据格式等负责人姓名、电话FTP共享Excel数据导入其他提供标准的Excel文件，导入平台。根据调研过程中，外部系统提供其他获取数据的方式，可以索要详细的接口文档及技术人员的联系方式。3.1.2数据交换数据交换建设的总体思路是，采用数据集成平台数据交换平台的方式建设。数据交换平台负责所有业务系统的数据源接入（数据采集），数据格式、内容、类型的转换和质量保证（数据加工转换）。通过我们将分布在各接入单位以及涉及数据交换共享的外部相关业务系统点统称为数据交换平台的节点。在每个节点上都有消息传输子系统，同时，在每个需要接入数据交换平台的业务系统下，也有消息传输子系统。这些消息子系统之间通过内部协议进行连接通信，通过预先配置好的通信规则（比如定时、实时、周期性等），按照一定的业务需要，构成一个连接通道网。数据交换平台负责数据交换平台上的数据源接入、数据加工处理、数据转出等工作。集成中间件起着服务总线的作用，通过各类适配器，将不同业务系统的数据接入进来，并采用数据加工转换组件，对数据进行业务处理，再转出到目的数据源的适配器上，并通过调用底层的传输子系统，将数据传送到指定的目的地。此外，根据实际需要，为减少对原业务系统的影响，本方案采用了前置数据库的方案，将通过各委办局等相关部门交换平台所获得的文件、数据落地到前置交换节点，在数据源与中心数据库间建立中间库，中心不直接访问原业务数据库，由原业务数据定时将数据移至中间库，由信息交换平台进行采集完成。3.1.3元数据管理元数据是描述数据的数据，它是在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。在数据管控中，元数据管理对各数据的实体定义和流程管控管理两方面的元数据进行管理，并提供相应的对外服务。从数据源到后续的逐层加工以及稽核，元数据将各类的数据实体进行定义，约束；元数据管理贯穿于整个流程，提供相应的服务，并与各环节有效的互动。元数据管理包括元数据基础数据管理和元数据应用，主要功能点包括元数元数据管理包括元数据基础数据管理和元数据应用，主要功能点包括元数据自动获取、元数据检索、数据模型管理、元数据管理、血缘关系、分工监控流程等。元数据管理功能架构元模型管理该模块主要提供针对元模型的属性及属性维度的维护和管理功能。元数据对象超出现有元模型范围时，可自定义新增模型，定义模型结构，发布生效。原有元模型不满足需求时，可根据需求更新模型结构，发布生效。通过模型管理提供可视化的建模及监控工具，定义通用数据实体和数据结构，实现数据模型的标准化和一致性。并能够提供贯穿数据的开发、部署、治理等各个阶段的模型管理功能，记录数据模型建设的全过程，实现模型全生命周期的可视化管控，构建了全面的业务模型分类管理体系，实现企业级范围内模型全生命周期管理。支撑数据建模的全流程统筹管理，包括逻辑模型设计、模型物化、模型对比等。包括业务词汇表的发展，数据元素和实体的定义，业务规则和算法以及数据特征，具体包括数据统一管理、接口文件管理、存储过程管理、元数据可视化等。模型管理具备以下规则定义、数据字典等功能：规则定义。建立逻辑模型时，对结构及属性要进行规范性约束，规则类型包括：结构编码规则、结构名称规则、结构描述规则、属性编码规则及属性名称规则等。数据字典。建立字段类型映射关系，用于逻辑模型物化生成物理模型(表)时，结构中每个字段的逻辑字段类型转换成所选数据库的物理字段类型。可视化建模。可创建面板进行逻辑模型设计，在操作面板中进行可视化操作进行逻辑模型编辑与关系创建。模型监控。配置规则定时监控与源表结构的差异，达到模型质量监控的目的。目录管理。平台对元数据目录支撑设置权限、添加子目录、编辑、删除、迁移目录和刷新功能。分级分类支持对数据资源进行分级分类。支持按照各类规范，平台管理员和租户通过可视化配置方式对表、字段等不同数据级别进行分级分类管理；对表、字段定义级别类别后，可对访问人群的权限进行设置。可支持对各类采集数据按照“一数一源、一源一主”的原则进行设置。可对多渠道采集的同类数据进行主从数据进行设置，例如身份证以卫计委的数据源设为第一优先级，其为空或其他条件下采用公安的数据源，以此类推。此外，支持数据的一致性、合法性等校验方式。元数据获取数据获取是元数据的基础功能，是元模型维护到元数据的入口。包含自动获取和系统录入两种方式。自动获取对于部分能提供专用的或者标准的元数据获取接口的实体，例如数据仓库和数据加工工具等，元数据管理模块可以利用这些接口自动抽取元数据。对于-20--20--20-数据处理过程中的SQL脚本等数据处理过程脚本程序，元数据管理模块可以通过编译技术自动获取数据处理元数据。系统录入对于无法通过获取接口或者编译技术进行自动获取的元数据，需要通过手工整理的方式进行处理。采用系统获取方式获取的元数据，元数据模块需要根据各自元数据的特征提供相应的元数据系统录入功能。导入导出元数据可以添加单个元数据对象，也可以通过导入的方式批量添加元数据对象；同时也可以批量导出元数据对象。平台支撑表、视图、存储过程、函数、标准指标、程序、接口文件、数据库资源、维度和指标对象的导入、导出。元数据管理系统通过WebServices接口方式对外提供接口服务，数据以XML格式提供给外部系统，提供的数据内容包括：指标信息、维度信息、数据模型信息、多维数据集信息、码表映射和转换规则等信息。检索服务通过全文检索能迅速查找和关键字匹配的权限范围内的元数据信息，为海量数据分析提供快速正确的查询处理、易使用的操作接口等。提供按照元数据类型分类检索功能。支持模糊查询。支持关键字检索。支持以元模型分类显示，并统计出每个模型含有关键字的对象个数。提供对应模型下含关键字的对象列表。双击每个对象可查看对象信息。版本管理版本管理是元数据自身的生命周期管理，对其发布、变更、删除进行严格的流程跟踪，及版本管理，确保元数据自身的数据质量，保证了后续使用元数据系统的权威性和可靠性。版本管理是对不同时期进入元数据库的同一实体的元数据进行管理。要求的基本功能是能够显示同一实体的元数据的修改历史。另外还提供版本差异分析和版本变更分析等。并且能够进行单个元数据版本的恢复。支持按照时间轴对变更的各版本进行监控。当平台内容有变更时，变更信息会自动显示在时间轴上，方便用户查看平台上的历史变更记录。血缘分析元数据血缘分析包括关联分析、血缘关系、影响分析和数据地图等。关联分析提供数据分维度、多视角的数据对象及其关系、分布的统计查询支持用户自定义模版，用户可自己配置查询维度、查询对象及属性。血缘关系的追溯根源，是对数据源同步管理中扫描到系统的表、视图或者存储过程进行展示。支持通过加工过程注释的方式、支持通过ETL流程自动生成的方式、支持通过配置来源目标的方式。实现支持对象级血缘关系；支持字段级血缘关系。影响分析是指从某一实体出发，寻找依赖该实体的处理过程实体或其他实体。如果需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时，评估实体影响范围。数据地图分析是以拓扑图的形式对经营分析系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。异常观察元数据管理模块应具备对元数据本身质量进行检查的功能，保证元数据自身的数据质量。元数据异常观察包含但不限于以下内容：元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称重复性、元数据关键属性的填充率和元数据关键属性值的唯一性。如发现异常将通过邮件、任务弹窗等通知用户。0元数据权限管理元数据权限是指用户对元数据对象操作权限，用户权限可继承角色权限。元数据分权限控制对象和非权限控制对象，非权限控制对象是任何用户都有操作权限，权限控制对象是需要进行授权过的用户才有操作权限。为方便用户对元数据进行管理，系统为用户提供了基于元数据组织树目录的权限管理，通过对不同用户授予其不同目录权限和基于继承的操作权限，从而实现用户对数据查看和操作的分离，保证数据安全。基于继承的操作权限是指如果对某用户对某个节点有某种操作（如修改操作），那么该节点的下级节点会自动继承该项操作作为本节点的操作。3.1.4数据质量管理数据质量的好坏是数据应用的基础，数据质量的管理，主要对数据加工流程数据进行质量的管控，支持Oracle等关系型数据库、Greenplum等MPP数据库以及Hadoop环境下的各类记录、文件等数据以及指标进行稽核，并将稽核的规则库统一管理。保证了在加工流程中，数据的及时性、完整性、一致性、准确性、唯一性、合理性的六性原则。监控环节及时透明的将数据问题反映出来，通过工单督促问题的实时处理。数据质量总体管理框架如下：数据质量稽核管理数据对象的稽核规则的配置，支持符合及时性、完整性、一致性、准确性、唯一性、合理性数据质量要求的24种明细分类的稽核规则配置，并且能够自定义的灵活配置规则。注入流程调度控制在ETL调度中注入稽核流程控制，当稽核出影响后续加工的关键问题时数据加工流程就会自动停止，待问题处理完毕后ETL流程会自动继续执行。数据质量评估报告数据质量报告是对所有监控过程中发现的质量问题处理过程以报告形式累积的过程。数据质量报告提供了一个集中展示平台数据质量状况的窗口，数据质量管理人员召集相关人员对数据质量报告进行分析讨论，以总结经验、沉淀知识和改进方法，不断提高总部的数据质量问题的处理能力。异构全流程质量管控端到端的全程质量管控在数据建设、管理、维护、服务将各个层次的数据流实现了数据端到端的透明化质量管控。面向异构数据源的端到端质量管理主要体现在以下几点：端到端数据质量标准化：基于元数据为各个层次数据源提供统一的规则库管理。跨Oracle、MPP、Hadoop等多种类型数据源的数据质量稽核。端到端的数据质量管控自动化、问题处理流程化。端到端的质量监控透明化。工业云图监管服务平台工业云图监管服务平台的业务通过数据集成平台对辖区内工业企业多维度信息地有效收集汇总，进行针对行业各监管维度的数据展现和智能分析。工业云图监管服务平台共包含以下内容模块：基础信息展示平台数据汇总及宏观展示：对辖区内工业产业的整体宏观情况进行多维度统计汇总，通过丰富的图表元素进行展示。包括规上用地比例情况展示，税收情况展示、工业排污情况展示、产业宏观评价、产业用地情况展示等。数据关联及微观展示：包括对辖区内各目标企业的数据汇总，通过企业画像、数据挖掘等技术，GIS地理信息技术等，实现对企业基本信息、运营质态、投入产出、地理位置、占地面积等各方面信息进行综合展示。企业综合排名通过对企业进行各维度信息的综合排名，建立奖惩机制，协助先进企业。扶优扶强：扶优扶强通过亩均税收、亩均销售进行阈值设置，筛选出符合政策相关企业，为政府的先进产能奖励政策提供数据依据。淘汰落后：通过GIS地图，对无执照、散乱污、高能耗、高污染企业分布进行汇总，并结合规划，逐步淘汰规划用地以外的无执照、散乱污企业，在淘汰规划内的，给各级政府进行淘汰落后提供相应的抓手。产业综合分析基础产业分析：通过把企业的综合情况与对应产业的整体水平进行比较评估，为企业出具评估报告：包含整体竞争力分析、行业分析、专项能力分析、