数据治理与标准推动数据成为金矿

数据治理与标准推动数据成为“金矿”Part1工业互联网与数据中台智能制造的基础是数据、模型与知识物理工厂智能工厂Smart数据可视流程自动化风险可控仿真预测智能决策业务模型知识经验数字工厂（Digitaltwins）数字映射智能化特征：1、构建起业务模型通过人工智能技术取代人的介入；2、人机协作，利用人的智能来体现整体系统的智能；数据、集成、业务模型是核心异构成熟系统异构设备外部供应链数据存储层资源层HTTPRestfulFTPMQSOAPOPCUAMtconnectMQTTTCP/IPJDBC边缘计算EDIHTTPSOAPFTP数据集成与转换设备某省市工艺某省市质量某省市仓储某省市其它某省市数据存储与分层数据模型与映射客户模型映射设备模型映射其它模型映射资源部署和管理（资源管理、部署管理、维护管理、运营优化）IOT&大数据（数据采集、存储、建模、可视、分析）微服务组件（服务、容器、消息、协议、注册、）算法引擎AI机器学习应用建模负载均衡区块链APP开发平台软件开发工具运营维护平台身份认证业务编排PAAS层营销云(API/APP)研发云(API/APP)制造云(API/APP)质量云(API/APP)…….SAAS层用户访问基础组件工业互联网架构强调数据的利用数据中台建设：稳定的业务，标准的数据，灵活的应用MMPPSDFI/COPSQM生产计划车间作业物料管理设备管理质量管理其它其它软件图文档BOM配置管理工作流项目管理其它贴源数据存储区（结构化、非结构化）统一的数据治理标准（oneData）数据质量数据转换数据规则数据报告异常数据数据溯源财务数据生产数据质量数据销售数据物流数据设备数据全域数据湖（数据分区）数据存储与计算层数据应用层用户访问层数据产生层数据接入层其它数据数据建模数据归档数据汇总数据调度数据资产数据预测历史数据查询管理分析与报表业务模型与优化趋势预测与评估数据在线分析数据中台一切业务数据化一切数据业务化数据中台的核心为数据仓库的设计与多层次管理ERP系统PLM系统MES系统HR系统CRM系统SRM系统BPM系统门户系统APS系统WMS系统QIS系统其它系统贴源数据库(ODS）数据抽取、转换、装载（ETL)数据标准数据清洗数据质量营销数据集供应链数据集设计数据集工艺数据集生产数据集财务数据集人员数据集其它数据集此数据库存放的为各异构系统或数据源抽取的源数据，形成大数据湖（数据需按照重要性、频率等要求进行抽取，其中难点在于异构数据的冗余处理与标准化）数据按照门类进行存放，此数据库仍然存放的是细节性数据指标数据库模型数据集汇总数据集内存数据库数据应用此数据库存放的是汇总或加工后的数据，以及应用频率较高的数据，如产品的完整数据包数据副本历史数据归档难点：1、业务数据的识别；2、跨系统数据的核对与清洗；3、数据标准与质量；数据仓库的分层与分类：底层数据库、大数据库、轻度汇集数据库、汇总数据库等MDM数据库专业系统数据库现场实时数据库非结构化数据库大数据库（贴源数据库）底层数据库存放的是各种原始数据存放所有异构系统的数据，是未来的核心数据库轻度汇集分布式数据库数据进行部分清洗、处理，按类别、数据进行存放各分子公司/事业部汇总数据库以上数据库都将连接大数据平台，可以在大数据平台进行多层次的数据分析存放经过汇总、建模等应用分析后的数据集团层汇总数据库Part2制造业数据分层与分类制造企业在数据管理与分析上存在的问题数据采集数据及时性、准确性数据模型数据价值与利用度01多部门数据打架，多头统计，“盲人摸象”；02数据源规范缺少管理；03数据手工录入准确性、及时性不足；04数据没有充分的共享、流动；05知其然不知其所以然，“宁可错杀一千不放过一个”；06缺少统一的数据管理组织，数据自生自灭；07数据基于“某些原因”进行加工；08对数据上的问题习以为常；数据质量数据一致性、有效性数据成为企业的核心资产不可度量，就不可被管理，就不可被考核数据是有价值的企业核心资产，它具有真实、可度量的价值；数据与流程是企业运转的两大基础；我们必须从“数据拥有者”转变为“数据管理者”；只有基于真实数据辅助做出的管理与决策才是正确的；数据成为资产的重要基础是“管理”；单个的数据并没有价值，但越来越多的数据累加，量变就会引起质变；数据的价值不仅在于聚合与分析，还在于分享、流动；通过数据资产的应用：使企业真正有能力从以自我为中心改变为以客户为中心；一定程度上将颠覆了企业的传统管理方式；改变了商业逻辑，提供了从其他视角直达答案的可能性；减少不确定性对企业的影响；数据资产的识别与盘点数据资产的价值度量制造业数据的分层与分类制造企业由于业务特点与行业不同，导致数据管理的重点与分析方法都有较大的差异，如化工企业底层数据实时性要求高、数据量大，是控制产品工艺和质量的关键，数据处理尽量下沉；设备层：产生大量的结构化与非结构化数据，是制造业最基础的数据来源；监控层：处于承上启下的一层，汇集设备层、业务层的数据，数据建立关联关系；业务层：业务运转中产生的数据，包括销售数据、采购数据、财务数据等，载体为单据、账册、报表等形式；决策层：企业中高层进行决策所需的数据；主数据：企业运转的核心数据，跨越多个组织和流程；不同类别数据的管理对策主数据为公司的核心底层数据，需跨越多个业务应用的高价值静态数据，公司主数据的管理范围包括物料、会计科目、设备、客户、供应商、项目、人员等（需严密管理）。基础数据为每个业务需管理的静态数据，是各个业务开展管理工作的基础，与业务管理水平息息相关，如人员的工作年限、学历、婚姻状况等数据，基础数据的范围比主数据更广（需定期检查与完善）。业务数据为业务运行过程中产生的动态数据，包括单据（表单）、账册、报表等数据。业务数据一般存储在各自的业务系统数据库中，如ERP系统数据库、MES系统数据库、CRM系统数据库等（业务数据分层、分类管理，标准化管理至关重要）。主题数据为根据数据类型进行分类与汇集而形成的数据，一般按数据类别形成某省市。分析数据的应用对象一般为管理层数据，是在数据仓库中对数据进行了装载和运算（统计类数据），重点为各类绩效指标（KPI）,如库存周转率等，此类数据是进行了重度汇聚和运算后的数据Part3数据治理的方法与框架数据保障体系数据决策者数据管理组织数据管理者数据使用者数据产生者数据战略规划数据战略与规划数据中台与架构数据战略实施数据战略评估数据标准数据制度与流程数据处理流程数据应用机制数据质量与PDCA数据管理能力成熟度数据管理体系数据战略与标准体系数据需求与服务管理元数据与字典管理主数据管理数据质量管理数据安全管理数据全生命周期管理数据模型与分析管理数据技术体系数据清洗与存储数据集成与交换数据建模与运维数据治理体系与框架数据设计与开发数据风险与价值管理数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。数据治理覆盖数据的全生命周期管理数据产生/建立数据处理数据查询/传输/存储数据应用与分析数据归档/销毁规范企业内不同层次的数据产生源头、机制与规范，包括元数据、主数据、基础数据、业务数据、主题数据、分析数据等，对数据产生过程进行规范化管理基于企业的业务流程分析数据处理过程，建立数据流图，优化数据处理过程，去除不合理与不增值的数据处理节点，制定数据处理的流程、权限以及相关制度。根据权限设定数据的查询/传输/存储规则，建立CRUDA矩阵，对数据进行分维度、分层次、分视角的多维度管理。深入调研数据的应用与分析需求，设计多层次、多角度的数据分析模型，建立数据的共享应用机制与平台，实现数据驱动业务。建立数据的归档与销毁制度，建立数据的知识化管理体系，覆盖数据的日志、备份等全面化管理，保障数据安全。数据全生命周期管理数据战略规划（例）数据战略规划的目的：建立匹配公司发展战略的数据管理与应用战略；建立企业的数据架构与分布模型，指导公司应用信息系统；建立数据管理标准，规范数据元库；规范各系统中的数据应用；建立数据仓库与主题数据库；为数据的分析和利用提供支撑；1234567数据调研与业务建模；数据建模与分析（数据流）；核心数据分析（差距与目标）；建立数据集标准；数据架构设计（静动分离、静动结合，单维数据表等；）数据分布规划与应用管理；数据安全管理；数据管理组织的建立（例）智能制造办公室数据管理工作组主数据与基础数据管理小组业务数据管理小组主题数据与分析数据管理小组各业务部门主数据与基础数据管理员各业务部门表单、账册、报表数据管理员各业务部门主题数据与分析数据管理员信息资源（数据）管理委员会专家组

组建信息资源（数据）管理委员会，负责公司信息资源（数据）相关标准、规划的审定与发布，定期召开工作例会，听取项目汇报，提出项目要求，并对重大问题进行决策。信息资源（数据）管理委员会由公司经理班子成员组成。公司信息资源（数据）委员会下设专家组，专家组负责为公司信息资源（数据）管理提供外部意见和建议，并对重大项目进行管控。专家组由公司进行聘任。信息资源（数据）委员会下设数据管理工作组，工作组是公司信息资源（数据）的日常管理归口部门，负责公司信息资源（数据）的整体规划与建模、相关标准的建立与发布、数据的一级审核和检查、数据考核体系的建立与推进等职责。工作组针对不同的数据设立不同的数据管理小组，对数据进行差异化管控。数据采用分层、分类的管理组织方式，在工作小组设立专职负责主数据、基础数据、业务数据的管理岗位（初期可兼职），负责不同数据的标准、质量、安全等归口管理，同时在业务部门建立数据管理员（可一人兼多职），负责数据的定期检查、异常数据处理、业务分析模型建立等工作。数据质量管理的方法与重点准确性及时性一致性唯一性和参考完备性完整性数值类型与值域业务规则统计口径数据滞后无法满足业务要求数据源不一致多口径不一致不唯一，属性缺失违反主外键规则丢失数据数据不完备，如分类数据类型不匹配数据错误1数据源校验（统一标准、唯一记录、完整）23业务数据校验（及时性、准确性、完整性、关联性）

.数据逻辑校验数据自身质量数据过程质量数据分析质量国际数据质量评估框架（DQAF)Part4数据管理能力成熟度五级数据管理能力成熟度模型不关注没有统一的数据管理流程缺少数据规划、数据架构设计、数据管理组织等数据尚未有效流通，数据孤岛现象严重数据质量不高规范化建立了数据制度和组织具备数据管理人员业务能够及时获得数据支持推动各部门数据规范化探索数据人责机制起步意识到数据是资产制定了数据规范初步进行了数据集成设计重要数据的安全、风险等管理策略量化管理级受管理级初始级稳健级持续优化优化数据管理长效机制数据成为核心竞争力数据分析渗入业务流程知识显性化新的数据处理技术体系化制定数据治理标准数据作为企业资产规范企业级的指标体系建立数据质量管理流程制定数据能力框架定期开展数据培训12345优化级中制根据国家标准建立了针对制造业的数据管理能力五级评估模型（DMC)数据