主数据管理理论与实践

主数据管理理论与实践-1一、管理主数据概述1.1 .主数据的定义数据管理区域对主数据的概念和定义有不同的说明和说明。参考标准和规范定义，本文在国际数据管理协会DAMA DAMA数据管理知识体系指南这本书中介绍了主数据的定义。主数据是业务实体的数据，提供与业务事务处理关联的环境。业务规则通常规定主数据格式和允许的值范围。一般组织的主数据包括交易方、产品、财务结构和位置等。主数据是重要业务实体权威的最准确数据，可用于建立事务处理数据的关联环境。主数据值被视为“黄金”数据，与事务数据相比，主数据相对稳定，精度要求高且具有唯一性。1.2 .主数据的特征与其他数据相比，主数据具有以下特征：1)跨部门的所有部门和所有业务流程的最大公约数主数据；2)如果超过了流程，主数据不会根据特定流程发生变化，而是作为整个流程的不可变因素。3)提供所有业务主题的业务实体信息，而不依赖特定业务主题：4)超越系统，主数据管理作为单独的系统存在，提供的服务比其他业务系统更多。5)除了技术以外，主控还必须应用各种异构系统兼容的技术条件，并为基于微服务体系结构的数据实施提供有效的工具。1.3 .主数据类型主数据主要包括基于配置的主数据和核心主数据。l基于配置的主数据：也称为参考数据，基于配置的主数据是描述业务或核心主数据属性分类的参考信息，在整个组织内共享。一般根据国际标准、国家标准、产业标准或企业标准和相关规范等，组织系统中使用一次的基本数据，如国家、民族、性别等的规范性表达。基于配置的主节点相对稳定，不容易更改。l核心主体：核心主体是用于描述企业核心业务实体的主数据，它是企业核心业务对象、交易业务的执行主体(例如产品、物料、设备、组织机构、员工、供应商、客户、会计等)。1.4主数据与其他数据的关系在DAMA数据管理知识体系指南一书中，将数据管理领域的知识体系结构概括为10个主要方面：数据体系结构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和业务智能管理、文档和内容管理、元数据管理、数据质量管理、数据治理，以及主要数据管理和参考数据管理作为最重要的业务内容，不仅包括数据管理系统，还包括提高数据质量、企业数据主数据和主数据管理经常与其他现有概念混合，影响人们对主数据和主数据管理本质的认识。本文将区分三个概念：主数据和元数据、主数据和事务数据、主数据和参考数据。1)主数据和元数据主数据和元数据是两个完全不同的概念。元数据是公司数据资产管理的基础，是关于“数据的数据”(例如数据类型、数据定义、数据关系等)，是与数据表中的标题信息相对应的相对客观概念。元数据中选定的主数据是表示公司业务运营核心和普遍数据的比较主观的概念。不仅包括标头信息，还包括实例数据。例如，公司的产品列表、客户列表、分支机构地址信息等。2)主数据和事务数据交易资料也是根据中继资料衍生的，反映公司即时商业记录中的资料。同样，也是实例数据。主数据相对稳定，是静态或一段时间内的静态数据，事务数据是实时变化的数据，通常描述在特定时间点发生的事务行为。例如，客户订单、库存跟踪、销售记录、售后事件等。一个主节点可以与多个事务数据相关，一个事务数据可以影响主节点。例如，在航空公司，客户本年度里程是主数据，客户飞行记录是交易数据，交易数据客户飞行记录累计一年，主数据客户本年度里程将更新。3)主数据和参考数据参考资料是用于分类其他资料或重新组合目录的资料。业务规则通常规定引用数据值是允许的几个值之一。接受值的数据集为范围。一些组织可以根据内部业务定义参考数据的范围，其他参考数据的范围可以定义为外部资源，例如政府或行业标准。多个引用数据集的范围可以指向同一个概念域。每个值在具有相应值的域集中是唯一的。用通俗的术语表示，参考数据也可以称为数据词典、代码集等。企业希望实现更高效的数据整合、数据共享和数据分析应用程序，在企业或部门级别整合和管理参考数据，并希望利用参考数据集记录系统提供范围内IT系统中数据库的统一参考数据。参考数据是描述数据范围和值的数据解释，使相关数据更易于读取。在政府数据应用领域，广泛的参考数据反映在参考数据集记录系统、政府信息资源目录系统、代码集系统、数据图书馆等系统中，广泛的主数据反映在一般政府数据项目构建人口、法人、住宅、电子证据、社会信用、空间地理等主数据，也称为基础库的数据集成构建过程中。在实际工作中，参考数据管理和标准实施通常与主数据管理项目一起实施。二、管理主数据的重要性主数据是数据源，是数据资产管理的核心，是信息系统互操作的基石，是信息和数字化的重要基础。建立准确、唯一、权威的数据源，建立企业主数据标准管理系统，是提高企业和机构单位数据质量和数据资产价值的关键因素。建立优秀的主数据管理企业数据资产系统，开发数据基础，构建未来发展和竞争的核心竞争力，具有重要意义。1)消除数据冗馀和提高数据质量：基础数据是业务链、统一数据语言、统一数据标准、数据共享、最大限度地提高数据冗馀和提高数据质量。2)提高数据处理效率：通过主数据管理，可以减少动态自动整理、复制和手动整理数据的时间和工作量。3)以数据为中心，提高公司的战略协作能力：数据是公司内部管理分析、决策支持的“通过声音”，实现各部门的统一，有助于打开部门、系统壁垒，实现信息整合和共享，提高公司整体战略协作。4)改进IT系统和企业数据体系结构以支持数据应用程序和管理：主数据构建为数据应用和管理提供了业务基础。从IT部署的角度看，主数据管理增强了IT结构的灵活性，在整个企业范围内构建了数据资产管理基础和相应的规格，并且能够更灵活地适应企业的业务需求变化。提高主数据质量还可以为后期数据整合和数据整合奠定良好的基础。三、主数据管理的实施问题主数据管理具有特殊的意义，但在以下方面有很多实际和困难的地方：1)认知不统一，不重视主数据的总体规划，顶层设计不足，无法在单位决策层、管理层、业务层等各个级别统一思想。2)各部门各自负责，很难在标准和规则级别达成协议，因此很难统一主数据代码标准。3)通用标准主数据(国际标准、国家标准和行业标准生成的主数据)管理分布，缺乏方便可靠的数据访问通道，数据访问困难；4)由于单元内部已经存在、分布式管理的主数据、集成标准和数据相关性不足，大量数据清洗根据人的判断，数据清洗的困难和风险很高。5)企业历史系统和历史数据的数据标准化水平不高，数据清洗困难，改造成本高，对主数据系统集成造成很大困难，主数据管理流程需要修改现有的相关生产业务流程和系统，从经营角度充分调动业务部门的密切合作，对组织的业务运营效率和信息决策周期提出了很高的要求。6)基本数据管理模型需要在业务之间交换表单数据，因此在短期内，信息体系结构可能会发生变化或变得更加复杂。四、主数据管理的内容主数据管理的主要内容包括“两个系统、一个工具”:主数据管理标准系统、主数据管理保证系统和主数据管理工具。主数据管理标准系统是主数据管理工作的重中之重，主数据管理安全系统保护主数据管理，主数据管理工具确保主数据管理的有效着陆。4.1主数据管理标准系统主数据标准管理系统包括业务标准(编码规则、分类规则、描述规则等)、主数据模型标准。主数据标准管理系统通常创建一系列代码系统表或主数据资产目录。1)主数据业务标准是对主数据业务含义的综合描述和要求，包括主数据源、主数据的管理级别、合并管理中的基本数据项、相关业务环境中数据项的创建过程说明和语义说明、数据之间的约束关系以及创建数据时应遵循的业务规则。主数据业务规则包括主数据中每个数据项的编码规范、分类规则和说明规则。2)主数据模型标准包括主数据逻辑模型和主数据物理模型。主数据逻辑模型通过实体关系图表示，该图主要是ER图、主数据物理模型和主数据的物理存储结构表。3)主数据代码系统表：在某些区域也称为主数据资产目录。描述企业和机构信息构建过程中使用的主数据代码类型、每种类型的主数据代码名称、代码属性(分类、详细信息、规则等)、采矿(参数)标签和代码构建情况的汇总表，它是查看和应用企业主数据代码的基础，也是主数据代码的全局和指导文件。主数据代码系统表主要是企业经营特性的结合，为企业信息建设提供服务，主要由两部分组成，第一部分是企业信息代码系统表的框架结构和分类，第二部分是所有分类下的信息代码标准详细信息和建设情况。政府数据应用领域的政府信息资源目录系统等。4.2主数据管理保证系统主数据管理安全系统包括五个部分：主数据管理组织、系统、流程、应用程序和管理评估。1)主数据管理组织主数据管理组织主要包括企业中不同类型主数据的管理组织体系结构、操作模式、角色和责任计划，通过组织系统计划建立明确的主数据管理机构和组织系统，实现所有级别的部门责任和可持续的主数据管理组织和人员。主数据管理组织结构包括决策层次结构、管理层和执行层次结构。2)主数据管理系统主数据管理系统规定了主数据管理工作的内容、程序、章程和方法，主要包括各种管理方法、规范、规则、文档等，是主数据管理人员的行为准则和准则。主要包括主数据管理办法、主数据标准规范、主数据提案指南、主数据维护细则、主数据管理工具操作手册、0103010等。3)主数据管理流程梳理数据维护和管理流程，建立适合企业实际应用的管理流程，确保主数据标准的有效执行，实现主数据的持续长期管理。主数据管理过程可以通过管理系统的方式存在，也可以直接嵌入主数据管理工具。主数据管理流程包括主数据业务管理流程(针对主数据的申请、验证、审核、发布、更改、冻结、存档等的完整生命周期管理)、主数据标准管理流程(针对主数据标准的分析、开发、审核、发布、应用和反馈等流程)、主数据质量管理流程()4)主数据应用程序主数据应用程序主要由三部分组成。这包括明确的管理要求、有效的管理实施和加强安全服务。5)主数据管理评估主数据管理评估用于评估和评估主数据相关所有者的工作表现以及数据管理标准和数据策略实施情况，通过建立定性或定量主数据管理评估指标，加强企业对主数据管理相关责任、标准和策略实施的控制。主数据管理评估指标由数据所有者和数据识别者从管理标准、数据识别责任和数据策略三个角度共同确定，定义一系列度量指标和规则，实施和检查主数据的应用，同时调查和评估主数据管理、主数据标准、主数据质量的执行情况。4.3 .主数据管理工具主数据管理工具是发布主数据标准文本、管理主数据整个生命周期的重要平台。主数据标准的维护过程和管理措施通过管理平台实现和控制系统，确保标准的唯一性和及时性。主数据管理工具主要包括数据建模、数据集成、数据管理、数据服务基本管理、标准管理等功能模块。1)主数据建模：主要基于主数据标准系统，通过可视建模工具定义主数据对象、编码规则、属性值和控制过程等基本元素，构建主数据标准模型。2)主数据集成：主要利用数据清洗工具和扩展功能收集每个系统生成的主数据，验证、整理和发布根据主数据标准和主数据模型定义的规则，以实现主数据的完整生命周期管理，并集成一致可靠的主数据。3)主数据管理：根据标准主数据管理程序的要求，通过严格的管理流程执行主数据创建、批准、发布、修改、冻结和过期等整个生命周期管理和数据词典的管理维护，从而确保数据的一致性、准确性、实时性和权威。4)主数据存储和服务：主数据平台发布的基准数据集中存储在主数据基准库中，提供在线查询和订阅功能，并通过面向流程和面向消息的标准界面提供数据共享服务。5)标准文件数据管理：利用外部公共文档管理系统或内置管理功能，实施标准文件及其相关数据的存储管理、版本管理和标准目录管理，配置智能搜索引擎，实现智能、快速、准确和高效的查询搜索功能。6)基本管理：对用户、用户组、角色、资源、流程配置等系统中的基本数据设置，灵活、安全、可靠的权限管理和日志管理，对各种类型的主数据进行统计分析，对主数据应用程序评估等提供强大支持。五、如何实施主数据管理实施主数据的核心包括规划主数据、制定主数据标准、构建主数据代码库、构建主数据管理工具、操作和六个主要部分。主数据计划是制定程序、主数据标准、构建主数据主数据代码库的前提，构建主数据管理工具是技术手段、运营和维护系统的前提，标准化是持续的保证。1)主数据计划：使用方法并结合企业的实际情况，制定主数据整体实施路线图。主数据计划强调系统建模的基础需求分析和系统建模的紧密结合，而业务调查是需求分析的前提。在主数据计划咨询过程中需要参考标准，主要参考的标准是国际标准、国家标准、行业标准、企业标准，在企业的主数据计划咨询后，确保符合国家相关法规和企业行业特性。通过状态调查和需求分析等前期工作，生成主数据计划结果。主数据计划阶段的主要活动，包括主数据标准化体系结构、主数据集成体系结构、主数据安全体系结构(数据减影、数据权限)和操作管理体系结构(组织、系统、流程、管理规