数据管理-元数据管理建设案例标准

数据管理元数据管理&建设&案例&标准CCONTENTS目录2元数据规划与建设3元数据应用案例4CWM-元数据建设标准参考元数据管理语境图33元数据管理-基本概念-概念引入促进实现数据战略数据应用与服务11数据仓库和商务智能促进实现数据战略数据应用与服务11数据仓库和商务智能数据处理伦理数据管理14大数据和数据科学核心领域理核心领域理支撑支撑支撑组织保障基础设施06数据存储和操作08数据集成和互操作16数据管理组织与角色期望17数据管理和组织变革管理数据治理元数据管理-引言n元数据最常见的定义是“关于数据的数据”。不仅包括技术和业务流程、数据规则和约束，还包括逻辑数据结构与物理数据结构等。它描述了数据本身（如数据库、数据元素、数据），应用系统、软件代码、技术基础设施），数据与概念之间的联系（关系）元数据管理重要作用：帮助组织理解其自身的数据、系统和流程，同时帮助用户评估数据质量，对数据库与其他应用程序的管理来说是不可或元数据对于数据管理和数据使用来说都是必不可少的。在整个组织中，不同的人拥有不同层面的数据知识，但没有人知道关于数据的一切。元数据管理不仅是知识管理面临的一个挑战，还是风险管理的一个必要条件，元数据可以确保组织识别私有的或敏感的数据，能够管理数据的生命周期，以实现自身利益，满足合规要求，并减少风险敞口。如果没有元数据，组织就不能将其数据作为资产进行管理；就不知道它拥有什么数据、数据表示什么、数据来自何处、它如何在系统中流转，谁有权访问它等；如果没有元数据，组织可能根本无法管理其数据。技术元数据已经成为数据迁移和集成方法中不可或缺的一部分，元数据注册标准ISO/IEC11179旨在基于精确数据定义，在异构环境中实现以元数据为驱动的数据交换。随着企业采集和存储的能力提升，要实现数据驱动，组织必须先实现元数据驱动元数据管理-业务驱动因素n元数据有助于采用一致的方式表示信息、简化工作流程以及保护敏感信息，尤其是在已有监管合规要求的情况下。可靠元数据有助于（10点）元数据管理不善导致（5点）n通过提供上下文语境和执行数据质量检查提高数据的可信度n通过扩展用途增加战略信息（如主数据）的价值n通过识别冗余数据和流程提高运营效率n防止使用过时或不正确的数据n减少数据的研究时间n改善数据使用者和IT专业人员之间的沟通n创建准确的影响分析，从而降低项目失败的风险n通过缩短系统开发生命周期时间缩短产品上市时间n通过全面记录数据背景、历史和来源降低培训成本和员工流动的影响n满足监管合规n冗余的数据和数据管理流程。n重复和冗余的字典、存储库和其他元数据存储。n不一致的数据元素定义和与数据滥用的相关风险。n元数据的不同版本相互矛盾且有冲突，降低了数据使用者的信心。n怀疑元数据和数据的可靠性。良好的元数据管理工作，可以确保对数据资源的一致理解和更加高效的跨组织开发使用。元数据管理-目标与原则1.记录和管理与数据相关的业务术语的知识体系，以确保人们理解和使用数据内容的一致性。2.收集和整合来自不同来源的元数据，以确保人们了解来自组织不同部门的数据之间的相似与差异。3.确保元数据的质量、一致性、及时性和安4.提供标准途径，使元数据使用者（人员、系统和流程）可以访问元数据。5.推广或强制使用技术元数据标准，以实现数据交换1.组织承诺。确保组织对元数据管理的承诺（高级管理层的支持和资金），将元数据管理作为企业整体战略的一部分，将数据作为企业资产进行管理。推动需求，这些需求应在评估、购买和安装元数据管理产品之前定义。元数据战略必须与业务优先级保持一致。3.企业视角。从企业视角确保未来的可扩展性，但是要通过迭代和增量交付来4.潜移默化。宣导元数据的必要性和每种元数据的用途；潜移默化其价值将鼓励业务使用元数据，同时也为业务提供知识辅助。5.访问。确保员工了解如何访问和使用元数据。6.质量。认识到元数据通常是通过现有流程（数据建模、SDLC、业务流程定义）生成的，所以流程所有者应对元数据的质量负责。7.审计。制定、实施和审核元数据标准，以简化元数据的集成和使用。8.改进。创建反馈机制，以便数据使用者可以将错误的或过时的元数据反馈给元数据管理团队元数据管理-基本概念6、元数据4、非结构化数据元数据6、元数据4、非结构化数据元数据架构类型●●●1、元数据与数据5、元数据来源31、元数据与数据5、元数据来源元数据管理-基本概念-元数据与数据n元数据也是一种数据，应该用数据管理的方式进行管理n一些组织面临的一个问题是，如何在元数据和非元数据之间划分界限。从概念上讲，这条边界与数据所代表的抽象级别有关。n为了管理元数据，组织不应该担心理论上的区别，相反他们应该定义元数据需求，重点关注元数据能用来做什么（创建新数据、了解现有数据、实现系统之间的流转、访问数据、共享数据）和满足元数据管理-基本概念-元数据类型（1）元数据通常分为三种类型：业务元数据、技术元数据和操作元数据。类别也可能导致混淆。最好是根据数据的来源而不是使用方式来考虑这些类别。息息节操作 元数据管理-基本概念-元数据注册标准nn信息技术之外的领域，如在图书馆或信息科学中，元数据被描述为不同的类别：描述元数据、结构元数据、管理元数据n描述资源并支持识别和检索，如标题、作者和主题等n描述资源及其组成组件之间的关系，如页数、章节等n用于描述管理生命周期的元数据，如版本号、存档日期等管理元数据描述元数据nnISO的元数据注册标准ISO/1EC11179中提供了用于定义元数据注册的框架，旨在基于数据的精确定义，从数据元素开始，实现元数据驱动的数据交换。该标准由以下几部分组成第1部分：数据元素生成和标准化框架。第2部分：数据元数据分类。第3部分：数据元素的基本属性。第4部分：数据定义的形成规则和指南。第5部分：数据元素的命名和识别原则。第6部分：数据元素的注册。元数据管理-基本概念-非结构化数据的元数据描述元数据构化数据的元数据如来源、更新计划、访问权限和导航信息L如存储描述元数据构化数据的元数据如来源、更新计划、访问权限和导航信息L如存储、归档条件和保存规则结构元数据管理元数据保存元数据n非结构化数据（文件、文档和内容）管理在大数据技术的背景下，出现了新的实践：1.大多数人断言非结构数据的元数据管理与传统的内容管理问题相关，但是围绕着数据湖中的非结构化数据管理出现了新的实践。2.希望利用数据湖、使用Hadoop等大数据平台的组织发现，他们必须对采集的数据进行编目，以便以后访问。3.在多数情况下，收集元数据作为数据采集流程的一部分，需要收集关于在数据湖中采集的每个对象的最小元数据属性集（如名），元数据管理-基本概念-元数据来源n元数据的来源各异。元数据通常是作为应用程序处理的副产品而不是最终产品创建的（它不是为消费而创造的）。与其他形式的数据一样，在元数据集成之前，还需要做大量的准备工作。n对现有系统中的数据进行逆向工程，并从现有数据字典、模型和流程文档中收集业务元数据。但这样做是有风险的，最大的风险在于一开始不知道在开发和细化这些定义时需要花费多少精力。n最好是有意识地重新定义而不是简单地接受现有定义。定义的确定需要时间和正确的技能（如写作和辅导技能），这就是业务元数据的开发需要专职岗位的原因n管理数据库所需的大部分技术元数据和使用数据所需的业务元数据，可以作为项目工作的一部分进行收集和开发。数据模型本身包含数据物理特征的重要细节，应在这些工作上分配足够的时间，以确保项目产出物包含符合企业标准的高质量元数据n定义良好的业务元数据可以在不同的项目中重复使用，并促进在不同数据集的业务概念得到一致理解。组织还可以有意规划元数据的集成作为开发元数据的一部分，以便元数据可以重复使用。n为元数据本身而创建元数据很少能行得通，它应该作为有明确定义流程的产品而创建，使用可以保障整体质量的工具，管理员和其他数据管理专业人员应确保有适当的流程来维护与这些流程相关的元数据。元数据管理-基本概念-元数据来源（1）应用程序中元数据存储库元数据管理-基本概念-元数据来源（2）数据集成工具数据库管理与数据质量工具元数据管理-基本概念-元数据来源（3）建模工具和存储库服务注册其他元数据存储元数据管理-基本概念-元数据架构类型（1）分布式元数据架构分布式元数据架构名称n由单一的元数据存储库组成，包含来自各种不3）解决了数据库结构问题，使其不受第三方或n一个完全分布式的架构中维护了一个单一的接n没有集中式元数据存储库，门户会将用户而不需要详细了解专有数据结构，因此最大、集中式元数据架构集中式元数据架构元数据管理-基本概念-元数据架构类型（2）n源系统的可用性是一个限制，因为后端系统的分布式特性处理查询。在将结果集呈现给最终用户之前，需要用额外的系统开销将这些初始结果与中央存储库中的元数据扩展n源系统的可用性是一个限制，因为后端系统的分布式特性处理查询。在将结果集呈现给最终用户之前，需要用额外的系统开销将这些初始结果与中央存储库中的元数据扩展n混合架构不会提高系统可用性。对于大多静态元数据或元数据量较小元数据增量的组织来说，可能无法发挥这种架nn该架构得益于从源头近乎实时地检索元数据和扩充元数据，可在需要时最有效地满足用户需求。混合方法降低了对专有系统进行手动干预和自n基于用户的优先级和要求，元数据在使用时尽可能是多组织都可以从混合架构中受益，包括那些具有快速变化的操作元数据混合式元数据架构混合式元数据架构n双向元数据架构，它允许元数据在架构的任何部分（源、数据集成、用户界面）中进行更改，然后将变更从存储库（代理）同步到其原始源以实现反馈。n双向架构这种方法存在各种挑战元数据管理-活动-定义元数据战略定义元数据战略定义元数据战略理解元数据需求定义元数据架构创建和维护元数据查询、报告和分析元数据nn元数据战略描述组织应如何管理其自身元数据，以及元数据从当前状态到未来状态的实施线路。元数据战略应该为开发团队提供一个框架，以提升元数据管理能力。开发元数据需求，可以帮助阐明元数据战略的驱动力，识别潜在障碍并克服它。n元数据战略包括定义组织元数据架构蓝图和与战略目标匹配的实施步骤。启动计划组织访谈规划设计启动元数据战略计划。启动和计划的目的是保证元数据战略团队可以定义出短期和长期目标。计划包括起草与整体治理措施一致的章程、范围和具体目标，然后展开沟通计划以落实治理措施。关键利益相关方应参与计划制订。组织关键利益相关方的访谈。通过对业务人员和技术人员的访谈，可以得到元数据战略的基础知识。评估现有的元数据资源和信息架构。评估确定解决元数据和系统问题的难度，在访谈和文档复查中识别这些问题。在此阶段，对关键IT员工做进一步访谈，审查系统架构、数据模型等文档。开发未来的元数据架构。优化和确认未来愿景，开发可以满足管理现阶段元数据环境长期目标的元数据架构。这个阶段必须考虑战略组成部分，如组织架构、与数据治理所需的管理人员一致、受控的元数据架构、元数据交付架构、技术架构和安全架构。制订分阶段的实施计划。从访谈和数据分析中验证、整合、确定结果的优先级，发布元数据战略，并定义分阶段的、可以从当前状态迈向未来受控的元数据环境的实施方法。元数据管理-活动-理解元数据需求定义元数据战略定义元数据战略理解元数据需求定义元数据架构创建和维护元数据查询、报告和分析元数据nn元数据需求的具体内容是：需要哪些元数据和哪种详细级别；如需要采集表和字段的物理名称和逻辑名称。元数据综合解决方案由以下功能需求点组成1.更新频次。元数据属性和属性集更新的频率。2.同步情况。数据源头变化后的更新时间。3.历史信息。是否需要保留元数据的历史版本。4.访问权限。通过特定的用户界面功能，谁可以访问5.存储结构。元数据如何通过建模来存储6.集成要求。元数据从不同数据源的整合程度，整合的规则。8.管理要求。管理元数据的角色和职责。9.质量要求。元数据质量需求。10.安全要求。一些元数据不应公开，因为会泄露某些高度保密数据的信息元数据管理-活动-定义元数据架构（1）定义元数据战略定义元数据战略理解元数据需求定义元数据架构创建和维护元数据查询、报告和分析元数据n元数据管理系统必须具有从不同数据源采集元数据的能力，设计架构时应确保可以扫描不同元数据源和定期地更新元数据存储库，系统必须支持手工更新元数据、请求元数据、查询元数据和被不同用户组查询。n受控的元数据环境应为最终用户屏蔽元数据的多样性和差异性。元数据架构应为用户访问元数据存储库提供统一的入口，该入口必须向用户透明地提供所有相关元数据资源，这意味着用户可以在不关注数据源的差异的情况下访问元数据n组织根据具体的需求设计元数据架构。与设计数据仓库相似，建立公共元数据存储库通常有三种技术架构方法：集中式、分布式和混合式。这些方法都考虑了存储库的实现以及更新机制的操作方式。n定义元数据架构步骤：创建元模型、应用元数据标准、管理元数据存储n创建一个元数据存储库的数据模型，也叫元模型，是定义元数据战略和理解业务需求后的第一个设计步骤。可以根据需求开发不同级别的元模型；高级别的概念模型描述了系统之间的关系，低级别的元模型细化了各个属性，描述了模型组成元素和处理过程。作为一种规划工具和表达需求的方案，元模型本身也是一个有价值的元数据源。元数据管理-活动-定义元数据架构（2）定义元数据战略定义元数据战略理解元数据需求定义元数据架构创建和维护元数据查询、报告和分析元数据nn应用元数据标准：元数据解决方案应遵循在元数据战略中已定义的对内和对外的标准，数据治理活动应监督元数据的标准遵从情况。组织对内元数据标准包括命名规范、自定义属性、安全、可见性和处理过程文档，组织对外元数据标准包括数据交换格式和应程序接口设计。n管理元数据存储：实施控制活动以管理元数据环境。存储库的控制活动是由元数据专家执行的元数据迁移和存储库更新的控制。这些活动本质是可管理的、可监控的、可报告的、可预警的、有作业日志的，同环境的各种问题。许多控制活动是数据操作和接口维护的标准，控制活动应受到数据治理过程的监督。控制活动质量控制活动元数据管理活动培训活动控制活动质量控制活动元数据管理活动培训活动元数据管理-活动-创建和维护元数据定义元数据战略理解元数据需求定义元数据架构创建和维护元数据查询、报告和分析元数据 集成与整合元数据分发和传递元数据n元数据方案通常与商务智能方案有联系，所以元数据方案的范围元数据管理-活动-查询、报告和分析元数据定义元数据战略定义元数据战略理解元数据需求定义元数据架构创建和维护元数据查询、报告和分析元数据nn元数据指导如何使用数据资产：在商务智能（报表和分析）、商业决策（操作型、运营型和战略型）以及业务语义（业务所述内容及其含义）方面使用元数据。n元数据存储库应具有前端应用程序,并支持查询和获取功能，从而满足以上各类数据资产管理的需要。n提供给业务用户的应用界面和功能与提供给技术用户和开发人员的界面和功能有所不同，后者可能会包括有助于新功能开发（如变更影响分析）或有助于解决数据仓库和商务智能项目中数据定义问题（如数据血缘关系报告）的功能。工具作用元数据管理-工具工具作用n管理元数据的主要工具是元数据存储库。元数据存储库包括整合层和手工更新的接口。处理和使用元数据的工具集成到元数据存储库中作为元数据来源n提供了在集中位置（存储库）管理元数据的功能。元数据可以手动输入，也可以通过专门的连接器从其他各种源中提取。n元数据存储库还提供与其他系统交换元数据的功能n元数据管理工具和存储库本身也是一种元数据的数据源，特别是在混合型元数据架构模型或大型企业n元数据管理工具允许已采集的元数据与其他元数据存储库进行交换，支持采集多种多样的、不同来源的元数据到中央仓库中，支持有差异的元数据在两个存储库迁移时进行提炼和标准化元数据管理-方法-数据血缘和影响分析（1）数据血缘实现方法数据血缘实现方法血缘创建血缘创建作用作用元数据管理-方法-数据血缘和影响分析（2）nn随着系统中数据元的大量增加，数据血缘关系的发现变得复杂且难以管理。为了成功实现业务目标，需要计划和设计一个策略来发现和采集元数据到元数据存储库。要想成功发现数据血缘关系，需要兼顾业务焦点和技术焦点业务焦点技术焦点业务焦点技术焦点n根据业务优先级寻找数据元的血缘关系。从目标位置回溯到具体数据起源的源系统。通过扫描那些发生迁移、传送或更新的数据元，确保业务数据使用者理解特定数据元在系统间迁移时发生了什么。n从源系统开始识别直接相关的数据使用者，依次识别间接的数据使用者，直到识别出所有系统为止。技术人员可以从这个系统的识别策略中获益，有助于回答各种各样的数据问题。元数据管理-方法-应用于大数据采集的元数据n大部分数据管理专业人员更熟悉和适应结构化数据存储，结构化数据的每个数据项都有清晰的定义和标记。然而，如今越来越多的数据以非结构化格式存储，这些非结构化数据源来自组织的内外部。n无论是内部，还是外部，都不再需要移动数据到物理环境下同一位置。通过新技术，程序将围绕数据，而不是把数据移动到程序里，这样可以减少大量的数据移动，并提高程序执行速度。n数据湖中的成功数据管理依然依赖于管好元数据。n元数据标签应在采集时应用于数据，然后元数据可以用来识别可访问的数据湖中的数据内容。大部分采集引擎采集数据后进行数据剖析，数据剖析可以识别出数据域、数据关系和数据质量问题，并打上标签。采集数据时，识别到敏感或隐私（如个人身份信息、，PPI）数据时应添加元数据标签。元数据管理-实施指南n使用渐进的步骤建设实施受控的元数据管理环境，可减少组织的风险，并便于用户接受。使用开源的关系型数据库平台来实施元数据存储，可以应对实施存储库项目开始时可能无法预料的各种控制和接口问题。n存储库的内容在设计上应该是通用的，而不只是反映源系统的数据库设计。应基于易理解的元数据模型与企业领域专家共同进行设计。规划设计时应考虑集成元数据，以确保数据使用者无须关注数据源的差异。n通常来说，第一个实施的是验证概念并学习管理元数据环境的试点项目。把元数据相关项目与IT开发方法论整合是必要的。就绪评估/风险评估组织和文化变革），元数据管理-元数据治理（1）n组织应确定他们管理元数据生命周期的具体需求，并开展元数据治理工作以满足这些需求。建立正式的角色和职责并分配专用资源，特别是在大型或业务关键领域中。负责管理元数据的团队可在创建和使用元数据的过程中对管理原则进行验证测试。过程控制元数据解决方案的文档n数据管理团队应负责定义标准和管理元数据的状态变化同时可以负责组织内的质量提升活动、培训计划或实际培训活动。n更成熟的元数据治理需要通过多个不同阶段和状态的决策来确定业务术语和定义，治理团队还可以管理与业务术语关联的其他术语，以及术语的分类和分组。n需要将元数据战略集成到软件开发的生命周期中，确保变更过的元数据及时得到收集，以确保元数据保持最新。n元数据的主目录包括当前作用域中的源和目标。n元数据资源面向技术及业务用户，可发布到用户社区，并可作为数据管理实施状态。2）源和目标元数据存储。3）元数据更新的调（如缺失的值）。7）记录系统和其他数据源状态（如数据内容历感信息和数据源的移除或脱敏策略。n文件和内容管理中，数据地图展示了类似的信息。整个元数据整合系统的全景视图也作为元数据文档的一部分进行维护元数据管理-元数据治理（2）元数据解决方案的文档元数据解决方案的文档CCONTENTS目录223元数据应用案例4CWM-元数据建设标准参考元数据规划与建设3元数据应用案例4CWM-元数据建设标准参考元数据规划与建设元数据n元数据最常见的定义是“关于数据的数据”。不仅包括技术和业务流程、数据规则和约束，还包括逻辑数据结构与物理数据结构等。它描述了数据本身（如数据库、数据元素、数据模型），数据表示的概念（如业务流程、应用系统、软件代码、技术基础设施），数据与概念之间的联系（关系）于要入库数据的表格，以便于管理和查阅。填好这张关于要入库光盘的表格，就是这张光盘中数据的元数据！而这一张表格所规定的要填写的内容（以及填写规定），就可以看作是这个单位内部的“元数据标准”！元数据的理解n关于数据的结构化数据；用于描述数据的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等信息的数据，是数据与数据用户之间的桥梁;资源的信息；编目信息；管理、控制信息；是一组独立的关于资源的说明；定义和描述其它数据的数据。知识类型应用示例Who谁谁提供？谁加工？谁使用？谁是采购订单的负责人？What干什么或是什么有什么资源？资源的内容是什么？企业市场管理业务域的指标体系包含哪些指When什么时候提取、转换和加载（ETL）作业什么时候运行？什么时间可以使用？什么时间可以提供？什么时间用的？最新版的库存周转率报表是什么时候？Where在哪里信息从哪里来？需要的信息在哪里？信息到哪里去？在哪里使用？在哪里可以快速找到供应商的评估信息？How如何发布？如何查找？如何呈现？如何使用？如何管理如何获得产品的竞争优势？Why出现数据质量问题的根本原因是什么？为什么老客户会不断流失？元数据类型（根据应用领域）类别DAMA定义说明主要内容nn让人们更容易理解和使用业务元数据。元数据消除了数据二义性，让人们对数据有一致的认知，进而为数据分析和应用提供和检核结果、数据溯源、有效值约束、数据所有者、数据的安全或敏感级别、 数据使用说明n主要关注数据的内容和理相关的详细信息nn提供有关数据的技术细节、存储数据的系统以及在系统内和系统之间数据流转过程的信息技术元数据是对数据的结构化，方便计算机或数据库对数据进行识别、存储、传输和交换。技术元数据可让开发人员更加明确数据的存储、结构，从而为应用开发和系统集成奠定基础。也可让业务人员更快速地找到想要的数据，进而对数据的来源、去向、血缘追溯的分析。ETL抽取加载转换信息、数据存储文件射文档、恢复和备份规则。nn描述了处理和访问数据的细节Ln操作元数据描述数据的操作属性，明确管理属性有利于数据管理责任到部门和个人，是数据安全管理的基础。和执行时间、备份、保留、创建日期、操作应用程序中元数据存储库数据映射业务术语表数据质量工具应用程序中元数据存储库数据映射业务术语表数据质量工具建模工具和存储库数据字典参考数据库数据集成工具服务注册事件消息工具其他元数据存储数据库管理与元数据常用来解决的业务痛点规划人员在哪？数据的含义是什么？业务快速要出结果，这么多开发工具适配真复杂，犹如大海010203缺乏完整体系化的数据开发服务平台治理能力不足应用价值低元数据解决的问题及应用价值企业数据资产管理的困惑庞大的数据资产如何管理？形态万千、散落在企业各处的数据资产如何管理？数据资产之间的关系怎样？如何让数据资产正确、有效的被使用并产生价值？元数据应用价值对数据再组织并形成全局性的视图；帮助用户更好的理解各环节的数据和系统的建设现状；是保障企业数据质量的基支持企业信息化的知识传提升数据平台建设和管理元数据管理目标建立规范的数据资产体系提高数据共享提高数据建立规范的数据资产体系提高数据共享提高数据n满足用户对业务和数据理解的需求，建立统一口径、标准规范的数据资产及指标体系，建立标准的企业内部知识传承的信息承载平台，建立业务分析知识库，实现知识共享；可以回答如下问题：n真个企业的数据资产有哪些数据？数据资产在哪里？数据口径如何统一？计算指标如何统一？数据之间的关系如何、数据的上下游关联数据是什么？那些呆滞料的库存金额最高？目前公司供应商信息在哪里可以那些？数据仓库中的存储过程是谁写的？它用来干什么？现在还有在用吗？…n形成集中可统一管理和服务的元数据资产目录，为使用者提供统一的数据资产发现和定位服务，实现集团、公司、单位间数据资源共享和交换的数据资源管理体系，减少IT开发和重复投资。n让用户能够清晰地了解数据仓库中数据流的来龙去脉、业务处理规则、转换情况等，提高数据的溯源能力，支持数据仓库和BI成长需求。稽核体系n通过非冗余、非重复的元数据信息提高数据完整性、准确性。元数据管理解决的问题是如何将业务系统中的数据分门别类地进行管理，建立报警、监控机制，出现故障时能及时发现问题，为数据仓库的数据质量监控提供基础素材。数仓和商务智能的建设往往源于公司战略和业务能力的提升n数据决策者根据集团战略制定的KPI目标，选取业务价值高、涉及面广的业务域或数据专题进行专项改造，通过主题库和数仓建设建设来实现集团数据资产体系（主要数据资产目录和元数据）和商务智能决策的应用，从从保证集团业务能力的提升及集团KPI指标落地。业务能力提高数仓建设（含主数仓建设（含主实现集团战略价值高的业务域价值高的业务域KPI或数据驱动KPI或数据驱动数据资产应用数据资产应用元数据管理流程n从技术层面来看，元数据管理的技术主要包括元数据采集&存储、元数据管理、元数据应用和元数据接口等。数据开发者（企业或部门）数据管理者元数据使用者⑥⑥①⑥①①元数据分析领导检索元数据领导检索元数据资产台账数据开发⑤⑤元数据编辑数据需求提出元数据元数据编辑数据需求提出元数据发布④⑦资产目录⑦元数据采集数据仓库⑧③数据仓库⑧数据受理审批数据受理审批数据使用元数据存储元数据库元数据库应用开发者⑨应用开发者⑨元数据发布和维护元数据应用数据采集和存储元数据发布和维护元数据应用数据采集和存储元数据采集在这个过程中，元数据采集不仅要能够适配各种2.NoSQL数据库：元数据采集工具应支持来自MongoDB、CouchDB、Redis、Neo4j、HBase等NoSQL数据库中的元数据，NoSQL数据库适配器多4.云中的元数据：云端企业元数据管理通过各种上下文改善信息访问，并将实时元数据管理、机器学习模型、元数据API推进流数据管道，可更5.其他元数据适配器：ETL工具：PowerCenter、DataStage、Kettle等ETL工具适配器；BI工具：Cognos、PowerBI等前端工具中的二维报表元数据基于标准的中央元数据管理基于标准的中央元数据管理元数据管理参考n从技术的角度看，元数据管理一般包括元模型管理、元数据审核、元数据维护、元数据版本管理、元数据变更管理等功能。n是对信息对象的基本信息、属性、被依赖关系、依赖关系、组合关系等元数据的新增、修改、删除、n元数据维护是最基本的元数据管理功能之一，技术人员和业务人员都会使用这个功能查看元数据的基本信息。版本管理元数据应用-数据资产地图n按数据域对企业数据资源进行全面盘点和分类，并根据元数据字典自动生成企业数据资产的全景地图。该地图可以告诉你有哪些数据，在哪里可以找到这些数据，能用这些数据干什么。n可以按照业务能力域，数据主题域，业务部门、数据类型进行快速搜素数据资源。元数据应用-元数据血缘分析n数据血缘是体现数据产生、加工处理、流转流通到最终销毁的过程；元数据血缘分析会告诉你数据来自哪里，经过了哪些加工。其价值在于当发现数据问题时可以通过数据的血缘关系追根溯源，快速定位到问题数据的来源和加工过程，减少数据问题排查分析的时间和难度。元数据应用-冷热度分析n元数据冷热度分析会告诉你哪些数据是企业常用数据，哪些数据属于僵死数据。其价值在于让数据活跃程度可视化，让企业中的业务人员、管理人员都能够清晰地看到数据的活跃程度，以便他们更好地驾驭数据，处置或激活僵死数据，从而为数据的自助式分析提供支撑。元数据应用-运营驾驶舱元数据应用-共享服务化n建立元数据查询、访问的统一接口规范，以将企业核心元数据完整、准确地提取到元数据仓库中进行集中管理和统一共享。根据反馈情况调整修改服务建设方服务需求方服务建设方服务需求方建设元数据资产数据引擎创建服务API发布服务API服务API上线反线务 务限限数据应用全链路分析模型数据端产品端数据端产品端监控点配置全链路追踪统一元数据中心元数据管理-元数据管理从企业级出发，企业级元数据管理需要具备的基本能力要想真正实现企业级元数据的集成，要想真正实现企业级元数据的集成，只靠这能力是不够的，企业必须不断地提升自己的技术实力，在这些能力的基础上达到更高的要求1、在数据被加载时，就能够获取和补充元数据2、通过各行业专家使用数据的方法定义出众包元数据，并将这些元数据与机器学习结合3、支持复杂的多厂商环境，能提供端到端的数据血4、将语义建模与非模型化的灵活性相结合，使用图形化的表示方法，帮助企业更高效地建立一个全面精确的业务领域模型1、元数据存储库——信息管理者用其来定义和管理元数据，以方便利用元数据进行分析，他们也可以利用此库来发布关于可重复使用资产的信息，让用户能在生命周期活动中（例如设计、测试和版本管理等）浏览元数据。2、业务术语——用来管理企业业务术语以及这些术语之间关系的库。3、数据血统——分析数据的起源和数据随着时间的流向，描述多个过程中数据发生了什么，数据血统还可以帮助企业分析信息的使用细节，对关键信息进行跟踪。4、影响分析——描述了信息之间依赖性的细节，分析一个数据源发生变化时带来的影响。5、符合MOF规范——MOF规范位于模型体系最底层，是所有模型体系规范的基础，UML，CWM都是由MOF扩展而来，元数据围绕MOF设计和扩展，不用修改元数据管理核心部分，就可以适应元数据种类的不断扩展。6、语义框架——包括对分类的支持，实体关系（ER）模型、本体和模型语言，例如RDF、OWL和UML。7、元数据获取和翻译——使用多种技术作为桥梁，来应对不同的数据源CCONTENTS目录2元数据规划与建设2元数据规划与建设3元数据应用案例3元数据应用案例4CWM-元数据建设标准参考4CWM-元数据建设标准参考基于专业元数据标准进行CIM（公共数据模型）设计nn在DAMA元数据标准和指南中提到：在与业务贸易伙伴交换数据时，元数据标准是必不可少的。为了支持共享信息的最佳使用，需要共享公共元数据，这催生了许多专业领域的标准。在计划周期的早期采用基于行业的、行业特有的元数据标准，并使用这些标准评估元数据管理技术。n技术元数据已经成为数据迁移和集成方法中不可或缺的一部分，元数据注册标准ISO/IEC11179旨在基于精确数据定义，在异构环境中实现以元数据为驱动的数据交换。IEC-CIM实现了电力行业同构或异构系统之间互操作采用数据元管理方法Andcoding将相同主题数据集归并在一起，不同主Andcoding将相同主题数据集归并在一起，不同主题数据集区分开.分类体系编码体系eee不同类别的数据集ewwww对数据集外部特征的描述,包括标识、内容、质量等信息.按主题按活动按主题按活动对数据集组织方式的描述,包括主题域、类关系和实体属性等对数据集内部基本元素的规范化描述对数据集内部基本元素的规范化描述,包括标识、定义等.公共数据模型设计过程n元数据资产体系主要根据按照面向对象的设计方法和对公司核心业务管理实体的抽象公共数据模型设计概览公共数据模型公共数据模型产品市场设备电网安全l2个主题域客户产品市场设备电网安全l2个主题域客户综合财务物资人资综合财务物资人资 04设备 04设备02产品0302产品03市场05电网01客户客户产品市场设备65个二级主题域06安全 07财务财务 09人资 07财务财务 09人资 物资 08资产资能物资财务综合人资资产物资财务综合人资 947个实体 947个实体 9929个属生元数据资产体系概览CIM平台管理示例•版本管理：•版本管理：一个模型存在多个实例，即多个版本，根据不同的场景启用不同的版本。•模型管控：对模型属性的查重、数据元的查重，保证模型属性全局的一致性。•数据元管理：对数据类型的基