主数据管理：建立企业信息的单一视图.doc

主数据管理：建立企业信息的单一视图by Colin White, Claudia ImhoffMDM的定义The whole is more than the sum of the parts. -Aristotle 整体比部分相加之和的内容要多。亚里斯多德这句亚里斯多德的哲学名言，很适合来描述主数据管理（MDM，master data management）。MDM主要关注于研究、分类和访问企业内的重要数据。也就是说，MDM帮助你理解企业内的每一份数据，包括客户、产品、场所和其他的主要的主题域等内容。在这篇研究文章中，清晰的给出了MDM的定义，详细说明了建立MDM将会产生的收益和结果，也说明了建立MDM需要的各种技术，以及实现MDM的实践步骤。为了更深入的解释MDM，说明它的好处和用法，本篇文章中列举了很多实际的案例。其中每一个案例都是从实际的业务出发，通过对业务和技术问题的分析，总结了一套实现MDM的方法和技巧。通过这套方法，可以避免实现中的一些缺陷，增加实现的成功率。为什么需要主数据管理？主数据管理：定义我们从定义MDM是什么开始，关于这个问题有两种观点，分别对应于MDM这个词组的重音位置的不同。1主数据管理或者称为管理主数据。这包括建立和维护主数据的一些管理性的应用。例如，客户数据整合（CDI，customer data integration），产品信息管理（PIM，product information management），以及用来管理类似数据主题的其他应用。2主数据管理或者称为数据管理之后的一系列管理过程。这包括整合企业数据（包括主数据）所需要的基础结构和技术。例如ETL（extraction, transformation, and load）和EII（enterprise information integration）等技术。从本篇研究文章的目的出发，我们采用第一种观点，即认为MDM的功能是管理各种类型的主数据。当然，第二种观点中涉及的基础结构和技术对支持MDM处理过程和应用也都是必要的。我们对MDM的官方定义为：A set of disciplines, applications, and technologies for harmonizing and managing the system of record and system of entry for the data and metadata associated with the key business entities of an organization. 主数据管理是一系列的规则、应用和技术，目的是为了协调和管理与企业的核心业务实体相关的系统记录和系统登录中的数据和元数据。在这篇文章中提及了一些专有名词，这些名词对理解本文很重要。这些名词的定义在文章末尾的附录A中。在继续阅读这篇文章前，请先熟悉这些名词。MDM的内容简单的说，主数据是企业内关于核心业务实体的参照数据。这些业务实体包括：1人员例如，客户，雇员（人力资本），供应商，合伙人等。2事物包括产品，财务（分类帐），资产等。3场所企业感兴趣的位置和地点。4其他关键实体企业感兴趣的其他数据。每个企业都会有自己特有的关键实体。图1：主数据包括很多业务实体，如客户主数据、产品主数据、财务主数据及其他主数据等。 图略。MDM应用包括一系列的处理过程，这些处理过程包括整合、存储、维护企业内业务实体的特定实例，如将企业内地理位置数据、产品数据和客户数据等做标准化处理。完整的维护后，主数据就成为了这些实体的系统记录（SOR，system of record），也就是说，对于每一个实体，MDM中提供的数据就是该数据的完美的最终版本。这些数据也是企业内参照数据的最终版本。讨论一下哪些数据不包括在我们对MDM的定义内，也同样是非常重要的事情。MDM应用不会保存那些和业务实体相关的特定业务处理数据（BTx，business transaction），例如与客户实体相关的帐户余额信息、取款信息。这些业务处理系统产生的数据会被整合到操作数据存储（ODS，operational data store）中。而BTx的历史数据会保存在商业智能（BI，business intelligence）部件中，如数据仓库和数据集市。没有一个强制的规则，认为所有的主数据必须保存在MDM系统中。有些主数据的维护必须保留在业务处理应用（BTx）中，或者保留在外购应用，如前端的CRM中。这使企业的IT环境变得复杂，也给主数据的质量和准确性带来了挑战。这个主题我们会在本文的后面章节进行详细的讨论。MDM的业务目的通过对没有MDM的IT环境进行分析，我们可以很容易的理解MDM的业务目的。分析结果可以总结为下面的四个主要问题：1数据冗余没有MDM功能，企业内的每一个系统、应用、甚至业务部门都会收集自己版本的核心业务实体数据。最好的例子就是对客户数据的收集。客户的关键属性如客户名称和地址信息在企业内各个角落都被重复的记录着。非常遗憾的是，在这个收集客户信息的过程中，很少会产生相同或者一致的结果。这导致了一个很严重的问题（除了存储成本之外），数据冗余导致数据质量过差。根据The Data Warehousing Institute的一份报告（Data Quality and the Bottom Line, by Wayne Eckerson）显示，由于数据质量过差，企业每年的总共损失超过$600 billion，而且其中的大部分成本是因为冗余、低质量的主数据引起的。这也引起了下面提到的第二个主要问题。2数据不一致由于企业内主数据的不一致，导致企业大量的资源浪费，包括时间、金钱和人力资源等的浪费。判断企业内一个客户的真正地址或姓名是到底什么并不能增加企业的收入。而且非常不幸的是，因为没有一个存储机制用来保存比对过的客户数据，这种对客户数据进行一致处理的过程需要重复出现。3业务低效凌乱的主数据会导致各种业务低效的情况发生，如低生产力，低效的供应链管理，不一致的客户待遇，客户不满意，浪费市场部门的努力等。一个客户服务代表需要综合几个操作型系统去判断一个客户的真正状态，这不仅是低效的，而且有可能会由于信息的不全使客户产生不满意而逐渐失去这个客户。企业内的各种工作都显示出，凌乱的主数据管理严重降低了企业的效率。4业务变化企业内经常发生各种变化，如引入新的产品和服务，公司合并与吞并，新技术出现并成熟。这些企业内的各种变化都会导致企业主数据的变化，如果没有一套机制来管理这些变化，企业在数据冗余、数据不一致和业务低效等方面的问题就会不断加剧。MDM的案例没有MDM，企业缺乏关于他们客户、产品及其他核心业务实体的完整的视图，而这个完整的视图可以提供给企业预测和控制未来的能力。下面提供的四个关于MDM的案例中，每一个都有非常权威的业务目的。所有的这些都为了解决两个主要目标：增强企业的生产力和增强企业的收益率。HoneywellHoneywell公司部署了一个关于客户管理的MDM方案，通过这个MDM方案，可以为客户提供更好的服务，为企业提供新的机会。在这个方案中，能以各种单位来交互式的访问和分析采购数据及销售数据，这将会提高客户满意度、增加销售收入。这个方案不仅有企业高层的支持，也受到了销售组的强烈支持，他们认为通过使用这个系统可以更好的管理客户关系，可以得到更好的收益。Mentor Graphics为了提高生产力，Mentor Graphics建立了一个集中的MDM系统，这个系统整合并管理了销售、产品和组织的主数据，并按固定的时间间隔将其发布到业务处理系统和商务智能系统之中。业务用户可以通过这个系统控制主数据的变化，并将变化发布到企业内所有的系统，这也使他们对业务处理更加深了一步。这个系统为计划改编和重组提供了更好的工具和信息，提高了决策支持的能力。通过使用一个单独的系统来验证及核实主数据，数据的质量也得到了提高。A Nonprofit Member Organization对于非盈利性组织来说，他们面临的挑战是管理从外部数据源收集的所有数据，他们需要对这些数据进行精加工，确保这些数据的可靠性、一致性、可访问性和及时性。他们通过对业务规则的全面理解，建立了一个存储高质量的会员数据的知识库系统。这个系统帮助他们解决数据不一致的情况，验证了会员的名称和地址，并降低了市场的开销，减小了邮件成本，增强了服务的效率。这个方案免去了很多为了使数据可用而做的手工处理，尽管投资是在一个非盈利性的项目，但是企业的预算减少了。现在，业务人员可以花费更多的时间在分析数据上，而不必在格式化数据及清洗数据上花费时间。Match SupermarketsMatch Supermarkets需要以一种通用的格式组织企业内的数据，这样其他系统如操作型应用系统，EDI系统和数据仓库系统都可以很容易的访问这些数据。他们建立了一个实时的、事件驱动的MDM整合中心，在这个整合中心中保存了企业主数据的通用格式。这个整合中心将其中的通用格式的主数据发布到企业的每一个地方，增强了他们的操作型接口及EDI处理的效率。更详细的说明下面列出的四个公司对MDM应用的实现方式提供了更详细的说明，下面也列出了他们MDM产品的一些情况。IBM: 1Master Data Management Solution Overview 2Honeywell Case Study Hyperion: 1Master Data Management Solution Overview 2MentorGraphics Case Study DataFlux: 1Master Data Management Solution Overview 2Nonprofit Organization Case Study Sunopsis: 1Master Data Management Solution overview 2Supermarchs Match Case Study 关于MDM的误解由于MDM是一个相对较新的领域，业内对于MDM是什么、在企业内应该如何来实现等问题有一些不同的观点。下面列出了我们在研究中遇到的一些关于MDM的误解：1MDM是一个数据仓库或商业智能项目。这是不正确的，MDM既不是BI/DW项目，也不是操作型项目。MDM是另一类实现方式，它的建立对前面的两种环境都很有利。MDM可以使用操作型环境作为自己的数据源，但是一旦数据被清洗、整合、加载入MDM知识库后，这些数据就成为数据仓库、ODS、数据集市等的数据源或者SOR。2MDM仅仅为了维护企业内业务处理应用中数据的一致性。这也是不正确的。当然主数据可以维护这些系统中数据的一致性，但是它的作用不仅仅如此。作为SOR，主数据知识库可以作为各种系统、应用和环境的标