公司主数据管理研究与思考.docx

公司主数据管理研究与思考 摘要：公司规模不断扩大的过程中，由于业务的需求，公司内部存在许多应用系统，目前仅营销系统已达23个之多。由于每个系统中的数据存储方式和维护方式不同，因而各个应用系统之间将会出现分块的信息孤岛，不利于系统间的数据共享。同时，数据标准的不统一，错综复杂的数据对照和映射关系，使得公司无法及时并准确地进行数据分析工作。以上问题的存在，严重影响了公司的高层决策，并阻碍了数据资产价值的实现。对于电网企业，主数据是企业信息数据的重要组成部分，对主数据进行统一管理，可以大大提高企业的效益。目前，国内企业对主数据的重要性认识不足，企业内部没有统一的主数据标准，给企业的发展带来了阻碍。文章围绕公司存在的数据冗余、数据不一致的问题展开研究。在探索数据不一致的过程中，提出共享数据管理和基础数据标准化管理。由于共享数据管理已经很成熟，所以文章以基础数据标准化管理为研究重点，分别从数据结构维护，规则制定以及数据维护等方面进行详细介绍。通过基础数据管理系统使用交换集成方法实现不同系统间数据的传输，从而保证系统间数据的一致性。帮助其实现数据资产价值、推动业务创新、增强企业竞争实力。 一、研究背景 20世纪60年代电网企业的信息化开始起步。这期间，既有基础设施及应用软件的更新换代，也有单位、部门基于各自独特需求建立的信息管理系统。也就不可避免的形成信息“孤岛”及信息资源难以共享的问题。 数据是企业信息化的基础，而获得有用的数据来支撑各层决策是信息化发展的最终目标，因此数据管理是企业信息化的核心。随着数据的作用的凸显，其作为信息系统的基础必须牢固。那么如何确保数据的完整性、准确性、一致性就是十分严峻的问题。如果数据质量出现问题，轻者造成业务低效，重者造成重大决策失误，产生不良后果，因此，确保数据质量是一项长期的工作，包括数据的清理、数据的重组和规划等。 主数据是对业务对象所需的核心数据进行统一定义，它不会频繁变化，且可以被业务流程及其他应用引用。研究、实施主数据管理不仅可以向各应用系统提供经济、高效的数据服务，还可确保数据的完整性、一致性；主数据管理研究是通过对公共数据的发现和标准化描述来促进数据一致性管理，进而实现跨部门数据共享融合；主数据管理实施可以获得一致的企业数据视图，对部门的业务管理意义重大。 随着电网规模不断扩大、传统的数据管理已难以适应快速变化的需求，迫切需要加快推进主数据管理建设，实现数据管理规范化、标准化的目标。 二、研究现状 目前，国内部分先进企业已开始关注企业主数据管理的重要性，并进行了益尝试： Z银行针对缺乏统一的客户关系管理、信息孤岛难以消除、不能跨系统采集、共享数据、不能处理随机分析需求；难以获得管理信息的统一视图以及现有数据资源利用不够、信息重复录入等问题，有针对性的提出解决策略，即通过整合架构将信息资源从分布异构的子业务系统中剥离、获取银行?炔啃畔试吹耐骋皇油迹?以确保信息的一致性、准确性、以分析原始信息为基础能获取有关业务的洞察力用以支持决策。 国外欧美较成熟的企业，也经历了包括“信息孤岛”在内的系列“数据处理危机”问题。为解决这一系列问题，业界IBM、SAP等提出的主数据管理的理念。国外企业的主数据管理工作较为典型的有：西门子医疗系统，通过主数据管理形成了自动化的全球综合解决方案，主数据管理系统的建立促进了企业的利润最大化；美国XCEL公司目标是成为能源行业领袖，其业务遍布美国。为在节约业务时间、改进业务流程、提高客户满意度等方面取得成效，XCEL能源公司的后台数据库应用IBM的主数据管理工具进行了整合，帮助公司消除了信息孤岛、提供了企业统一的数据视图、支撑了企业关键决策、同时还提供了业务执行的全局数据支撑、并为业务趋势分析提供了可信的数据来源；AETNA公司是资产达199亿美元的保险公司，公司目标是：“致力于为客户提供全方位的服务同时有效控制其相关医疗成本”。该企业的具体做法是 “先于竞争对手应用主数据管理软件将分散的信息资源集中起来，并可提供一致的实时信息，以及时了解患者一系列情况。基于企业信息统一视图，公司各部门之间能够信息共享，并作出相应决策。 当前，国外欧美一些信息化程度较高的企业大多基于充分利用现有数据积累，避免重建信息系统对企业造成损失的双重考虑，将公司的主数据管理技术的重点放在对现有系统主数据的整合与管理方面，典型的有IBM、SAP等。但是，基于现有系统建主数据管理系统的先天不足就在于：大量的冗余数据、标准不统一、数据整合困难等。从成本效益分析来看，这种不完全的主数据管理较开发新系统而言产生的效益更高，更易于被多数企业所认同。 而就国内现有的信息化程度来看，实施西方企业已有较为成熟主数据管理方案并非最佳选择。但是，可以充分借鉴国外企业的经验教训，提前筹划主数据管理问题，在一系列信息系统的包袱尚未形成时，实施企业主数据管理。这就需要一条适合于公司的主数据管理路线，即基于对现有的业务流程分析，建立主数据管理体系，减少数据冗余，避免信息孤岛。 三、主数据管理研究内容 （一）业务目的 通过对现有信息系统环境进行分析，主数据管理的目的在于解决数据冗余、数据不一致、业务低效及业务变化四个主要问题。 数据冗余：公司每个业务部门、甚至每个系统、应用都会收集其业务范围的核心业务实体数据。典型例子：设备参数和客户数据在企业内各个角落都被重复记录着。但在收集设备与客户信息的过程中，只会产生少数相同或一致的结果。这将会导致除了存储成本之外的另一严重的问题数据冗余导致数据质量过差。 数据不一致：企业内主数据不一致导致大量资源浪费，如时间、成本以及人力资源等。判断企业内客户真实信息本身并不能增加企业利润。但却会因没有统一的业务口径、标准以及存储机制用来保存比对客户数据，使得对客户数据一致处理的过程重复出现而增加企业的成本消耗。 业务低效：杂乱无章的主数据会产生业务低效问题，如配网抢修管理，由于营配贯通不到位，配抢中心值班员需要综合几个系统数据去判断一个客户的真正位置，这不仅是低效的，而且有可能会由于信息的不全不畅、抢修超时，使客户不满意而投诉。企业内的各种工作都显示出，散乱的主数据管理严重降低了企业的效率。 业务变化：企业内经常发生各种变化，如开展新的业务或服务，组织机构变化，新技术出现。这些企业内的各种变化都会导致企业主数据的变化，如果没有适用的标准来管理这些变化，企业在数据冗余、数据不一致和业务低效等问题就会不断加剧。 （二）技术路线 1. 需求调研 （1）业务现状调研 针对公司业务现状，了解业务过程中涉及到的业务实体，从数据全生命周期视角来关注业务实体的数据在业务过程中是如何产生、应用和终结。例如，企业关注的客户实体，从数据全生命周期视角来看，客户的信息从哪个业务环节产生，在哪些业务环节使用，最后在什么条件下终结。 （2）业务系统现状调研 对企业的业务流程充分了解后，再对业务系统现状进行梳理，分析业务实体存在于哪些系统中，在各业务系统在应用过程中使用了业务实体的哪些属性，这些属性是在哪个系统中维护和更新。 （3）公司战略与规划调研 长远来看，有必要了解公司发展战略和业务规划，分析哪些数据目前没有、但未来可能会有共享需求，需要作为主数据进行管理，并在建立主数据管理体系时充分考虑未来主数据可能增加属性的需求，确保主数据模型的可扩展性。 2. 主数据的梳理和规划 （1）主数据梳理 在需求调研基础上，将各业务系统中梳理出来最核心的、有共享需要的基础数据纳入主数据管理目录，归集主数据应用属性，形成主数据管理体系。 （2）主数据规划 主数据管理体系形成后，将主数据划分层级为企业级和业务级。企业级主数据为公司各部门都有共享需求的数据，业务级的数据则为业务部门专用数据。 3. 主数据指标体系 （1）主数据描述 定义各主数据具有哪些属性，每个属性值的口径是什么，避免各个业务系统中数据口径或定义不一致。 （2）主数据质量标准 定义各主数据的所有属性值的合理性规则、完整性规则及数据质量审核流程。 （3）主数据归属 协调主数据归属，确定主数据归口管理部门，以及主数据属性的审核及?S护部门。 （4）主数据使用标准 主数据建成后，对主数据的使用进行规范，特别是敏感主数据，如客户私密信息，确定不同角色的主数据使用权限，以及各个系统之间的主数据使用接口。 （5）主数据的生命周期管理 定义每一个主数据的生命周期，明确各个主数据什么时候产生，以及什么情况下终结。 （三）主数据管理 1. 主数据的定义与标准化 主数据是在企业中可以共享的、数据标准一致的业务实体，是跨系统、跨平台、跨应用的基础数据的权威来源。 2. 主数据的清洗和整合 集中进行主数据的清洗和整合。通过数据治理、前后数据补全，得到标准的、干净的、连续的数据，供数据挖掘使用。 3. 主数据的分发与共享 以共享服务的方式把完整、统一、准确的主数据分发给企业范围内需要使用数据的相关方。 4. 主数据的质量监测与反馈 对主数据质量、规约符合性进行分析和处理，对冗余、错误的主数据进行集中的重组、清洗、匹配、校验和修复，为各个业务系统提供高质量的主数据信息。 四、总结与展望 本文对国内外企业主数据管理及应用现状进行深入分析，结合当前公司主数据管理实际，总结出主数据管理的业务目的，提出了主数据管理技术路线：一是需求调研，包括业务现状调研、业务系统现状调研和公司战略与规划调研；二是主数据梳理和规划，主要有主数据梳理和主数据规划两部分；三是构建主数据指标体系，包括对主数据的描述、主数据质量标准、主数据归属、主数据使用标准及主数据生命周期管理。最后，讨论主数据的管理，主要从主数据的清洗和丰富、主数据的分发与共享两个方面开展研究。 本文对公司主数据管理进行了有益的探索，以此为基础，后续可对相关技术及管理方法进一步提升：梳理更多领域的业务数据资源，实现主数据建模；加强主数据模型对