2023数据治理概论

目录1.1数据治理是什么 51.2数据治理相关术语和名词 91.3数据治理治什么 221.4数据治理的6个价值 281.5数据治理的3个现状 321.6数据治理的5类问题 381.7数据治理的6个挑战 441.8本章小结 50数字化时代，数据正在以超凡的速度渗透到每个行业的业务领域，成为重要的生产要素。合理利用数据不仅能够提升企业竞争力，甚至还可以再造企业的商业模式。然而，拥有了数据并不等于就拥有了数据价值，只有实施有效的数据治理策略，才能持续输出高质量数据，释放数据价值。本部分将主要探讨以下问题。

数据治理到底是什么？数据治理的现状、问题、价值和挑战分别是什么？国内外有哪些可供参考的数据治理框架？企业数据到底该怎么治？全面认识数据治理人们越来越关注数据，这是因为数据不仅可以记录历史，还能预测未来。企业越来越重视数据治理，本质上其关注的是数据背后蕴藏着的巨大商业价值。本章重点介绍什么是数据治理，它为什么重要，以及企业数据治理的价值、问题和挑战。数据治理是什么关于数据治理，笔者曾向多家企业不同层级的领导及员工做过调研。大家都是站在自己的角度理解“数据治理是什么”，无法给出一个准确的答案。从管理者视角看数据治理某化工集团的CEO在一次工作报告中指出：“数据治理是企业发展战略的组成部分，是指导整个集团进行数字化变革的基石，要将数据治理纳入企业的顶层规划，各分/子公司、各业务部门都需要按照企业的顶层战略要求进行工作部署，以实现企业数字驱动的转型的目标。”某银行将数据战略正式纳入董事会议程，有关数据治理的重大事项直接由董事会审批或授权。该银行希望通过数据赋能，让数据服务于银行的业务，为客户提供更好的金融服务，基于数据治理策略控制银行数据的确权和使用，保障银行用数安全和符合监管要求。基于此，我们姑且把数据治理理解为与企业战略相关、指导企业数字化转型的策略。从业务人员视角看数据治理关于数据治理，某企业市场部领导曾经向笔者抱怨：“数据治理不是信息部门的事情吗？我们只是做一些配合工作。当然，我也知道数据的重要性，我们想通过数据进行客户分析，增加销量。但现在我连我们企业有哪些数据都不知道，更别说使用了。”在谈到对于企业数据治理的期待时，这位领导直言：“希望数据治理能够将企业的数据开放出来，让我们知道有哪些数据，这些数据是怎么定义的、有什么作用，让我们在用数据的时候能够方便地获取，并且数据质量是有保障的。”这位市场部领导的需求不是个例，而是很多企业数据治理的痛点所在。这个痛点需求恰好击中了数据治理的三大要害：第一，要定义数据，让抽象的数据变成可读、可理解的信息；第二，要有一个完整的数据地图或数据资源目录，盘活企业的数据资产，方便用户随时找到想要的数据；第三，要做好数据质量管理，提升数据质量并提升数据的使用率。从技术人员视角看数据治理在有多年数据仓库领域工作经验的小李看来，数据治理应包含三部分：一是ETL，即数据的抽取、转换、加载，保障数据仓库内有数据可用；二是对数据的处理、转换和融合，保障数据仓库内的数据准确、可用；三是元数据管理，保障数据仓库内的数据可进行血统溯源和影响分析。来自系统运维部的小王认为：“企业数据治理的重点是对数据源中数据的治理，也就是需要对业务系统实施治理，而数据仓库只是数据的应用端，只有业务系统的数据质量高了，数据仓库才能获得高质量的数据，进而获得高质量的洞察。”而数据平台部小赵的观点则是：“数据治理还得看数据湖的，从源头治理虽然好，但是操作起来太复杂，周期长，成本高。而我们在数据湖中治理就不一样了，我们的数据湖已经接入企业90%以上的数据，数据统一在‘湖’中管理。所有的用数需求都需要通过数据湖调取，因此我们只需要将数据湖中的数据治理好，就什么问题都没有了。”可见，即使都从技术角度出发，不同技术方向的人对数据治理的理解也是不同的。小李、小王和小赵都是从自身专业角度思考数据治理，各有各的道理。在不同的数据治理应用场景中，数据治理的内涵各有侧重。数据治理的定义数据治理的定义有很多。国际数据管理协会（DAMA）给出的定义是：“数据治理是对数据资产管理行使权力和控制的活动集合。”国际数据治理研究所（DGI）给出的定义是：“数据治理是一个通过一系列与信息相关的过程来实现决策权和职责分工的系统，这些过程按照达成共识的模型来执行，该模型描述了谁（Who）能根据什么信息，在什么时间（When）和情况（Where）（How）（What）。”在笔者看来，所有为提高数据质量而展开的技术、业务和管理活动都属于数据治理范畴。数据治理的最终目标是提升数据利用率和数据价值，通过有效的数据资源管控手段，实现数据的看得见、找得到、管得住、用得好，提升数据质量和数据价值。企业数据治理非常必要，它是企业实现数字化转型的基础，是企业的一个顶层策略，一个管理体系，也是一个技术体系，涵盖战略、组织、文化、方法、制度、流程、技术和工具等多个层面的内容。数据治理相关术语和名词在开始学习数据治理之前，我们有必要先了解与数据治理有关的名词和概念，以免混淆。当然，与数据治理相关的概念非常多，以下仅罗列几个常见的。数据元（1）名词解释国标[GB/T18391.1—2002]对数据元的定义为：“用一组属性描述定义、标识、表示和允许值的数据单元。”数据元由三部分组成：对象、特性和表示。数据元是组成实体数据的最小单元，或称原子数据。例如个人信息中，手机号为数据元，“135********”为数据元的值；性别为数据元，“男”和“女”为数据元的值。（2）主要作用作为最小颗粒度的数据，数据元是对数据进行标准化定义的基础，也是构建统一、集成、稳定的行业数据模型的基础。在企业数据治理中，数据元是需要标准化的对象，一个数据元对象有且只有一个数据特性，每个数据特性对应一个数据表示。例如：人员的性别中的“男”是一个数据元对象，用数字“1”来表示。（3）应用举例数据元早期在金融、医疗等领域应用非常广泛，国家相关单位发布了关于数据元管理的一系列技术标准和行业标准，如《CFDAB/T0301.3—2014食品药品监管信息基础数据元第3部分：药品》。图1-1所示为食品药品监管信息基础数据元标准。元数据（1）名词解释元数据是描述数据的数据或关于数据的结构化数据。你是不是看了这个定义依然一头雾水？那我们来举个例子。一本书的封面和目录向我们展示了这样的元数据信息：图书名称、作者姓名、出版商和版权细节、图书的提纲、标题、页码等。（2）主要作用在数据治理中，元数据是对数据的描述，存储着数据的描述信息。我们可以通过元数据管理和检索我们想要的“书”。可见元数据是用来描述数据的数据，让数据更容易理解、查找、管理和使用。（3）应用举例元数据是业界公认的数据治理中的核心要素，做好元数据管理，能够更容易地对数据进行检索、定位、管理和评估。用哲学的思维理解元数据的话，元数据其实解决的是我是谁、我在哪里、我从哪里来、我要到哪里去的问题。元数据是建设数据仓库的基础，是构建企业数据资源全景视图的基础，清晰的血缘分析、影响分析、差异分析、关联分析、指标一致性分析等是数据资产管理的重要一环。如果说数据是物料，那么元数据就是仓库里的物料卡片；如果说数据是文件夹，那么元数据就是夹子的标签；如果说数据是书，那么元数据就是图书馆中的图书卡。主数据（1）名词解释主数据是企业内需要在多个部门、多个信息系统之间共享的数据，如客户、供应商、组织、人员、项目、物料等。与记录业务活动、波动较大的交易数据相比，主数据（也称“基准数据”）变化较慢。主数据是企业开展业务的基础，只有得到正确维护，才能保证业务系统的参照完整性。主数据具有3大特性、4个超越。

3大特性：高价值性、高共享性、相对稳定性。4个超越：超越业务，超越部门，超越系统，超越技术。关于主数据的特征描述详见第18章。（2）主要作用在数据治理中，主数据用来解决企业异构系统之间核心数据不一致、不正确、不完整等问题。主数据是信息系统建设和大数据分析的基础，被认为是企业数字化转型的基石。（3）应用举例不同行业、不同领域的主数据的内容不同。例如：在制造型企业中，核心主数据有物料、BOM、设备、客户、供应商、人员等；在金融行业中，客户、客户关系是主数据管理的核心；在政府各部门，人口、法人、证照等是主要的主数据。业务数据（1）名词解释业务数据是业务活动过程或系统自动产生的既定事实的数据，也称交易数据。业务数据来自三个方面。第一，业务交易过程中产生的数据，例如计划单、销售单、生产单、采购单等，这类数据多数是手动生成的。第二，系统产生的数据，包括硬件运行状况、软件运行状况、资源消耗状况、应用使用状况、接口调用状况、服务健康状况等。第三，自动化设备所产生的数据，如各类物联网设备的运行数据、生产采集数据等。不论源自何处，业务数据的共同特点是：时效性强，数据量大。（2）主要作用业务数据主要面向应用，为业务应用提供服务，例如生产、销售、采购、设备管理、系统管理等。（3）应用举例表1-1是某企业的产品销售记录，这是一种非常重要的业务数据。表1-1某企业的产品销售记录主题数据（1）名词解释主题数据是根据数据分析的需要，按照业务主题对数据所做的一种组织和管理方式，其本质是为了进行面向主题的分析或加速主题应用的数据。主题数据是分析型数据，是按照一定的业务主题域组织的，服务于人们在决策时所关心的重点方面。一个主题数据可以由多个主数据和交易数据组成。主题数据一般是汇总的、不可更新的、用于读的数据。（2）主要作用主题数据是按照一定的业务主题域组织的，服务于各种数据分析或应用开发。（3）应用举例主题数据与行业或领域有较大的关系，不同行业关注的主题是不一样的。即使是同一行业，不同企业也有不同的主题数据定义。例如，某生产制造企业定义了12大主题数据，包括综合服务、人力资源、财务管理、质量管理、生产管理、工艺管理、库存管理、销售管理、采购管理、设备管理、能源管理和安全环保。数据仓库（1）名词解释数据仓库（DataWarehouse，DW）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库是数据库的一种概念上的升级，可以说是为满足新需求而设计的一种新数据库，需要容纳更加庞大的数据集。本质上，数据仓库与数据库并没有什么区别。（2）主要作用数据仓库是为企业所有级别的决策制定过程提供所有类型数据支撑的战略集合，有以下三个主要作用。

数据仓库是对企业数据的汇聚和集成，数据仓库内的数据来源于不同的业务处理系统，包含主数据和业务数据。数据仓库的作用就是帮助我们利用这些宝贵的数据做出最明智的商业决策。数据仓库支持多维分析。多维分析通过把一个实体的属性定义成维度，使用户能方便地从多个维度汇总、计算数据，增强了用户的数据分析处理能力，而通过对不同维度数据的比较和分析，用户的数据处理能力得到进一步增强。数据仓库是数据挖掘技术的关键和基础。数据挖掘技术是在已有数据的基础上，帮助用户理解现有的信息，并对未来的企业状况做出预测。在数据仓库的基础上进行数据挖掘，可以对整个企业的发展状况和未来前景做出较为完整、合理、准确的分析和预测。（3）应用举例数据仓库是数据分析和数据可视化的基础，通过将来自不同业务系统的数据汇集到一起，并按照一定的主题进行编号、归类、分组，方便用户快速定位数据源，为数据分析提供支撑。为了提升数据仓库的数据质量，确保数据分析的准确性，数据仓库的建设需要实施数据治理的策略。很多企业的数据治理项目实施的动因都是解决数据仓库中的数据质量问题，以便获得更准确的分析决策。数据湖（1）名词解释根据维基百科的定义，数据湖是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无须事先对数据进行结构化处理。数据湖可以存储结构化数据（如关系型数据库中的表）、半结构化数据（如CSV、日志、XML、JSON）、非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）。数据湖可以更方便、以更低的成本解决不同数据结构的统一存储问题，同时还能够为机器学习提供全局数据。我们可以将数据湖理解为一个融合了大数据集成、存储、处理、机器学习、数据挖掘的解决方案。（2）主要作用关于数据湖的作用，AWS将它与数据仓库进行了类比，如表1-2所示。表1-2来自AWS的数据湖与数据仓库的对比（3）应用举例数据湖不是一个产品或工具，它是融合了数据采集、数据处理、数据存储、机器学习、数据挖掘等技术和工具的解决方案。数据湖支持处理不同类型的数据和分析方法，以获得更深层次的洞见所必需的扩展性、敏捷性和灵活性。亚马逊AWS、Informatica、阿里云、华为云、用友等都推出了数据湖解决方案。数据湖的出现给数据治理带来了一定的挑战。数据湖将数据全部集中存储，那数据治理是在“湖中”治理还是在“湖外”治理，这是个需要企业研究和探索的问题。数据治理治什么在我们的生活和工作当中，数据无处不在。在企业的数据中混杂着很多脏数据，这些脏数据是无关企业任何利益的数据，没有治理的必要。数据治理的对象必须是重要的数据资源，是关乎企业商业利益的数据资源，这样的数据资源方可称为“数据资产”。北京大学教授王汉生先生说过：“数据治理不是对‘数据’的治理，而是对‘数据资产’的治理，是对数据资产所有利益相关方的协调与规范。”我们分三部分来理解王教授的这句话：

什么是数据资产？数据资产的利益相关方是谁？协调与规范的对象是什么？什么是数据资产并非所有数据都是数据资产，那到底什么才是数据资产呢？目前，关于如何将企业的数据作为一项资产来计量、管理尚未形成一个明确的标准。《企业会计准则——基本准则》第20条规定：“资产是指企业过去的交易或者事项形成的、由企业拥有或者控制的、预期会给企业带来经济利益的资源。”其中，“由企业拥有或者控制”是指企业享有某种资源的拥有权或者控制权，“预期会给企业带来经济利益”是指直接或者间接导致现金和现金等价物流入企业的潜力。由资产的概念引申到数据资产，可以得到：“数据资产是指企业过去的交易或者事项形成的，由企业拥有或者控制的，预期会给企业带来经济利益的数据资源，并且其价值和成本是可计量的。”由此可见，数据要成为数据资产，至少要满足4个核心条件。（1）数据资产是企业的交易或者事项形成的这一条很好理解，数据资产要是企业日常的生产经营活动中积累的数据，或者由于业务需要而被企业实际控制的数据。例如，互联网公司的各种网站、电商平台、社交平台每天产生的大量数据实际都是被这些互联网公司控制的。另外，企业从第三方交换或者购买来的数据也是符合这个定义的。目前有一些组织专门做数据交易的生意，例如数据堂、贵州数据交易所、华中数据交易所等。（2）由企业拥有或者控制这一条涉及数据的确权问题。对于数据的归属权、控制权、使用权的问题，目前我国还没有完善的法律法规。对于传统企业来说，这个问题不是很明显，这里主要谈互联网平台。互联网平台上产生的数据主要来自广大用户的上网行为，例如浏览、购买、支付、评论、发帖、发微博、发微信等。这些数据的产权方是谁？这不是一个容易回答的问题。实际上，互联网平台提供了数据存储和管理服务，拥有了数据的实际控制权。在笔者看来，数据在谁那里能够发挥出最大的价值，能够最好地服务于人类和社会，数据就应该归谁所有。当然，利用收集的数据做一些侵犯个人隐私或其他违法犯罪的事情是绝对不允许的。（3）预期会给企业带来经济利益企业运营中可能会产生大量的数据，数据在被有效整合、利用后会产生巨大的价值。数据要成为资产，首先要具备可利用性，这样才能给企业带来可预期的经济收益，否则就不是资产。另外，如果数据的获取、管理和维护成本大于其实际产生的收益，或者企业无法通过自用或外部商业化对数据进行有效的变现，那么这些数据也不能视为资产。（4）成本或价值可衡量数据成本一般包括采集、存储和计算的费用（人工费用、IT设备等直接费用和间接费用等）以及运维费用（业务操作费、技术操作费等），这是相对容易计量的。数据价值主要从数据资产的分类、使用频次、使用对象、使用效果和共享流通等维度计量。基于数据价值度量的维度，选择各维度下有效的衡量指标，对数据的活跃性、数据质量、数据稀缺性和时效性、数据应用场景的经济性等多方面进行评估，并优化数据服务应用的方式，最大限度地提高数据的应用价值。所以，数据的价值取决于数据的应用场景，同样的数据在不同的应用场景中产生的价值是不一样的，这也是数据资产价值难以计量的重要原因。数据资产的利益相关方根据数据资产的定义，数据资产的利益相关方包括以下几类。

数据的生产者，即通过业务交易或事项产生数据的人或组织。数据的拥有者或控制者。生产数据的人不一定拥有数据，例如我们上网产生的各种数据都不归我们自己所有，而是落在了各个互联网公司的数据库中。数据价值和经济利益的受益者。数据治理就是对数据生产者、拥有者或控制者、数据价值受益者进行规范和协调，让数据能够规范化、高质量输出。对利益相关方的协调和规范（1）数据的标准化定义统一的数据标准，比如“写中国字，说普通话”，让数据资产的利益相关方用同一种“语言”沟通。数据的标准化包含几个层面：数据模型标准化，主数据和参考数据的标准化，指标体系的标准化。对于这些内容，我们将在后续章节中详细展开。（2）数据的确权数据一旦成为资产，就一定有拥有方或者实际控制人，可以把他们统称为产权人。实物产品的产权是比较明确的，而数据的产权则比较复杂。对于实物产品，在生产制造过程中，在消费者购买之前，制造商拥有完全产权；在实物产品生产出来后，消费者通过支付一定金额的货币便拥有了其产权。而数据的生产过程不一样，我们每天的各种上网行为，例如网上购物、浏览网页、使用地图、评论/评价等都会产生大量的数据，这些数据到底归谁所有？控制权该如何治理？互联网数据的确权目前已经是一个世界级难题！近几年一些不良商家滥用用户的上网数据，导致安全隐私泄露事件层出不穷。希望随着技术的进步和法律的完善，人们能够尽快找到解决方案。（3）流程的优化数据治理有两个目标：一个是提升质量，另一个是控制安全。做好企业业务流程的优化可能会对隐私保护起到一定的作用。通过业务流程优化，规范数据从产生、处理、使用到销毁的整个生命周期，以使数据在各阶段、各流程环节中安全可控、合规地使用。另外，通过一定的流程优化，通过对相关流程进行监管，按照数据的质量规则进行数据校验，并采用符合“垃圾进，垃圾出”的数据采集、处理、存储原则，以提升数据质量，赋能业务应用。让数据成为资产就是要让数据为企业创造价值，而做好数据治理才能更加方便、放心地使用数据，这是一个基本前提。数据治理是一个非常复杂的系统工程：

管理上，数据治理是企业战略层面的策略，而不是战术层面的方法；业务上，通过数据治理要让数据能够管得住、看得见、找得到、用得好；技术上，涉及数据建模、数据集成、数据交换、数据清洗、数据处理、数据质量管理的方方面面。最后再次强调，数据治理不是对“数据”的治理，而是对“数据资产”的治理。数据治理可以有效盘活企业的数据资产。数据治理的6个价值随着大数据的发展，各行各业都面临越来越庞大且复杂的数据，这些数据如果不能有效管理起来，不但不能成为企业的资产，反而可能成为拖累企业的“包袱”。数据治理是有效管理企业数据的重要举措，是实现数字化转型的必经之路，对提升企业业务运营效率和创新企业商业模式具有重要意义。对于企业来讲，实施数据治理有6个价值，如图1-2所示。图1-2数据治理的6个价值降低业务运营成本有效的数据治理能够降低企业IT和业务运营成本。一致性的数据环境让系统应用集成、数据清理变得更加自动化，减少过程中的人工成本；标准化的数据定义让业务部门之间的沟通保持顺畅，降低由于数据不标准、定义不明确引发的各种沟通成本。提升业务处理效率有效的数据治理可以提高企业的运营效率。高质量的数据环境和高效的数据服务让企业员工可以方便、及时地查询到所需的数据，然后即可展开自己的工作，而无须在部门与部门之间进行协调、汇报等，从而有效提高工作效率。改善数据质量有效的数据治理对企业数据质量的提升是不言而喻的，数据质量的提升本就是数据治理的核心目的之一。高质量的数据有利于提升应用集成的效率和质量，提高数据分析的可信度，改善的数据质量意味着改善的产品和服务质量。数据质量直接影响品牌声誉。正如麦当劳创始人RayKroc所说：“我们的品牌需要市场上的可预测性——我们的消费者期望可预测性，起点是数据完整性。”控制数据风险有效的数据治理有利于建立基于知识图谱的数据分析服务，例如360°客户画像、全息数据地图、企业关系图谱等，帮助企业实现供应链、投融资的风险控制。良好的数据可以帮助企业更好地管理公共领域的风险，如食品的来源风险、食品成分、制作方式等。企业拥有可靠的数据就意味着拥有了更好的风险控制和应对能力。增强数据安全有效的数据治理可以更好地保证数据的安全防护、敏感数据保护和数据的合规使用。通过数据梳理识别敏感数据，再通过实施相应的数据安全处理技术，例如数据加密/解密、数据脱敏/脱密、数据安全传输、数据访问控制、数据分级授权等手段，实现数据的安全防护和使用合规。赋能管理决策有效的数据治理有利于提升数据分析和预测的准确性，从而改善决策水平。良好的决策是基于经验和事实的，不可靠的数据就意味着不可靠的决策。通过数据治理对企业数据收集、融合、清洗、处理等过程进行管理和控制，持续输出高质量数据，从而制定出更好的决策和提供一流的客户体验，所有这些都将有助于企业的业务发展和管理创新。数据治理的3个现状对企业而言，不同的行业、不同的业务特点、不同的信息化水平，决定了企业数据治理目标和数据管理的现状存在差异，不可一概而论。近年来，由于工作关系，笔者走访了很多企业，也查阅了一些行业的数字化报告，发现：由于经济实力不同，行业特点不同，信息化程度不同，不同行业、不同企业的数据管理和数据治理情况也不尽相同，有的行业甚至才刚刚起步。不过，各行业的企业信息化的总体发展趋势基本都遵循了诺兰模型。扩展阅读：诺兰模型给我们的启示美国管理信息系统专家理查德·诺兰通过总结200多家企业发展信息系统的实践和经验，提出了著名的信息系统进化的阶段模型，即诺兰模型。诺兰模型分析了信息化发展的一般规律，对于我们认识数据治理的必要性有深刻的意义。诺兰认为，任何组织在从手工信息系统向以计算机为基础的信息系统发展的过程中，都存在着一定的客观发展道路和规律。他将这个规律分为6个阶段：起步阶段、扩展阶段、控制阶段、集成阶段、数据管理阶段和成熟阶段（见图1-3）。图1-3诺兰模型给我们的启示（1）起步阶段初期引入的计算机主要起宣传、启蒙的作用，不要求有实际的效益。在这一阶段，IT需求只被当成改善办公设施的简单需求来对待，采购量少，只有少数人使用，在企业内没有普及。（2）扩展阶段在这一阶段，计算机开始普及，企业对计算机有了一定了解，想利用计算机解决工作中的问题，比如进行更多的数据处理，为管理工作和业务带来便利。企业对IT应用开始产生兴趣，出现了盲目购机、盲目定制开发软件的现象，但由于缺少计划和规划，因而应用水平不高，IT的整体效用无法凸现，这也标志着社会正在向信息化时代迈进。（3）控制阶段投入使用的应用系统多了，计算机在企业经营过程中开始发挥作用。在这一阶段，一些职能部门内部实现了网络化和电子化，如财务系统、人事系统、库存系统等，但各软件系统之间还存在“部门壁垒”和“信息孤岛”。信息系统呈现单点、分散的特点，系统和数据资源利用率不高。企业对于数据的重要性及数据管理的认知处于萌芽阶段。（4）集成阶段企业开始重新进行规划设计，建立统一的信息管理系统，企业的IT建设开始由分散和单点发展到成体系。ERP系统、SOA体系开始流行，企业将不同的IT系统统一到一个系统中进行管理，使人、财、物等资源信息能够在企业中集成共享。在这一阶段，数据资源的集成共享成为企业数据管理的核心诉求，信息化发展较快的企业开始建设数据仓库、数据分析等系统，开始探索数据背后的价值。（5）数据管理阶段企业高层意识到数据战略的重要性，数据成为企业的重要资源，企业的信息化建设真正进入数据处理阶段。在这一阶段，企业的业务和管理决策开始以数据为重要依据，企业的数据管理从关注数据整合到关注数据质量和安全，社会进入以数据治理为基础的数字化时代。（6）成熟阶段信息系统已经可以满足企业各个层次的需求，从简单的事务处理到支持高效管理的决策，IT的作用被充分发挥出来。在这一阶段，数据在企业管理决策、业务创新中不仅起着支撑和参考的作用，而且还是驱动要素。数据不仅被作为企业的重要生产资料，用来提升企业竞争力，甚至还可以重塑企业的商业模式。到了这一阶段，企业的数据治理不再被视为信息化的支撑体系，而是企业的一项常规业务，就如同企业的生产、营销、服务等业务一样。诺兰模型在信息化建设发展中具有十分重要的指导意义。目前国内有少部分企业进入第四阶段晚期或第五阶段早期，中小企业有1%～2%进入第四阶段，约40%进入第三阶段，大多数中小企业还处在第一或第二阶段。诺兰模型说明，数据资源整合是信息化建设的必经途径，是数据资源充分利用的基础。国内各行业的企业数据治理发展情况并不均衡，企业数据治理现状可以大致分为以下3类。第一类，企业拥有雄厚的经济实力，信息化起步较早，企业的业务对信息化和数据的依赖程度较高。例如，BAT等互联网企业、金融业的各大银行、三大电信公司、国家电网等企业，该类企业大约在10年前就开始实施数据治理，目前已形成较为完善的数据治理体系。第二类，企业有一定的经济实力，建设的信息系统较多，在单业务条线上信息化的应用程度较高。这类企业数据治理的普遍现状是：早期的信息化缺乏整体规划，建设了多个信息系统，沉淀了大量的数据，但缺乏统一的数据标准，系统之间的数据没有打通，形成了一个个“信息孤岛”。该类企业对数据价值的认识度很高，迫切希望通过发挥数据的价值，驱动企业管理和经营模式的创新。它们开始对数据进行大规模的整合，并基于此进行一些数据治理和应用方面的探索。目前国内的大型生产制造企业普遍存在“信息孤岛”的问题。第三类，企业的经济实力相对薄弱，信息化刚刚起步，部分企业使用了财务软件、OA系统、ERP系统，数据存放在部门的系统中，甚至有些数据存放在个人电脑中，数据的共享程度较低。该类企业的战略目标是以生存为主，更关注业务和财务，在信息化上的投入较少。我国的中小企业多数属于这一类。当然，其中不乏意识超前的企业家和领导者，他们将数据视为重要的生产资料，希望通过数据的利用实现企业质的飞跃。目前多数企业已经意识到企业要转型，要发展，就必须紧跟时代的步伐，而数据治理是企业实现数字化转型的必经之路。然而让很多企业感到困惑的是，如何选择企业数据治理的时机？是先有了数据再治理，还是先建设好数据治理体系再进行应用系统建设？不同类型企业的数据治理策略绝对不能一概而论，而应根据企业的阶段特点来制定。对于第一类企业，企业已经有了相对完善的数据治理体系，需要注重加强数据应用，加快数据驱动的创新步伐，稳固提升数据质量和数据变现能力。对于第二类企业，企业的信息系统多，“信息孤岛”问题严重，数据不能互联互通，不能按照用户的指令进行有意义的交流，数据的价值不能充分发挥，其数据治理已迫在眉睫。这类企业应加强数据资源的整合和治理，充分释放数据的价值。对于第三类企业，在数字化浪潮下，企业的信息化虽然薄弱，但如果打好数据基础，未必不是企业改革创新、实现“弯道超车”的最佳时机。虽然目前我国多数企业仍处于中期的数据集成阶段，但是在云计算、大数据等新技术的推动下，很多企业开始迈开步伐，已走进以数据管理为标志的数字化时代。数据治理的5类问题伴随着大数据时代的来临，人们对数据的重视达到了前所未有的高度。全球知名咨询公司麦肯锡称：“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产要素。人们对于海量数据的挖掘和运用预示着新一波生产率增长和消费者盈余浪潮的到来。”世界经济论坛报告认为：“大数据为新财富，价值堪比石油。”维克托·迈尔-舍恩伯格在《大数据时代》一书中提到：“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题。”“数据是企业的重要资产”已经成为各行各业的共识，但是拥有了数据就等于拥有了数据资产吗？事实上，并非如此。企业数据的管理和使用还存在很多问题，致使数据不能很好地利用起来，从而让企业的数据没能成为数据资产，反而变成了拖累企业的包袱。企业数据管理的问题主要有以下5类，如图1-4所示。图1-4企业数据管理的5类问题黑暗数据黑暗数据也叫睡眠数据，是指被收集和处理但又不用于任何用途的数据。有数据而不用，甚至业务部门和领导都不知道其存在，这些数据可能永远被埋没。很多企业其实除了黑暗数据问题，还有数据尾气问题。数据尾气是指那些针对单一目标而收集的数据，通常用过之后就被归档闲置，其真正价值未能被充分挖掘。之所以会产生黑暗数据和数据尾气，主要是因为企业内很多系统的设计对于业务人员不够友好，操作功能复杂，可视化效果差，甚至系统采集的数据指标与业务需求脱节，并不能为业务分析提供有效的数据，或者不能及时提供数据，这就不可能驱动业务人员使用数据。部分IT人员虽然知道有哪些数据，但是由于缺乏业务需求的驱动，也不去用或不会用。据统计，企业的数据中有50%～80%可能是睡眠数据，始终无人知晓。数据是具备复用性的资源，我们不应用完即舍弃，它的再利用价值也许你现在不清楚，但在未来的某一刻，它会迸发出来，变“废”为宝。数据孤岛很多企业在信息化建设的早期，由于缺乏信息化的整体规划，业务系统都是基于业务部门需求建设的，各业务部门都有自己的信息系统，这些系统都是各自定义、各自存储的，彼此间相互独立，数据之间没有关联，而形成了一个个数据孤岛。所谓数据孤岛，简单来说，就是企业发展到一定阶段时，各个部门各自存储数据，部门之间的数据无法共通，这导致数据像一个个孤岛一样缺乏关联性。企业想利用好数据，就必须打通数据孤岛。然而打通数据孤岛是一项复杂的工程，其困难不仅在于技术，还来自业务。数据本身是因业务和流程而产生的，只有对企业业务和流程进行细致梳理和深度理解，才能真正实现数据的打通。由于打通数据孤岛的成本高，难度大，周期长，众多企业望而却步。数据“巴别塔”巴别塔是《圣经》中的一个故事。这个故事有很多隐喻，其中一个是在协作的过程中顺畅沟通的重要性。顺畅沟通的前提是彼此之间有一套共同认可的对话标准。在很多企业中存在着数据“巴别塔”。不同部门、不同员工之间因为数据定义不清、口径不同、缺乏规范而无法顺畅交流和沟通。例如：某个大型集团对于“在职员工”指标的定义五花八门，有的部门是按照是否与企业签订劳务合同来统计的，有的部门是按照企业发放工资的人数来统计的，还有的部门是按照在本单位的人数进行统计的，等等。不同部门对“在职员工”的定义和统计口径都不一样，这种情况下，谁也不知道集团到底有多少员工。糟糕的数据质量数据对企业来说是一个“福音”，然而，糟糕的数据质量可能是一个大问题。数据的可信性是影响数据分析和管理决策的重要因素，然而企业数据普遍存在着不一致、不完整、不准确、不正确、不及时等问题。数据质量问题得不到有效解决，数据价值化、数据业务化就无从谈起了。如果说数据是“石油”，那么原始数据也只能算“原油”，其本身没有太大的价值。原油只有经过加热、催化、蒸馏、分馏等一系列淬炼、提纯的过程，才能产出不同型号、规格的产品。数据其实也一样。原始数据并没有什么作用，只有经过采集、存储、处理、清洗等一系列加工处理过程，才能形成可信的、高质量的、可被利用的数据资产。数据的安全风险数据的应用与数据的安全密切相关。数据收集和提取的合法性、数据隐私的保护与数据隐私应用之间的权衡正成为当前制约大数据发展和应用的一大瓶颈。没有人不重视数据安全，但是数据缺乏有效管理，一定会产生数据安全问题。比如缺少数据的采集、存储、访问和传输的规范制度，没有设定必要的数据使用权限，这就必然会导致数据遗失、篡改与泄密。可见，只有管得住、用得好，数据才是企业的资产，否则就会成为拖累企业的包袱。数据治理的6个挑战企业越大，需要的数据和产生的数据也就越多，而数据越多则意味着就越需要定制适合企业自身的正式且有效的数据质量策略。在向着数字化快速迈进的同时，当前企业数据治理面临着各种挑战，主要表现为以下6个方面。对数据治理的业务价值认识不足“数据为什么重要？”“数据治理到底能解决什么问题？”“数据治理能实现哪些价值？”这是数据治理经常被企业领导和业务部门质疑的三大问题。传统数据治理是以技术为导向的，注重底层数据的标准化和操作过程的规范化。尽管以技术驱动的数据治理能够显示数据的缺陷，提升数据的质量，但是管理层和业务人员似乎对此并不满足。由于传统以技术驱动的数据治理模式没有从解决业务的实际问题出发，企业对数据治理的业务价值普遍认识不足。为了快速实现数据价值和成效，最直接的方式就是以业务价值为导向，从企业实际面临的数据应用需求和数据痛点需求出发，满足管理层和业务人员的数据需求，以实现数据的业务价值、解决具体的数据痛点和难点为驱动来推动治理工作。正如前文所述，企业数据治理的业务价值主要体现在降低成本、提升效率、提高质量、控制风险、增强安全和赋能决策。不同企业所面对的业务需求、数据问题是不同的，企业数据治理的业务价值不要求在以上6个方面面面俱到（也不要局限于这6个方面）。企业应该从管理层和业务部门的痛点需求出发，将数据治理的业务价值量化，以增强管理层和业务人员对数据治理的认知和信心。想要理解数据造成的业务痛点，最好的方法是询问和观察。数据治理必须着重于业务需求，并着重于解决让业务人员感到痛苦或他们无法解决的问题。缺乏企业级数据治理的顶层设计当前企业普遍都认识到了数据的重要性，很多企业也开始了探索数据治理。然而我们看到，目前企业大量的数据治理活动都是项目级、部门级的，缺乏企业级数据治理的顶层设计以及数据治理工作和资源的统筹协调。数据治理涉及业务的梳理、标准的制定、业务流程的优化、数据的监控、数据的集成和融合等工作，复杂度高，探索性强，如果缺乏顶层设计的指导，那么在治理过程中出现偏离或失误的概率较大，而一旦出现偏离或失误又不能及时纠正，其不良影响将难以估计。数据治理的顶层设计属于战略层面的策略，它关注全局性和体系性。在全局性方面，站在全局视角进行设计，突破单一项目型治理的局限，促进企业主价值链的各业务环节的协同，自上而下统筹规划，以点带面实施推进。在体系性方面，从组织部门、岗位设置（用户权限）、流程优化、管理方法、技术工具等入手，构建企业数据治理的组织体系、管理体系和技术体系。企业数据治理的顶层设计应站在企业战略的高度，以全局视角对所涉及的各方面、各层次、各要素进行统筹考虑，协调各种资源和关系，确定数据治理目标，并为其制定正确的策略和路径。顶层设计主要是抓牵一发而动全身的关键问题，抓长期以来导致各种矛盾的核心问题，抓严重影响企业信息化健康稳定发展的重大问题。唯有如此，才能纲举目张，为解决其他问题铺平道路。高层领导对数据治理不够重视数据治理是企业战略层的策略，而企业高层领导是战略制定的直接参与者，也是战略落实的执行者。数据治理的成功实施不是一个人或一个部门就能完成的，需要企业各级领导、各业务部门核心人员、信息技术骨干的共同关注和通力合作，其中高层领导无疑是数据治理项目实施的核心干系人。企业高层领导对数据治理的支持不仅在于财务资金方面（当然这必不可少），其对数据战略的细化和实施充分授权、所能提供的资源是决定数据治理成败的关键因素。为了保证数据治理的成功实施，企业一般需要成立专门的组织机构，例如数据治理委员会。尽管很多企业的数据治理委员会是一个虚拟组织，但是必须为这个组织安排一名德高望重的高管，我们姑且将这个岗位命名为“首席数据官”（CDO）。数据