企业大数据应用下的数据治理

1、 企业大数据应用下的数据治理 刘伯宇 阴皓 闫丽景Summary随着社会经济的高速发展和科技不断创新，信息的利用发生了翻天覆地的变化，在2017全球信息社会发展报告中指出，2017年全球信息社会指数（工si）达到0.5748，总体上即将从工业社会进入信息社会。126个国家中，有57个国家进入信息社会，发达国家全部进入了信息社会，而绝大多数发展中国家正在加速向信息社会转型，在经历国际金融危机冲击后，各国积极把握信息技术新一轮大发展机遇，创新云计算、移动互联网、物联网、大数据、人工智能等技术内涵和应用场景，全球信息社会发展再上新台阶，经济活力有效复苏。【Key】大数据 数据资产 数据治理 数据质量

2、 人工智能 机器学习目前大多数企业都上线投入运行了与自身管理经营相关的业务系统，这些业务系统在辅助工作人员在工作效率提高方面取得了显著成效，使企业管理更加规范和富有竞争力。通过使用业务应用系统，企业积累了大量、甚至海量的数据，为了让这些数据变成企业的数据资产，发挥更大的数据价值，开始建设如数据中心平台、数据集成服务平台等数据集中、管理、服务为一体的服务平台，来满足企业全面的数据管理和立体应用，使数据资产更有效的服务于企业的生产、经营和管理。1 数据治理概述数据治理就是集数据管理、数据质量提升和数据应用为一体的一个体系，通过因地制宜，构建一系列的管理机制、管理办法和规范以及管理辅助工具，使企业数

3、据依据设计规范进行存储，通过监控手段不断改善数据质量，根据应用确认数据资产并不断提升数据价值的过程，整个治理过程是一个相互关联、互相促进和完善的闭环过程，是解决数据不知道、数据不能控、数据无法用的一个过程。2 数据治理方案从数据的生成、质量提升、应用到注销的全生命周期看，数据治理是一个长期性的、系统性的和全方位的工作，为了快速取得数据治理的效果，数据治理工作过程应严格按照管（数据管理）、梳（数据梳理）、治（监控核查）、用（高效利用）四字方针执行，整个过程如图1所示。2.1 数据管理数据管理是数据治理的关键也是数据治理的保障和基础，通过数据管理我们可以解决目前企业有哪些数据，数据属性以及数据之间

4、的关联关系是什么？那些已经被确认为数据资产可以合理应用，这些数据怎么使用？使用数据的管理流程是什么？根据数据管理的需求数据管理需做好如下4项工作：2.1.1 管理机制数据管理是全方位的，涉及公司的管理部门、应用部门、使用部门，需要全员参与，建立数据管理组织机构，制定职责。（1）数据治理领导委员会。成立由公司领导担任组长，各业务部门负责人为成员的数据治理领导委员会，指导数据治理工作组开展工作，对工作过程中出现的重大问题进行协调。（2）数据治理办公室。成立由数据管理部门负责人为组长，数据治理工作涉及业务部门负责人为成员的数据治理办公室，在领导委员会指导下，对数据治理整体工作进行管理、监督、控制。召

5、集各业务部门，定期召开例会，听取数据治理工作组工作汇报，并对数据治理过程中发现的问题进行协调，对问题解决方案进行确认。（3）数据治理工作组。成立由数据治理工作涉及业务系统顾问为成员的工作小组，根据管理办公室要求对数据治理工作进行组织、计划和管理，配合数据治理办公室完成各系统专项治理方案的制定，并按方案开展相关工作。通过数据质量管控系统定期对各系统数据进行稽查，形成数据质量月（周）报，上报数据治理办公室。对数据治理过程中发现的问题提供技术性解决方案。2.1.2 管理办法及规范建立健全企业数据管理机制，完成企业数据管理办法编制，从制度与流程、组织与人员、技术与工具等方面支撑数据资源的统一管理，确保

6、企业级数据资源集中融合、规范有序，有效共享，高效应用。2.1.3 管理辅助工具建设数据资源管理工具，利用工具的元数据管理、数据资产管理、数据质量监控、数据接口配置、接口监控、数据模型管理、数据流管理、数据资源查询、系统数据集成流程管理、基础数据维护等功能，实现对数据管理到梳理，梳理到监控，监控到质量提升，再到支撑应用，辅助数据管理人员全方位管理数据。2.1.4 数据安全数据从管理到应用的整个过程涉及存储、处理和共享应用，为了保障数据的安全，在存储方面需要制定高可用的存储方案及应急措施;在处理过程中要加强管理意识;在使用方面制定数据安全等级，依据数据安全级别访问和使用数据。2.2 数據梳理企业数

7、据资源集成服务可完成企业数据资源的集成、集中和应用，要发挥和提升这些数据资源的价值，必须对这些数据资源进行梳理并规范化，使数据字典可用，数据可查，并经过核对确认后形成数据资产进行流通使其产生更大的数据价值。2.3 数据质量数据质量是数据治理的核心工作，数据质量越高数据价值就越高，无论何种数据分析，其结果的精准性来自于高质量的数据，因此数据质量管理提升是数据质量的核心。数据质量管理提升是以数据管理体系为保障，以数据治理手段和数据治理信息系统为辅助，来提升和确保数据的及时性、完整性、准确性、唯一性和时效性。数据治理手段主要包括数据监控、数据稽查、数据验证、数据更新，辅助系统工具包括数据质量管控系统

8、、数据资源管理工具。2.4 数据应用数据应用是对数据质量的有效验证和对数据资产价值的有效体现途径，通过数据应用可是数据资产产生直接和间接的经济效益，效益主要体现在三个方面：（1）报表统计分析实现数据的智能化、自动化及可视化应用，使大量手工工作实现自动化，大幅提高工作人员的工作效率;（2）大数据挖掘分析，帮助客户挖掘更多的潜在客户以及可能存在的市场机会，使公司管理层及时了解企业经营情况;（3）人工智能、机器学习及预测分析，辅助企业更好的发展规划和经营决策。3 结语随着信息化技术的不断创新、互联网应用全覆盖和企业市场竞争加剧，数据资产越加显得举足轻重，为了提升企业市场竞争力和智能化服务能力，需要扩大数据集成服务范围，加强数据价值的深度挖掘，为企业发展战略和经营提供辅助决策。是资产就会有价值，数据资产的价值形成不是一日之功，需要长期的数据积累