企业为什么要建数据标准应该怎么建数据标准

企业为什么要建数据标准应该怎么建数据标准标准对我们的生活有很大的影响，如度量的标准、安全的标准等。如果标准不对或没有遵循标准，则容易引起混乱。同样对于企业来说，数据的标准化以及标准化过程中的治理也尤为重要。本文将从数据标准基础概念出发，结合企业数据建设现状，跟大家分享一下数据标准所带来的价值，以及如何去完成企业数据标准建设。具体包括以下几部分内容：第一部分：数据标准相关概念，包括数据标准定义、分类。第二部分：国内企业数据建设的现状是怎样的，数据使用过程中一般会碰到哪些由于缺乏数据标准所造成的问题，数据标准建设能够为企业带来哪些价值。第三部分：如何建设数据标准，包括数据标准的建设流程以及范围圈定、落标策略、工具选型等几个关键点。第四部分：实际案例，结合我方做过的某个银行的数据标准案例，从实际出发阐述数据标准建设的内容和效果。数据标准概念数据标准定义数据标准（DataStandard）是指保障数据定义和使用的一致性、准确性和完整性的规范性约束。对于企业而言，通俗来讲，数据标准就是对数据的命名、数据类型、长度、业务含义、计算口径、归属部门等，定义一套统一的规范，保证各业务系统对数据的统一理解、对数据定义和使用的一致性。数据标准管理目标数据标准管理的目标是通过统一的数据标准制定和发布，结合完善的数据标准管理体系，实现数据的标准化管理，保障数据的完整性、一致性、规范性，为后续的数据管理提供标准依据。数据标准分类一般可从三个维度去进行数据标准分类：数据结构、数据内容来源、技术业务。

1）从数据结构角度的标准分类：•结构化数据标准是针对结构化数据制定的标准，通常包括：信息项分类、类型、长度、定义、值域等。•非结构化数据标准是针对针对非结构化数据制定的标准通常有：文件名称、格式、分辨率等。2）从数据内容来源角度的标准分类：•基础类数据标准是指业务系统直接产生的明细数据和相关代码数据，保障业务活动相关数据的一致性和准确性。•派生类数据标准是指基础类数据根据管理运营的需求加工计算而派生出来的数据，例如：统计指标、实体标签等。3）从技术业务角度的标准分类：•业务数据标准是指为实现业务沟通而制定的标准，通常包括：业务定义和管理部门，业务主题等。•技术数据标准是指从信息技术的角度对数据标准的统一规范和定义，通常包括：数据类型、字段长度、精度、数据格式等。企业数据建设现状国外数据标准化工作起步较早，不少国际大型企业已将数据当作企业的重要资产来对待，其中大部分企业均以数据标准为核心，确保数据标准能够融入企业的每个业务环节中。

但国内企业大多数系统的建设都是直接依据业务需求建立，并没有一个整体的规划，另外不同系统的建设厂商可能也不一样，所以不同系统之间数据的不一致性难以避免，究其根源，还是没有一套统一的数据标准来进行约束。企业在对数据的使用过程中，出现的很多数据问题，都是由于缺乏标准约束和整体规划设计造成的，如下：数据存储结构不一致，调用多系统的数据时，由于某些数据在不同系统中数据存储结构不同，导致数据无法直接关联，影响不同系统之间的数据共享。数据定义不一致，不同系统对数据的命名、业务含义、取值范围等定义不同，比如同名不同义、同义不同名等数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多沟通时间。数据来源不一致，数据存在多个来源，在数据使用时，不清楚应该取哪个系统的数据。通过数据标准的建设，可消除数据跨系统的非一致性，从根源上解决数据定义和使用的不一致问题，为企业数据建设带来诸多好处：数据标准的统一制定与管理，可保证数据定义和使用的一致性，促进企业级单一数据视图的形成，促进信息资源共享。通过评估已有系统标准建设情况，可及时发现现有系统标准问题，支撑系统改造，减少数据转换，促进系统集成，提高数据质量。数据标准可作为新建系统参考依据，为企业系统建设整体规划设计打好基础，减少系统建设工作量，保障新建系统完全符合标准。同时，数据标准建设也为企业各类人员提供相应的支撑：对业务人员而言，数据标准建设可提升业务规范性，保障人员对数据业务含义理解一致，支撑业务数据分析挖掘以及信息共享；对技术人员而言，有数据标准作为支撑，可提升系统实施工作效率，保障系统建设符合规范，同时降低出错几率，提升数据质量；对管理人员而言，数据标准建设可提供更加完整、准确的数据，更好的支撑经营决策、精细化管理。如何建设数据标准随着市场竞争的日益激烈及政府规范要求的日趋严格，越来越多企业已经逐渐意识到数据标准的重要性，但是苦于没有成熟解决方案、完善的标准体系制度以及相关经验，不知数据标准的建设该从何下手。根据以往的数据标准项目经验，小亿总结了一些数据标准建设流程和关键点，供大家参考。首先数据标准建设需要有相应的数据标准管理组织，负责数据标准的统一管理，承担数据数据的制定、维护、应用和监督等工作。一般数据标准管理组织包括：数据标准决策层、数据标准管理部门和数据标准工作组。另外数据标准管理工作的展开还需要一系列的数据标准管理制度，包括：数据标准管理办法文件、数据标准规范文件、数据标准管理操作文件等等。有了相应的数据标准管理组织和制度作为保障，即可推动数据管理的实施。数据标准建设的实施流程如下：第一阶段：标准规划从实际情况出发，结合业界经验，收集国家标准、现行标准、新系统需求标准以及行业通行标准等，梳理出数据标准建设的整体范围，定义数据标准体系框架和分类，并制定数据标准的实施计划。第二阶段：标准编制根据数据标准体系框架和分类，先确定各分类数据标准模板，然后由相关人员依据相关国标、行标、技术业务需求等调研结果，进行数据标准的编制，形成数据标准初稿。第三阶段：标准评审发布标准编制完成后，为保证数据标准的完整、规范，还需要对数据标准进行评审，在充分征求专家意见以及各相关部门人员意见后，对数据标准进行修订和完善。完善后的数据标准经过领导审批通过后，即可发布到全企业，形成正式的数据标准。第四阶段：标准落地执行不是所有的数据标准都能够完全落地，实际工作中可能会存在历史系统无法改造的情况，所以首先确定数据标准落地策略和落地范围，并制定相应的落地方案，然后推动数据标准落地方案的执行，对标准落地情况进行跟踪并评估成效。第五阶段：标准维护增强数据标准后续可能会随着业务的发展变化、国标行标的变化、以及监管要求的变化需要不断更新和完善。在数据标准维护阶段，需要对标准变更建立相应的管理流程，并做好标准版本管理。另外数据标准建设过程中，还有几个关键点，需要大家注意：1、标准范围圈定不是所有的数据都需要建立数据标准，企业实际数据模型中有上万个字段，有些模型还会经常变换更新，如果把这些信息全部纳入到标准体系中耗费工作量巨大，很难真正实现落地。因此仅需要对核心数据建立标准并落地，既可达到预期效果，同时也提升了工作效率。数据标准范围圈定建议如下：共享性高、使用频率高的字段需入标；监管报送或发文涉及到的业务信息需入标；结合数据使用情况，对于关键数据的字段尽量入标；数据应用有使用需求的字段需入标；与系统人员沟通其系统内重要信息来辅助入标判断。2、落标策略数据标准落地的工作中，肯定会遇到很多困难，比如某些历史系统无法改造或者改造成本过大，导致无法落标。这就需要我们针对不同的系统，建立不同的落标策略。对于新建系统，一般采用强制落标的策略，即新建系统必须符合数据标准，在新系统上线前对其进行数据标准落地评估，如评估结果不合格，则令其整改。对于已有的历史系统，采用建议落标的策略，首先将已有系统的标准问题找出来，并进行分析和整理，综合多方面考虑，包括工作量、整改风险、周期、成本等等，制定最有效的落标策略，比如等到以后系统升级改造时再落标，通过逻辑转换方式落标，通过数据仓库落标等等。3、工具选型数据标准建设工作量还是比较大的，完全依靠人工不太现实，所以需要一套完善、易用的数据标准管理工具帮助我们将数据标准建设工作落地。数据标准管理工具应包括：标准分类管理、标准增删改查、标准导入导出、标准评审、标准发布、标准版本管理、标准落地映射、标准落地评估、标准监控等功能。同时为更好的保障数据标准的落地，最好结合元数据管理工具一起使用。而亿信华辰数据标准管理平台ESDataStandard提供了一套完整的数据标准管理流程及办法，通过统一的数据标准制定和发布等一系列的活动，结合制度约束、系统控制等手段，实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理。实际应用案例最后跟大家分享一个基于亿信华辰数据标准管理平台实际落地的一个数据标准建设案例，这个是在国内某银行做的数据标准项目，建立了数据标准管理系统和全流程数据标准管理机制，将其在经营管理中产生的数据、依赖的数据以统一的口径展现，促进了数据分析在客户经营、绩效管理、资源配置、定价管理、风险管理等诸多方面应用与管理水平的提升。国内某银行建立了一套数据标准体系框架，管理全行数据标准，形成了以科技战略委会员领导下的数据标准化小组为管理组织，涵盖标准定义、执行、监督评审等各个环节的良性