【大厂案例】浪潮行业大数据治理平台方案

方案联盟www.fangan.vip行业大数据治理平台数据应用产品部方案联盟www.fangan.vip一、建设背景二、行业大数据治理平台方案三、核心功能介绍四、平台案例目录CONTENTS2发现规律：通过多源多维海量数据发现规律现状研判：通过数据统计和比对对现状进行描述科学预测：基于规律和现状，预测预警发展趋势综合服务：为社会各个方面提供知识成果与服务“资源是资产”

“数据是资产”•

资产由企业及组织拥有和控制，能够提供增值服务、带来

经济利益的重要资源。资产不但需要管理，

更需要运营。•

逻辑形式存在•间接或直接产生经济效益•

不断增值、再利用•

物理形式存在•

直接产生经济效益•

会折旧、会退网物理资产

数据资产3数据是资产非结构化数据结构化数据驾驶员基础数据视频监控数据物流状态数据城市管理数据个人出行数据基础设施数据交通应急数据交通路况数据车辆基础数据GIS地图数据……数据方案联盟www.fangan.vip大数据结构化数据4信息系统建设方案的演变应用系统

应用系统

应用系统

应用+平台应用系统方案联盟www.fangan.vip分散当前数据管理的问题•传统的烟囱式建设模式，造成系统林立，

数据分散并且封闭集中

共享数据开放共享的价值•数据开放共享，打破厂商垄断数据的局面，

形成开放的生态格局重复•为了支撑应用，相同的数据在不同系统之间

重复存放，造成资源的浪费据开放一数

一源•避免数据的重复存放，减少资源浪费统一接口复杂•数据共享困难，系统间接口繁多，实现复杂

度高，且可靠性难以保证共享平规范

服务•形成应用和数据分离的体系架构，底层共享的数据统一支撑上层各种应用质量较差•数据整体质量不高，监管机制不健全。缺乏面向数据质量的评估机制和数据质量的服务体系台统一

治理•

建立统一完善的数据质量体系，从数据质

量管理系统和数据服务体系两方面保障数

据的全程质量5数据资产运营中的问题方案联盟www.fangan.vip数•

数据标准化•

资源建模•

数据架构•

场景定义•

指标数据管理•

……••••••指挥调度

统计分析

实时监测

流量预测

数据服务……••••••数据抽取数据转换数据校验数据关联数据脱敏……•数据交换•数据共享•数据库模式•API接口模式•发布订阅模式•

数据资产管理与企业IT信息化过程紧密相连，但对数据资产管理不仅仅是建设一

套IT系统，更需要相应管理手段的跟进。

对数据资产的管理需涵盖规范、采集、加工、使用、优化、服务等数据资产的全生命周期，这样管理的数据资产才能够好用、实用，真正体现数据作为资产的价值。清洗加工数据质量管理数据采集数据

资产

运营标准规范应用6数据资产全生命周期管理数据质量

管理•数据采集•数据录入•数据解析•数据汇总•数据存储•

准确性

•

完整性

•

及时性

•

安全性

•

……开放共享清洗加工标准规范数据采集创新应用开放

共享方案联盟www.fangan.vip创新•

…………方案联盟www.fangan.vip一、建设背景二、行业大数据治理平台方案三、核心功能介绍四、平台案例目录CONTENTS7大数据治理平台数据资产管理数据质量管理

数据湖

内部数据外部数据

媒体数据物联网/IOT数据▉

通过平台+服务的方式，支撑ICT、能源、特种等行业用户建立全面高效的数据资产管控环境，实现多源异构数据的集中、统一和共享交换。统一数据标准、进行数据整合与治理，

保障数据安全，实现跨系统、跨部门、跨层级、跨地区的数据共享行业大数据治理平台数据开发挖掘分析应用开发决策支撑数据治理业务应用数据标准管理数据安全管理交换共享服务元数据管理开放门户和开放。方案联盟www.fangan.vip8当前数据管理的问题行集中

共享行业大数据治理平台的价值•数据开放共享，打破厂商垄断数据的

局面，形成开放的生态格局分散封闭•传统的烟囱式建设模式，造成系统林

立，数据分散并且封闭多样混乱•缺乏统一的数据标准，无法有效避免数据混乱冲突，一数多源、多样多类等问

题业大

数统一

标准•建立统一的数据标准，实现主数据统一

治理分发，保障一数一源，解决数据的关

联能力，保障信息交互、数据流通质量较差•数据整体质量不高，监管机制不健全

。缺乏面向数据质量的评估机制和数据

质量的服务体系据治理综合

治理•建立完善的数据质量保障体系，从数据

质量管理系统和数据服务体系两方面保

障数据的全程质量安全难控•缺乏有效的数据安全管理机制，对敏感信息隐私信息、保密信息的访问缺乏有效控制平台安全

管控•建立安全管控体系，对数据的分级分

类、使用状况梳理、访问控制、脱敏加

密以及定期的稽核保障数据的使用安全▉

行业大数据治理平台负责资源整合公开、协调、调度、管理与监控，凭借高效可靠的数据传输，以高安全、高可靠、高稳定的数据统一管理、共享交换能力，为各行各业的发展提供有力的支撑。产品价值方案联盟www.fangan.vip9核心功能方案联盟www.fangan.vip10模板服务、快速配置数据来源广数据种类多文件

消息数据

互联网

业务填报数据库离线导入服务互联网适配数据格式处理数据清洗转换数据预处理数据质量核检数据消息路由数据库适配接口服务适配文件适配非结构化适配消息数据适配数据来源

汇聚总线扩展接口

扩展接口

灵活适配、安全可靠整体业务过程安全可靠传输部门内企业互联网部门间资源池汇聚总线数据源存储架构Hbase加速器HDFS加速器MPP加速器Hive加速器大数据资源汇聚总线OSGI微内核

SCA

SOA集群管控

汇聚编排

汇聚监控

安全管控数据汇

聚过程数据加密数据标准化数据加工数据脱敏

安全可靠传输

数据汇聚方案联盟www.fangan.vip11方案联盟www.fangan.vip一、行业大数据治理平台方案二、核心功能介绍1、数据共享交换平台2、主数据管理3、数据质量管理4、数据安全管控

三、平台案例目录CONTENTS12要实施国家大数据战略，推动数据资源整合和开放共享：1.要推动大数据技术产业创新发展，坚持数据开放、市场主导2.构建以数据为关键要素的数字经济，深入发展工业互联网战略3.要运用大数据提升国家治理现代化水平4.运用大数据促进保障和改善民生5.切实保障数据安全，制定数据资源确权、开放、流通和交易相关制度，完善数据产权保护制度2017年12月9日习近平总书记主持中共中央政治局第二次集体学习建设背景-国家大数据战略方案联盟www.fangan.vip13〔2015〕

5号文《关于促进云计算创新发展培育信息产业新业态的意见》14建设背景-国家政策性文件〔2016〕23号文《推进“互联网+政务服务”开

展信息惠民试点实施方案》〔2015〕

50号

文《促进大数据发展行动纲要

》政务信息整合系列文件：〔2016〕48号文《政府购买服务改革工

作领导小组》〔2017〕

39号

文《政务信息系统整合共享

实施方案》方案联盟www.fangan.vip1、浪潮制定《政府数据标准规范》和《数据管理平台保障制度》两大类17项国家标准2、浪潮负责建设国家数据共享平台和开放平台n

国家级平台的政务外网门户及各子系统均已上线n

与山东、

四川、福建、贵州、北京江苏、浙江、广

东、

河南9个省份和工信部、

文化部、

国家旅游局

、

工程院、

中央编办5个部委完成了目录系统的对

接3、帮助全国40余个省市政府进行数据共享开放工作

，山东省政府建设的省级政务信息资源共享交换平台

已梳理了1.1亿条数据

，省级排名全国第一15建设背景-助力国家政府数据共享开放平台国家政府数据共享平台

部委平台

部委平台

厅局平台

地市平台

···县区平台委办局平台

省级平台

方案联盟www.fangan.vip···数据共享数据共享管理数据共享门户

共享工作台

内外数据互通数据资源目录数据治理元数据管理数据质量管理数据审计管理数据前置交换子系统 前置配置

交换承接数据处理配置信息解析数据采集加工数据清洗数据装载图形化配置

数据交换管理系统

交换任务调度交换任务监控

数据交换传输系统

数据传输数据压缩集群功能16

数据共享交换平台-功能框架目录体系管理目录注册目录发布目录维护目录查询目录资源申请其它外部系统接入各部门信息系统接入国家共享交换平台接入国家共享交换

平台数据共享外部系统数据

共享数据安全

管理数据开放展示策略数据驾驶舱应用导航交换触发服务管理服务地图配置管理订阅管理数据交换交换任务设置审计日志管理数据集成数据加密数据抽取数据转换交换路由发布订阅流量控制断点续传日志管理方案联盟www.fangan.vip拿数据标准范畴数据服务标准数据加工STGODM

DWADS标签标准数据存储标准数据接口标准数据建模标准指标标准数据开发标准▉

数据标准：建设数据标准管理及维护、标准映射、标准审批及发布流程、标准使用分析等功能，

构建统一的数据标准体系，支撑数据采集、处理、质量评估等各个过程的标准化及稽核服务数据标准

数据标准化-数据标准管理17标准推荐标准变更流程标准映射引用数据标准增删改标准遗漏分析标准发布流程数据标准分类标准映射配置数据服务数据

采集数据传递过程数据标准分析数据标准审批数据标准维护数据标准映射数据建模数据质量方案联盟www.fangan.vip数据标准化-数据标准管理▉

提供数据字典、数据标准管理功能，保障企业数据的一致性。数据字典管理数据标准管理方案联盟www.fangan.vip18设计根据业务需求进行模型的设计，包含模型

的基本信息、分类、

字段等。验证实现模型校验，校验

通过后自动写入元数据库。校验方式：一、设计库与实际数据

库进行比对，二、通过业务应用进行验证。模型设计元数据模型验证审核对设计的模型由数

据专家、模型专家进行审核，对于审核通过的模型方可实际建立。实施对于审核通过的模

型，根据设计在数据库中建立模型。

数据标准化-基于元数据的数据建模工具▉

支撑多种数据存储格式（

Hadoop、

MPP、

RDB）的数据模型生命周期管控及模型呈现19模型审核模型管理模型实施方案联盟www.fangan.vip•支持在线建立模型、模型变更、下线等操作，支持批量模型导入（Excel

、PDM）•

支持Hadoop（hive、spark、

Impala

)、MPP（

vertica、gp、gbase、

IQ）、RDB（Oracle、MySQL）等

数据标准化-元数据建模20•

支持物理库与元数据库信息的一致

性盘点核查•

可从差异直接确认同步到元数据库▉

建模工具：基于元数据的建模工具、模型盘点、模型管控•模型设计审核流程、模型实施审核流程•

审核后直接写入元数据系统可视化在线建模模型审核模型盘点方案联盟www.fangan.vip

数据标准化-元数据管理I

提供元数据采集、维护、检索、分析等管理功能。21元数据分析元数据维护元数据检索元数据采集方案联盟www.fangan.vip接口离线采集接口、实时采集接口、互联网爬取接口

…模型缓存层模型、基础层模型、汇总层模型、应用层模型..任务采集任务、数据汇总任务、数据挖掘任务、数据清理任务

…服务数据API服务、数据交换服务、数据报告服务、数据应用服务指标PI、

KPI、

KQI、QoE

…▉

提供对数据共享平台内数据资产的统一注册管理及发布呈现，包括采集接口、数据模型、处理任务、指标、共享服务等。全生命周期的

数据统一管理数据资产管理方案联盟www.fangan.vip22更新目录清理目录目录1目录1目录1更新数据开

放目录发现新目录共享数据集目录开放数据集目录政

府

数

据

资

源全集建立数据开

放目录政府业务模型数据采集、加工数据标签、脱敏业务梳理数据资产管理-资源目录梳理业务系统共享平台业务需求确定初步共享开放目录依据现状完整的数据资源目录相关单位确认形成共享开放目录完整性确认标签数据分类部门分类数据项数据项部门分类数据分类标签标签部门分类数据分类数据项方案联盟www.fangan.vip23权责

清单办事

服务

事项提取相关主题建库标准化数据目录元数据

标准政府业务梳理模型部门职责管理对象管理维度管理手段生命周期总结常见数据问题与解决方法促进业

务协同数据共享清单数据开放清单梳理事项关联关系数据

数据抽取

处理电子证照库质量

更新检测机制数据资产管理-资源目录梳理自然人、法人库优化服

务流程重复提交材料X多次跑腿X等待时间长X政策法规、标准体系各部门业务库各部门业务库不会提供数据X不知共享需求X建立数据治理体系数据

处理更新

机制方案联盟www.fangan.vip数据

抽取质量

检测24方案联盟www.fangan.vip标准规范25数据资产管理-形成行业资源目录▉

支持按照“类”、“项”、“目”、“细目”对资源目录体系进行维护。支持资源目录的新增、删除、导入、发布等编目管理操作。数据资产管理-资源目录管理资源目录管理目录体系编目目录发布管理方案联盟www.fangan.vip26I

以数据为核心，实现数据汇集、融合、治理、资产化、共享全景呈现。。数据资产管理-资产可视化数据资产全景数据共享全景数据全景数据汇集全景数据融合全景数据治理全景方案联盟www.fangan.vip27数据交换-交换管理交换任务配置交换作业配置前置机配置数据源配置方案联盟www.fangan.vip28方案联盟www.fangan.vip29数据交换-交换管理交换任务处理过程配置交换过程监控统计30

数据交换-交换处理任务概览任务监控任务编排▉

可视化的任务编排与监控。方案联盟www.fangan.vip高实时性要求小数据量

在线交互交换数据量较大、低实时性要求定期或一次性大批量数据要求SOAP/HTTPFTPODBC/JD

BC配置管理

审批管理生产者管理消费者管理第三方平台第三方系统服务数据共享服务总线数据共享平台数据实时查询服务

数据文件生成服务FTP服务服务模式服务目录管理安全及自身管理服务策略管理数据开放共享-共享手段I

以数据服务的形式封装数据，提供统一的数据开放共享。消

费

者数

据

共

享

生产

者***系统***系统***平台***应用服务地图安全管理服务管理订阅管理数据库模式日志管理发布订阅模式认证鉴权API接口模式访问会话管控访问队列管控访问缓存管控方案联盟www.fangan.vip31n

审批流程：1.

服务注册审批2.

服务变更审批3.

服务注销审批4.

服务订阅审批数据共享服务订阅审核数据共享服务注册数据生成数据共享服务订阅数据获取数据共享服务注册审核数据订阅需求提出数据订阅需求审核数据开放共享-共享管控▉

审批流程+策略控制相结合的数据共享管控手段。1.

访问会话控制2.

访问队列控制3.

数据缓存控制消费者生产者运营者服务策略：方案联盟www.fangan.vip通过通过32n数据分级涉及内部隐私涉及国家安全数据分层社会完全开放件开放社会条部门间完全共享部门间条管理件共享内部数据开放共享-共享安全涉及单位隐私涉及个人隐私涉及知识产权涉及法规禁止涉及其它禁止其它数据▉

对数据进行分级管控--●-------●●●--●●●●●--------●●-●----●●●---●●----机密方案联盟www.fangan.vip33I

数据开放共享工具支撑：提供一键式的数据开放与共享发布及数据API、数据集、数据报告、数据应用的多种交付模式。数据开放共享-共享方式数据API、数据集、数据报告、数据应用一键式数据资源对外发布为服务开放共享服务发布开放共享交付模式方案联盟www.fangan.vip34数据开放共享-共享服务▉

以数据服务的形式封装数据，提供统一的数据开放共享。服务地图服务/订阅管理服务发布订阅审核方案联盟www.fangan.vip35▉

提供数据资源可视化运营监控，实时掌控数据交换平台数据资源交换次数、共享数据量，

TOPN信息系统等数据服务运营情况。36

数据交换共享门户方案联盟www.fangan.vip方案联盟www.fangan.vip一、建设背景二、行业大数据治理平台方案三、核心功能介绍1、数据共享交换平台2、主数据管理3、数据质量管理4、数据安全管控

四、平台案例目录CONTENTS37方案联盟www.fangan.vip•主数据是那些描述你的客户、物料、供应商等的基

础数据；•主数据存储在多个相互不连接的系统/数据库中•主数据信息在多个不同的应用系统中被维护•集团总部没有对全局主数据信息及时、一致、真实、

可靠的视图每个部门、分公司、业务系统拥有不同的信息企业日常业务场景38

主数据定义•

具有高业务价值•

跨业务重复使用•

核心业务实体

主数据特征•

变化相对缓慢•

存在多系统中•

需要交互共享•

业务源头主体人员招聘规划设计工程管理物业管理…土地拓展物资采购

楼盘销售

商业租赁成本系统投发系统供应商什么是主数据？销售系统物业系统招采系统工程系统HR系统财务系统招采

工程

销售物业

商业人资

投发业务

系

统业务

行

为业务

部

门业务

实

体项目商业系统方案联盟www.fangan.vip组织员工分期39……目前面临的问题1、数据标准、流程、责任分工不明确。如数据维护分散等。2、数据清洗工作不到位，如客户、供应商。3、系统功能不完善，缺少各户定制化内容，如数据级联关系管理、维护流程定制、接口监控等。企业中多部门、多系统的分散管理主数据直接导致数据质量差，增加企业信息化成本，

降低

企业决策效率。数据共享不及时数据定义不明确责任部门不清晰维护流程不统一数据状态不可控企业主数据管理遇到的挑战方案联盟www.fangan.vip40由于各个系统需求的不同，

一个相同的服务器在各个系统中均有自己的编号和其他属性编号：

87254型号：

2CPU16GERP编号：I0954型号：

2C16G地点：总部机房GIS编号：

01254型号：

2C16G项目管理编号：

A0154型号：

2C*

16G尺寸：

0.5*0.8XX系统浪潮服务器，

NF5270M4，

2CPU16G，主数据问题示例0.5*0.8M方案联盟www.fangan.vip41方案联盟www.fangan.vip主数据管理思路▉实现企业的主数据管理，以主数据入手即可完善数据管控的手段，以基础数据为主，步步为营自上而下实现企业数据管理环境构建。部门主管业务专责构建完整的数据管理环境建立企业数据标准建立规范化管理流程建立数据使用习惯企业领导42数据标准服务标准管理标准方案联盟www.fangan.vip43解决方案▉应用完善的数据管理产品能力结合企业管理能力的数据管理制度。数据治理产品能力包含主数据全方位的管理能力，如统一编码、数据清洗、质量管理等。管理能力体现在企业主数据标准的贯彻和落实。流程管理资源目录元数据管理主数据管理质量管理统一编码技术手段数据分发数据清洗管理能力主数据管理平台数据建模•

数据字典•

编码规则•

实体建模•

存储模型数据服务•

申报服务•

修改服务•

查询服务•

订阅发布提升数据质量提升数据整合能力提升领导决策能力数据整合•

数据汇集•

数据合并•

整合监管

企业服务总线（

ESB

）

主数据管理标准主数据管理流程数据维护•

数据管理•

数据去重•去重规则合同系统财务系统人力系统客流系统资产系统票务系统其他总体架构编码规范组织管理访问服务高速缓存编码库编码审批编码历史访问权限方案联盟www.fangan.vip44方案联盟www.fangan.vip主数据模型定义、已建信息系统的信息资源，

细化完善目录规划组织准备构建主数据管理平台，支撑主数据管理工作开展制定数据标准规范，数据资源维护规范，数据交换共享规范等相关标准及管理制度明确编制领导机构工作机制

，负责组织规划、编目审查、目录报送等工作主数据管理咨询步骤资源调查组织开展资源调查工作，梳理企业各部门、各业务环节按照元数据要求，编制生成主数据资源模型定义及编码按照主数据定义，确定本期项目主数据管理范围主数据范围确定数据标准与规范规则45信息资源名称（必填

项）信息资

源代码

（信息

中心填

写）信息资源

提供方资源提供方代码（信息

中心填

写）信息资源

摘要（必填项）信息资源格式信息资源大普查信息项信息共享属性共享方式开放属性更新

周期

（必

填项）发布

日期

（必

填项）关联

及类

目名

称

（选

填项）信息资源提供方（必

填项）提供方内部部门（选

填项）信息

资源

格式

分类

（必

填项）信息

资源

格式

类型

（必

填项）其他

类型

资源

格式

描述

（选

填项）数据

存储

总量

（G）

（必

填项）结构

化信

息记

录总

数

（万）

（必

填项）已共

享的

数据

存储

量（G）

（必

填项）已共

享结

构化

记录

数

（万）

（必

填项）已开

放的

数据

存储

量（G）

（必

填项）已开

放结

构化

记录

数

（万）

（必

填项）信息

项名

称

（必

填项）数据

类型

（必

填项）数据

长度

（必

填项）共享

类型

（必

填项）共享

条件

（必

填项）共享

方式

分类

（必

填项）共享

方式

类型

（必

填项）是否

向社

会开

放

（必

填项）开放

条件

（选

填项）部门全称信息系统

名称主要功能系统状态

（建设中

,

运行中、停止使用、

其他）系统开始

使用日期系统开发

单位名称系统运行维护单位名称数据来源数据产生

方式（人

工录入,

自

动生成,省

市县逐级

报送,各企业报送,其

他）数据更新

频率（实

时、按天、

按月、按

季、每半年、每年、

其他）数据存储

量大小（GB）数据库名

称及版本系统使用频率（2016年

度累计用

户访问/登

录次数）信息系统

安全等级

定级情况

（一级、

二级、三

级、四级、五级、未

定级）信息系统

分级保护

定级情况

（秘密、

机密、绝密、未定

密）备注序号信息资源分类信息资源名称（必填项）信息系统类分类

（必填项）项分类

（必填项）目分类

（必填项）细目分类

（选填项）分类五级（选填

项）分类六级（选填

项）调研企业主数据现状1、信息系统基本情况调研2、资源目录调研3、资源模型调研方案联盟www.fangan.vip46序号主数据来源系统相关系统建议主管部门1供应商主数据物资管理系统合同管理系统、财务管理系统、实物资产转资管理系统运营公司2客户主数据资源开发管理系统物资管理系统、财务管理系统、电子商务财务部3会计科目主数据财务管理系统合同管理系统、物资管理系统财务部4固定资产主数据财务管理系统合同管理系统、物资管理系统、实物资产转资管理系统财务部5设备主数据实物资产转资管理系统合同管理系统、物资管理系统、财务管理系统运营公司6物资主数据物资管理系统合同管理系统、财务管理系统运营公司7组织机构主数据人力资源管理系统通过统一用户管理提供给所有系统人力资源部8员工主数据人力资源管理系统通过统一用户管理提供给所有系统人力资源部47

明确主数据管理范围▉通过业务分析确定主数据初步管理范围及数据来源，明确管理职责，进行企业数据管理。▉主数据具有以下特点：1、偏对象型的共享数据。2、在企业内跨越多个业务部门被重复使用的高价值数据。3、是企业核心数据实体。方案联盟www.fangan.vip数据

标准•

定来源--规定数据的唯一出处•

定结构--规定主数据的属性，编码构成•

定规则--约定数据之间的关联关系服务

标准•

定接口规范--约定接口生产者、消费者、接口名称、参数•

定数据格式--规定数据标准格式管理

标准•

定流程--规范主数据的申请、变更、修改流程•

定职责--定义流程活动参与者的职责主数据管理平台规范指导建设48制定主数据管理标准方案联盟www.fangan.vip数据整合整合监管数据维护数据管理查重规则数据建模数据服务49主数据管理-主要功能权限控制实体建模数据字典存储模型主数据编码数据推送系统接入资源分类发布订阅数据合并数据去重数据汇集方案联盟www.fangan.vip生产调度经营计划质量检验-生产车间XX班组主数据资源目录人员组织机构客户物料方案联盟www.fangan.vip50数据建模-资源分类▉构造企业主资源目录，提供快速查询和使用数据的能力。资源目录可以对此类数据进行层级划分，实现查询、数据建模、质量管理、数据集成等数据管理应用能力。以层次化结构协助企业领导、业务专责、或第三方厂商工艺部XX分公司XX分公司XX分公司快速定位数据，实现数据应用的目标。组织机构质量管理数据集成数据查询查询服务数据管理分类数据管理物料分类设计部机械能源物资管理-

XX班组总部▉

提供可视化界面进行主数据类型定义及主数据资源目录浏览。数据建模-资源分类分类定义分类目录浏览方案联盟www.fangan.vip511020304050001一级

分类

码（类）二级分类码（项）三级分类码（目）四级分类码（细目1）五级分类码（细目2）四位流水号（流水号）对内管理1、建立编码库2、编码自动校验3、编码流程管理4、实现一物一码对外服务1、编码查询服务2、统一编码服务3、外部编码流程4、编码映射服务▉

一物一码是主数据的核心内容，

主数据管理平台将数据编码进行划分和规范，通过编码引擎实现数据系统内部统一数据编码。

数据建模-主数据编码52结构拆分编码查询码值编码组合编码匹配数据赋码编码组合编码字典编码引擎方案联盟www.fangan.vip53数据建模-主数据编码▉

通过将主数据编码规则设置到平台中，确保系统中的数据按照编码规则要求生成。自定义规则编码规则管理方案联盟www.fangan.vip资源

模型1资源

模型2资源

模型3基本属性设计属性

工艺属性

生产属性

财务属性▉

建立企业主数据模型标准的制定。从PDM、

ERP等多种业务系统中，进行数据模型的梳理汇编，

并进行数据模型的标准化，解决一数多源，多种定义等问题。数据资源集目录数

据

资

源全集数据模型汇编数据模型去重数据模型编目数据模型归一化

数据建模-实体建模54业务资料业务需求业务分析业务系统资源分类信息项名称资源分类资源格式资源编码信息项类型关联资源资源格式信息项名称信息项名称资源分类关联资源资源编码信息项类型关联资源资源格式资源编码信息项类型共享类型资源名称共享类型资源名称共享类型资源名称方案联盟www.fangan.vip主数据资源-基本信息主数据资源-关联元数据元数据基本信息元数据字段信息I

通过提供可视化建模工具，进行主数据资源模型建立。并提供资源模型注册、审核、发布、盘点等管理功能55数据建模-实体建模方案联盟www.fangan.vip数据库表管理

数据建模-存储模型管理▉

对物理存储模型进行管理。56存储模型管理方案联盟www.fangan.vip

数据建模-数据字典管理57I

提供可视化界面进行数据字典管理。方案联盟www.fangan.vip▉

提供数据采集与清洗能力，通过ETL、

SQL、

EXCEL等多种不同的工具，实现自动或手动或混合的数据采集与清洗能力。结合数据质量检核，为客户提供多重数据质量保证。数据的唯一性数据的权威性分布式ETL工具文件导入工具流处理工具数据整合-数据汇集合并

解决

问题数据处理手动

清洗混合

清洗自动

清洗手动采集自动采集数据源质量校核数据入库数据的一致性数据的合法性数据的完整性方案联盟www.fangan.vip58数据整合-数据汇集合并任务运行状态任务概览▉

可视化的任务编排与管理。方案联盟www.fangan.vip59任务监控详情

数据整合-任务监控▉

可视化的任务运行监控。60任务监控概览方案联盟www.fangan.vipI

提供对主数据的新增、修改、

删除、审核、发布等主数据生命周期过程行管理。数据维护方案联盟www.fangan.vip61去重规则管理▉

提供对主数据的去重规则设置管理，

对有多个来源的主数据进行去重。数据维护-数据去重主数据去重方案联盟www.fangan.vip62▉

针对注册的主数据可进行发布操作，通过主数据分类进行发布。数据服务-服务发布发布参数修改主数据发布方案联盟www.fangan.vip63▉

可针对发布的元数据进行数据权限管理，设定数据权限类型及具体属性权限信息。数据服务-数据权限数据权限管理权限详情设定方案联盟www.fangan.vip64

数据服务-查询服务▉

可以对主数据信息进行查询，同时对查询到的主数据支持发起订阅审批流程65主数据查询发起订阅审批方案联盟www.fangan.vip▉

可通过推送任务定制的方式，实现主数据推送。数据服务-分发服务任务详细设置推送任务定制方案联盟www.fangan.vip66方案联盟www.fangan.vip一、建设背景二、行业大数据治理平台方案三、核心功能介绍1、数据共享交换平台2、主数据管理3、数据质量管理4、数据安全管控四、平台案例目录CONTENTS67影响数据质量的关键隐患问题总结信令大数据的规模占比超过95%

，

是性能管理现阶段数据质量主要矛盾。在日常运营过程中总结发现，影响信令数据质量的问题遍及数据源、数据平台、上层应用三层。n某些大网调整工作与DPI割接不同步，导致数据漏接：

网元扩容、网元割接、地址变更n某些时刻业务量突增，

DPI带宽/性能不足，导致数据溢出：黄金周、春节返乡、重大活动n某些原始XDR字段统计错误，导致KQI计算不准：错误码、呼叫类型n某些原始XDR关键信息回填失败，导致KQI计算不准：

IMSI、

MSIDN、

IMEI、TAC、CELLIDnDPI特征库更新不及时，导致业务识别异常：识别不出、识别错误nSDTP接口链路异常，导致数据丢失n平台持续高负荷，导致任务积压、数据缺失：集群规划不合理、参数设置异常、程序未调优n设备与网络故障，影响全量数据运算：数据库宕机、采集清洗机故障n指标算法统计错误，导致KQI计算不准：用户数、流量、成功率n某些基础数据异常，影响业务运算准确性：家客资源、小区资源、核心网资源n共享接口链路故障/接口文件延时，导致应用汇总异常n某些设备故障，影响全量数据运算：数据库宕机、采集清洗机故障数据源数据平台上层应用68▉

▉方案联盟www.fangan.vip69

数据质量保障体系▉

数据质量保障体系建设思路：建立标准+组织+工具+运维的综合保障体系•

构建多方专人的保障组：局方

、数据源厂家、数据共享平台

厂家、数据应用厂家•

制定管控制度：

质量例会3、处理流程•

明确数据处理问题闭环处

理流程5、运维保障•

定制日常质量巡检作业•

定期开展运维分析报告•

数据质量信息核查组件/探针•

配置化数据质量核查功能•

短信+告警结合的预警手段1、标准规范•

制定数据标准规范•

制定数据核查标准数据质量保障体系4、质量核查工具2、组织与制度方案联盟www.fangan.vip接口类型规则类型检查内容4G实时数据

模型及时性文件生成时延>30分钟完整性有无标题行、文件数、记录数、列数准确性1、

http访问成功率<90%2、

http平均响应时延>3000ms3、

http平均下载速率<10kbps4、

http平均下载速率(包>500KB）

<1000kbps5、ATTACH成功率<90%6、ATTACH平均时延>3000ms7、承载建立成功率<90%8、承载建立平均时延>3000ms9、TCP建立成功率<90%10、TCP建立平均时延>3000ms字段中文名字段英文名字段类型字段规范城市区号cityvarchar(5)1、类型：数字接口类型interfaceBIGINT1、类型：数字2、范围：

[1-24]RATratBIGINT1、类型：数字2、范围：

[1-6]IMSIimsivarchar(20)1、非空2、类型：数字3、长度：

15手机号msisdnvarchar(20)1、非空2、类型：数字3、长度：

11或1370

数据质量标准规范▉

梳理并制定各类数据的标准规范及核查标准数据标准规范数据核查规范方案联盟www.fangan.vip•闭环管理：专人每日巡检、每日汇报•定期总结：每周召开数据质量分析会、每月召

开故障分析会、投诉及故障处理经验归档管理磐石行动、部省接口等专项行动•

局方专人管理•各厂家项目经理挂帅•各层厂家设置量问题专员、重点专题专人保障▉

针对重点业务质量保障制定了“专项小组，

定期例会，专项汇报”机制，保障平台内部落实各项保障规范和相关措施•形成项目例会，每两周针对近两周数据质量问题进行总

结，要求各厂家分析数据质量原因、找出隐患和根源总结经验、

IT固化规则，

提升自动化运维水平•确定每月/每季度专项重点保障范围•明确专项核查重点KPI及保障标准组织与制度专人负责

组织定期

例会分析质量保障专项团队专项

汇报定期

例会专项

小组方案联盟www.fangan.vip71知识库数据源ETL过程日志采集数据对象质量信息采集运行环境日志采集统一规则管理数据质量后知识维护质量问题

处理问题派单数据填补问题归档质量评估质量评估报表质量评估报告知识检索知识库数据质量

监控预警服务查询服务报表服务预警规则配置数据质量问题库规则库ODM基础设施▉

数据质量：

是一个问题管理中心，遵循问题发现、分析、解决和评估的闭环管理方式，从完整性、及时性、有效性、

一致性、准确性五个方面，对数据的运行环境、采集、处理、消费进行全程的监控评估数据质量信息存储数据质量稽核信息采集质量概览数据质量分析数据质量管控任务调度EOMS元数据采集规则配

置运行环境监控处理过程监控数据源监控数据对象监控影响性分析血缘分析知识库分析数据质量信息库方案联盟www.fangan.vip台服务72STGDWDMn

专业室与网管提前共享割接计划n

具体工程割接实时时，专业室提前向网管告

知割接实施方案，

DPI厂家制定升级方案n

工程割接完毕，DPI升级同步开展可视化监测预警

原始XDR监测共享数据监测n

监测内容：

数据完整性、及时性、

准确性n

监测周期：5分钟、

15分钟n

预警手段：

PC端、短信、邮件基础信息例行更新根据集团数据运营要求，定期进行规则库、

基础数据库、关联算法的更新升版。数据模型与算法例行更新

轻度汇总规范

应用指标规范

根据集团集团下发的XDR数据孤帆定期进

行模型、算法、合理性规则的自检更新。DPI升级场景工程割接场景多手段问题定位通过调用元数据血统分析、

ETL/设备日志关

联、经验检索协助问题定位。问题督办与闭环摘挂牌督办处理过程进行跟踪；频发、长期未解决问题

纳入摘挂牌管理，

定期通报、

评价与考核。▉

通过一体化数据质量保障手段、数据模型与算法例行更新、工程割接与DPI升级协同，形成常态化数据治理与运营机制。DPI识别规则库规范终端等配置表规范关联合成规范数据质量处理流程地址变更设备扩容网元扩容探针扩容网元割接分光器割接经验库检索数据模型与算法例行更新LOG日志关联一体化数据质量保障手段工程割接与DPI升级协同元数据分析

KQI指标规范方案联盟www.fangan.vipXDR规范问题闭环73▉

从网管数据的生产环境、采集、处理、消费全过程进行质量监控与保障。统一的数据质量监控74数据质量管控工具多方式质量问题分析灵活规则设置血统/影响分析帮助问题定位质量规则的统一管理知识库管理与查询灵活的规则设置质量告警监控质量问题呈现方案联盟www.fangan.vip经验库数据质量日志采集经验库查询经验库维护数据质量信息存储③根据检测规则生成质量问题数据质量信息库⑧质量评估考核▉

该平台定位于数据问题管理中心，遵循问题发现、分析、解决、评估的闭环管理模式，对数据的运行环境、采集、处理、消费进行全程的监控评估。数据质量统一门户规则配置问题闭环督办质量评估问题分析血缘分析经验库查询质量监控⑥问题派单督办⑦质量问题处

理经验总结主动核查质量日志采集数据加工过程日志采集平台运行日志采集数据质量核查手段⑤问题分

析定位④读取质量问题磐石行动专项LTE

xDR质量稽核

家宽xDR质量稽核部省接口上报4G实时数据上报

热门业务统计上报性能管理专题视频端到端家宽端到端质量告警质量概览_______问题转派闭环问题摘挂牌督办应用日志采集第三方ETL日志采集检查规则配置采集规则配置Inspur

ETL日志采集设备日志采集评估规则配置评估报告报告任务调度元数据

管理工单表核查日

志采集字段核查

日志采集文件核查

日志采集数据质量分析专题②获取质量信息日志数据质量规则库数据质量问题库问题处理经验库方案联盟www.fangan.vip报表

报告①读取规则75核查内容核查规则及时性文件生成时延完整性文件数文件大小记录数列数是否有标题行准确性成功率类指标时延类指标速率类指标流量类指标（地市/省）共享统计数据质量稽核▉

对共享文件、上报文件的数据合规性、文件一致性进行实时稽核预警，

及时发现数据问题，降低应用端影响。共享文件一

致性检查数据质量数据质量稽核数据共享平台一

数据共享上报文件

数据上报4G非实时、重要网元、终端、视频）核查内容核查规则及时性文件共享报时延一致性文件数文件大小总部性能管理专题应用数据质量实时预警分析共享文件上报文件共享文件共享文件一致性检查规则数据合规性核查规则数据文件共享/上报数据合规

性稽核方案联盟www.fangan.vip（4G实时、76共享统计数据质量稽核I

以集团上报类汇总统计数据为例，数据合规性稽核实际效果如下：方案联盟www.fangan.vip7778

共享统计数据质量稽核I

以集团上报类汇总统计数据为例，数据文件一致性检查实际效果如下：方案联盟www.fangan.vip79

接口数据保障I

接口数据补报处理机制：方案联盟www.fangan.vip类型内容举例资源数据

合理性关键维度字段是否为空、重复账号数量占比、

bandwidth为空占比、用户数、数据记录数、

ONU总数、

OLT总数、

BRAS总

数、BRAS下行端口总数、XDR数据

合理性关键字段为空XDR占比、业务大类填充为空或0占比、业务大类

编号大于18占比、业务小类为空或0占比、业务小类匹配占比、业务完成标识填充率、上行流量填充率、下行流量填充率、HTTP/WAP事务状态填充率、业务完成标识填充率、业务完成

标识与事务状态不一致的占比、第一个HTTP响应包时延填充率、

最后一个HTTP内容包时延填充率、最后一个ACK确认包时延填充率性能指标

合理性ONU发光功率异常占比、

ONU收光功率异常占比、ONU数量占比、

OLT异常数据占比、

OLT数量占比、OLT

PON口数据异常占比、

OLT

PON口数量占比、

BRAS异常数据占比、

BRAS数量占比、

BRAS下联口数据异常占比、BRAS下联口数量占比▉

制定定期数据质量巡检任务+每周/每月数据质量专题报告相结合的运维保障机制。数据质量运维保障方案联盟www.fangan.vip80方案联盟www.fangan.vip一、建设背景二、行业大数据治理平台方案三、核心功能介绍1、数据共享交换平台2、主数据管理3、数据质量管理4、数据安全管控四、平台案例目录CONTENTS81▉信息技术的快速发展和各种IT技术的广泛应用，数据资产已经成为企业核心资产的组成部分，也是组织的核心竞争力的体现。逐步走向数据共享为基础，激活生产力为目的的大数据时代。共享

BIG

DATA量变引发形态变化，大数据，数

据的共享成为社会化协同的基础，

数据智能回归线上，成为业务流

的核心，数据成为独立的生产要

素与经济资源.分散

DB（MIS）信息电子化，数据

被各种系统记录，

数据的流动和应用

从集中走向分散流动

BI/DW信息膨胀，数据爆

炸，信息流动突破

了系统、组织和地

域边界，从数据中

寻找决策依据.集中

No

DB企业内部信息高度

集中。文档、管理者头脑中.82

大数据时代C方案联盟www.fangan.vip•数据在哪里产生？-

IOTto

IOE•数据在哪里存储？-

无所不在的端

&云•数据在哪里使用？-

每一个生产环节-

DT的价值发挥•

数据在哪里“丢失”的？-每一个生产环节的每一个组成要素-交换、共享、披露等外部环节大数据环境下，数据与数据风险无处不在方案联盟www.fangan.vip83▉数据在收集、存储、传输和共享流通的过程中，缺乏必要的技术保障手段，使得大量敏感信息的安全性无法得到有效的保障。集中的高价值数据，就也面临越来越多的安全风险，一旦出现数据泄露，会给企业带数据已成为追逐目标！数据安全问题愈发频发，影响愈发严重84

数据安全问题愈演愈烈来不给估量的损失和影响。方案联盟www.fangan.vip-

在网络安全法中，有大量篇幅的内容是与数据安全相关的，涉及到技术和管理两个方面的内容。概括起来说，网络安全法

中有关网络数据安全的技术性要求有如下几点：l

对数据访问日志进行审计，且日志留存时间不低于6个月（第21条）；l

对数据进行分类，将敏感数据与普通数据区别化处理（第21条）

；l

对重要数据进行备份，容灾（第21、

34条）

；l

对重要数据进行加密（第21、

31条）

；l

对个人信息进行脱敏（第42条）。-

网络安全法中涉及到的数据包括一般网络数据（第21条）

，并且单独对基础信息基础设施数据（第34条）

、

用户信息和个人信息

（第42条），进行重点保护。▉十三届全国人大二次会议3月4日上午在人民大会堂新闻发布厅举行新闻发布会，2019年将制定数据安全法。▉全国人民代表大会常务委员会于2016年11月7日发布，自2017年6月1日起施行《网络安全法》国家对数据安全提出明确要求方案联盟www.fangan.vip85网络安全设备安全应用安全数据安全

平台安全终端安全信息安全体系

关注重点方案联盟www.fangan.vip86数据采集需要采集接收的数据

多源异构，数据接入

方式多种多样，造成

数据采集源头存在安

全隐患，数据溯源难数据流通数据使用明文数据收集之后进行整

合处理落地到数据库以及

加工使用，应用展现，

数据都是以明文的形式呈现

给业务、运维及管理等内

部人员。权限滥用，误操

作，缺乏审计等原因很容

易窃取或非法修改数据交换共享促进了数据的流通，数据不再局限于部

门内、企业内使用，数据流通环节增大了数据泄露等安全隐患，需要对数据的去向进行跟踪。87数据时代的数据安全威胁数据分类分级数据来源和流向溯源数据驻留和资产地图元数据的管理数据中间沉淀权限漏洞非法爬虫数据滥用信息泄露回溯研发后门&模型和BI外包云环境可信性大数据综合风险方案联盟www.fangan.vipu

缺乏数据保护评价指标、方法和数据u

数据保护管控措施的有效性无法客观评价和感知u

缺乏评价导致无法有效改进，难以保证事件再次发生u数量多、形式多，数据关系复杂，难以进行梳理u对于内容是否敏感由人主观意愿判定，缺乏标准性-缺乏自动化的数据内容分类和标记技术手段u

缺乏数据分类保护规范和分类分级安全策略-缺乏对不同数据在不同位置的风险评估视图，保护难以下手u

覆盖不同位置的存储、传输、使用全过程的保护成

本高无法明确某类敏感数据在组织的整体分布情况-数据类型多、形态多、数量多，增加内容识别的难度-缺乏处理漏报和误报的技术手段-需要覆盖终端、网络、系统、数据库、存储等所有位置数据时代的安全管理难点u方案联盟www.fangan.vipCAD88Bu安全策略分类分级010602050304数据梳理对

于

数

据

资

产

进行

梳理

，

评估

所有者

、

用

途

、

存

储、分发

、

价值

等属性，进

行

数

据

分类

分级

管

控。制定防控方法在

分

类

分

级

的

基础

上，分

别制定安全防护

策

略和

管控

流

程，实

现

数

据

的

分

级安

全管

控

。89

数据安全治理-总体思路管理机制风险评估监

控

敏

感

数

据

异常

访问

行

为，进

行

风

险

评

估

，

形

成安

全

态势感知技术防护全过程防控面

向

数

据

采

集

、数

据加

工

处理

、数

据使

用及

数据流通的全

过程

，

采取加密、访问控制、脱

敏、水印、监视等技术手段进行

全方位技术防

护。持续优化态势感知改进措施持

续

修

正

优

化

分类

分级

及

相应

的

管

控

策

略

及

管理

制度

，

持续

有效的保障

数

据安

全。组织保障建

立

安

全

保

障

组织

，

构

建

构建

安全

管理

机制

，

共

同负责

数据

安全

。方案联盟www.fangan.vip数据安全治理-业务逻辑方案联盟www.fangan.vip90结构化数据

|非结构数据业务系统

管理系统

运维系统第三方系统……数据加密数据脱敏数据审计

数字水印权限控制风险规则管理风险行为监控风险行为分析风险行为预警安全态势评估安全策略配置加密密钥管理脱敏算法管理水印参数设置用户权限配置

分类信息管理分级信息管理分类规则管理数据修正敏感数据地图

数据安全治理-功能架构91数据安全治理分类分级管理安全态势感知安全策略管理方案联盟www.fangan.vip数据安全小组部门

数据安全经理

管理团队数据数据资源

控制点生成方owner

owner员工▉数据安全，三分管，七分治。组织构架安全管理组织，制定安全管理机制，保障安全管理工作顺利执行。审计数据安全治理-管理机制集团统一集团统一，BU可选方案联盟www.fangan.vip控制层执行层策略层管理层CRO92结构化数据非结构化数据▉支持关键字、正则表达式、以及人工智能等多种数据识别技术，适应多种分类分级规则制定。内置规则内置丰富的敏感数据识别规则，包括个人信息、银行及卡号、车等信息等关键字、正则表达式规则自定义通配符、简单逻辑描述、简

单关联、序列等自然语言处理、先进数据挖掘（聚

类、分类等）、机器学习

（无监督、

有监督）数据安全治理-分类分级支持对数据内容进

行分类分级支持对元数据模型

进行分类分级数据内容数据模型AI分类分级方案联盟www.fangan.vip93数据安全治理-分类分级分类分