数据中台标准方案小小工具箱

数据中台标准技术方案

微信扫码加入星球

数据中台标准方案

1数据中台概述

1.1数据中台介绍

因为在当今互联网时代，用户才是商业战场的中心，为了快速响

应用户的需求，借助平台化的力量可以事半功倍。然而第一之前在传

统企业信息化建设中企业为了满足单一业务场景需求而搭建的传统

技术架构，其底层技术选型大都无法支撑现有大数据应用场景。由此

形成的技术壁垒，往往使得企业转型成本激增甚至无法实现转型；第

二在企业不断发展的过程中伴随着业务的多元化发展，企业信息部门

单独建设或重建全新业务系统，逐渐形成了一个个相互独立的数据中

心，从而导致大量系统、功能和应用的重复建设，更造成了计算存储

资源和人力资源的浪费；第三企业由于业务发展带来的组织壁垒而形

成的数据孤岛，是数据壁垒最典型的场景。它使得企业数据难以被全

局规划和定义，从而导致数据价值无法被充分挖掘。传统信息化建设

往往以满足业务流程结果做为唯一标准，忽视了过程数据和关联数

据。传统的数据平台和其所谓的三层技术架构：前端展示层、中间逻

辑层、后端数据层，已经无法完善的解决上述三个问题并实现以用户

为中心的业务提升的。

当前企业数据的爆炸式增长以及价值的扩大化，数据将对企业未

来的发展产生深远的影响，数据将成为企业的核心资产。数据中台是

指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统

一标准和口径。

第6页共93页

数据中台标准方案

数据中台把数据统一之后，会形成标准数据，再进行存储，形成

大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有

较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据

的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异

化竞争优势所在。

1.2数据中台的价值

中台从公司战略角度，将这些行为进行了规范化，公共的部分交

给公共系统部门去做。

中台实际上是通用业务的下沉，企业在一个行业耕耘多年之后，

一般都会形成一些公用的业务，而这些业务是可以像中间件那样进行

下沉共享的。

政府企业机构等对内对外有了统一的业务系统、管理平台等等，

就不会再有各种业务系统孤岛，不会有数据打通问题，不会有跨部门

的数据墙。

有了统一的中台，也就有了统一的数据规范。

对于大数据相关的需求，可以从相对唯一的数据出口进行业务迭

代，不需要为每一个部门进行定制开发，浪费人力。

第7页共93页

数据中台标准方案

1.3数据中台设计原则

1.3.1数据的一致性与标准性

除遵循数据库设计的软件行业标准外，还要遵循国家、地方标准

及行业的习惯性事实标准。止匕外，数据中台的建设中将充分考虑客户

已建系统的数据，确保与客户现有数据的一致性和标准性。

1.3.2数据的实用性与服务性

数据中台设计充分考虑实际情况和应用特点，遵循“服务性与实

用性并重”的原则，通过数据整合与治理，数据高度可共享、和可根

据实际需求不断灵活组合，为业务应用服务，数据质量高，保证数据

的实用性。

1.3.3数据的独立性与可扩展性

设计时需要做到数据中台的数据具有独立性，独立于应用程序，

使数据中心的设计及结构的变化不影响程序，反之亦然。另外，数据

库设计要考虑其扩展性能，使得系统增加新应用或新需求时，不至于

引起整个数据中心结构的大变动。

1.3.4数据安全性

通过设计合理和有效的备份和恢复策略，确保数据中心遭遇突发

事故时，能在最短的时间内恢复。同时，通过做好对数据中台的访问

授权设计，保证数据不被非法访问。

第8页共93页

数据中台标准方案

1.3.5数据分级管理机制

根据用户访问数据中台的角色，将用户分成决策分析用户、系统

管理用户、运行浏览用户和运行调度用户等几个角色，分别赋予角色

访问数据的权限和使用系统功能的权限，严格控制角色登录，实现数

据的分级管理。

1.4数据中台设计方法

1.4.1基于面向服务的架构方法（SOA）

基于面向服务的架构方法（Service-OrientedArchitecture,SOA）

采用基于面向服务的架构方法，构建智慧城市运营中心的业务流程和

IT架构。SOA（面向服务的体系结构）将政府中各个系统应用程序

的不同功能单元抽象为服务，通过这些服务之间定义良好的接口和契

约联系起来。接口是采用中立的方式进行定义的，它独立于实现服务

的硬件平台、操作系统和编程语言。这使得构建在各种各样的系统中

的服务能够通过统一和通用的方式进行交互。SOA架构由服务总线、

服务目录、门户、流程管理等几个核心组件构成的。这些核心组件协

同工作共同支撑服务的部署、运行与管理监控。

1.4.2业务系统规划法（BSP）

业务系统规划法（BusinessSystemPlanning,BSP）的关键思想是

将业务的长期战略目标转化为信息系统的战略目标，通过对业务战略

的分析导出信息系统的规划。

笫9页共93页

数据中台标准方案

业务系统规划法(BSP)采用的基本方法是“自顶而下”的识别

业务目标、企业过程和数据“自下而上”地分布设计系统，这样可以

解决大型系统难以一次性设计完成的困难，也可以避免自下而上分散

设计可能出现的数据不一致。

数据

业务系统规划法(BSP)的规划步骤：

(1)准备工作；

(2)调研；

(3)定义业务过程；

(4)业务过程重组；

(5)定义数据类；

(6)定义信息系统总体结构；

(7)确定总体结构中的优先顺序；

完成BSP研究报告，提出建议书和开发计划。

第10页共93页

数据中台标准方案

1.4.3系统工程理论

系统工程方法将相关问题及情况分门别类，确定边界，侧重各门

类之间内在联系，确保处理方法的完整性，采用全面和运动的观点、

方法分析主要问题及整个过程。其具有综合性、科学性、实践性的特

点。利用系统工程理论指导软件开发和维护，主要使用工程化概念、

原理、技术及方法开展软件开发、维护的工作。采用系统工程方法是

用系统的原理、方法研究系统的对象，立足整体系统，制作出科学的

工作计划及流程，有效的完成任务。

系统工程方法依从系统全局观点，从系统与要素、系统与环境之

间相互联系、相互作用出发研究相关对象，实现最佳处理问题的目标。

其基本内容有：全面调查研究有关资料和数据，提取有效信息，系统

了解相关问题信息，进一步确定完成任务所需条件：提出相关方案，

展开定性和定量的理论分析，进而进行实验研究，客观评价系统技术

性能、经济指标，注重社会效果，为最终方案在理论和实践上做铺垫；

经由系统分析与综合，比较和鉴别出最优系统设计方案进行实施；依

据系统设计方案，指定有效计划，将开发研究出的系统投入使用，并

对系统的性能、工作状态及社会反应做出相关评价和检验。系统工程

方法在计算机软件方面应用广泛，同时起着重要作用。结合系统工程

方法的特点，在计算机软件设计阶段可规范其流程，促使计算机软件

设计进程加快，同时提高开发人员的工作效率，为软件系统研发速度

的提高打下基础。

第11页共93页

数据中台标准方案

2数据中台核心功能

2.1技术架构

目前各政府机构和企业的信息化平台数据按结构类型主要分为

三种，分别是：结构化数据、非结构化数据、半结构化数据三大类；

结构化数据存储在关系型数据库中；非结构化数据主要包括音视频、

图片、文档等，通过分布式文件系统在数据库进行统一管理；半结构

化数据是结构化数据的一种形式，但它并不符合关系型数据库或其他

数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔

语义元素以及对记录和字段进行分层，例如：日志文件、XML文档、

JSON文档、Email等。建设数据中台的过程中，这三类数据都会做

为数据源出现，因此数据中台要能够妥善的处理这三种类型的数据。

第12页共93页

数据中台标准方案

数字中台基于数据资源多样性的特点和能够高效支持业务的目

标，结合设计规划方法论、原则和规划思路，统一数据资源体系规划

建设大数据采集感知体系、数据资源融合体系和信息共享服务体系，

将数据安全和数据标准融入三大体系之中，通过智能演进不断提升数

据接入、处理、组织、挖掘、治理和服务的能力，不断丰富和完善数

据中台。

数据中台主要包函：数据统一采集接入平台、数据集中处理平台、

数据组织管理平台、数据组织管理平台、数据全域治理平台、数据融

合共享平台、数据分析挖掘平台、知识图谱平台、统一管理平台、数

据可视化平台等多个平台系统。

2.1.1层次架构

基于数据资源的需求分析和愿景目标，结合设计规划方法论、原

则和规划思路，统一数据资源体系规划建设大数据采集感知体系、数

据资源融合体系和信息共享服务体系，将数据安全和数据标准融入三

大体系之中，通过智能演进不断提升数据接入、处理、组织、挖掘、

治理和服务的能力，不断丰富和完善数据中台。数据资源总体架构图

如下所示：

第13页共93页

数据中台标准方案

2.1.2逻辑架构

统一数据资源体系的规划建设是数据建设的核心，承载着高效使

用底层平台能力进行海量数据的动态感知采集和接入、标准化和智能

化处理、精细化组织、全维度融合、精准可控的共享服务、多手段集

成安全等关键责任和重任。为实现上述目标，统一数据资源体系规划

了三大体系：大数据感知采集体系、数据资源融合体系以及数据共享

服务体系。系统功能设计上，主要包含：数据接入、数据处理、数据

组织、数据挖掘和数据治理、数据共享服务。各个模块的功能构成如

下：

第14页共93页

数据中台标准方案

■数据共•享服务

数据资源融合体

数据挖掘

数据组织

数据处理

2.1.3数据架构

数据中台数据架构是针对多源异构的数据场景，在数据组织层面

为数据的接入、融合及智能数据应用服务等提供稳定、高效的支撑。

从数据的接入方式、存储方式、加工方式、使用方式等方面综合考虑，

资源库是在原始库的基础上进行数据的规范化治理及基于数据主题

的整合；主题库是以原始数据、资源数据为基础，构件实体关系模型，

并在此基础上形成的知识图谱和事理图谱等；业务库是为了支撑不同

业务场景所定义的相关数据结构。知识库是专业领域或与专业领域相

关的特征知识数据和规则方法集合。此外还包括整合数据索引信息的

统一索引库；记录了本平台及与平台相关的数据的属性、位置、数据

量、权限等基本信息的数据资源目录；记录了技术元数据、业务元数

据、管理元数据的元数据库；以及为交互分析挖掘规划的数据实验空

间和记录平台相关管理配置信息的管理信息库。数据架构图如下：

第15页共93页

数据中台标准方案

业务年

1—\|_■tv何君£

g§目

映ft®

BB1

责海信息业券信电

■居g

结构化数1K非结电化的密

2.2数据统一采集接入平台

2.2.1平台架构

「多源异构接入接入处理

策略配置任务配置

采用统一的数据接入模式，以标准化、模块化的方式进行多源异

构数据资源的接入；提供采集全面、动态可配的数据接入机制，实现

数据的获取分发、策略配置、任务配置、任务调度、数据加密、断点

第16页共93页

数据中台标准方案

续传等数据接入功能；当接入时，同时维护数据资源目录，以及数据

血缘信息。

2.2.2数据流程

平台提供一站式的数据迁移接入功能，内部数据通过专用数据通

道进入统一接入平台，可在接入过程中做初步的清洗加工，并提供可

视化的任务调度运行管理，并向数据智能管理和数据治理提供数据支

撑。

2.2.3平台功能

2.2.3.1数据接入

考虑到数据的种类多样性、多源异构性，以及通道的多样复杂性，

数据接入系统支持多源接入，支持对数据接入的插件化管理，可以分

为关系型数据库、nosql数据库、分布式存储系统、流式处理系统、

消息中间件系统、文本文件和文件系统等。

第17页共93页

数据中台标准方案

数据接入系统支持对数据的DML的抽取，抽取内容包括insert、

update、delete语句的解析和内容抽取；支持对数据库DDL的抽取，

抽取内容包括且不限于数据库表空间、用户、角色、视图、函数、索

引、约束等，对关系型数据库的全量采集和增量采集。

数据接入系统支持库到库、库到文件、文件到文件、文件到库的

实时数据接入，包括MogoDB、Hive、HBase、XML>JSON等，在

可视化配置界面中通过拖拉建立和异构系统的映射关系。

数据接入系统支持分布式存储，提供分布式文件共享存储、多副

本功能，提供对分布式存储中的文件、文件夹进行权限控制，使得各

系统只能访问授权的文件、文件夹。提供对分布式存储的可视化操作，

包括对文件进行复制、粘贴、删除等。

数据接入系统支持流式处理系统，包括CQ、flink等，芨持Flume

采集组建，支持消息中间件系统，如kafka、RabbitMQ、ActiveMQ

等。支持实时流式数据接入、全量离线数据接入、周期性批量数据接

入等多种数据接入方式。支持push被动接受和pull主动拉去两种方

式。依据数据接入策略、传输策略对接入的结构化数据、半结构化数

据、非结构化数据进行检验，并按接入输出分发策略进行输出存入原

始库或分发给数据处理流程。

数据接入系统提供对多种文件格式的解析器，包括BCP、二的1

XML、AVRO、JSON、CSV及自定义格式txt文件，提供对FTP/SFTP、

HTTP/HTTPS、Socket、WebService、SNMP等标准协议的数据接收

能力。

笫18页共93页

数据中台标准方案

数据接入系统支持多节点文件接力传输功能，实现多节点文件传

输，支持对文件、文件夹、文件夹下的指定文件，自动感知变化文件

传输功能，包括：HTML数据类型、EXCEL表格数据类型、PDF电

子文件数据类型、WORD文本文档数据类型、图像数据类型、音频

数据类型、视频数据类型、超媒体数据类型等。提供过期文件数据接

入系统中间数据缓存功能，通过redis、hazelcast等实现分布式缓存提

高数据的读取速率，保障数据的一致性。接入系统提供多通道数据传

输，利用分层隔离原则，采用三种数据传输通道：通用数据传输通道、

高优先级数据传输通道、高吞吐量数据传输通道。

提供标准接口，针对特殊数据结构及类型做插件开发，进而支持

多样化的数据来源。

2.2.3.2数据接入策略配置

数据接入系统策略配置模块针对多数据源系统以及结构化数据、

半结构化数据、非结构化数据的不同数据类型特点，按照抽取、同步、

整合等数据处理步骤，提供一体化、可融合的数据适配解析器和数据

转换功能，采用插件方式，支持二次开发，实现根据数据源情况的自

适应数据解析和流程化处理。

数据接入的策略配置模块支持任意种类、任意数据源、任意目标

库的数据抽取传输，常用数据源、目标库类型主要有关系型数据库、

列簇数据库、并行分布式数据库、内存数据库、全文索引数据库等主

流数据库，支持FTP、XML、CSV、JSON.EXCEL>RCFILE等常

第19页共93页

数据中台标准方案

用文件类型，支持kafka、WebService等消息处理类。

数据接入的策略配置模块支持任意类型的抽取汇聚任务配置，主

要包括异构数据库之间数据传输汇聚，不同类型、跨服务器的文件型

数据传输，数据库和文件类、服务接口间相互传输等。策略配置模块

实现基于数据源的异构数据自动解析，并能按照任务场景进行自定义

配置，实现智能化、可视化、组件式数据汇聚整合任务构建。

对于数据接入周期不同需求的数据接入，策略配置模块支持多样

化的数据接入周期配置。根据数据接入实际需求的不同，策略配置模

块支持实时数据接入、周期数据接入、批量数据接入、增量数据接入、

全量数据接入。对于实时更新的数据源，接入平台能够对数据源做实

时的数据抽取，实现数据的周期性接入。对于实时性要求较低的数据

源，可以通过用户自定义条件，对源数据做批量数据导出，实现用户

自定义需求的批量接入。对于用户指定数据源，通过指定的导出字段

或导出条件，对数据做周期性的增量导出，实现数据的增量接入。对

于体量较小的数据源，通过用户配置，实现对源数据的全量数据导出，

实现数据的一次性。

策略配置模块支持多样化输出配置。数据接入系统包含多样化的

数据接入输出接口，可对的输出做多样化配置，这里包括本地存储系

统、关系型数据库、nosql数据库、图数据库、分布式文件系统、分

布式缓存系统、全文存储系统、实时计算流系统、消息中间件系统，

同时支持消息的订阅分发。

第20页共93页

数据中台标准方案

2.2.3.3接入数据断点续传

数据接入系统支持数据传输过程中的断点续传。在数据总线传输

过程中，当遇到网络故障、传输资源短缺、入原始库积压时，状态总

线记录接入数据中断点及数据接入中断状态，控制总线在数据接入所

需网络、存储等资源可用时，从排队任务中重新启动断点续传任务，

分配数据总线资源，从数据断点处接入后续数据，不需要从头开始数

据传输，从而节约数据传输时间，提高数据接入效率。在数据分发过

程中，数据订阅方没能正常接收订阅的数据时，接入系统支持对失败

数据做断点重发。

2.2.3.4数据接入任务管理

数据接入系统支持多样化的任务管理方式，实现了多种场景的任

务调度机制对数据接入的任务支持多角度的任务监功能，支持异常处

理、重新调度等功能，及时解决存在问题，恢复数据传输，确保按时

完成数据汇聚整合任务，保证大数据中心数据资源的准确性、完整性

和一致性。

数据接入系统任务调度模块按照数据规模、更新频率、内容特征

等数据属性特点，采用组建（插件）方式，分类实现不同场景下多元

化数据抽取汇聚策略。对数据总量规模不大、增量有限的一般业务数

据，采用传统数据抽取汇聚模式，实现与当前在用数据抽取工具的集

成或开发类似功能。对高总量、高增长量的数据资源，采用大数据传

输汇聚模式，实现任务自动切片分发、断点续传、节点管理、调度节

第21页共93页

数据中台标准方案

点故障切换等功能。对视频图像、音频、文档等大文件数据，提供

FTP>HTTP等文件传输方式，实现断点续传、多线程并行等功能。

数据接入系统任务调度模块具有多样化的任务调度机制，支持各

类转换程序和交换任务的灵活定制，方便用户对数据抽取汇聚任务的

流程控制和动态处理。支持按年、月、周、日、小时、分钟、秒定时

调度，可选指定有效时间内调度。增量情况下支持实时调度，数据近

秒级同步。支持推（push）、拉（pull）的数据使用方式。数据增量捕

捉支持按时间戳、数据快照、日志等方式。

数据接入系统任务调度模块提供可视化配置调度策略功能，实现

数据接入，文件传输等任务通过运行菜单进行调度的功能。提供事件

触发调度功能，包括就绪文件触发、变化日志触发、http、WebService

等接口触发（含URL调度），实现对满足条件的文件进行触发调度处

理。提供文件分类调度功能，实现对满足条件的文件进行分类调度处

理。

数据接入系统任务调度模块提供流程调度组建，可视化配置任务

的串行、并行等任务，实现多任务并行、串行、混合调度。提供任务

代理调度功能，实现跨节点的任务之间的调度。提供操作系统的shell

脚本调度功能，实现通过可视化配置任务调用shell脚本的功能，对

于数据的操作系统级的shell命令调用shell脚本知较量。提供SQL

调度功能，通过可视化配置任务实现对统一的标准SQL语句、存储

过程、SQL函数的调度功能。提供前后处理调度功能，通过可视化界

面配置前后处理调度实现多个任务之间联动运行的功能，被调用的处

笫22页共93页

数据中台标准方案

理为任务、二次开发的处理类（统计接入数据行数）。

数据接入系统任务监控模块提供面向工具自身及所配置数据传

输任务的监测器，监控调度节点运行状态及任务调度情况，监控执行

节点运行状态及数据接入任务执行情况，及时采集各类监控对象的运

行状态和重要性能数据，实现专用工具自身运行状态及相关数据接入

任务的实时监控，实现异常情况的自动报警提醒。

数据接入系统任务监控模块监控所有控制、执行、管理状态（正

常、异常、运行、等待、终止、完成等），能够通过预设的运行异常

指标，实现多种渠道的事件报警和提醒功能；任务监控模块常态化监

控传输过程中的最小数据单元，建立数据接入更新时效监测机制。基

于接入阀值分析源头数据接入传输是否正常，数据增量是否符合常

态，及时发现并协调解决相关异常问题。任务监控模块同时监控自身

的运行状态，为后期开展工具问题的日志分析、故障诊断、系统优化

提供数据支持。

数据接入系统任务监控模块支持实时数据中断监控，实时监控接

入数据的接入状态，如果中断时间超过预设阀值，则ALM处理。另

外也支持服务器运行状态监控，包括JVM、task、CPU、内存、节点、

主题、活跃分区、离线分区、请求度量指标等系统状态，定时监控服

务器的运行情况，如果服务器运行出现异常，则ALM处理。

数据接入系统任务监控模块支持数据传输任务执行全过程和数

据传输工具自身运行情况的日志实时采集，以及各个功能插件的运行

日志的实时记录。数据传输日志，主要包含传输任务执行起始时间、

笫23页共93页

数据中台标准方案

结束时间、执行时长、传输总记录数、错误记录数、数据源、目标库、

数据对象、数据要素类型等内容。当输入源为文件类型时，数据传输

日志包含采集文件名称、大小、读取记录数、处理状态、处理时间等

内容。当输入源为数据库时，数据传输日志包含数据来源、操作时间、

接入条数、执行时间等内容。

2.2.3.5接入数据清洗

数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果能

够直观的展示给相应的主管部门，主管部门确认是否过滤掉或者修正

之后再进行抽取。

不符合要求的数据主要有以下几类：

缺失的数据：主要是一些数据的信息确实，如物品名称、物品代

号、业务系统中数据不能匹配等。在系统中用户可以自动逸过滤规则，

把这一类数据过滤出来，输出到文本文件或Excel等格式文件提交给

业务用户，业务用户在人工对数据修改核对后，再写入数据仓库，如

果修改的规则是固定的，也可以由系统按照规则自动添加、修改数据。

错误的数据：错误的数据生产的原因是业务系统不够健全，或

则人为误操作再接手输入后没有进行判断直接写入后台数据库造成

的，这一类数据也要进行分类，不同的分类采取不同的处理方式，包

括人工处理和自动处理，处理之后再更改数据库里的数据。

重复的数据：重复的数据特别是再维表中会常出现这种情况，系

统可以按照规则将重复数据导出来，让用户确认并回写到数据库。

第24页共93页

数据中台标准方案

数据清洗是一个和业务用户反复沟通的过程，不可能再很短的时

间内完成，只能不断的发现问题，可能解决问题。对于是否过滤，是

否修正一般要求用户确认，对于过滤掉的数据要写入文本文件、Excel

文件、数据库表。数据清洗需要注意的是对于每个过程规则都要认证

进行验证，并要用户确认。

2.2.3.6接入数据统计

数据接入系统接入统计模块支持对接入数据、分发数据进行多种

维度的数据量统计。通过接入数据的接入统计，有助于对数据总资产

总体的、宏观的、全面的掌握。接入统计模块主要从接入数据的数据

量、接入数据文件数量、每个接入数据文件的接入时间、数据接入的

总耗时、数据来源、数据文件类型、分发数据的数据量、分发数据的

文件数量、每个分发数据文件的分发时间、数据分发的总耗时、数据

分发目的地等维度，对数据接入做接入数据的整体统计。数据接入系

统接入统计模块支持接入统计功能插件式开发，可自定义配置数据接

入的统计项。

2.2.3.7接入数据对账

数据对账是数据提供方和数据接收方在数据传输结束后进行完

整性、一致性、正确性检验的过程，提供数据接入效果评估能力。包

第25页共93页

数据中台标准方案

括以下功能：

对于实时数据接入，支持接入数据的关键信息、唯一性信息的日

志存储和查询统计。对于可靠性、一致性要求高的数据，提供数据同

步检查和校验功能，并输出详细日志。支持一定时间范围的接入状态

统计，包括对数据更新状态、联通状态、数据量、校验等情况的统计。

对于批量数据接入，支持提供周期性接入信息查询和统计•，支持

格式异常数据查询和统计。支持系统、设备无上报数据等情况的ALM

策略设置。

数据对账发现异常问题时通过短信、邮件等方式通知管理员及时

处理。数据对账支持对账功能的插件式开发，可根据特殊需求对数据

对账功能进行扩充，适应数据接入多样化的数据对账功能。

2.2.3.8接入数据质量

数据接入系统的数据质量模块对接入数据做接入维度的数据质

量检测评估。数据接入系统对接入数据解密异常、解压异常的数据作

为问题数据记录日志。数据接入系统对接入数据的数据对账异常记录

在接入数据问题报告。接入数据在完成数据对账后生成数据接入质量

报告，对数据接入过程做整体的质量评估检测。数据接入系统的问题

数据记录日志、接入数据问题报告对数据接入异常的数据做详细的信

息记录，支持用户手动查询问题数据。

在数据接入过程中配置数据质量检查逻辑规则，将干净的数据装

入目标中，将判断的问题的数据路由到数据表或者数据文件中，支持

第26页共93页

数据中台标准方案

将成功、失败信息反馈记录，若执行多次后交换成功，记录交换次数。

数据接入系统支持对接入系统的运行状态的监控，支持向运维监

控系统报送数据接入系统的JVM、task、CPU、内存、节点、主题、

活跃分区、离线分区、请求度量指标等系统状态指标数据。

另外数据中台对数据质量管理是平台建设中必不可少的重要组

成部分，良好的数据质量挂管理工作可以保证平台数据的正确性、完

整性、相关性等质量指标。缺乏数据质量管理将造成平台数据质量失

去控制、质量低下，用户对平台数据不认可、对数据缺少信任、增加

平台的推广难度、降低平台应用服务质量，以及增加平台的建设和维

护成本等后果。

数据质量管理的目标包含两方面，一是对源系统层的数据质量有

个较全面的了解，比较具体的反映数据平台涉及的各源业务系统的数

据质量；二是防范数据平台内部数据流程过程发生的错误，提高数据

平台中的数据质量。

数据质量管理并不仅是在生产阶段才实施，在数据中台建设过程

中，数据质量检查需要从源数据分析开始，自始至终贯串全过程。在

源数据分析阶段，通过数据剖析(DataProfiling)可以分析源系统数

据质量问题；在开发测试阶段，通过对数据加载的各个阶段设置检查，

可以验证上游系统接口的完整性以及模型加工的正确性；在投产后的

生产环境，通过设置代码完整性、总分核对等检查，监控平台内的数

据质量。

数据中台实施数据质量管理的目的在于，提高数据平台的加工数

笫27页共93页

数据中台标准方案

据质量，监控上游系统数据质量，协助客户建立企业级数据质量管理

环境。

数据质量管理主要包含：

1)数据质量检查汇总：可以按照检查阶段、检查日期、检查

类型、错误级别进行数据质量检查结果的汇总。

2)我关注的检查任务：列出我关注的检查任务的执行情况。

3)质量日志浏览：可以浏览数据质量的登记日志。

4)质量检查结果和错误明细：可以浏览检查任务的执行情况，

包括汇总数据和错误明细数据。

5)错误明细下载：用户可以直接用数据管理平台下载数据质

量检查结果明细。

6)查询主要实现工具是Datawave数据管理平台，查询功能主

要是可以在数据质量检查的任务、错误明细等信息中进行查

询，查询主要功能与元数据的基本一致。

7)数据质量管理主要由数据质量管理员来完成，管理的主要功

能主要包括：

/质量检查规则的增删改：可以维护质量检查规则，可以修改

检查规则的SQL模板。

/检查任务的增删改：可以维护质量检查任务，可以批量上传

质量检查任务。

第28页共93页

数据中台标准方案

质量日志的增删改：可以维护数据质量日志。

2.3数据集中处理平台

数据处理是实现数据标准化的过程，包括了数据的提取、清洗、

关联、比对、标识、对象化等操作，支持实时计算和离线计算，支持

批量处理操作。数据传输过程支持分布式数据传输方式。在数据处理

过程中，引入人工智能技术，实现结构化和非结构化数据的处理，采

用图计算和内存计算技术，实现数据的价值提升。在数据处理过程中，

引入模型体系和标签工程和知识图谱技术，进一步提升数据价值密

度，为数据智能应用实现数据增值、数据准备、数据抽象。

2.3.1平台架构

关果油取

美・同比打.付丽

交叉比对■于黄餐施建

ziMttnmtn

处

■文用快比时刘•化古■

爆配片比对实时计M标费财饮化打场美和HI

耍制的征比对用康计一a尊

tilS清洗关联

侵NLP文本渡文NLP文本遢义NU>X木遇义睢■哂t检汨NIPX本遢义侬计一修堡什H

・

■>砌■六去霰OitN生却乳£识就9MMIDMappmg用计，

技

.三合二。出:迎E小力小：tt«9IW

术

03测彼闻去■一10*祝咽厚习

一一图―R一

W将雷辱63，/11访

数据处理遵循相关标准，通过对数据进行提取、清洗、关联、比

对、标识、对象化、构建知识图谱等规范化处理流程，实现异构数据

的标准化及深度融合。数据处理采用开放式架构，能够以统一、标准、

第29页共93页

数据中台标准方案

易于扩展的方式进行数据处理流程的动态编排。同时，在各环节引入

了自然语言处理、多媒体信息处理和机器学习等技术，实现对数据的

智能感知和认知。

2.3.2数据流程

数据集中处理平台

裁据比对数据计算

।合

M-DD

2.3.3平台功能

2.3.3.1数据提取

数据提取的过程主要是从功能各个业务系统上根据约定的采集

周期采集全量或增量数据，生成相应的文本文件。在采集过程中可能

涉及系统内或跨系统的数据关联获取。这些文本文件的结构与源数据

基本相同(根据具体需求可能要滤掉一些字段信息)，我们称这些存

放源数据的文本文件为EXF(ExtractFormat)0

数据抽取需要注意如下事项：

为提高ETL效率，数据在进入ETL系统后的EXF文件将转换

第30页共93页

数据中台标准方案

为系统内部文件格式

从ETL程序设计的灵活性和整体结构的一直性考虑，尽量采

用pull的方式，减少对源系统的影响和对其他开发队伍的依

赖，并减少网络压力，目前最先进的方式是基于LOG捕获纯

增量。

EXF的文件格式接近数据源的数据结构定义

在业务需求清晰明确的前提下，Extract过程中可以过滤不需要

的数据记录和字段数据转换。

数据转换过程中数据载体为文件，这样充分发挥ETL工具处理

文件的强大性能和稳定性，根据数据抽取过程生成的CIF文件，经过

数据清洗、数据转换、数据聚合、复杂计算以及数据匹配等处理过程，

生成与目标数据结构相同的PLF(Pre-LoadFormat)文件。具体包含

一下过程：

数据内容数值的检查

代码转换。包括转换为数据仓库系统自己语言

数据内容数据格式的规范化

代理键的生成

数据内容Merge

在整个数据转换过程中需要记录很多诸如出错日志、处理流程监

控日志以及一些统计信息。这主要由一些公用的程序模块来完成，保

证无论数据是否非法都会在我们的ETL处理范围之内。

第31页共93页

数据中台标准方案

2.3.3.1.1非结构化数据提取

非结构化数据的种类和来源比较复杂，对这些数据的提取处理操

作也会因不同数据种类的不同使用不同的实现技术。非结构化数据包

含索引格式的办公文档、文本、图片、XML>HTML>各类报表、图

像、音频文件和视频文件，在集群中提取生物特征数据，提取身份、

行为、轨迹、关系、位置等信息，提取后形成的结构化数据保存在关

系型存储中，利于数据长期存储和时用。原始数据保存在列式存储中。

遵从数据标准，数据提取模块从策略和配置管理中心获取不同数

据类型相应的提取策略和规则，加载基于文本语义的分析提取模块、

图像检测提取模块、语音识别提取模块、视频转换提取模块等，进行

相应类型非结构化数据的提取处理。

非结构数据提取方式如采用先进的计算机视觉和语音识别等技

术。

2.3.3.1.2结构化数据提取

由于结构化数据已经比较规整，因而对它的提取操作相对简单。

按照数据标准，从策略和配置中心获取提取结构化策略和规则，对原

数据中的各类数据，通过基于语言要素的语义提取技术或特征函数，

自动计算特征值及特征值之间的语义关系，对数据进行关键信息提取

即可。提取后的信息可应用于对象标注、业务分析、业务关联、业务

预测等方面。

第32页共93页

数据中台标准方案

2.3.3.1.3对象化提取

遵从数据标准，根据对象提取规则对数据进行主题进行对象化处

理。

对象数据以聚合的方式展现。主题库保存按照对象提取、处理、

归并、更新、标识等数据对象化规则产生的多维度的对象化数据。对

象化提取的数据主要为主题库数据。并且每一个主题下，可能存在多

个对象实体库。

对象提取：支持对象特征自动提取，根据对象特征自动建模，利

用并行分布式计算资源，对数据进行对象化提取、存储对象数据、更

新对象数据。

对象去重：对对象化结果数据，通过对象化去重，消除冗余数据。

对象标识：对指定数据来源的数据，进行标识的操作，在对象化

提取环节，需要将标识提取到对象化数据中。具体规则、填写的字段

和字段内容，以设计实现为准。

2.3.3.2数据清洗

数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果能

够直观的展示给相应的主管部门，主管部门确认是否过滤掉或者修正

之后再进行抽取。

不符合要求的数据主要有一下几类：

缺失的数据：主要是一些数据的信息确实，如物品名称、物

品代号、业务系统中数据不能匹配等。在系统中用户可以自

第33页共93页

数据中台标准方案

动逸过滤规则，把这一类数据过滤出来，输出到文本文件或

Excel等格式文件提交给业务用户，业务用户在人工对数据修

改核对后，再写入数据仓库，如果修改的规则是固定的，也

可以由系统按照规则自动添加、修改数据。

错误的数据：错误的数据生产的原因是业务系统不够健全，或

则人为误操作再接手输入后没有进行判断直接写入后台数据

库造成的，这一类数据也要进行分类，不同的分类采取不同

的处理方式，包括人工处理和自动处理，处理之后再更改数

据库里的数据。

重复的数据：重复的数据特别是再维表中会常出现这种情况，

系统可以按照规则将重复数据导出来，让用户确认并回写到

数据库。

数据清洗是一个和业务用户反复沟通的过程，不可能再很短的时

间内完成，只能不断的发现问题，可能解决问题。对于是否过滤，是

否修正一般要求用户确认，对于过滤掉的数据要写入文本文件、Excel

文件、数据库表。数据清洗需要注意的是对于每个过程规则都要认证

进行验证，并要用户确认。

2.3.3.2.1非结构化数据清洗

非结构化数据主要为文本、XML、图片和视频数据。对于非结

构化数据，主要通过同一时间窗口比对去重、MD5值比对去重、人

工智能等技术方法去重。

第34页共93页

数据中台标准方案

文本数据的清洗，主要基于自然语言处理技术，通过分词、语料

标注、字典构建、关键词识别等技术，根据相应的非结构化数据特点

进行数据建模，利用机器学习和数据挖掘的方法进行文件去重。

图片数据可以通过以图找图技术，进行图片去重。根据相似图像

检测技术以通过提取某些表征图像内容的特征，与数据库中目标图片

特征进行匹配判断，从而判别出该图像是否为目标图像的拷贝或近

似。考虑到图像编辑的多样化，相似图像检测选择具有良好的尺度和

亮度不变性，同时对仿射形变、视角改变和噪声等也有一定的鲁棒性

的特征点来进行建库。通过比较查询图像与参考图像的特征点相似

性，判断出查询图像是否为相似图像。该技术能够有效的处理复制、

编辑等操作引擎的图像内容的变化，具有较好的检测准确率。图片检

测技术提供图像清晰度识别，适用于各类图库产品，提升整体图像质

量。通过图像模糊、失焦、噪点、锯齿以及马赛克等维度进行检测，

对无价值的图像数据实现去重。

针对音频数据，除了MD5值进行校验去重之外，还可以通过对

音频样本进行分析，可以在一个音频集合中发现与音频样本相同的内

容。这里相同的内容是指在不同的音视频文件中，与样本内容片段一

致的部分，实现音频数据的去重。

视频文件可以通过关键帧抽取，通过以图找图、语音识别、MD5

值校验等技术，实现视频的去重。

第35页共93页

数据中台标准方案

2.3.3.2.2结构化数据清洗

遵从数据标准，根据业务规划对冗余数据进行过滤，根据不同的

去重规则和方法对数据进行去重判定，去除重复冗余数据。通过定义

过滤规则，使用流式SQL和表达式，按条件对数据进行重新组合和

二次加工。数据清洗可以区分为冗余信息过滤、敏感信息过滤、数据

去重和格式清洗等内容。通过对数据进行清洗，提高数据的使用价值。

数据清洗在具体实现上可分为全量清洗、增量清洗，根据实时性需要

可以区分为实时清洗、非实时清洗。清洗过程又可以细分为过滤、去

重、检验、格转。

2.3.3.3数据关联

数据的多源性，导致不同来源的数据之间的关系时离散的，需要

对这些离散关系进行匹配或联接，进一步提高数据可用性。

数据经过提取、清洗之后形成的数据实体，比如可以通过命名实

体识别对身份证进行识别，根据两个身份证之间的共现或根据词向量

计算词与词之间的相似度来判断两个人是否有关系。

2.3.3.4数据对比

数据比对包括结构化比对、关键词比对等，满足数据关联、线索

发现、触网报警等业务需要。从数据类型上分，数据比对分为结构化

数据比对、非结构化数据比对。

在数据处理过程中，数据的比对通常作为数据的查重、筛选和补

第36页共93页

数据中台标准方案

充，将输入数据与已有数据进行比对关联，结构化数据主要通过数据

库查询、关键字索引实现比对，非结构化数据图像、声纹等。数据比

对除了在各种应用场景作为数据查询与识别的方式，在数据管理方

面，将比对之后的数据进行存储、建模、标识管理，不仅可以完善数

据关系、丰富数据资源库，还可以优化比对引擎，与数据应用形成良

好的循环。常见的比对方式如下：

结构化数据比对：通过对数据库系统的SQL查询，来实现精确

数据的比对查询。

非结构化数据比对：在海量非结构化数据中，通过AI等相关技

术，提取发现数据，命中发现的相关信息。

结构化和非结构化融合比对：规则中同时支持对结构化和非结构

化信息的比对，实时发现海量数据和海量全文中的相关信息。

按照数据比对的方式，数据比对又分为如下比对：

关键词比对：通过对关键词及关键词组合的比对，在海量全文数

据库中命中发现关键词相关信息。

二进制比对：通过对二进制文件（如文档文件、图片文件、音视

频文件等）的比对，在数据中命中发现二进制文件相关信息。

2.3.3.5数据标识

标识是对数据、数据集进行某一特征、特征的识别和认定。对数

据进行标识化可以增加数据维度，拓展数据的属性，提供建立与数据

之上的抽象。标识流程主要是围绕标识建立一套包括标识的定义、执

第37页共93页

数据中台标准方案

行、流程管理以及可视化等功能的系统。

数据标识支持离线和在线标识。其中离线标识由离线处理引擎完

成，采用离线批处理的方式进行规则处理，生成并保存标签值。离线

处理引擎支持结构化和非结构化数据的处理模式。在线标识是由实时

处理引擎实现，引擎结构流数据或消息数据，对数据进行实时规则处

理，生成并保存标签值。实时规则处理模式支持对数据源自身的规则

处理，以数据源与数据中台其他数据源进行关联分析的规则处理方

式。

数据标识依托标识规则和知识库，对输入数据进行比对分析、逻

辑计算，输出打上敏感级别语言、区域、位置等标识的数据，为上层

应用提供支持。数据标识分为通用标识和业务标识，通用标识是数据

自身所蕴含的特定含义的显性化，通常由数据的自身定义或由处理关

联、比对结果等来确定。业务标识是根据不同的知识库形成具有明确

业务含义的标识，对数据进行业务标识，支撑各种资源库、主题库的

形成及模型分析。

在对各种数据进行标识的过程中，需要预先从策略和配置中心获

取标识部分的策略和规则。

通过对用户信息的分析、提炼形成高度精炼的自定义特征标识定

义：基于标识定义并结合资源目录、规则库、模型库、算法库等应用

需求，在数据处理过程中同步对数据进行标识。根据地理、业务、安

全等级和数据的敏感等级等对数据进行标识。通过人工智能（语音识

别、图像识别）和文本识别技术（NLP）对文本、图片和媒体文件进

笫38页共93页

数据中台标准方案

行标识。

2.3.3.6数据纠错

综上所述，数据的标准化处理过程，按照数据标准，基本实现了

自动化和智能化的处理，但是由于数据的多源异构特性，数据的庞大

复杂性，对此类数据的自动化处理将是一个渐进改进的过程。在平台

前期运行中，对进入各类资源库、主题库和业务库的数据需要进行准

确性认定。针对有误的策略执行回滚操作，针对错误的数据中实现

纠正错误数据功能。

2.3.3.7数据处理任务调度

输汇聚模式，实现任务自动切片分发、断点续传、节点管理、调

度节点故障切换等功能。对视频图像、音频、文档等大文件数据，提

供FTP/SFTP、HTTP等文件传输方式，实现断网续传、多线程并行、

分块传输等功能。

支持对各类数据文件的同步、异步，多节点间文件接力传输，支

持对文件、文件夹、文件夹下指定文件传输等功能，支持对数据文件

的全量、增量传输，对中间过期文件的压缩、清理，及文件的多副本

存储。支持实时数据交换及加工，实现数据库、文件、JSON、XML

及MQ、TLQ等之间的相互交换功能。

支持各类转换程序和交换任务的灵活定制，方便用户对数据提取

汇聚任务的流程控制和动态处理。支持对数据传输过程中的加密、压

缩等功能。

第39页共93页

数据中台标准方案

支持按年、月、周、日、小时、分钟、秒定时调度，可选指定有

效时间内调度。增量情况下支持实时调度，数据近秒级同步。

提供事件触发调度功能，包括文件就绪触发、变化日志触发、

HTTP等接口或URL调度事件触发，支持操作系统shell脚本，和数

据库系统的shell命令和SQL脚本调度功能。

提供调度任务的实时可视化监控，包括交换节点的操作系统主要

性能指标的图标、曲线，支持监控数据接口开发。

提供流程调度组建，包括采样分流组建和任务编排组件，实现多

任务的并行、串行、混合调度功能。采样分流一是实现数据的采样，

例：100w数据，按照1算的比例进行采样；二是实现根据数据的条

件进行判断后对数据进行分流，例如性别为男的到某个库、性别为女

的到另一个库，实现数据判断分流。任务编排用于实现当A方案执

行完毕后，需要马上启动B方案的执行，此插件配置在A方案的末

尾，用户指定需要调度的方案。

控制管理主要面向执行节点合调度节点，执行节点主要承担数据

传输任务的部署运行智能，各配置好的数据传输任务采用数据库方式

存储，能够在不同执行节点上按需选用单机、集群或分布式模式执行。

调度节点是执行所有数据传输任务的统一入口，采用“双活”模式部

署运行，当一个调度节点出现故障时，另一个调度节点能够自动接管

正在执行的数据传输任务并实现断点续传，保障任务执行稳定性，确

保调度节点可靠运行。

数据传输任务调度方式按需选择，支持顺序、按需（常规类型）

笫40页共93页

数据中台标准方案

分压、分流（复杂类型）等多种方式。调度节点能够根据每个执行节

点任务执行情况，自动调配任务负载，能够将新增的传输任务或压力

较大执行节点的传输任务，调配到相对较空闲的执行节点。调度节点

能够自动检测执行节点出现的问题并做自动处理，能够感知新增的执

行节点并自动添加到分布式执行节点集群。调度节点要具备高可用能

力。

数据处理中使用到的完整的任务调度引擎，需要支持监控调度引

擎中每个调度任务的运行状态，如：当前是否运行；最近一次运行的

时间、运行结果、是否出现异常等。

2.3.3.8策略配置管理

针对结构化数据、半结构化数据、非结构化数据的不同类型特点，

配置管理中心支持按照提取、清洗、过滤、比对、关联、标识等数据

处理过程，提供一体化、可融合的数据适配解析器器合数据转换功能，

实现根据数据类型合数据情况的自适应数据解析和流程化处理。

支持任意种类、任意数据结构、任意目标库的数据提取传输，这

次kafka、webservice等消息处理机制，支持流式和离线处理。

支持任意类型的数据融合任务配置，在保证数据安全的基础上，

根据传输策略，进行数据传输和存储。

支持过滤、融合规则自定义，主要包括代码映射、NULL值替换、

字符串操作、字符串替换、字符串截取、添加字段、数据类型转换、

公式计算、正则处理、组合字段、身份证操作、获取图片、数据比对、

第41页共93页

数据中台标准方案

自定义SQL脚本执行、JSON输出等数据转换规则，以及对关键字段

空值、重复、异常等问题数据过滤规则，以及MD5加密规则。

实现基于数据元的异构数据自动解析，并能按照业务场景进行自

定义配置，实现智能化、可视化、组建式数据汇聚融合任务构建。

支持可视化配置管理，根据不同的数据级别，分配不同的配置权

限空值。

支持策略配置的保存、加载、自动分发同步功能。

2.3.3.9数据存储

结构化和半结构化数据可存储于分布式并行数据库中，数据存储

格式可以为列式存储和行式存储等多种存储方式；

分布式内存系统：管理多个底层文件系统，将不同的文件系统统

一在同一个名称空间下，让上层客户端可以自由访问统一空间内的不

同路径、不同存储系统的数据，供文件接口，存储并维护文件的元数

据；并提供容错的元数据服务。

针对不同的应用场景支持传统的批处理系统和高并发MPP作为

查询引擎。批处理系统使用场景分钟级、小时级以上的任务、稳定可

靠、成本低；MPP使用场景为秒级、毫秒级以下的处理任务，主要

服务于即席查询场景，对外提供各种数据查询和可视化服务。

在查询引擎上层做统一封装，提供统一的分布式并行数据库服

务。

多种数据类型支持

第42页共93页

数据中台标准方案

支持结构化数据和半结构化数据（JSON/BSON,XML形式存

储）o由于越来越多的应用在考虑对结构化数据的增删改查操作和半

结构化数据做查询，检索和分析，对这些数据存储的支持能简化应用

程序的开发工作，同时优化使得对这类数据的操作性能更高。

文本格式支持

可支持TextFile、XML和JSON等文本。可将上述的文件写入

到数据库的文件系统中，由于上述文本格式除了会占用更多磁盘资源

外，对它的解析开销一般会比二进制格式高几十倍以上，尤其是XML

和JSON,它们的解析开销比TextFile还要大。可将上述文件格式进

行压缩后入库，大幅减少磁盘空间的占用率。

文本数据入库后，可通过统一的SQL语句对数据进行查询。

数据表压缩

对中间数据或最终数据做压缩，是提高数据吞吐量和性能的一种

手段。对数据做压缩，可以大量减少磁盘的存储空间，比如基于文本

的数据文件，压缩比可达5倍以上，同时压缩后的文件在磁盘间传输

和I/O也会大大减少。使用RocksDB对数据进行存储，并支持LZ4

等多种压缩算法。支持对表按照压缩比例进行及时透明压缩。数据压

缩后支持查询、修改、插入、删除，此过程中无需解压。

分布式云存储系统，在数据存储层构建的分布式文件系统作为图

片、视频等非结构化文件的基础文件系统，对各类媒体流数据，如视

频文件进行存储和管理。一般情况下，非结构化文件如图片、视频

等。这类数据数据量很大，属于非结构化数据，不宜存储在数据库中。

笫43页共93页

数据中台标准方案

另外，这类数据的查询并不是直接针对图片和视频本身的查询，而是

根据图片或视频（如果有）文件的路径进行定位。

2.3.3.10数据模型建设

整个模型工程的架构主要由算子管理、模型建模、模型管理和模

型引擎四部分组成。

用户可以通过多种建模方式创建基于标准的模型，部署到模型运

行引擎上面配置模型参数，模型运行引擎会对模型运行的合法性进行

验证，包括是否符合标准，数据资