数据管理平台实施方案

数据管理平台实施方案

(V1.0)

项目编号：项目名称：

编写人：XX编写日期：2020.05.10

审核人：审核日期：2020.05.15

批准人：批准日期：

1

文档修订记录

日期版本说明作者审批人

2020.05.101.0第一稿XXXXX

2

目录

第1章.编写说明................................................................................5

1.1编写目的..................................................................................5

1.2术语定义..................................................................................5

第2章.项目实施总述............................................................................6

2.1数据管理平台项目建设目标与任务.....................................................6

2.1.1.数据管理平台项目建设总体目标....................................................6

2.1.2.数据管理平台项目分阶段目标....................................................6

2.2数据管理平台项目建设内容.............................................................7

2.2.1.数据管理平台项目总体架构........................................................彳

.总体架构..........................................................................7

.系统定位..........................................................................7

2.2.2.数据管理平台项目软硬件系统建设内容................................................8

.元数据管理系统....................................................................8

22.2.2.数据集成系统......................................................................12

,统一安全系统.....................................................................15

,一体化运维监控系统................................................................24

2.2.3.项目实施工作内容...................................................................27

2.2.4.项目实施进度规划...................................................................28

2.2.5.实施风险与关键点...................................................................29

第3章.里程碑计划.............................................................................32

第4章.2020年详细工作计划...................................................................34

3

文档格式约定：:

一级标题：左对齐黑体字二号字加粗

二级标题：左对齐黑体字小二号字加粗

三级标题：左对齐黑体字三号字加粗

四级标题：左对齐黑体字四号字加粗

正文：正文首行缩进2字符1.5倍行距宋体小四号字

图片：居中

表格：居中表格文字左对齐宋字五号字

4

第1章.编写说明

1.1编写目的

本方案不仅从实施目标、任务、执行计划和组织分工等方面对沧州大数据中心

项目数据中心项目（以下简称“本项目”）的实施工作进行了宏观定义，并对具体

的基础设施建设、系统设计方案、标准规范及培训实施方案、系统实施、实施与保

障等专项工作也做较为详细的定义，以指导后续的实施工作。

1.2术语定义

1.共建单位：配合沧州大数据中心工程建设的政府机构、公共事业部门和企

业。

2.承建单位：九次方大数据信息集团有限公司

5

第2章.项目实施总述

2.1数据管理平台项目建设目标与任务

2.1.1.数据管理平台项目建设总体目标

数据管理平台提供数据梳理、数据管理、服务监控、政务数据协同、数据服务

集成、运行支撑、IT运维功能。

2.1.2.数据管理平台项目分阶段目标

1.第一阶段目标

2020年5月15日工作目标

（1）完成平台基础功能建设，部署开放数据、云接口、云服务以及用户中心

频道部署、测试与运行。

（2）完成与省“互联网+政务服务”平台对接。

2.第二阶段目标

2020年7月工作目标

（1）完成数据共享交换平台功能完善、部署、测试与运行。

（2）完成数据管理系统功能完善、部署、测试功能建设。

3.第三阶段目标

2020年10月工作目标

（1）完成与省共享交换平台对接、与市直部门信息系统对接、与一体化在线

服务平台等对接。

（2）完成数据管理平台初验、试运行和终验。

6

2.2数据管理平台项目建设内容

2.2.1.数据管理平台项目总体架构

2.2.1.1.总体架构

数据管理平台从总体架构设计上保证了平台在系统规模与业务场景上的先进

性和可扩展性。全平台采用基于X86硬件的全分布式架构，可按需方便地进行水平

扩展（ScaleOut）和弹性伸缩。平台由多个可插拔的独立系统组成，系统间松耦合，

采用标准服务化接口进行互通。除必选系统外，其它系统可根据需要灵活选择和独

立安装部署。

数据管理平台总体架构如下图所示：

就监控筑TUB

M0C安全

inHiaI住《■・im仓库景貌

■fht•引♦

IB«V9百日日由口

MySQLHiveH8d$eHOFSES

mI底加iftt»M

故据采集、MT洗.幡换

2.2.1.2.系统定位

数据管理平台提供数据梳理、数据管理、服务监控、政务数据协同、数据服务

集成、运行支撑、IT运维功能。

数据梳理功能提供政府部门的组织结构、业务角色、信息资源类别、信息化系

统等的管理和维护。能够对业务流程图和数据流程图进行管理，能够识别协同关系

和信息共享需求，能够明确职责、整理和挖掘数据资源、规范数据表示；能够对数

7

据库的主题库、逻辑实体、实体关系图、数据映射图、数据元标准、信息分类编码

进行管理。

数据管理功能提供制定详细的加工规则及流程及质量监控，保障基础数据库能

够存储较高质量与细颗粒度的数据资源。主要包括数据采集抽取、数据过滤清洗、

数据映射转换、数据比对、加工规则定义、数据维护管理等功能。

服务监控功能即对数据抽取、清洗、转换、比对、入库等过程进行监控，并将

结果展示给内部用户查阅；提供网络检测与服务器检测，使内部用户能够及时了解

数据处理时网络和硬件的开销；提供数据处理过程及历史情况查询和错误、异常的

定位工具。

政务数据协同功能通过建立委办局间的资源共享交换机制，促进信息更新和公

开，提升信息资源的利用水平，实现跨部门信息资源的整合与共享。

数据服务集成功能通过搭建基于数据服务总线（ESB）的服务集成管理平台，

构建数据服务的统一通信通道，提供在协议不同、格式不同、标准不同的情况下，

服务与对接服务之间的交互通信，传递消息。

运行支撑功能通过构建覆盖全市各部门的多级政务数据资源目录体系架构，采

用元数据对共享政务数据资源特征进行描述，形成统一规范的目录内容，通过对目

录内容的有效组织和管理，形成部门间政务数据资源物理分散、逻辑集中的信息共

享模式，提供政务数据资源的发现定位服务，支持全市范围内跨部门、跨地区的普

遍信息共享。

IT运维功能包括IT基础环境运维、应用运行环境运维、数据处理监控管理、

委办局支撑服务管理、运维服务报表统计、后台管理功能、角色管理。

2.2.2.数据管理平台项目软硬件系统建设内容

2.2.2.1.元数据管理系统

元数据是对数据的描述，可以分为业务元数据、技术元数据和管理元数据。最

重要的是业务元数据。元数据管理通过一系列手段采集所需的各种外部数据系统、

数据仓库、数据集市的元数据定义信息，并集中存储在平台中，这个过程是采集过

8

9

程。元数据采集以后可以进行四大类的操作与功能：

1通过一定的方法解析出数据之间的关联映射关系，映射关系的上下游连在一

起形成数据地图。通过数据地图可以进行数据的血缘分析（向上游查询）和影响分

析（向下游查询）；

2保证元数据定义与实际情况的一致性。通过每天的元数据采集比对;可以知

道发生变化或异常的表，及时提醒相关人员关注，同时可以保留多个元数据历史版

本供查阅；

3通过可视化界面，可以多层级，多角度地查询、展现元数据信息；

4支撑数据质量与数据标准模块，提供接口调用。

?元数据业务架构：

数

据

管

理LH蚊虫座IgJMte

系

统

6*冗敛K

[元HB"]TtMfwn

10

血统分析

系统设置

主要提供资源管理、数据系统注册。

?资源管理

分前置机和平台两种，前置机是客户的数据库机器连接信息、，平台展

示从一体化运维监控系统自动获取的平台内的各种数据库的信息

当需要从客户机器采集的数据的话，就需要在前置机处设置这个连接

信息。目前支持Oracle,MYSQ敏据库

?数据系统注册

可新建前置机、平台内的新数据库，也可以注册前置机上已存在的数

据库信息。

新建SFTP服务需要使用的SFTP用户登录信息

元数据定义

?数据表类

可在前置机、平台内的生成实体表，也可以仅采集已注册的前置机数

11

据库上的表结构。

?文件目录类

创建真正的HDFS文件目录，并指定目录所属用户，及目录的公开等级

等

?ES索引

创建所属的ES索引，供数据分析查询时使用。

数据地图

以可视化地图方式展示由ETL任务产生的数据关系的血缘分析（即数据如何得

来）、影响分析（即数据改变后，对下游数据的影响），及手工创建的数据关系

可展示的层级有：数据库、表、字段、文件类、各种属性

形成一个展现数据全貌的数据地图，清晰完整地揭示各种数据的来龙去脉

数据关系管理

此处主要用于手工创建数据关系所用

数据关系包含以下几类：

?表与文件目录的关系

?表与表之间的关系，

细分为以下类：

生成关系--表示一张表是由另一张表生成而来，例如，在ETL过程

中表与表之间的生成关系或由多张表生成宽表。生成关系属于强关联。

对于表与表之间的生成关系，在配置元数据时或ETL时可以自动生成

关系记录，也可以手工创建。

引用关系一-表示两张表间在业务上有关联，但又不是生成关系。例如，

在地市-GDP统计表中，现在要统计每个地区（粤东、粤西、粤北）的GDP

即地区-GDP表，需要有地区-地市的关系查找表。在本例中地市-GDP表

与地区-GDP表是生成关系，而地区-GDP统计表与地区-地市查找表是

引用关系。当然也可以说地市-GDP统计表与地区-地市查找表是引用关

系，其实两者选一就可以了。引用关系只能手工进行创建。

12

13

?文件与文件的关系

数据标准管理

数据标准管理主要为数据标准文档提供一个存储空间，租户内的各部门用户

都可以按条件搜索、下载各种数据标准文档

2.2.2.2,数据集成系统

数据集成系统为多源、多种类、多格式数据提供高速海量数据采集、清洗、转

换、与加载能力，全程免代码编写。

整个数据集成系统主要包括云化数据集成系统（CloudETL）和前置机系统。

云化数据集成系统（CloudETL）承担数据集成的任务调度、流程配置、任务分

发和执行、过程监控、异常处理等工作；

前置机系统主要承担用户侧和数据源侧的数据缓存、接口对接、采集控制等工

作，前置机系统主要用在推模式的数据集成时。

数据集成系统架构

数据集成系统架构如下图所示:

14

云化数据集成系统

云化数据集成系统（CloudETL）是大数据平台中负责数据集成的子系统，支持

多源、多种类、多格式、多传输方式数据的高性能统一集成。

?实现ETL全流程Web化（任务配置、监控、调度）

?完整实现通用的ETL功能（支持各种数据采集、清洗、转换、加载场景）

?实现基于HDFS的Spark计算引擎

?全面支持Hadoop插件（HDFS/HIVE/HBAS等）

?支持SFTPBridge直连HDFS在小文件传输和安全性等方面进行优化和改

进

?支持故障监控，告警，异常恢复和断点续传

?高可靠性（HA）改进，支持集群服务器间任务迁移

?支持基于多种采集技术（Flume/Kafka/Sqoop）的ETL任务统一调度

?支持各种结构数据库：MYSQUDRACLH）B2SQLSERVERCCESSSQLSERVER

SyBase等

?支持分布式部署

?支持ETL任务分析，把数据关系展示到数据地图中

云化数据集成系统亦可作为独立产品进行部署，适用于大规模数据采集、同步

迁移、异地备份、数据清洗、融合、交换等业务场景。

1.资源中心

数据源管理：CloudETL资源中心进行数据源管理，从元数据系统中根据

用户同步数据源配置信息，CloudET流程的数据源连接配置都从统一维护的元

数据中导入；

服务器管理：CloudETL资源中心进行平台服务器、集群、前置机等的管理，

从一体化运维监控系统根据用户同步配置信息，保证用户只能使用经元数

据系统授权的服务器上的资源；

2.任务设计

用户可通过图形界面创建转换任务，转换任务以Ktr文件保存转换任务；

也可创建调度任务，实现转换任务的定时执行，以ktj文件保存调度任务。

13

任务组件有：输入、输出、大数据、脚本、转换步骤、作业、查询、连接、

流程、统计、检验等

1）支持结构类文件、非结构类文件的输入、输出：文本文件、EXCEL

CSVXLSACCES等结构类文件，非结构类PDFWOR摩。

2）支持各种数据库输入、输出：Oracle、MYSQLHBASEHIVE.Sybase.

DB2、ACCESSSQLServer等。

3）通过计算、清洗、查询、连接、统计、脚本等转换算子对源数据进行

规则转换，以得到想要的输出结果。

3.任务管理

1）支持本地服务器、远程服务器、集群服务器、Spark引擎运行任务；

2）Ktr/Kjb文件输出，管理ETL流程中的转换和任务文件，可导入和导出

Ktr/Kjb文件；

3）异常告警输出，调用一体化运维监控系统的接口，输出CloudETL子系

统的异常和告警信息、；

4）集群管理，根据采集机配置集群，分配转换步骤到集群中执行，收集

集群各子服务器的日志和监控信息，监控集群执行过程；

5）可视化的执行监控管理，分配采集机执行转换和任务，收集采集机的

执行日志和监控信息，在客户端以可视化的方式呈现ETL的完整执行过程和状

态，并可以查询历史执行日志；

6）容错管理，任务重跑，通过设计任务（Job）流程及参数配置实现ETL

全流程重跑；断点续跑，对转换（Ktr）中的某一步骤因某服务器原因中断，

实现重启服务器后，断点续跑；

7）支持多任务并发执行，支持多个任务、或全部任务一键并发执行；

8）支持调度任务，支持调度任务，可以设置定时执行任务，并可客户端以

可视化的方式呈现ETL的完整执行过程和状态；

9）CloudETL任务流程分析，数据血缘分析，通过对CloudETL任务流程进

行分析，梳理出数据实体（包括表、字段、文件等）之间的血缘关系，最终展

示到元数据系统的数据地图中；

10）关联关系分析，通过分析数据源的表结构、主外键等信息，自动获

14

取数据来源的关联关系，最终展示到元数据系统的数据地图中。

前置机

前置机是指用于现场的中间设备，大数据平台通过前置机采集从客户端的数据；

前置机这个概念一般在银行、券商、政府、电信运营商那里用的比较多。这些

地方都有很多后台核心处理系统，对外提供各种接口服务。如果我有某种业务接口

需要跟他们的后台系统打交道，要从我们的外部网络访问他们的后台系统，这些单

位是绝对不允许的。这个时候，他们要求你或者他们自己开发一个软件，运行在他

们的内网，然后通过专线或硬件隔离技术将运行这个软件的计算机连接到你的外网

系统上，那么运行这个软件的计算机，从功能上称呼为前置机。置机的作用包括以

下两方面：

1）从网络和安全角度来看，它有隔离主机的作用（一种放在内网以外，分

离内网外网的应用），保证外部的应用不能直接访问核心服务，比如银行的各类

外部接口（电信代收费、银证通）。

2）从业务角度来看，前置机提供了业务渠道与核心服务的主机交流的一

个桥梁。它一般起着管理和调度业务渠道发起的交易的作用，经过前置机的调

用可以减轻核心后台服务器的负担，当然了它也有非核心业务的处理功能。

3）位于应用系统服务器端与客户端之间的独立处理机系统，担负数据格

式转换、连接管理、业务流管理外围调度、外围处理，并把业务数据交后台应

用服务系统处理等任务。

4）内外网两端的业务系统需要数据交换，在各自业务系统前布置前置机，

实现数据交换。

目前前置机支持sFTP、HTTPRestfulAPI、WebService＞人工文件导入等方

式，流式数据采集（Flume/Kafka等）。

.统一安全系统

服务监控功能即对数据抽取、清洗、转换、比对、入库等过程进行监控，并将

结果展示给内部用户查阅；提供网络检测与服务器检测，使内部用户能够及时了解

数据处理时网络和硬件的开销；提供数据处理过程及历史情况查询和错误、异常的

15

定位工具。

权限管理

对于Hadoop集群而言，必须进行权限管理，其中最重要的是实现

Authentication（身份鉴别）和Authorization（授权）这两点：

（1）Authorization,是指正确识别一个用户的真实身份。

（2）Authentication,是指为某个用户做某件事赋予某种权力。

Hadoop本身原生并不具备任何身份鉴别的能力，需要进行相关安全配置，保

证数据和集群的安全，Hadoop权限管理包括以下几个模块：

（1）用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中

提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，

使用的资源量等。

（2）作业管理。包括作业提交权限控制，作业运行状态查看权限控制等。

帐号认证和授权

帐号、认证和授权作为4A体系的管理枢纽也是整个平台的核心业务。帐号管理

用于在业务支撑环境中，集中维护包括主帐号（自然人）和从帐号（资源）在内的

全部帐号以及和帐号相关的可在4A平台中管理的帐号属性。4A认证管理的主要

目的是提供对资源访问的统一安全认证服务，实现资源的认证集中控制，保障资源

的访问安全性。认证管理具体实现内容包括主帐号的认证服务、应用资源和系统资

源的从帐号单点登录认证服务。授权管理主要是指集中对用户能够在被管资源中行使

的权限进行分配，实现用户对资源的访问控制。

功能大致包话详细描述了帐号管理、认证管理、授权管理、资源及配置管理、

绕行控制及管理流程。主要实现认证、自助终端帐号管理、专用设备或系统接入帐

号管理和认证、安全人员主帐号管理、智能终端接入认证、角色级授权与细粒度授

权、虚拟资源管理、帐号和认证安全性控制、资源接入流程等功能要求。

功能名称功能描述

主帐号生命周期管理具备从现存帐号数据库导入或映射业务支撑系统现存帐号的可

选功能

具备将4A平台中的主帐号导出到外部帐号库中的可选功能

16

主帐号类型按照人员岗位给主帐号合理分类，包括部门领导、室主任/主管、

应用管理员、网络管理员、系统管理员、数据库管理员、安全管

理员、安全审计员、安全维护员等

安全人员主帐号类型标识提供对安全人员主帐号的类型标识、互斥校验。安全管理、安全

与互斥校验审计与安全维护的各工作岗位原则上要求“专人专岗”，同一岗

位可由多人担任，在安全岗位人员设置时应按照“职责互斥”的

原则，充分考虑到职责平衡和有效制约。安全审计员与系统管理

员分开设置。应用系统管理员与数据库管理员、主机管理员分开

设置。

虚拟资源帐号管理虚拟资源从帐号纳入4A统一管理

4A同步帐号程序帐号管理范围扩充，增加4A同步帐号管理能力

从帐号自动发现和收集在资源新接入或定期自动从资源侧发现、收集从帐号功能

从帐号自动创建与绑定支持在基于电子流程完成从帐号申请、审批后自动进行从帐号创

建、主帐号绑定

应用资源从帐号密码禁止除自助终端帐号、应用系统程序帐号外，其他已经接入4A平台

自修改的各种应用资源不得开启从帐号密码自修改功能，必须通过4A

统一按照策略要求进行密码变更。

应用资源从帐号变更时间4A平台、应用资源应保持从帐号变更（创建、变更和删除）的时

一致性间一致性，以4A的从帐号变更时间为准记录应用系统的从帐号

变更日志。

程序帐号管理针对采用人工方式进行修改密码的情况，需要支持记录变更日志

和提醒日志

可使用“程序帐号自动管理”或“程序帐号指令通道”方案，实

现程序帐号的管理能力

自助终端帐号管理4A平台应支持对自助终端帐号的标识，并支持将自助终端帐号绑

定到责任人主帐号。自助终端上产生的登录鉴权、业务办理等日

志应发送给4A平台进行统一审计•，并由4A平台进行主帐号补全。

17

特权帐号密码自管4A平台应提供特权帐号密码自管功能，即特权帐号密码由管理人

员自己进行变更维护。该方式下4A平台不对特权帐号的密码进

行定期自动变更，但是需要支持过期提醒。

特权帐号密码托管在4A平台上实现特权帐号密码的自动修改功能

专用设备或系统帐号管理针对中间件、系统流量审计、应用安全流量审计、抗DDoS、IDS、

IPS、防绕行设备、配置基线、漏洞扫描、终端管理、防病毒、

DLP等专用系统或设备，应纳入4A进行帐号管理。

帐号弱密码稽核弱密码字典管理：包括对弱密码字典进行添加、删除、查询等，

应支持根据实际检测需要进行定期更新

弱密码分析与稽核功能：4A平台应支持基于4A同步帐号和标准

协议接口（如SSH、Telnet）获得未直接修改密码的系统从帐号密

码密文（如shadow文件），并根据弱密码字典进行弱密码稽核

分析，以发现存在的发现弱密码帐号

弱密码稽核报表或视图：4A平台应能根据弱密码稽核结果提供在

线查询和稽核报表导出功能

配合SMP帐号弱密码展现：4A平台应支持发送弱密码稽核结果给

SMP平台，提供展示弱密码稽核结果

孤立帐号稽核4A平台应支持定期稽核接入资源孤立帐号数量，并对孤立帐号所

属应用系统、资源信息、孤立帐号个数进行记录，并提供展示界

面支持

未经审批私自开通的帐号4A平台应支持定期稽核接入资源从帐号未经审批私自开通数量，

稽核并对该数量进行记录，并提供展示界面支持“未经审批私自开通

的帐号数量占比”详细信息时回调查看

主从帐号使用率稽核4A平台应支持定期稽核主从帐号的使用率，并对该数量进行统一

记录，并提供展示界面视图支持查看“主帐号使用率”或“从帐

号使用率”的详细信息时回调杳看.

主从帐号共享控制4A平台应支持同一主帐号在不同终端同时在线的登录提醒功能，

并主持iP录同时在线音录R走.

18

4A平台应支持主帐号登录与终端绑定的可选功能，同一主帐号只

允许在固定的PC终端（IP或MAC上进行4A平台的登录访问

应用互访接入认证4A平台应提供被管应用资源之间互相访问的集中认证功能。4A

平台为应用互访提供接入认证服务的前提是被嵌套访问的应用

资源接入到了4A平台，并且归属于不同一业务支撑应用系统帐号

体系。

认证安全控制措施登录信息及身份凭证应加密后传输。合理设置会话存活时间，超

过该时间后销毁会话，清除会话的信息。

帐号异常登录稽核4A平台应支持定期稽核主帐号异常登录数量，并对该数量进行记

录，并提供展示界面支持查看“帐号异常登录（多非工作时

间段、异地）占比”详细信息时回调查看

敏感数据导出审批率稽核4A平台应支持定期稽核敏感数据导出操作与审批的不一致数量，

并对该数量进行统一记录，并提供展示界面视图支持查看“敏感

数据导出审批率”详细信息时回调查看

授权管理4A平台必须至少实现对三大主要应用系统和平台的实体级、角色

级两种授权方式，并且必须实现平台细粒度授权；

角色变更时间一致性4A平台、应用资源应保持角色变更（创建、变更和删除）的时间

一致性，以4A平台的角色变更时间为准记录应用系统的角色变

更日志。

角色级授权时间一致性4A平台、应用资源应保持角色级授权的时间一致性，以4A平台

的角色级授权时间为准记录应用系统的角色级授权日志。

细粒度授权时间一致性4A平台、应用资源应保持细粒度授权的时间一致性，以4A平台

的细粒度授权时间为准记录应用系统的细粒度授权日志。

资源接入流程面向用户帐号权限管理的流程系统应能覆盖所有人员的申请、审

批等管理过程，提供易用、可用的申请审批功能

实现由资源管理员进行流程的发起，发起时填写资源基础信息，

由资源管理员所在部门主管领导以及4A安全管理员进行审批，

审批通过后，4A平台自动或人工接入该资源，并针对资源管理员

发更流程时填写的浴源信息自行收集从帐号.

19

安全机制

采用密码技术和网络防御技术来提升Hadoop的安全性能

0）基于公钥体制的身份认证：针对KDC瓶颈问题，文中放弃采用基于

Kerberos的对称密码加密的身份认证方式，转而采用基于PKI的身份认证机制。

认证过程分为两步：首先，CA核实申请者身份并为各个合法节点颁发数字证书；

然后，示证方向验证方发送数字证书，验证身份。在基于公钥密码体制的身份认证

方案中，节点一旦获得CA颁发的数字证书，在随后向服务器申请身份认证的过程将

不会有PKI管理实体的参与。这样便避免了在面对大业务量时系统瓶颈的问题。

。网络防御预防单点失效：Hadoop所采用的对主服务器Master备份的

做法，只能解决Master的普通故障问题，不能应对来自网络的恶意攻击。为了保

证Master服务器以及整个系统的安全，需要加强网络的防御措施，使其免遭病毒、

木马以及拒绝服务等来自网络的攻击。应该对Hadoop中的服务器设置访问控制、

对操作系统进行安全配置、安装防火墙和杀毒软件、及时修补安全漏洞并启动入侵

检测实时监测服务器的TCP连接和数据流量。对于某些安全需求高的私有云，还

可以采取物理隔离的方式，最大限度减少被攻击的可能。

0传输加密：采用数字信封的技术对将要传输的数据进行加密，并增加相

应的密码设备或模块实现算法的硬件加密，在该过程中将使用到公私钥密码对和会

话密钥。使用会话密钥对传输数据进行对称加密，保证了加解密的速度，降低了系

统的消耗。使用公私钥密码对加密保护会话密钥，保证了会话密钥的机密性，同时

也解决了对称加密中庞大的密钥管理问题。

@存储加密：在数据中心采用密码算法对数据加以保护，并通过密钥管理、

算法参数管理、强认证等密码技术保证特殊用户所使用的资源仅受其自身管理。

安全体系架构

20

21

4A安全体系

面对复杂的大数据安全环境，需要从四个层面综合考虑以建立全方位的大数据

安全体系：边界安全、访问控制和授权、数据保护、审计和监控。

•边界安全：主要包含网络安全和身份认证。防护对系统及其数据和服务的访

问，身份认证确保用户的真实性及有效性。Hadoop及其生态系统中的其它组件都

支持使用Kerberos进行用户身份验证。

•访问控制和授权：通过对用户的授权实现对数据、资源和服务的访问管理及权

限控制。Hadoop和HBase都支持ACL同时也实现了RBAC(基于角色的访问控

制)模型，更细粒度的ABAC(AttibuteBasedAccessControl)在HBase较新的

版本中也可通过访问控制标签和可见性标签的形式实现。

•数据保护：通过数据加密和脱敏两种主要方式从数据层面保护敏感信息不被泄

露。数据加密包括在传输过程中的加密和存储加密。传输过程中的加密依赖于网

络安全协议而存储加密可通过相关加密算法和密钥对数据进行加密存储。数据脱敏

是比加密较为折中的办法，对于大数据时代，该方法将更被更为广泛的采用。因为

收集的海量数据需要相对开放的共享给内部不同团队或外部机构使用，才能发挥大

数据的价值。对于敏感信息部分可通过脱敏的方式进行处理以保障信息安全。

•审计和监控：实时地监控和审计可管理数据安全合规性和安全回溯、安全取

证等。

22

基于以上四层的安全体系，结合大数据平台的特性，企业在实践大数据平台安

全化时，需要有更详细的架构设计，四层安全体系对应在实际环境中，应是以数据

为中心，建立完善的管理制度，先治理好大数据，再从访问控制和数据保护层面加

强对数据使用的安全防护，最后从网络和基础层加固平台的安全部署。因此，大数

据安全框架需包含以下5个核心模块：数据管理、身份和访问管理、数据保护、网络

安全、基础安全。

（-）数据管理

企业实施数据安全的首要任务是先管理好数据，根据业务要求、合规性、安全

策略及数据的敏感性，关键性和关联风险对数据进行分类分级管理，有助于对数据

保护的基准安全控制做出合理的决策。从大数据特性层面对数据进行标记（例如分

析类型、处理方式、数据时效性、数据类型、数据格式、数据源等维度），就知道

数据是如何进出大数据平台，将会被如何使用，会被谁使用，数据是如何存储的等

等，这些都有助于数据发现的管理和对数据访问控制制定相应的策略。最后，如果

缺乏掌握敏感数据在大数据平台中存在于哪里的意识，这将无疑是把数据暴露于风

险之下。所以，掌握敏感数据在大数据平台中分布情况，并能自动地增量式地发现找

到敏感数据，并监控其使用情况，是否受到保护是能否做到全面保护数据安全的关键。

（二）身份认证和访问控制

身份认证是防护数据安全的第一道关卡，通过身份认证确保访问大数据平台中

的数据、资源和服务的用户是安全的，大数据生态系统中从Hadoop到HBase、Hive、

Pig、Impala、Spark等几乎都支持利用Kerberos进行身份认证。Kerberos也可以

和企业的AD/LDAP结合以快速建立密钥分发中心，而无需大数据平台用户重新建立

用户组、角色和密钥等。用户通过身份认证后可获得访问大数据平台的资格，为进

一步控制用户对资源的访问权限，需要通过授权机制来管理不同用户对不同资源的访

问许可。Hadoop和HBase及其它组件都在一定程度上支持对访问的控制，RBAC

和ABAC是两个不同粒度的访问控制模型，前者是基于角色来进行访问控制，后者

是更为细粒度的控制，可控制到被访问对象的字段级别。在制定访问控制策略时，

应依据合规要求，结合敏感数据保护策略、数据使用场景等针对不同数据、不同业

务需求制定相应的访问限制规则，高效利用数据，发挥大数据价值是企业的最终目

22

的。

（三）数据保护

如果说身份认证、授权和访问控制是确保了对数据访问的对象的防护和控制，

数据保护技术则是从根源层保护信息安全的最重要和最有效的手段。通过数据保护

技术，对大数据的开放共享、发布、最大化利用等都会有着最直接的积极作用。数

据保护技术的作用不仅局限于企业内部，它是确保整个大数据产业快速发展的最重

要保证。数据保护技术通过对数据利用脱敏、失真、匿名化限制发布等技术处理后，

可让处理后的数据到达安全交易、开放共享的目的。而对于企业内部，针对脱敏后

的数据，不需再设定复杂的访问控制限制，可让更多的分析应用更高效地实施并优

化开发项目，让大数据得到更充分的利用同时，也确保遵从行业/监管数据隐私法

令和法规。

（四）网络安全

大数据的网络安全通常是指通过客户端访问大数据平台的连接和大数据平台

中服务器节点之间的网络通信安全。为保证数据在传输过程中的安全性，节点之间

及客户端与服务器之间的通信都需要进行加密，不同的通信使用不同的加密方式，

Hadoop平台支持RPC加密，HDFS数据传输加密和HTTP通信的加密。除了对网络通

信进行加密设置，还可通过使用网关服务器隔离客户端与大数据平台的直接访问来进

一步升级网络安全。网关服务器部署在大数据平台和企业用户网络域之间，用户

通过登录网关服务器来验证身份，并由网关服务代理用户对大数据平台的访问，同

时，该服务器还可用来提供访问控制、策略管理。用户通过登录到网关服务器来执

行对大数据平台的操作，所有的客户端包括Hive,Pig,Oozie等都可安装在这台

网关服务器上，这样用户就不必登录到大数据平台中的服务器节点，从而保护大数

据平台不会受到非法访问。

（五）基础安全

前面我们谈到了通过各种方式来保证大数据平台和安全性，包括身份认证、授

权、访问控制、数据保护及网络通信安全。但大数据平台仍然有可能会受到非法访问

和特权用户的访问。为确保合规性的需要，我们需要对大数据平台的一切活动进行审

计和监控并生成告警信息，也即是安全事故和事件监控（SIEM）系统。SIEM系

统负责对大数据平台中任何可疑的活动进行收集，监控，分析和生成各种安全报告。

23

以下是大数据平台中需要被监控的事件以用来分析识别安全事件：用户登录和身份

验证事件、HDFS操作、授权错误、敏感数据操作、MapReduce任务、通过各种客户

端的访问如Oozie,HUE等以及异常事件。只有全面的收集在大数据平台中的一切活

动，才有机会捕捉可能会发生的安全事故及进行事后分析时有机会进行回溯分析，追

踪事故根源。

,一体化运维监控系统

一体化运维监控系统，系统管理员可快捷直观地一键式自动化安装部署整个系

统所有的主机、服务、节点组件，及它们的配置、管理、监控整个系统的资源，包

括：

?一键式自动化安装部署整个系统

在一体化运维平台上，提供安装向导，可以一键安装部署的所有主机、服

务、节点组件的安装、删除。

?管理集群系统

为集群中所有主机、服务、节点提供集中启、停、及重新配置、升级、安

装、删除等运维管理。

?监控集群系统

提供基于仪表盘的集群性能与状态集中监控。

采集集群性能参数值并以图形化方式呈现。

提供主机、服务组件、子系统的实时告警。

一键式自动化安装部署

大数据处理系统主要基于Hadoop实现，由于Hadoop是由运行在物理集群

上庞大的服务组件构成，从广义上来说，Hadoop是一个生态系统，而不是各

个技术的简单堆叠，如果采用手工命令行进行安装部署的方式，不但费时费力

不可靠，而且需要安装部署人员有很强的HADOO安装知识。

而一键式自动化安装部署，安装部署人员可以傻瓜式的、仅需按菜单导航

就可以很快速完成安装。

主要功能如下：

①)Hadoop组件：通过菜单导航对Hadoop组件进行新增、删除

24

0）主机：通过菜单导航对主机进行新增、删除

0子系统：通过菜单导航对所有子系统或所属服务进行新增、删除

管理集群系统

主要提供主机、节点、服务的管理

1、服务生命周期管理

服务生命周期管理主要是对服务的部署、启动、停止、卸载、删除进行管

理，主要通过运维平台的服务界面完成。

服务注册和删除，是对服务的基本信息，如服务部署策略，环境变量，依

赖服务等进行保存和删除

服务部署，管理器（master）根据服务的部署策略，创建服务实例，并向所

选节点发送部署命令，由节点部署。

服务启动，管理器（master）向服务所在节点发送启动命令，由各个节点启

动服务。

服务停止，管理器（master）向服务所在选节点发送停止命令，由各个节点

停止服务。

服务卸载，管理器（master）向服务所在选节点发送卸载命令，由各个节点