集团大数据平台系统功能设计整体方案

集团大数据平台系统功能设计整体方案

1.1概述

平台管理

多胡霞II多百日II作业调章或1I统—黜说

；|数据ETL析与［数据展现I

数据管理

结构化数据^||半/非结构化数据管理

~||朝封奂|］

数据加工清m1数据计算］|数据查询

图5」系统功能设计内容

参见上图，系统功能设计主要包括：平台管理（多租户管

理、多应用管理、作业调度管理、统一运维监控）、数据管

理（结构化数据管理、半/非结构化结构数据管理、数据采集、

数据交换、数据存储管理、数据加工清洗、数据计算、数据

查询I数据管控（元数据、主数据管理、数据质量管理\

数据ETL、数据分析与挖掘、数据展现等。

1.2平台管理功能

121多应用管理

星环TranswarpDataHub大数据平台对企业级用户提

供多应用场景的支持，例如：通过TranswarpStream提供

实时数据计算场景支持，通过TranswarpInceptor提供批

处理场景支持,通过TranswarpHyperbase提供在线数据

服务场景支持，通过TranswarpDiscover提供数据分析、

挖掘场景支持。

星环大数据平台通过TranswarpOperatingSystem云

平台系统(以下简称TOS)实现大数据平台多应用管理，支

持对应用的服务级别管理(SLA),实现应用的访问资源控制,

支持资源隔离。

TOS基于Docker容器技术,支持一键部署TDH各个

组件，支持优先级的抢占式资源调度和细粒度资源分配，让

大数据应用轻松拥抱云服务，满足企业对于构建统一的企业

大数据平台来驱动各种业务的强烈需求。

TOS主要由4部分组成,底层由基于Docker的容器技

术作为所有应用服务的承载，通过将应用服务装载在

Docker容器中，能够实现应用环境和底层环境的解耦合；

通过优化过的Kurbernetes对整个集群的资源进行管理与

调度；在此之上，内置了丰富的系统级服务应用，如完整

Docker化的TranswarpDataHub集群各个组件等；对于

其他应用服务的接入，提供了完整的DockerImages

Repository集中服务管理库,用户可以通过TOS提供的接

口,将应用服务制作为DockerImage,加载入TOS

Repository,通过定义调度规则，在TOS统一管理与调度。

TranswarpOperatingSystem组成部分

TranswarpOperabnqSystem由以下四劄分组成

•Rlnq0:Docker/G)ntainef

•Rlnq1:Resourcescheduler

•Ring2:Built-insystemservices

•Rina3:Centralservicerepository(dockerImaoes)

图5-2大数据云平台架构图

便捷部署：基于TOS,用户可以通过WebUI、RESTAPI

或者命令行一键瞬间安装和部署TDH集群，能自动根据服

务的依赖性安装所需的其他服务组件。在虚拟技术之前，部

署硬件资源满足新的应用需求需要几天时间，通过虚拟化技

术把这个时间降到了分钟级别,而目前基于Docker的TOS

云平台把时间降到了秒级别。Docker作为装载进程的容器,

不必重新启动操作系统，几秒内能关闭，可以在数据中心创

建或销毁，没有额外消耗。典型的数据中心利用率是30%,

通过更积极的资源分配，以低成本方式对新的实例实现更合

理的资源分配，从而提高数据中心的利用效率。

完整的资源隔离：TOS通过优化Kubernetes资源管理

框架实现了基于Docker容器对CPU,内存，硬盘和网络更

好的隔离。TOS中Docker容器的隔离目前是由Linux内核

提供的六项隔离，包括主机名与域名的隔离，信号量、消息

队列和共享内存的隔离，进程编号的隔离，网络设备、网络

栈、端口的隔离，挂载点（文件系统）的隔离，用户和用户

组的隔离。这些隔离保证了不同容器的运行环境是基本不受

影响的，比如挂载点的隔离，就保证了一个容器中的进程不

能随意访问另外一个容器中的文件。

TOS平台相比于传统的ApacheYarn管理框架和开源

Kubernetes的资源管理框架而言,在资源粒度方面可以管

控磁盘和网络，而传统资源调度框架只能管理到CPU和内

存；在隔离性方面，容器技术有天然的优势；在依赖性和通

用性方面，不依赖于Hadoop组件以及技术，这意味着可以

实现所有上层应用的云化开发、测试、升级以及管理调度。

容器的隔离目前是由Linux内核提供的六项隔离，包括主机

名与域名的隔离，信号量、消息队列和共享内存的隔离，进

程编号的隔离，网络设备、网络栈、端口的隔离，挂载点（文

件系统）的隔离，用户和用户组的隔离。这些隔离保证了不

同容器的运行环境是基本不受影响的，比如挂载点的隔离，

就保证了一个容器中的进程不能随意访问另外一个容器中

的文件。

表5-1Yarn管理

资源粒度隔离程度依赖性通用性

CPU/ME进程级别、依赖某个支持少量计算

YARN

M不精确HDFS引擎

KuberCPU/ME不依赖支持通用

Container

netesMHadoopLinux负载

CPU/ME

Container

M,DISK,不依赖支持大数据及

TOS+Quota+V

NETWORHadoop通用应用

LAN

K

灵活资源调度：TOS支持对TDH组件自动扩容或者缩

容，同时也允许其他应用服务和大数据服务共享集群，从而

提高资源的使用率。TOS创新的支持抢占式资源调度模型，

能在保障实时业务的同时，提高集群空闲时的资源占用，让

批量作业和实时业务在互不干扰的情况下分时共享计算资

源。通过支持动态扩容和收缩集群，从何实现了资源的动态

分配与调度，整个过程热插拔业务、服务无需重启。

自动修复：TOS的Replicator模块负责检测集群规模，

当集群中服务发生问题时可以另起一个服务实例实现集群

的自我修复功能。举例而言，某个HyperbaseRegion

Server由于硬件原因服务停止，TOS平台能够实时感知，

并在管理的资源范围内另起一个RegionServer•的Docker

容器接替因故停止的容器，动态的保证了服务集群的整体稳

定性。

应用隔离：在TOS上运行的TDH以及应用服务还引入

微服务的架构，显著降低用户部署环境对TDH以及应用服

务稳定性的影响，提高了部署的可用性，并且能让用户在不

停业务以及服务的前提下，享受到快捷的TDH以及应用服

务更新版本滚动升级。

122多租户管理

对于各个部门以及下级单位的不同应用需求，通过统一

的集群管理，结合星环的YARN资源调度框架,可以动态创

建和销毁集群，灵活部署业务，适合对非7x24不间断业务

（例如周期性统计业务）动态部署。

此外，在资源隔离方面，TranswarpYARN支持对计算

资源和内存资源的管理能力,避免占用内存资源多的Spark

或M叩/Reduce集群之间争抢内存资源。缺省模式下集群

就是创建在YARN上,可以非常方便的动态创建和销毁

Spark或者Map/Reduce集群。同时，通过YARN的资源

隔离和配额管理，可以避免使用同一个Map/Reduce集群

时出现的计算资源争抢现象，保证每项业务都能顺利完成。

与此同时，为了更好的利用平台计算资源，在申请资源

配额后，如果当前用户的资源紧张或受限，可以动态调配其

他用户的闲置资源加入，当其他用户使用时再归还。

同时，结合Kerberos实现TranswarpYARN的资源申

请，作业提交以及队列使用的权限管控，管理员通过管控界

面,定义YARN中用户能够在哪些队列中提交作业,能申请

资源的额度以及能提交作业的最大个数等，实现计算资源的

用户权限管控。

因此，对于分析类应用，可以充分使用星环YARN的特

性，实现分析集群的按需创建与销毁，从而实现数据、资源、

计算能力的统一调度和规划。

对不同的租户的操作员进行分组分类分级管理，利用

Kerberos以及LDAP对租户应用授权,支持对计算资源和

内存资源的管理能力,避免占用内存资源多的Spark或

M叩/Reduce集群之间争抢内存资源，对租户的数据访问能

力进行设置，实现数据隔离。

123统一运维监控

本方案提供统一的运维监控服务，主要通过TOS实现，

的核心是和本方案涉及到的所

TOSDockerKuberneteso

有软件的部署都通过Docker打包成镜像文件,以便非常快

捷的部署实施。内部系统通过镜像数据接口交互层进行交

互。通过外部接口层纳入集团运维平台进行统一监控。

等盅段嬲统一监控平台

HA-

一

控外部接口层（API,URL嵌入，底层数据，XML等）

层

性能监控资源/微务调度

镜像数据接11交互层

fy,大数据平台入

TDHTrinityiRechartsiNLPElasticsearch

镜Hadoop平台数据管理平台报表平台自然语言搜索引擎管理框架

像

层

j>>1j

DTranswarpTOS

co

ekContainerSchedulerSystemService

r5coordinatioorchestratiautch

"CPU/MEMDiskNetworkndiscovery

Containerpriority-basedstorageVLANloadname

etcdreplicator

Pluginsschedulermanagermanagerbalancerservice

图5-3统一监控平台

本方案提供统一的运维监控服务，主要通过TOS实现,

的核心是和本方案涉及到的所

TOSDockerKuberneteso

有软件的部署都通过Docker打包成镜像文件,以便非常快

部署。

整个架构通过Docker打包，并提供服务接口，这种服务

接口分为两层：

1）镜像层

a）提供接口文件

b）提供数据接口

2）外部接口层

a）提供API

b）提供URL嵌入

c）提供数据接口

d）提供XML接口（包括定制XML,JSON等）

e）ESB接口

整个接口层的设计便于产品之间，系统之间的交换，也

便于整个架构对接IBMTivoli,BMCControlM等监控平

台，引入监控或者外推监控，更好的融入到整个集团集团的

监控体系，便于统一监控。

12.3.1Hadoop集群自动化部署

一站式大数据平台提供集群自动化部署服务。用户只需

要安装TranswarpManager管理平台软件，就可以在友好

的图形化界面上安装、部署、配置所需要的服务。整个安装

过程不需要用户使用任何终端命令或者代码。

1

IZMKM9arMOF*YARN

°ZMKmparJW+9务>03ahMoo(>B*n«*4Hi»aVARN■■»«««*

Hyp«r*M»incM«M-9QLGc«pWL

TEaoarVfpartiM■触♦*维・？：・TEnnoavEcoiar■内*”介"BEWW*EcafBor是存099崇・

图5-4TDH节点管理界面1

平台提供了强大的在线扩容功能，不需要宕机停库，不

需要停止业务，就可以添加新的节点，实现扩容。节点添加

完成之后可以立即对新添加的节点进行角色的分配，一旦配

置成功，则新加的节点就会马上投入运算。扩容之后的数据

节点也不需要停机进行数据重分布，系统自动选择空闲的时

间进行数据的重新分布。同时，扩容的操作可以方便的在界

面进行操作。

①admin

OAddNodM

PrwtouB

图5-5TDH节点管理界面2

1.23.2Hadoop集群性能监控

平台通过专门的监控服务对集群的状态进行监控，包括

服务器CPU、内存、网络和磁盘的利用率和健康状态，以及

分布式应用系统的状态，并在故障发生或者某项指标超过预

设阀值时时提供告警功能。管理员可通过浏览器访问集群的

监控和管理界面进行日常的监控和维护，系统提供图标信息

展示。管理员可以便捷了解到集群的计算资源是否处于空闲

状态、哪些服务器的负载过高，甚至判断集群的组网及机架

安排是否合理等。管理员也可通过对各个节点的各个角色的

日志信息进行检索，获得更加精确的信息。

Web界面

Gmetad

Gmond

Gmond

Gmond

图5-6TDH监控模块

平台集成Ganglia集群监控系统，能够从上千台服务器

上收集系统信息，能够保障当集群规模扩展至上百台上千台

服务器时，监控程序都能够高效的获取每台服务器的状态信

息。Ganglia由Gmetad与Gmond组成,其中集群中每一

台机器上都有一个Gmond服务进程,Gmetad收集所有节

点metrics信息并在Web前端界面上展现出来。集群中的

每台服务器上都运行监控守护进程，守护进程能够将这些数

据的精简传递，这使得Ganglia的运行对集群的资源消耗极

少。所有的指标数据都存储在一个RRD(RoundRobin

Database)数据库中,为了防止Gmetad频繁写磁盘造成

I/O瓶颈,通过rrdcache缓存指标数据，定量写入RRD。

存储资源监控，包括获取存储量、剩余存储量以及存储

系统整体情况信息。

通过Ganglia集群监控系统向集团运维监控平台发送监

控消息，提供对接接口，实现大数据平台与集团运维监控平

台的互通，实现统一监控。

图5-7TDH性能监控界面

运算资源监控，包括监控工作负载、CPU、内存资源、

性能、组件性能(Kafka处理性能)等情况

;EAZ・#A"

YARN•

0YARN微要

S*■粤CWUq

王”士YARNttit

G«tNet*AM*Tiana

图5-8TDH性能监控管理界面

提供全局日志和任务级日志。

日志

ars*re，？1227-20tsMrts»r4i»

-Al•K•AI

nwr.

4*m«rS9iiSrn>33-3«w«0rKetoMCMcka

4«rKM1SSH57PM

"rt<aOQ£tt夕I

yta.xn6A，3r

**r5B.2Cl5S1t5TH4

SM3O：S6A1:ST0«BCte.ioe<KSaart£arC9S

ta.ai5511STPV

SMkQ55lFr

Bl-go*«r

•oxen9tt)7i

图5-9TDH全局日志查看界面

①

(LoiK>0KaiKlogirAMW))■RanirvMUadwrarHrtf

imMfHorHIE|«Uil4uO1)hMCtarttt*20

AJ»,OUmjr_TlW：KEA

(1000*0iGMKioginMM))•Rane-ctwrarferan

incepur(tvifcuOHMMCtOfKL'«TO

WFIM_8UXX..MAM"MM

inMptorMn>ar<l.nggM*gyiKtogt**HSD-OoppeqDmtaoMtaDC

kuniiinrttuw147V3Ja20MMI

01W10«MUA：iogfr«>(M))Ranir-cMararHer•1

IncoptcrMOW

0ADCAST.VAR8

(Lisgorg«m*ioainto(B0})-RanIT■小・daarwterMT

Inoopicrwvor(iMtajOl)mctf(or«QL，IWO

TUfmocAtn

(lowm«c«KlogMo(M))•2nEMK>dMf«rttr8P

inoepccrww(HuiNwOI)mcwitfSQi*mro

AKK.COMMXI

(1000f9MMMingm网卜Au*iofCMM

inc«c«orM<MV|u.H*oOl|nawtorSOl,WK)

BMlhJMCvlnrtHI70Q1

(HimMu»*(Na)nv«rwoKmtaimi(3im))t>

wMotowffihiplanwnaaon5MOQapatM

•nMWiunr*(nj*asio««

图5-10TDK任务曰志直看界面

在故障发生时提供告警功能。

BfMWU分•上下文

201MMH817:V;02ERRORLOGACTIVELogo(.acnodul*RecewlrackarTain*warpJo

baarv»r(suz

houO3)

201MJ4H817:12:02ERRORLOGACTIVELogof.Wdular.RMa>v«rTnbCMwTratwMMvpJo

DM»v«r(«ut

hou03)

201SAMH817:12:02ERRORLOGACTIVELog“.Kn»tliJl«r.R«o»v«rTfacMrTr«n»w»pJo

t>Mrv»r(«ut

houO3)

201MMH714:20,40ERRORLOOACTIVELogotemoteEndfxxntWnMrInooptwMTV

«r(«urhouOt)

201&IQ4H7U:29：49ERRORLOCACTIVELogofremoteEndpctrtWnlwInoKMorwfv

«r(«uzhou01)

201S/04/I714:24:48ERRORLOGACTIVELogotremoteEndpcinfWrMrInoapKXMrv

«r(«utnou01)

201sl04/17M:24.4BERRORLOOACTIVELogatmmoteEndpotfKWmrinoapkxMrv

图5-11TDK告警监控界面

1.2.33Hadoop集群资源管理

TDH提供计算任务管理和作业管理,包括作业的上传、

配置、启动、停止、删除和状态查看等功能。

eiHAR!A竹爬oYMMWO

select♦frontwmplc.o®brutI

1222

rnr衣岗分桁

ABSTRACTSYNTAXnt«:

(ifX_Qunnr(TOK.woM(TOKjAaat>"or_rAa“5,；：(x.iiftfRTio<_DesT»uim<IOK_MRTOK_IMP_FU£»(n)K..SHFC"roK_saFXPR

roic_ALiooi«ff])))

SUGEC€HND£NaES

StAye-0k>>rootttage

S1AGUPtAM$；

Stage：Sto^e-o

r«cnOMKMCT

NmM'1

f*(x«vwfXrtc

MMican

MM,

图5-12TDK作业管理界面

tl后。用用阿

queTSawefoopy)Iweek.Sdaysago

0II111w»ek,3d»j^ago

QuefySa«npieiwees,3daysago

quewSamteRopy)1week,30<>/5ago

01111