大数据运营管理服务项目技术方案_第1页
大数据运营管理服务项目技术方案_第2页
大数据运营管理服务项目技术方案_第3页
大数据运营管理服务项目技术方案_第4页
大数据运营管理服务项目技术方案_第5页
已阅读5页,还剩117页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

大数据运营管理服务项目技术方案

目录

(-)基础设施服务设计...........................................7

1机房服务设计...............................................7

2网络服务设计...............................................9

2.1***云平台网络在***外网中的位置.........................9

2.2***云平台网络总体设计.................................10

2.3广域网设计............................................11

2.4城域网设计............................................12

2.5安全隔离设计...........................................13

2.6IP地址规划.............................................14

2.7VLAN规划...............................................15

3主机服务设计..............................................15

3.1总体设计...............................................15

3.2主机设备整合..........................................16

4存储服务设计...............................................18

4.1总体设计..............................................18

4.1.1结构化数据存储设计.................................19

4.1.2非结构化数据存储设计................................20

4.1.3海量数据存储设计....................................20

4.1.4存储虚拟化设计......................................20

4.2存储设备整合..........................................23

5灾备服务设计..............................................24

5.1数据备份..............................................25

5.2异地容灾..............................................26

6基础设施管理调度平台设计...................................29

6.1总体设计..............................................29

6.2虚拟化适配层设计......................................30

6.3云管理业务层组件设计..................................31

(二)支撑软件服务设计..........................................34

1总体架构..................................................34

2开发测试、运行环境设计....................................35

2.1操作系统软件..........................................35

2.2数据库管理软件........................................36

2.3应用中间件............................................36

2.4自动部署软件..........................................37

2.5测试工具软件..........................................37

2.6系统软件调度管理......................................37

3公用组件和构件服务设计....................................37

3.1通用技术构件..........................................38

3.2通用业务构件..........................................42

3.3通用构件管理调度......................................46

(三)应用功能服务设计..........................................48

1总体架构..................................................48

2通用应用功能服务设计......................................49

2.1通用行政资源管理平台..................................49

2.1.1组织机构资源管理服务................................49

2.1.2人力资源管理服务....................................50

2.1.3财务资产管理服务....................................50

2.1.4文件资源管理服务....................................50

2.1.5数字技术资源管理服务................................50

2.1.6舆情监测服务......................................51

2.2通用行政业务管理平台...................................51

2.2.1***规划***级建设服务................................51

2.2.2***级规划***级建设服务..............................53

2.3业务协同应用平台......................................54

2.3.1***规划***级建设服务................................54

2.3.2***级规划***级建设服务..............................55

3应用功能服务使用设计...................................56

(四)数字资源技术服务设计......................................57

1总体架构设计..............................................57

2数字资源数据架构..........................................58

2.1基础数字资源库........................................58

2.2部门业务数字资源库....................................70

2.3主题数字资源库........................................71

3数字资源目录与交换平台.....................................71

3.1数字资源目录管理系统..................................71

3.1.1设计方案...........................................71

3.1.2功能描述...........................................74

3.2数字资源交换管理系统..................................75

4数字资源整合平台...........................................77

4.1数据整合规则..........................................77

4.2数字资源整合过程的功能描述............................77

5数字资源挖掘平台..........................................78

5.1设计方案..............................................78

5.2挖掘实现..............................................78

6数字资源共享服务体系设计..................................79

6.1设计方案..............................................79

6.2数字资源订阅..........................................82

6.3数字资源共享的服务方式................................82

(五)数字安全服务设计..........................................82

1安全保障体系设计..........................................82

2安全防护体系设计..........................................85

3安全管理体系设计..........................................86

3.1安全管理制度..........................................86

3.2安全管理机构..........................................87

3.3人员安全管理..........................................90

3.4系统建设安全管理......................................90

(六)应用部署服务设计..........................................91

1应用部署架构及总体设计....................................91

2应用迁移部署与资源整合设计................................93

(七)运行保障服务设计..........................................94

1运行保障管理制度设计......................................94

1.1运营和维护管理体系涵盖范围............................94

1.2运行保障服务体系设计原则和方法........................95

1.3运维服务模型与模式....................................96

1.4运维服务管理体系......................................99

1.5运维活动角色及运维管理组织结构.......................101

1.5.1运维活动角色.......................................101

1.5.2运维管理组织机构...................................102

1.6运维服务制度及流程...................................104

1.6.1应用软件及设备例行测试维护服务....................104

1.6.2应用软件及设备运行维护服务........................105

1.6.3应用软件系统交付服务..............................105

1.6.4应急响应...........................................106

1.6.5运维服务制度.......................................107

2运行保障服务设计.........................................108

2.1运维服务体系结构.....................................109

2.1.1服务支撑要素.......................................109

2.1.2服务阶段...........................................110

2.1.3服务内容...........................................110

2.1.4服务分系统.........................................111

2.2运维服务管理流程.....................................112

2.3IT运维服务支撑系统...................................113

2.4运维服务划分.........................................114

3运行保障服务评价设计.....................................115

3.1运维服务和管理成熟度.................................115

3.2运维服务和管理成熟度提升途径.........................115

3.3运维服务管理和支撑能力等级划分.......................116

3.4运维服务质量指标.....................................116

4运行保障全程全网服务设计.................................117

4.1全程全网管理.........................................117

4.1.1咨询与规划阶段.....................................117

4.1.2申报与审批阶段.....................................118

4.1.3建设与实施阶段.....................................118

4.1.4验收与审计阶段.....................................119

4.1.5运维与评价阶段.....................................119

4.2运行保障服务设计.....................................120

4.2.1运行保障整体流程...................................120

4.2.2运维服务管理对象...................................121

4.2.3运维服务管理内容...................................121

4.2.4运维服务方式.......................................121

(-)基础设施服务设计

1机房服务设计

新建***云平台机房,为***级各部门提供标准化、规范化的

IT运行环境和一体化的IT运维管理服务。

机房建设内容包括:综合布线、电气系统、空调通风系统、

消防系统、安防监控系统、门禁系统等,各部分根据相关国家标

准建设。

1、功能区规划设计

机房按照不同区域的功能要求,划分为网络和安全设备区、

核心服务器区、Extranet(外网)服务器区、Intranet(内网)

服务器区、Internet(互联网)访问服务器区、数据中心管理区、

数据交换&测试服务器区、数据存储功能区、数据灾备功能区,

如下图所示:

图1.分区设计模型

2、机房主要参数设计

(1)机房建设级别:B级;

(2)机房面积:1200平方米;

(3)机房设计容量:设计总装机架数量为310个;可容纳

服务器不少于300台,存储容量10PB,支撑50个以上的部门应

用;

(4)网络带宽设计:实现***数字网带宽(1000M以上);***

外网(300M以上)。

(5)电气设计容量:设计UPS满配容量为2300KW,UPS可

根据机房设备供电需求的增长逐步扩容,UPS满配容量为5个UPS

并联组,每个并联组为2台300KW的UPS;设计电力供应总量为

6000KWo

(6)空调设计容量:设计满配容量为3000KW,空调可根据

机房设备散热需求的增长逐步扩容。

3、机房安全保障

在保障计算机及其相关的和配套的设备、设施(含网络)的

安全,运行环境的安全、数字的安全、计算机功能的正常发挥、

计算机数字系统安全运行等方面进行了设计,满足《XXX******

网核心机房管理制度》的要求。

2网络服务设计

***云平台网络建设的基本原则是统筹规划、分步建设、统

一管理、全面支撑。为了减少重复投资,在充分调查和分析现有

网络资源的基础上,***云平台网络将充分利用现有***外网资源

和网络设备,依托***外网进行建设。

2,1***云平台网络在***外网中的位置

xxx***级***外网主要包括公用网络区(Global)、专用网络

区(VPN)和互联网接入区(Internet)三个功能域,分别提供

***外网互联互通业务、专用VPN业务和互联网业务。网络业务

模型如下图:

防火人校防揖

史姆战高

安全

交:枪

公用内珞区互联网M入区

(KPISVFN)(Global)<InternetVPN)

政务外网公用基础设施

图2.xxx***外网网络分区图

***云平台网络将构建在***外网的公用网络区,访问互联网

将通过互联网接入区,和依托***外网建设的部门业务专网交换

数据将通过专用网络区。

2,2***云平台网络总体设计

***云平台网络按照***、***、***(区)三级架构,规划建

设云数据中心和异地灾备中心。

网络拓扑图如下图所示:

u省电了•政务外网骨干网?省级电户政务外网

瓦蹂网排入区市级电子政务外网

市级电广政务外网找入节点

珞巾器

巾皴公共平匕

异・支省中C

;敏《中©

,1■41号史中中।(骨鼻"I

I;waa

■■目

传输网县(区)电子政务外网

(波分/MSTP/棵纤)

县(区)电干政务外网接入七点

图3.***云平台网络拓扑图

2.3广域网设计

为节***投资,避免重复建设,***云平台网络的广域网利用

现有***外网***级节点设备,组网方案保持不变,可根据实际情

况提高网络传输速率。

xxx******外网有统一的***出口,纵向到***目前通过2条

250MMSTP链路连接,***云平台与******云平台的连接在当前

链路上将网络带宽提升到2*300M以上。

2.4城域网设计

***云平台网络的城域网建设包括云数据中心网络和异地灾

备中心网络。***云平台主要通过云数据中心网络和***外网互联

互通,从而实现和***级各部门横向接入节点的互联互通。

1、接入层设计

云数据中心网络新增2台高性能模块化交换机(可支持多实

例防火墙模块),用于提供应用的接入。

云数据中心网络交换机部署为双机互备架构,分别通过2条

GE与***外网***级横向网核心交换机互联,实现高可靠性连接,

避免网络层单点故障。

2、互联网出口设计

***云平台将共用***外网的***级互联网出口,不再单独设

置,相应的出口防火墙、出口IPS.VPN设备均复用***外网的已

有资源,但网络带宽需要根据***云平台的建设要求扩容达到

2*240M以上。

3、横向接入设计

对已接入***外网的部门,可通过***外网网络访问***云平

台,可根据实际情况提高网络传输速率。

对未接入***外网的部门将在***云平台项目建设中完成接

入,实现访问***云平台。

此外,部分部门业务应用目前部署在和***外网物理隔离或

逻辑隔离的专网内,如与***云平台有数字交换需求,则需要首

先对其专网进行改造,实现专网与***外网节点的互联互通,从

而达到和***云平台网络互联互通的目标。

2.5安全隔离设计

***云平台网络合理利用原有***外网的资源进行建设,采用

与***数字网物理隔离,与其他依托于***外网建设的部门业务专

网逻辑隔离,与互联网逻辑隔离的方案。

***云平台网络和***数字网之间采用物理隔离,***数字网

的安全级别比***外网高,如有数字交换需求,由***网负责安全

隔离措施。

***云平台网络和其他依托于***外网建设的部门业务专网

之间采用逻辑隔离,通过MPLSVPN或VPN等网络隔离技术。如

果采用VPN技术,则在汇聚层设备上增加边界访问控制的功能;

如果采用MPLSVPN技术,则在PE设备上增加边界访问控制功

能,防止非授权访问、病毒攻击、异常流量等对城域网和广域网

的影响。

***云平台网络和互联网之间采用逻辑隔离,设置互联网出

口区专门负责互联网接入,由***云平台网络提供统一的互联网

接入服务,通过MPLSVPN等网络技术隔离,统一接入到当地的

互联网服务提供商,并设置防火墙、IPS、防加OS攻击设备以及

负载均衡,做好相应的安全防护工作。

2.6IP地址规划

IP地址的合理分配是保证网络顺利运行和网络资源有效利

用的关键。设计时要求尽可能地利用地址空间,充分考虑地址空

间的合理使用,保证实现最佳的网络内地址分配及业务流量的均

匀分布。IP地址规划必须遵循以下原则:

1、IP地址的规划与划分应该考虑到业务增长,能够满足未

来发展的需要;即要满足本期工程对IP地址的需求,同时要充

分考虑未来业务发展,预留相应的地址段;

2、IP地址的分配需要有足够的灵活性,能够满足各种用户

接入;

3、IP地址的分配可以采用VLSM技术,以保证IP地址的利

用效率;

4、充分合理利用已申请的地址空间,提高地址的利用效率;

5、连续的地址尽量集中在一个区域内。

***云平台网络沿用现有***外网的IP规划,***电子***外

网为XXX***分配的IP地址如下:

1、公用网络区

公有地址:

私有地址:

2、互联网接入区

3、专用网络区

各接入单位自行规划。从

地址空间规划。

2.7VLAN规划

VLAN划分的原则:

1、按照安全域

安全级别一致或相近的设备划分在一起

2、按照设备功能

应用功能相同或协作性要求高的设备划分在一起,***云平

台至少划分WEB服务器、应用服务器、数据库服务器、管理服务

器、备份服务器等多个应用VLAN

3、按照虚拟化软件的要求

根据虚拟化软件的要求来划分一至两个VLAN

3主机服务设计

3.1总体设计

推进***云平台发展的要求,此次***云平台采用云资源池架

构,同时利用当前主流的云计算虚拟化技术整合现有的服务器、

存储及网络资源建立一个容量和功能强大云计算平台。

在平台的架构设计上,对目前现有的UNIX小机和X86服务

器两种平台进行了深入技术分析,从而提出针对上述两种环境的

主机部署、虚拟化方案和主机迁移整合方案。

***云平台的计算资源包括X86虚拟化资源和小机虚拟化资

源。

X86虚拟化资源规划建一个数据中心(此数据中心为vmware

中的术语)用以满足xxx***及区、***X86应用部署,同时建1个

Vcenter用来统一管理数据中心里的所有主机和虚拟机及存储。

并利用Vcenter监控集群、主机、虚拟机、存储、客户操作系统

和其他关键组件等所有数字。由数据中心统一划分虚机VM提供

给***及***(区)使用。***及各***(区)可以通过不同用户登

录基础设施管理调度平台获得相应的管理权限来添加、删除、修

改自己管辖范围内的虚机。

小机虚拟化资源可以根据小机厂家的不同(如IBM,HP)使

用不同的虚拟化软件(如PowerVM,HPIntegrity)o

3.2主机设备整合

目前***级计算资源大多都分散在各业务部门,当***云平台

搭建完毕后,相应主机资源需要迁移整合到***云平台,对满足

虚拟化条件的原主机设备将统一纳入新建计算资源池进行管理,

提高设备利用率,同时降低运行成本。

对各应用系统的主机设备整合,从以下几点考虑:

1、新建应用系统

新建应用系统原则上均要求部署、运行在***云平台上,各

级业务部门根据实际需求在基础设施管理调度平台上申请计算

资源,***云平台动态按需提供虚拟计算资源,新建应用系统不

再单独部署于物理服务器上。

2、已建应用系统

(1)托管设备的迁移

将各业务部门的主机设备整体搬迁到***云平台中进行管理,

***云平台为所托管的硬件资源和网络系统的安全运行提供保障,

但各业务部门仍然负责原有系统的软硬件、应用功能和数据、数

字内容的维护。

(2)非托管主机设备的迁移、整合

考虑到原系统有X86服务器和小型机两种运行环境,在***

云平台的设计上充分考虑了对上述两种环境下主机设备迁移方

案的实现。

1)原设备为X86服务器

***云平台的虚机能提供和原X86服务器完全一样的环境,

应用无需修改就可以平滑迁移到***云平台上。应用迁移后可以

把原X86服务器加入***云平台中以扩大***云平台的X86计算

资源。

2)原设备为小型机

若***云平台的虚机能提供和原小型机完全一样的环境,应

用无需修改就可以平滑迁移到***云平台上。应用迁移后可以把

原小型机加入***云平台中以扩大***云平台的小机计算资源。

若相关应用厂家可以对应用进行改造适合在X86上运行,这

样就可以把应用由原小机迁移到X86架构的虚机上。应用迁移后

可以把原小机加入***云平台中以扩大***云平台的小机计算资

源。

4存储服务设计

4.1总体设计

根据目前存储状况,存储类型主要分为结构化数据存储和非

结构化数据存储。

结构化数据存储通常是指利用关系型数据库进行存储,是目

前最普遍、使用量最大的数据存储模式,其对存储的10、吞吐量

及响应时间等要求较高。

非结构化数据存储的内容主要包括视频、音频、图片、图像、

文档、文本等。其特点是对存储的性能要求低于结构化数据存储,

但在存储容量上远高于结构化数据存储。

未来需要满足大数据应用的需求,要求存储能够无限制扩展,

并能够多并发高效操作,需要规划海量数据存储。

当***云平台存储资源池建设完成后,各级各部门根据实际

需要在基础设施管理调度平台上申请所需存储资源,***云平台

按需提供虚拟存储资源,不再为各级各部门配置独立的物理存储

设备。

***云平台存储资源池能为不同用户提供不同级别的数据存

储服务。可根据存储策略的不同,将计算机文件的存放划分为几

个等级,如单机级、跨服务器级、跨机柜级。为单个用户提供独

立逻辑数据存储空间,必须保证各用户之间的数据不可见性,确

保多用户之间的数据隔离机制。

4.1.1结构化数据存储设计

目前业界比较成熟的存储技术主要是传统的DAS技术和在

网络技术发展起来后的网络存储技术,主要包括SAN存储技术、

NAS存储技术和IPSAN存储技术。

由于NAS技术是文件共享的存储方式,不适合数据库应用,

所以在结构化数据存储中不予使用。

SAN技术是存储系统基于集中管理、高性能访问的需求下产

生的,且发展至今此技术已非常成熟。在技术使用上采用了单独

的存储管理设备(存储控制器)来统一管理整个存储系统,通过

FC协议建设存储网络实现SAN网络上的各计算资源对存储资源

的高速访问和共享。适合于大数据量、高速访问、高可用性和高

性能响应的系统。

IPSAN技术是在IP网络的通信能力高速发展的情况下,为

降低SAN的使用门槛,降低成本,在IP网络上传输封装了SCSI

存储协议的数据包实现存储访问的。该技术的出现使得SAN的应

用可以在通用的以太网交换机上实现。其与SAN相比优点是建设

成本较低,网络覆盖广。缺点是相对于SAN有数据延时问题,若

使用1GB网络流量传输带宽小于FC,安全性低于SAN。

综上所述,结合结构化数据的特点建议结构化存储使用SAN

架构的存储,配置高转速的FC硬盘,用RAID1+0的RAID保护方

式。

考虑到高可用性,SAN存储网络的构建采用冗余方式即用2

台SAN交换机提供业务应用系统对存储系统的访问,确保业务应

用系统访问的连续性。存储系统提供多个端口平均分布到两个

SAN交换机,提高存储的访问带宽。

4.1.2非结构化数据存储设计

根据非结构化数据特点对存储性能要求相对低些,对存储容

量要求很大,为降低成本建议选择IPSAN及NAS存储同时配置

大容量SATA硬盘,用RAID5的RAID保护方式。

4.1.3海量数据存储设计

根据海量数据存储特点,SAN,IPSAN,NAS结构的存储一

般无法满足其要求。

建议使用分布式存储即使用PCSERVER的内置盘,每个PC

SERVER配置8块2TB的SATA硬盘,使用分布式软件如Hadoop,

通过横向扩展即增加PCSERVER数量满足扩展和性能要求。

4.1.4存储虚拟化设计

4.1.4.1Vmware存储虚拟化设计

若采用SAN集中存储方式,可以将每个虚拟机的文件系统创

建在共享的SAN集中存储阵列上,VMwareVMFS虚拟机文件系

统,是一种高性能的群集文件系统,允许多个ESXServer安装

同时访问同一虚拟机存储。支持通过VMwareVirtualCenter,

VMwareVMotion™技术、VMwareDRS和VMwareHA提供的基于

虚拟化的分布式基础结构服务。由于VMware的虚拟架构系统中

的虚拟机实际上是被封装成了一个档案文件和若干相关环境配

置文件,通过将这些文件放在SAN存储阵列上的VMFS文件系统

中,可以让不同服务器上的虚拟机都可以访问到该文件,从而消

除了单点故障。

图4.虚拟机访问示意图

4.1.4.2KVM与SymantecStorageFoundation的存储虚拟化设

若使用KVM虚拟化软件可以结合Symantec的Storage

Foundation软件实现存储虚拟化。

Symantec的StorageFoundation软件是一个存储虚拟化管

理套件,可以作为统一的存储管理层安装在RHEL操作系统上,

其核心组成部分为VxVM卷管理,VxFS文件系统,HA集群管理软

件和CFS集群文件系统。

CFS为KVM提供了统一的虚拟化存储管理。

RHEL6RHEL6

PhysicalServerPhysicalServer

图5.虚拟存储管理

CFS为集群内所有KVM服务器提供了共享的存储服务,CFS

文件系统对所有物理服务器是同时可见可访问的。

存储虚拟化的核心功能是让主机无缝访问所有存储,随需分

配空间,保证访问的性能,同时提供存储分级管理。

影响存储虚拟化的主要因素是存储软件的动态多路径,

StorageFoundation的DMP保证了存储访问能够利用多通道保

证存储访问的速度。DMP允许服务器可以通过多个存储物理通道

同时访问相应的存储系统,利用DMP我们可以让每个服务器对每

个磁盘系统的访问通道扩展到2条或则更多,视最终实际的物理

通道数量而定。这样,我们不仅可以有效的扩展存储访问通道的

带宽,同时这2条以上的通道也保证了通道的高可用性。

DMP的另外一个重要特性是其兼容所有开放的主流存储,这

样就为虚拟化平台访问异构存储提供了保障。

4.2存储设备整合

目前***级存储资源都分散在各业务部门,当***云平台搭建

完毕后,相关应用需要迁移到***云平台上。对满足虚拟化条件

的原存储设备将加入新建存储资源池,以提高设备利用率,同时

降低运行成本。

存储设备的整合思路与主机设备类似,在原有应用迁移到新

建***云平台后,考虑存储设备的整合。大体思路如下:

1、托管存储设备的迁移

与主机托管设备的迁移相同,这里不在赘述。

2、非托管存储设备的迁移、整合

非托管存储设备的迁移、整合主要包括结构化数据、非结构

化数据、海量数据存储迁移、整合。

结构化数据存储和非结构化数据存储迁移、整合方法相同,

具体如下:

将结构化或非结构化数据存储设备上的应用迁移到***云平

台后,再把满足虚拟化条件的原存储设备搬迁到***云平台机房,

通过整合加入新建存储资源池,扩大存储资源池的容量。

海量数据存储迁移、整合的方法如下:

将海量数据存储上的应用迁移到***云平台后,把原海量存

储设备搬迁到***云平台机房,通过部署调整分布式结构化软件

如Hadoop,把原设备加入新建***云平台的分布式体系中,以扩

大分布式系统的容量。

5灾备服务设计

按照国家标准GB/T20988-2007的定义容灾分为六级,业务

保护效果不一。Levell-4,属于数据级备份/容灾,主要完成数

据的异地保存;Level5-6,属于应用级容灾,实现业务层面的快

速异地恢复能力。

数据零丢失和远程集群支持

应用集群,无缝切换,自动Level6

切换能力

实时数据传输及完整设备支持

远程实时数据且制Levels

电子传输及完整设得支持.____

配备灾雉恢史所需的全部数据处理设备,Leve/4

电广传输和部分设备支持.词

每天批电传输数据至备用场地,配备部分数据处押及Level3

瑞用场地支持.

配备部分数据处理及网络通信设备,或在灾难后一定时间调Levei2

配到位至备用场地具帝应急预案。

至少每周次数据异地品份;具备数据完整测试F段及应急他案

Source08^20988-2007

图6.容灾级别分类

根据国家标准GB/T20988-2007的定义同时结合xxx******

云平台建设服务实施指南对容灾资源平台的实施要求,对此次

***云平台灾备服务设计分为两大部分:数据备份和异地容灾。

5.1数据备份

***云平台的数据备份方法通常有传统的备份方式(如

SymantecNBU,IBMTivoli,EMCLegato,HPDataProtector等)

和虚拟化软件自带的备份功能(如VmwareDataRecovery)o

***云平台的备份策略主要包括结构化数据备份策略和非结

构化数据备份策略。

结构化数据备份策略:每天做增量备份,定期做全备。

非结构化数据备份策略:文件类的数据做定期全备;视频类

数据在前端设备本地保留15天,不考虑在***云平台上备份。

1、传统的备份方式

使用传统的备份软件大家更易于上手,但其使用在传统平台

和***云平台还是有所区别的,传统平台可用SAN存储架构来进

行备份,而虚机VM目前还不支持SAN架构的备份,只能使用lan

备份。

在***云平台上对于小数据量系统(小于100G),网络带宽

1G即可满足LAN到带库的备份要求。对于大数据量系统建议使

用专门独立的备份网络且带宽最好为10G,同时相关物理机也需

要配置万兆网卡。而且不建议用虚机做mediasever,最好在同

一刀片机箱中专门预留一台物理机作为mediaserver,这样才

能满足大数据量的备份要求。

2、虚拟化软件自带的备份功能

因虚拟化软件较多,这里仅以Vmware为例。

Vmware自带的DataRecovery数据备份功能,其功能有:

(1)一个数据备份工具,使用vstorageapi

(2)一个基于磁盘的数据备份方式,不支持以磁带为目标的

备份

(3)VC的一个插件,全wizard方式,能在VC中调度和配置

定时任务

(4)使用重复数据删除功能进行备份,最大限度节约目标磁

盘的空间

其备份流程如下:

VC建立任务一DataRecoveryApplicance对VM执行快

照一DataRecoveryAppliance加载VM进行数据块方式的备

份到目标存储,并进行重复数据删除整理一任务完成后,移除

快照。

5.2异地容灾

根据XXX******云平台建设服务实施指南对容灾资源平台的

实施要求:电子***应用系统均需进行数据级容灾备份;对业务

连续性要求高、影响面广的重要应用系统应进行本地或异地的应

用级容灾备份。

为保证数据更加安全,同时考虑到建设成本,建议在异地建

立降级容灾中心。通过存储复制技术实现异地主备容灾,系统结

构图如下:

生产中心I灾备中心

图7.异地主备容灾拓扑图

存储复制的前提是生产中心与灾备中心的SAN交换机需要

级联,建议部署4根光纤,每台SAN交换机用2根光纤级联。

基于存储厂家的不同有各种方法实现存储复制如EMC的

SRDF,HP的CA,Symantec的SF等。这些存储复制方法均支持结

构化数据和非结构化数据。

网络容灾通过智能DNS(全局负载均衡)来实现生产中心与

灾备中心间的网络流量倒换。

异地主备容灾的切换过程:

正常情况下用户通过连接生产中心虚拟资源的web虚机访

问应用及数据库,此时灾备中心设备不能对外访问,只同生产中

心做实时数据同步。见如下示意图:

图8.生产中心和容灾中心数据同步

当生产中心发生故障无法使用时,需手工启动容灾中心存储

及应用,启动完毕后,通过网络智能DNS把DNS对应的相关地址

切换到容灾中心上,使用户自动连接容灾中心的虚拟资源,完成

应用操作。见如下示意图:

容灾中心虚拟资源池

图9.容灾中心切换

6基础设施管理调度平台设计

基础设施管理调度平台是一个集物理资源和虚拟资源进行

统一管理的云计算管理控制平台,可以对平台中物理资源、虚拟

资源、业务系统等进行全面监控和调度管理,提供对虚拟资源、

业务系统完整生命周期的管理。

6.1总体设计

***云平台基础设施层由服务器、存储、网络设备组成的计

算资源池、存储资源池、网络资源池,为电子***的数字处理提

供基础设备资源。

通过基础设施管理调度平台构建laaS(基础设施即服务)的

私有云架构,可提供自动资源的调配和部署能力,实现基础设施

的快速交付;可提供laaS的自动化运营管理能力,确保IT的

效率、敏捷性和可靠性。

基础设施管理调度平台架构图如下:

云管理门户

云管理服务目录管理资源池管理][资源调度控制]

平台-------------

镜像管理

jX86飒化]化][相朗帆化)[网络虚拟化)

化适»»»小VMIBMPOWERVMVMwareVMFSSwitch

,…恰IIHPEfVMIIII阳D*P

图10.基础设施管理调度平台架构图

6.2虚拟化适配层设计

虚拟化适配层支持各类异构的物理资源,统一接口,实现云

资源的统一管理。

云数据中心设备平台异构化很常见,主机方面有不同厂商的

小型,X86主机、网络和存储方面有不同厂商,在服务提供方面

有差异。尽管可以通过虚拟化实现物理资源差异化,但是就虚拟

化自身而言也是存在多种不同的异构技术,诸如X86系列的威睿

vmware、红帽RHEVKVM、思杰CitrixXEN、开源KVM、开源XEN、

微软Hyper-V,小型机方面IBMPowerVM、HPIntegrity等虚拟

化。云计算的按需、快速交付的特性在数据中心里需要异构虚拟

化进行保障。

6.3云管理业务层组件设计

负责云数据中心云资源的统一呈现、管理、调度、分配,云

数据中心节点完成具体操作配置。

业务层组件主要包括:云管理门户、服务目录管理、资源池

管理、资源监控及调度控制、镜像管理、运维监控管理、自动化

管理等几部分。

♦云管理门户

用户角色及权限管理,为管理员在不同域和组织上分配不同

的角色,从而实现对管理员的权限控制。管理员可以通过用户、

角色、域和组织的管理,使不同用户在不同的组织的操作相互独

立,实现数据隔离。支持不同角色的用户拥有不同的菜单权限和

资源操作权限。

♦服务目录管理

提供用户自助管理的以及服务目录,管理员可以根据服务模

板创建应用和管理应用。

提供虚拟机模板管理,管理员可以根据不同需求选择制作不

同操作系统和不同规格的虚拟机模板,为设计服务模板提供便捷。

软件包管理,管理员可以根据不同的应用需求,上传软件包,

为设计应用服务模板提供所需的软件资源。

服务模板管理,完成虚拟机模板和软件上传件后,管理员可

以使用服务模板设计工具,通过简单的拖拽方式快速地设计出满

足企业需求的应用模板,并快速发放应用。

♦资源池管理

资源池管理包括计算资源管理、存储资源管理、网络资源管

理,以及资源集群管理。

计算资源管理:客户可以通过自定义方式或基于模板创建虚

拟机,并对集群资源进行管理,包括资源自行动态调度(包含负

载均衡和动态节能)、虚拟机管理(包含创建、删除、启动、关

闭、重启、休眠、唤醒虚拟机)、存储资源管理(包含系统卷、用

户卷和共享卷的管理、虚拟机快照、虚拟机迁移)、虚拟机安全

管理(包含自定义VLAN或使用安全组),此外,还可以根据业务

负载灵活调整虚拟机的QoS。

网络资源管理:网络资源池,包括私网虚拟网络VLAN管理,

可以对虚拟机定制VLAN隔离数字,满足不同业务应用系统在安

全方面的隔离要求。统一的IP池管理,实现IP资源可视化自动

分派、管理。通过与虚拟机部署管理整合,为虚拟机实现IP自

动绑定分发的机制。

存储管理:可视化存储资源展示管理,为虚拟数据中心虚拟

机资源部署提供存储支撑,包括NFS、iSCSI、FC-SAN存储。对

存储资源的生命周期进行管理,包括存储的分配、变更、回收、

映射等,以满足不同客户对存储资源的需求。

资源集群管理:对计算、存储、网络等物理资源的分组,提

供资源集群的基本数字查看、资源集群监控(监控指标包含平均

CPU占用率、平均内存占用率、平均网络流速、TOPCPU占用主

机等数字)。

♦资源调度策略管理设置

查看和处理资源调度策略,根据资源主机负载,自动/手动

在不同的主机之间迁移虚拟机,以达到同一资源集群内的不同主

机间的负载均衡。

实现对通用构件资源的调用、通信、组合、卸载的管理调度。

♦镜像管理

通过镜像节点可以管理多种操作系统类型的镜像文件,支持

对镜像文件的注册、查询、注销、删除和冻结功能。

用户可以自定义创建虚拟机实例和部署应用,并将虚拟机导

出的镜像下载到镜像节点下。

♦运维监控管理

提供拓扑管理、性能监控、告警管理、任务中心管理和操作

日志管理等监控管理功能。

管理员可以通过监控数字,了解整个系统的软件和硬件的运

行情况,及时进行故障处理。

♦自动化管理

提供可视化的应用部署模板设计工具,管理员通过创建模板

达到一键式快捷部署应用。

另外,管理员还可以针对不同应用设置不同的资源伸缩策略,

系统自动根据伸缩策略和应用的负载进行动态调整软件资源配

给。

提供对商业软件的自动化许可管理、动态分配与回收、分时

复用的功能,其中应用服务器软件和数据库管理软件通过多实例

的部署方式实现复用。

(二)支撑软件服务设计

1总体架构

支撑软件服务是指***部门可使用***云平台上提供的操作

系统、中间件、数据库和开发工具等应用支撑软件,进行业务应

用开发和部署的服务。支撑软件服务层包括系统软件平台、通用

构件平台和支撑软件管理调度平台,为应用系统提供快速开发、

测试、运行支撑的软件环境。

支撑软件服务层架构如下图所示:

f应用运行服务[f应用测试服务~Y应用快~速开发服务\

G1、公

图11.支撑软件服务层架构图

2开发测试、运行环境设计

支撑软件服务平台为各类应用系统快速开发,快速构建,快

速部署提供了统一的系统软件平台,包括操作系统、数据库、应

用服务器、自动部署工具和测试工具等软件资源池。

2.1操作系统软件

系统软件平台根据各个应用系统对操作系统的不同要求,提

供了包含WindowsServer、Unix、linux、Netware等主流操作

系统的资源池,方便各应用系统的开发测试、部署运营。

系统软件平台可为应用系统的开发和测试提供可定制、可管

理的操作系统。如根据应用系统的需求快速构建操作系统实例,

根据应用系统的资源要求调整运行资源环境,提供操作系统集群

和虚拟化等能力。

2.2数据库管理软件

系统软件平台的数据库管理软件资源池能够为各应用系统

提供包括Oracle、MicrosoftSQLServer、MySQL、DB2、Sybase

等关系型数据库,MongoDB、HBase、Cassandra、Hypertable等

非关系型数据库,以及流数据库和文件型数据库等数据库管理软

件。

系统软件平台提供了数据库资源的统一管理能力,用户可以

进行数据库的创建、访问权限管理、数据存储空间划分、索引维

护、备份与恢复等操作,为数据库管理员提供了安全稳定、高效

便捷的数据库管理环境。

2.3应用中间件

系统软件平台集成了主流的应用中间件,包含weblogic、

websphere、Jboss、Tomcat等,满足企业级和轻量级的应用部署

要求。

系统软件平台提供对应用中间件的集群管理、实例分配、应

用负载均衡、应用服务切换、应用节点维护等功能,为应用系统

管理员提供了安全稳定、高效便捷的应用中间件管理环境。

2.4自动部署软件

自动打包部署软件可以根据应用系统开发人员提供的打包

脚本,自动为应用系统代码进行打包部署,并可根据测试用例脚

本进行自动化测试,并生成自动化测试结果报告,进行发布。

2.5测试工具软件

系统软件平台测试工具软件池封装了WinRunner、SilkTest、

LoadRunner等专业化功能和性能测试工具。并在应用系统测试

完成后,测试工具软件平台会对测试结果进行分析,生成测试报

告,并进行自动发布。

2.6系统软件调度管理

开发测试、运行环境支撑软件依托虚拟机进行管理,其调度

管理参见五、(一)6基础设施管理调度平台设计中的相关内容。

3公用组件和构件服务设计

通用构件平台包括通用技术构件和通用业务构件,通用构件

平台服务于应用功能服务层,为电子***应用系统的快速组合与

生成提供必要的构件资源。通用构件管理调度平台如图所示:

通用构件管理调度平台

图12.通用构件平台

3.1通用技术构件

通用技术构件提供***云平台中与计算技术相关、不具有业

务属性、通用的软件构件。包含事件管理类、搜索引擎类、GIS

类、数据交换类等6大类共计16个通用技术构件。如下图所示:

通用技术构件

事件管理搜索引擎GIS数据交换

监控及吉,构件索引管理构件GPS位■服务构件效据访问构件

找一清息构件全文检索构件地图及数据青理构件元数据管理构件

图示:待赛构件,已有构件

图13.通用技术构件架构

1、监控及告警构件

事件管理包括对社会管理类事件处理或设备监控类事件的

侦听管理功能。监控及告警构件支持设置定义事件指标的阈值,

并对超过阈值的事件进行告警上报。

2、统一消息构件

将各功能模块中等待办理、正在办理的工作在统一消息中心

集中显示、提醒,将工作人员需要处理的数字第一时间推送到用

户面前,包括领导交办的各项工作、待处理的各类公文、审批数

字、会议通知、电子公告等。

3、索引管理构件

提供索引压缩、维护、合并及索引倒排功能。索引表中的每

一项都包括一个属性值和具有该属性值的各记录的地址。由于不

是由记录来确定属性值,而是由属性值来确定记录的位置,需要

提供索引倒功能。

4、全文检索构件

按照全文检索理论建立起来的用于提供全文检索服务,全文

检索系统需要具

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论