某项目云数一体化设计方案

样式定义：W项目-2级标题：段落间距段前：0.5行,

段后：0.5行

样式定义：W项目-3级标题：段落间距段前：0.5行,

段后：0.5行

样式是义：W项目7级标题

AJ各分系统及主要配置项设计（应用端由大数据云平台'数据资源服务,数带格装的：两端对齐，缩进：首行缩进：0厘米

据开发服务、常用开发服务寸/统运维管理导个分系统组成k系统架构图如下

图I,+O系统架构图

S大数据云管理平台设计

人数据云平台云管理平台是失■数据应用端通用开发系统的底库,为数据资源

服务、数据开发服务、应用开发服务、系统运维管理提供计算，存储，网络，数

据，计算模式和存储模式的支撑，如下图所示。为构建适用于多元化业务资源结

构，支持高性能、高可用、高扩展的硬件架构以及软件平台的大数据£平台公管

理平台,严格按照系统的功能和性能指标，同时考虑到全面整合各方面资源信息，

带格式的：W项目-正文.缩进：首行缩进：0厘米,

右侧：0厘米

从而使资源更加高效、安全、稳定、敏捷，最终实现一个能够面向军方提供整体

服务的应用端火数据云平台云管理平台。

大数据应用端通用开发系统

大

数

应

系

数

数

据

用

统

据

据

开

开

运

资

云

发

发

维

源

管

平

服

服

服

理

台

务

务

务

带格式的：W项目-2级标题

：；；》1.2云平台子系统设计

3,1J,“一•一，I计算管理

&1.4.2..L4~12.1.1.1.1设计概述

本项目对虚拟计算资源的需求，旨在建立以云为核心，适用于多元业务资源

结构，支持高性能、高可用、高扩展的云平台。

它具备虚拟机的高可靠能力包含控制节点高可用、网络高可用、10设备虚

拟化虚拟机4排L虚拟机44L虚拟机热延移L快照等功能为客户业务提供可靠的

基石。CPU、内存的要用「动态资源调整功能为云计算提供了弹性能力。在10外

设方面可支持USB外设的虚拟机绑定能力，对网卡、GPU类设备可通过SRI0V能

为■VirtIO满足租户高性能10设备的需求。

3.1.1.2.1.21.2.1.1.1.2计算资源管理方案

根据本项目整体方案的架构设计，计算资源将分为两部分资源：基于KVM虚

拟化技术的虚拟机资源、基于硬件服务器直接提供计算能力的资源。基于上述需

求，计算方案的整体架构如下图所示。

带格式的：W项目-正文.缩进：首行缩进：0厘米,

右例：0厘米

KVMXen

VmwareHyper-V

ffiigm6,泪犷

3.1.1.2.1.31.2.1.1.1.3云主机资源管理

Nova是OpenStack云平台中的计算组织控制器，支持OpenStack云平台中

实例(VMInstances)生命周期的所有活动。负责管理计算资源、网络、认证、

所需可扩展性的平台，Nova自身并没有提供任何虚拟化能力，它通过调用

libvirt的API和下层Hypervisors实现交互。

Nova通过webservicesAPI来对外提供服务，Horizon或者其他系统可

以通过调用Nova-API实现和计算服务的交互，它存在多个各司其职的服务(即

守护进程)oNova主要的功能包括：带格式的：丫项目-正文.缩进：首行缩进：o厘米,

右侧：o厘米

a)服务器(虚拟化层)管理

b)规格(云主机类型)管理

c)镜像管理

d)操作

I)Reboot重启

力Rebuild重建

“Resize修改规格

4)Pause暂停

S)Suspend挂起

6)Start启动

?)Stop关闭

S)Boot创建

e)租户管理

f)额度管理

g)网页访问主机的VNCProxy管理

h)使用率统计管理

Nova组件的部署方式如下：

云平台通过配置调度策略，通过过滤器(Filters)和权重器(Weighting)

来实现对主机资源的分配：

带格式的：丫项目-正文.缩进：首行缩进：o厘米,

右侧：o厘米

云平台在每个计算节点上运行NovaComputer守护进程，调用Hypervisor

的driver管理VM。云平台通过配置不同的driver,实现对多虚拟化层的管理：

TodayantythvpMvtsoftypepot

dotidmstoiicttLtbvut/KVA/ismost

conunondaptoymazW

Hype«V

0yMcrosottby/BA/

tNfaitriovoopfa，t拈vrt

可以基于集群、或者每个计算节点，可以设置各自不同的超分比(CPU、内

存、磁盘)。

本项目采用的云平台是在开源OpenStack开源项目的基础上自研发的产品，

为本项目提供如下关键性服务：

统一虚拟化平台：持基于晔圾硬件平台的多种服务器和兼容多种存储设

备，同时可支持多种虚拟化平台的管理

自动化调度：支持自定义的资源管理SLA(Service-LevelAgreement)策

略、故障判断标准及恢复策略

热迁移：支持虚拟机在不同物理主机之间、不同磁盘附列必闾进帘生移

带格式的：w项目-正文.缩进：首行缩进：o厘米,

右例：o厘米

可靠性：提供虚拟主机控制节点的HA（高可用）、FT（容灾）动态升级、快

照备份、性能监测分析、异常告警、日志管理等功能，为保证可靠性。

弹性伸缩：支持横向弹性伸缩，根据业务负载动态增减虚拟机数量并实现负

荷分担；支持纵向伸缩，即虚拟机在线扩减容（需操作系统支持）。

多操作系统支持：每个卷可根据需要部署相应的windows或Linux、Unix

操作系统，如WindowsServer2008,Ubuntu,Debian,CentOS等每个VM可根

据需要部署相应的麒麟或者深度系统。

无代理防病毒：支持基于虚拟化的无代理防病毒软件，简化防病毒管理

支持自动化健康检查：系统通过自动化的健康状态检查，及时发现故障并预

警，确保虚拟机可运营管理

高效节能：通过NUMAT*决内存—PU绑定等技术对虚拟机性能进行优化，

通过自定义策略对电源能耗进行管理。

QoS支持：云管理平台提供对CPU、虚拟网卡、虚拟磁提供QoS的支持。

SR10V■支持:.SR-IQV-可以配置ALAN、MAG实现虚拟交换的功能，并也能提供

:带格式的：缩进：首行缩进：0字符）

虚拟机快照：对运行中的虚拟机执行虚拟机快照，执行快照时，对虚拟机当

前的运行状态进行了备份，包含了虚拟机运行时的机器状态，包括内存、磁盘、

CPU上下文等

物理机负载均衡：利用虚拟化技术，当一个节点负载过重时，把其上的计算批注「MYU：有没有？

任务迁移到另一个节点。同时，通过在Hypervisor中实现资源分配算法，调整

不同虚拟机之间的资源分配，从而提高整体性能。

分布式虚拟交换机：主机的物理网卡和主机中的关联虚拟机交换机交换特性

相关属性等的管理

支持端口镜像：系统支持在标准交换机和分布式交换机上进行端口镜像的配

置，端口镜像由镜像源和镜像目标组成

DPM：根据集群中主机的负载情况进行分布式的资源调度，将虚拟机集中到

一个主机集合中运行，同时保证虚拟机所需性能，关闭无虚拟机运行主机，以达

到全局节能

4—1.2.1.1.1.4物理主机资源管理

&42J带格式的：w项目-正文.缩进：首行缩进：0厘米,

右侧：0厘米

并非所有业务都适合于虚拟化，比如比较老旧的服务器、有特殊外设要求的

业务、对性能要求较高的集群业务，这类型业务通常直接部署在物理服务器上，

同时通过云管理平台进行管理，将物理机作为资源进行申请、部署等。

裸机与虚拟机管理有很多相似的地方，Nova组件提供的虚拟机管理方案：

关机开机，安装部署，删除添加，Ironic裸机管理组件与Nova组件功能类似,

但主要是解决物理机的添加、删除、电源管理和安装部署，将物理机也作为资源

管理起来。Ironic提供插件的机制让厂商开发自定的driver。Ironic组件的设

计如下：

通过OpenStackIronic对裸机进行管理，可以对物理机进行远程安装操作

系统、远程对物理机进行操作、通过IPMI的console调用，可以直接登陆物理

机进行操作。云平台通过标准的Ironic接口集成到整个云平台进行统一管理。

组件名称组件功能

Ironic-apiRestfulAPI处理应用请求并通过RPC转发到ironic-conductor

裸机的增删改查，通过［PMI或者SSH进行电源管理；裸机的准备部署销

Ironic-conductor

毁

运行在内存中的python服务，通过远程登录和硬件控制提供ironic-

Ironic-python-agenl

conductor服务

云平台可以实现对物理机的管理，具体特点如下:

支持物理机的池化管理：将物理机作为一个资源池进行管理，支持添加、删

除功能

支持物理机的电源管理：实现对物理机的电源管理能力，支持开机、重启、

关机功能

支持物理机的系统安装：通过PXE功能实现操作系统的批量安装

支持多厂商的硬件：通过厂商自定义驱动实现厂商自定义行为。带格式的：w项目-正文.缩进：首行缩进：o厘米,

右例：0厘米

支持console：实现通过硬件直接得到物理机Console

i2.1.1.1.5高效性

3.1.1.2.1.61.2.1.1.1.6计算高效性

a)裸金属架构

裸金属架构将Hypervisor直接安装在硬件上，接管所有硬件资源。

Hypervisor层极小，不负责太复杂的管理工作，仅负责和上层的虚拟机操作系

统沟通及资源协调。

裸金属架构的虚拟产品为了保持稳定性及微内核，不可能将所有硬件产品的

驱动程序都放入，因此对硬件兼容性有一定的要求。大部分的原生架构产品可支

持主流服务器及存储设备。

b)NUMA和VCPU绑定批注[MY2]:和JNS确认下是否有这些功能

NUMA架构下，处理器被划分成多个节点，每个节点分配一块本地内存空间。

所有节点中的处理器都可以访问全部节点上的内存，但是访问本节点内存延迟比

访问某些远程节点低。

HostNUMA保证访问本地物理内存，减少了内存访问延迟，VM访问内存

是基本操作，对VM性能有提升，性能提升的幅度与VM虚拟机访问内存大小和频

率相关。

虚拟机所配置的vCPU默认可以在物理主机的任何一个CPU上面运行。vCPU

绑定可以指定虚拟机的vCPU运行在某个特定的物理主机的CPU上。实现层面上

讲，通过绑定vCPU的虚拟化线程到物理主机的CPU可以实现虚拟机vCPU的绑

定。下图为虚拟机vCPU绑定的示意图。

带格式的：W项目-正文.缩进：首行缩进：0厘米,

右例：0厘米

可以约束vCPU的运行范围，减少因vCPU在不同物理CPU间调度导致的开

销，提高vCPU在主机CPU上的缓存命中率。

CPU资源绑定设置是在虚拟化环境下虚拟机对CPU资源的一种绑定式的使用

方式，在某些应用场景下，出于性能、服务等级协议SLA(ServiceLevel

Agreement)保证等因素方面的考虑，虚拟机需要专享绑定CPU核资源，以减弱对

其它虚拟机的“邻位干扰”，可以支持将物理主机上所有虚拟机的vCPU绑定到不

同的物理CPU核上已实现各虚拟机专享物理CPU核的目的。

支持将虚拟机的vCPU绑定到指定的物理CPU核(逻辑核)上运行，本虚拟

机无法使用其它物理CPU核；

虚拟机运行过程中实际使用的CPU资源，允许随工作负载在分配的CPU资源

范围内变动；

支持将多个虚拟CPU绑定到指定的物理CPU核之上，例如虚拟机中2个vCPU

可以分别绑定到物理逻辑核3和4；

支持将多台虚拟机的vCPU分别绑定到不同的物理CPU核上。

带格式的：项目级标题

e)—大页内存1W-6

在现代计算机体系结构和操作系统4V通常可以支持超过一种以上的内存页面足

寸。在实际使用中，除了常规使用的4KByte大小的内存页面以外，还可以在系

在计算机系统中使用内存大页面特性的原因是，随着现代计算机系统中运行的应

用所访问的内存范围不断开关,一现有的处理器中的4LB-条目数已经显得非常有

带格式的：W项目-正文.缩进：首行缩进：0厘米,

右例：0厘米

限“这种情况可能导致TLBmiss概率明显提升，进而导致应用访存性能下降，

的一个VM,很可能占据比普通应一用更大的内存范围（guestOS本身还要引入额

外的内存开销），从而使TLBmks率毋的情况进「步恶•―

在强调VM性能的场景下，使用内存大页面技术,可以在TLB.条目有限的情况下，

覆盖更大的内存映射范围ia4tB降卷V2访存平均延迟・提卅ZM

3.1.1.2.1.71.2.1.1.1.7高可靠设计

3.4.1；2「1「8—1.2.1.1.18宿主机宕机迁移服务

OpenStackHA问题一直是企业私有云最关心问题之一，也许在完美情况下

我们并不需要HA,但是我们总会碰到一些硬件故障，比如掉电，内存、CPU故障，

一些操作系统故障，比如kernelpanic,Neutron-ovs-agent挂了等等。

OpenStackinstanceI1A主要包括三个主要的功能：监控，隔离和恢复。VMware

和XenServer也是一样的原理。

计算节点HA内部架构：

NovaCompute/NovaEvacuateOCF

Control

plane

Compute•

plane

监控主要做两个事情，一个是监控计算节点的故障，包括硬件和软件故隙。

第二个是触发故障的处理事件，就是指隔离和恢复。OpenStack的高可用用

pacemaker和corosync来做的，每个节点上都需要安装pacemaker和corosync,

但是corosync只能支持到16个节点，大多数OpenStack私有云都会超过这个节

带格式的：丫项目-正文.缩进：首行缩进：o厘米,

右侧：o厘米

点数，会有很多计算节点需要添加到这个集群中来，这时候我们需要引入

pacemaker_remoteo使用pacemaker.remote后，我们可以把所有的计算节点都

加入到这个集群中，并且计算节点上不需要安装pacemaker和corosync,只需

要pacemakerremote»虽然只装了pacemakerremote,但这并不会影响我们实

现HA,pacemaker集群会监控计算节点上pacemakerremote是否"活着"，你可

以定义什么是"活着”。在计算节点上可以监控nova-compute,neutron-ovs-agent,

libvirt等进程，从而确定计算节点是否活着，甚至我们可以在该计算节点上启

动虚拟机来确定计算节点是否活着。如果监控到某个pacemaker_remote有问题，

可以马上触发之后的隔离和恢复事件。

隔离最主要是将不能正常工作的计算节点从OpenStack集群环境中移除，

nova-scheduler就不会在把create_instance的message发给这个计算节点。

Pacemaker已经集成了fence这个功能，非常实用，我们可以使用fence_ipmilan

来关闭计算节点。Pacemaker集群中fence_compute会一直监控这个计算节点是

否down了，因为nova只能在计算节点down了之后才可以执行host-evacuate

来迁移虚拟机。有个更好的办法，就是调用Liberty版本的force-downAPI,

可以直接把计算节点标记为down,方便更快的迁移虚拟机。

恢复就是将状态为down计算节点上虚拟机迁移到其他计算节点上。批注［MY3］:能不能满足需求？

Pacemaker集群会调用host-evacuateAPI将所有虚拟机迁移。host-evacuate

最后是使用rebuild来迁移虚拟机，每个虚拟机都会通过scheduler,按照调度

在不同的计算节点上启动。也可以通过image,flavor,instancemetadata只

迁移一些重要的应用。

［带格式的：W项目7级标题

，存储管理*J

云平台统一存储采用基于分布式硬件存储为基础，存储系统通过可平滑扩展

的架构、数据持续保护、读写加速、读写QoS控制以及数据分级存储等技术来实

现存储系统整体的高效性和可靠性。

a）弹性存储系统扩展

统一存储池以可伸缩的、一次寻址的一致性哈希算法技术为根基，通过去中

心化架构、数据散列存储等关键技术，构建而成可灵活扩展至EB级容量的存储

系统。

带格式的：丫项目-正文.缩进：首行缩进：o厘米,

右侧：o厘米

哈希算法是将所有存储节点的地址空间分区进行统•编址后映射到一致性

哈希空间上，每一个存储节点分区负责一个小范围的地址空间路由并存储一部分

数据，对每个对象的读写都能通过哈希算法一次寻址到对应的存储节点分区，实

现整个系统的存储和寻址。由于一致性哈希算法的地址空间为环形扩展并接近无

限，可通过分区大小的调整，使一致性哈希的空间具备可伸缩行，理论上可支撑

存储单元的无限增加，构筑了EB级容量扩展能力的根基。

通过使用一致性哈希算法，使系统具备如下优势：

1）将数据均匀分散在所有参与存储节点组成的存储空间，在算法上支撑存

储层面的无限扩展能力。

2）存储节点之间，采用全对等的点对点数据访问，减少了索引查询的延时

开销和瓶颈产生。访问时，应用主机可以直接寻址访问到存储节点并进

行数据读写，系统中没有传统存储架构中的中心节点，减少了索引查询

时延，也规避了相应的瓶颈问题。

不仅如此，为了解决超大规模存储系统中高效的数据组织和定位问题，存储

系统通过对一致性哈希算法进行优化，将节点发生变化（扩展、缩减或宕机）时

的数据重新分布尽可能减少，进一步缩短了系统扩容/缩容的时间窗口，提高了

系统的可靠性，实现了分布式存储系统的超大规模扩展、EB级数据组织和高效

定位问题。

b）数据持续保护

强一致性数据完整性保护机制

数据一致性保护分为两大类：强一致性、最终一致性（简单一致性）。

强一致性数据保护机制：只要客户端/应用获得数据写入成功的消息，数据

必然是落盘的，而非保持在缓存中（写数据保存在缓存中，遇到掉电即丢失部分

数据），适用于实时性、事务性应用。

最终一致性数据保护机制：数据虽然己经写入存储系统，但并不保证各客户

端/应用获取到一致的数据，即可能部分客户端获取的是修改前的数据，另有部

分客户端获取的是修改后的数据，适用于数据分析型等应用。此种机制下，必须

由客户端或应用自身设计协调获取一致的数据。采用最终一致性数据保护机制的

典型存储系统为基于互联网的分布式对象存储系统。

带格式的：w项目-正文.缩进：首行缩进：o厘米,

右例：0厘米

云平台存储系统采用主-从节点的驱动机制，实现了基于Write-All-Read-

One的强一致性数据访问，有效保证数据一致性。具体为，主控节点负责接收到

客户端请求后，首先执行本地数据操作，进而驱动从控节点，并等待从控节点数

据操作完成后，再向客户端返回读写操作完成响应消息。

客户端

数据请求

图数据读写过程

副本冗余保护模式

副本通过将数据写入到多个位置来保护磁盘上的数据。

云平台存储系统支持配置2~8个副本。可以使用副本策略，或者纠删与副本

策略共存，数据可以根据用户要求设置为不同的数据冗余策略，通常普通数据可

采用2+1的纠删策略，重要的数据采用三副本策略。副本相比纠删码消耗更多空

间，适合要求高性能的事务。

3.1.1.2.2.11.2.1.2.1.1设计概述

根据本项目对虚拟存储资源的需求，采用成熟的OpenStackCinder集成商

业存储的实现方案来满足。OpenStack作为开放的云操作系统，支持业界各种优

秀的技术。这种开放的架构使得云平台保持技术上的先进性，具有很强的竞争

力，支持对异构存储设备进行集中统一管理，能够将不同厂商的存储设备容量合

并到统一的存储池中，所以不会造成厂商锁定（Lock-in）。针对不同厂商不同

性能的存储产品，提供分级分类管理，并以此进行虚拟存储池的建设，根据业务带格式的：w项目-正文.缩进：首行缩进：o厘米,

右例：0厘米

对存储性能的要求，进行存储资源交付。基于Cinder的插件驱动架构，支持对

存储设备进行水平扩容，提供PB级的存储容量管理，结合multipath软件实现

虚拟机对虚拟存储资源的多通道负载均衡访问，保障在存储设备出现故障后，可

以快速切换到另一存储设备的块存储上，不影响虚拟机业务的正常运行。

3,一1.1,2.2；-2—1.2.1.2.1.2虚拟存储资源管理架构

Cinder的架构如下图所示：

a)cinder-api作为Cinder组件对外的唯一窗口，向客户暴露Cinder能够

提供的功能，当客户需要执行volume相关的操作，能且只能向cinder-

api发送REST请求。这里的客户包括终端用户、命令行和OpenStack其

他组件。

I)Cinder可以有多个存储节点，当需要创建volume时，cinder-scheduler会

根据存储节点的属性和资源使用情况选择一个最合适的节点来创建

volumeo

2)调度服务只管分配任务，真正执行任务的是Worker工作服务。

3)在Cinder中，这个Worker就是cinder-volume了。这种Scheduler和

Worker之间职能上的划分使得OpenStack非常容易扩展。

3.1.1.2.2.31.2.1.2.1.3虚拟存储资源管理调度

带格式的：w项目-正文.缩进：首行缩进：o厘米,

右例：0厘米

云平台中的cinder组件是一个资源管理系统，负责向虚拟机提供持久块存

储资源，它把不同的后端存储进行封装，屏蔽各个厂家存储实现的差异，向外提

供统一的API,使用插件的方式，结合不同的后端存储驱动提供块存储服务，以

插件形式支持的块存储驱动如下图所示。

Cinder的主要核心功能是对卷的管理，允许对卷、卷类型、卷快照进行处

理。通过配置浪潮的驱动，Cinder可以使用浪潮存储给OpenStack提供块存储

服务、并且可将Cinder的卷、快照、一致性组的操作在浪潮存储中实现。详细

功能如下：

序号功能模块操作

1创建卷

2从已有卷创建卷（克隆）

卷操作

3扩展卷

4删除卷

5挂载卷到虚机

卷-虚机操作

6分离虚机卷

7创建卷的快照

8卷-快照操作从已有卷快照创建卷

9删除快照

10从镜像创建卷

卷-镜像操作

11从卷创建镜像

12创建/删除一致性组

卷一致性组操作

13•致性组快照操作

14Qos

其他操作

15卷迁移

16ISCSI

存储接口协议

17FC

3.1.1.2.251.2.1.2.1.4分级多存储池管理与调度

带格式的：w项目-正文.缩进：首行缩进：o厘米,

右侧：0厘米

云平台存储管理Cinder支持同时配置多种类型存储后端，并建立逻辑映射

管理，指定存储的SLA服务级别，不同类型的云硬盘拥有不同的读写性能，云平

台管理员可以分配不同类型的存储给不同级别的云平台用户。云管理员可以根据

业务应用的需要，调度能够满足业务运行所需性能要求的后端存储，创建多种类

型的云硬盘提供给用户业务使用。

云平台虚拟资源池基于Cinder的VolumeType为基础构建的一^1、逻辑分组，

具有相同metadata元数据的存储阵列组成一个逻辑上的存储池，这些metadata

用来定义一个特定的服务水平（如惯称的金、银、铜），包含一个key/valuepairs

列表，可以在创建volume时指定VolumeType,cinderscheduler可以根据

VolumeType定义来自动调度到相应的存储后端。当使用cinder-volume节点使

用多种后端存储时，云平台会启用filtejscheduler。scheduler使用

filtering和weighing来选择最优的存储后端。首先，filterscheduler过滤

可用的存储后端，默认情况下，AvailabilityZoneFilter和CapabilitiesFilter

被启用。然后，filterscheduler会通过schedulerweigher权衡先前过滤的

存储后端，如果CapacityWeigheris被启用，此种情况下会优先使用容量较多的

存储后端。

3.1.1.2.2.51.2.1.2.1.5存储池扩容

云平台使用cinder进行统一存储管理，针对不同厂家的各类主流存储，

需要厂家提供能够对接cinderAPI定义的驱动，来无缝集成到cinder管理程序

中，所以存储池可以很容易的做到水平横向的扩容，cin加r能够提供PB级存储

容量的管理能力。

带格式的：w项目-正文.缩进：首行缩进：o厘米,

右例：0厘米

管理网D

000jJ卜［VOLUMES

Nova

Neutron

Keystone

计算节点

Glance

MySQLNova-Compute商业存储

RabbitMQ

Cinder-API

CinderScheduler

Cinder-Volume

FCNetworkD

3.1.1.2.2.61.2.1.2.1.6异构商业存储支持

云平台针对业务存储需求提供了多种灵活的解决方案，能够兼容不同的

存储产品，进行存储环境的融合和标准化。既支持使用LVM格式化的本地磁盘,

也支持开源的分布式存储，同时也支持传统IT的IPSAN、FCSAN商业存储设

备，最大化的提高企业IT设备利用率，针对特别重要的数据，用户可以选择在批注［MY4］：支持？

云平台上使用这种共享存储。Cinder存储节点支持多种volumeprovider,包

［批注［MY5］:支持不支持

括LVM,NFS,Ceph,GlusterFS,以及EMC,IBM等商业存储系统。目前，支持

的存储包括EMC、HP、IBM>NetApp、Inspur,SolidFire等厂商的存储设备,支

持iSCSI/FC通信方式。

带格式的：丫项目-正文.缩进：首行缩进：0厘米,

右侧：0厘米

cinder-volume为这些volumeprovider定义了统一的driver接口，

volumeprovider只需要实现这些接口，就可以driver的形式即插即用到

OpenStack中。下面是cinderdriver的架构示意图：

cinder-volume

LVMNFSCephEMCOther

volumevolumevolumevolume

■,

volumevolumevolumevolume।volume

volumevolumeivolumevolumevolume

-1.2.1.2.1.7多通道负载均衡

带格式的：W项目-正文.缩进：首行缩进：0厘米,

右侧：0厘米

云硬盘的访问路径需要保证高可用性，因此需要提供多个访问路径，在分配

云硬盘的时候，需要分配到存在多路径能力的存储设备。该方案支持基于FC网

络的多路径调度，提供multipathd和multipath等工具和multipath,conf等配

置文件。这些工具通过devicemapper的ioctr的接口创建和配置multipath设

备。使用上述工具，配合物理链路上的冗余设置，能够满足主机到存储管理系统、

存储管理系统到存储设备之间的多通道负载均衡。

31.1.2.28-1.2.1.2.1.8快照及复制策略

支持快照策略制定与复制策略制定，快照策略制定包括增量、自动删除、清

除速率等策略，复制策略制定包括同步、异步、异步周期等策略，同时支持各种

复制方式之间的切换，在复制过程中出现中断后支持断点续传。

3—2.91.2.1.2.1.9云硬盘备份恢复

CinderBackup是将volume备份到别的地方（备份设备），将来可以通过

restore操作恢复，Backup存放在独立的备份设备中，有自己的备份方案和实

现，不依赖源volume,即便源volume不存在了，也可以restore,所以可以结

合存储设备做容灾服务。cinder-backup也通过driver架构支持多种备份

backend,包括Ceph、Swift0

CinderRestore的过程很简单，两步走：

I）在存储节点上创建一个空白volumeo

2）将backup的数据copy到空白volume上。

restore操作的详细流程：

|）向cinder-api发送backup请求

力cinder-api发送消息

cinder-scheduler挑选最合适的cinder-volume

4|cinder-volume创建空白volume

5）cinder-backup将backup数据copy到空白volume上

*4；1.2.1.2.1.10存储即服务实现

多数组织用于提供多种存储服务的存储基础架构都由不同的阵列类型组

成，而且这些阵列还往往来自于不同的供应商。在选择每个存储平台时会以其处

理特定工作负载的能力为基础，而且每个存储平台都具有自己独特的API、管理

和监视工具。伴随着这样的多样性，如何高效管理这些存储孤岛成为一大难题。

带格式的：丫项目-正文.缩进：首行缩进：o厘米,

右侧：o厘米

随着数据量不断增长，需要越来越多的专业TT管理员来执行重复的手动任务，

才能提供并优化存储服务以保持竞争优势。

基于以上存在的问题，云平台对异构存储产品进行抽象化，汇集成虚拟

存储池，屏蔽底层存储厂商间的产品差异，对上提供统一的接口，把底层存储能

力以服务的形式暴露出来，这样上层应用无需关心底层配置的复杂，就可以基于

此接口进行自动化编排，统一集中式管理，实现存储的快速交付。

存储即服务

块存储服务文件存储服务

是供FC/ISCS胁议的块存储为windows或者linux操作系统

H服务提供网络共享文件存储服务

Linux块存储服务Window碳存储服务

Q-inuxt机提供块存储服务

为Windows主机提供块存储服务

in

3.1.1.2.2.111.2.1.2.1.11自动化存储管理

集中地自动执行存储调配和回收任务，将存储团队从重复的手动管理任

务中解放出来，让存储团队可以投入到战略性的价值驱动活动，加快在融合基础

架构上交付基于云的服务。基于策略的管理和自动化可以降低发生人为错误的风

险，并且减少冗长的管理审查，从而提高敏捷性和工作效率。

带格式的：w项目-正文.缩进：首行缩进：o厘米,

右侧：0厘米

。。。。。

wSMl0«■««a^

异构厂商存储

&_L4：224j_1.2.1.2.1.12基于服务目录的存储交付

通过策略驱动型自助服务目录，简化IT消费者按需请求和获得存储资源

的方式。用户可以轻松订阅满足其工作负载需求的存储资源。用户不需要了解或

关心向应用程序提供存储的底层硬件和软件。云平台会根据管理员预定义的策略,

自动调配正确的硬件和软件来满足其需求。即时提供所需的存储资源，从而最大

限度地减少了用户与IT之间的交互。我们根据其SLA服务等级部署新应用程序

的时间从几天缩短到了几分钟。

3，-1,2:243-1.2.1.2.1.13块存储服务

块存储服务的最主要用途是作为虚拟硬盘提供给instance使用。块存

储是通过Attach操作挂载到instance上的，如下图所示：

带格式的：w项目-正文.缩进：首行缩进：o厘米,

右例：o厘米

iSCSI是Client-Server架构，有target和initiator两个术语。

Target提供iSCSI存储资源的设备，简单的说，就是iSCSI服务器。

Initiator使用iSCSI存储资源的设备，也就是iSCSI客户端。

Initiator需要与target建立iSCSI连接,执行login操作，然后就可

以使用target上面的块存储设备了。

下面来看看Attach操作的流程图

吴

,1工、

(_API

I2:3二

«X/olume'J

Messaging4