云计算平台分布式存储解决方案

1、云计算平台分布式存储解决方案1.1.1行业背景与需求分析随着云计算平台技术的发展，云计算平台的规模和数据量都在爆炸式增长，存储、 计算、网络是IT基础设施的核心构成要素。而分布式存储软件基于标准x86服务器构 成分布式块存储资源池，可以与计算和网络资源池一起共同为云平台提供相关基础设 施资源，并经统一资源池平台管理，支撑云计算平台的高效稳定运行。软件定义的分布式存储在大规模弹性扩展能力、敏捷性、以及总体成本等方面具 有传统存储系统所不能比拟的优势，能够为企业应对IT基础架构转型提供更为合理的 解决方案，正在成为新一代存储系统的主流。根据Gartner发布的市场调研报告， 2015年底已经有超过

2、48%的用户在积极考虑采用软件定义存储；并预计，到2019年 全球企业级数据中心中存储容量的30%将来自于软件定义存储或超融合架构。Wikibon的报告则指出，软件定义存储的主要形式一一企业级Server SAN，在未来 10年间的年复合增长率将超过44.2%，其市场份额将在2021年超过传统SAN存储， 并在后续几年迅速占领绝大部份市场。采用分布式云存储系统来构建云计算平台的存储平台，能够充分满足云计算平台 的一下核心需求，同时也与存储技术的发展趋势相吻合。1）大规模、弹性扩展。从数台服务器规模，以任意步幅灵活按需横向扩展到上 百万台存储节点，实现ZB级海量存储，提供传统存储阵列无法比拟的可

3、扩 展能力。随着存储节点的增加，系统在容量和存储性能两个维度都获得横向 扩展，从而获得海量规模的支撑能力；2）高IO性能。云计算平台建设的不断扩张，上层支撑的应用系统种类和数量不 断增加，都会增加云平台对存储系统的IO性能云平台压力，因此存储系统必 需具备提供超高IOPS或吞吐量以及低IO访问延迟的能力，以满足云平台系 统规模增长，甚至成倍增加的需求；3）高度可用性与可靠性保障。涉及到云计算平台上所有应用系统及数据的安全 性，要求存储系统稳定可靠，能够支撑云计算平台7*24小时的工作，且在发 生节点故障时，保证用户数据的完整性和一致性，最大程度的避免因系统或 部件故障所造成的数据丢失和损坏风险

4、；4）高度可维护性。相比传统存储系统采用专用的硬件、专有网络和协议，要求 存储系统管理员具备较强的存储系统知识和相关经验，很多系统配置变更与 性能调优都需要原厂的专业服务，而分布式云存储基于软件定义技术，采用 标准的x86服务器、标准网络及协议建设，无需专业背景及特殊技能要求， 现有云计算平台管理团队即可轻松胜任，而且智能自愈的故障处理，天然负 载均衡、无需调优等特性，使得对原厂专业服务的依赖度降到最低；5）节约总体成本。在满足以上需求的同时，要尽可能节约总体成本，避免浪费。1.1.2 解决方案说明解决方案总体架构1）架构设计OpenStack API图12-21逻辑构架性能皆理统计分析用户管

5、理告警冒理节克管理N存播管理曾理接口Web Console存精管理ZettaStor DBS是一个软件定义的分布式文件系统。通过在标准X86服务器上部署ZettaStor DBS软件，就可以将这些服务器上的硬盘整合成一个海量、高性能、高 可用、高可靠、低成本的存储资源池。分布式存储系统提供标准的iSCSI和私有的LBD接口供云平台或云主机接入访问。分布式存储系统提供标准的OpenStack API接口，可以和OpenStack或其他云 管平台无缝对接，通过统一的云管平台界面，实现对存储资源的申请、分配、扩展、 回收等操作。2)系统构架云计算资源池图12-22系统构架方案采用ZettaStor

6、DBS软件定义的分布式文件系统构建分布式块存储系统，满足海量数据的存储需求。如图所示，系统架构分为:云计算资源池：通过在计算服务器上安装云计算平台，然后在其上创建云主机， 对外提供服务，分布式存储提供系统盘、数据盘等存储资源。云管理平台：主要负责云计算平台资源管理级调度，创建云主机时为云主机分配 虚拟资源。分布式云存储：通过在存储服务器上安装ZettaStor DBS分布式存储系统，将服 务器上的磁盘整合分配成高性能存储资源池和容量存储资源池，通过以太网将存储池 分配挂载供云平台使用。同时通过API与云计算管理平台无缝对接，从统一的云管平 台界面实现存储资源的申请、分配、扩展、回收等操作。软件

7、部署与组网1)软件部署模式ZettaStor DBS分布式云存储系统可部署为超融合模式，也可部署为分离模式， 或者两种模式混合部署。超融合模式部署每台服务器既作为计算节点，承担业务负载，同时也作为数据存储节点，对外提 供数据存储服务。其优点在于架构更加灵活敏捷，用户只需按一定配置向系统内补充 节点，即可实现计算和存储能力的同步横向扩展，同时可实现更高的资源利用率，从 而降低总体成本。如图所示。图12-23 :超融合模式部署分离模式部署存储节点采用专用服务器，专门用于提供存储资源服务，而不再部署用户业务系 统。其优点在于避免了存储服务和用户业务系统之间的资源争用和相互影响；同时由 于分离部署，更

8、利于管理维护和故障隔离，系统更为稳定可靠；此外扩容也会更有针 对性。如图所示。Hypervisor踹本地磁盘计宜节点VM VMWIW1 VMHypervisor5HypervisorLCPU 内存L-1.本地威盘CPU 内宿本地磁E计尊节点计宜节点存储节点图12-24:分离模式部署2)部署方法ZettaStor DBS分布式云存储软件支持自动化批量部署，只需登录至其中任何一 个存储节点，即可完成系统安装部署以及配置工作，而无需逐台手工进行。自动化部署需满足以下前提条件：linux操作系统安装完成每台服务器指定IP地址，并相互连通ssh服务打开具有root权限的用户名密码自动化部署配置步骤：批量

9、配置IP地址对应安装的相应服务批量配置IP和root权限的用户的对应关系自动化部署配置工作：配置新的yum源检查所有服务器软件包是否满足系统要求，如未满足，自动安装缺少的软 件包自动安装Java包自动修改系统参数，环境变量自动部署产品包启动重启操作系统与云平台的集成1) 与OpenStack的集成ZettaStor DBS分布式云存储支持与OpenStack环境的紧密集成，目前可支持的 OpenStack 版本包括 Havana，Icehouse，Juno，Kilo，Liberty，Mitaka，Newton， 以及Ocata。ZettaStor DBS分布式云存储为OpenStack提供的两

10、类存储服务，分别是镜像存 储和云硬盘存储。镜像存储服务允许用户将镜像直接存放在ZettaStor DBS分布式云 存储中；云硬盘存储则允许用户在虚拟机中直接使用ZettaStor DBS分布式云存储所 管理的存储空间，既可以用作系统启动盘，也可以作为常规数据盘使用。镜像存储服务由OpenStack的Glance部件提供，而云硬盘存储服务则由Cinder 和Nova两个部件共同提供。为了兼容不同类型的ZettaStor DBS分布式云存储解决 方案，Glance、Cinder和Nova都封装了统一的开放接口。而ZettaStor DBS分布式 云存储实现了这三种部件的接口，分别被称为Glance

11、 Adapter，Cinder Adapter和 Nova Adapter，为OpenStack提供存储服务。这些Adapters提供存储服务的方式是 将OpenStack各个部件的请求翻译成ZettaStor DBS分布式云存储中相应的请求，最 终建立起两者之间的I/O通道，完成存储服务的使用。目前，ZettaStor DBS分布式云存储已经能够为OpenStack提供两种类型的I/O 通道协议，分别是ISCSI和LBD。ISCSI协议是OpenStack使用块设备的通用协议； 而LBD则是ZettaStor DBS分布式云存储原生的对外I/O传输协议。后者相较于前者 而言能够兼容并使用更多

12、ZettaStor DBS分布式云存储的特性。我们能够从下图直观 的看到ZettaStor DBS分布式云存储是如何为OpenStack提供存储服务的。图12-25:与OpenStack的集成镜像存储服务镜像存储服务允许用户将镜像直接存放到ZettaStor DBS分布式云存储中。下面 我们通过介绍镜像存储到ZettaStor DBS分布式云存储的过程来详细说明镜像存储服 务是如何提供的。用户向Glance部件发出上传镜像的请求，这时会建立起一个Http数据流，而 Glance则将这个数据流转发给Glance Adapter。在收到这个数据流后，Adapter向 ZettaStor DBS分布

13、式云存储服务请求创建相应大小的卷，这个卷将被用来作为镜像 存储的容器。接着，Adapter需要为数据流到这个卷创建一条I/O通道，为此，它向 ZettaStor DBS分布式云存储发出挂载驱动和初始化本地块设备（ISCSI块设备或者 LBD块设备）的请求。当后台处理完这些请求后，Adapter能够在本地看到一块物理 磁盘，说明I/O通道已经建立完毕。然后，Adapter只需要将镜像流中的数据拷贝到物 理磁盘中即可。到此，镜像就存储到ZettaStor DBS分布式云存储中去了。完成以上流程后，Adapter会移除本地块设备，用于回收资源。下图直观展示了 以上镜像存储流程。Zettastor存储

14、镜像GlanceGlance AdaptorZettastor DBS TOC o 1-5 h z rL.上传镜像2.创建卷AI3挂载V。驱动d初始匕决设备5.与入接像数据6移除块 AV7返回钮像他t 图12-26 :镜像存储服务流程 云硬盘服务云硬盘存储则允许用户在虚拟机中直接使用ZettaStor DBS分布式云存储所管理的存储空间，既可以用作系统启动盘，也可以作为常规数据盘使用。下面我们通过介 绍ZettaStor DBS分布式云存储为虚拟机提供数据盘和系统盘的流程来详细说明云硬 盘服务是如何提供的。 ZettaStor DBS分布式云存储为虚拟机提供数据盘用户向Cinder部件发出创建

15、云硬盘的请求，希望创建一块数据盘给某台虚拟 机用。在收到这个请求后，Cinder部件会进入创建云硬盘的流程。首先，通 知Cinder Adapter创建一个云硬盘，此时，Adapter将这个请求翻译成 ZettaStor DBS分布式云存储创建卷的请求发送到后台服务。后台就根据此请 求，创建出相应大小的卷作为云硬盘。接着，Cinder通知Adapter为这个云 硬盘提供一个I/O通道的出口，此时，Adapter会要求后台在云硬盘的卷上挂 载驱动，并将挂载好的驱动信息收集起来返回给Cinder，后者将这些信息与 云硬盘绑定存放到数据库中。到此，一块可供虚拟机使用的数据盘也就创建好 了。为了在指定

16、的某台虚拟机中使用这块数据盘，用户向Nova发出绑定云硬盘的 请求。在收到这个请求后，Nova从数据库中拿到云硬盘的I/O出口信息，并 要求Nova Adapter将这块云硬盘初始化为本地磁盘。于是，Adapter向 ZettaStor DBS分布式云存储请求在本地建立与远端驱动的连接来初始化磁盘， 并将这块磁盘的绝对路径告知Nova。这样，Nova再通过虚拟化技术将这块 磁盘挂载到虚拟机中去，使得虚拟机的用户能够使用这块物理盘了。下图直观 展示了以上ZettaStor DBS分布式云存储为虚拟机提供数据盘的流程。Zettastoif DBS为虚拟机捏瞄锯段OrderCinderZettast

17、or DIBSNava AdaptorNavaL别渚V:J L11-6. 】FCi出2创出 IHA5挂豪；T怙一也8.斯一-.挂载园twa10. W强至IdE拟机一地对路径f图12-27：为虚拟机提供数据盘的流程 ZettaStor DBS分布式云存储为虚拟机提供系统启动盘用户向Cinder部件发出创建系统启动盘的请求，希望能够从镜像创建出一块 云硬盘用户虚拟机启动盘。在收到这个请求后，Cinder部件向CinderAdapter请求创建云硬盘，Adapter将该请求翻译成ZettaStor DBS分布式云 存储创建卷的请求，创建出一个新的卷。之后，Cinder向Glance发出Http 请求

18、创建对应镜像的数据流并返回给Adapter。拿到这个数据流后，Adapter向后台请求挂载驱动，建立与驱动的连接并初始化本地磁盘，再将数据流拷贝 到当中，并返回该云硬盘的I/O出口信息。Cinder拿到这个信息后，与云硬盘 信息一起存放到数据库中，以供Nova使用。而Nova在使用这块云硬盘作启动盘来创建虚拟机的流程和使用数据盘类似， 这里不再累述。下图直观地展示了以上ZettaStor DBS分布式云存储为虚拟机 提供系统启动盘的流程。Zettastor DBS为GlaneeCinder+-4.创建梢5. W1训建Y3即璟6苻临LL 1/OilirI融机提供启动盘Cinder Adaptor

19、Zttastor DES;启动母一A倒 瑛有8.初蜡9.L0.移呻一圭诺A饨踮f、块废A襟设备一图12-28：为虚拟机提供启动盘的流程2)基于REST API与其它云平台集成ZettaStor DBS分布式云存储还为其它云平台或上层管理系统提供了基于RESTful API的开放可编程接口，所有基于Web操作界面可以实现的管理功能，都可 以通过该接口进行调用，例如存储资源的配置和维护，资源、性能、告警信息查询等。组网说明ZettaStor DBS分布式云存储系统中存在三种类型的网络数据流：客户端对存储系统的读写访问等前端数据流，即业务数据平面，一般建议使 用10Gb网络；存储节点间的数据传输、同

20、步、重构、迁移等后端数据流，即存储网络平面；一般建议使用10Gb网络；存储系统内部的控制信息数据流，即存储管理平面，一般建议使用1Gb网络。ZettaStor DBS分布式云存储系统支持这三类网络平面的相互隔离，也支持灵活 的混合部署。网络部署模式及特性见下表：部署方式部署说明优缺点适用场景1三个网络平面各自独立网 络性能最好，造价 最高，网络复 杂，不易维护。极端性能要求2业务数据平面独自使用一 个10Gb网络，存储网络 平面与存储管理平面使用 同一个10Gb网络；保障业务系统性 能，但造价较 高。高性能要求3业务数据平面与存储网络 平面使用同一 10Gb网 络，存储管理平面独自使 用一个1

21、Gb网络性能稳定，造价 合理大多数情况都可 满足4三类数据使用同一个10Gb网络性能弱于前三 种，造价较低。对性能没有特别 要求，预算有限根据存储节点数量的不同，ZettaStor DBS分布式云存储系统的组网采用两种建 议拓扑结构，当系统内存储节点规模在32个以内时，建议使用Flat方式组网；当系 统内存储节点规模在32个以上时，建议使用Spine-Leaf方式组网。 Flat方式组网Flat组网方式如图所示：数据网络部分，承载业务数据平面及存储网络平面。所 有存储节点服务器都分别连接到两台交换机，以实现冗余；交换机之间进行级联，地 位对等。控制网络也是如此，承载存储管理平面。这种组网方式相

22、对简单，成本相对 较低，不足之处在于随着系统规模扩大，交换机之间的级连链路可能成为瓶颈，所以 适用于较小规模系统。Flat组网方式所建议的网络设备配置参见下表:所需设备建议配置存储节点网络端 口2*10Gb端口，连接数据网络；2*1Gb端口，连接控制网 络。计算节点网络端 口2*10Gb端口，连接数据网络。数据网络交换机10Gb交换机，配置40Gb级联端口，用于交换机堆叠控制网络交换机1Gb交换机，配置10Gb级联端口，用于交换机堆叠客户端客F端客户端客户端图12-29:Flat组网方式Spine-Leaf方式组网Spine-Leaf组网方式如图所示：数据网络部分，承载业务数据平面及存储网络平 面，所有存储节点服务器首先分别连接到两台接入（Leaf）交换机，接入交换机会上 联到核心汇聚（Spine）交换机，整个网络均实现全冗余保护。控制网络也是如此，承 载存储管理平面。这种组网方式能够平滑扩展至较大规模，且保持性能稳定，不足之 处在于成本较高。Flat组网