（计算机系统结构专业论文）集群化的虚拟共享卷服务系统研究.pdf

摘要 随着计算机硬件成本的下降，拥有大量计算机节点的集群环境正在普及。服 务部署概念的出现为安装配置这些节点提供了方便，同时也为资源的共享提供了 可能。在基于存储层次虚拟化的服务部署系统中，提供存储资源的子系统起着至 关重要的作用。 本文在这样的技术背景下，按照服务部署系统的需求，设计实现了一个集群 化的虚拟共享卷服务系统。它可以作为服务部署系统的子系统为其提供存储资 源，也可以单独运行，为具有类似需求的应用服务它通过网络对外提供块级的 逻辑卷，内部则基于一种全新的地址映射算法复合式快照算法。这种算法不 但保留了快照技术的所有特点，而且增加了许多新的功能特性。e v m s 被运用到 该系统中来对卷执行各种管理操作，这里借鉴了e v m s 良好的设计框架与可扩 展性。同时，为了提高可用性，系统还设计了一个节点扩展层，该层允许多个节 点在共享同一组物理存储设备的基础上，构成一个集群环境，共同提供逻辑卷服 务。 集群化的虚拟共享卷服务系统为用户提供了虚拟化的、可共享的、可扩展的 以及高可用的存储卷同时，对于服务部署系统而言，它也满足易管理、节省存 储空间及可批量快速创建逻辑卷等诸多需求经过测试，其性能以及空闻利用率 也比现有的系统有很大提高。 关键词：存储卷；虚拟；复合式快照；地址映射；卷管理；集群 a b s t r a c t w i t ht h ef a l l i n gc o s to fc o m p u t e rh a r d w a r e , c l u s t e rt h a th a sl a r g en u m b e r so f c o m p u t e rn o d i su n i v e r s a l t h ee m e r g e n c eo f r v i c ed e p l o y m e n tt e c h n o l o g y f a c i l i t a t e st h ei n s t a l l a t i o na n dc o n f i g u r a t i o nf o rt h e s en o d e s a n di ta l s om a k e si t p o s s i b l eo nt h es h a r i n go fr e s o 珊c e s f o rt h o s es e r v i c ed e p l o y m e n ts y s t e m sb a s e do n v i r t u a ls t o r a g e ，t h es u b s y s t e mw h i c hp r o v i d e ss t o r a g er e s o u 嬲p l a y sav i t a lr o l e b a s e do nt h i st e c h n i c a lb a c k g r o u n d , w ed e s i g n e da n di m p l e m e n t e dc l u s t e r e dv i r t u a l s h a r e dv o l u m es e r v i c e ( c v s v s ) s y s t e ma c c o r d i n gt ot h er e q u i r e m e n t sf r o ms e r v i c e d e p l o y m e n ts y s t e m i tc a n r u na sp a r to f s e r v i c ed e p l o y m e n ts y s t e m , o rl u l ls e p a r a t e l y t o p r o v i d es t o r a g es e r v i c e t os i m i l a r 印p l i c a t i o 璐i te x p o r t sb l o c k - l e v e ls t o r a g e v o l u m e sb a s e do nai l e wi n t e m a la d d r e s sm a p p i n ga l g o r i t h m c o m p o u n ds n a p s h o t a l g o r i t h m s u c ha l g o r i t h mn o to n l yr e t a i m a i lt h ec h a r a c t e r i s t i 鹳o fs n a p s h o t t e c h n o l o g y , b u ta l s oa d d sn e wf u n c t i o n a lf e a t u r e s t h a n k st oe s se x c e l l e n t f r a m e w o r k i ti su s e dt oa d m i n i s t e rc v s v sv o l u m e s a tt h es a m et i m e ，i no r d e rt o e n h a n c ea v a i l a b i l i t y , t h es y s t e mh a sa l s oan o d ee x p a n s i o nl a y e r 硼sl a y e rc o n f o r m s m u l t i p l en o d e sw h i c hs h a t h es a m ep h y s i c a ls t o r a g ee q u i p m e n t t oc o n s t i t u t ea c l u s t e rt h a tc a l lp r o v i d el o g i c a ls t o r a g ev o l u m es e r v i c e s c v s v ss y s t e ms u p p l i e su s e 礴w i t hv i r t u a l s h a l 媳e x p a n d a b l ea n dh i g h - a v a i l a b l e s t o r a g ev o l u m e s m e a n w h i l e ，f o rt h es e r v i c ed e p l o y m e n ts y s t e m s ，c v s v si se a s yt o b em a n a g e d , s a v i n go i ls t o r a g es p a c e ，a n dr a p i dt oe s t a b l i s hb a t c ho fl o g i c a lv o l u m e s a f t e rt e s to ft h ep e r f o r m a n c ea n ds p a c eu t i l i z a t i o n , r e s u l t ss h o was i g n i f i c a n t i m p r o v e m e n to v e rt h ee x i s t i n gs y s t e m k e yw o r d s ：s t o r a g ev o l u m e , v i r t u a l ，c o m p o u n ds n a p s h o t , a d d r e s sm a p p i n g , v o l u m e m a n a g e m e n t , c l u s t e r i 图i id a s 结构示意图 图1 2n a s 结构示意图 图1 3s a n 结构示意图 图目录 3 图1 4n a s - s a n 融合结构示意图 图1 5 蓝鲸服务部署系统体系架构例 图1 6i n t r a s t o r 结构示意图【1 1 】 图2 1c v s v s 的总体结构图 5 1 2 1 4 1 7 图2 2c v s v s 的模块分层结构图 图3 1c v s v s 卷生成层工作流程示意图 图3 2 资源块与地址映射 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 2 0 2 1c h u n k 与写时复制 源逻辑卷的创建与读写 快照卷的创建 快照卷的读写 p u s h 模型写源卷示意 p u l l 模型写源卷示意 图3 9c v s v $ 系统中卷之问的逻辑关系 图3 1 0 复合式快照算法主要数据结构的内存表示 图3 1 1 复合式快照算法主要数据结构的磁盘存储 图4 1e v m s 各层次之间关系 图4 2e v m s 模块问结构 图4 3 卷管理层涉及的元数据 图4 4p u s h 模型中底层设备的存储布局 图4 5p u l l 模型中底层设备的存储布局 图5 1多节点下e v m s 的命令流动示意图 图5 2c v s v s 节点扩展层结构图 图6 1 部分读钡8 试结果的比较 图6 2 不带c o w 的写测试结果的比较。 图6 3 带c o w 的写测试结果比较 图6 4c v s v s 卷与l v m 2 卷性能对比 m m拍撕凹如弘弘勰剪锕钳稻钉舛巧弘 表6 1 裸搜备的读写性能 表6 2 第一组测试结果 表6 3 第二组测试结果 表6 4 第三组测试结果 表6 5 第四组测试结果 表6 6 第五组测试结果 表6 7 第六组测试结果 表6 8 第七组测试结果 表目录 5 0 5 0 。5 l 5 l 5 l 5 2 表6 9l v m 2 卷的读写性能 5 2 5 3 表6 1 0 各种模型空间利用率测试结果 i x 5 5 5 7 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，本论 文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意。 作者签名：辛匆瑚灰 日期：2 叩占6 7 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部 门或机构送交本论文的复印件和电子文档，允许本论文被查阅和借 阅，可以将本论文的全部或部分内容编入有关数据库进行检索，可以 采用影印，缩印或扫描等复制手段保存，汇编本论文。 ( 保密论文在解密后适用本授权书。) 作者签名：辛搁走 导师签名： 日期：枷l 6 7 第一章引言 计算机技术从它诞生的那一天起，就在不断的迅猛发展中摩尔定律已经连 续几十年主导着计算机系统性能的提升，而且似乎还会继续发挥作用在这种强 劲的技术驱动之下，计算机从最初昂贵的、占用几个房间大小的庞然大物发展到 了今天便宜的、可以放在桌面甚至是文件包里的小巧物件这种变化使得计算机 不再是少数企业才能拥有的珍稀资源，而是已经进入千家万户，可以为普通用户 所服务的日常工具同时，由于量产的标准化计算机部件成本在下降，一种用来 构建高性能计算机的技术集群技术正在被广泛应用，它具有许多大型主机所 不具备的优势，例如低成本，高可扩展性等根据2 0 0 5 年1 1 月的t o p 5 0 0 超级 计算机评比结果【4 3 ，入选前5 0 0 名的超级计算机中，有7 2 是采用集群技术构 建的，这充分说明了人们对集群技术的重视。但是，由于集群环境中计算机节点 的数量可能非常庞大，这使得对它的管理与原来的单机管理有了本质的不同。 另一方面，随着信息社会的发展，数据量在急剧膨胀，数据本身在各行业中 扮演着越来越核心的角色 3 9 1 4 0 ，这种趋势推动了计算机系统从以计算资源为核 心转变到以存储资源为核心，并且使得存储系统不再直接依附于计算机或服务器 本身，而成为了相对独立的系统在这种计算与存储相分离的思想【2 1j 影响下，网 络存储技术发展起来，但是目前的网络存储技术多数是从数据本身的存储与管理 方蘧来考虑，并没有将计算资源与存储资源的结合与交互考虑进去，本文的内容 正是在这个研究方向的一个部分。 本章首先介绍集群技术它既是存储系统的受益者也给存储系统的设计提供 了思路，然后介绍网络存储技术以及目前应用中存在的一些问题，最后是包括蓝 鲸服务部署系统在内的一些相关研究的介绍。 1 1 集群技术 将一组松耦合的计算机组织起来协同工作，模拟一台功能更为强大的计算机 的技术，称为集群技术【2 ”1 其中的每一台提供服务的计算机称为一个节点，多 个节点之间互联通信，协同完成某项任务根据构建集群的方式不同，可以取得 高性能、高可用、高可扩展等不同的特性 1 ) 高可用性集群技术高可用性集群( h i g ha v a i l a b i l i t yc l u s t e r ) 技术，是 指以减少服务中断时间为目的的服务器集群技术随着全球经济的发展，各种组 织对i t 系统的依赖都在不断增长，许多企业要求7 x 2 4 的不间断服务，任何一次 停机事件都可能造成巨大的损失，这种明显的需求趋势，使得提高系统可用性的 工作变得非常必要高可用的目标就是使系统因意外故障或正常维护而导致的停 中国科学院硕士学位论文集群化的虚拟共享卷服务系统研究 机及恢复时间最小化嘲为了提高整个系统的可用性，除了提高计算机各个部件 的可靠性之外，一般情况下都会采用集群的方案 高可用性集群的工作方式通常是，当一个节点不可用或者不能处理客户请求 时，该请求将会转到另外的可用节点来处理，所有这些操作都是由集群管理软件 自动完成的，对于客户端来说，它根本不必关心这些要使用的资源的具体位置， 也即这个过程对客户端是透明的 2 ) 高性能计算集群技术高性能计算集群( h i g hp e r f o r m a n c ec o m p u t i n g c l u s t e r ) 技术，是指以提高科学计算能力为目的的计算机集群技术，是一种并行 计算的实现方法，适于那些计算密集型的任务并行计算是指将一个应用程序分 割成多块可以并行执行的部分并指定到多个处理器上执行的方法目前的很多计 算机系统可以支持s m p ( 对称多处理器) 架构并通过进程调度机制进行并行处 理，但是s m p 技术的可扩展性是十分有限的，比如在目前的i n t e l 架构上最多只 可以扩展到8 颗处理器。为了满足那些“计算能力饥渴”型的科学计算任务，并 行计算集群也即高性能计算集群被引入到计算机界。 高性能计算集群向用户提供一个单一计算机界面。前置计算机负责与用户交 互，并在接受用户提交的计算任务后通过调度器程序将任务分配给各个计算节点 执行运行结束后通过前置计算机将结果返回给用户程序运行过程中的进程间 通信通过专用网络进行。 3 ) 高可扩展性集群技术。高可扩展性集群技术也就是负载均衡技术，它的 一个典型应用环境是w e b 集群，互联网的发展带动了w e b 访问量的激增，w e b 服务器的处理能力成为提供w 曲服务的瓶颈单台服务器的性能有限，并且不 易扩展，而集群技术则提供了一种廉价有效的方法来扩展服务器带宽，增加吞吐 量，提高数据处理能力，同时又可以避免单点故障 高可扩展性集群技术的关键是按照一定的策略( 算法) 向集群中的节点分发 网络或计算处理负载。从而达到提高系统吞吐率以及性能的目的。 通过上面的介绍，我们发现，不管是哪种类型的集群架构，其最根本的一个 特点就是多个节点协同工作节点的数量根据集群系统的规模而有差别，一个双 机备份系统只需要两个节点，而一个高性能的超级计算机则可能有数以千计的节 点 集群技术本身起源于构建大规模的计算机系统，但它所提供的诸如高性能、 可扩展、高可用等特性在单独的存储系统中也是必需的，因此如果能将集群技术 应用到存储系统中，必定会推动存储技术的发展 1 2 网络存储技术 作为高性能计算机系统中的重要组成部分，外存储子系统负责高效，安全， 2 第一章引言 可靠的存取这些数据但是由于受到机械部件的限制，外部存储器性能的发展速 度远远落后于计算部件，这制约了计算机系统整体性能的发挥，因此人们设计了 多种技术来提高存储系统的性能从最初的d a s ( 直接连接存储) 发展到n a s ( 网络附加存储) 、s a n ( 存储区域网) ，以及最近出现的n a s 与s a n 融合的技 术等 在传统的计算机系统结构中，单个的磁盘或磁盘阵列通过电缆直接连接到服 务器上( 如图1 1 ) ，这些磁盘或磁盘阵列也只能被这台服务器所访问，这种连接 方式通常称为d a s ( 直接连接存储) 。在信息量不断增大的今天，虽然硬盘的容 量越来越大，存取速度也越来越快，但仍然不能满足许多实际应用对存储子系统 的可扩展性、可靠性、安全性、高可用性、可管理性等方面的需求 图i 1 d a s 结构示意图 网络存储技术 2 3 1 正是在这种背景之下出现的，它通过引入网络的概念将存储 独立于服务器得益于网络的多样化、强大的可配置性以及不断提高的传输速率， 网络存储技术提供了巨大的存储能力和优异的灵活性，已经成为传统存储方式的 有力替代者。下面是几种主要的网络存储技术： 1 ) n a s ( 网络附加存储) n a s 是一种基于局域网的、脱离服务器的网络 智能存储设备它通常集成了处理器和磁盘，磁盘柜，连接到t c p i p 网络上，通 过文件传输协议( 例如n f s 、c i f s 等) 存取数据。其结构如图1 2 所示 图1 2 n a s 结构示意图 n a s 将存储设备从服务器的后端移到通信网络上来，由于它基于i p 网络， 所以安装非常简单，服务器几乎不用做任何修改就可以利用n a s 的存储容量 3 中嗣科学院硕士学位论戈集群化的虚拟共享卷服务系统研究 另外，同一台n a s 中的磁盘可以分配给一个或多个文件系统，存取同一文件系 统的用户按需获得磁盘，这样比d a s 方式更加有效地提供存储容量。但是n a s 之问不能进行资源再分配，随着n a s 数量的增加，其管理的复杂性和费用将增 加，所以，n a s 仅适合于中小规模的存储需求在大规模的应用中，s a n 更加 合适 2 ) s a n ( 存储区域网) 在s a n 中，存储设备组成单独的专用网络，为了 获取更好的传输性能，通常利用光纤进行连接，服务器可以采用任何方式连接到 这个网络上，数据一般采用基于光纤通道的s c s l 协议，以块的形式在其中传输。 如图1 3 图1 3 s a n 结构示意图 s a n 相比n a s 有一些更突出的优点它在连接上具有更强的灵活性，由于 光纤通道的远距离传输特性，使得服务器和存储设备之间可以有更远的距离；借 助于相应的软件，在存储网络内部可以实现存储空间的共享；而整个存储网络对 外则体现为一个集中的存储设备，这替代了n a s 中多个独立的存储设备，方便 了管理，具有很高的可扩展性同时，规模越大，它在可管理性、可扩展性上体 现出的优势就越明显。 但是，由于s a n 采用的是基于光纤的解决方案，需要专用的交换机和管理 软件，使得它的初始成本比较高。此外，由于s a n 目前在业内还没有统一的标 准，在互操作性、兼容性方面还有一些问题。因此，基于s a n 的一种变型 1 p s a n 也开始受到人们的关注 3 ) i p s a n 2 1 以太网技术的发展使其数据传输能力有了数量级的提高，目 前干兆以太网已经普及，万兆以太网也已经有相应的产品。在这种环境下。基于 以太网的数据传输协议进入了人们的视野例如在i p 网络上运行的i s c s l l 2 4 2 5 垌 协议、f c i p 协议、i f c p 协议、n b d 协议等采用这些协议组建的存储网络通常 称之为i p s a n i p s a n 在组网的方式上与s a n 没有本质区别，可以将其看成是 s a n 的一种变型由于i p s a n 运行在现有的i p 网络上，使用t c p i p 协议进行互连， 无须搭建额外的网络环境，这对于以局域网为网络环境的用户，既降低了联网的 第一章引言 成本，又充分利用了l p 网络的成熟的技术、良好的可管理性等优点，相对于以往 的网络接入存储，i p s a n 的产生解决了开放性、容量、传输速度、兼容性，安全 性等问题因此，i p s a n 正在成为人们关注的焦点 4 ) n a s 与s a n 的融合。n a s 与s a n 在底层操作方式上有一个本质区别， n a s 是基于文件的i o 。而s a n 是基于块的i o 在一些典型的企业环境中。我 们会发现有些应用需要s a n 存储，而有些应用n a s 存储更合适为了兼顾这两 种情况，以便同时享受到h a s 与s a n 两种技术的优点，一种将n a s 与s a n 融 合的方案越来越被人们所接受( 如图1 4 ) 这种方案中的n a s 网关( n a s g a t e w a y ) 提供n a s 的功能，但没有集成磁盘，而是连接到一个s a n 网络上。 它从网络上接收基于文件的请求，转换成基于块的请求，发送到s a n 网络上， 然后再把从s a n 网络上返回的数据块转换成文件，发送给客户端。这种融合可 以为服务器端提供更多的磁盘存储选择以及更大的可扩展性，能够在网络上同时 提供文件级的i 0 与块级的i o 。 图1 4n a s - s a n 融合结构示意图 存储的重要性已彼人们所认识到，网络存储概念也更加深入人心，尤其是随 着应用的不断丰富，人们对存储的需求也越来越多样化例如大量计算机构成的 集群系统对存储的需求就具有其特殊性，下节将介绍这方面的相关内容。 1 3 应用中存在的问题 虽然不同的应用会产生不同的问题，但在集群系统中或者有大量计算机节点 的企业环境中，我们发现了一些共性的问题。 1 ) 计算资源的利用率不高大规模的计算机系统通常是提供公共计算服务 的开放系统，这种应用的一个显著特点是对计算机系统提供服务的种类和数量具 有很高的动态性和不确定性例如一个集群系统可能对外提供多种服务，而这些 服务的负载并不是一成不变的，它们会随着不同的时间段或其它的外部环境而变 化，为了满足高峰时期的负载需求，整个系统必须按照最大负载来配置软硬件资 源，这对于一个大多数时间所承受的负载不能达到高峰的系统而言，是一种严重 的资源浪费。类似的情况也出现在许多企业环境中，一套计算机系统只能用于提 5 f l 固科学院硕士学位论文集群化的虚拟共事卷服务系统研究 供某种特定的服务。一旦这种服务不再需要，系统就会处于闲置状态造成这种 现象的根本原因是计算资源与它所能提供的服务绑定在了一起，从而无法灵活的 进行调度 。 2 ) 存储资源的利用率不高这表现在两个方面，一种情况是类似于前述的 计算资源利用率问题，为了保证系统在将来的运行过程中能容纳不断积累的数 据，必须为其配置超额的存储容量，但在相当长的一段时间内。部分存储空间会 一直处于闲置状态，这无疑是一种资源的浪费。还有一种情况。发生的典型环境 是在大规模的集群系统中，由于集群系统中的多个节点通常都运行相同的操作系 统，相同的应用软件，甚至具有相同的配置信息，这些数据是冗余的，它隐式的 降低了存储资源的利用率 3 ) 管理配置的复杂性计算机数量的增加，不但带来7 能耗、制冷、占用 空间等一系列问题，而且对于大量计算机节点的安装，配置、维护所需要的人力 物力也在急剧上升。尤其是操作系统的安装和配置，需要花费大量的时间，目前 一个典型的l i n u x 系统的安装时间大约在2 0 - 4 0 分钟之间，如果有成百上千个节 点，这种管理上的成本是不可忽视的。 从上面的分析可以看出，以前对于单个主机系统的管理使用方式已不再适合 于有大量节点的计算机系统，我们需要一种新的架构来解决遇到的问题，满足更 多的需求。 1 4 蓝鲸服务部署系统 对于上面所列的问题，尽管可以从服务器虚拟或者其它角度找到缓解或者解 决的办法，但随着存储系统的重要性日益提高，采用后端集中存储思想的网络存 储技术由于可以方便的统一管理调度所有物理存储资源，而为解决这个衄题提供 了新的思路中国科学院计算技术研究所国家高性能计算机工程技术研究中心在 此基础上，设计实现了蓝鲸服务部署系统( s e r v i c eo nd e m a n d ，简称为蓝鲸s o n d 系统) 刚。 一台计算机节点的安装配置过程实际就是安装操作系统及应用软件，修改配 置文件的过程，本质上就是对数据的操作蓝鲸服务部署系统中将所有这些数据 抽象成为一种服务资源，利用物理存储资源虚拟化生成的逻辑卷来作为这种资源 的载体，然后借助远程启动及相关的网络存储协议将这种存储服务资源与计算资 源关联起来，从而完成一次服务在计算资源上的部署 图1 5 是蓝鲸服务部署系统的体系结构。其中的虚拟共享卷管理系统是存储 资源的提供者，它生成的每个逻辑卷上有事先已经部署好的系统软件及应用程 序。这种逻辑卷可以根据部署的数据不同而有不同的种类及数量；物理服务器池 是计算资源的提供者，其中的每个服务器都没有本地硬盘在管理服务系统的调 6 第一荦引寺 ：i | i l 垦。釉觯城圄咱窗 国圄咱圈咱圈 救柑服务嚣螺体服务器w ：；矗口m ：五矗 i ；孽 旧峒国圄； e ) 蕾i 匿 l i 客户瓤统翟盛熙 主：竺兰一，j 、一一一 图1 5 蓝鲸服务部署系统体系架构1 2 0 1 蓝鲸服务部署系统具有以下特点： 1 ) 服务器快速创建。由于虚拟共享卷管理系统提供的逻辑卷已经具有了所 需的所有数据，所以创建一个虚拟服务器的过程就是将该逻辑卷与物理服务器绑 定的过程，一般情况下这仅需秒数量级的时间即可这相对于几十分钟的系统安 装时间来说有了极大的提高。同时，借助于友好的管理界砸，同时对大量节点执 行批量处理也变的十分便捷。 2 ) 服务器按需动态创建。在管理系统的控制下，计算资源与存储资源既可 以随时建立绑定，也可以随时拆除这种关联，这完全取决于实际应用的需求。这 种动态的关联大大提高了资源的利用率。 3 ) 资源共享由于物理服务器与存储逻辑卷之间动态的关联关系，为两种 资源在不同的应用及服务中进行共享提供了可能性。同时，由于所有的存储资源 统一管理，为那些具有相同数掘的逻辑卷进行共享提供了条件，从而可以提高存 储资源的利用率 从以上介绍来看，蓝鲸服务部署系统很好的解决了在大规模系统中所遇到的 资源浪费以及管理复杂等问题，具有很高的实用价值但我们也发现，如果要充 分发挥服务部署的优势，还需要各个子系统的紧密配合例如，作为提供存储资 7 中国科学院顼士学位论史集群化的虚拟共事卷服务系统研究 源的子系统就必须具备快速创建逻辑卷快速部署其上的内容，高效利用物理存 储空间等特性本文将要讨论的就是这样一种适合于为服务部署系统提供存储资 源的卷系统 1 5 相关研究与产品 由于本文的研究范围限定在应用于服务部署系统上存储资源提供者，为此我 们首先考察几类提供逻辑卷服务的存储系统 1 ) l v m ( 逻辑卷管理器) d i 叫。l v m 是l i n u x 下的一个逻辑卷管理器。虽然 它并不是一个网络存储产品，但由于它已被大多数人所熟知，而且目前已经相当 成熟，在许多环境中都有应用，所以具有相当的典型性，它的设计思想与使用模 式也都具有一定的借鉴意义 l v m 管理底层物理设备，通过地址的重新映射。构建出适合用户需求的逻 辑卷。由于地址映射的灵活性，所构建出的上层逻辑卷可以有不同的特性，比如 可以联合不同的物理设备构成一个逻辑卷，或者动态更改卷的大小，这些特性从 一定程度上改善了存储资源的利用情况。另外，其中用来进行备份的快照技术的 实现在设计其它系统时也值得参照 2 ) i n t r a n s as t o r a g eg r i d l l 0 1 1 1 1 这是i n t r a n s a 公司的存储产品，它基于以太网 与i p 网络，采用了一种称之为“s e p a r a t i o n - o f - f u n c t i o n ”的架构。结构如图： 图1 6i n t r a s t o r 结构示意图t l i l 整个系统主要由两部分组成：i n t r a n s ad i s ke n c l o s u r e ( d e ) 与s t o r a g e c o n t r o l l e r ( s c ) d e 是一组磁盘构成的容器，是一种简单的磁盘阵列，它使用a t a o v c ri p 协议与s t o r a g ec o n t r o l l e r 相连。这部分也可以用第三方厂商提供的i s c s i 存储阵列代替。使其具有较好的可扩展性s c 是整个系统的核心，它连接管理 后端的磁盘( d e ) ，提供软r a i d 功能，向前端的应用服务器导出虚拟磁盘卷同 时，这部分可以扩展到用4 个服务器构成的一个s t o r a g ec o n t r o l l e r 集群，四路服 务器在提供可扩展的性能的同时，还可以进行动态的负载均衡 1 第一章引言 i n t r a s t d r 是一个完整的提供卷服务的网络存储设备。它为那些需要大容量、 高性能、可扩展的存储服务的系统提供了很好的支持 3 ) 3 p a ri n s p i r ea r c l t i t c c t u 他i i 3 p a r 公司设计的i n s c r vs t o r a g es e r v e r 酬q ： 架构与i n f o r mo p e r a t i n gs y s t e m 软件架构共同组成t l n s p i r e 存储体系。该体系由 多个c o n t r o l l e rn o d e 与d r i v ec h a s s i s 通过高速低延迟的互联网络连接在一起，构 成一个集群环境d r i v ec h a s s i s 是一个智能的4 u 大小的磁盘柜，其中可以容纳高 达4 0 块磁盘。c o n t r o l l e rn o d e 上面运行i n f o r mo p e r a t i o ns y s t e m 软件，对d r i v e c h a s s i s 提供的物理存储资源执行各种虚拟化操作，最后将生成的逻辑卷导出给客 户端。 i n s p i r e 的体系结构与n t r a n s a 的产品有类似之处，都是采用了控制节点加磁 盘柜的方式，但它们最终实现的且标却不完全相同3 p a r i n s p i r e 产品着重于提 高用户的投资回报率( r o i ) ，它力求构建一个与用户需求精确同步的系统，系 统的规模能够随用户数据量的增长而扩大，这个特性被称为t h i np r o v i s i o n i n g 。 它是为解决那些“分配但未使用”的空间浪费问题而引入的，利用这个特性，用 户占用的存储空间总是与他实际拥有的数据薰相等，而不必进行预分配，这提高 了存储资源的利用率，同时也节约了用户的投资。 以上所列的三种存储系统具有一定的代表性，它们都可以提供块级的存储卷 服务但由于各自定位不同，它们实现的效果也不同。l v m 是一个开源软件。： 功能比较简单，只能适合于个人计算机或小规模系统；i n t r a n s a 的产品提供了高 性能，高可用的存储服务，但是并没有解决存储资源的闲置浪费问题；3 p a r 的 产品则解决了存储的闲置浪费问题，但却并未提到逻辑卷的快速创建问题，也没 有提到卷之间的共享问题总之，这些产品并不适合于服务部署系统中的应用 1 6 本文的贡献 在分析现有的网络存储技术及产品的基础上，结合服务部署系统应用的需 求，本文设计并实现了一个集群化的虚拟共享卷服务系统，这是一个在块级别提 供存储服务的系统，它能在服务部署系统中作为存储资源的提供者，同时也适合 于其它一些有类似需求的应用这些卷具有按需分配的特征，可以被快速克隆， 可以创建还原点，可以通过备份系统进行备份，最大程度的满足用户的需求其 主要的刨新点有： 1 ) 设计并实现了复合式快照算法这是虚拟共享卷服务系统的核心算法， 它为逻辑卷到物理卷的映射提供了依据。该算法参考了l v m 中快照的实现技术。 并且能够创建快照的快照。因而得名通过进一步的分析，本文还提出了该算法 的两种变型，并对其进行了分析与比较通过该算法的实施，虚拟共享卷服务系 统拥有了数据共享、快速克隆，按需分配，还原点等诸多特性本文最后对根据 9 中国科学院硕士学赴论文集群化的虚拟挟事卷服务系统研究 该算法实现的原型进行了性能测试与空间使用率测试，结果显示其比目i i 流行的 卷管理软件l v m 有很大提升 2 ) 借助于先进的卷管理软件e v m s ，为系统提供更好的可管理性的同时， 也提供了更加丰富的特性e v m s 是一个遵从g p l 协议的开源软件，本身具有 强大的卷管理功能，同时还具有良好的可扩展性通过为e v m s 编写新的插件， 不但为核心算法提供了实用的用户工具，而且充分利用了e v m s 已有的卷管理 功能，将存储资源的管理层次化、规范化 3 ) 虚拟共享卷服务系统的结构使其可以同时运行在多个节点上，这种设计 保证了系统的可扩展性，随着系统负载的增大，可以通过增加相应的软硬件资源 来满足用户需求另外，多个节点之间互相监控，互为后备，提高了整个系统的 可用性 1 7 论文的组织 本文第一章简单介绍了一些与存储相关的背景知识，包括网络存储及集群技 术的基本内容，以及目前一些相关的研究等第二章介绍了集群化的虚拟共享卷 服务系统的结构及特性，从总体上给出了系统的框架，为后续的讨论奠定基础。 第三、第四、第五章自下而上依序介绍了该系统的三个层次，分别是卷生成层、 卷管理层及节点扩展层。每章从结构、功能到设计、实现等方面分别介绍了相应 的层次。第六章是对系统的测试及分析，主要针对的是性能及空问利用率两方面。 最后一章是全文的总结。 第二章c v s v s 系统总体介绍 服务部署系统作为网络存储技术的一种新型应用，它的出现解决了管理大量 计算机节点所带来的各种问题。由于服务是由存储资源抽象而来，所以在服务部 署系统中提供存储资源的子系统就占据了至关重要的地位，它的功能、性能等参 数将直接影响到整个服务部署系统的运行。在总结现有的技术与产品，分析研究 它们的优势与不足之后，本文设计实现了一个专门提供逻辑卷服务的系统集 群化的虚拟共享卷服务系统( c l u s t e r e dv i r t u a ls h a r e dv o l u m es e r v i c e ) ，简称 c v s v s 系统该系统运行于l i n u x 平台之上，是一组内核程序与用户空间程序 的集合它按照服务部署系统的需求设计实现，既可以作为服务部署系统的一个 子系统，也可以单独运行，为那些具有类似需求的应用提供存储服务。 本章首先介绍了相关的背景，包括一些具体需求的提出，相关应用的比较等， 然后是c v s v s 系统的总体结构及其分层模型。最后介绍了该系统所具有的一些 特性。 2 1 需求背景 从前一章对服务部署系统的分析我们看到，为了能配合服务部署系统完成预 定的功能，作为存储资源提供的模块至少要有以下几种特性： 1 ) 提供块级的卷存储服务。目前网络存储设备向客户端提供存储存在两种 形式：文件或数据块。由于我们的存储卷需要为服务部署系统提供网络启动功能， 除非相应的操作系统提供了特别的支持，否则通过网络文件系统启动无盘客户端 几乎是不可能的，块方式则简化了这个流程，而且它为客户端使用存储带来了更 大的灵活性。所以提供块级的存储卷是必备的特性。 2 ) 快速创建逻辑卷。服务部署系统的一大优势是能够快速将计算资源与存 储资源结合成为虚拟服务器，这个过程中存储资源的创建就成为关键性的一步 由于这里的存储资源必须是已经部署有效数据的逻辑卷，所以如何快速的创建出 这样的卷也是需要解决的重要环节 3 ) 按需分配。由于服务部署系统所具有的动态创建虚拟服务器的特性，使 得存储卷也可能被反复的创建删除，这对物理存储空间是很大的消耗，如何节省 实际使用的物理资源，同时又能满足虚拟服务器可能不断增长的数据量，也是存 储系统需要解决的问题这里3 p a r 的产品给出了一个很好的解决方法，它所提 出的1 k np r o v i s i o n i n g 的特性实际就是我们这里提出的按需分配 4 ) 数据的保护由于采用了集中存储的思想，所有的数据都保存在同一套 存储设备内，这使得数据所承受的风险在增加所以系统必须有一定的数据保护 中国科学院碗士学位论文_ 集群化的虚拟共享眷服务系统研究 能力，例如增加备份等功能 5 ) 合理的性能作为一个提供存储服务的系统，性能是必须考虑的指标， 尤其是这种提供系统数据的逻辑卷，它的读写速率将直接影响系统的正常运行。 在这些直接需求的推动下，我们设计实现了集群化的虚拟共享卷服务系统， 它不但达到了上述的几个目标，而且提供了许多额外的功能下面几节分别介绍 了该系统的结构与主要特性 2 2c v s v s 的总体结构 图2 1c v s v s 的总体结构图 图2 1 是包括客户端在内的c v s v s 系统的总体结构图需要卷服务的客户 端有多种形式，在服务部署系统中它就是无盘的服务器，也即计算资源；除此之 外它也可以是其它形式的工作站、服务器等这些客户端可以在c v s v s 提供的 逻辑卷上存储系统数据，也可以存储用户数据，就如同使用本地磁盘一样方便灵 活，这种方式使得客户端应用软件无需任何修改就可以在本地磁盘及逻辑卷之间 进行迁移，从而提供了很好的通用性 客户端通过一个高速交换网络与c v s v s 卷服务器连接目前，由于跃太网 已经很普及，采用千兆的以太网已基本可以满足数据传输的性能需求，加之以太 网的廉价、易管理等特性，使得它成为首要选择而且，通过增加新的硬件设施， 可以很容易的扩展该网络，提升该网络的传输带宽及可用性例如，采用两台以 太网交换机可以组成一个交换网络，使得客户端有两条完全独立的到卷服务器的。 通路，从而提高其可用性运行在以太网上的数据传输协议也有很多种，例如 i s c s l 、n b d 等基于成熟的t c m p 之上的协议，都已有广泛的应用使用这些 第= 章c v s v $ 系统总体介绍 数据传输标准，可以将c v s v $ 卷服务器上生成的卷。导出”到客户靖，从而实 现存储资源与其它资源的关联 c v s v s 服务器集群是整个系统的核心，也是本文讨论的重点它管理后端 的物理存储资源，利用已有的技术如r a i d 等，将其整合为一个存储池，然后从 存储池中分配适当的物理存储空间，从中创建出一个新的逻辑卷创建新的逻辑 卷时，可以充分利用集中存储的优势以及不同逻辑卷之间的关系，实现数据共享、 快速克隆等特性为了提高卷服务器的处理能力，同时增加其可用性，卷服务器 可以扩展到由多个节点组成的服务器集群，每个节点都可以访问后端的所有物理 存储资源，但仅导出部分逻辑卷。从而将负载分散在多个卷服务器节点上同时 卷服务器节点之间建立单独的通道进行通信，比如采用串口或增加额外的以太网 卡，这样可以使得节点之间互相监控，一旦某个节点发生故障，其上运行的卷服 务可以迁移到另外的正常节点上，从而达到高可用的目的 另外，卷的管理功能也在这些服务器上实现，比如后端物理资源的组织管理， 逻辑卷的创建删除等过程。当有多个服务器节点协同工作时，卷管理功能只在一 个节点上工作，其它节点处于从属地位该卷管理功能也可以随着故障的发生在 服务器集群内部进行迁移，这样使得所有节点的管理都有一个统一的接口，管理 员可以从本地或远程的管理终端发送卷管理的命令 卷服务器连接到后端物理存储资源的方式可以有很多种，最简单的情况是只 有一台卷服务器，多块磁盘直接连接到该服务器上即可有多台服务器节点时， 可以使用多口的磁盘阵列，通过s c s i 连接线连接到服务器。或者后端使用其它 的i p s a n 或f c s a n 的网络存储设备如果硬件资源充足，此处的连接网络也可 以配置为高可用的。总之，只要所有的卷服务器都可以访问到物理存储设备即可。 本文将着重讨论c v s v $ 服务器集群这个实体，不再考虑后端的物理存储设 备，因为它们形式多样，而且可以直接应用已有的产品我们的主要工作都将集 中在卷服务器上，下节将以卷服务器的功能为核心，介绍c v s v s 系统的分层模 型。 2 3c v s v s 的分层模型 为了便于系统的设计与实现，我们将c v s v s 系统划分为几个模块，每个模 块处于系统的一个层次上，具有相对独立的功能，并且模块问相互作用，由此得 到c v s v s 系统的模块分层结构，如图2 2 所示图中的箭头描述了数据与控制 命令在各个模块之间的流动，其中带斜条纹的箭头表示数据流，普通箭头表示控 制流 物理存储资源虚拟化的模块位于c v s v $ 卷服务器的最底层，负责整合后端 的所有物理存储空问，对上层呈现出个一致的、连续的逻辑存储空阋一方面， 中田科学院顼士学位论文集群化的虚拟共享卷服务系统研究 当后端的物理存储设备发生变化时，例如增加新的设备以扩充物理存储空间，该 层可以使得这种变动对上层透明，从而减少管理的复杂性；另一方面，该层次内 也可以采用r a i d 技术进一步发掘物理存储资源的性能及可用性 图2 2c v s v $ 的模块分层结构图 在虚拟化的物理存储资源之上，就可以生成客户端需要的c v s v s 的逻辑卷， 这个过程是由卷生成层完成的在该模块内我们采用了按需分配技术与一种改进 的快照算法一复合式快照算法，这两种技术的核心都是通过操纵地址的映射实 现读写数据的重定向，使得逻辑卷上的数据实际可以存放在物理存储设备上的任 意位置这样一方面可以充分利用物理存储设备上的存储空间，另一方面由于不