（计算机应用技术专业论文）面向计算环境部署的虚拟共享存储架构研究.pdf

摘要 动态提供计算和服务环境以满足开放环境下多变的应用服务需求，是现代计算技术 的一个热点问题。传统的计算环境由存储部件与计算部件静态绑定形成，许多计算环境 按需部署研究都采用了这一构成模式。但随着s a n 等网络存储技术的发展，存储开始 从计算节点中分离出来，以一种资源实体的形式存在和运作存储的网络化与资源化使 其在按需提供与可管理性方面较原有存储模式更具优势。然而，目前计算环境部署领域 中缺乏对此新存储模式的深入研究。因此，对新趋势下适合计算环境部署的存储架构和 相关技术进行探索，挖掘和发挥存储在计算环境部署方面的潜力，对于计算环境部署研 究的发展有较强的理论和实际意义。 在充分分析计算环境部属特点的基础上，本文针对其典型存储特征，与采用了存储 与计算分离思想的部署系统s 伽i d 的实际应用需求相结合，系统地研究了面向计算环境 部署的存储技术。本文的主要贡献与创新点如下： 1 针对计算环境部署特有的部署映像相似性、部署需求突发性等特征以及应用数据 安全性需求，提出了以存储共享为核心的虚拟共享存储架构v s s a 。该架构可有效支持 部署存储的灵活构建、高效并发部署以及数据保护。 2 提出了一种迭代式写拷贝存储模型。模型支持支持任意写拷贝副本可写，提供了 写拷贝禹0 本自身构建写拷贝副本的功能，并且其写拷贝的迭代次数在理论上没有限制。 这一模型不但有效改进了部署映像创建的灵活性，而且通过写拷贝共享提高了存储空阃 的利用率。 3 提出了一种面向写拷贝数据共享的i ，o 优化方法。通过对m 路径的共享优化， 提高计算环境并发部署的性能和可扩展性。本文提出的缓存共享机制可显著优化共享存 储的扩展性与性能。 4 提出了针对写拷贝共享存储的备份恢复机制。支持对存储数据提供全面、灵活的 备份保护，并可维护v s s a 独特的存储共享核心结构及其应用特性。 5 基于上述创新思想，设计和实现了一个原型系统v s 订虚拟共享逻辑卷管理系 统，并应用于s 伽i d 计算环境部署系统，显著提高了部署性能和系统的可靠性及可用性。 试验结果表明，本研究提出的虚拟共享存储架构对于计算环境部署应用的能力发挥可起 到关键作用。 关键词：虚拟共享存储；计算环境部署；迭代式写拷贝；快照；l 路径共享；缓存共 享；备份恢复 r t u a 珂s h a r e d 跏m 铲衄蛐f e c 钿rf o rc 蛐p u 恤l ge l i r i 删咀雠td 叩i o 】舢l 叫t 踟丑删m m p 咖a p p l i 训t 鼬n o l 0 鳓 d i r 。c t 。d b yn i g u 删a n d 洳l n p r o v i d i 】n g 鲫啊q 埘l i t yi s0 n eo ft h em o d c f nc 0 删砌 e f 印p h 删咖d s t h e t c c h l l i q i 壕t 0m o e tt l l ev ，町i i n gs e i c en d si no p ma i v 面o l m e mb ya l l o 蜥n gc 0 恤p l i 血l g 删o n d 锄砌l l a sg o t m 啪a t t e 埘t 胁骶删石0 n a l l y s t 0 i a 寥i s 蛐删t o p h y s i c a l 。0 m 讲曲喀洮s u c h 鲫c b 诹咖w 雒a d o p t e di nm 锄yo 咖叩面l l g 锄v i r 0 衄e n t d q ) l o y i 蹦l t 趼g c e m & w i ml h e 锄帕嘈m o f 饿t 1 】l 姗r i 【鼬嘞g ct c c ：h l o g i e s s a n 缸i i l s t a n o 岛 s 咖眵l l a sg r a 删yb 湖唰梳螂c a l 咖删峨1 1 0 d e 枷f e p 9 艘吣i 刚f 褐a 础心嘶t b i sn 跚出忸g e m o d e h 硒m o r ea d v a n t a g 鹤i n 枷l 曲i l 时a n d m 柚a g 闭岫 t h 舭仃a d i 6 伽i a lm o d e h o w e v e f ，甜d h e s 印p l y i n gt h en e w 鼬o m g em o d e 南rc o m p l n i n g a i v i 加衄e l 吐卸l o y m c n ta r cs t ms c e t i l 甜b r e ，i ti sm 啪i l l 西dt od t ，v d o ps 面t a b l en e t w o r l 【 曲d m g e 缸c b 疵c t l l 瑚锄dt c c ：1 1 l i o l o 百鹤，狮dt o 懿叫o t h e i rp o t a 呖a l p a b i l i 缸嚣旬rc o m p l m l l g 伽刚畋唧【i 埘i td 印l o y m e n t b o mt h e 0 删c a l l y 锄d 删n y b yd o s e l y 锄a l y z i n gl l l e 缸i t l | | 髑o fc o m 】蛳n g v i l 咖e n td e p l o y i n e 鸲c o m b i i l e d 谢1 h t h e 印p h 硼o nn 【l so fs o n d ，a 砌d q ，l o y m ts y s t e ma d o p d i 玛p a 豫湖c o m p u 血g 硼 s 胁g e n o d 铬，m y r e 疵h 旬哪o nm es t i 珊g e 吐哑孤俩s t i 璐i n t l l i s 撇，龇ds e 、，c r a ls t o m g e t e c b j l i q u 鹤m 破c 雒i n l 州c o m p 嘶g 锄“r d m n 咖d 印蛳e m a r ep i o i ，0 s e di nt h i sm 鹞e r t a 吐。童l 1 1 l em 8 i nc o n n i b 础o n so f t l l i sp a p e fa 坤舔f o l l o w s 1 av i n i l a l l ys l 砌s t o r a 伊a 砒i t 瞅u r e ( v s s a ) i sp f e 蛐t e dt on i 鳅m e 娜i c a l r e q l 】i 托m 口临o fc o m p i m n g 胁v i r o m n e 苴吐d q ) l o y i 眦l t ：s i l m l a fi n l a g 嚣p r o v i d i n 岛0 1 m 唧磷 d 锄a i l d ，锄dd a t as 训乜 v s s a np i o v i d en e x i b l es t o m g ej n l a g ec 0 懈饥觚o i i ， l l i 曲吒佑c i 翎c yp a r a l l dd 印l o y i n e n t 龃d d a t a p r o t o c t i o n f b rv i r i o c o m p l m n g 舶v i i o n m 脚c 2 an o v di t 硎v ec o p ) n 枷t cm o d e li sp m v i d e d w i mt 1 1 i sm o d d ，s t o r a g 。- s b a r i l 玛 d e p l o y i n e n ti m a g ec o p i 岱啪b e 删o de 伍d e n t l ya i l dn e 矗b l y ；s a m ed a t ai i lt l l e c o p i 鹤 c a l lb e 谢l ys h a 脚m r o u g h 吐圮p y 枷- w r i t cm c c 枷锄 3 b y 缸蛔唧龇g p 拙s h a 血gt c c o 孚鹤雠b 溅o f 雠咖m g es h a 她 m o c b 砸妇锄，ac 却c h e s t l a r i n g o p 岫i z e dm e t i l o di sp r o p o s e d ，w i t hw t l i 6 hm eu o p c d 研m 锄c e 砌s c a l a b n i 哆o f s h 刹s 胁g e 湖b em n a i k a b l yi i i l p r o v o 正 4 a s p e c i a ib h 唧7 r o c o v e f ym e c 蛐s ma n dm e t h o d sa 弭豁a l t 。d ，w l l i c ht a k et l l es 蜥n g e s s 锄c eo f v s s ai i l t oa o c o u n t ，a n dc 觚s u p p o nf i i l l - s c a l e 越l df l a 【i b l es t i m g eb a c k 叩w 1 1 i l e m a i l 蛐g 蛐g s t r u c t u r eo f v s s a 5 b a do nt h e d b c 忡m 砒n e di 刚di d e 鸱，ap i 叫d 毗o f v s s a 瞰吼o dv i r l 姆s t l 删 v o t 哪m 锄a g 珂0 rv s v mh 嬲b e i l p l 锄e n t e d w 漉v s v l 吐s o r l da t t a h 嵋叫协t a i l d j l l g d 印l o ”n e n t 讲d b r 咖l o ca r l di n l p r o v t 姐d a 慨c 嘶够c o m 群面唱谢mo l 量l 盯d e p l o ) m c n t s 毗部晦e 】【p 盯i n l t s1 1 a _ v ep r o v e nt l l a tt h ev s s ap i u p o s o d 哪p l a yk e yr o l ei nc 0 卿唧血l l g a w i r m l m 饥td 印l o y m 饥tc a 唾l a b i l i t i 髂i i l l p r o v 锄e n t k i j ) 哪r d s ：v i r t u a l l ys h a r e ds t o r a g e ，c 伽p u t i n ge n v i r o 珊e n td e p l o y m e n t ，i t e r a t i v e c o p y o n w r i t e ，s n a p s h o t ， i 0p a t hs h a r i n g ， c a c h es h a r i n g ， b a c k u pa n dr e c o v e r y i i l 图目录 图1 1 0 c 自计算环境按需部署的用户域2 图1 2 ：c o d 系统的体系架构 图1 3 ；s o d a 服务按需部署架构。 图1 4 ：本文的组织结构 图2 1 ：存储虚拟化架构 图2 2 ：p e 融存储虚拟化映射结构 图2 3 ：3 队r 存储虚拟化架构 图2 4 ：s o 衄j d c 存储虚拟化架构。 图2 5 ：v s 订的体系架构。 图2 6 ：v s 垤各功能部分互动关系 图3 1 ：写拷贝原理简单示例。 1 6 图3 2 ：影子对象链的形成。 图3 3 ：写拷贝月i 用拷贝方法 图3 4 ：写拷贝技术的演化。 图3 5 ：3 队r 服务器变化管理模式 图3 6 ：普通写拷贝模型的副本创建与写拷贝过程 图3 7 ：层叠写拷贝模型的副本创建与写拷贝过程 图3 8 ：迭代式写拷贝存储模型 图3 9 ：迭代式写拷贝模型的逻辑卷结构 图3 1 0 ：迭代模型的逻辑卷读写处理流程 图3 1 l ：间接映射与直接映射 图3 1 2 ：迭代式写拷贝原型中逻辑卷的映射组织 图3 1 3 ：带写拷贝副本的逻辑卷数据块写性能 l x 4 3 甜 m 巧 拍 勰 拶 钉 弭 鲐 硒 勰 面向计算环境部署的虚拟共享存储架构研究：图目录 图3 “：迭代写拷贝副本并发测试。 图4 1 ：共享存储的i 路径共享 图4 2 ：a i s 映像部署的阶段划分 图4 3 ：c a c h cf 吣i 的性能扩展性 图4 4 ；共享缓存的设计思想 图4 5 ；逻辑卷共享文件顺序读性能 图4 6 ；逻辑卷共享文件并发读性能 图4 7 ；无共享逻辑卷并发读性能 图4 8 ；无共享逻辑卷并发写性能 图5 bv 】心s 的文件块级增量备份过程 图5 2 ：逻辑卷修改位图迁移与增量备份过程 图5 3 ：逻辑卷副本结构示例 图6 - l ：s 讲l d 系统体系架构 图6 2 ：计算节点与存储映像的整合流程。 图6 3 ：应用v s v m 的s 伽i d 系统 图7 1 ：基于内容的写拷贝共享及其的路径共享 x 表目录 表2 1 ：不同位置的存储虚拟化层特性比较【f 砌e y2 0 0 哪 表2 2 ：v s s a 支持功能与计算环境部署使能特性 表3 1 ：单逻辑卷b o 衄i 卅测试( 2 0 1 6 m 文件尺寸) 表5 1 ：本研究相关备份概念及其特性 表5 2 ：示例备份版本情况 1 8 表6 1 ：s o n d 部署计算环境的启动用时 表6 2 ：计算环境部署系统的部署用时比较 5 6 6 6 7 5 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人己经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 雠名：名蜮阮抛g 争7 目 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 作者签名： 翩签名铭嘶 吼叫乡争7 目 第一章引言 现代计算机系统越来越多地被应用在公共计算中心、数据中心和大型企业等开放环 境下。这些环境所共有的一个显著特点是对计算机系统提供服务的种类和数量的需求具 有很高的动态性和不确定性。由于传统上增加一台应用计算机步骤繁杂、需要大量人工 操作( 安装操作系统、安装应用程序、配置等等) ，十分耗时，因此试图在应用需求出现 后再构建所需服务系统并不现实为了满足可能出现的峰值服务需求，这类系统通常不 得不配置额外的服务资源。根据a m 耐c 锄p o w 髓c ( m e f s i 公司在2 0 0 4 年的客户调查， 通常信息中心的计算资源达到其实际所需资源的4 倍( 即7 5 的计算资源被长期闲置) ， 开放系统的容量利用率仅为4 0 5 0 ( 数据来自于e 砌u a 衙( 们i l p ) 。这不仅造成资源 的大量浪费，而且增加了相应的管理成本。在这样的环境下，以资源共享的形式来满足 用户的动态变化的服务需求就变得很有意义。一方面，当某一服务需求撤销时，将提供 该服务的计算资源和存储资源用于满足新提出的服务需求，能够提高资源的利用率。另 一方面，当某种服务需求出现高峰时，系统能够将资源集中起来应对该服务需求。而当 该服务需求降低时，资源又可以重新分配给其它服务。这样增强了系统对动态需求的适 应能力，系统的健壮性得以提高。 计算环境按需部署正是希望通过上述资源共享的方式解决计算能力与服务能力按需 提供的问题。提供服务的计算环境的两大组成元素是计算能力以及服务数据映像。传统 上，计算环境中这两大元素是一种固定不变的整合，但随着存储网络化技术的发展，如 n a s 和s a n 的出现，许多在应用上分离的数据开始在存储上趋于集中，更多的应用服 务采用统一的后端存储提供服务，计算环境的构成方式也因之开始发生变化。 文献【马一力2 0 0 5 】中阐述了一种存储与计算相分离的架构： 存储计算的物理分离：数据已经成为最宝贵财富，对高性能，易管理的数据存 储系统的迫切需求推动着存储技术与架构不断更迭。随着网络带宽提高和远程 高带宽访问技术的成熟，较传统存储架构更优异的n a s 与s a n 等网络存储架 构开始出现。新架构使得存储与计算从物理上实现了分离。 存储计算的逻辑分离：从应用角度看，存储包含的数据信息具有不可替换性， 而计算则具有可替换性。这种差异使存储( 数据) 与计算在本质上具有分离和 重组的潜在可能。计算与存储的网络分离以及操作系统网络启动的支持为这一 可能变为现实奠定了基础。 结果：存储与计算的逻辑分离和动态重组将打破传统计算存储的应用管理模 式。计算方面，计算不再与存储静态绑定，计算环境可按需动态重构；存储方 面，原本分散在计算节点中的存储能够被集中起来，统筹地进行管理并提供应 用。 中国科学院博士学位论史面向计算环境部署的虚拟共享存储架构研究 近年来针对计算环境部署的相关研究很多，但是之前的研究往往关注于如何在计算 层次进行资源共享，而对于系统中另一重要资源存储资源却没有进行更多的考虑。 在上述存储与计算分离架构下，存储资源的共享就很有意义。因此，对计算环境部署的 存储特性进行研究，挖掘和发展适合的存储技术来提升计算环境按需部署能力具有相当 实际的意义。本文研究在此新架构下计算环境部署的存储部分的组织、访问与保护问题。 1 1 部署系统相关研究及其后端存储 计算环境( 服务) 部署的研究工作主要在系统与应用两个层面进行。系统级计算环 境按需部署系统完成实际服务器系统的构建，主要研究物理机器与系统数据、用户数据 的动态整合机制，寻求灵活、高效的计算服务系统整合与提供方法。而应用级按需部署 将物理机器提供的计算能力看作一个资源池，按需提供计算和服务能力，在实现方面往 往通过虚拟机技术划分单个物理机器上的计算资源，再通过集群技术进行跨物理机器的 资源整合。下面分别介绍两个研究层面的一些典型系统及后端存储。 1 1 1 系统级按需部署系统 o c 自n 0 【a p p l e b y2 0 0 1 】是m m 实验室提出的为骞个用户分配共享资源的系统。该系 统的计算环境动态部署功能以实际的服务器粒度完成。0 0 6 a 为每一个用户分配一个 域，基于s l a ( 服务品质保障协议) 为每一个域提供计算环境。如图1 1 所示，系统中 每一个域都配备有一个w i i a l 们蛐服务器资源池。 图1 1 ：o c 白计算环境按需部署的用户域 其中，每一个域配备的w h a l e 服务器是固定的，其上存放用户的数据库；而为一个域配 备的d c 恤n 服务器负责处理服务请求，可根据此域对服务需求量和种类需求的变化进行 动态调整。域在用户正常使用时，新的d o p h i l l 服务器可以被分配到其中。分配给具体域 2 第一章引言 的d ( ，p h i n 服务器还可回收并再分配给其它域 o 幽计算环境的按需构建通过在d 【，p b 诅服务器的本地磁盘上安装操作系统的方 式来完成。当服务器提供服务的操作系统平台改变时，需要重新安装操作系统。操作系 统安装完成后，还要加入所需应用服务的程序和数据。为了减小计算环境构建的时间空 间复杂度，所有应用数据( 应用程序，配置文件) 存放在共享文件系统中，本地磁盘只 有临时数据，机器专用配置和基本的操作系统( 操作系统不负责部署) 。这样，当服务器 出错或删除时，所有本地磁盘数据被抹去( 除了机器专用配置和基本的操作系统) 。 为了保证数据与物理服务器整合的性能，o 蜘。的数据部署子系统l 转换为c 服务器l d 。物理磁盘i d ，蠢盘伯秘 虚拟磁盘i d 服务器l服务器2 服务器3 i l 虚拟磁盘 虚拟磁盘 虚拟磁盘 h 目录目录 目录 1 j 一一 i 勰 il 全局 1 服务翻di 映射表 ll l + 物理 【 i物理 物理 映射表l 1 映射表2映射表3 i q 目理磁盘m ，磁盘偏移 图2 2 ：p d a i 存储虚拟化映射结构 p e c a l 提供了虚拟磁盘的写拷贝快照机制用于支持数据备份。为了支持快照，虚拟磁 盘目录不再将虚拟磁盘d 转换为全局映射d ，而是转换为( 全局映射d ，时间号 ，再 由物理映射表将 转换为物理磁盘和该磁盘上的偏移。时间号是一 个单调递增的数，用于区分放在虚拟磁盘在不同时间点的数据。当创建一个新快照时， 就产生一个新的时问号，虚拟磁盘采用这个新的时间号，而新快照则使用虚拟磁盘原来 使用的旧时间号。这样虚拟磁盘写入新数据时将会在新时间号的映射中创建新项，写到 新的物理磁盘偏移中。p e t a l 仅支持只读型快照。 p e t a l 中新存储服务器的动态加入后，可以通过为每一个虚拟磁盘重新建立一个全局 映射表，全局映射表中纳入新服务器，并进行必要的磁盘迁移的方式将此服务器及其存