（计算机系统结构专业论文）一种基于san的windows存储虚拟化系统.pdf

【一 学位论文独创性声明 本人承诺：所呈交的学位论文是本人在导师指导下所取得的研究成果。论文中除特：5 | l l l j n 以标注 和致谢的地方外，不包含他人和其他机构已经撰写或发表过的研究成果，其他同志的研究成果对本 人的启示和所提供的帮助， 本学位论文作者完 权保留并向国家有关部 辽宁师范大学，可以将 用影印、缩印或扫描等 论文的内容相一致。 保密的学位论文在 学位论文作者签名： 【 辽宁师范大学硕士学位论文 摘要 使用存储虚拟化技术能够更加充分地发挥存储区域网s a n 系统可用性强、扩展性 好等特点。在基于带外s a n 架构的存储虚拟化系统中，元数据服务器负责整合异构的 存储资源和组织元数据信息，应用服务器负责在操作系统内核驱动模块中维护虚拟存储 设备的元数据信息，虚拟化代理软件使用这些元数据信息完成i o 从逻辑设备到物理设 备的地址映射。由于采用了控制流与数据流分离的带外架构，能够有效地缩短系统响应 时间，方便用户对系统进行灵活地配置管理。 随着存储虚拟化技术在企业级用户当中的逐渐普及，人们对存储虚拟化产品在节 能、高效、实用、可靠等方面都提出了更高的要求。在部署存储系统时，企业级用户通 常需要支持主流操作系统平台的存储虚拟化产品。本文给出了一种能够应用在w i n d o w s 操作系统平台的存储虚拟化客户端软件，该软件作为基于s a n 环境下的存储虚拟化系 统t h v s s 的一部分，在操作系统内核态提供虚拟存储的基本服务，将该软件安装在存 储虚拟化系统的应用服务器上，能够为用户提供大容量，高带宽的虚拟存储设备，并且 支持f a t 3 2 、n t f s 等主流文件系统。 此外，存储虚拟化软件在此基础上还开发了一些新的功能特性用来提高基于s a n 架构的存储虚拟化系统的服务质量。按需分配技术能够有效地提高存储资源利用率从而 节约能耗，条带卷在线扩展技术可以在不中断虚拟存储服务的情况下完成大规模的数据 迁移，增强存储设备的可扩展性和高可靠性。该软件除了在w i n d o w s 操作系统实现存储 虚拟化的基本服务之外，还以客户的角度对其新功能特性做了一些改进，不必对远端的 管理服务器进行维护和升级，同样可以达到提高虚拟存储设备性能的目的。 实验结果表明，与传统虚拟卷相比，使用按需分配技术可以在损失极小性能的前提 下有效节约存储资源；通过在线扩展技术不仅是虚拟存储卷在容量上和性能上得到有效 扩展，还能够在数据迁移的同时始终保持虚拟存储服务的持续性。 关键词：存储区域网；存储虚拟化；按需分配；在线扩展 辽宁师范大学硕士学位论文 t h es a n b a s e ds t o r a g ev i r t u a l i z a t i o ns y s t e mi nw i n d o w s s y s t e m a b s tr a c t s t o r a g ev i r t u a l i z a t i o nt e c h n o l o g yc a ns e r v et h es t o r a g ea r e an e t w o r kb e t t e ri nu s a b i l i t y a n de x p a n s i b i l i t y i ns t o r a g ev i r t u a l i z a t i o ns y s t e mb a s e do no u t o f - b a n ds t o r a g ea r e an e t w o r k t h em e t a d a t as e r v e ri nc h a r g eo ft h ei n t e g r a t i o no fh e t e r o g e n e o u ss t o r a g er e s o u r c e sa n d o r g a n i z a t i o nt h em c t a d a t ai n f o r m a t i o n t h ea p p l i c a t i o nse ! r v e l si nc h a r g eo fm a i n t a i nt h e m e t a d a t ai n f o r m a t i o no fv i r t u a ls t o r a g ed e v i c e si nd r i v e rm o d u l e t h r o u g ht h eo p e r a t i o ns y s t e m k e r n e lm o d e t h ev i r t u a l i z a t i o na g e n ts o f t w a r eu s i n gt h em e t a d a t ai n f o r m a t i o nt oc o m p l e t e t h ei 0a d d r e s s e sm a p p i n gb e t w e e nt h el o g i c a ld e v i c e sa n dt h ep h y s i c a ld e v i c e s t h e s t o r a g e v i r t u a l i z a t i o ns y s t e ma d o p tt h eo u t o f - b a n da r c h i t e c t u r et os p l i t 廿1 ec o n t r 0 1s t r e a ma n dt h e d a t as t r e a m ，w h i c hc a nr e d u c et h es y s t e mr e s p o n s et i m e ，m a n a g e m e n ta n dc o n f i g u r a t i o nc a n b em o r ec o n v e n i e n ta n df l e x i b l e t h es t o r a g ev i r m a l i z a t i o nt e c h n o l o g yi sm o r ep o p u l a rt h a ne v e ri ne n t e r p r i s ec u s t o m e r s s ot h e yr e q u i r et h ep r o d u c t so fs t o r a g ev i r t u a l i z a t i o nc a l lb em o r eo u t s t a n d i n gi n c e r t a i n a s p e c t ss u c ha se n e r g yc o n s e r v a t i o n ，e m c i e n tu t i l i z a t i o n ，p r a c t i c a la p p l i c a t i o na n dr e l i a b l e q u a l i t y t h ee n t e r p r i s ec u s t o m e r sr e q u i r e dt h es t o r a g ev i r t u a l i z a t i o ns y s t e mc a l l s u p p o r t p r e m i e ro p e r a t i o ns y s t e mw h e nt h e ya r ed e p l o y i n gt h es t o r a g es y s t e m i nt h i sp a p e rp r o p o s e s as o f t w a r ea saa g e n ti nt h es t o r a g ev i r t u a l i z a t i o ns y s t e mw h i c hc a nb eu s e do nt h ew i n d o w s p l a t f o r m ，t h i ss o f t w a r ei sap a r to ft h es t o r a g ev i r t u a l i z a t i o ns y s t e mb a s e do ns t o r a g ea r e a n e t w o r k , i no p e r a t i o ns y s t e m sk e m e lm o d e ，t h i ss o f t w a r ec a ns u p p l yt h eb a s es e r v i c eo f v i r t u a ls t o r a g e 1 1 1 ec u s t o m e r sc a n g e th i g hc a p a c i t ya n db a n d w i d t hv i r t u a ls t o r a g ed e v i c e sb y d e p l o y i n gt h es o f t w a r ei nt h ea p p l i c a t i o ns e r v e r s ，w h i c ha l s os u p p o r tt h el o c a lf i l es y s t e m s u c ha sf a t 3 2a n dn t f s o t h e r w i s e ，w ed e v e l o ps o m en e wf e a t u r e sf o rt h i ss o f t w a r e ，i n c l u d i n gt h i n p r o v i s i o n t e c h n o l o g ya n do n l i n e - e x t e n s i o nt e c h n o l o g yf o rs t r i p e dl o g i c a lv o l u m e t h et h i n p r o v i s i o n t e c h n o l o g yf o rs a v i n ge n e r g yc o n s u m p t i o nb yu s i n gs t o r a g er e s o u r c e se f f e c t i v e l y , t h e o n l i n e e x t e n s i o nt e c h n o l o g yf o rs t r i p e dl o g i c a lv o l u m ec a nc o m p l e t et h e l a r g e s c a l ed a t a m i g r a t i o nw i t h o u ti n t e r r u p ts t o r a g es e r v i c e s ，e n h a n c ev i r t u a ls t o r a g ed e v i c e ss c a l a b i l i t y ，h i g h r e l i a b i l i t y , a n dt h es e r v i c eq u a l i t yo fs t o r a g ev i r t u a l i z a t i o ns y s t e mb a s e do ns t o r a g ea r e a n e t w o r k ，n ：l i ss o f t w a r en o to n l yr e a l i z et h eb a s es e r v i c e so fv i r t u a ls t o r a g eo nw i n d o w s p l a t f o r m ，b u ta l s oi m p r o v es o m en e wf u n c t i o n a lp e r f o r m a n c ef o r mt h ec u s t o m e r sp e r s p e c t i v e ， e n h a n c et h ep e r f o r m a n c eo fv i r t u a ls t o r a g ew i t h o u tm a i n t a i na n d u p d a t et h em a n a g e rs e r v e r t h ee x p e r i m e n t a lr e s u l ts h o w st h a t ，c o m p a r ew i t ht h et r a d i t i o n a lv i r t u a ls t o r a g ev o l u m e t h et h i n - p r o v i s i o ns t o r a g ev o l u m ec a ns a v et h e e n e r g yc o n s u m p t i o ne f f e c t i v e l yb yl o s i n g m i n e rp e r f o r m a n c e ；u s i n gt h eo n l i n e e x t e n s i o nf o r s t r i p e dv o l u m en o to n l ye x t e n dt h e 呐鲰 一i i - 辽宁师范大学硕士学位论文 c a p a c i t ya n dt h ep e r f o r m a n c e ，b u ta l s oc a nk e e pt h ev i r t u a ls t o r a g es e r v i c es u s t a i n a b l ed u r i n g t h el a r g e - s c a l ed a t am i g r a t i o n k e yw o r d s ：s t o r a g ea r e an e t w o r k ；s t o r a g ev i r m a l i z a t i o mt h i n - p r o v i s i o n ：o n l i n e e x t e n s i o n i i i 一种基于s a n 的w i n d o w s 存储虚拟化系统 目录 摘要。i a b s t r a c t i i 1 绪论1 1 1 选题的背景知识。1 1 2 本文的组织和主要工作1 2 综述及关键技术3 2 1 课题综述3 2 1 1 存储区域网s a n 3 2 1 2 存储虚拟化系统t h v s s 3 2 2 研究现状3 2 3 关键技术4 2 3 1 存储资源按需分配技术4 2 3 2 条带卷在线扩展技术5 2 4 本文的创新及主要贡献5 3w i n d o w s 存储虚拟化系统6 3 1 系统结构设计6 3 1 1 系统整体结构设计6 3 1 2 元数据服务器7 3 1 3 客户端软件结构设计7 3 1 4 虚拟卷驱动程序结构设计7 3 1 。5 客户端代理软件结构设计9 3 2 系统实现1 0 3 2 1 虚拟存储设备实现原理1 0 3 2 2 客户端代理软件实现原理1l 3 3 虚拟存储服务流程11 3 3 1i 0 流程11 3 3 2 系统服务流程1 2 4 存储资源按需分配功能1 5 4 1 存储资源按需分配功能介绍1 5 4 2 按需分配卷的设计方案1 6 4 2 1 按需分配卷数据结构设计。1 6 4 2 2 按需分配卷实现流程1 7 4 3 按需分配功能的实现原理1 7 辽宁师范大学硕士学位论文 4 3 1 按需分配功能的设计方案1 7 4 3 2 按需分配卷写时请求的实现1 8 4 4 改进的通信策略1 9 4 5 按需分配功能的工作流程1 9 5 虚拟卷在线扩展功能2 1 5 1 条带化的虚拟卷2 1 5 1 1 条带卷的原理2 1 5 1 2 条带卷的映射方式2 l 5 1 3 条带卷的设计与实现2 2 5 2 虚拟卷卷在线扩展的工作原理2 4 5 3 虚拟卷在线扩展功能的设计方案2 5 5 4 虚拟卷在线扩展关键技术2 6 5 4 1 写时请求的实现流程2 6 5 4 2 数据一致性保护2 7 5 5 虚拟卷在线扩展实现流程2 8 6 测试与评价。3 1 6 1 测试环境31 6 2 按需分配功能测试3 1 6 2 1 测试描述3 1 6 2 2 测试数据3 2 6 2 3 测试结果评价3 3 6 3 条带卷在线扩展功能测试3 5 6 3 1 测试描述3 5 6 3 2 测试数据3 6 6 3 3 测试结果评价3 7 结论，3 9 参考文献4 0 攻读硕士学位期间发表学术论文情况。4 3 至i 谢z 珥 一v 一 辽宁师范大学硕士学位论文 1 绪论 1 1 选题的背景知识 进入网络时代，诸如数据中心，电子商务，在线点播，网格计算等高级在线应用通 常会催生出海量的信息和数据，存储管理者需要将这些数据保存在超大规模的存储设备 中，并且为这些存储设备部署合理的体系架构，因此需要一个稳定可靠的存储系统来管 理和维护这些存储设备。海量存储的目的是为了更好地为前端大型应用服务，因此存储 系统的服务质量直接影响到前端应用的运行状况。 一 存储区域网s a n ( s t o r a g ea r e a n e t w o r k ，s a n ) 【1 】利用高速网络( 如光纤) 将应用 服务器集群与异构的高级存储设备( 如磁盘阵列、磁带库等) 相连接，所有数据传输均 在相对独立的高速网络内进行，因此可以方便地在存储系统内部进行集中控制以及数据 共享。采用带外架构( o u t o f - b a n d ) 的s a n 可以使网络内的控制流与数据流相分离，能 够提高数据传输速度，减少管理节点的带宽压力。 存储虚拟化技术【2 】在s a n 环境下将底层异构的物理存储设备整合为统一的存储池， 通过合理地分配存储资源并将其抽象为虚拟存储设备分配给用户。因为存储虚拟化服务 对用户是完全透明的，用户在使用这些虚拟存储设备时不必关系实际的物理存储器来自 哪里或性能指标如何，直接将虚拟存储设备当作一般的逻辑存储器进行i o 访问即可。 实际上，用户在逻辑存储器上产生的i o 访问请求，都要经过存储虚拟化进行地址映射 之后转达到实际的物理存储器上。将存储虚拟化技术应用于s a n 环境，能够简化存储 管理配置，提高存储区域网络的整体访问速度。存储虚拟化技术根据物理布局分为基于 主机，基于网络，基于设备三种方法，根据i o 路径分为带内，带外两种方法。 1 2 本文的组织和主要工作 第一章为绪论，从网络时代对在线应用的存储需求出发，简要介绍了存储区域网 s a n 以及存储虚拟化技术的实现原理，最后对本文的组织做一个简单梳理，分别列出每 一章的概要。 第二章为综述及关键技术，详细介绍了存储区域网s a n 和存储虚拟化系统的技术 特点，在相关工作中通过对各大存储厂商的存储虚拟化产品进行特征对比。分析了各中 的优点和不足，从而引出了本文所介绍的存储虚拟化软件及其两项关键技术在兼容性及 可靠性方面的优势。 第三章为w i n d o w s 存储虚拟化系统设计与实现，首先从整体上描述了整个存储虚 拟化系统的架构设计，分别介绍了在带外s a n 环境中各类服务器以及存储设备的功能。 然后详细介绍了w i n d o w s 存储虚拟化软件的系统设计以及实现流程。 一种基于s a n 的w i n d o w s 存储虚拟化系统 第四章为本文提出的关键技术之一：存储资源按需分配功能的设计与实现，针对目 前业界对i t 设备能耗方面的要求，使用按需分配的方法节约物理磁盘空间，提高存储 资源利用率。详细描述了具备按需分配功能的虚拟卷的结构设计以及i o 流程。 第五章为本文提出的关键技术之- - 条带卷在线扩展功能的设计与实现，为了让条 带化的虚拟卷在扩展时能够在线地进行，采用写时请求的方法保证用户的i o 访问能够 在数据迁移的同时准确地进行。详细描述了条带卷在线扩展的设计方案以及i o 流程。 第六章为测试与评价，对w i n d o w s 存储虚拟化软件的存储资源按需分配功能以及 条带卷在线扩展功能进行实际测试，通过专用测试工具收集测试结果数据，总结测试效 果，验证各个功能的可用性。 一2 一 辽宁师范大学硕士学位论文 2 综述及关键技术 2 1 课题综述 2 1 1 存储区域网s a n 存储区域网s a n ( s t o r a g ea r e an e t w o r k ，s a n ) 是一种专门为大规模数据应用提出 的存储解决方案，将应用服务器与海量存储设备通过高速网络通道连接在一个相对独立 的子网内进行数据传输。采用这种架构的优势在于，海量存储存储设备在子网内可以看 作是应用服务器的直连设备，因此简化了存储设备的管理和维护过程，使数据共享变得 更加方便。 组建s a n 环境需要相当规模的高级磁盘阵列作为存储节点，需要专门的元数据服 务器负责管理整个存储虚拟化系统，需要高速的网络通道( 例如光纤) 【3 】将前端应用服 务器接入到s a n 环境中，因此在大型企业级存储设计方案当中，搭建s a n 环境往往需 要为大规模的设备器材准备足够的布置空间以及昂贵的采购预算。 2 1 2 存储虚拟化系统t h - v s s 存储虚拟化系统t h - v s s ( t s i n g h u av i r t u a l i z a t i o ns t o r a g es y s t e m ) 【4 】全称为“面向 海量存储管理的带外虚拟化系统软件 ，该系统开发的目的是研制出能够应用在“p b 级高性能海量存储系统 上的带外虚拟化系统软件，支持多种主流操作系统( l i n u x 、 w i n d o w s 、s o l a r i s ) 和文件系统( g f s 、n t f s 、u f s 等) ，通过光纤网络将应用服务器 与高端磁盘阵列相连接，能够为用户提供大容量、高性能、易扩展、高可靠，功能丰富 且管理简便的虚拟存储设备。 存储虚拟化系统t h v s s 较之以往的海量存储系统还具有一些新特性，例如存储资 源按需分配功能，条带化虚拟卷在线扩展功能等，这些功能的设计与实现方式将分别在 后面的章节中加以介绍。 2 2 研究现状 如今市面上一些主流存储厂商推出的存储虚拟化产品，例如e m ci n v i s t a 5 1 ，h p s t o r a g e w o r k ss a n 【6 】，i b mt i v o l it o t a l s t o r a g es a n v o l u m ec o n t r o l l e r t 7 1 等等，这些产品 在具备各自技术优势的同时也普遍存在着些兼容性的缺陷：在软件方面，大多需要厂 商专用的虚拟化平台软件与定制的硬件驱动程序配合工作，这样不利于系统的后续升 级；在硬件方面，从用户的长远考虑，过于依赖单一厂商的专有硬件设备，对整个存储 系统的扩展性和持续性都是极为不利的。 e m c 公司的e m ch a v i s t a 虚拟存储方案需要依赖一个特殊定制的“智能交换机”来负 责服务器节点之间的信息交互，该交换机还要随硬件的更替而不断升级【8 1 ；惠普公司的 一3 一种基于s a n 的w i n d o w s 存储虚拟化系统 h ps t o r a g e w o r k s 虚拟化存储产品是在其专用阵列产品“e v a 系列”的基础上研发的，如 需扩展更多的功能特性还要后续安装更多的软件产品。由此可见这些存储虚拟化产品对 专有硬件以及专用软件的依赖性都很强，不利于用户进行后续的存储系统扩展工作p j 。 i b m 公司的i b mt i v o l it o t a l s t o r a g es a nv o l u m ec o n t r o l l e r 存储虚拟化产品，提供了对 部分非i b m 存储系统( e m c 、h p 等) 的扩展支持，由单点服务器集中管理统一的存储 池，但这款产品只支持部分基于l i n u x 平台的应用服务器，并不支持基于w i n d o w s 平台 的应用服务器u 。 当前，众多的企业级用户迫切需要在w i n d o w s 平台上部署存储虚拟化系统，以处理 体积越发庞大且数量与日俱增的海量数据。随着业界对存储虚拟化技术的认知度越来越 高，对存储虚拟化产品在功能方面的要求也越来越多。 对于w i n d o w s 用户，存储虚拟化服务应该对底层硬件没有任何特殊要求，所有基 本功能特性都在操作系统内核态实现，对各种磁盘设备和h b a 卡的驱动程序都是通用 的，因此不存在硬件兼容性的问题；存储虚拟化服务应该能够帮助用户合理地分配存储 资源从而提高存储设备的利用率，达到节能减耗的目的；此外存储虚拟化服务应该具备 灵活的扩展机制，当w i n d o w s 用户决定对当前的存储系统进行扩展时，可以有更多选 择，从而有效地减少购置存储设备时的成本开销。 2 3 关键技术 2 3 1 存储资源按需分配技术 近年来，大型电子设备的能耗问题越来越受到业界的重视，由于组建s a n 环境需 要购置昂贵的网络设备以及存储设备【1 1 1 ，对于企业级用户，怎样合理地利用现有设备从 而最大化地发挥s a n 海量、高速的性能优势就显得尤为重要【1 2 1 。存储虚拟化的按需分 配技术正是针对这个问题而提出的解决方案，以用户对虚拟存储设备的实际需求为出发 点，并不一次性地为其分配所有存储资源，而是针对用户对虚拟卷的具体使用情况，动 态地为其分配存储资源。当用户对虚拟卷的利用率普遍较低时，便可利用该技术优势使 当前节省下来的存储资源能够最大限度地满足更多用户对虚拟存储的需求。 以往，具备按需分配功能的存储虚拟化系统的典型代表有t h - v s s 以及 b w v s d s 1 3 】。在早期版本的t h v s s 中，由元数据服务器m d s 创建一种名为t p v o l u m e 的虚拟卷，利用按需分配的思想，在存储池中动态分配存储资源；在b w v s d s 中，使 用a s d 【1 4 】技术，采用写时分配策略为用户分配存储资源，并利用将元数据与用户数据 相分离的布局方案，提高了虚拟卷的可靠性。然而，以上提到的这两个系统的按需分配 功能目前都只能在l i n u x 操作系统上实现，并没有为使用其他操作系统的用户提供存储 虚拟化按需分配的解决方案。 一4 一 辽宁师范大学硕士学位论文 在现有的存储资源动态分配技术中，v i r t u a la l l o c a t i o n 1 5 】采用一种灵活的存储空间分 配策略，将资源分配与文件系统相分离，能够在l i n u x 操作系统环境下使不同的文件系 统之间共享存储资源，利用写时分配的策略使实际的物理空间随上层应用对逻辑空间的 使用情况逐渐增长；n c t a p p 推出的f l e x v o l 1 6 】，在物理存储设备与上层逻辑设备之间虚 拟出一个中间层设备，由独立或多个节点共同管理虚拟卷，可以实现存储空间按需分配 以及资源共享【1 7 】。使用虚拟分支网络创建二级元数据缓冲区，可以减小对元数据存储池 的访问压力，此外，存储管理系统还可以从f l e x v o l 卷中回收释放掉的空间并及时更新 映射信息。 2 3 2 条带卷在线扩展技术 当虚拟卷的空间不足时就要对其进行容量的扩展，在条带化的虚拟卷中，由于逻辑 卷存储的数据按块分布在各个物理磁盘上，一旦进行扩展就必然要涉及大量的数据迁移 过程【1 8 1 。在传统的方法中，这个迁移的过程必须脱机完成，即在扩展的过程中客户端必 须暂时放弃使用该条带卷。因为只要进行数据迁移就意味着映射信息将会发生改变，而 此时若客户端仍然按照原有的映射表使用该虚拟卷就会造成不可避免的i o 访问错误， 影响数据一致性。 为了改进这一点，存储虚拟化系统提供了一种可以对条带化的虚拟卷进行在线扩展 的新功能特性，即可以实现对虚拟卷的容量扩展，还可以实现对虚拟卷的性能扩展【l 9 】， 并且在整个扩展的过程中保证用户对虚拟卷的正常使用。 2 4 本文的创新及主要贡献 本文的创新及主要贡献在于设计并实现了一个基于在带外s a n 环境下存储虚拟化 系统w i n d o w s 客户端软件，并在此基础上实现了两项关键技术：按需分配功能和条带 卷在线扩展功能。 市面上现有的存储虚拟化产品虽然在功能上都可以实现存储资源整合，精简管理配 置等虚拟化技术基本的功能，但是在硬件兼容性以及支持异构操作系统平台等方面都亟 待改善。t h v s s 系统不但对底层硬件没有依赖性，而且可以支持l i n u x ，w i n d o w s ，s o l a r i s 等多操作系统平台，能够满足不同操作系统用户对虚拟存储服务的需求。 如今业界对i t 设备的能耗问题越来越重视，为了节约磁盘使用空间，提高存储空 间利用率，使存储系统能够以有限的存储资源为更多用户提供虚拟存储服务，本文设计 并实现了一种具备按需分配功能的虚拟卷，可以有效地节约存储资源；为了实现虚拟存 储服务在进行数据迁移时能够保证服务不中断，本文设计并实现了条带卷的在线扩展功 能，能够让条带化的虚拟卷在线地进行容量和性能的双重扩展。 一种基于s a n 的w i n d o w s 存储虚拟化系统 3w in d o w s 存储虚拟化系统 3 1 系统结构设计 3 1 1 系统整体结构设计 存储虚拟化系统t h v s s 是基于存储区域网s a n 的架构设计而成，由负责管理存 储虚拟化系统的虚拟化元数据服务器，以及分布在s a n 环境中的客户端服务器机群， 通过光纤通道f c 与异构的高性能磁盘阵列连接组成存储带外架构。此外，服务器之间 还要通过以太网互相连接，用来进行存储虚拟化的指令交互。 一个典型的存储虚拟化系统设计方梨2 0 如图3 1 所示： 蚕 j ! e m c 迭溢薄列i b m 馘盘 ；孚列d e ll 磁盘阵列 图3 1 存储虚拟化系统设计方案 f i g 3 1d e s i g no f v i r t u a l i z a t i o ns t o r a g es y s t e m 韵嬲暇禹 镌鬟霹鬻糍 镌赣赣翻 h p 蔽盛蹲列 在传统的带内存储架构当中，来自应用服务器的i o 访问都需要先经过元数据服务 器取得映射信息后再到达底层存储设备，采用这样的设计，当大量前端应用程序同时工 作时，会给元数据服务器造成很大的工作压力，很容易使其成为系统瓶颈。而在带外存 储架构中，元数据服务器把一份完整的虚拟卷映射视图预先导出给应用服务器，此后应 用程序再进行i o 访问时就可根据映射视图直接访问底层存储设备，这种方式把数据流 和控制流隔离开来，既减少了元数据服务器的工作压力，又提高了存储设备的整体访问 效率【2 。 一6 一 辽宁师范大学硕士学位论文 3 1 2 元数据服务器 在t h v s s 当中，元数据服务器m d s ( m e t a d a t as e r v e r ) 2 2 1 作为系统的重要组成 部分，主要负责以下几个方面的工作： ( 1 ) 通过指定名称以及分配密匙k e y 管理s a n 环境中的所有物理存储设备： ( 2 ) 将s a n 环境中异构的物理存储器整合为统一的存储资源池【2 3 】； ( 3 ) 根据前端应用服务器的要求，在资源存储池中以元数据的方式分配虚拟存储设 备； ( 4 ) 更新维护元数据，在对虚拟存储设备进行扩展时负责元数据的迁移工作； ( 5 ) 向前端应用服务器的存储虚拟化客户端软件发送各种虚拟化指令。 3 1 3 客户端软件结构设计 存储虚拟化系统w i n d o w s 客户端v a 主要由虚拟卷驱动程序m a g i c d i s k s y s 和客户端 代理软件a u i e x e 两部分组成 2 4 1 。虚拟卷驱动程序作为内核态模块，负责在w i n d o w s 操 作系统下，对存储虚拟化系统提供的虚拟卷进行基本操作以及实现新的功能特性。客户 端代理软件作为用户态模块，负责与元数据服务器m d s 进行交互，接收来自m d s 的 指令，并且把v a 的执行情况反馈给m d s 。在虚拟卷驱动程序和客户端代理软件之间， 由内部的消息传递机制i o c t l 负责内核态与用户态的信息交互。 w i n d o w s 客户端整体结构设计如图3 2 所示： 存储虚拟化w i nd o w s 客户端 孝”j 。”嬲”誓y ? _ ”黟 一 “ 。“” “ 。+ ；二：。矗“；誓；矿“? j ：；。= 0 。? 辩j 高否 i c c n 内核巷 臻9 黟翌渺” ”r 。5 氛矗0 鑫j 甍誓。：7 i ，：；i ：，j ：。! “0 一； 图3 2w i n d o w s 客户端整体结构设计 f i g 3 2d e s i g no f w i n d o w sv a ss t r u c t u r e 3 1 4 虚拟卷驱动程序结构设计 虚拟卷驱动程序m a g i c a i s k s y s 是在v i s u a ls t u d i o2 0 0 5 和w d k ( w i n d o w sd r i v e rk i t ) 【2 习的环境下开发完成的，其中w d k 是由微软推出的一种完全集成的w i n d o w s 驱动程 序开发系统，为驱动开发者提供一套完整的目录结构、函数库以及驱动示例，简化了驱 动程序开发的复杂度，并且提供测试工具用来验证驱动程序的稳定性和可靠性。作为一 一7 - 一种基于s a n 的w m d o w s 存储虚拟化系统 个n t 式驱动程序，m a g i c d i s k s y s 负责创建并初始化虚拟存储设备，并且处理来自虚拟 卷的i 0 访问。在此基础上通过添加特定的模块完成存储虚拟化系统的一些新功能特性。 系统为虚拟卷驱动程序在内核态生成驱动对象( d r i v e ro b j e c t ) 【2 6 j ，需要通过 填充该对象的各个域从而实现存储虚拟化的各个功能。驱动对象的d r i v e r e x t e n s i o n 域存 放着操作系统内部与驱动程序相关的全局信息，其中包含存储虚拟化系统当中物理卷 p v ( p h y s i c a lv o l u m e ) 、卷组v g ( v o l u m eg r o u p ) 以及逻辑卷l v ( l o g i c a lv o l u m e ) 的组织方式和结构关系。其中物理卷p v 作为底层物理设备的表示符号，可以代表某个 实际存储设备( 例如磁盘阵列中的某一块磁盘) ，通过唯一的全局标识u u i d 方便上层 逻辑卷的i o 请求对底层物理设备的访问；卷组v g 为了整合存储资源，将所有p v 组织 成一个可以统一管理的存储池，在这个存储池中系统管理员要为不同的应用场景分配不 同类型的l v ，v g 中包含了当前虚拟化系统所有p v 和l v 的基本信息，它们各自被维 护成一个链表结构；系统通过创建设备对象( d e v i c eo b j e c t ) 1 2 7 的方式来创建逻辑 卷，l v 在存储虚拟化系统当中也有一个全局标识u u i d ，此外，在这个结构中还定义 该逻辑卷的卷名称、卷类型、访问模式、事件消息、当前状态等，最重要的是，在这个 结构中还用s e gl i s t 域用来维护逻辑地址与物理地址的映射关系，s e gl i s t 域中的 每一个节点s e g m e n t 代表一段映射关系，其中a r e a 域表示实际要映射的物理地址。 虚拟卷驱动程序的数据结构关系如图3 3 所示： 图3 3 虚拟卷驱动程序的数据结构关系 f 远3 3 d a t as t r u c t u r eo f v i r t u a lv o l u m e sd r i v e r 一8 一 辽宁师范大学硕士学位论文 3 1 5 客户端代理软件结构设计 客户端代理软件a u i 为存储虚拟化系统的使用者提供了一个友好的用户界面，由提 供存储虚拟化服务的系统管理服务器为用户提供当前m d s 的i p 地址以及合法的密钥文 件，用户只要配置好这些登录信息即可成功登录。 个成功登录的界面信息如图3 4 所示： 一谚登陆元教据暇务器 ； 0 。礅眦丽汽蕊嚣丽端口：丽虿一 。： 洳：蕊焉最东赢函菠蜀西翁茌蕊 兰墨垫l 一兰竺l 堡堂| + o - - - _ - _ _ - _ - _ _ _ _ - o o - _ _ _ _ _ - h _ _ _ _ - _ _ _ - - - _ _ - _ 。_ _ _ _ - _ 图3 4 客户端代理软件用户界面 f i g 3 4w i n d o w s v a ss e s s i o n 客户端代理软件当中用户态的通信模块负责接收来自m d s 的各种虚拟化指令以及 逻辑卷的映射视图，在把这些信息翻译成内核态能够理解的内容，然后再通过系统内部 的消息传递机制i o c t l 转发给内核态的驱动程序，当驱动程序成功执行完某个虚拟化 指令时，还要通过通信模块将反馈信息传回m d s ，由此完成v a 于m d s 之间的数据交 互。v a 与m d s 之间的通信使用s o c k e t 的方式，其中要遵守特定的通信协议( t c p 或 u d p ) ，如图3 5 所示： 一种基于s a n 的w i n d o w s 存储虚拟化系统 3 2 系统实现 w 烈d o w s 客户端。j 元数据服务器 ：霹羔“= 嚆幂要+ ： 一l l 2 蔺嬲r 蝴7哆妊獬： ：磊纛基。蠢如：墼删糯矗。 一， 图3 5v a 与m d s 之间的数据交互 一 f 远3 5 d a t ai n t e r a c t i v eb e