（计算机软件与理论专业论文）基于ip的虚拟存储管理框架的设计与实现.pdf

摘要 摘要 虚拟存储作为一种能够提供大容量数据存储的新技术，解决了企业数据的不 断累积所带来的容量需求增大的问题，引起了业界的普遍关注，并得到了快速 的发展。存储区域网络( s t o r a g e a r e a n e 似o r k ，s a n ) 是虚拟存储技术的一种， 它使用光纤或i p 网络将磁盘阵列或磁带库与相关服务器连接起来，这样，不管 数据放置在哪里，服务器都可以直接进行读写。s a n 通过存储虚拟化技术，将 多个物理设备虚拟成一个存储池，满足了存储容量不断增大的需求。 系统容量需求的增大和存储设备的异构性带来了存储管理的问题，s n n 协 会基于c m w e b m 标准制定了存储领域的标准s m i s ，按照该标准开发的 存储系统可以与其他厂商的产品在一个存储区域中协同工作，不仅简化了存储 管理，而且使构造大容量设备成为可能。 本文结合作者参与开发的一个i p s a n 系统虚拟存储设备系统v s d s 的 开发实践，提出了一种虚拟存储的管理框架v s m a 。v s m a 采用面向对象的设 计方法，遵循s m i s 中带外存储的标准，为v s d s 管理系统设计了详细的模块 结构、对象类图和数据库结构。v s m a 的设计覆盖了虚拟存储系统的各个层面， 结构完整，具有良好的扩展性。 在v s m a 框架设计的基础上，本课题开发实现了v s d s 管理系统，该系统 按照m v c 模式编码实现，支持操作的批处理，方便管理员分配、管理存储资源。 在开发过程中，使用了模板、m o dp e r l 等技术，提高了系统的性能。 关键词：虚拟存储，s a n ，s 一s ，存储管理 a b s t r a c a b s t r a c t a san e wt e c h n 0 1 0 9 ) ，t op r o v i d el a 玛ec 印a c 时f o rd a t a s t o r a g e ，s t o m g e v i m 】a l i z a t i o ns 0 1 v e s 也ep r o b l e mo f m c r e a s i n gr e q u i r e m e mf o rs t o r a g ec 印a c i t ) rw h i c h b m u g h tb yt h ee n t e r p r i s ed a t ac l l 工n u 】a t i o n ，s oi tc a l l sp o p u l a ra n e n t i o na i l dg e t sr 印i d d e v e l o p m e m s a n ( s t o r a g ea r e an e t w o r k ) i sak i l l do fv i r t u a ls t o r a g e i tc o n n e c t s d i s ka r r a y so rt a p e1 i b r a r i e s 埘t hc o r r e l a t i v es e r v e r si l s i i l gf i b e ro ri pn e t w o r k ，s o w h e r e v e rm ed a 诅i ss a v e d ，m es e n ，e s 、v o u l da c c e s sf k e ly s a nv i r t i l a l i z em a n y p h y s i c a ld i s k si m oas t o r a g ep o o l t o 如1 6 ut l l er e q u i r e m e mf o rl a 唱es t o r a g ec a p a c i 研 h c r e a s i n ge 1 1 i a r g e m e n to fs t o m g ec 印a c i t ya 1 1 dm u l t i v e n d o rd e v i c e s 谢山d i 丘b r e m f e a t l l r e sb r i n g st l l ep r o b l e mo fs t o m g em a l l a g e m e m t bs o i v et 1 1 i sp r o b l 锄，s n i a e s t a b l i s h e das t a l l d a r df o rs t o r a g e s m i - s ，w 1 1 i c hb a s e dc i m ，e b m s t o r a g c s y s t e md e v e l o p e da c c o r d i n gt os m i sc a l lc o o p e r a t i o n 谢mo t h e rs y s t e m s ，s os m i s n o t0 1 1 i ys i i i l p l ys t o m g em a n a g e m e n t ，b u tm a k e si tp o s s i b l et ob l l i l dm o r ec o m p l e x s y s t e m s as t o m g e 丘锄e w o r k v s m af o ra ni p s a ns y s t e m v s d si sp u tf o n a r d v s m aw a sd e s i 印e da c c o r d i n gt ot h eo u t _ b a l l dm o d e ls t a i l d a r d so fs - sb y0 0 m e t h o r d s ，a i l dd e f _ m e dd e t a i l e dm o d l l l e s ，c i a s sd i a g r a m 锄dd a t a b a s es t m c t l l r ef o r v s d s v s m aw h i c hc o v e r se v e r yl a y e ro fv i r t l l a l g t o r a g es y s t e mi sa ni n t e g r a t e d s 仃u c t l l r e ，a n dh a sg o o de x p a n s i b i l i 够 b a s e do nv s m a ，v s d sm a n a g e m e n ts y s t e mw a sd e v e l o p e d1 1 1 es y s t e mc o d e s a c c o r d i n gt om v cm o d u l ea 1 1 ds u p p o r t sb a t c ho p e r a t i o n ，s o “i sc o n v e n i e n tt o a a 1 1 9 ea i l dm a n a g es t o r a g es y s t e mf o rm a l l a g e r d u r i n gt 1 1 ed e v e l o p m e n t ，t e m p l a t e t b o i b ta n dm o d - p e f lw a sa d o p t e dt oi m p r o v em ep e r f o 册a n c eo f v s d s k e yw o r d s ：s t o m g ev i m l a l i z a t i o n ，s a n ，s m i s ，s t o r a g em a l l a g e m e m i l 第一章引言 第一章引言 第一节课题背景 随着网络和信息化技术的发展，企业信息化建设不断深入，企业拥有的数 据量大幅增长，使企业急需大容量的存储设备来保存这些数据；此外，企业数 据性质各异，所以在数据存储方面，不仅存储容量要大幅提高，而且在存储性 能、数据共享、存储安全性、易管理性等各方面都提出了新的要求。 早期出现的大容量存储设备d a s ( d i r e c t a _ t t a c h e ds t o m g e ，直接连接存储) 系统“”，将外置存储设备通过连接电缆，直接连接到一台计算机上，提高了系 统的存储容量，满足了数据存储的要求。但是随着用户数据的增长，这种存储 结构在容量、备份、扩展和容灾等方面都显得力不从心，所以出现了网络化的 d a s 系统，即虚拟存储系统的出现。 s a n 是虚拟存储系统的一种，s a n 网络中提供了多主机连接，允许任何服 务器连接到任何的存储阵列，这样不管数据放置在哪里，服务器都可直接存取 所需的数据，而且s a n 也允许企业在存储容量不足时动态地增加容量。目前， 随着i s c s i 技术的发展，s a n 摆脱了只能通过光纤互联的限制，通过i p 网络连 接的s a n 产品已经投入使用，这使得s a n 系统的成本下降，需求量逐步增大。 在存储系统的发展前期，系统的管理问题不是很突出，因为当时需要管理 的网络资源较少，而且这些网络资源一般都是同构的。但随着存储规模的扩大， 企业的s a n 局域网中往往包括很多厂家的产品，如何有效地管理这些异构的资 源对于最终用户和集成商来说都很重要。目前，管理多家厂商的存储资源需要 使用其提供的一系列不兼容的应用系统，这些应用系统缺乏提高业务效率所需 的功能、分布性、安全性及可靠性，而且在各厂商的s a n 产品中，存在很多不 兼容的管理应用编程接口( a p i ) ，这些都导致了系统的管理成本提高，阻碍了 用户采用存储网络技术。此外，各厂商的产品都有各自的数据传输协议、对象 模型、事件上报机制、命名机制、设备发现协议等，这也造成了多个s a n 产品 的集成非常复杂。 r。irlrrlpli 第一章引言 第二节研究内容 本课题研究了目前存储管理的几个基本规范d 以、w e b m 和s m i s ， 在此基础上提出了适合v s d s ( m 】a ls t o r a g ed e v i c es y s t e m ，虚拟存储设备系 统) 的管理框架v s m a ( m l a ls t o m g em a n a g e m e m 向c 1 1 i t e c t u r e ) ，v s m a 是一 个设计良好的管理体系架构，它简化了软件的开发流程，降低了存储管理的复 杂性和成本，提高了系统的扩展性、安全性。其次，按照v s m a 设计的模块结 构，本课题实现了v s d s 的管理系统，验证了v s m a 的有效性。v s d s 系统是 一个基于口网络的s a n 系统，其管理系统采用m v c 模式编码实现。目前v s d s 系统已经投入使用，实践证明其具有良好的稳定性和扩展性。 第三节本文结构 本文主要介绍了虚拟存储管理框架( v s m a ) 的结构及该框架在v s d s 管理 系统的实现。v s d s 是一个基于i p 技术的s a n 系统，采用带外的数据访问模式， 第二章介绍了v s d s 系统的体系结构及相关的虚拟存储技术；本文的第三章简 要介绍了存储领域的几个标准c i m ，w e b m 和s m i s ，并详细介绍了s m i s 中关 于带外存储的建模思想，这些标准都是v s m a 的设计依据；第四章描述了v s m a 的框架结构，包括各层的划分、模块设计、对象建模等，为v s d s 管理系统的 开发提出了详细的指导意见：第五章介绍了v s d s 管理系统的实现，v s d s 管理 系统的实现基于m v c 模式，所以这一部分主要介绍了m v c 模式及这一模式如 何应用在v s d s 管理系统的开发中，然后简要介绍了实现该系统的几种关键技 术如s o a p 、m o dp e r l 等，并分析了v s d s 管理系统的性能特性，最后对本课题 的工作进行总结，并对今后的工作提出一些改进意见。 0。l-rii_， 第二章虚拟存储设备系统( v s d s ) 第二章虚拟存储设备系统( v s d s ) 第一节虚拟存储技术 虚拟存储( s t o r a g e m “协i o n ) 技术“1 把多个存储介质模块( 如硬盘、 r a i d ) 通过一定的手段抽象到一个存储池中统一管理，其逻辑结构图如图2 1 所示。它将异构的多个存储设备统一管理起来，为使用者提供大容量、高数据 传输性能的存储系统。 逻辑存储池 图2 1 存储虚拟化逻辑视图 虚拟存储技术将底层存储设备进行抽象化统一管理，向服务器层屏蔽存储 设备硬件的特殊性，而只保留其统一的逻辑特性，从而实现了存储系统集中、 统一而又方便的管理，对比计算机系统来说，虚拟存储系统中的虚拟存储部分 就像计算机系统中的操作系统，对下层管理着各种特殊而具体的设备，而对上 层则提供统一的运行环境和资源使用方式。 虚拟存储的另一层含义是设备使用方式的转化，它将系统中不同的设备， 第二章虚拟存储设备系统( v s d s ) 如磁带、磁盘等都虚拟成用户使用的逻辑磁盘。因此，虚拟存储技术的目的除 了方便上层服务器简单统一的使用之外，还在于扩展了现有设备和技术的应用 范围和领域。 2 1 1 虚拟存储技术的分类 根据虚拟化层在网络存储体系结构中的位置，虚拟存储技术“5 1 可以分为 基于主机的虚拟化、基于存储设备的虚拟化和基于网络的虚拟化三种。 2 1 1 1 基于主机的虚拟化 基于主机的虚拟化存储将虚拟化层放在应用服务器一端，系统中不需要增加 额外的特殊硬件，虚拟化层以软件模块的形式嵌入到应用服务器的操作系统中， 一种常见的方法就是把虚拟化层作为扩展的驱动模块，为底层的r a i d 、磁带库 等存储设备增加虚拟化所需的控制功能，如图2 2 所示。 务器 图2 2 基于主机的存储虚拟化 基于主机的虚拟化存储一般通过逻辑卷管理实现的。逻辑卷管理为从物理 存储映射到逻辑上的卷提供了一个虚拟层，卷管理在系统和应用级上实现多机 间的共享存储、存储资源管理、数据复制、数据迁移、远程备份、灾难恢复等 4 第二章虚拟存储设备系统( v s d s ) 任务。 在基于主机的虚拟化系统中，虚拟化软件必须嵌入到不同的操作平台中， 这不仅会给运行该软件的主机带来额外的开销，而且系统易受到软硬件环境的 制约，兼容性较差，其次，每台主机上的虚拟化软件都必须单独进行手工配置 和管理，如果网络中主机较多的话，管理成本会很大。所以，基于主机的虚拟 化在一个小型的同构的存储环境中，才能发挥很好的作用。 2 1 1 2 基于存储设备的虚拟化 基于存储设备的虚拟化结构是将虚拟化层放在存储系统的后端存储设 备的适配器或控制器上。从性能上说，这种方法是最优的，因为它能够充分考 虑存储设备的物理特性，对应用服务器是完全透明的，将服务器从存储虚拟化 的管理工作中彻底解放出来。而且，这种方法也为系统管理员提供了极大的方 便，简化了存储管理，降低了管理成本，图2 3 是基于存储设备的虚拟化的示意 图。 存储地仔储挹 图2 3 基于存储设备的虚拟化 但目前国际上对存储设备虚拟化还没有统一的标准，各设备厂商所提供的 存储产品虚拟化功能各不相同，这意味着不同厂商的存储产品很难在一个系统 中无缝结合，对于某些愿意在其网络中只使用同一厂商存储产品的企业来说， 这种虚拟化技术是比较理想的，但是，大部分企业都不希望将解决方案锁定为 第二章虚拟存储设备系统( v s d s ) 单个厂商，而且，企业各部门可能会自然累积来自于多个厂商的存储产品，或 者企业的多次采购都会造成混合的存储环境，所以，这种虚拟化技术的灵活性 很小，不适用大规模使用。 2 1 1 3 基于网络的虚拟化 基于网络的存储虚拟化是将虚拟化引擎移到存储系统的心脏网络设备 上，按照其实现位置的不同，基于网络的虚拟化又可以分为基于互联设备和基 于路由器两种： ( 一) 基于互连设备的虚拟化 基于互连设备的虚拟化方法分为对称和不对称两种。在对称的虚拟化方法 中，一台专用设备用作虚拟平台，实现存储系统的虚拟化，虚拟化层软件驻留 在该虚拟平台上，整个存储系统的数据视图和元数据也存放在其中，应用服务 器对存储设备的所有操作都必须经过该设备，数据传输和元数据访问都是以该 设备上的虚拟平台为核心的。 对称结构的不足之处在于数据传输和元数据访问都必须经过虚拟平台，这 可能制约系统的整体性能，并影响其可扩展性。 采用非对称方式的虚拟化方式在存储网络中连入一台专门的服务器实现虚 拟化功能，这台服务器用作元数据服务器，存放虚拟存储池的全局数据视图， 处理元数据的访问。这种结构通过将数据通路和命令通路分离，提高了存储系 统的性能，在系统的扩展能力上也有一定优势。 ( 二) 基于路由器的虚拟化 基于路由器的虚拟化技术的虚拟层位于存储网络的路由器上，多个存储路 由器保存着整个存储系统元数据的多个副本，它们之间通过一定的更新策略来 保持一致。在这种结构中，数据传输和原数据的访问使用同一个通路，虚拟化 层不需要在应用服务器上增加软件模块，减少了系统的复杂性和对存储环境的 依赖性。而且，路由器具有不同协议的转化功能，这种虚拟化方式能够有效提 高系统性能，减少应用服务器的负载。 基于主机和基于存储设备的方法不需要在系统中添加附加的硬件，但是对 于异构的存储系统和操作系统而言，系统的运行效果不是很好。对于那些要求 最大限度进行互操作的企业来说，一般都会选择使用基于网络的虚拟化方法。 不过，大部分的存储产品都会采用上述多种虚拟化技术，以便获得更大的使用 第二章虚拟存储设各系统( v s d s ) 便利性及适合企业当前的网络环境。 2 1 2 虚拟存储拓扑结构分类 根据虚拟化存储的拓扑结构，虚拟化存储可以分为带内( 1 1 l - b a i l d ) 和带外 ( o u t o f - b a n d ) 两种实现模型“1 。 2 1 2 1 带内虚拟存储模型 带内虚拟存储技术是指虚拟存储控制设备与存储软件、交换设备集成为一 个整体，嵌在网络数据传输路径中，由虚拟化管理软件对存储设备和服务器主 机进行配置和管理，数据信息和控制信息使用同一条通路( 带内虚拟存储模型 如图2 4 所示) 。 日曰日 图2 4 带内虚拟存储模型 带内存储模型一般不需要在服务器上安装特别的软件，所以实现起来比较 简单，而且服务器无须通过系统去发现和附接到多个存储目标，而只看到由虚 拟化设备提供的单个巨大的存储资源，管理比较简单。但是，带内虚拟存储模 型由于控制命令和存储数据共用一条通路，因此不管是基于存储设备还是基于 网络的虚拟存储系统，虚拟存储层都容易造成网络拥塞而形成系统瓶颈，降低 系统性能。此外，这种结构的虚拟存储系统容易出现服务器到存储设备的单点 故障，因此带内虚拟存储结构在实际使用中往往要做冗余配置。 回一誊景并国碍 第二章虚拟存储设备系统( v s d s ) 2 1 2 2 带外虚拟存储模型 带外虚拟存储技术是指虚拟存储设备独立于数据传输路径之外。其实现途 径是把装有虚拟化管理软件的主机或控制器从数据通路的外部接入存储网络， 对网络进行管理。而虚拟存储系统中除数据通路之外，还存在另外一条控制通 路，存储数据和控制命令分别走这两条不同的通路。应用服务器节点的i 0 请求 先通过控制通路传送到专用的元数据服务器或控制器，获得元数据和数据视图 后再通过数据通路获得需要的数据，其逻辑结构如图2 5 所示。 数据存储 图2 5 带外虚拟存储模型 带外存储模型中每台服务器都需要安装虚拟化软件a g e n t ，以将i o 请求转 发到存储设备上，这在一定程度上增加了系统的成本，但存储数据在专用的数 据通道上传输，减少了网络延迟，增加了带宽的实用性，而且能够减少系统的 单点故障和瓶颈。虚拟存储设备系统( v s d s ) 就是带外虚拟存储模型的实例。 第二节f cs a n 和l p s a n 的简介 s a n ”“1 是虚拟存储技术的一种，s a n 的虚拟化为用户和应用系统提供虚 拟化视图，在用户和应用程序看来，s a n 是一个结构相对简单、具有统一界面 的虚拟存储池，存储池的划分和管理情况对用户和应用程序来说是完全透明的。 第二章虚拟存储设备系统( v s d s ) s a n 虚拟化层将可用的存储空间分成虚拟磁盘或虚拟卷，通常情况下，虚拟卷 在应用服务器一端呈现像p c 机中磁盘的形态，使得服务器端的操作系统像使用 磁盘一样使用这些卷“。 目前，市场上出现了大量的s a n 产品，但几乎每一种产品都不是单纯地采 用一种虚拟化技术，都是上述多种虚拟化技术的结合。这些s a n 产品大体上可 以分为两种，一种由光纤通道( f i b e r c h 咖e 1 ) 传输数据，这种方式称为f cs a n ， 另一种采用广泛使用的万维网作为数据通信的工具，因而称为口s a n 。 2 2 1f cs a n 光纤通道f cs a n “”2 1 是前几年发展起来的存储区域网的一种形式，它架构 于高速光纤通道上，采用f c p ( f i b e rc h 锄e lp r o t o c 0 1 ) 协议封装并传输s c s i 命令和数据，可远距离连接并且保持高速传输。f cs a n 的体系架构如图2 6 所 示。 从图中可以看出，f cs a n 以处理数据的多种服务器为中心，存在两张网， 一 张是面对应用网，另一张是存储网( 由主机中的f ch b a ，卡、f c 交换机及存储 设备三层结构组成的s a n ) 。 在f cs a n 系统中，文件i 0 位于应用服务器和文件系统之间，文件系统直 接与卷管理器相连，卷管理器与存储设备之间通过数据块的方式交换数据，f c 9 第二章虚拟存储设备系统( v s d s ) s a n 的功能模块如图2 7 所示。 图2 7 f cs a n 的功能模块 f cs a n 的实现成本较高，大多应用在性能要求较高的金融、电信等领域。 而且它无法使存储设各在i n t e m e t 上运行，从而无法满足应用前端对存储数据“无 时不有、无处不在”的要求；而且，f cs a n 的物理覆盖有限，不超过5 0 公里， 这样容易形成存储孤岛。 2 2 2i ps a n f cs a n 高昂的建设成本使s a n 产品无法推广到所有的企业，为了降低成 本，将s a n 的通信方式由光纤转移到目前普遍使用的口网络，即产生了口 s a n “2 1 产品。i ps a n 是架构于最普及的i p 网络上的存储网络，它采用i s c s i ( 1 1 1 t e m e ts c s i ) 协议，利用i p 协议封装s c s i 命令，从而实现在i p 网络上传输 s c s i 命令和数据的目的。口s a n 的体系结构如图2 8 所示。从图中可以看出， 应用服务器通过e t l l 锄e t 网与存储阵列相连。 第二章虚拟存储设备系统( v s d s ) 图2 8 i ps a n 体系结构 与f cs a n 功能模块不同的是，i ps a n 系统中与应用服务器进行文件i o 操作的文件系统位于应用服务器模块之外，而且数据块之间的通信只发生在卷 管理器和i 认i d 设备之间，卷管理器不能与磁盘直接进行数据通信，i ps a n 的 功能模块如图2 9 所示。 图2 9i p s a n 的功能模块 随着口带宽的提高，i ps a n 的性能随之有了很大的提高，目前i ps a n 的 性能已经基本上能够达到f cs a n 的水平；其次，ps a n 相对容易配置，可以 利用企业现有的i p 网络，配置成本较低，所以i ps a n 系统得到了广泛的推广。 目前，f cs a n 系统主要使用在一些特殊的环境下，而i ps a n 系统则成为满足 大多数存储需求的理想产品。v s d s 系统是面向中小企业的中端存储系统，其存 储架构采用i ps a n 的架构体系。 第二章虚拟存储设备系统( v s d s ) 第三节虚拟存储设备系统( v s d s ) 介绍 v s d s 系统“”基于口s a n 技术，采用i s c s i 作为数据通信协议，是一个跨 平台、可扩展的网络存储系统。它的主要功能是为用户提供虚拟化存储服务， 最大限度提高存储空间利用率以及存储管理的便利性，同时满足用户的业务连 续性和高读写性能的需求。 2 3 1v s d s 的系统结构 v s d s 采用带外( o u t o f - b a i l d ) 的虚拟化存储架构，数据通道和控制通道分 离，图2 1 0 是v s d s 的系统结构图。该系统主要由3 部分组成：网络存储设备、 虚拟服务层及管理控制台。网络存储设备提供物理存储资源；虚拟服务层利用 虚拟化技术，将所有的存储设备虚拟成一个大的存储池，并且提供底层管理功 能，如物理设备管理、物理设备监控、虚拟存储管理和虚拟存储监控等：管理 控制台为v s d s 系统提供统一的管理平台，管理员通过这一平台，可以完成大 部分的系统管理和监控工作。 2 3 2v s d s 的功能结构 图2 1 0v s d s 系统结构图 v s d s 的虚拟化层是基于主机和基于网络的虚拟化技术的结合体，从功能上 可以划分为三个子系统，分别是虚拟化子系统、系统软件子系统和系统管理子 系统。虚拟化子系统包括在服务器上运行的虚拟设备驱动( “v e r ) 、物理设备管 第二章虚拟存储设备系统( v s d s ) 理、物理设备监视、虚拟存储监视、虚拟存储管理，以及存储虚拟化管理模块： 系统软件子系统是物理存储设备的嵌入式操作系统：系统管理子系统包括系统 管理台、管理员界面和系统虚拟化管理。它们的分布关系如下图。 客户端2 客户端n a 掇化 娆 网络存储设备1 阿鲳存储设备2网络存佑设备n 图2 1 1v s d s 功能模块结构图 系统管理子系统是v s d s 系统的中枢，虚拟化子系统和系统软件子系统之 间需要利用控制管理子系统提供的服务才能正确通信工作，所以系统管理子系 统的设计需要考虑相关子系统的影响。本文提出的虚拟存储管理框架( v s m a ) 就是针对系统管理子系统设计的。 第三章虚拟存储管理框架的设计思想 第三章虚拟存储管理框架的设计基础 虚拟存储系统的管理子系统负责管理系统对外提供的各种存储服务，是 v s d s 的核心模块，所以需要一种良好的管理框架的支持，依据这种管理框架开 发的管理系统应该具有以下特征： 易操作性 管理员通过管理界面管理存储资源的操作要简单，而且系统的管理操作要 易于掌握，否则将会导致系统的学习成本提高，操作易出错。系统的部署工作 要简单，部署需要花费的时间要尽量缩短。 封装性好 虚拟存储管理系统较为复杂，一般都划分为多个层次实现，各层向上层提 供接口，上层看不到下层模块的具体功能实现，从管理员的角度来说，管理员 只需要关注系统的功能，而不必了解系统中每个操作的具体执行步骤，这样从 另一层面上也提高了系统的易操作性。 灵活性 管理系统应该能快速适应用户需求的变化，例如功能的改变，管理对象的 增减变动等等，为用户提供的配置操作要简单、有效，符合应用管理的要求。 这个需求在一定程度上需要系统采用面向对象的模块设计方法。 兼容性 系统中的存储资源不可能是一成不变的，物理资源可能会随着使用而更换、 添加等，所以管理系统抽象的接口应该尽量统一，符合已有的管理标准，使系 统能够最大限度兼容不同厂商的存储设备。 健壮性 虚拟存储系统提供数据存储服务，系统要有足够的健壮性保证这些数据的 安全；同时，一个存储系统要为多台服务器提供逻辑卷，系统还要保证各服务 器读写数据的一致性、完整性和多服务器同时进行数据操作时系统性能不会受 到影响。 虚拟存储管理框架( v s m a ) 是为v s d s 的系统管理子系统设计的管理框架， 该框架从上述指导意见出发，采用面向对象的建模方法“1 ，依据业内标准 1 4 第三章虚拟存储管理框架的设计思想 c 吣，b e m 和s v i s 设计实现，本章对这几种技术做简要的介绍。 第一节c l m 标准介绍 公共信息模型( c o m m o nh 面衄a t i o nm o d e l ，c 以) 是一个概念性的信息模 型，它以类似对象设计图和受管对象格式( m a n a g e d0 b j e c lf o r n l a t ，m o f ) 的中 性语言描述的形式，为互联网、企业和服务提供商等环境下的计算和业务实体 提供了一个数据建模环境。c i m 通过面向对象的技术统一和扩展已有的与管理环 境相关的管理规范和管理标准( s n m p d ，c m 口等) 。 c 玎标准定义了一个层叠的、面向对象的层次结构，它反映了需要管理的各 种区域中的可管理元素，如系统、物理设备、网络、应用服务器等，这些元素 都以“公共模块”的形式显示在c i m 中。c i m 使用分散式管理任务小组( d i s t r i b m e d m a l l a g e m e n t 协kf o r c e ，d m t f ) 定义的m o f 表现模型，m o f 语言基于对象管理 组的接口定义语言，使用人和编译器都能识别的文本形式描述面向对象的类和 实例。m o f 有自己独有的语法，使用来自于d m t f 中的d i d 可将它转化为。 图3 1c i m 模型 图3 1 显示了c i m 模型的层叠结构，核心模块“包含所有管理区域公共的类 与关联，外围的公共模块代表系统中的可管理元素。在核心模块中定义了一个 c m l m a i l a g e d e l e m e n t 的类，该类是整个c m 模型类分级结构的根，所有可管理 第三章虚拟存储管理框架的设计思想 元素都是从该类继承而来的。公共模块定义了具体管理领域的信息模型，旨在 为某一管理对象提供详细的描述，这些管理对象的标准分别由专门的工作组来 创建。 c m 标准旨在为管理环境中的所有元素建模，更方便地管理用于连接存储系 统的专用网络。c i m 是w e b m 标准的核心组成部分，也是s m i s 标准的建模基础。 第二节w b e m 标准介绍 w b e m ( w e b b a s e de n t e r p f i s em a l l a g e m e n t ) ”1 规范是一组管理和i n t e m e t 标准的集合，目的在于统一分布式计算环境中的管理，w b e m 能够帮助业界开 发一系列基于标准的整合管理工具，推动信息在异构的技术和平台之间自然交 流。 、e m 有三个主要的模块：公共信息模型( c i m ) 是w b e m 的数据模型， 为系统、网络、应用和服务等管理信息提供了一个公共的定义并且允许各厂商 在此基础上扩展；) 【i n l c i m 编码规范使用d t d 将c i m 模型用儿语言表示出来； c v io p e r a t i o n so v e rh t t p 规范将c i m 的各种操作映射到h r r p 协议，使得各种 c i m 的实现可以以开放、标准的方式进行。 二。善! 蒸蕊墓囊j ： ：! 曼篓a 必焉黪 羔- 黧誊：、 誊誊 誉雾 i ，? 。：一! 一。 一! ：三- j 墨鬈壤等：篙i j 精辨 。年争羞移澎i 二! i 打包：一一? i 登! 关17 譬! i 叠豢誉芝。： 。薯o i ；_ 图3 2w b e m 三部分关系示意图 6 第三章虚拟存储管理框架的设计思想 第三节存储管理接口规范( s 硎- s ) 存储管理接口规范( s t o r a g em a l l a g e m e m1 1 1 i t i a t i v e ，s m i ) ”1 是全球网络存 储工业协会( s n 队) 推出的解决s a n 环境中设备互操作性问题的一个通用标准， 其目的在于发布面向存储网络管理领域的功能完备的开放接口，最终让所有的 存储网络部件都可以利用本地s m i s 接口加以部署，方便s a n 环境中异构设备的 集成，降低系统成本。 图3 3s m i s 管理应用环境 s m i s 基于c i m ，e b m 标准，是专门为虚拟存储管理设计的标准。图3 3 是 s m l s 规范的管理应用环境，从图中可以看出，s m i - s 使用m o f 为存储网络中的 每种部件建立了一个面向对象的模型，这些模型定义了对象的通用属性和行为。 系统的管理活动通过一个可以在任何互联件上执行的单一管理传输协议通信， s m i s 还包括一套统一的发现、安全和持久命名的服务。此外，。为了让多个管理 应用系统能够在一个网络中协同工作，s m i s 引入了一种锁管理机制来防止各应 用活动之间彼此干扰。 s m i s 规范中的模型和协议与平台无关，这样可以针对任何平台开发应用系 统，也可以让运行在不同平台上的应用系统协同操作。其次，s m i s 对象模型具 有良好的扩展性，向模型中添加新的设备和功能很容易，而且允许厂商在自己 的系统中增加特色功能。 第三章虚拟存储管理框架的设计思想 s m i s 的体系结构如图3 4 所示，它使用运行在h r r p 上的c v i 一咀。协议栈传 输信息。客户端( 或者用户代理，c l i e m ) 是c i m 格式信息的请求者或提供商， 对象管理器( 0 b j e c tm a i l a g e r ) 为系统提供来自不同管理设备的管理信息，从图 中可以看到锁管理模块，这个模块实现了s m i s 系统的锁管理机制，从而确保该 服务器的行动与其他服务器操作造成的变化相分离。s m i s 实际上是安装在管理 对象与管理应用之间的中间件。 图3 4s m i s 结构 s i m s 兼有c i m ，w e b m 标准的特征，节约了为应用系统开发管理a p i 的时间 和成本，因而缩短了系统支持新设备和新功能的周期。除此之外，s i m s 还为s a n 系统的管理带来了以下优点： 系统整体管理 在原来的系统中包括多个应用管理系统，如网络管理、数据库管理、存储 管理等，s i m s 为将这些管理应用系统集成为一个协作的整体提供了基础。 管理应用系统协调工作 s m i s 建立了一个完整的系统架构，多个管理应用系统可以在同一个s a n 环 境中运行。此外，s m i s 还提供了一种锁管理机制，这样互不知情的系统可以在 不干扰对方的情况下同时操作。 存储网络无缝集成 第三章虚拟存储管理框架的设计思想 s m i s 包含设备发现、安装和初始化的操作标准，可以动态构建大型异构 s a n ，同时将管理员从繁琐的设备配置工作中解放出来。更重要的是，s m i s 可 以方便地响应因业务发展和需求变化而带来的硬件的重新配置。 安全的集中管理 w e b m 传输协议为s m i s 提供了加密和验证机制，这样，一个管理控制台就 可以管理分散在大片区域甚至公共网络上的资源。 第四节s m i - s 中关于带外存储虚拟化的模型介绍 v s d s 系统采用带外( o u t o f - b a n d ) 存储虚拟化方案，将数据访问通道和存 储管理通道分离，这就决定了其结构必然包含两部分，一部分是虚拟存储管理 的功能模块s m 【s 规范中的元数据控制( m e t a d a t ac o n t r 0 1 l e r ) 模块，该模块 负责控制整个系统并将存储阵列映射到主机存储卷；另一个独立的部分是传输 引擎( t r a n s l a t i o ne n g i i l e ) 模块，它负责执行i 0 命令和数据的实时传输，传输引 擎可以作为系统的一个独立模块，也可以作为其他模块如主机软件、h b a 卡等 的一部分。 图3 5带外存储虚拟化的模块图 s m i s 规范中关于带外存储虚拟化的模块结构见图3 5 。其中主机系统通过传 1 9 第三章虚拟存储管理框架的设计思想 输引擎在授权使用的卷上执行数据i o 操作，一个主机可能与一个或多个传输引 擎通信，而且一个存储卷也可以同时被几个或所有的传输引擎访问。传输引擎 受元数据控制模块的控制并接受其发送的传输信息，然后根据这些信息重新定 位并为主机执行命令。元数据控制模块控制整个虚拟系统，并为传输引擎提 供传输信息，但是，它不参与最终的数据传输。磁盘阵列为整个系统提供存储 资源。磁盘阵列是比较独立的一个模块，它有自己的名字空间，而且有自己独 立的模块支持，通过传输引擎向主机发送u o 操作的结果。 元数据控制模块主要用来描述虚拟存储的逻辑结构，负责整个系统的管理， 是虚拟存储系统的核心，所以在设计v s m a 框架时，也主要是针对这一模块的设 计，对传输引擎等部分涉及较少，v s m a 框架的详细介绍可以参考下一章。 元数据控制模块代表的是一个计算机系统( c o m p u t e r s y s t e m ) ，它聚集了系 统中可供使用的存储资源。其中，存储资源的组织采用s t o m g e p o o l 的结构，逻辑 上，s t o r a g e p o o i 由下层设备所提供的s t o r a g e e x t e n t 组成，并提供g e t s u p p o r t e d s i z e 和g e t s u p p o r t e d s i z e r a i l g e 两个操作，用来获取存储资源的基本信息，其中 g e t s u p p o n e d s i z e 主要针对提供离散模式( 磁盘、分区、r a d ) 资源分配的情形， 同时，从图3 6 的对象结构中可以看出，在s m i s 标准中，元数据控制模块与传输 模块或存储阵列之间的通信通过光纤接口( f cp o r t ) 进行，这主要是由于s a n 产品在出现之初使用光纤通信，所以s m i s 在制定时采用光纤标准，但是随着i p s a n 产品的出现，它们之间的通信也可以通过i p 网络进行，在v s d s 系统中，元 数据控制模块与传输模块或存储阵列就通过e t h e m e t 端口( e t l l e m e t p o n ) 通信， 所以v s d s 系统的元数据控制模块的通信接口与s m i s 标准的不同。 第三章虚拟存储管理框架的设计思想 图3 6s s 中元数据控制模块中对象实例结构图 图3 6 中的s t o r a g e e x t e m 是由被元数据控制模块所管理的存储节点( s t o m g e a r r a y ) 提供的。从模型上看，存储节点的对象结构视图与元数据控制的结构视 图大体一样，所不同的是元数据控制模块被假设为网络环境中的分布式结构， 它需要对存储节点进行管理，而且它的很多功能的实现需要依赖各存储节点的 功能，而存储节点通常体现为一个单节点计算机，其存储的提供主要有赖于本 地存储。 s m i s 旨在设立一种存储标准，使各存储厂商的产品能够在一个网络环境中 集成，以确保尽可能有效地管理存储网络，减少管理的复杂性。s m i s 标准需要 得到存储厂商的大力支持才能获得推广，v s d s 作为一个采用带外通信技术的基 于i p 网络的虚拟存储系统，在设计其管理框架v s m a 时，需要充分参考了s m i s 关于带外系统的接口标准，以便使v s d s 系统能够与其它同类的存储产品方便集 成。 第四章虚拟存储管理框架 第四章虚拟存储管理框架 v s d s 管理系统管理系统中的所有资源，包括物理资源和逻辑资源，是v s d s 系统的核心部分，设计良好的管理框架能够简化管理系统的开发实现，提高系 统的性能。本章介绍了v s d s 的存储管理框架v s m a 的模块结构、功能结构、 类图实现等。 第一节虚拟存储管理框架( v s m a ) 的模块结构 4 1 1v s m a 的功能模块结构 v s m a 采用面向对象的思想，基于c d ，w e b m 和s m i s 规范设计实现。它 将v s d s 系统按照管理功能的不同分成几个模块实现，其结构图如图4 1 所示： 图4 1v s m a 功能模块结构图 2 2 第四章虚拟存储管理框架 s e n ，e r 模块 该模块是系统中的网络通信模块，主要完成信息分发的功能，它独立于系 统中的其它模块，与其他模块的通信通过消息队列进行。 s y s t e m m a l l a g e r 模块 该模块主要完成管理系统内部状态和事件处理的功能，是系统的核心服务 模块。由于该模块需要维护系统中其它服务的运行状态，所以为了避免性能降 低的风险，采用多线程来处理。此外，它还包括系统的一些高级功能，如自主 管理等。系统采用消息队列为s y s t e mm a n a g e r 模块提供处理消息，如图4 1 所 示，该消息队列就是q u e u e o ，q u e u e 0 主要接收e v e n tr e c e i v e 模块发来的事件处 理消息和v s m 发来的配置管理消息，而且消息队列的使用也为该模块的异步处 理功能提供了条件。 m o n 模块 该模块用于对保存在数据库中的监视信息进行综合处理，将这些信息处理 成可以显示和查询的形式。从功能角度看与u i 模块有相似之处，但m o n 模块 可以处理监视数据之间的逻辑关系，产生事件。 m o n 模块直接操作d a t a b a s e 模块，该模块比较独立，它的功能通常不会影 响到其他模块的功能，因此，可以根据系统的需要启停该模块。 e v e n tr e c e i v e r 模块 该模块是系统事件的接收点，当系统中某个管理对象的状态发生变化时， 或发生其他事件时，在事件发生现场抛出的事件信息将被该模块接收，如果事 件需要处理，则转由s y s t e mm a l l a g e r 模块进行处理。 消息队列q u e u e 2 为e v e mr e c e