（计算机系统结构专业论文）网络磁盘阵列系统的虚拟化研究.pdf

华中科技大学硕士学位论文 摘要+ 现有文件服务器对文件传输的控制始终是用户与阵列进行数据传输的瓶颈，以高 性价比存储系统为目标，对现有系统进行改进，可以实现一种基于i p 技术的网络磁 盘阵列虚拟化系统。该系统通过将服务器管理下的存储池的一部分镜像到客户端， 从而将服务器的文件功能转移至客户端实现，客户端可以自主生成访问网络磁盘阵 列的读写命令，使得客户端与磁盘阵列间能够进行直接的数据传输。该系统降低了 服务器负载，服务器转变为功能单一的控制台，能支持更多的用户连接数。y 系统功能的实现需要控制台、阵列、客户端之间的通信与协同，为此需定制专 用的数据传输协议，构建在基于i p 技术的网络上，是整个系统实现的基础。该系统 最大的特点是客户端功能的增强，可选用目前普及较广的w i n d o w s2 0 0 0 操作系统 作为客户端的开发平台，实现一种基于传输驱动接口客户端驱动程序的方案：通过 创建虚拟磁盘的方法为用户提供访问磁盘阵列的虚拟接口，该接口可以截获用户的 文件请求，根据阵列级别的配置情况，对请求进行数据的分块与重组，最后生成多 个子命令发往网络磁盘阵列。 目前的网络磁盘阵列虚拟化系统已完成初步的功能实现，在性能方面还有很大 的优化空间。可采用的方法有：使用缓存技术加快用户请求的响应时间，减少网络 访问次数：采用新一代协议减少协议开销。通过对异构客户端环境的支持，扩大系 统的应用范围，并为用户提供空间共享和信息共享的存储环境。 关键词：存储网露_ 存储蔷盘，虚拟话j 传赫矗动接口 本文的研究工作受到国家自然科学基金 6 9 9 7 3 1 0 7 ) 的资助 l 华中科技大学硕士学位论文 a b s t r a c t 。 f i l ec o n t r o li nt h e e x i s t i n g f i l es e r v e rh a sb e e nt h eb o r l e n e c ki nt h ed a t a t r a n s p o r t a t i o nb e t w e e nu s e r s a n dd i s ka r r a y t oc o n s t r u c tah i g hp e r f o r m a n c es t o r a g e s y s t e mw i t hl o wc o s t ，w ea l t e rt h ee x i s t i n ga r c h i t e c t u r ea n db u i l dav i r t u a l i z a t i o no f n e t w o r k - a t t a c h e dd i s ka r r a ys t o r a g es y s t e mb a s e do ni pt e c h n i q u e s t h i ss y s t e mm i r r o r s p a r to ft h es t o r a g ep o o l ，w h i c hi s u n d e rt h em a n a g e m e n to fs e v e r , t ot h ec l i e n t s ，a n d t h e r e f o r et h eo r i g i n a lf i l ef u n c t i o n si m p l e m e n t e db ys e v e ra r es h i f t e dt ot h ec l i e n tn o d e s t h e nt h ec l i e n t sc a r lg e n e r a t et h ei 0c o m m a n d st ot h en e t w o r kd i s ka r r a yt h e m s e l v e s ， m a k i n gt h ed i r e c td a t at r a n s p o r t a t i o nb e t w e e nt h ec l i e n t sa n dt h ed i s ka r r a yp o s s i b l e w i t ht h er e d u c e d p a y l o a d ，s e r v e rh a sb e c o m eac o n t r o lc o n s o l e ，w h i c hc a ns u p p o r tm o r e u s e rc o n n e c t i o n sa n dc a na c c e l e r a t et h ei 0r e s p o n s et i m eo ft h ee n du s e l s p e c i a ld a t at r a n s p o r t a t i o np r o t o c o lm u s tb ed e s i g n e dt os u p p o r tt h ec o m m u n i c a t i o n a n d c o o p e r a t i o na m o n g t h ec o n t r o lc o n s o l e ，d i s ka r r a ya n dc l i e n t t h e p r o t o c o l ，w h i c hi s c o n s t r u c t e do nt h ei pn e t w o r k ，i st h eb a s i so ft h ew h o l es y s t e m t h em o s ts i g n i f i c a n t c h a r a c t e r i s t i co ft h i ss y s t e mi st h ef u n c t i o ni n t e n s i v e n e s so nt h ec l i e n t s w em a y c h o o s e t h ep o p u l a ro p e r a t i o ns y s t e m ，w i n d o w s2 0 0 0a st h ec l i e n t d e v e l o p m e r i tp l a t f o r m ，a n d d e s i g na ni m p l e m e n ts c h e m eb a s e do nt h et d ic l i e n td r i v e rt h a tc r e a t ev i r t u a ld i s ka s i n t e r f a c et oa c c e s st h ed i s ka r r a yf o ru s e r s t h i si n t e r f a c ec a ni n t e m e p tt h eu s e ri o r e q u e s t s ；t h e nc o n s t r u c tn e ws u bi 0c o m m a n d sa c c o r d i n gt ot h ed i f f e r e n tl e v e l sa n d s t r i p i n gi n f o r m a t i o no f t h ed i s ka r r a ya n d f i n a l l yd e l i v e rt h es u bi 0c o m m a n d st ot h et o t h en e t w o r kd i s ka r r a y a l t h o u g ht h ef u n c t i o no ft h es y s t e mi sa c h i e v e d ，t h ep e r f o r m a n c ec a nb eo p t i m i z e d f u r t h e r t h ef e a s i b l ew a y sa sf o l l o w s ，s h o r t e n i n gt h ei o a c c e s st i m ea n dr e d u c i n gt h e n e t w o r ki ot i m e sb y c a c h e ，r e d u c i n gt h ep r o t o c o lo v e r h e a db yu s i n gn e w p r o t o c o l s t o e x p a n dt h es y s t e ma p p l i c a t i o na r e a ，i tw i l ls u p p o r ti s o m e r i cc l i e n tn o d e s ，a n d p r o v i d et h e u s e rw i t h s p a c es h a r i n ga n di n f o r m a t i o ns h a r i n gs t o r a g ee n v i r o n m e n t t h 。e s e a r c h w o r k i ss p o n s o r e db y t h e n a t i o n a l n a t u r es c i e n c ef o u n d a t i o no f c h i n a u n d e r g r a n d6 9 9 7 3 0 1 7 一。 儿 华中科技大学硕士学位论文 k e yw o r d s ：s t o r a g en e t w o r k ，s t o r a g em a n a g e m e n t ，v i r t u a l i z a t i o n ，t r a n s p o r td r i v e r i n t e r f a c e i i i 华中科技大学硕士学位论文 1 绪言 1 1 网络存储系统的发展概述 1 1 1 存储网络的兴起 随着信息技术的迅猛发展和空前普及，用户对存储产品和存储服务的需求呈爆 炸性的增长。一方面是容量需求的增长，i d c 预测，今后几年世界范围内磁盘存储 系统的容量将以每年7 9 6 的速度递增【l 】。存储需求的另一方面体现在存取速度上， 尤其在多媒体领域，据a c m 的一份研究报告中预测，到2 0 0 5 年，全世界将有5 0 以上的存储空间用于存储多媒体信息【2 1 ，而多媒体信息的一个显著特征就是实时 性。 传统的存储网络架构以服务器为中心，面对庞大的数据量和数传率需求，服务 器负责全部的数据处理和传输，可靠性、可用性和可扩展性都不高，成为这种结构 发展的瓶颈。因此，这种以服务器为中心的存储模式逐渐被以数据为中心的数据存 储模式所替代。 随着数字化信息存储需求的发展，存储网络因其具有结构灵活、性能较好、可 扩展性强等优势，在存储技术中所发挥的作用日益增大。所谓存储网络( s t o r a g e n e t w o r k ) ，即在分布、异构的网络环境下将存储设备从服务器中分离出来，用区域 网连接，使分散的信息得到集中管理，从而增加数据的有效利用率，降低成本，对 关键数据提供备份和保护的机制【3 】。 1 1 2 网络存储系统的构建 现有的网络存储系统形式很多，不同的网络存储子系统经过组合，又成为一种 新的体系结构，但无论怎样复杂的结构，最终都可归结为三个基本要素，即连接、 传输媒质、i o 协议 4 6 1 。 1 连接 即处理器和存储设备之间的物理连接。连接有两种方式：直接型，即一台主机同 一个存储设备相连，直接型是最小的网络连接方式；附网型：一个或多个主机同一 一一 l 华中科技大学硕士学位论文 个或多个存储设备相连。 2 媒质 即在主机与存储设备间连接的物理电线或电缆。媒质的管理是由与该媒质相关的 低层协议实现，与网上连接的是何种设备无关。常见的物理媒质及采用的协议有： 以太网( e t h e m e t ) 、f c ( f i b r ec h a n n e l ，光纤通道) 【7 1 、并行s c s i ( s m a l lc o m p u t e r s y s t e m si n t e r f a c e ，小型计算机系统接口) 嘲、s s a ( s e r i a ls t o r a g ea r c h i t e c t u r e ，串行 存储体系) 9 1 、i e e e1 3 9 4 ”1 、e s c o n ( e n t e r p r i s es y s t e mc o n n e c t i o n ，企业系统连接) 【l i 】、h i p p i ( h i g hp e r f o r m a n c ep a r a l l e li n t e r f a c e ，高性能并行接口) 1 2 1 、i n f i n i b a n d 1 3 1 等。 3 协议：g l j f o 请求如何通过媒质通信。 不同传输媒质上对应不同的i o 协议，i o 协议运行在中间层，几种最常用的f o 协议有：s c s i l # t s t 1 4 l 、n f s ( n e t w o r kf i l es y s t e m ，网络文件协议1 t s , t 6 l 、c i f s ( c o m m o n i n t e r a c tf i l es y s t e m ，通用因特网协议) 、v i ( v i r t u a li n t e r f a c e ，虚拟接口) 1 1 9 】等。 根据存储设备到处理器间的连接、传输媒质、i o 协议的不同，网络环境下的存 储系统呈现多种实现形式【”】，主要有： 1 d a s ( d i r e c ta t t a c h e d + s t o r a g e ，直接附加存储) ：将存储设备( 一般为硬盘或磁 带) 与处理器直接相连，i o 请求直接发到存储设备上，采用s c s i 协议进行传输， 传输媒质可以采用前面谈到的任何一种。 其优点是实现形式简单，价格低廉，缺点是可扩展性差，多个d a s 设备间的数据 共享困难。 2 s a n ( s t o r a g ea r e an e t w o r k ，存储区域网络) ：处理器通过网络访问存储设备， 可支持任意点到点连接，多以光纤作为传输媒质，采用s c s i 协议进行传输，i o 请求 采用“i o 块”形式。2 0 0 1 f g 以后，出现了e t h 啪e t 作为传输媒质，采用i s c s i 协议传 输的新型s a n 。 s a n 支持更远距离的数据访问；高可用性，能够动态的分配存储资源，y , i i g 提高 存储资源的利用；可扩展性好，支持连接数目多；存在单一的控制点，有利于数据 的管理、共享、备份 2 0 1 。 3 n a s ( n e t w o r ka t t a c h e ds t o r a g e ，网络附加存储) ：可将处理器和存储系统集成 华中科技大学硕士学位论文 在一个设备中，连接到任何支持t c p i p 协议的网络( l a n w a n ) 上，使用c i f s 或 n f s 等专用的网络文件系统进行文件存取和文件共享。与s a n 请求的“i o 块”不同 的是，n a s 的i o 请求是一种“文件i o ”，n a s 设备上的处理器将从网络上收到的 c i f s 或n f s 文件请求，结合文件系统定位到在磁盘中的块地址，然后向对应设备的 发送“i o 块”命令，实现数据的最终存取。“文件i o ”到“i o 块”的转换都在n a s 设备上实现，对于发出文件请求的用户来说是透明的。 n a s 能够提供跨平台的文件共享功能，常作为专用的文件服务器使用，与d a s 相比，具有较强的可扩展性，安装、调试、使用和管理简单，存储效率也较d a s 高 出6 0 以上【”j 。 4 n a sg a t e w a y ( n a s 网关) ：将n a s 设备的存储部分与数据处理部分分开，只 保留进行协议转换的数据处理部分，即为n a sg a t e w a y 。使用n a s 网关的优点在于 可以灵活的选择是将存储设备童接连接到l a n 上，还是通过s a n 间接连接到l a n 上，从而配置和使用更加灵活，同时，比集成式的n a s 设备增加了磁盘的可扩展能 力。 1 1 3 网络存储系统对存储管理的挑战 图1 1 今天对存储的需求 随着i n t e r n e t 的 普及，越来越多的公司 将自己的数据信息放到 网络上，各种共享数据 以难以置信的速度急剧 增长，同时随着各种新 的应用的出现和发展， 相应的数据量也呈指数 增长，图1 1 是v e r i t a s 公 司对存储的需求的分 析。除了数据量的增长 外，存储管理还面临其 他挑战：数据保护、可 3 华中科技大学硕士学位论文 恢复及随时可用：企业内部每个人需要存取数据完成他们的工作：不同计算平台之 间需要共享信息【2 ”。如何优化存储资源、提高存储利用率、降低成本成为存储产品 的开发者和用户共同关注的焦点。这些在物理上分布的信息为存储管理者提出了统 一性要求：原来独立的系统都有自己的数据备份、恢复机制，管理系统既要保持各 种不同系统的独立的同时，又要在不同平台之间建立统一的数据恢复和备份机制 2 3 1 。从网络存储应用的角度看，存储管理涉及的内容很多，因该说所有用户的需求 都是存储管理开发者追求的目标，主要包括文件组织、数据备份与恢复、数据安全 等方面。 1 1 4 网络存储管理软件的研究现状 在企业内部，引起业务中断的主要原因是系统停机，图1 2 是i e e e 对系统停机原 因的分析，从图中可以看到，由于软件的故障导致系统停机占据了4 0 的比例，因 此存储管理软件有着巨大的发展空间。据g a r t n e r d a t a q u e s t 预测，至u 2 0 0 6 年，存储管 理软件市场将达到1 5 2 亿美元，从2 0 0 2 年到2 0 0 6 年平均年增长率达到2 5 2 f 2 4 】。国外 的著名i t 公司都非常注重存储管理软件这一领域的研究，下面列举国外公司在这方 面的产品开发情况： 客户 网络设备 环境5 人为 软件4 0 来源：i e e ec o m p u t e r a p r i l1 9 9 5 图1 2 系统停机的原因 h po p e n v i e ws t o r a g e a r e a m a n a g e r ，惠普公司开发的存储区域网管理器，它可以 简化并动态的对存储资源，包括磁盘、磁带、以及各种区域网存储资源进行管理， 一。 4 华中科技大学硕士学位论文+ 7 一= = = = = = = = = = = = = = = = = = = = = = = = ；= = ；= = = ；= ；= = 在不同厂商产品组成的分布式环境中，由中心控制台监测、配置网络资源，实现存 储服务的可用性、性能优化、资源规划【2 5 1 。 i b m d i r e c t o r 4 1 ，i b m 公司开发的存储管理软件产品，突出的特点是通过对故 障的预测和防止技术，自动延长服务器的无故障运行时间。使用该产品，管理者可 以监测远程系统的资源配置情况，掌握处理器、磁盘、内存空间的使用情况和性能。 v e r i t a sc l u s t e rs e r v e r ，该产品的特点是可以跨平台的提供数据的高可用性，所 支持的平台包括s u ns o l a r i s 、h p u x 、w i n d o w s2 0 0 0 、i b ma i x 、l i n u x ，以及对 o r a c l e ，s y b a s e ，d b 2 ，i n f o r m i x ，s q ls e r v e ra n de x c h a n g e 等多种应用的支持。作为 2 0 0 1 年存储软件产品的开发和市场占有率发展最快的公司，v e r i t a s 还开发了专用于 主机服务器、存储网络设备的存储虚拟化套装软件产品。包括基于主机的磁盘空间 管理器，v e r j t a ss e r v p o i n ts a n ，v e r i t a ss e r v p o i n tn a s 以及v e 砒t a ss 越忡o i n t c o n t r o l 等将普通服务器转化成管理设备，可自动检测并存储网络和设备信息，并提 供单独的控制台，以便观察和管理存储环境的一整套存储管理解决方案。 1 2 存储虚拟化解决方案 1 2 1 存储虚拟化设计思想 存储虚拟化( s t o r a g ev i r t u a l i z a t i o n ) 是将存储的逻辑表示和实际的物理存储分离， 可将不同生产商提供的具有不同容量和性能特性的存储设备，转化成一种单一的、 易于管理的资源工具【2 6 1 。这样，存储资源成为动态的，可根据用户的实际需求分配 的存储空间，且分配以存储资源的逻辑形式获得，而无须考虑物理存储的详细情况， 从而将存储利用率从4 0 左右提高到9 0 以上，甚至接近1 0 0 2 7 1 。虚拟存储不仅可 以简化存储资源管理的复杂性，降低企业的成本，还可以提高系统的可用性和可靠 性，因此，虚拟化技术正在逐步成为存储领域的核心技术【2 s 】。 存储虚拟化在实现上可分为硬件虚拟化和软件虚拟化。存储的硬件虚拟技术是 存储系统的基础，对于改进存储系统容量、性能、可靠性和简化大规模存储系统的 管理起到最基础的作用。 但是，能够体现虚拟化技术的真正意义的并不在于硬件本身，硬件产品的运行 华中科技大学硕士学位论文 ! w-i vw 必须依赖软件系统，衡量虚拟化技术水平，比较市场上的虚拟化产品和解决方案都 离不开对具有虚拟功能的存储管理软件的探讨。存储的软件虚拟技术是直接地将物 理的存储系统虚拟成逻辑视图提供给用户使用，将物理上的存储系统的使用和管理 变得简单化。软件虚拟技术是建立在硬件技术之上的，可以实现硬件虚拟存储技术 所无法完成的或难于实现的存储功能和存储管理。 1 2 2 现有存储虚拟化技术研究 1 文件级分层存储管理 文件级分层存储管理( h i e r a r c h i c a ls t o r a g em a n a g e m e n t ，h s m ) 是一种典型的 软件虚拟技术【2 9 】。它将廉价的磁带库存储系统和价格相对较高但速度也较快的磁盘 存储系统结合起来，根据存储设备的不同分成不同的等级，主级存储设备由快速的 磁盘组成，二级、三级存储系统由光盘库、磁带库组成，其目的是虚拟成一个单一 的、易于使用、价廉物美、容量巨大又具有很高数据访问速度的存储系统。 在实现中，用户经常使用的文件放到主级存储系统中，不经常使用或很长一段 时间内不会使用的文件传输到二级或三级存储设备中，文件的移动和存储是自动完 成的，用户完全不会察觉，其功能由专门的h s m 软件完成。对于大多数h s m 系统， 用户不能直接访问二级存储设备，当用户需要某些被移动的文件时，再由h s m 软 件和二级存储系统联系，并将所需文件传回主级存储系统。当需要对主级存储系统 和二级存储系统做附加备份时，将使用第三级存储系统，如磁带。在h s m 系统中， 采用存根文件代替从主级存储设备移出的文件，存根文件损坏或被意外删除时，需 要搜索所有二、三级存储系统上的文件寻找该存根文件的原文件，当二、三级存储 数据量很大时，这样的搜索无疑是一种巨大的消耗，且如果二、三级上的数据丢失 或损坏时，数据就不能恢复，这成为制约h s m 系统发展的一个障碍【3 0 3 l 】。 2 逻辑卷管理 卷管理能够在物理存储设备之上实现层抽象，通过逻辑卷管理( l o g i c a l v o l u m em a n a g e m e n t ，l v m ) 软件隐藏数据在物理设备上的存储位置，将硬件实现 和软件管理完全隔离，软件进行管理和配置时无需对硬件改动，添加、删除，重新 配置在线物理存储也不必中断应用程序和系统的运行【3 2 】。v e r i t a s 容量管理器是 华中科技大学硕士学位论文 一种基于主机的存储管理软件，它能将物理存储设备和l u n 设备绘制成应用程序 使用的逻辑容量图，用户的存储逻辑请求经容量管理器转化为物理分配。 1 3 本文研究的主要内容 本文在分析传统客户服务器存储系统以及国内外的研究成果的基础上，实现了 一种对于网络存储系统进行虚拟化设计的存储系统，该系统设计的目的是为了从根 本上消除了服务器在客户端进行数据访问时的瓶颈作用，从而构造从客户端到网络 磁盘阵列的直接i o 路径。在系统中服务器负责对分布的网络磁盘阵列空间进行统 一化管理，形成一个逻辑地址连续的存储池空间供用户使用，服务器成为只实现空 间管理和分配的控制台。 客户端从控制台申请一部分存储池空间，同时获得这块空间到磁盘阵列的地址 映射信息。在客户机上，将这部分存储池空间映射为可以提供阵列服务的虚拟磁盘， 该磁盘可响应用户的各种i o 命令，然后根据阵列的配置信息，对这些命令进行数 据分块。分块的结果将形成若干到不同磁盘阵列的i o 子命令，通过与阵列间的网 络传输实现各子i o 命令，最终完成客户端用户对虚拟磁盘的访问。在客户端，我 们将网络磁盘阵列存储资源以虚拟磁盘的方式提供给用户使用，从而构建了一个网 络磁盘阵列虚拟化的存储系统。 该系统的实现需要协调磁盘阵列、客户端、控制台之间的通信，以完成数据与 命令的传输，因此首先要设计它们之间的通信协议，对各方的功能进行合理的分配， 明确客户端虚拟磁盘的工作过程，包括与控制台间请求存储资源、进行身份认证的 应答过程，以及与阵列间的数据传输过程。 客户端功能的设计和实现是本系统要解决的核心问题，这一问题实际上就是要 在客户端建立一个可以实现网络重定向功能的虚拟磁盘。需要考虑的问题有：不能 让用户察觉该虚拟磁盘实际的数据流向，对于用户来讲，使用该虚拟磁盘应该同使 用本地磁盘一样，网络重定向是完全透明的。虚拟磁盘一方面要实现网络功能，另 一方面要能够通过本地文件系统进行管理，为用户提供到虚拟磁盘的文件访问支持。 因此，设计时先从本地磁霉的i o 路径和网络驱动程序栈的分析入手，提出了在 w i n d o w s2 0 0 0 操作系统中基于t d i c l i e n t 驱动程序的实现方案，从而在客户端系统 一一 7 华中科技大学硕士学位论文 中，形成了由用户文件请求一文件系统驱动程序一t d i c l i e n t d r i v e r 一网络传输驱动 程序的i o 传输路径。 实现了虚拟磁盘功能的t d ic l i e n t 驱动程序不能忽视其加载的问题，即该驱动 程序所实现的服务何时并怎样被系统所识别。我们选择了在应用层通过一个驱动服 务管理程序来实现，这样用户能够根据自己所需启动虚拟磁盘的服务。 在t d ic l i e n t 驱动程序中，使用i o 分派函数接收用户的i o 请求，并进行相 应的处理。为了支持异步i o 操作，使得虚拟磁盘不必等待已有i o 请求的处理完 成，就可接收新的1 1 0 请求，因此在驱动程序上要为这些等待处理的i r p 进行排队， 统一交由i o 排队线程进行控制，完成与磁盘阵列间的数据读写揉作。 本文的最后研究了该系统在性能方面的各种优化技术，为获得功能上的进一步 完善，提出了一种支持异构客户端环境，可实现空间与信息共享双重服务的存储系 统。 8 华中科技大学硕士学位论文 2网络磁盘阵列虚拟化系统的体系机构 当前存储系统的设计正在以服务器为中心向以存储设备为中心转移，本章在这 一思路下，构建了网络磁盘阵列虚拟化系统，通过客户端的虚拟磁盘接口，实现了 存储设备与用户间的直接的数据传输。从而减轻了服务器的负载，缩短了客户端的 i o 相应时间，整体地提高了系统的性能。下面将分别阐述这一系统的硬件、软件 体系结构、数据传输协议等内容。 2 1 网络磁盘阵列虚拟化系统的硬件结构 2 1 1 传统服务器的瓶颈及相关研究 在传统的服务器系统中，存储设备( 一般为磁盘阵列) 通过总线适配器连接到 服务器内部的高速i o 总线上，经过这种方式耦合的服务器使用网络适配器连接到 局域网上，向连接在同一网络中的客户机提供存取服务。客户机请求服务器上存储 服务的过程为：客户机通过网络向服务器提出文件请求，服务器接收该请求，确认 该客户对文件的存取权限后，启动本地的文件系统和设备驱动程序等对本地的存储 设备进行读写操作。客户端与存储设备间交互的数据都将通过服务器进行本地的转 储，服务器的介入延长了数据传输的途径，也增加了数据存取时间【3 3 】。解决的方案 可以将服务器对数据的存储转发从这一i o 路径中移去，使数据能够直接在客户与 服务器之间传输。 就目前的研究现状，根据客户与服务器之间数据i o 的级别，i o 路径可以存在 三种传输方式【”j ： 是基于文件的文件级网络存储，在体系结构上与文件服务器相似，但在存储 管理和文件共享方面由专用的网络文件协议实现，在效率上也比通用服务器高，如 n a s 产品就属于这种类型。文件级网络存储的优势在于：其作为网络环境中的独立 实体而具有的网络“即插即用”特性；以及基于标准协议接口带来的灵活性。 第二种是在存储设备上提供比块高级、比文件低级的抽象接口，称为 存储对象级网络存储( o b j e c tb a s e ds t o r a g e ，o b s ) ，即将i 0 数据组织从服务器移 9 华中科技大学硕士学位论文 至存储设备，将存储空间管理从应用、操作系统和文件系统移到磁盘中，减少因磁 盘空间分配、回收等存储管理所带来的服务器负载。o b s 能更充分地利用存储设备 自身资源，提高空间分配效率，形成一种与操作系统和文件系统无关的高级存储对 象环境。此类研究的代表有c a r n e g i e m e l l o n 大学的n a s d ( n e t w o r k a t t a c h e ds e c u r i t y d i s k ) ，它使用常规通讯协议，经通用数据网络，提供对附网安全磁盘驱动器的并行 网络访问【3 ”。用户向文件管理器发出访问请求，进行注册和认证。文件管理器根据 自身维护的文件和用户信息决定用户可以对哪些磁盘进行访问，并转化为n a s d 磁 盘的地址、访问许可权和密钥等必需信息。此后所有的通讯在用户与n a s d 磁盘间 直接进行。这样，服务器从网络i o 数据路径中被移去，避免了服务器对网络i ，o 操作的限制。 第三种是块设备级网络存储，在保留原有服务器与存储设备间的硬件接口不变 的前提下，通过修改磁盘设备的软、硬件，以达到在磁盘与客户间直接收发i 0 数 据的目的。这类研究的代表有n e t s c s i ，客户发出数据请求到服务器，服务器将用 户的访问请求转换为对应的s c s i 命令，发送给n e t s c s i 磁盘。n e t s c s l 磁盘在执行 完命令后，通过自身网络接口，将数据直接返回给用户。文件管理器对存储设备的 控制是通过原有外设通道实现的，同时存储系统通过对第三方通讯机制的支持，在 数据路径上取消了服务器，同时减少了服务器负载。 2 i 2 体系结构 结合n e t s c s i 块数据传输的特点，构造如图2 1 的网络磁盘阵列虚拟化系统。 网络磁盘阵列以网卡接入局域网，为存储设备增加了网络通道，这是该系统在硬件 结构上的突出特点，网络通道的实现使得系统在硬件上具备了用户和阵列间直接传 递数据的条件。同时在软件实现上，客户端将磁盘阵列虚拟成本地逻辑磁盘驱动器， 利用本地已有的文件系统管理虚拟磁盘上的数据。虚拟化的结果使得文件系统的功 能从服务器端移至客户端，这样客户端可以不需通过服务器，就可在本地驱动程序 栈中生成对虚拟磁盘访问的逻辑块命令，客户端的数据请求变得更直接、快捷。服 务器的职能转换成为一种功能单一的网络控制台，负责将分布的磁盘阵列空间统一 为一个大的存储池，提供给客户端的用户使用，在存储池上逻辑地址连续的用户数 l 华中科技大学硕士学位论文 据，位于物理分布的阵列上。 图2 1 网络磁盘阵列虚拟化系统组成结构 控制台的职责是维护网络上的存储资源，并根据用户的需要分配网络磁盘阵列 上的存储空间给用户使用。为实现这一功能，控制台需要对多个网络磁盘阵列独立 的空间进行统一性管理，这实际上是对存储设备的虚拟化。同时控制台还需对用户 进行身份认证，保障每个用户数据的有效性、私有性和安全性。该系统将传统的以 服务器为中心的客户服务器网络转化为以数据为中心的存储网络，该结构能够更有 效的利用网络磁盘阵列的存储空间。 用户与网络磁盘阵列进行数据传输前，需先向控制台发出申请使用存储资源的 请求，控制台对用户的身份和请求权限进行认证后，将确认信息及相关的阵列连接 与配置信息返回给用户。获得确认的用户在自身的文件系统下层构造一个虚拟磁盘 设备接口，利用从控制台获得的网络磁盘阵列信息，在该接口上进行虚拟磁盘阵列 的构造。客户端虚拟磁盘接口的管理和控制都是使用客户端主机的c p u 和内存资 源，从实现角度来说是一种软阵列( s o f t r a i d ) 的实现，虽然软阵列的控制占据了 主机系统资源，但就现有主流p c 机所能提供的运算能力和内存空间容量来说，已 大大超出了本系统所需运行环境的最低要求，经测试i o 处理对c p u 的占用率远低 于7 5 这一阈值，因而不会对客户端其他应用程序的运行造成负担。 客户端的虚拟磁盘接口位于本地文件系统的下层，文件系统屏蔽了虚拟磁盘的 f l 华中科技大学硕士学位论文 网络实现，用户使用虚拟磁盘将和使用本地磁盘一样，完全不会察觉数据的实际传 输路径是否经过网络。客户端只需在开始时与控制台建立连接，进行身份认证及获 取软阵列的构造信息，就可以和网络上的磁盘阵列进行数据传输了，之后数据传输 的过程不再需要控制台的干涉。 2 2 网络磁盘阵列虚拟化系统的软件结构 网络磁盘阵列虚拟化系统的控制软件如图2 2 所示，它的主要功能由服务器、网 络磁盘阵列、客户机三方协作实现。通过定制的三方通信协议的支持，使用户能够 直接对磁盘阵列进行读写操作。各部分模块及其所实现的功能分别为： 1 用户管理器( 控制台) 用户管理器负责与多个客户端建立网络连接，监测各端口并接收客户端的存储 空间请求，对用户请求进行相应身份认证和存储空间的分配，并维护各用户信息。 客户机 图2 2 网络磁盘阵列虚拟化系统的软件功能结构 n e t w o r k 一_ 1 2 华中科技大学硕士学位论文 ， 这一过程需获得存储池的逻辑空间信息和该逻辑空间到阵列的映射信息，因而要与 低层的磁盘虚拟化管理器交互完成。 2 磁盘虚拟化管理器( 控制台) 通过连接阵列的s c s i 通道，获取各磁盘阵列的独立的逻辑空间信息，并在其 上构建统一的虚拟化服务视图存储池。此外，还要配合应用层的用户管理器 进行用户身份认证，并负责完成存储池上的空间分配和映射。 3 网络命令控制器( 阵列) 、 在设定的网络端口接收从客户端发来的网络i 0 命令，为其分配命令缓冲区， 将命令交由存取命令控制器进行具体的处理，对于已执行完的命令进行状态收集， 并返回给客户机。 4 存取命令控制器( 阵列) 按照一定的优化策略，动态地对来自网络通道的i o 命令进行分解、排队和执 行。操作的结果经由本地的网络通信层与客户端实现文件数据的交换。 5 网络通讯层( 控制台、阵列、客户端) 控制台的网络通讯层接收客户的服务请求，以及将用户管理器的认证结果反 馈给客户。磁盘阵列上的网络通讯层，主要是在命令执行器与客户机间进行直接 传送数据的任务。客户端的网络通信层主要负责同服务器建立连接过程中，收发 相应的连接信息，以及接受上层驱动程序发来的数据传输命令，与磁盘阵列执行 相应的数据读写任务。 6 驱动服务控制层( 客户端) 客户端驱动服务控制层的功能有两个，一是与控制台建立网络连接，向控制台 申请网络存储资源并进行身份认证，以及从控制台获取网络磁盘阵列的配置信息、 连接信息和映射信息等。二是能够根据用户所需，打开虚拟磁盘接口驱动所提供的 服务，或者响应用户的断开命令，切断到控制台的连接，同时关闭虚拟磁盘接口驱 动程序，释放该驱动程序所占用的本地系统资源。 7 文件系统驱动( 客户端) 用于接收并处理用户发来文件请求，并将这些文件请求翻译成对特定设备的i o 请求。文件系统驱动程序( f i l e s y s t e md r i v e r ，f s d ) 首先检查有关参数确定请求文 1 3 华中科技大学硕士学位论文 件是否已在文件c a c h e 中，若不在，则进行地址转换操作。 8 虚拟磁盘接口驱动( 客户端) 接收从文件系统驱动程序传下来的i 0 请求，对该i o 请求进行重定向，派生出 到不同阵列上的子传输命令，并将这些子命令发往低层的网络通信层和网卡驱动程 序等做进一步的处理，实现与网络磁盘阵列间命令、数据的交互。所有发往网络磁 盘阵列的命令和数据都将通过虚拟磁盘接口驱动程序实现，虚拟磁盘接口驱动程序 所创建的每个设备对象代表一种不同的磁盘阵列类型，如r a i d 0 、r a i d i 、a j d 5 就可分别由三个设备对象实现，这样发往不同设备对象的数据就实现了在不同级别 阵列上的存取模式。 2 3 数据传输协议 2 3 1 基于i p 技术的数据传输协议模型 i p 技术在局域网和广域网得到广泛应用并有良好的技术支持，很具发展潜力； 而且以太网的速度增长迅速，比起另一种用于存储网络的光纤通道的速度增长要快， 同时价格也要低的多。考虑到这些因素，我们基于i p 网络构造了虚拟化系统的传输 协议，其协议栈的分层结构如图2 3 所示。目前市场上已经出现了很多在i p 网络实现 远距离的块级存储技术，f l 口i p 存储( i ps t o r a g e ，i p s ) 技术，目前互联网工程任务组 织( i n t e m e te n g i n e e r i n gt a s kf o r c e ，i e t f ) 已经开发了三种i p 存储协议【3 6 1 ，i s c s i 、 控制台 客户端 网络磁盘阵列 应用层 传输层 网络层 数据链路层 图2 3 三方传输的协议栈模型 1 4 华中科技大学硕士学位论文 基于t c p i p 的光纤通道( f c i p ) 和互联网光纤通道协议( i f c p ) 等，这为我们进行 协议的设计提供了宝贵的经验。 传输协议栈分为四层，最高层是应用层，这是我们自行设计的第三方传输协议， 应用层以下使用t c p i p 协议实现三方在以太网上可靠的数据传输。t c p i p 协议能 够将不同的底层物理网络和拓扑结构隐藏起来，为应用层提供通用的、统一的网络 服务，同时为异构的通信方进行网络传输提供保障f 3 7 】。同o s i 七层网络模型一样， 在我们定制的通信模型中通常考虑的是对等实体之间的通讯，即由应用层到应用层 的通讯，传输层到传输层的通讯，等等。在这样的通讯模式中，下层实体对我们来 说是透明的，我们也不需要考虑下层如何实现我们所需要的操作，我们能够看到的 是本层所实现的功能和下层所提供的服务。各层所实现的功能分别为： t h i r dp a r t 层：会话层，通信的三方在这层上具有不同的功能。客户端在该层 实现与控制台建立连接，进而发出请求到控制台以获得认证和网络存储空间的分配： 同物理上分布的多个网络磁盘阵列建立连接会话，将用户的i o 请求进行分块并发 往下层的t c p 层进行传输，或接受从传输层传递的数据块对其进行重组。控制台在 该层实现的功能有：对分布式网络磁盘阵列上的空间资源进行统一性管理；接收从 用户端发来的认证信息，对其进行分析、处理和判断；响应合法用户对存储空间的 请求并进行网络资源的分配与回收。网络磁盘阵列上在该层实现处理客户端的命令 和数据传输请求。 t c p 层：传输层，通信的三方在这一层上所实现的功能是相同的，即在通信的 源结点和目的结点间进行可靠的“端到端”透明数据传输。在发送端，t c p 将从应 用层传来的字节流划分成独立的报文并交给网络层进行发送，而接收方的t c p 将接 收的报文重新组合交给接收方的应用层。该协议规定接收端必须发回确认，未收到 确认的发送方假定分组丢失，重新发送同一报文，以此来保证数据的可靠传输，同 时t c p 还处理有关流量控制的问题。 i p 层：网络层，通信的三方在该层实现相同的功能，对i p 报文进行路由和转发。 具体包括三个方面：一是处理来自传输层的分组发送请求，将该请求打包成i p 数据 报，选择去往目的结点的路径，然后将数据报发往相应网络接口。二是检查数据报 的合法性，对其进行路由选择，对于已到达目的结点的数据报，将i p 报文的数据部 l5 华中科技大学硕士学位论文 = = = ；= = = = = = = = j = = = = ；= = = = = = = = = = = = # 分交给上层的传输层协议，若该数据报尚未到达目的结点，则转发该数据报。三是 处理网络的路由选择、流量控制和拥塞控制等问题。该层实现的是无连接的数据报 传输机制，因此并不能保i a 正i p 报文传递的可靠性，只将报文尽力传送到目的主机， 无论传输正确与否，不做验证，不发确认，也不保证报文的顺序。 l i n k 层：数据链路层，负责接收从i p 层发来的i p 数据报并将i p 数据报通过底 层物理网络发送出去，或者从物