（计算机系统结构专业论文）基于柔性阵列结构的网络存储系统.pdf

华中科技大学硕士学位论文 接要+ 缱着互联网韵快速发展，溺络串躺数褥爆炸性遗增长，倍惠技术行啦已逐渐从 蔓 绩息处理和传辕为中心懿薅饯，过渡剐以壤患存鼹积共事为中心熬蹲代。露鞋缀务器 为中心的存储模式已无法满足并发多用户离速数据访问的要求，于是出现了以数据为 一一一一r 、，、 中心的徊络附加存储( n 拶女砸魏通过网络为各种平台的用户提供文件服务，它功能专 一、酃摇露鲻、荔予管瑾， 嚣蠢萁效率跑佟统豹文律黢务器搿。 从存储体系结构吞，n a s 是一个文件屡的存德设备。通常内置存储设蚕帮煺终接 口，采用网络文件协议和不同平台的客户之间共享文件数据。n a s 系统的操作系统对 箕性能歪关羹要。采用l i n u x 搽作系统并缀过一系列改造工伟，如内核的精简、文件 系统斡裁减秘饯位等，可以梅建一个钗绦存圈终麓存诺功能懿捧筵l i n u x 操终系统， 实际测试表明它具肖较好的性能。 为了达到网络文件共事的目的，还需要在网络存储系统中加入数据共摩技术，如 n f s 和c i f s 。力了疆嵩系统的梭能窝可靠整，n a s 系统通常使用其裔并行存取和数据 冗会的盘阵列技术。将盘阵列技术和黪管理相结会，赋霹以实现一耪灵活耀变救黍性 擞阵列，这种柔性阵列同时拥有多种阵列级别，并可以任意调节各个级别的容量大小。 通过研究网络存储服务系统，为其建立系统数学模裂，可以分析系统的i o 响应 时阚霹影璃系统瞧麓静穗关因素，找窭这些激素对予提嵩n a s 系统赘瞧能鸯重要镶雳。 关键词：网络附加存储，分层存储模型，柔性阵列，排队模型，响_ 陂时间 本的研究工借受到国家自然科学基金( 6 9 9 7 3 0 1 7 ) 的资耽 华中科技大学硕士学位论文 a b s t r a c t + w i t ht h er a p i dd e v e l o p m e n to fi n t e m e t ，t h et r e m e n d o u sa m o u n t so fd a t ah a v ef u e l e d a ne x p l o s i o ni nn e t w o r k ，a n dt h ei ti n d u s t r yh a se v o l v e di n t ot h ee r ao fs t o r i n ga n ds h a r i n g i n f o r m a t i o nf r o mt h ee r ao f p r o c e s s i n ga n dt r a n s m i t t i n gi n f o r m a t i o n a st r a d i t i o n a ls e r v e r a t t a c h e ds t o r a g ec a n n o tm e e tt h er e q u i r e m e n to fm u l t i u s e ra n dp a r a l l e la p p l i c a t i o n ，t h e d a t a c e n t r i cn a sc a m ei n t ob e i n g n e t w o r ka t t a c h e ds t o r a g e ( n a s ) i sac o n c e p to fs h a r e d s t o r a g eo nan e t w o r k i tc o m m u n i c a t e su s i n gn e t w o r kf i l es y s t e m ( n f s ) f o ru n i x e n v i r o n m e n t s ，c o m m o ni n t e m e tf i l es y s t e m ( c i f s ) f o r m i c r o s o f tw i n d o w se n v i r o n m e n t s ， f t rh t 印，a n do t h e rn e t w o r k i n gp r o t o c o l s n a sb r i n g sp l a t f o r mi n d e p e n d e n c ea n d i n c r e a s e dp e r f o r m a n c et oan e t w o r k ，a si fi tw e r ea na t t a c h e da p p l i a n c e n a si sa “f i l e r ”f r o mt h ep o i n tv i e wo f t h eh i e r a r c h ys t o r a g em o d e l ，w h i c hc o n s i s to f n e t w o r ki n t e r f a c ea n ds t o r a g ed e v i c e n a ss h a r ef i l ed a t ab yn e t w o r kf i l es y s t e mp r o t o c o l s t h eo p e r a t i n gs y s t e mo f n a si sv e r yi m p o r t a n t l i n u xi sa v a i l a b l ea n dp o s s i b l ef o rn a s a f t e rs i m p l i f y i n gn o r m a ll i n u x k e r n e l ，r e d u c i n gr o o tf i l es y s t e mi nf a c tl i n u x h a v ea g o o dp e r f o r m a n c e i nn a s s y s t e m b a s e do nt h ea n a l y s i so ft h ep r o t o c o l so fn f sa n dc i f s ，t h em e t h o do fd a t as h a r e di s g i v e n f u r t h e r m o r e ，t h ef o l l o w i n gt o p i c s a r e i n v o l v e d ：s e c u r i t y , h i g h - e f f i c i e n c y a n d f l e x i b i l i t y t h e f l e x i b l e - r a i da n dl v mi s p r o p o s e d , w h i c hg i v e s t h ec u s t o m e rm o r e f l e x i b l er a i d o p t i o n s f l e x i b l er a i dc o n f i g u r a t i o nc o n c u r r e n t l ys u p p o r tf o rr a i d l e v e l s 0 ，l ( 1 + o ) ，5 ，e t c a n dp r o v i d e st h ea b i l i t yt om i x d i f f e r e n tr a i dl e v e l s a q u e u i n gm o d e li s c o n s t r u c t e df o rn a ss y s t e mt oa n a l y s i st h en e t w o r ks t o r a g e s y s t e m w i t ht h eh e l po f t h i sm o d e l ，i or e s p o n s et i m ea n dr e l a t i v ef a c t o r st h a ta f f e c tt h e s y s t e mp e r f o f i n a n c ei sd i s c u s s e d n a s w i l lb e n e f i tf r o mt h i sm o d e l k e y w o r d s ：n e t w o r k a t t a c h e ds t o r a g es y s t e m ，h i e r a r c h ys t o r a g em o d e l ，f l e x i b l er a i d q u e u i n gm o d e l ，r e s p o n s e t i m e t h i sr e s e a r c hi ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o n ( 6 9 9 7 3 0 1 7 、 i i 华中科技大学硕士学位论文 1 1 存储时代的挑战 1 绪论 近年来，随着互联网及电子政务、电子商务以及其它相关应用的迅速发展，数据 已经成为网络中最珍贵的资产，信息的有效存储、保护、备份等也成为企业构建i t 基础设施迫切需要考虑的重要环节，存储数据的技术与设备正日益成为企业信息系统 的核心。面对激烈的竞争环境，全球一体化的经济趋势，快速发展的e 商务环境，日 益庞大的数据财富，提供有效的存储管理解决方案已经成为企业迫在眉睫的需求。在 i t 业增长趋缓的今天，存储行业一直保持着强劲的增长势头。据专业市场分析机构 i d c 预测，到2 0 0 6 年以前，磁盘系统存储市场将出现大幅度增长，其复合年度增长率 ( c a g r ) 将高达5 5 3 ( 参见图1 1 ) 。 图1 1i i ) c 磁盘存储数据报表 除了存储容量的需求不断增长以外，对存储速度的要求也越来越高。由于处理器 性能和网络速度的不断提高，服务器的性能瓶颈越来越集中在存储系统上“。为跟上 处理器和网络技术的发展，存储系统也在快速地改进。磁盘的存储容量几乎每卜2 年 增加一倍。“。同时，数据传输率也在不断提高。但是，由于机械定位延迟的影响，磁 盘驱动器的随机i o 数传率提高较慢。加上人们对数据安全性的考虑，于是出现了各 种新技术来提高数传率和安全性，其中磁盘阵列技术最具代表性。磁盘阵列采用大量 的有组织的廉价磁盘代替少量的大容量磁盘“1 。在保持了存储系统大容量要求的同时， 采用并行i o 和冗余技术提高了整个存储系统的性能、可靠性和安全性“1 “。 l 华中科技大学硕士学位论文 12 网络存储系统 l ! 1 网络存储概述 传统系统存储设备被认为是一台计算机的“外设”，它唯一地被个计算机系统 昕拥有。计算机处理器出错以后，能迅速被新的处理器替代，但存储设备出错，要在 非常短时间内恢复数据，往往是非常困难的”1 。随着企业数据量的不断增大，这种传 统的存储体系结构已经不能满足用户需求。在计算机系统中，存储系统几乎占整个计 算机系统价格的一半，除了价格因素之外，管理和维护存储系统的代价也占了维护计 算机系统总代价的显著比例，因而传统的集中式管理给企业带来额外的负担。在传统 计算机系统中，一台计算机只能唯一的具有一套存储设备，随着企业对计算机系统的 依赖逐渐增强，计算机系统的规模不断增大，数量增多，这样，在一个有很多计算机 组成的计算环境中就必然有很多存储设备和相应的存储管理环境，这无疑给企业数据 管理和数据安全带来更重的负担。 随着计算机网络的不断发展，人们逐渐认识到存储系统应该是被多个计算机共享 的资源。r a n d y h k a t z 在基于高性能网络和通道的存储的论文中，阐述了在引 入网络以后存储层次的变化，指出存储服务和网络服务的结合是一种必然的发展趋势 “。网络存储是网络技术和存储i 0 技术的结合，它充分利用网络的灵活性、可访问 性和易接入性，在容错技术、i o 并行技术、协议离效性的支持下，构成能有效管理、 备份和访问数据的网络存储系统。2 0 0 2 年网络存储的市场增长迅速，多个调研公司发 布的数据都表明，其年增长率超过了2 0 。更喜人的是，在这一巨大市场的背后先进 的网络存储的概念深入人心，应用普及不断提高。随着网络存储系统的不断研究和发 展，逐渐形成了较为成熟的网络存储模式。其中，最有代表性的是网络附加存储、存 储局域网和i p 存储技术“0 1 。 1 22 网络附加存储 网络附加存储( n e t w o r ka t t a c h e ds t o r a g e ，n a s ) 是一个内嵌存储装置和系统 软件的、提供跨平台的文件访问服务的、连网的专用文件存储服务器。简单地说就是 个连网的文件存储器( f i l e r ) 。它与传统的基于数据块( b l o c k ) 的直接连接存储 ( d i r e c ta t t a c h e ds t o r a g e ，d a s ) 系统不同，它提供给用户的最小存储单位是文件 ( f i l e ) 。n a s 的结构如图1 2 所示。 华中科技大学硕士学位论文 图1 2 s 网络连接图 n a s 通常作为一个l a n 上的节点，无需应用服务器的干预，允许用户在网络上存 取数据。n a s 本身能够支持多种协议( 如n f s 、c i f s 、f t p 、h t t p 等) ，而且能够支持 各种客户操作系统。通过任何一台工作站，采用通用w e b 浏览器就可以对n a s 设备进 行直观、方便的管理。n a s 是真正即插即用的产品，其物理位置灵活，可放置在单一 操作系统的工作组内，也可放在多种操作系统的混合环境中，如混合了u n i x w i n d o w s n t 局域网的环境，而且无需对网络环境进行任何的修改。n a s 产品直接通过网络接口 连接到网络上，只需简单地配置一下i p 地址，就可以被网络上的用户所共享。 典型的n a s 系统具有如下特性“： 1 提供高性能的数据访问服务，采用精简的高效操作系统，缩短系统响应时间： 2 采用i o 并行技术，提高存取速度： 3 实现真正即插即用，增加n a s 设备时网络不需停顿，具有超强的容量扩充能 力： 4 并支持多种网络文件访问协议实现跨平台网络文件共享，为各种不同平台的 用户提供数据共享； 5 管理简便。n a s 产品直接通过网络接口连接到网络上，只需简单地配置一下 i p 地址，就可以被网络上的用户所共享。使用基于w e b 的存储管理软件，用 户通过w e b 浏览器就可以方便地管理和维护。 n a s 产品大致可分为三代。早期的n a s 相对比较简单，大多数没有采用嵌入式技 术，实际上就是将通用服务器中的显示系统去掉，并与存储介质集成到一个机箱中+ 再加上远程控制。第二代n a s 产品基本上都采用了嵌入式技术设计的专用控制板，硬 盘容量更大，速度更快，功耗更小，机箱设计得更加精巧，可以多个并联获得更大的 3 华中科技大学硕士学位论文 存储容量。同时，支持多种协议，如h t t p 、f t p 、n f s 、a f p 、c i f s 等。目前，在部分 n a s 产品中采用了比较先进的防崩溃文件系统。因为一般的磁盘文件系统不太适合于 海量数据的存储，而这种新型的文件系统则是专门针对海量数据存储而设计的，具有 自动化日志、备份、恢复、存储索引等功能。防崩溃快速恢复磁盘文件系统将成为第 三代n a s 设备的基本配置。此外n a s 还将大量内存用做磁盘缓冲，这极大的提高了系 统的性能“。n a s 系统中还可以加入异地备份软件、安全访问策略等，以进一步提高 数据安全性和可靠性“。 一般来说，n a s 的性能比通用服务器高的多，以美国n s s ( n e t w o r ks t o r a g e s o u t i o n ) 公司的s p a n s t o r 为例，与传统的基于n f s 的s u nm i c r o s y s t e m sc o r p 的 通用服务器相比，在同等容量下，价格只有s u n 系统的1 3 ，而性能指标i o p s ( 每秒 i 0 操作数) 是s u n 系统的3 倍“。 1 2 3 存储区域网络 存储区域网( s t o r a g ea r e an e t w o r k ，s t u n ) 是一种基于光纤通道( f i b r ec h a n n e l 。 f c ) 协议的存储系统。它将磁盘阵列、磁带库、光盘库、数据服务器等通过光纤通道 互联构成一个存储予网。该予网以数据存储为中心，采用可伸缩的网络拓扑结构，通 过高性能的光纤通道直接连接，最大限度的实现数据共享和数据优化管理“”。s a n 克 服了传统s c s i 连接的电缆限制，允许更多的连接数量和更远的连接距离。采用集中 式存储管理，将子网内所有的存储设备无缝地连接在一起。存储区域网的系统结构如 图1 3 所示。 图i 3s a n 结构示意图 4 华中科技大学硕士学位论文 使用不同的网络拓扑结构，可以组成不同形式的s a n 的结构，主要有“”：点到点 ( p e e ft op e e r ) 的s a n ，环形s a n ，交换式s a n 。 通过最优化处理，使服务器和存储系统之间更快地传输数据块。由于传送数据时 将数据分割成的块数很少，所以在传输过程中，s a n 对通信接点的处理较少，因此非 常适合传输大量集中的数据块。s a n 可以实现存储设备之间的直接第三方传送，简化 了数据备份操作的方法，降低了系统恢复时间。另外，s a n 有很好的可伸缩性，可以 在服务器不停止工作的情况下方便地增加存储设备“”。 s a n 通常包括服务器，外部存储设备、服务器适配器、集线器、交换机以及网络、 存储管理工具等，基本组成如下： 1 具有f c ( f i b r ec h a n n e l ) 接口的存储设备，如f cr a i d ，备份磁带库等； 2 主机总线适配器( h o s tb u sa d a p t e r ，h b a ) ，用来连接存储设备，光纤交换 机等； 3 光纤集线器( f i b r ec h a n n e lh u b ) 和光纤交换机( f i b r ec h a n n e ls w i t c h ) ， 将存储设备在多台服务器之间共享； 4 f c s c s i 转接器，f c 电缆等，连接同种设备或异种协议接口。 目前基于光纤通道的s a n 服务器间数据传输速率已达2 g b p s ，到2 0 1 0 年速度可望 进一步提高到1 2 7 g b p s 1 “。 和n a s 相比，s a n 使用专门的网络，采用块传输方式，集中式数据管理；n a s 是 基于t c p i p 网络的，采用文件传输方式，分布式文件管理。两者各有优缺点，如表 1 1 所示1 。 表1 1d a s ，s a n 和n a s 特点比较 d a ss a nn a s 协议s c s i 等f ct c p i p 传输内容 数据块数据块 文件 安装简单麻烦，以天计算十分简单，以分钟计算 容易，通过浏览器来管 管理差 繁琐，要专门软件 理 兼容性好协议不统一，差标准协议，高 数据传输率 较高 很高随网络速度而变化 数据集中管理 否 是是 可扩展性差好，好，无需停顿网络 维护成本高较高 低 华中科技大学硕士学位论文 事实上，s a n 和n a s 并不冲突。如果将两者结合在一起，将能构成更高牲能、更 大容量的存储系统。一般的方法是将s a n 隐藏在n a s 后面，用来实现关键数据的可用 性和备份要求。如图1 4 所示，n a s 头( h e a d ) 将s a n 隐藏在背后，它面向外部提供 文件共享服务；s a n 在系统内部，实现数据高可用性和备份管理等功能。n a s 和s a n 技术相结合的结构是一种发展趋势。e m c 公司推出的n a s 新产品c e l e r r a 系列就 可以在升级系统软件后兼容s a n ，实现n a s 和s a n 的结合。业界普遍认为对一般企业 而言，往往两种环境都需要“，s a n 和n a s 结合的产品不断出现，将使用户买一种产 品享用两种技术，充分满足企业存储信息的需求。 1 2 4i p 存储及其他新技术 图1 4n a s 与s a n 相结合 i p 存储( s t o r a g eo v e ri p ) 是当前处理异构网络互连互通的最重要的技术之一。 2 0 0 ：3 年3 月i s c s i 技术标准通过i e t f 讨论以后，事实上标志着业界正式承认i p 存储 技术。目前i p 存储主要有三种形式： 1 i s c s i ( s c s io v e ri p ) i s c s i 提供必要的映射“，通过i p 网络传输s c s i 指令，就像今天的光纤通道可 以传输s c s i 指令一样。i s c s i 是为主机到存储设备的端到端连接而设计的，类似于光 纤通道的s a n 架构，i s c s i 技术包括可使主机到兼容的存储设备之间通过i p 交换机进 行通讯。而驱动器仍可使用真正的s c s i 驱动器，因为i s c s i 并不等同于今天的硬盘 连接技术。i s c s i 协议的实现一般有三种方法。”1 ： ( 1 ) 在标准网卡的驱动程序中加入处理t c p i p 和s c s i 协议栈的代码，占用c p u 资源实现i s c s i ，要求c p u 有较高的处理速度( i g 以上) 。 6 华中科技大学硕士学位论文 ( 2 ) 在网卡上固化实现i s c s i 协议的代码，以减轻c p u 的负载，这种网卡常被称 为“卸载”( o f f l o a d ) 网卡，卸载就是指从网络包中得到s c s i 命令的过程。 ( 3 ) 同时使用上述两种方法，将两种方法结合在一起实现，即固化最费时间的解 包操作再加上一些软件支持。 目前i s c s i 技术正逐步走向实用，相信不久的将来就会看到成熟的i s c s i 产品问 世：。 2 f c i p ( f i b r ec h a n n e lo v e ri p ) f c i p 是一个用i p 网络连接不同区域s a n 的协议。f c i p 将整个f c 协议栈放在i p 协议之上，通过i p 城域网或广域网互联远端的存储区域网。f c i p 协议允许独立的s a n 通过i p 网络互联在一起。每个s a n 采用标准f c 寻址，在f c i p 的端点之间建立i p 隧 道( 或网关) 。一旦隧道建立，扩展的f c 设备将被视为标准的f c 设备，并予以f c 寻 址! “。 f c i p 典型的应用是在一个f c i p 端点上连接两个或更多的架构在标准i p 网络之上 的f c 交换机，通过内部交换链路与先前的s a n 光纤环路相结合。 3 i f c p ( i n t e r n e tf i b r ec h a n n e lp r o t o c 0 1 ) 互联网光纤通道协议与i s c s i 的原理相似，i f c p 目的是要让各种光纤设备在i p 网络上组建s a n ，达到用i p 网络连接光纤通道存储设备，替代光纤交换机和路由设备 组建光纤s a n 网络。 f c i p 协议是在两个s a n 之间通过以太网建立点到点的隧道，构成一个的s a n 环境； i f c p 在f c 与i p 之间建立网关到网关的连接，使f c 帧可以路由到正确的目的地址。 以上三种协议可以使用如图1 5 所示的协议层次图表示。 图1 5i p 存储拂议体系结构 华中科技大学硕士学位论文 13 本文研究的内容和目标 本文研究的主要内容是网络附加存储系统的构成及其实现方法，重点将研究网络 存储系统、n a s 系统的存储模型和性能优化技术，网络数据共享的方法和数据存储的 安全肚、可靠性、可用性等。网络附加存储是一种可通过集线器或交换机等设备直接 连到网络上的存储设备。我们将采用以”数据为中心”的存储结构模式，构建集文件服 务、文件共享及网络数据应用等为一体的、灵活的、扩展性极强的网络数据存储系统。 我们将以开放源代码的l ir l u x 操作系统为母体，自行开发一个适合网络附加存储的高 性能存储专用操作系统，它删除了通用操作系统中诸多与存储无关的服务和计算功 能，仅保留存储功能和网络功能，为n a s 系统提供最佳的操作系统平台。同时，在系 统中加入多级阵列和卷管理功能，构建一种多级阵列并存的存储方法，根据不同的应 用环境设置智能存储策略。并采用多种网络共享文件协议，为各种平台的客户机提供 文件数据服务。最后，将在应用层开发基于w e b 的存储管理平台，使客户能通过w e b 浏览器方便地管理n a s 系统。 概括起来，本文将要研究以下主要内容： 1 将探讨n a s 系统的软硬件体系结构，分析网络存储系统中i o 的路径； 2 研究并实现一种n a s 专用的高效操作系统，将使用一种备份操作系统的方法， 以增强n a s 系统的可用性，达到防止系统本身崩溃的效果； 3 将要深入分析并研究各种网络数据共享技术，并给出其实现方法： 4 研究n a s 系统中软阵列和卷管理技术，将使用一种柔性阵列技术，它包括多 种阵列级别，每种级别的容量大小可以由用户按需调节，为用户提供安全的 存储环境和灵活的存储方案； 5 使用排队论模型分析n a s 系统，建立其数学模型。根据所建立的模型，分析 n a s 系统的i o 响应时间和影响系统性能的相关因素，提出优化n a s 系统性 能的方法。 华中科技大学硕士学位论文 2n a s 系统体系结构分析 本章簌计算壤系统结穆懿麓度，运用逮震襻德模型，分援n 矗s 系统斡瑾侉终筏霹 较件组成，以便从系统结构的麓次规范n a s 系统，指导实际开发产品的过程。湖时。 还将探讨n a s 操作系统的选择条件并就流行的几种操作系统进行比较。 2 ，1 网络存储的体系结构 网络存储魑网络传输与存储系统的有机结台。网络存储的目的主要是给用户提供 更加快速的数据访问，更加方便的存储管理和更加安全的数据存储。网络存储将存储 系统的特性与网终的并行性、灵添性、可扩展憔、翕管理性结合，充分发挥网络的性 艉季霆优点，提褰熬个存德系统熬存储屡量( q u a l i t yo fs t o r a g es y s t e m ，q o s s ) 2 3 。 网络存储往往是猩存储设备上附加不同的i o 功能，利用这些附加的功能，使襻储设 备和文件服务器熬同完备网络存储的功能“3 。存储系统中数攒访问所涉及的器级 i 0 功能如表2 1 所示。 袭2 。1i 0 功能爨议援 1 应用层( a p p li c a t i o n )产嫩商层i 0 请求 2 文件记录( f il e r e c o r d )文件累统，数据库系统等 3分配( a l l o c a t i o n )内部存储结梅、版本控割、自由空闻管瓒 4 块转换b l o c kt r a n s l a t i o n )设备豹虚拯铯，涣鹃i o 获像 5总线网络( b u s n e t w o r k )数攒传输命令，设备状态，控制命令 【6 媒体访问控制( m e d i aa c c e s sc o n t r 0 1 )仲裁、连接管理地址选择 7 物理层( p h y s i c a l ) 总线、阙线、连接嚣 基于这种分鼷表示，可班程戤纂础上总结为如图2 1 所示鹣分层存储模型。 这个存储模型是网络存储协会( s t o r a g en e t w o r ki n s t i t u t ea s s o c i a t i o n ，s n i a ) 撮议的。这里我们就各层的意义和功能做一个简骚说明： 营先是处在爱蹇屡戆应霆瑟。窀我表各穆盛爝程痔蠢系统程廖，可鞋挺它蓉终是 存储系统的客户端( c l i e n t ) 。存储系统的服务过程即是该客户端向服务端( s e r v e r ) 存储系统( s t o r a g es y s t e m ) 请求存储服务的过程。请求的单位是：文件或记淤。 9 华中科技大学硕士学位论文 爨2 、is n f 存健摸型 绥着是处在第三层的文件记蒙层( f i l e r e c o r dl a y e r ) 。写入时，它抱应用层发 过来的“高级”i o 请求( 文件记录) 映射为下层存储设备提供的块或卷的写请求； 读出时，蒋下滋匏块或卷擎整缝合为瘦弱瑟掰溪解鹃“离级”i 内攀经( 文佟记录) 。 这一层向下请求的单位是：块或块集合( b l o c k s ) 。 然后是姥在文俘记袋震之下、设萎屡之上酌块层( b l o c kl a y e r ) ，它褥套穆底 层具体的存储设备摘象，为文件记录层提供“数据块”存储服势。对应具体的存储 设备，块大小通常是固定的，比如，在s c s i 系统中，这个块被称为逻辑单位( l o g i c a l u n i t ，l u ) 。这蘑莛 差脊一个标懑漪、支 持访问一个块鲅多个块的接口。块朦不仅 可以包含个舆体的块设备，还也霹以是 一个坟集合，即由多个逻辑块设备以某种 映射方式共同构成一个大的块设备( 如图 2 。2 所示) 。这耱浚袈可淤楚线缝翁，氇可 以是交叉的遥可以是重凝的。交叉映射 可以撼离存储系统并行憾，重叠映射则提 供了安全的数攒备份。实际上，融i d 就是 在这层做的一种映射。 禺铃，块震可戬敖在变撬、霹终、设蚕上，三者分裂对应：s c s i 总线连接懿疆立 r a i d ：f c 连接的s a n ：i d e 戚s c s i 总线连接的物理存储设备( d e v i c e ) 。 1 0 华中科技大学硕士学位论文 在存储系统与网络结合以后，网络可与存 储层次互相交叉，形成各种不同形式的存储系 统。如图2 3 所示：将网络层插入操作系统和 文件系统之间，使操作系统通过网络读写文 件，这就构成了n a s ：将网络接口插入文件系 统和块层之间，使文件系统建立在网络块设备 之k ，这就够成了s a n 和基于主机的i s c s i ； 如果网络层在块层和具体存储设备之间，这就 是n a s d 和基于设备的i s c s i 。 22n a s 系统体系结构 在上一节中，我们分析了网络存储的系统 模型，如果将网络层插入操作系统和文件系统 之间，使操作系统通过网络读写文件，则网络 层之下的各层就构成n a s 系统，如图2 4 所示。 所以n a s 系统是一种通过网络提供文件层服务 的“容器”( c o n t a i n e r ) 。下面分别就n a s 硬件 和软件体系结构进行分析。 2 2 1n a s 硬件组成 应用程序1 1 i = = 二= = = = 1 网 = = = = = = = 划 文件系统h i 二= = 到 块层 l l i = 二= 二= 互划 存储设备| | = = = = = l l 譬 图2 3 存储分层模块示意图 图2 4n a s 系统模型示意图 n a s 的软硬件组成如图2 5 所示。整个系统主要包括：基本计算机环境( 如c p u 、 内存、适配器等) ，磁盘存储系统，网络接口。这种集成式n a s 系统使用e v o c 公司的 f s c 1 6 1 2 v 2 n 型工控主板，该主板拥有四个具有总线主控制器能力的p c ii d e 通道，提 供u l t r a a t a l o o 6 6 3 3 接口，最高数据传输率可达i o o m b s ，可挂接多到8 个i d e 磁 盘。同时具有可以插接p c i s c s i 适配器，连接多到1 5 个s c s i 磁盘。最大内存容量 达j 1 2 m 8 ，大容量的内存用做磁盘缓冲将极大地提高存储系统性能。具有两个i o i o o m 全双工以太网接口，可最大限度地提高n a s 的网络性能。系统通过网络接口，可直接 连入局域网或i n t e r n e t 。这种集成式n a s 具有成本低、易升级、易扩展等优点。 华中科技大学硕士学位论文 图2 5n a s 系统结构框图 2 2 2 n a s 系统软件体系结构 n a s 系统的软件组成如图2 6 所示。网络设备驱动和网络文件协议完成网络数据 的传送和接收。本地文件系统和磁盘设备驱动 完成本地文件的实际存放。两者通过虚拟文件 系统( v i r t u a lf i l es y s t e m ，v f s ) 互相联系。 专用操作系统负责整个系统的调度和管理。应 用程序的任务包括存储管理和备份等。 下面分别针对n a s 系统中的各主要模块进 行讨论。 1 专用操作系统 操作系统的主要任务是为n a s 系统提供一 应用程序( 管理程序) 专用操作系统 v f s ( 虚拟文件系统) 网络文件系统本地文件系统 网络传输协议逻辑卷管理器 如( t c w i p 协议)r a i d 设备 网络设备磁盘设备 驱动程序驱动程序 图2 6n a s 系统软件体系结构 个平台，包括内存管理、进程调度和通信、网络设备和存储驱动的管理等。它是整个 n a s 系统的核心。选择操作系统的原则是：具有强大而优异的网络功能，支持多用户、 多进程，支持多种文件系统，内核可裁减性，版权、费用等。 华中科技大学硕士学位论文 2 虚拟文件系统 虚拟文件系统是一个对各种具体文件系统的抽象。虚拟文件系统的主要设计思想 是：引入一个通用的文件模型，这个模型包含着广泛的信息，足以表达操作系统支持 的每种具体文件系统：这个模型有一些方法对应到具体的文件系统，对于一个文件的 内核于系统 i 进程调度jj 内存管理l 厂旷i 厂几网 王墨竺卜、lz ，j 1 望堕i f 剐，t i 叫匠壶茵f 图27 虚拟文件系统逻辑关系圈 读、写或其它操作由内核将其替换为具体文 件系统的读写函数。 虚拟文件系统不同于普通的磁盘文件系 统，它的所有数据结构都是在系统运行以后 才建立的，并在卸载时删除，不在磁盘上存 储。v f s 是一个管理者，他将所有的具体文件 系统抽象，然后提供一个统一的接口给上层 用户使用。一个具体的文件系统在使用了v f s 时，必须按照统一的接口进行编程，将自己 的细节对操作系统内核隐藏起来。在l i n u x 中v f s 和具体文件系统的逻辑关系如图2 7 所示。 概括起来，v f s 主要有以下几个作用。 ( 1 ) 对具体文件系统的数据结构进行抽象，用一种统一的数据结构进行管理。 ( 2 ) 支持多种具体文件系统之间的互相访问。 ( 3 ) 接受用户层的系统调用，如：w r i t e 、o p e n 、s t a t 、l i n k 等。 ( 4 ) 接受内核其它子系统的操作请求。 虚拟文件系统使得n a s 系统可以支持各种本地磁盘文件系统，针对不同的应用需 求选择不同的本地文件系统可以最大限度的满足用户需求。 3 逻辑卷管理和r a i d 技术 在n a s 系统中，卷管理器是一个位于文件系统之下的软件模块，它涉及的设备操 作比文件系统层次低。卷管理器完成实际的磁盘的分区、创建等工作，并将底层具体 的磁盘驱动器信息隐藏，提供给文件系统的是逻辑驱动器，整个文件系统就建立在逻 辑驱动器上。如果实际的物理驱动器发生了变化，只需使用卷管理器进行逻辑卷调整， 而文件系统则保持不变。这样可以保证文件系统的安全性、一致性、可扩展性。通常 卷管理器还能够完成如：镜像、分块等功能，但更多的时候是和软件r a i d 一起使用。 华中科技大学硕士学位论文 软件r a i d 就是使用软件来实现r a i d ( r e d u n d a n ta r r a yo fi n d e p e n d e n td i s k ) 功能。其实现原理是在操作系统内核中内将多个磁盘按照某种级别映射成为一个r a i d 殴备，然蕨再按照这种r a i d 级别到多个磁盘上或从多个磁盘上读取写入数据。软件 r a i d 实现简单，价格便宜，在n a s 系统中非常普遮。 4 潮络文件协议 网络文件协议是n a s 系统与外界交流的“语言”，它是n a s 系统的核心。使用备 和不同的网络文件协议可以使n a s 被多种操作系统平台的客户访问。由于n a s 系统的 核心功能是提供跨平台的文件服务，所默支持尽可能多的网络文件协议已经成为衡量 n a s 一个藿要技术指标。常用的网络文件协议有n f s ( n e t w o r kf i l es y s t e m ) ，c i f s s m ( c o m m o ni n t e r n e tf i l es y s t e m s e r v e rm e s s a g eb l o c k ) 、a f p ( a p p l ef i l et a l k p r o t o c 0 1 ) 、n c p 0 ) n r s e r r s - - ： e r r o r = s v c c r e a t e t h r e a d ( n f s d ，n f s d s e r v ) ： 创建制定数量的n f s d 进程 l 然后，n f s d 线程在循环接收r p c 命令，并执行响应操作。 f o r ( ：) f 木循环等待接收r p c 请求 w h i l e ( ( e r r ：s v c r e c v ( s e r v ，r q s t p ，m a x s c h e d u l e t i m e o u t ) ) 一e a g a i n ) ： u p d a t e t h r e a d u s a g e ( n f s d _ b u s y ) ： 3 6 华中科技大学硕士学位论文 十检查客户端连接 处理r p c 请求 s v c p r o c e s s ( s e r v ，r q s t p ) ： f 至此，启动了n f s d 服务进程。如果要增加一个n f s 共享目录，只需修改 e t c e x p o r t s 文件，增加所要输出的目录和相关访问权限即可。例如要输, m , h o m e n f s 目录，并给出访问权限为只读，访问用户为c l i e n t i s t o r a g e h u s t ，则在e t c e x p o r t s 文件中增加下列文字： h o m e n f s c l i e n t l s t o r a g e h u s t ( r o ) 在客户端要挂接这个目录只需使用： # m o u n t tn f s 一0t i m e o u t = 2 0 n a s s t o r a g e b u s t ：h o m e n f s h o m e m y d i r 要实现完整的n f s 启动，则需要启动6 个进程：n f s d 、m o u n t d 、p o r t m a p d 、s t a t d 、 l o c k d 、r q u o t a d 在n a s 系统中，n f s 的启动脚本如下： # s t a r td a e m o n s a c t i o n $ ”s t a r t i n gn f ss e r v i c e s ： u s r s b i n e x p o r t f s r e c h o n $ ”s t a r t i n gn f sq u o t a s ：” d a e m o nr p c r q u o t a d 磁盘限额 e c h o e c h o ns s t a r t i n gn f sm o u n t d ： d a e m o nr p c m o u n t d $ r p u h t d o p t s 安装协议 e c h o e c h o n $ s t a r t i n gn f sd a e m o n ：” d a e m o nh u s t h a ss r p c n f s d c o u n tn f s d 守护进程 e c h o e c h o n $ s t a r t i n gp o r t m a pm o u n t d ： d a e m o np o r t m a p 端口映射 e c h o e c h o n $ s t a r t i n gn f sl o c k d ：” d a e m o nr p c 1 0 c k d 访问加锁 e c h o e c h o n $ ”s t a r t i n gn f ss t a t d ： d a e m o nr p c s t a t d 访问状态查询 e c h o t o u c h v a r 1 0 c k s u b s y s n f s 启动完毕以后，使用r p c i n f o 命令加参数一p 可以查看所有的守护进程是否正确运 华中科技大学项士学位论文 1 。 n f s 是一种无状态的协议。客户和服务器单独处理各自的状态，即使发生网络故 障，也不影响客户和服务器之间的关系，一旦网络恢复正常又开始重新连接时，两者 之间就可以马上开始协同工作。这简化了服务器崩溃后的恢复操作，但常常被称为n f s 的缺点。对于多个客户的共享访问，n f s 不提供强制的锁定机制。它使用一种劝诫 性的锁定机制，即通知用户是否有另外的应用在使用该文件。但如果使用加锁管理程 序和状态监视程序，则可以在n f s 环境中提供一致的锁定行为，这就是s t a t d 和l o c k d 进程的工作：前者使用用户进程在用户空间实现s m 协议，后者在核态实现n l m 协议。 4