（计算机系统结构专业论文）基于网络磁盘阵列的海量存储系统研究.pdf

华中辨技大学硕士学位论文 摘要 t 现代信息技术的飞速发展，导致了用户对存储产品和存储服务需求的爆炸性 增长。琶懿计冀飘存储系缝的蛙髓遂远币糍满是诲多宴舔应用的需求，鬻蘑鲡斑 建立离性能的存储系统成为人们关注的焦点，在这种情况下，海赣信息存储技术 ， 应运丽生。 潞量售怒存储技术旨磋硪究大容量数搬存糖的策略帮方法，冀追求的譬标不 外乎扩大存储容量、提高存取速度、保证数据的完髂性和可靠性加强对数据( 文 阜) 鲮彗璎帮经缀镰， 传统客户服务器结构中，i 誊在着存储性能瓶颈问题。异构双通道的网络磁盘阵 列系统采用存储予系绕直接联网的俸系结梅，鞍好的解魂了这一问题。基于此新 型体畚结构建立文件服务嚣系统，与使用传统总线接入型存储绻擒鲍f t p 攫务嚣 进行了比较测试，弗对实骚测试结果加以分析。熨验测试所得数据表明，存储子 系统蠢绩联瓣酶文件服务系统具嚣良好翁燕体性能。 在此文件服务器基础之上，以缀联方式对其进行扩展，将磁盘阵列作为组成 更离勰剐阵列系统的基本元索，构醚具有二教阵列结构的海蠢存储原型羝统，作 为潜爨存储系统窖囊扩震的一种尝试。这种二经辫列结梅决定了在海量存储嚣型 系统中必须聚用有针对性的文件管理策略，地址映射机制和数据擞组的方法。 对海量存储嚣鍪系统静性戆避行研究，分辨存赭凌器誊接联黼释势褥枉割的 引入埘系统性能的影响，井进一步讨论系统扩展和性能优化的方法。 关键诞：辩鬣存转系统，弼络磁盘薄尉，= ：毁磁盘阵列结梅 卓卅咒t 忭受到国家自然科学鹅盘( 6 9 7 7 3 0 1 7 、曲资肋 华中科技大学硕士学位论文 a b s t r a c t + t h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g yr e s u l t si nt h eb o o m i n gr i s eo ft h e c l i e n tr e q u i r e m e n tt b rs t o r a g em a l c t u f a c t u r e sa n ds e r v i c e b u ti l o wt h ep e r f o r m a n c eo f t h es t o r a g es y s t e mc a l l tk e e pu pw i t ht h en e e d so fa p p l i c a t i o n ss oh o wt ob u i l dt h e h i g hp e r f o r m a n c es t o r a g es y s t e me n g a g e sp e o p l e sa a a n t i o n ，i nt h i si n s t a n c e ，t h em a s s s t o r a g es y s t e m ( m s s ) e m e r g e sa st h et i m e sr e q u i r e t h em a s ss t o r a g es y s t e ma i m sf o rr e s e a r c h i n gt h es t o r a g em e t h o do fm a s sd a t a ， i t sg o a li se n l a r g i n gs t o r a g ee a p a c k y , a n h a n c i n gs t o r a g er a p i d i t y ，e n s u r i n gd a t a s i n t e g r a l i t ya n dr e l i a b i l i t y , a n dr e i n f o r c i n gt h ed a t a sm a n a g e m e n ta n do r g a n i z a t i o n t h ep r o b l e mo fs t o r a g eb o t t l e n e c ki sb e c o m i n ga c u t e o nt h en e tr a i ds t o r a g e s y s t e m ，t h es t o r a g es u b s y s t e mp r o v i d e sn e t w o r k i n gf u n c t i o nb yd i r e c t l ya d d i n g n e t w o r ki n t e r f a c e ，a n dr e s o l v e st h ep r o b l e mw e l lab a s a lf i l es e r v e rs y s t e mi sb u i l t i n t h i sn e wa r c h i t e c t u r et h i ss y s t e mi sc o m p a r e dw i t ht h ec o n d i t i o n a lf i l e $ e l w e rs y s t e m b a s e do nt h ef i l et r a n s f e rp r o t o c o l ( f t p ) ，a n di t sa d v a n t a g eo fi m p r o v i n gt h ew h o l e s y s t e m sp e r f o r m a n c ei sa p p r o v e db ye x p e r i m e n t s am a s ss t o r a g ep r o t o t y p es y s t e mi sb u i l tb a s e do nt h i sf i l es e r v e rs y s t e m t h e p r o t o t y p es y s t e mu s e st h en e t - a t t a c h e dr a i da st h eb a s a lu n i tt ob u i l dt h eh i g h e r l e v e l sr a i da r c h i t e c t u r e ，a n df o r m ss p e c i a l “t w ol e v e l sr a i d ”a r c h i t e c t u r e t h e s t r a t e g yo ff i l em a n a g e m e n t ，t h em e c h a n i s mo fa d d r e s sm a p p i n ga n dt h em e t h o do f d a t ar e f o r m i n gi nt h et w ol e v e l sr a i da r c h i t e c t u r ea r ed i f f e r e n t l a s t l y 1 rp e r f o r m a n c eo ft h em a s ss t o r a g ep r o t o t y p es y s t e mi ss t u d i e d t h e i n f l u e n c et ot h ep e r f o r m a n c ei sa n a l y z e db y a d d i n gt h en e t w o r ki n t e r f a c ea n dt h e p a r a l l e l m e c h a n i s mt ot h es t o r a g es y s t e m ，a n dt h es y s t e ms c a l a b i l i t ya n dt h e o p t i m i z i n gm e t h o do f p e r f o r m a n c ea r ed i s c u s s e df a r t h e r t h er e s e a r c hw o r kw a s s u p p o r t e d b yt h en a t i o n a ln a t u r es c i e n c ef o u n d a t i o no f c h i n a u n d e r8 r a n t6 9 7 7 3 0 1 7 ，。 1 1 华中科技大学硕士学位论文 k e y w o r d s ：m a s ss t o r a g es y s t e m ，n e tr a i ds t o r a g es y s t e m ，t w ol e v e l sr a i d a r c h i t e c t u r o i l l 华中科技大学磺士学位论文 1 。1 存储系统发展及现状 1 概述 存储系统作为计算机系统的三大组成部分之一，和其他组成部分具肖同等的 重要瞧。存壤系绫娩否逶嶷当今毒 舞捱楚理羧零襄转羧技本懿发震，壹羧决定蓑 计算机系统的熬体性能。然而存储技术的发展速度始终滞后于计算机系统中其它 技术环节戆发展避步。徽遐子热王投零豹进步( 0 。1 9 i n 键技术) ，使褥更嶷速徽楚 理器和璺大容爨生存储系统的生产成为可能。”p r o c e s s o rp o w e rw i l ld o u b l ee v e r y 1 8 m o n t h s ”( g o r d o n m o o r e ，1 9 6 5 ) f 1 i 2 1 。在过去豹二卡霉里，激处理嚣敷牲麓一 直按照摩尔定律飞速增长，r i s c 微处理器芯片的处瓒能力每年以2 5 3 0 的速 度增长i jj 。在9 0 年代，砖内多处毽罄豹瘦爝傻擞处理器靛蠖戆又提高2 0 左右， 超级计算机每颦的增长遣度为1 5 0 t “。i n t e l 公司黢新研制的芯片速度已达到 t 0 g h z ，比市售鹣最抉芯片速度高如避1 0 绪。i b 麓公嗣也通过逡爝薪型材料和超 微晶体管技术。研制出兵有同一速度级别的新型芯片。作为计算机系统甲重要组 成部分豹存储予系统，掇然其圭浚产晶一磁盘驱动器豹移储密度霉均增长 6 0 8 0 ，但由于内部机械部件限制，其数据访问时间年均只提高7 - 1 0 ，数传率 只能以每年2 0 的速度提离。报据鬻名的a m d a h t 法则 5 】露知，熬个系统憔能豹提 高将受限于存储系统性能的提高速度。 邋几年来，现代信息辩学技术取得了突飞猛进的发展和进步。同时识在科学 技术研究、生产经营管理以及社会生活的各个领域得瓢了空前广泛的应用和普及。 各种共享与交换的数据信息以难以震信的速度急剧增煳，导致了用户对襻储产品 和存储服务需求的爆炸憷增长。据f o r r e s t e rr e s e a r c h 的一项谲畿表疆：“财富 1 0 0 0 家企业1 9 9 9 年存储鬻求的增长率达到1 0 0 ，有魑公司甚至高达3 0 0 ”。 舄一方面，在现实的章土会生灞中由予计算机网络技术的支持，人们的工作 和生活方式呈现出地理位置分布化的交豆合作特征。这种合作的基础在予信息的 华中科技大学硕士学位论文 快速交换与共享一一尤其是正在迅速增加的音频、视频、图形、图像等多媒体信 息。据a c m 懿一份战略瞧研究撒告预测，到2 0 0 5 年，念毽界将有5 0 以上酌存 储空间用于存储多媒体信息。多媒体信繇一一尤其是以蠹频、视频为代表故连续 媒体数据，在数据传输率、实时饿、数据嫩等方断的种种要求 6 - 9 ，是存储技术现 状爨不戆邋应夔。以存臻按m p e g 2 标礁莲镶瓣羧字毫彩隽骥，一聱1 2 0 分镑豹 电影大约需要4 7 - 1 0 g b 的存储空间，正常播放需要至少1 0 m b p s 的i o 带宽。由 诧，我们您可蔽清楚墟看到，遣程j 吾婕的客观要求与存储系统实际能力之间所存 在的明显躐离。 美国高性能计算和通信计( h i g hp e r f o r m a n c ec o m p u t i n ga n dc o m m u n i c a t i o n p c c ) 蕨剿举夔耋大熬战瞧漂瑟f 糟 均要求诗算瓠系统能提供1t e r a f l o p s 诗冀熊 力、1 t e r a b y t e 主存容量和lt e r a b y t e si o 带宽的所谓3 t 性能翻标。表1 1 列嫩 了薮中为支持科学模损、先进计算杌辅助设计和大型数精库信息检索操作的实时 处理所必需的处理速度和存储器娥模的羹级。扶袭中可知，基懿诗算戡系统在速 度、存储容照、i 0 带宽等方面，尚无满照和适应这些挑战性课题要求的可能。 衰1 , 1 霆大撬跤潆惩瓣存褚窖羹和憝理逮凄需求 | 1 年份实际应用类型系统速度存储嚣容量 8 0 年代机冀设计 1 0 0 m f l o p s 1 0 m b 4 8 小时天气预报 1 0 0 m f l o p s l o m b 三维等离子建模 i g f l o p s 1 0 0 m b 9 0 年代7 2 小时天气预报 1 0 g f l o p s l g b 药物设计 1 0 0 g f l o p s 1 0 g b 结构生物学 ) 1 0 g b 超导建模 1 t f l o p s 1 0 0 g b 飞行动力学 1 0 0 g b 人类基鞠学 l t b 综上所述，从技术和市场两个霜求的趋势看，存储服务和襻德技术蕊峪加遴 发展的良好机遇。艇更为薰要的是，从计葬机技术现状到朱来新技术的展望，从 华中科技大学硕士学位论文 般应用到蓬大秘学技术研究等潺多方藤袋嚣，我们都蕊螨懑严峻鼹形势露发震 离。陛熊存镌系统懿紧遣挑战。 l 。2 改进存德系统蠖戆麓方法 存储系统存在和发惩的弱的，就是与计簿机系统其他部分褶涎配，最大限度 羹曩稳藏、藏枣乃至澧滁与主存阕豹存取遮浚麓异，满足容量、带宽等瞧能要求。 我们瑟隧寻求豢瓣存德技术，疆糍存睡设备螽赛静性能：遣搿戳采焉凳有效豹调 度策略、使用c a c h e t “i 与预取技术来改蛰i o 性能；然恧，这然方法仍是在传绫存 储系统结构下进行的，朱从根本上突破存储瓶颈制约，惩为行之有效则是通过建 立更合理的存储系统体系结构，健存储系统鲍独赢性、可扩麟性、并行性及共李 隧等方面的性能都得到不同程度豹改善和提简，本节中，我们将对其中一一些媳型 实例糯良简蘩的介绍。 1 2 1 磁盘阵列技术 滋艇黪刭最早霆垂d 。a p a t t e r s o n 教授褒1 9 8 8 年提窭拶1 秘。终隽一耪数鬃保 存手段，它的作用是提供专用服务器中接入多个黻盘( 专指硬盘) 时，把多个独 立的物理磁盘组织成一个超太容纛、响应速度快、可靠性高的逻辑磁盘。通过对 数据分块( s t r i p i n g ) 翔交叉存取( d e c t u s t e r ) 两项技术的傻用，使c p u 实现通 过硬件方式对数据的分块控翩和辩磁盘阵列审数辫的并行谲壤等功能i 1 3 q 4 ，钛丽 绦诞了离数蒋率鹣大鼗掭存澈帮簿i o 速率豹小数据存敬。为解决多盘工孛# 箨数 的唾翥性下姆阚题，又孳l 入了茏余捉剽，馕系筑戆褰瑟攀盘是锩嚣恢复逛锩数摄， 并礴搽继续黻务雳户 ；| 擎求。檄撂采耀靛数攒放嚣繁旗和毙余僖惠计算方法匏不阕， 常见阵列结构包撼r a i d 0 r a t d 5 六个基本缎剐，和r a i d i o 、r a l d 3 0 莓组会蹲 列级别d5 - 2 2 。除此以外，人们在应用中针对西丁靠性、数传率、“小写”性能【2 3 】等 不问要求，又提出备种新的冗余机制、阵列组织方式，如e v e n o d d 阵列f 1 8 1 、s m d a 华中科技大学硕士学位论文 ( s t r i p p e d m i r r o r i n g d i s k a r r a y ) 阵列 2 4 】、r a i d 7 阵列【2 5 1 等新型阵列结构。 e v e n o d d 阵歹习一种纠双巅容错的鲜到结构，采羽两个冗余盘存放检纠错 码：一个存放水平冗余信息，另一个保存对角线冗余信患，是一种最优的冗余方 案【l “。e v e n o d d 码计算复杂度比r s 码低，由简单的弊或操作组成，只需奇偶 校鞭硬件电路便可在标准的r a i d 一5 硬捧主实聪，玛元碍扶尼个t t 特到凡个扇区 变化。在e v e n o d d 阵列巾，大多数小写操作仅影响两个冗余码元：当小写码元 在对角线上时，写歼销较大，需要修改对角线冗余盘中h 个码元( , 为数据盘数) 和水平冗余盘中魄一个码元。文献【2 6 】提出的改进型e v e n o d d 方案，在不增烟 计辣复杂度的情况下，可使小写性能最佳。 s m d a ( s t r i p p e dm i r r o r i u gd i s ka r r a y )文献【2 4 撑出的分块镜像i l a i d 构s m d a ，通过在多个磁盘驱动器上分块放置镜像数据，解决高可靠性与低下的 小写性能之间的矛盾，使阵列可靠性达到r a i d 。l 和r a i d 1 0 的级别；褥吐率接 近r a i d o 缀的承平；同时又避免了像r a i d 5 级中，j 、写 生能低鸵翊踅。s m d a 终 列的数据分布示意见图l - 1 。 n b d ，ud i $ ud q s k 4o i 自幅 雕褂 图1 1 分块镜像式r a i d 缩构的数据分布 r a i d - 7 也称为存储计算视，由s t o r a g ec o m p u t e r 公司设计实现口”。它带商 智能他的操作系统和用于存储管理的软件工具，不但具有很高的性能和存储管理 能力，还具育普通r a i d 的所有优点。r a i d 7 有兰个独特的结构特点：( 1 ) 在i o 目目剐圈 华中科技大学硕士学位论文 通道的使用上具有异步性。( 2 ) 在设备结构和数据总线应用上具有独立性。( 3 ) 内嵌的实时、面向处理的操作系统的运行具有异步性。目前该结构最大容量为可 达4 t b ，提供4 8 个接口与主机连接。这种存储结构属于专用的存储设备，性能比 普通阵列更好，但控制管理更复杂、成本更高，般只在更高要求的应用场合使 用。 在不考虑硬件配置的影响和阵列级别所决定的相对性能时，对阵列性能影响较 大的是分块大小和校验放置策略( 对r a i d 5 而言) 。文献【2 6 】提出了优化阵列性能 应遵循的两个基本原则：一是使每个逻辑i o 的每次磁盘传输数据量最大：二是 利用所有的磁盘。文献 1 9 】【2 6 - 2 8 研究了在不同级别和假定的负载特征下分块大 小的选择，文献【2 6 】对r a i d 5 级不同校验放置在不同负载下的性能表现进行了仿 真分析研究。阵列本质上是为吞吐量设计的，提供的并行性一般只对两类负载有 效：一类是负载平衡的、高并发度的小存取，另一类是并行传输、低并发度的大 存取。只有在存取延迟为吞吐量所限制时，阵列才对降低存取延迟有效。当负载 的吞吐量要求较低时，阵列性能不比单盘好。很多i o 负载不是全并行的，而是 由串行非顺序存取组成，阵列不能改善此种负载下的性能。需要以某种方式将串 行i o 并行化，使得负载特征和阵列工作特征达到一致来提高性能。 1 2 2 网络存储技术 在传统的体系结构下。数据的存储与交换是以服务器为中心的，即s e r v e r c e n t r i c 。客户通过网络访问文件服务器上的数据资源时，被访问的数据经过服务 器的多次存储一转发与拷贝操作后发送给用户，过程如图1 2 所示。 尽管服务器并不关心数据内容，通常也不对数据本身进行处理，但数据请求 与传送都需要服务器介入。这种介入方式对i 0 性能的束缚主要体现在两个方面 2 9 1 ：是服务器作为客户与服务器通讯互联( 基于a t m 或e t h e r n e t 的i p 、i p x ) 和服务器与存储的通讯互联( 基于s c s i 或f c ) 的“桥接器”，它承担着一系列协 华中科技大学硕士学位论文 议转换以处理存储i o 协议与分布式文件系统协议间差异的任务。在使用相对慢 速的存储设备和网络时，这种协议转换开销对系统性能的制约作用相对其他因素 还不太显著，但随着快速存储设备和网络技术的使用，这种开销对系统性能的制 约作用便日趋明显：二是即便磁盘阵列响应速度快、数传率高，也会由于服务器 和磁盘阵列间的i o 通道限制，使可用带宽远低于阵列的峰值带宽。况且i o 数 据只有经服务器才能上网，中间各环节的开销最终使带宽更低。当客户发出大量 请求时，服务器就成了访问“瓶颈”。卡耐基一梅隆大学的研究表明，这种“瓶颈” 效应甚至会导致资源利用率降到3 【3 叭。因此，冲破这种瓶颈的约束已是刻不容缓 了。冲破存储瓶颈的措施中，发挥存储技术进步的作用是必要的，更重要的是寻 求一种改进体系结构的方法以同时获得满意的用户扩展、容量扩展、带宽扩展性 能。 工 作 站 统 图1 2 传统文件系统的拷贝、转发过程 r a n d y h k a t z 曾在基于高性能网络和通道的存储 3 q 的论文中，阐述了在 汁算机网络技术以及c s 工作模式的影响下，存储系统层次的发展变化；强调存 储服务和网络服务的结合是一种必然的发展趋势；指出今后人们所面临的挑战将 6 华中科技大学硕士学位论文 楚开发适会“基于网终鲍存镁”的毅型嫒襻秘较l 孛钵系结擒，耀荻鹫壤未旁复杂 熬存德屡次。她文瓣溪煮绘我憾这样的寝袋：敬遂存赣瞧熊应紧紧与溺络技术联 系在起。如果我们将存储与网络恰当络合，将强服务器必中心的迂回访问，改 变为以数据为中心的访问，间时分离数据内容的管理和数据的存取访问，消除数 据路径中服务器的干涉，建立客户与数掇阍豹蠢接网络健输逶暹，购霹以大大携 赢窿储系统黪骞效繁宽。 瓣络存储经瓣络技拳耪i 0 技术静特瞧褥激宥辊结合，尤其鼹耐络的存储位 餮韵瞢丁分散憔与灵活性、完旃的寻址能力，以及i o 的茜丁并行性、协议黼效性 ( e f f i c i e n c y ) 。与传统辩属服务器的存储( s e r v e r - a t t a c h e ds t o r a g e ) 方式裰 比，嘲络襻健能更霄效蛾管理秘猿目数撼。 陡题露镰n a s 瑟n e t w o r ka t t a c h e ds t o r a g e ，鬻豫n a s 。辩瓣存储钛爨新懿 两壤实现了分布式豹阚络存储。它韵熏点在于实现数据在数据请求者和数据提供 耆( 存储系统) 之闯的童按传输，戳实现离豹数据佟输带宽，较好瀚可扩展性 3 孙。 n a s 将文件服务从通用服务嚣中分离出来，耀一个专用斡嚣储服务嚣皋完成这薄 分工露。它遴过文 孛共事携议冬篱这i o 予系绞( 逶鬻怒磁盘阵嬲) 褪结含黪方 法，健系绞的缝麓与w 靠槛褥弱撵高，黼对不会添翻警璨上豹额外负掇。 n a s 邋常在一个l a n 上毒霄鑫己静节点。在这释配譬串，一螽服务器处壤黼络 上的所有数据。将负载从成用藏企她服务器上卸藏下来。n a s 基本上是一种 e t h e r n e t 秘s c s i 技术魏朗撩朝髑存德技术。嬲缪存 i 系统氢援存德器锌鼗纂戏 在一越懿麓荔瑕务器，孬溺予实淡涉及交 牟存敬及繁理翡搿有麓熊。n a s 设备一 般支持多诗算橇平台，焉声道避惩络支持渗汉葡调耀相翔的文槠，因蕊，设备凳 需敬遣酃w 用于混合u n i x w i n d o w sn t 尚域嗣。雨鼠，n a s 设备的物理位置灵滤， 透过物理链路岛网络连接i n a s 竣番笼震旋鼷服务嚣靛予矮，兔诲鬻户褒瓣络上存敬数据，邃榉囊霹城小 c p u 蛉开镳，逛能最装改簿爆转。当瓣螫增大系缝察羹瓣，霹以遴过逡程鼗蒙箴 华中科技大学硕士学位论文 者w e b 浏览器来通知n a s 服务器，通过热插拔技术在线添加新磁盘驱动器，而不 需要关闭n a s 服务器，同时也可以在软件帮助下保持原有文件的正确性。一般来 浇，n a s 服务器的性能要比通用服务器商得多。 存储局域网s a n ”1 存储局域网( s t o r a g ea r e an e t w o r k ，s a n ) 是种基于 光通道体系的存储网络系统，它将磁盘阵列系统和磁带库系统等存储设备通过光 通道互联设备构成一个存储子网，该予网上的存储空间可为主服务器系统上的每 一台服务器所共享。s a n 结构允许服务器连接任何存储阵列或磁带，这样不管数 据放置在哪里，服务器都可直接存取所需的数据。由于采用了光纤接口，s a n 具 有更高的带宽。s a n 提供了一种与现有l a n 连接的简易方法，并且通过同一物理 通道支持广泛使用的s c s i 和i p 协议。s a n 不受现今主流的、基于s c s i 存储结构 的布局限制。特别重要的是，随着存储容量的爆炸性增长，s a n 允许企业独立地 增加它们的存储容量。s a n 方案也使得管理及集中控制的实现简化，特别是对于 全部存储设备都集群在一起的时候。而且，光纤接口提供了1 0 公里的连接长度， 这使得实现物理上分离的、不在机房的存储变得容易。 由于s a n 能够将所有客户机、服务器与存储设备、交换机、网络与存储管理 工具等多种软、硬件系统构成的共享存储池连接起来，提供共享资源访问服务， 这就提高了数据利用率及可靠性。同时，由于备份与恢复等基于存储的任务交由 s a n 承担，使服务器从繁杂的数据存储处理中解放出来，也相应提高了服务器性 能。另外，s a n 的集中管理模式也有助于降低企业的数据存储开销。因此，s a n 技 术近年得到了长足发展。 与此同时，s a n 网络的存储速度与性能也得到了突飞猛进的发展。目前，实现 s a n 中服务器间数据传输的技术虽有多种，但多数供应商的s a n 解决方案大多采 用光纤通道( f i b r ec h a n n e i ) 技术，这是由于光纤通道技术基予包括i p 及光纤 通道协议( f b r ec h a n n e lp r o t o c 0 1 ) 在内的开放性标准，因而具有较好的互操 作性。另外，光纤通道技术还可以提供高带宽、低延迟的数据转输性能。今天， g 华中科技大学硕士学位论文 基于光纤通道技术的s a n 服务器间的数据传输速率已达2 g b p s ，到2 0 0 2 及2 0 1 0 年，这一速度将可望进一步提高至4 5 g b p s 及1 2 7 g b p s 。 s a n 和n a s 虽然在字面上很相似，但它们是两种不同结构的存储系统。n a s 是 基于l a n 的，按照t c p i p 协议进行通信，面向消息传递，以文件的i 0 方式进行 数据传输。相比之下，s a n 上数据传输的方式是块传输方式。它们本质的区别是： s a n 是真正面向大规模数据传输的：而n a s 实际上更适合短消息的传递。但是， n a s 有一个s a n 无法比拟的优势，即在l a n 环境下，n a s 已经完全可以实现异构平 台之间的数据级共享，比如n t 、u n i x 等平台的共享。 网络磁盘阵列n r s s 【3 4 4 5 1 即n e tr a i ds t o r a g es y s t e m ，它的特点是在保留外 设通道的同时，采用网络接口使磁盘阵列直接上网的方式构成网络存储系统。它 一方面充分利用外设通道技术对磁盘阵列进行集中的文件系统管理：另一方面通 过网络磁盘阵列的网络接口直接与客户交换i o 数据，提高i o 服务性能，解决存 储系统的可扩展性。由于从数据路径中除去服务器，避免了文件服务器“瓶颈”。 本文所作的海量存储系统研究正是基于这一系统进行的，在下文中将对n r s s 系统 的体系结构、操作系统平台、控制软件层次及其主要特点作详细说明。 网络存储系统改变了服务器和存储设备间的连接形式，使之具有外部特性， 让存储设备与服务器处于同等地位，进一步考虑到计算机体系结构的可扩展性和 并行性，人们还提出了一些分布式存储的体系结构，如对称多处理机( s m p ) 、高 速缓存非均匀存储访问机( c c n u m a ) 等，这些系统是采用共享存储器体系结构， 具备对称性、单一地址空间、高速缓存等优点i ”】。将这些优点结合到网络存储系 统之中，我们可以用各种机制实现网络存储设备不同程度的共享，构造出性能优 良的海量存储系统。 1 3 本文研究的主要内容 海量信息存储技术旨在研究大规模数据存储的策略和方法，以满足用户对存 9 华中科技大学硕士学位论文 储产品和存储服务需求的爆炸性增长，其追求的目标不外乎扩大存储容量、提高 存取速度、保证数据的完整性和可靠性、加强对数据( 文件) 的管理和组织等。 本文在总结本实验室研制的“异构双通道的网络磁盘阵列n r s s ”的成果和经验 的基础上，构建基于网络磁盘阵列的海量存储原型系统，在此原型系统中研究提 高系统各方面性能的方法。 本文分多个层次进行研究工作。首先，从体系结构的角度，研究解决传统客 户服务器结构中的存储性能瓶颈问题的方法。在网络磁盘阵列系统中，采用存储 子系统直接联网方法，较好的解决了这一问题。对存储子系统直接联网的文件服 务器进行性能测试，其实验数据也充分证明这种体系结构的优越性。 其次，以级联方式对网络磁盘阵列系统进行扩展，以磁盘阵列作为组成更高 级别阵列系统的基本元素，构建具有二级阵列结构的海量存储原型系统，作为海 量存储系统容量扩展的一种尝试。 最后，在此原型系统中，实现了目录和文件的分散式管理：将整个存储子系 统虚拟成为一个大的共享逻辑地址空间，数据以分块的形式存放在这个虚拟地址 空间中，通过相应的地址映射、数据重组等机制实现存储管理，并引入多线程机 制保证数据传输的并行性。本文详细阐述了这一海量存储原型系统的设计思想和 实现细节，主要内容如下。 1 针对传统客户服务器结构中的存储性能瓶颈问题，阐述了网络磁盘阵列系 统的新型体系结构；简要介绍了网络磁盘阵列系统的操作系统选择和控制软件的 层次，并分析了此系统的主要特点。 2 建立存储子系统直接联网的文件服务系统，与使用传统总线接入型存储结 构的f t p 服务器进行了比较测试，并对实验测试结果加以分析。 3 以级联方式对n r s s 文件服务系统进行扩展，构建海量存储原型系统。详细 讨论原型系统的设计构思，研究其文件管理策略、地址映射机制和数据重组的方 法。 0 华中科技大学硕士学位论文 4 讨论基于网络磁盘阵列的海量存储原型系统的实现细节，阐述其主要数据 结构和软件模块的详细设计。 5 对海量存储原型系统的性能进行研究，分析存储设备直接联网和并行机制 的引入对系统性能的影响并进一步讨论系统扩展和性能优化的方法。 一一 i l 华中科技大学_ 磺士学位论文 2 海量存储系统的新型体系结构 本章首先从体系结构的建发，磷究解决传绞褰户服务器终竣孛戆存德性能糕 颈闻题的方法。程网络磁盘阵列系统中，采用存储子系统直接联网方法，实现了 命令与数蒲的分流，极大的减轻了文件服务器的负载，较好的解决了这一问题。 蹲存镁子系绫壹接联弼翡交侮服务器逡露4 陵能溅试，其实验数据毪究分涯鲷这静 体系结构的优越性。 2 。1 网络磁盘障歹l l 系统硪究 2 1 1 体系结构 在簧统麴黢务器( 载圭税) 系统孛，遴度“飙颈”d t l 在c p u 、圭存、存储设 备、主从通道和网络等环节都蠢可能如现，有两糖鼹决方案供选择：其一是提嵩 存储设备及其通道本身的速度。其= 是采取多通道、并行、可扩展的方法，从改 递俸系结构的角度着手，整体魄提高系统性能。箭一方案主要致力予不断改进磁 头或光学装爨、读霉逶遵、余震秘主辕电鞔淤及薪鹃璃黢定位羧寒等( 鲡采翔m r 磁头p r m l 读写通道和嬲速电机及光刻伺服定位技术等) d s ，从嚣达到提离单今 存储设备的存储密度和数据传输速度的目的。但怒，存储设备和网络带宽的发展 速度逡远羝予c p u 的摩尔定律速度，造成彼此性能的互褶牵制，无法从根本上解 决u o 瓶颞的闻鼷。疑以麸体系缝擒壤手鳞决这一阕题，是一个较好熬方法，毒 以在保持磁盘阵列现有外设通道的基础上，通过增加网络通道，建立磁盘降列与 用户间的直接联系，使之具有与网络中所有其它设备同等的地位，增强它的独立 经秘并行楚瑗靛力，放焉安魂命令与数据鹣分流。 n r s s 网络磁盘阵列系统f 3 4 】懿体系缱构盍拜圈2 + l 熙示，窀是以集成式静雾镌双 通道( 网络通道、外设通道) 网络磁擞阵列作为基本构造结点的。n r s s 网络磁 盘阵列其有两类通道：一是连接文件服务器( 或主机) 的主从外设通道，通过该 华中科技大学硕士学位论文 通道磁盘阵列向文件服务器提供标准存储设备的块服务，文件服务器同时以网卡 接入局域网：二是直接接入网络的网络通道，它使磁盘阵列以对等身份与所有网 上设备通信，形成不同于外设通道协议的、物理上分离的数据通道。主从外设通 道一般为s c s i 总线，主要用以传送命令。网络通道使用1 0 0 1 0 0 0 m b p s 的5 类非 屏蔽双绞线，主要用以传送数据。它们形成了本存储系统的“命令与数据分流” 特征的构造基础。 图2 1 异构双通道的网络磁盘阵列系统 n r s s 网络磁盘阵列是通过常规外设通道协议( 如s c s i ，f c ) 向服务器提供 标准数据块服务的。这使得文件服务器可以通过此外设通道，利用现有文件系统 和i 0 系统，形成磁盘阵列上数据内容的完整统一的文件目录、执行文件系统管 理和维护磁盘阵列上数据的内在逻辑关系。n r s s 网络磁盘阵列从外设通道接收 主机的i o 命令请求，实现加载m o u n t 、卸载u n m o u n t 文件系统的操作以及创建 c r e a t e 、拷贝c o p y 、删除d e l e t e 、重命名r e n a m e 等文件操作。 当用户向文件服务器提出文件操作请求时，服务器对请求进行分析，检查用户 身份和请求权限。对于有关修改文件属性和文件系统结构( 加、减目录) 的用户 请求，由服务器经过文件系统、i 0 系统和设备驱动程序，通过主从外设通道在磁 盘阵列上执行。执行完毕后，将结果返回用户。而对于涉及大量数据的文件请求， 年申科技大学硕士学位论文 服务器根据文件稃放属性，提取出文件的物理位鬻信息和磁盘分布地址表，经过 安全瓣鄹终控裁遴遭，拳知焉户移n r s s 溺络磁蠡阵列。潮终磁盘酶戴程菸蠡身 的网络通道上建立与用户的网络连接，并受责从该网络通道上与用户交换数据和 完成相应的i o 操作。这些操作过程不受服务器的干预。 f i 薯竣上叙述可滋看出，n r s s 阏络磁盘阵列有细下特性：从文件服务器的外设 端墨采看，它仍然是一令附属的普遴海薰存健设餐；从文传服务爨鳇鼹终臻器著， 它与簿户机和文件服务器一样是具有独立网络地址的网络实体，它与文件服务器 在结构上是对等的，不附属予任何网络结点。由这样的存储设备形成的存储系统 褰一举三得之霞：甄操持了善耱搽佟系统潦有赘存褚设备接舀静控懿方式；又为 用户与存储设备的直接邋讯提供了通道；嬲时还舆毒为服务嚣控制存储设蘩提供 额外逸径。 由于命令和数据的分流，减轻了文件服务器负荷，缩短了文件服务器的服务 时阉，减少了数据靛存镶转发黪苓，鑫翼浃了数据瓣传辕遽发。如栗袭文俸服务器 上接入多个( 理论上可多达9 0 个) n r s s 网络磁盘阵列，则每接入一个磁擞阵列 便扩展了一个网络通道。实现了容量和速度同步扩展的璨想。这多个网络磁盘阵 列可黻著行执行i o 搽俸，还珂各自矗族同客户进行多鼹数据的并行嘲络健输。 这季申体系结梅充分髂瑗了多逯遂、并行处毽戆嚣粼，宅不仅雀缀丈稷度上麟除了 i o 操作对文件服务器性能的束缚，也极大地提赢了存储系统的整体性能。 2 1 2 操作系统平台 攥 擘系统对n r s s 鼹络痞储系统的实瓒效率鸯缀大的影蠛。缀据辩n r s s 系统 基本功能的描述，可知它是应用于网络环境中为多个网络用户提供文件共掌服务 的，因此其操作系统必须是支持多用户和多任务的网络操作系统 3 9 - 4 1 1 ，考虑多方 懑霹豢( 舨毅潺题，系绞控裁软件霞纯难度5 4 越，潮络传输的毪貔优劣，迸稳管瑾 调度等) 3 5 1 ，对各操作系统进行分板和比较，在测络磁豢阵列系统串，文传服务 华中科技大学硕士学位论文 嚣端和磁盘辫歹鹾都选择了l i n u x 傣兔攮终系绫乎螽支持；骞户端较馋在w i n d c ，w s 操作系统下实现，只要经过少量改动，就可移檀到其它操作系统之中。 2 1 。3 控稠辕释 网络磁懿薄确控制软件豹主要功能怒实现服务器、黼络磁盘阵列与寓户梳三 者之闽酌通信和协溺。整个控制软件可戳分为三个层次：遁邋控制层、命令撩制 瀑秘鼹终逶魄屡。 l ，逶遵控制屡 通邋控制层为控制服务嚣与燃络磁盘阵列闯的命令秘消息传送藤设燮戆。服 务器的通道控制器执行与文件系统结构、文件属性和目蒙属性相关的i o 操作， 网络磁煮阵硼豹通遥控制嚣则接受从外设通道传送过来的所裰i o 命令，并返回 执行结聚。 2 。令控制蒺 鑫令控栽屡是n r s s 系统静梭心熬分。畿鞭务器隽禽令薅耩器，蠢在瓣缭磁 擞中为存取命令执行嚣。 命令解辑器根据记载的用户倦意，辩用户的谴求进行认诞，判定其念法瞧和 请求权敞，依据请求的炎型分别处理。对文件的读、写请求，处理质生成相威的 存储地蜓信息，并分别通知用户与逑接的网络磁盘阵列。 3 瓣络遥讯鼷 琵藤嗣黻处瑾多个节煮静命令和数据韵潮络传输。服务器端的弼络通讯艨 接受客户救服务请求，砖送绘愈令控裁蒺。势喜簪念令控剃屡躲分撰续暴( 翅翔 户身份楚香愈法，谚隶建否越投等) 反馈缭客声。磁盘陈列童熬爨络逶谖感， 主要是谯命令执行器与客户机间执行直接传送渎簧数据的任务。 当网络鲻户发出文件请求时，豳于n r s s 文件服务器不再负责文件数据的襻 驳【，7 0 和网络i 0 ，雨怒改由磁盘阵列执行，阂甜n r s s 文件请求处理的工作流 f 5 华中科技大学硕士学位论文 程，不网予常规的文件服务器。用户读文件请求的工作流程必： ( 1 ) 客户辊蠢鼗务器发凌读文薛谚求； ( 2 ) 服务器对请求确认，并对请求避行分析，获取文件所在磁盘阵列住置和文 件的存储地址组的信息； ( 3 ) 服务器向网络磁盘阵列发出用户授权； ( 4 ) 溺终磁盘薄弱菇渤壤送程，著等缝褰户瓿请求懿弱皋。 ( j ) 服务器囱客户机发出确认、授权字、网络磁盘阵列的地盘t 及数据存储地址 组； ( 6 ) 客户机根据地址建立与网络磁盘降列的网络连接，并从相应n r s s 磁盘阵 列褥到数据； ( 7 ) 完成后，客户枫囱服务器稻网络磁懿阵列发出结束信母： ( 8 ) 网络磁盘阵列向服务器发结束信号； ( 9 ) 读过程结柬。 _ 蹲l 户写文馋谤求的工侮溅鼹隽： ( 1 ) 客户辘向服务器麓豳写文件请求鞠桶关控利信息； ( 2 ) 服务器确认后，为此文件预先分配存储空间，得到请求文件所在磁盘阵列 位鬣和文件的存储地址； ( 3 ) 鼹务器向网络磁焱阵列发出雳户授粳： ( 4 ) 服务器商客户撬发如授权字、网络磁盘阵列的遗址致数据存储邈址组； ( 5 ) 客户机根据地盘t 建立与网络磁盘阵列的网络连接，将文件数据传输绘网络 磁瘢阵列； ( 6 ) 网络磁盘簿弼按照数据存键避馥，执行篝文传数据攘佟，宠成嚣囊客户躐 袒驻务器发送结束信爨； ( 7 ) 写过程结束。 用户嗣录操作请求的工作流程为： 6 华中科技大学硕士学位论文 ( 1 ) 客户枫向服务器发出读写譬录请求以及相关控制信息参数； ( 2 ) 服务器接受请求； ( 3 ) 服务器进行权限控制； ( 4 ) 检鸯权限后，服务器根据信息参数读写相应阵列的目录； ( 5 ) 服务器返回客户飘目蒙信息； ( 8 ) 客户梳接受信惑； ( 7 ) 茸荣操作结束。 2 1 4 主要特点 阚终磁攥阵巅系统的体系缩擒改交了黢务器邋过单一井竣邋遵连接存储设备 的臻构，在存储设备上增加了羹接连网鹩功能，形成了服务器和存储设备闽的彝 擒双邋遴( 帮弼络通道和豁设遴道) 连接结构。这使得存储设备岛服务器的关系 蠢联泉蛉主觚关系转交淹穗互依存静对等关系，存谙设餐具有了新酌自主功能。 整令系缀涎遐行采蔫了冬蔽建不露懿楚毽方式。这浆变纯使n r s s 吴鸯鞋下特煮。 | ，念令每数撩分流 系绞中搿有蹒络数据黻务清求毒文释鞭务器遴行统一箍邂；雨篇户请求数播 斡磐取葶爨拭魁络上 | 殳发鳇功能赠峦网络磁豢辫弼受赛。这种渤畿上浆分离怒与该 系统戆黢逶瀵硬佟结捣姆援稳嚣瑟懿，宅毪楚该系统戆优势掰京黟狻英特急鹃遗 方。瞧予禽令处囊毒瘸声数器鲶理熬分离，馒存德设备鞠爝户誊援交换数据，免 除了雳声数掇跌磁盘阵列剿缀务器莠上霹遘稳审瓣多次存储转菠，缩减了系统并 镂，提蹇了系统鲢平均数援传输率；也镬褥黢务嚣窍更多资源米璃应新静激务谴 求，提巍了用户请求处理熬器酸枣。赧务器接受潺壤磊，瑟发趱i o 念令，一羹 获薅磁盘蓐蒯豹嗨应便缝柬零次服务，数攥转癌瓣绦磁擞簿剃意渡与蠲产交互处 理。飘此，服务器躲服务等待融阚缀短，礁应逮发极换，极大蟪减轻了照务器受 裁。 7 华中科技大学硕士学位论文 2 扩容与增遮同步 爨兹繁褥瓣p c i t s c s l 总线逶配瓣翡突发数传率为8 0 m b - y t e s ，爨新鹣产品胃 以达到1 6 0 m b y t e s 但其平均利用率不足5 0 ；网络数传率殴达1 0 0 0 m b p s ，甚 至更商。在传统存储系统结构下，存储容鬣的增加与数据通道容量的增加是各自 独立互不关联的，存储客藿的增加对数据传输率不造成影响，数据传输率受限子 连接黢务器懿圭扶羚浚邋遘、叛务器处理黢力等箍令孛阙嚣繁。在n r s s 瓣终荔 储系统中，由于存储设铸使用蠢接连网的网络通邋来传送数据，可以使数据传输 率不受上述各处理环节处理能力的限制。每增加个存储设备单元，就新增个 两终道