（计算机应用技术专业论文）智能网络磁盘（ind）存储系统硬件平台研究与设计.pdf

摘要+ 存储系统的可靠性、稳定性是对存储系统最基本的要求。随着 用户量的迅速发展和数据量的爆炸性增长，传统存储方案均存在单点 故障与性能瓶颈现象。本文旨在从硬件平台角度提出一种全新的存储 解决方案一一i n d 存储系统，解决传统存储方案中共有的不足。i n d 存储系统是存储方案的一种新的思路，受到国家自家科学基金与湖南 省科学基金项目的资助，对其关键技术进行研究具有较好的理论与应 用价值。 文章首先研究了当今存在的各种存储方案，分析出它们存在单 点故障与性能瓶颈的根源在于其体系结构本身，其次提出一种全新的 存储解决方案i n d 存储系统。i n d 存储系统采用开放的体系结构， 整个系统采用基于嵌入式系统的同构i n d 单元组成，采用虚拟存储技 术，i n d 存储系统如一个逻辑磁盘。概要性的设计了i n d 存储系统的 功能组成模块，阐述了各功能模块与系统的工作原理，指出它是一种 很有发展潜力的存储方案。进一步设计了i n d 存储系统硬件平台，分 析了i n d 存储系统嵌入式硬件平台构建的原理，磁盘接口的理论基 础，i n d 存储系统接入网络的实现原理。在此基础上以s 3 c 4 4 b o x 为 核心进行了最小核心电路实现，扩展了系统的内存与固态程序存储 器，并实现了以r t l 8 0 1 9 a s 网卡为基础的i n d 存储系统网络接入电路， 实现了基于i d e 的i n d 存储系统磁盘接口电路。论文分析了i n d 存储 系统下i d e 接口与网卡的工作原理，最后设计了在嵌入式u c l i n u x 操 作系统下的磁盘接口驱动软件、网络接口驱动软件，使数据能在平台 上透明流动。 本文的研究与设计克服了传统存储方案存在的性能瓶颈与单点 故障问题，提出了一个全新的i n d 存储系统体系结构，构建了i n d 存 储系统硬件平台，设计了其驱动软件，为更进一步的研究奠定了基础。 关键词单点故障，性能瓶颈，智能网络磁盘( i n d ) ，接口，嵌入式 系统，驱动方法 木基金项目；本文受国家自然科学基金”智能网络磁盘0 n d ) 系统结构及关键技术研究 ( n o 6 0 5 7 3 1 4 5 ) ”和湖南省自然科学基金”智能网络存储系统研究( n o 0 5 j j y 3 0 1 2 0 ) ”资助 i a b s t r a c t i 沁l i a b i l i t ya n ds t a b i l i t yi st h eb a s i cr e q u i r e m e n t st os t o r a g es y s t e m w i t l lt h er a p i di n c r e a s i n go f u s e r sa n dt h ee x p l o s i v eg r o w t ho f d a t a , s i n g l e p o i n to ff a i l u r e sa n dp e r f o r m a n c eb o t t l e n e c k st a k e sp l a c et r a d i t i o n a l s t o r a g ep r o g r a m s 。t 1 1 i st h e s i sp u t so u tan e ws t o r a g em e t h o d _ 】n ds t o r a g e s y s t e mt os o l v et h en o r m a ld i s a d v a n t a g e so ft h et r a d i t i o n a ls t o r a g e p r o g r a m s i n ds t o r a g es y s t e mi san e ws t o r a g em e t h o d w h i c hi sf o u n d e d b yt l l es t a t es c i e n c ef o u n d a t i o na n dt h eh u n a ns c i e n c ef o u n d a t i o n i ti s g r e a t e rv a l u a b l et os t u d yi n d sk e yt e c h n o l o g i e s f i r s t l y , t h et h e s i sa n a l y s e s t r a d i t i o n a l s t o r a g em e t h o d ，d r a w s a c o n c l u s i o nt h a tt h em o s ti m p o r t a n tr e a s o no fs i n g l ep o i n to ff a i l u r ea n d f i m c t i o nb o t t l e n e c ki st h e i ra r c h i t e c t u r e t h i st h e s i sp r o p o s e san e w s t o r a g em e t h o d n ds t o r a g es y s t e m i n ds t o r a g es y s t e mu s e sa n o p e na r c h i t e c t u r e 1 1 1 ew h o l es y s t e mi sm a d eo fl o t so fi n du n i tw i t h s a m es t r u c t u r eb a s e do ne m b e d d e ds y s t e m j u s tl i k eal o g i cd i s kt h r o u g h v i r t u a ls t o r a g et e c h n o l o g y t h et h e s i ss k e t c h i l yd e s i g n st h ef u n c t i o n m o d u l e so ft h ei n ds y s t e m ，d e s c r i b e si t sf u n c f i o nm o d u l e sa n dt h e w o r k i n gp r i n c i p l eo ft h ei n ds t o r a g es y s t e m i ti sak i n do fs t o r a g e s c h e m ew i t hg r e a tp o t e n t i a l f u r t h e r m o r et h et h e s i sd e s i g n si n d s y s t e m s h a r d w a r ep l a t f o r m a n da n a l y s e st h ec o n s t r u c t i o np r i n c i p l eo f i n d s t o r a g e s y s t e mb a s e do nt h ee m b e d d e dh a r d w a r ep l a t f o r ma n dt h ed i s ki n t e r f a c e t h e o r y a c c o r d i n gt ot h e s e ，t h et h e s i sd e s i g n st h es y s t e m sc o r ec i r c u i tb y s 3 c 4 4 b o xc h i p ，e x p a n d st h es y s t e ms o l i d - s t a t em e m o r ya n dp r o g r a m m e m o r y , a c h i e v e si n ds t o r a g es y s t e m sn e t w o r ka c c e s sc i r c u i tb a s e do n r t l 8 0 1 9 a s 。a n dr e a l i z e ss y s t e m si d ei n t e r f a c ec i r c u i t f i n a l l y , t h e t h e s i sd e s i g n s 脱d i s k sd r i v e ra n dn e t w o r k sd r i v e r n e s em a k ed a t a t r a n s m i s s i o nf r e e l y t h et h e s i s sr e s e a r c ha n dd e s i g no v e r c o m e st h e s h o r t a g e so ft h e p e r f o r m a n c eb o t t l e n e c ka n ds i n g l ep o i n to ff a i l u r eo ft r a d i t i o n a ls t o r a g e s y s t e m ，p r o p o s e san e wi n ds t o r a g es y s t e ma r c h i t e c t u r e 。c o n s t r u c t si n d s t o r a g es y s t e mh a r d w a r ep l a t f o r m , a n da l s od e s i g n si t sd r i v e r i ti st h e b a s eo ff u r t h e r m o r es t u d y k e yw o r d ss i n g l ep o i n to ff a i l u r e ，p e r f o r m a n c eb o t t l e n e c k s ，i n t e l l i g e n t n e t w o r kd i s k ( i n d ) ，i n t e r f a c e ，e m b e d d e ds y s t e m , d r i v e nm e t h o d 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知。除了论文中特别加以标注和致谢的地方外，论文中不包含其它人已经发 表或撰写过的研究成果，也不包含为获得中南大学或其它单位的学位或证书而使用过的 材料与我共同工作的同志对本研究工作所做的贡献均已在论文中作了明确的说明。 作者签名： 关于学位论文使用授权说明 辑l 月曲 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、 缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部门规定送交学位论文。 名：峄燃；簿 硕士学位论文 第一章绪论 1 1 项目来源、研究背景 第一章绪论 本文是国家自然科学基金项目：“智能网络磁盘( i n d ) 系统结构及关键技术研 究( n o 6 0 5 7 3 1 4 5 ) ”和湖南省自然科学基金项目：“智能网络存储系统研究 ( n o 0 5 j j y 3 0 1 2 0 ) ”资助项目。 数据信息是全球商务环境的动力，也是今天各公司最富于动态性和最有价值 的战略资产。目前，随着科学研究的大量开展和多媒体技术的广泛应用，信息量 正以爆炸性的速度急剧增长，据统计，数据量每十个月就翻一番，这给数据存储 带来了很大的压力电子商务的广泛应用与推广，数据越来越成为公司最有竞争 力的价值，信息已经成为一种超越其竞争对手的战略资产，数据的有效使用和管 理越来越成为企业的重要任务“。 同时，企业在i t 方面的投资费用中，花在数据存储方面的比重亦与日上升， 企业在存储方面的开销占据了整个i t 成本的百分之七十左右。存储已不再是辅 助设备，而成为了i t 业最主要的投资花费所在。据g a r i n eg r o u p 统计，到2 0 0 5 年，硬件市场在专业市场上将超过1 2 0 0 亿美元嘲。 网络化与多用户要求我们对数据的存储具有高效、安全、实时性，这对于我 们的存储系统又提出了新的要求。那么如何高效的管理好这些资源成为我们要面 对的重要方面。综观我们的数据存储方式，经历了几十年的发展，基本上不外乎 d a s 、s a n 、n a s 三种最基本的存储模式，它们在一定的应用范围内满足了我们对 数据存储的要求，但是随着数据量的爆炸性增长，客户对数据存取的实时性与可 靠性、可维护性的要求的提高，它们均有不尽人意之处，特别是当用户数与i o 请求大量增加时，容易出现单点故障与性能瓶颈o ，其关键是他们的体系结构存 在着严重的不足如何安全保存、及时传输、快速恢复各种庞大而复杂的信息和 数据，使企业避免因数据丢失而造成重大损失，已日益成为数据存储领域所关注、 探讨的热门话题这一切又有力地推动了数据存储技术的飞速发展。截至目前 为止，在所使用的存储方案中，均有许多不尽人意之处，因此，希望有一种具有 前瞻性的存储管理方案来满足用户的数据存储需求。我们的研究项目正是基于这 种背景而提出。 1 2 国内外存储现状与技术分析 计算机从产生到现在，经历了许多的发展变化，对数据的存储处理能力有了 很大的提高，但从本质上看它们只有如下的几种存储方案： 硕士学位论文 第一章绪论 1 2 1d a s 存储 1 d a s 的思想与结构 它是最早也是最简单的一种存储方案，是以服务器为中心的存储方案嘲，d a s 技术是指将存储设备( 磁盘阵列、磁带机) 直接连接在各种服务器或客户端扩展接 口上，d a s 的存储设备直接和服务器相连，以服务器为中心。这种方式结构简单， 属于传统的存储方式，各种存储设备通过标准的接口( 比如i d e 、s c s i 接口等) 直 接挂接在各种服务器或客户端扩展接口下”，服务器通过i o 通道直接访问d a s 中的数据，服务器与存储设备基本一一对应，附属于一台服务器的存储设备不能 被其他服务器共享。其体系结构如图卜1 所示。 图卜1d a s 的体系结构 2 d a s 的特点 d a s 最大的优点是：结构简单，易于理解，对单机用户比较的方便，只须与 服务器直接连接即可，不需要复杂的软件和技术。前期投资较低，因为是直连式， 对存储设备的要求不高，也不需要其他附设，小规模时的维护成本较低。技术成 熟，标准统一，兼容性较好。因此，d a s 在用户不多、数据量不是很大、存储资 源共享的要求不高的数据存储的早期应用较为普遍。 d a s 主要适用环境”1 是：服务器在地理分布上很分散，通过s a n 或n a s 在它 们之问进行互连非常困难的情况。 d a s 的主要缺点嘲有：占用服务器的资源，不能统一管理，存储设备与服务 器一一对应，扩展时要增加应用服务器，扩展不方便，这就加大了投资负担。数 据的共享困难，容易造成数据孤岛。每台服务器直接和存储设备连接，数据的存 储、备份占用了很大的网络带宽，增加了网络的负担。d a s 设备不能独立运行， 数据须异地备份，安全性较差。在海量数据需求出现之前d a s 满足了大部分系统 的要求，但是随着数据量的增加这种存储模式不仅给网络服务器带来额外负担， 2 硕士学位论文 第一章绪论 同时也导致网络性能的降低和用户等待延迟时间的明显增加。 3 d a s 缺点原因分析 在d a s 存储结构中，服务器与存储系统通过s c s i 总线连接起来，同时又通 过网络接口连接到网络中。在这种结构下，内存的有限性将很大程度制约着系统 的性能。从整个数据的流动路径看：写入数据时，数据从网络经过网络接口通过 d m a 操作到达服务器内存，然后从内存又通过d m a 操作送到存储系统，当读取数 据时，则是从存储系统到服务器内存，再从内存通过网络接口送到网络上。这种 结构在扩展时，当客户机数和服务器的磁盘数量同时增加时，由于服务器的内存 限制，整个系统的吞吐量不能同步增加。在大数据量请求时，如多媒体数据传输 等应用时由于服务器带宽、内存容量与文件系统的开销限制了服务器的响应速 度。所有数据通道均要以服务器为中心，从而导致了上述的性能缺陷，特别是当 服务器发生故障时，和它相连的系统都会瘫痪。这便是服务器单点故障与性能瓶 颈。这对于我们现在的数据海量存储与高可靠性与高相应性是不能容忍的。 4 d a s 的研究热点“町 目前对d a s 的研究主要集中对现有技术的进一步改进与加强，如改i d e 磁盘 接口为s c s i 接口、改变数据并行传输方式为串行传输方式、传输介质的改进， 以最大限度的增加其可以使用的传输速率，但从本质上看他们有一个致命的弱 点：存在单点故障与性能瓶颈。这是由于其体系结构的原因造成。从发展的角度 来说，d a s 已经难以满足当今海量数据存储要求，特别是当系统的用户数量增加 时，其存在着单点故障与性能瓶颈，这在我们的数据存储中是不能容忍的 1 2 2n a s 存储 1 n a s 存储的思想与体系结构 n a s ( n e t w o r ka t t a c h e ds t o r a g e ) 存储又名附网存储“”。n a s 是一种基于 文件的存储结构，它是一种独立的直接存储的联网方案。它转变“以服务器为中 心”的存储方案为“以数据为中心”“”的网络服务器方案。其存储设备直接连接 在局域网中。n a s 是通过局域网接口和以太网直接相连的存储设备，它的设计是 想克服“以服务器为中心”的不足，不仅提高了文件服务器的速度，减轻了网络 主机负担，而且可以在不间断网络运行的情况下增加或设置存储，降低了设备投 资和维护成本n ” n a s 是目前比较流行的存储应用方案，在数据存储中心应用的比较的多，不 同的应用场合都有各自对n a s 的成熟应用经验，其结构如图卜2 所示。 硕士学位论文第一章绪论 w i n d o w sn t 服务器 n a s 图卜2n s 的体系结构 2 n a s 存储的分析 n a s 是一种特殊的专用数据内嵌系统软件的存储服务器“”，可提供跨平台的 文件共享功能。它以数据通信为中心，将存储设备与服务器分离，集中管理，从 而有效的提高带宽，提高网络整体性能。n a s 目前已经成为网络的数据存储方案 的主要选择之一，目前已经有很多的公司推出了各自基于n a s 的产品“”。 n a s 中网络联接可以是局域网也可以是广域网“叮，理论上其结构可以支持多 种类型，支持多种局域网协议。以太网联接因为其技术的成熟，用户使用数量的 广泛，使其成为目前用的最多的一种接入方法“”，特别是当今的快速以太网的发 展，数据传输的速度已经可以超过1 0 0 m b p s ，吉比特以太网也正在推出，这些都 保证了存储的数据带宽的要求，因此n a s 设备通常支持以太网的协议o ”。 n a s 物理联接上将存储设备直接挂在网上，不再挂在服务器的后面“，减轻 了服务器的i o 负载。存储器方面运用新的技术通过专用的软件减少了磁盘臂的 机械移动的次数，克服了由此造成的延时n a s 是一个专用的文件服务器，因 其专，所以i 0 性能高，但从n a s 的构成看，其i o 路径在本质上仍然是传统的 服务器。存储设备i 0 方面看，n a s 系统的存储设备可以多样化，如磁盘阵列也 可以是光盘机、磁带机，或者多种存储设备的组合，在瘦服务器c p u 的管理下， 提供网络用户的直接存取服务n a s 作为附网上的专用文件服务器，它精简了一 般服务器的一些功能，所以又称为瘦服务器，在网络环境下提供文件服务，它能 在u n i x 和w i n d o wn t 等多种环境下工作，实现了跨平台的文件共享。 3 n a s 的特点： ( 1 ) n a s 设备联接在网上十分的方便。n a s 设备提供i l i - 4 5 接口和单独的 4 硕士学位论文第一章绪论 球地址，可以将它直接挂在主干网的交换机上或其它的局域网的h u b 上，设置 十分简单完全做到即插即用。因此相对传统的d a s 设备来说，n a s 具有超强的 容量的扩展能力，支持热扩展。 ( 2 ) 使用和管理简单。n a s 在网络中占用一个i p 地址，实际上相当一台高 性能的服务器也就是文件服务器，因此用户使用n a s 设备后在应用服务方面可 以只要设置相应的应用服务器与之配合使用就行，相对集应用、存储、文件服务 于一体的超级服务器来说可以大幅的降低设备成本。 ( 3 ) n a s 设备能完全融入已经建立的网络，它可以作为独立的数据存储设 备与其它的各种服务器搭配，使整个网络系统的性能得以提高。 ( 4 ) 数据共享方便。n a s 支持n f s 和c i f s 文件系统，从而能实现网络环境 下用户跨平台的网络数据共享，方便了用户进行数据交流与资源利用。 ( 5 ) 采用了集中式存储管理，n a s 设备内载有优化的独立存储操作系统，可 以有效的调动系统的资源有别于分散的存储管理，网络管理员能方便的管理数据 与维护设备，允许用户在网络上通过n a s 设备直接的存取数据，有效的优化了 通过网络共享数据的性能。n a s 设备的效率比d a s 要高出大约百分之六十，数 据备份管理方便。 ( 6 ) 降低了存储系统的成本。n a s 存储把应用服务与文件服务分开，去掉 了通用服务器的计算功能，仅仅只保留了文件系统功能，用于存储服务。数据可 以在客户机与存储系统中直接传送，服务器只是起着控制与管理的作用，因此有 更快的响应速度与更加高的数据的传输速度。 ( 7 ) n a s 应用时由于局域网同时担负着存储数据和正常的数据访问，当存 储数据非常大时，局域网的性能就会受到影响。存储数据需要经过一层n f s 封装， 增加了额外的开销。n a s 装置中存在大量数据，进行数据备份和恢复需要耗费很 长时间，并占有相当的网络资源。 4 n a s 的缺点分析 n a s 如网络的一个挂载设备或附件，它有完整的文件系统，提供如文件服务 器的功能，从文件系统的角度来看文件系统是在文件服务器上的。n a s 设备主要 的设计目的是专职处理文件服务和数据的存储，可以看作是一个经过优化设计的 文件服务器，经过网络接口直接与网络相连，从它的工作原理与i 0 本质上看， n a n 只是一个文件服务器口耵，当他们的数据访问量大幅度增加时，在n a g 上单点 故障与性能瓶颈依然存在，体系架构是其形成这种原因的关键。海量数据的高速 存取与应用已经成为现代存储的必然，单点故障与性能瓶颈和我们这对数据的高 可靠性与高性能是不相容的。 硕士学位论文第一章绪论 1 2 3s a n 存储 1 s a n 的思想与结构 随着网络的发展，在网络环境下将存储设备与服务器分离哺，存储设备用区 域网连接，进行集中管理，服务器可以对存储设备任意连接，对用户透明，这就 是s a n 的中心思想。 s a n 的结构见图卜3 。 客户 图i - 3s a n 的体系结构 2 s a n 存储方案分析 存储区域网络不同于我们常说的网络，而是位于服务器后端，为连接服务器、 磁盘阵列、数据库等存储设备而建立的高性能网络口订s a n 以数据存储为中心， 采用可伸缩的网络拓扑结构，通过具有高传输速率的光纤通道的直接连接，提供 s a n 内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相 对独立的存储区域网内。s a n 提供了良好的存储连接，服务器可以访问存储区域 网上的任何存储设备，如磁带库、磁盘阵列，同时存储设备之间、存储设备同s a n 交换机之间也可以进行通信渊。s a n 是一种独立于服务器网络的一种专门存储网 络，这种网络通过采用光纤通道协议来传输数据，在连接上可以使用光纤和铜缆 嘲s a n 使得存储器与服务器分开成为现实。值得注意的是：s a n 还提供了大量 的网络技术，如分配路径、聚集数据、备份数据和复制等技术功能，这些功能都 有助于数据的安全与可用性。 s a n 特别适合于服务器集群、灾难恢复等大数据量传输的关键领域。与传统 技术相比s a n 技术将存储设备从传统的以太网中隔离出来，成为独立的存储区域 网络1 s a n 网络完全采用光纤通道协议连接，从而保证了巨大的数据传输带宽 6 硕士学位论文第一章绪论 嘲。s a n 技术通过磁盘阵列将数据集中存放，且不受基于s c s i 存储结构的布局限 制，可以容易地增加它们的存储容量，更好地进行统一管理与备份，节约了大量 的人力和物力嘲同时由于形成了一个包含所有给访问者检索需要数据的数据中 心，可以实现信息共享 3 s a n 的特点： ( 1 ) 逻辑统一性。物理上分散的存储设备在逻辑上完全一体。 ( 2 ) 可实现数据的集中管理，降低了管理费用，方便数据的管理。 ( 3 ) 容易扩充，可以利用网络的扩充能力进行扩充，理论上具有海量扩充 的能力。 ( 4 ) 具有很高的容错能力，利用网络的可容单点故障错误，提高了系统的 可靠性。 ( 5 ) 以光纤协议作为传输协议，充分利用了网络带宽提高了存取速度。 ( 6 ) 存储网络还具有很大的灵活性，在i n t e r n e t 计算成为计算的大环境下。 各种计算变化将成为一种常事，存储网络能满足各种对运用的存储支持。 ( 7 ) s a n 的文件系统在各个服务器上，而不是像在n a s 中的在存储设备n a s 上，我们在管理与使用s a n 时以数据块操作磁盘，当我们在对文件进行操作文件 系统会把他们映射成对快的操作。 4 s a n 的缺点 设备投资成本高，原来的设备因物理性质不同，不能满足要求，要进行新的 投资才能建立s a n ，不能很好的保护原有的投资。s a n 从其体系结构上看应用 程序与用户还是不能真正的脱离服务器，其文件系统放在服务器上，应用程序放 在应用服务器上，所有的数据都要经过相应的服务器，随着数据量与用户的增长， 服务器开始成为系统的性能瓶颈，单点故障与性能瓶颈依然存在，只是有所减轻。 这对我们要求大容量与商可靠性的数据存储来说还是不能容忍的 1 2 4 其它存储方案 1 目前的存储方案热点还有：i ps a n 、n a s d 、o b s 。 i ps n ：为了更好的利用现有的网络存储资源，利用成熟的以太网技术，使 用t c p i p 协议把两个或者两个以上的s a n 网路连接成一个无缝的存储网络。i p s a n 使用标准的t c p i p 协议，数据即可以在以太网上进行传输，i ps a n 利用i s c s i 搭建可以在i ps a n 中使用s c s i 、f c 、s a t a 等多种方式来扩展i ps a n 的容量。 f cs a n 想提高的是性能，而i ps a n 在经济性方面优势更明显口刀。i ps a n 的关键 技术还是s a n ，只是在s a n 的基础上加入了用于网络的t c p i p 技术，故其单点故 障与性能瓶颈还是存在，也是我们希望尽快解决的问题。 n a s d ( n e t w o r ka t t a c h e ds e c u r ed i s k s ) ：c m u 大学目前正在研究的网络存 7 硕士学位论文第一章绪论 储项目。n a s d 的基本思想是：在n a s 架构的基础上，利用处理器强大的处理能力 将n a s 上的文件系统的某些功能直接集成在存储设备中，以利于存储设备自己进 行安全管理。文件系统和网络通信提供给网络连接磁盘驱动器在数据存取时一定 的智能性，从而更进一步的减少数据存储对于n a s 的依赖。提高系统的可靠性与 反应性。n a s d 模型提供通过公用数据网普通的通信协议对网络连接磁盘驱动实现 并行网络访问嘲。n a s d 采用一种命令接口结构将文件管理器的部分工作转移到磁 盘上，对于要求快速处理的操作：如读写可直接对磁盘驱动器进行操作，不经常 使用的操作如对命名空间的处理，则由文件管理系统处理，为实现客户直接访问 对象上的数据区n a s d 必须提供足够的元数据来处理对象区域到磁盘扇区集合的 映射。n a s d 的客户端可在一定程度上直接与磁盘交互，降低了n a s 上的数据瓶颈 现象，但是由于加密解密运算负担较重，对系统的性能有一定影响，当i 0 数据 量增加的太快，或者服务器破坏时，则整个系统产生性能瓶颈或者瘫痪，这是其 体系结构所决定的不足”1 。 o b s 存储方案：又名基于对象存储的技术是对n a s d 的进一步扩展，除了考 虑将文件的管理部分功能放入磁盘驱动器外，还进一步扩充部分功能：如数据库、 集群技术、将高层的部分智能放入磁盘驱动器中，用于管理网络通信和存储功能， 通过文件系统协调面向对象驱动器的活动，共同构成一个高效的存储管理网络 具有一定的智能性，目前还处于实验阶段，但从它们的体系结构上看，还是依附 于服务器，因此单点故障与性能瓶颈还是无法消除。 2 这些存储方案的共同不足 不管是i ps a n 、n a s d 与o b s 他们都有一个同样的不足，存在性能瓶颈与单 点故障，这和数据存储的基本要求不符，特别是当我们的用户数据请求量突发或 者用户数量迅速扩大时更是不能适应，而造成这种情况的根本原因在于它们的体 系结构。因此我们希望有一种新的存储方案进行数据的存储，适应我们对数据存 储的要求。 1 3 本文要研究的目标、内容与意义 本文要研究的目标是针对传统的存储方案存在的单点故障与性能瓶颈现象， 提出一种新的存储解决方案，同时兼顾传统存储方案的优点，并设计其硬件平台 本文研究的内容：分析传统的存储方案中的单点故障与性能瓶颈的原因，提 出i n ) 存储系统方案，设计i n d 存储方案的体系结构，概要性的功能模块组成， 分析i n d 存储方案的原理与特点，设计并实现i n d 存储系统存储方案的硬件平 台与驱动。 我们研究的这种新一代的存储系统i n d 存储系统具有一个全新的体系架构， 8 硕士学位论文第一章绪论 并且能承接传统存储方案的优点，克服传统存储的存储方案的不足，是未来网络 存储的一个方向，有较好的理论与应用意义 1 4 论文的组织结构 本文的结构如下： 第一章分析当今数据存储的背景以及对数据存储的基本要求，分析了传统存 储方案的技术特点与不足，找出了造成单点故障与性能瓶颈的原因。 第二章针对传统数据存储的单点故障与性能瓶颈的不足提出了一种新的解 决方案一i n d 存储系统，并设计了它的概要结构和功能模块，分析了它们的性能 特点、应用前景。 第三章对i n d 存储系统的硬件设计进行了研究，从i n d 存储系统硬件设计原 理、磁盘接口实现基础、网络接入设计三个方面进行了研究。 第四章i n d 存储系统硬件电路的实现，构建了i n d 嵌入式最小硬件平台，在 此基础上扩展了网络接入电路、磁盘接入电路，从而实现了i n d 存储系统的硬件。 第五章对i n d 存储方案的驱动进行了设计与实现，实现了在u c l i n u x 下的磁 盘驱动与网卡驱动，使数据能在i n d 存储系统平台上流通。 。 第六章对本文进行了总结，总结了本文所做的工作，对进一步的研究进行了 展望。 硕士学位论文第二章i n d 存储方案 第二章i n d 存储方案 2 1i n d 存储方案的提出 当今数据量爆炸性的增长，用户在数据存储方面的投资越来越高，对数据存 储的基本要求是系统可靠与性能稳定渊。从前面的分析我们可以看出，在数据存 储的各种方法中，都有不尽人意的地方。不同的存储方案都各有特点，在各自的 应用领域内发挥了积极的作用。随着新的数据量与用户的增加，传统的存储系统 均存在不如人意的地方。如d a s 方案不易扩充，管理困难，s a n 方案不利于保护 现有投资，成本高。更重要的是d a s 、s a n 、n a s 以及i ps a n ，n a s d ，o b s 等存 储方案均无法消除以服务器为中心的数据存储造成的性能瓶颈与单点失效问题。 这和用户对数据存储的基本要求不相容，造成这一问题的根源在予各种存储方案 的体系结构，无法单纯从其性能与技术的改进方面去进行消除。因此，希望有一 种新的存储方案能解决传统存储方案的不足，同时兼容传统存储方案的优点。基 于这种前提我们提出了一种新型的存储解决方案i n d ( i n t e l l i g e n tn e t w o r k s t o r a g e ) 系统存储方案，它又被称为智能网络磁盘存储系统。 i n d 存储采用开放的体系结构，利用现在流行的成熟局域网技术，把i n d 存 储系统接入网络中。它的总体体系架构原理图如图2 - 1 所示。 图2 - 1i t i ) 存储系统体系结构图 i n d l 、i n d 2 、i n d 3 为多个结构相同的嵌入式系统，我们不妨把它们叫做i n d 单元，它们的数量可多可少，依据使用要求而进行增减，部署在同一局域网内不 1 0 硕士学位论文第二章i n d 存储方案 同物理位置的所有i n d 单元构成了i n d 存储系统。各个i n d 单元在系统内部相互 协调，采用某种策略效率均衡并且在单个i n d 单元失效后也能保证系统的正常运 行。磁盘或磁盘阵列挂接在各个i n d 单元的磁盘接口上，各个i n d 单元再通过一 定的方式连接在局域网上整个i n d 存储系统对用户透明，在逻辑上是一个统一 的整体，对用户只提供一个统一的逻辑接口用户不必去知道i n d 存储系统的内 部结构与数据在系统内的存储状况，也不必去理会i n d 系统内部的各种算法，用 户能像使用一个虚拟的高性能的磁盘一样使用i n d 系统。从而为用户提供方便而 高效的数据存储方案。 2 2i n d 存储方案分析 智能网络磁盘( i n d ) 系统存储方案采用开放式的体系架构，利用现有的网 络，可以克服传统存储方案因为数据过分依靠于单个服务器而造成的单点故障与 性能瓶颈，整个系统总体构成简单而易于理解，同时经过设计关键是各个同构型 的i n d 单元如何实现。 2 2 1 基于嵌入式的i n d 单元 我们对各个同构型的i n d 单元采用基于嵌入式的实现方案。 嵌入式系统是现代计算机发展的一个分支，经过几十年的发展，计算机系统 已经发展成两大分支汹1 ：一个是传统的计算机应用领域，一个是嵌入式系统应用。 作为计算机技术的一个分支，嵌入式系统是一个以应用为中心、以计算机技术为 基础，并且软硬件可以裁减，能满足应用系统对其功能、可靠性、成本、体积、 功耗等指标严格要求的专用的计算机系统，嵌入式系统是将先进的计算机技术、 半导体技术、电子技术和具体应用相结合的产物。 嵌入式系统由软件部分与硬件部分组成，用于组成系统的芯片与电路部分叫 做嵌入式系统平台嘲，它包括微处理器，存储器，必要的外设与i o 端口软件 部分主要是嵌入式操作系统与为了完成某项功能的实现而使用的应用软件 我们采用嵌入式系统来构建i n d 单元，优点是嵌入式系统不同于传统的计算 机系统，它可以依使用条件与目的的不同对软硬件进行裁减，去掉不必要的部分， 降低构造成本，提高系统的可靠性 采用嵌入式系统构建我们的i n d 存储系统具有如下一些突出的优点： ( 1 ) 系统的软件内核小。操作系统与应用软件依据应用需要进行裁剪，只保 留必需要的部分，较之传统的操作系统内核小很多。 ( 2 ) 专用性强。嵌入式系统的个性化很强，软、硬件的裁剪性，可满足对象 要求的最小软、硬件配置等。同时最大限度的满足我们对应用的要求，因此可以 更好的应用于数据存储领域，进行数据存储。针对普通的数据存储领域，它具有 硕士学位论文第二章i n d 存储方案 在相同的价格下更好的数据存储能力。 ( 3 ) 系统精简。采用了基于嵌入式系统实现i n d 存储方案后，系统的功能设 计及实现上相对简单，有利于控制系统成本，进行很好的推广。 ( 4 ) 程序固态存储。用嵌入式系统实现i n d 后，系统软件可以固态存储放在 f l a s h 中，这样可以保证比通用计算机有更高实时性。软件的固态存储，通常可 以提高系统的反应速度、可靠性与效率。 2 2 2i n d 存储单元硬件组成 i n d 单元是一个嵌入式系统，它由几个基本的功能模块组成，硬件功能原理 如图2 - 2 所示。 图2 - 2i n d 单元硬件组成原理图 ( i ) 嵌入式处理器。它是整个i n d 单元的核心，嵌入式处理器具有功耗低， 可靠性高，成本低，是整个i n d 单元的计算、控制部分。 ( 2 ) 程序存储器f l a s h 。它是固态存储芯片的一种，具有电可擦写性，同 时断电后数据依然可以保存在芯片中，构成了系统的程序存储芯片。系统的所有 软件包括嵌入式操作系统，底层驱动、实现各种功能的应用程序用专用工具烧入， 实现了程序的固态存储，提高了系统的效率与稳定性。系统的启动程序也是从 f l a s h 的一个特定位置开始调入运行的。 ( 3 ) 磁盘接口。它是i n d 单元在嵌入式核心的基础上扩展而成。它是i n d 单 元与磁盘或磁盘阵列的接口 ( 4 ) 网络接口。它是i n d 单元连接到网上的接口，用户可以通过此接口访问 到i n d 存储系统。i n d 单元通过此接口连接到网络上，在嵌入式处理的控制下， 用户数据通过网络接口进出系统与嵌入式处理器进行交互。 ( 5 ) 内存单元由s d r a m 组成，它是程序运行时的场所以及程序运行时的临 时数据存放地点。本单元的速度与大小对系统的速度影响比较大。 硕士学位论文第二章i n d 存储方案 2 2 3l i n d 存储软件功能模块 i n d 单元的软件模块分为三个层次：最底层是硬件驱动件、中间是操作系统 层、上面是高层应用层。功能模块组成见图2 3 。 图2 - 3i n d 单元软件组成模块 底层驱动包括磁盘接口驱动和网络底层驱动，它们使数据顺利的在系统硬件 上流动，屏蔽所有底层的物理细节，也可以看成是系统硬件平台的一个组成部分 中间层是嵌入式操作系统，它可以依不同的使用环境与硬件进行剪裁，保持 系统的内核最小，具有较高的响应度与实时性。我们选用u c l i n u x 操作系统进行 剪裁移植，设计出符合我们要求的操作系统。 上层软件的功能模块比较的多，可以依据需要进行增减，主要功能模块如下： ( 1 ) i n d 虚拟算法。通过此算法为用户提供统一的逻辑接口，屏蔽物理位置 上不同的各个i n d 单元，使整个系统对用户透明。 ( 2 ) 虚拟文件管理系统。采用虚拟化策略，建立虚拟化文件到各个i n d 数据 的对应关系，屏蔽数据在不同i n d 单元上存取的细节，使用户感觉只在使用一个 完整的文件 ( 3 ) i n d 动态管理模块。提供对i n d 存储系统的性能、参数管理，可以在运 硕士学位论文第二章i n d 存储方案 行状态下对i n d 进行管理、设置以保证系统性能最佳。 ( 4 ) 对用户请求响应模块。当用户要对i n d 存储系统进行访问时，通过某种 策略把访问请求传到有任务的i n d 单元，i n d 单元由此模块做出正确而迅速的响 应，和用户进行数据交换。 ( 5 ) i n d 内部数据通信模块。用于在系统内各个i n d 单元进行数据交换。 ( 6 ) 中心智能算法模块。它由多个模块组成，使系统具有智能化，功能依据 需要与智能化的不同可多可少，主要介绍常用的几个模块。 ( 7 ) i n d 任务调度模块。该模块主要用于当用户要求对i n d 进行数据写入时， 采用什么方式能保证用户的数据可以写入负载最轻，当前响应速度最快的i n d 单 元。它是系统运行时对i n d 单元选择的依据。 ( 8 ) i n d 加入移出模块。当用量增加到一定时候时，系统的性能下降，此时 我们可以通过增加i n d 单元的方法来提高系统性能，启用i n d 加入移出模块可以 进行动态的部署，确保新的单元能正常工作。当某个i n d 单元故障时我们可以通 过此模块把数据转移到正常的i n d 单元中，确保数据安全。 ( 9 ) i n d 平衡模块。利用数据存取的时间与空间局部性原理，把访问频率高 的数据存放在负载相对较低的i n d 单元中，使系统的效率均衡、稳定。 ( i 0 ) i n d 信息同步模块。通过此模块各个i n d 单元能拥有各个其它单元的 正确信息。 ( i i ) i n d 心跳模块。该策略保证了各个i n d 单元的正确运行，如果有哪个 单元出现故障，可以通过此策略检测出。 ( 1 2 ) i n d m a s t e r 产生模块。用于当i n d 存储系统开始工作时选举出一个合 适的单元进行最初的设置与管理，当系统的管理单元故障或者不再合适进行管理 时可以重新选举出一个单元担当管理者 ( 1 3 ) 其它模块。如安全权限管理模块，i n d 单元存储容量均衡模块等，功 能模块可以依据应用的需要进行加减。 2 3i n d 存储方案工作原理 i n d 存储系统启动后系统首先在内存f l a s h 的特定位置读入b o o t l o a d e r 程 序，也就是引导程序，它进行了系统的一系列初始化，初始化后把控制权交给操 作系统。在操作系统指引下开始执行驱动程序、系统初始化包括各种驱动的运行 与设备准备然后开始运行高层程序。高层应用模块运行后，i n d 存储系统被虚拟 成一个高性能的磁盘供用户使用。但对于每个用户如何在网络上找到这个系统并 使用它还要有一定的协议，此协议被设计成类似于我们在操作系统下使用的设备 驱动，我们也把它们称为i n d 驱动，每个使用此系统的用户均在他们自己的系统 1 4 硕士学位论文第二章i n d 存储方案 中装上一个i n d 存储系统驱动程序，因而可以发现系统并方便的使用系统了。它 们的访问方法原理见图2 _ 4 所示 圉2 4 用户访问i b b 存储系统逻辑困 当用户在自己的系统上安装了一个i n i ) 驱动后，用户可以像使用一个高性能 大容量的先进磁盘阵列或磁盘一样使用部署在局域网上的i n d 存储系统。要进行 数据写入时，首先通