（计算机应用技术专业论文）智能网络磁盘（ind）存储系统通信协议的研究与设计.pdf

摘要 存储需求的迅猛增长推动了存储技术的快速发展，本课题组所设计 的新型智能网络磁盘( 砼d ) 存储系统，在结构上重点考虑网络和存储 两方面的问题，内核经过特别的优化设计，具有独立的文件系统和协议 处理机制，摆脱了服务器存储系统的传统存储模式，有效避免了因服务 器故障引发的单点故障和传输瓶颈问题，其低廉的成本及智能化的磁盘 管理方式为中小企业提供了一个新的存储方案。 i n d 存储系统中的一个主要研究问题就是i n d 的通信协议问题，而 要实现i n d 的通信，最重要的是要解决i n d 与以太网的连接方式及协 议的设计与实现这两个方面的问题。 论文首先介绍i n d 系统的软、硬件体系结构，详细阐述了i n d 的 数据访问原理、数据存储原理、通信原理及主要的功能特点。 文章其次探讨了i n d 的网络接入方案的选择，论述了嵌入式系统选 用协议栈所要考虑的几个问题，通过对当前嵌入式协议栈的分析比较， 针对i n d 存储系统的具体工作环境及实现目标，将通用的网络通信协议 与嵌入式技术相结合，提出了研究开发适合i n d 存储系统的i n d i p 协 议栈的基本思路。结合本课题的设计目标，文章以t c p i p 协议为基础， 遵循传统的协议栈规范，重点阐述了i n d i p 协议栈的总体结构设计、 功能模块、进程模型及设计目标，并根据协议分层模型及其工作原理， 按照由下向上的顺序依次探讨了珊d 印协议栈的设计要点、及实现模 型。 论文最后阐述了i n d i p 协议栈的实现模型及详细实现过程，并给 出了相应的功能实现流程图，而且数据的接收和发送过程通过创建的 s o c k c t 接口函数来具体实现，在上层应用中通过调用这些接口函数来对 协议栈进行具体操作，整个开发过程是在k e i lu v i s i o n 3 环境中完成的。 实验证明，基于这种思想的i n d i p 协议栈，使得用户能够与i n d 直接相连，通信效率比较高，能快速响应用户的连接请求，另外由于采 用了先进的硬件体系结构以及优良的软件设计，为中小企业的存储提供 了一种安全、智能化的存储方案。 关键词网络存储，智能网络磁盘，通信协议，i n d i p 基金项目；国家自然科学基金( n 0 6 0 5 7 3 1 4 5 ) ，湖南省自然科学基金( n 嘣j j 3 0 l ) a b s t r a c t w i t ht h e r a p i dg r o w t ho fs t o r a g en e e d s , t h es t o r a g et e c h n o l o g y d e v e l o p sr a p i d l y t h et e a md e s i g n e dan e wt y p eo fi n t e l l i g e n tn e t w o r kd i s k ( i n d ) s t o r a g es y s t e m , w h i c hc o n s i d e r e da b o u tt h es t r u c t u r eo f t h en e t w o r k a n ds t o r a g e w i t ht h ee s p e c i a lk e r n e lo p t i m a ld e s i g n , a n da ni n d e p e n d e n tf i l e s y s t e ma n dp r o t o c o lp r o c e s s i n gm e c h a n i s m , i n di sd i f f e r e n t sf r o mt h e t r a d i t i o n a lc ss t o r a g em o d e ，a n de f f e c t i v e l yp r e v e n tf r o mt h es i n g l ep o i n t o ff a i l u r ea n dt r a n s m i s s i o nb o t t l e n e c k s w 曲t h el o wc o s t i n da n d i n t e l l i g e n td i s km a n a g e m e n tp r o v i d ean e ws t o r a g es c h e m ef o rs e e s i n d p r o t o c o lc o m m u n i c a t i o ni sam a j o ri s s u eo fi n ds t o r a g es y s t e m i no r d e rt oi m p l e m e n tt h ei n dc o m m u n i c a t i o n s ，t h em o s ti m p o r t a n tw o r ki s t or e s o l v et h ec o n n e c t i o n sb e t w e e ni n da n de t h e r n e ta n dt h ed e s i g na n d i m p l e m e n t a t i o no f t h ep r o t o c 0 1 1 1 埔t h e s i sd e s c r i b e st h ea r c h i t e c t 啊eo fi n ds y s t e ms o f t w a r ea n d h a r d w a r e t h e ni te l a b o r a t e so nt h ep r i n c i p l e so fd a t aa c c e s s ，d a t as t o r a g e t h e o r y , c o m m u n i c a t i o nt h e o r ya n dt h em a j o rf e a t u r e so f i n d 硼1 1 et h e s i sd i s c l s s e st h es e l e c t i o no fn e t w o r ka c c e s so p t i o n so fi n d 。 a n dt h e ni td i s c u s s e ss e v e r a li s s u e so fw h i c hh a dt ob ec o n s i d e r i n gw h i l e s e l e c t i n gt h ee m b e d d e ds y s t e mp r o t o c o ls t a c k c o n s i d e r i n ga b o u t t h e s p e c i f i cw o r ke n v i r o n m e n ta n dt h et a r g e to fd m ，i tc o m b i n e st h ec o m l n o n n e t w o r kc o m m u n i c a t i o np r o t o c o lw i t he m b e d d e dt e c h n o l o g y , w i t hr e s e a r c h t h eb a s i ci d e a so ft h ei n d l p r o t o c o lw h i c hi su s e dt ot h es t o r a g es y s t e m f o rt h e 咖1 1 垃s u b j e c td e s i g no b j e c t i v e sa r ec o n s i d e r e di nt h ei n d i p p r o t o c o lb a s e do nt h et c p i pp r o t o c o l ，f o l l o w i n gt h et r a d i t i o n a ln o r m so f p r o t o c o ls t a c k t h et h e s i sf o c u s e s0 1 1t h ep r o t o c o ls t a c kd e s i g no f t h eo v e r a l l s t r u c t u r e ，f u n c t i o nm o d u l e s ，t h ep r o c e s sm o d e la n dd e s i g ng o a l so fi n d i p ，1 1 璩d e s i g no fi n d f l pi sa c c o r d i n gt ot h el a y e r e dm o d e la n dp 血c i p l co f p r o t o c o ld e s i g n i te x p l o r e st h ei n d i pp r o t o c o ls t a c kd e s i g nd e m e n t sa n d i m p l e m e n t a t i o nm o d e la c c o r d i n gt ot h el a y e r e dd e s i g no r d e ro f p r o t o c 0 1 f i n a l l y , t h et h e s i se l a b o r a t e sd 旺加瞳p r o t o c o ls t a c km o d e la n dt h e i m p l e m e n t a t i o np r o c e s s ，a n dp r o v i d e st h er e a l i z a t i o nf l o wc h a r to ft h e c o r r e s p o n d i n gf u n c t i o n , a n dd a t aa c c e 嚣i n gi si m p l e m e n t e db ya p i o fs o c k e t a p p l i c a t i o np r o t o c o lc a l l st h ef u n c t i o no ft h e s ei n t e r f a c e si no r d e rt o i m p l e n m e n ts p e c i f i co p e r a t i o n so ft h ep r o t o c o ls t a c kf o rs p e c i f i co p e r a t i o n s 1 1 1 ee n t i r ed e v e l o p m e n t p r o c e s si si nt h ee n v i r o n m e n t o f k e i lu v i s i o n 3 w i t ht h ee x p e r i m e n t a ls h o w s ，i tc o n s u l t st h a ti n d i pa l l o w su s e r st o d i r e c t l yl i n k e di n dw i t ht h eb a s e do nt h ei n d i pp r o t o c o ls t a c k , ，a n dc a n a c h i e v em o r ee f f i c i e n tc o m m u n i c a t i o n ，r a p i dr e s p o n s et ou s e rr e q u e s t sf o r l i n k s a st h eu s eo fa d v a n c e dh a r d w a r ea r c h i t e c t u r ea n de x c e l l e n ts o f t w a r e d e s i g n , i n dp r o v i d e sas a f e ，i n t e l l i g e n ts t o r a g es c h e m et os m e s k e yw o r d s n e t w o r ks t o r a g e , n d ，c o n u n u n i c a f i o np r o t o c o l ，i n d i p m 原创性声明 本人声明，所星交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其它人已经发 表或撰写过的研究成果，也不包含为获得中南大学或其它单位的学位或证书而使用过的 材料与我共同工作的同志对本研究工作所做的贡献均已在论文中作了明确的说明。 作者签名：日期：乏竺2年。月尘日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、 缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部门规定送交学位论文。 日期：2 巫年月丝日 顼士学位论文 第一章绪论 1 1 研究背景与课题来源 第一章绪论 人类社会自从计算机时代进入信息时代以来，其生活方式已发生了翻天覆地的 变化。信息时代融合了信息与网络的两大技术特点，与以往任何时代相比，具有了 不同的特征：一是信息的传播速度高，数量增长快；二是信息在人们社会生活中的 地位和影响越来越大。信息量的飞速膨胀让我们不得不考虑如何实现对这些海量数 据的传输和保存，以满足用户对这些数据信息的各种存取需求 1 1 1 网络数据存储需求 市场研究机构f o r r e s t e r 的报告称【1 1 ：企业存储需求增长率每年超过5 0 ，各种 类型数据量的增加是推动存储行业发展的原动力，而网络存储作为一种的新型存储 方式，它的快速发展已经成为整个存储行业背后的主要动力 数据增长 摩尔定律( m o o r e sl a w ) e n ：1 9 9 8 年的图灵奖获得者j i mg r a y 声称，网络环境下 每1 8 个月全球新增加的信息量等于人类有史以来全部信息量的总和。 网络带宽和用户增长 吉尔德定律( g i l d e r sl a w ) t 3 1 ：乔治士尔德( g e o r g eg i l d e r ) 曾预测，在未来2 5 年，主干网的带宽将每6 个月增加一倍； 麦特卡夫定律( m e t c a l f e 。sl a w ) t * j ：网络价值与用户数的平方成正比也就是：v = 铲 其中v 代表网路的价值，n 代表连结网路的使用者或节点总数 成本降低 贝尔定律饵e l l sl a w ) 习：在保持性能不变的前提下，器件的价格或者体积每1 8 个月就会减半。 1 1 2 国内鼹络存储现状分析 我国自提出科技兴国的战略方针后，个人计算机迅速普及，信息化建设不断深 入，产生了数量巨大的存储用户群，人们对数据重要性的认识也逐步提高，信息存 储正逐渐成为1 1 r 产业中最具战略意义、发展速度最快的领域之一 我国的存储产业与西方发达国家相比，起步较晚。虽然近几年的发展取得了一 定的成绩，但总体水平还是比较落后中国存储系统市场规模在2 0 0 2 年就已经达到 硕士学位论文第一章绪论 了5 6 亿元人民币，最近几年国内存储市场每年还在以i o 屯o 的速率增长。2 0 0 4 年中国存储设备市场规模已达到了7 2 亿元人民币，估计到2 0 0 6 年年底，整个中国 存储市场规模会达到7 4 7 亿元人民币。由此可见，目前我国的数据存储市场正处在 一个快速的发展期【6 】。 在参考文献【6 】【7 】【g 】中提到，我国目前存储市场用户群十分庞大，但最为活跃 的还是中小企业市场。目前，国内的中小企业有1 0 0 0 多万家，占国内注册企业总数 的9 9 ；据统计，这些企业购买的存储系统成本以l o o o - 5 0 0 0 美元和5 0 0 0 1 0 0 0 0 美元两个层次为主，而且逐年上升。而存储系统成本在5 0 0 0 0 美元以上的则呈现负 增长。虽然近年来存储设备的价格的日趋下降，越来越多的政府机构及大型企业有 能力购买以往价格昂贵的存储系统，但对中小企业而言，仍然是一笔难以承受的开 销。如何在有效节约人力、设备等成本上又能简单、高效、安全的存取和管理数据 信息，成为用户和存储业界普遍关注的一个问题。 因此，突破传统网络存储系统的性能瓶颈，研究具有自主知识产权的网络存储 系统，为中、小企业及其它特殊领域提供低成本、高可靠性、高安全性及高可用性 的新型网络存储系统已迫在眉睫。 1 1 3 课题来源 本课题受2 0 0 5 年国家自然科学基金“智能网络磁盘( 矾d ) 系统结构及关键技术 研究( ：6 0 5 7 3 1 4 5 f 0 2 0 4 0 2 ) ”和2 0 0 5 年湖南省自然科学基金“可直接联网的智 能网络磁盘( 玳d ) 系统结构的研究( n o ：0 5 j j 3 0 1 2 0 ) ”两个项目资助。 1 2 研究现状 1 2 1 网络存储的起源与发展 数据存储技术起源于2 0 世纪7 0 年代，纵观计算机的发展史，存储系统一直是 作为计算机系统内部的附属部分而存在的。这种计算机的存储部分有时也称之为外 围设备。传统的存储模式就是建立在这样的计算机系统之上，由于计算和存储部分 的分离，所以需要用户分别去管理和维护，数据的交叉存放造成数据信息的大量冗 余，也给维护和管理带来很大的困难。 九十年代以前，存储产品大多作为服务器的组成部分之一。这种形式的存储被 称为d a s ( d i r e c ta t t a c h e ds t o r a g e 直接附属存储) ，它是直接附接在服务器或客户端 扩展接口上的数据存储设备。这些存储设备的操作直接依赖于其附接的服务器或客 2 硕士学位论文第一章绪论 户端，存储系统本身不带有任何的操作系统，只是其存储设备硬件本身简单的堆叠。 也就是说它是以服务器为中心的存储架构，各种存储设备通过f o 总线与用户网络 l a n 上的通用服务器相互通信，其结构如图1 1 所示。 图1 - 1d a s 存储架构 其工作原理是：客户端要访问存储设备上的数据时，必须先向服务器发出请求 信息，服务器接收到请求信息后对相应的信息进行命令解析，然后再到相应的存储 设备上读取相关的数据信息并转发给相应的客户端。这种存储方式在单人单机的应 用环境下具有较强的优势，当在较复杂的网络环境下工作时，由于n a s 将各存储 资源分散存储在各自的主机内，易造成存储资源存放的不合理和存储资源本身的闲 置；另外，每个存储设备直接连接到相应的服务器上，对服务器本身依赖性大，只 有该服务器才能对它进行数据的存取以及相应的管理操作，而当其它服务器需要访 问该存储设备时，需要利用专门的数据访问工具。访问效率低下；且由于服务器本 身的分散性，造成数据存储时大量不必要的冗余，日常管理和维护也十分困难。由 此可见，d a s 这种传统的存储模式由于本身的局限性已无法满足信息时代用户对信 息存储不断变化的需求唧。 进入九十年代以后，随着网络时代的到来，人们逐渐意识到r r 系统的数据集中 和共享成为一个亟待解决的问题，在用户对信息存储需求和网络技术的双重作用下， 存储技术发生了巨大变化，于是，网络化存储的概念被提出并得到了迅速发展。n a s ( n e t w o r ka t t a t c h e ds t o r a g e ，网络附加存储) 、s a n ( s t o r a g ea r e an e t w o r k ，存储 区域网络) 是存储领域近来十分引人注目的技术它一方面能为网络上的应用系统 硬士学位论文第一章绪论 提供丰富、快速、简便的存储资源；另一方面又能共享存储资源并对其实施集中管 理，成为当今较为理想的存储管理和应用模式。它的出现，将传统的以服务器为中 心的存储模式演变成以网络数据为中心的存储模式，充分体现了数据资源的重要性。 1 2 2 当前主要网络存储技术 1 ，n a s “ n a s 存储系统是美国h p s s ( h i g hp e r f o r m a n c es t o r a g es y s t e m ) 计划的产物，它的 存储系统、存储设备独立于服务器和用户机，而处于同等地位的第三方。n a s 构建 在以太网和t c p 】口上，通过文件访问协议( 主要是c i f s 和n f s ) 为其连接的客户 端提供文件访问功能，其结构如图1 2 所示。 图1 - 2n a s 存储架构 2 、s a n l l o l s a n 存储系统起源于2 0 世纪9 0 年代中后期，光纤通道技术的发展促使了s a n 存储体系的出现，是由h p 、s u n 公司提出的存储模式 s a n 是一种面向网络的存储结构，是以数据存储为中心的存储结构。它采用专 用数据网络取代总线，使数据处理和数据存储分离。可扩展的网络拓扑结构连接服 务器和存储设备。通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵 列、磁带等存储设备与相关服务器连接起来的高速专用子网。将数据的存储和管理 集中在相对独立的专用网络中，面向服务器提供数据存储服务服务器和存储设备 4 硕士学位论文第一章绪论 之问的多路，可选择的数据交换消除了以往存储结构在可扩展性和数据共享方面的 局限性。提供灵活的网络寻址能力，增强了系统的可扩展性。其结构如图l - 3 所示。 3 、n a s 与s a n 的比较 图l - 3s a n 存储架构 袁1 - 1n a s 与s a n 的比较 项目 s a n n a s 协议f c p 、串行s c s i 协议n f s 、n c p 、c i f s 网络 光纤路径 以太网 源目的服务器设备客户机朋艮务器，服务 器服务器 传输对象设备块文件 存储设备连接网络上的直接连接服务器上的总线 路径 嵌入的文件系统没有有 1 2 3 两络存储研究新趋势 为了不断适应网络时代对数据的存储需求，人们在不断挖掘现有网络存储技术 的同时开发新的存储架构目前对网络存储的研究主要集中在以下几个方面： ( 1 ) i o 性能的研究； ( 2 ) 系统管理的研究； 5 硕士学位论文 第一章绪论 ( 3 ) 数据共享的研究； ( 4 ) 系统标准的研究： 其中，i o 性能是衡量存储系统的传统指标，目前国外对存储系统体系结构的 研究主要有基于i n _ f i n i b a a d 的存储系统体系结构和基于d a f s 协议的存储系统体系 结构；而对网络存储设备i 0 优化的研究主要是c a c h e 技术、磁盘调度算法和数据 分布技术。 1 存储系统体系结构的研究 ( 1 ) 基于d a f s 协议的存储系统 d a f s 馏( d i r e c ta c c e s sf i l es y s t e m ，直接存储文件系统) 协议框架最早是由 n e t w o r ka p p l i a n c 露、s e a g a t c 和i n t e l 三家公司共同提出的，设计d a f s 的目的：一 是为了简化文件读写的步骤，将读写过程中的系统负载降到最低；二是将它设计成 与底层无关的协议，使其可以在f c 、s c s i 及千兆以太网等多种网络连接协议上实 现；三是为了提高存储网络的可扩展性，不断增强n a s 与s a n 在网络存储方面的 性能与功能。 基于d a f s 协议的存储系统是由d u c k 大学、h p 研究中心、哈佛大学的研究项 目，目的是在所有的网络上建立一个通用的网络f o 存储系统。它的工作原理是通 过缩短服务器读写文件时的i o 路径，来减少和重新分配c p u 的计算任务；提供内 存到内存的直接传输途径，提升数据块的复制性能，如在1 0 m 带宽的以太网上，传 输带宽可以达到l o m b s ；充分利用正出现的r d m a 网络通信技术，如i n f i n i b a n d ， 和i w a r p 的文件存取协议，极大地增强了w e b 、计算、电子商务等各种应用的 性能、可靠性与可扩展性；是有效提升n a s 结构f o 性能的一种方法，可以作为下 一步融合n a s 和s a n 存储系统的核心协议。d a f s 还具有文件系统所应具有的管 理功能，在完全d a f s 工作方式下，在应用程序中针对文件操作的部分需要重新迸 行编写，以达到优化文件操作的目的，因此实现起来比较困难和繁琐。 ( 2 ) 基于i n f i n i b a n d 的存储系统 长期以来，存储技术的发展一直受到总线瓶颈的制约c p u 与外接设备通信的 速度基本还是由总线的速度决定，理论上p c i 总线速度为5 0 0 m b s ，而p c i - x 总线 的速度为i o b $ ，这种速度上的限制制约了服务器与存储设备之间的传输能力 m - c o m p a q 、i b m 、d e l l 、i n t e l 、m i c r o s o f t 、s t m 等公司在1 9 9 9 年联合提出了i n f i n i b a n d 总线技术，因此i n f i n i b a n d 被设计为取代p c i 总线的新的i o 体系结构。 6 硕士学位论文 第章绪论 n f m i b a n d 把网络技术引入i o 体系之中，形成一个i o 交换网络结构，把p 网络和存储网络合二为一，以交换机互连和路由器互连的方式支持系统可扩展性， 是一种针对点对点以及交换结构的i o 技术。其设计思路是通过一套中心i n f i n i b a n d 交换机在远程存储器、网络以及服务器等设备之间建立一个专用的通路，并由中心 交换机来控制流量。i n f m i b a n d 结构由4 种基本设备组成，分别是主机通道适配器 ( h c a ) 、目标通道适配器( t c a ) 、交换机以及路由器。服务器端通过h c a 连接 到主机内存总线上，突破了p c i 的带宽限制；存储设备端通过t c a 连接到物理设 备上，突破了s c s i 和f c - a l 带来的带宽限制使用l n f i n i b a n d 技术省去了服务器 复杂的i o 部分，建立了一个灵活高效的数据中心，主要用于服务器与服务器、服 务器与存储设备、服务器与网络之间的通信目前l n f i n i b a n d 技术有三种版本，第 一种版本可以提供2 5 g b s 的传输速率，第二种版本可以提供1 0 g l s 的传输速率； 第三种版本传输速率理论上则可以达到3 0 g ，s 基于i n f i n i b a n d 体系结构的存储系统，具有以下优势： ( 1 ) 很好的兼容性，使从简单的i o 设备到复杂的主机设备都能被交换设备相互 连接起来； ( 可以无缝的与现有的l a n 和基于f c 的s a n 互连。 i n f i n i b a n d 体系结构把m 网络和存储网络合二为一。以交换机互连和路由器互 连的方式支持系统的可扩展性，同时实现n a s 、s a n 或混合结构等不同形式的存 储系统； 2 n a s d 技术 n a s d ( n e t w o r k - a t t a c h e ds e c u r ed i s k ) 是c m u 大学目前正在研究的网络存储 项目，它是一个类似n a s 存储设备的智能磁盘驱动器，但将管理、文件系统语义 和存储转发相分离，仅实现基本的存储元语，由文件管理器实现文件系统的高层管 理部分它对外提供以太网、a t m 等数据通信接口与m 网络相连，或者通过f c 接口连接到鼬n 上。 n a s d 设备嵌入了低层的磁盘管理功能并提供了可变化长度的对象存储接口 客户端可以直接存取n a s d 设备中的存储资源。文件管理器负责每个客户对n a s d 设备存储资源的存取控制和检查工作。存储管理器则负责n a s d 存储资源的映射管 理和r a i d 管理等工作。因为网络通信可以通过公用数据网络采用普通的通信协议 完成，因而n a s d 需要提供安全机制，目前采用的是基于私钥公钥验证技术的安 全机制。 7 硕士学位论文 第一章绪论 在c m un a s d 项目的基础上，诞生了两个基于对象存储设备的分布式文件系 统l u s t r e 和p a n a s a s 。 3 面向对象存储技术 面向对象存储( o b j e c t - b a s e ds t o r a g e ) 综合了n a s 和s a n 的优点，同时具有 s a n 的高速直接访问和n a s 的数据共享等优势。其组成包括智能存储接口和设备， 以及分布的元数据管理。在对象存储系统中，客户端可以直接访问存储设备，减少 了数据存储路径中的控制路径使用对象存储设备( o b j e c t - b a s e ds t o r a g ed e v i c e ， o s d ) 进行物理的数据存储。o s d 是连接到网络上的存储设备。它可以是磁盘、磁 带或者其它的存储介质，并具有自我管理功能。提供了具有高性能、高可靠性、跨 平台以及安全的数据共享的存储体系结构。 对象存储包括几个组成部分：对象( o b j e c t ) 、o s d 、文件系统、元数据服务器 t m e t a d a t as e r v e r ，m d s ) 和网络连接。o b j e c t 包含了文件数据以及相关的属性信息， 可以进行自我管理。o s d 是一个智能设备，是o b j e c t 的集合。文件系统运行在客户 端上，将应用程序的文件系统请求传输到m d s 和o s d 上。m d s 为系统提供元数 据、c a c h e 一致性等服务。网络连接将整个系统连接起来。在当前的存储结构中， 元数据服务器主要提供两种功能：为客户端提供数据的逻辑视图，包括文件名、目 录构成等；为客户端提供物理视图，描述数据在物理介质上的存放。在对象存储中， 数据的逻辑视图和物理视图被分开，元数据服务器只负责逻辑视图，物理视图则由 o s d 自己进行管理。由于逻辑视图只占用了文件服务器l o 的元数据负载，因此， 这种划分大大减轻了元数据服务器的负担，使得存储系统的扩展成为可能。 4 存储虚拟化技术 存储需求的增加导致存储系统日益庞大和复杂，管理和维护难度也随之增加。 为了简化存储设备的安装、配置和管理，有效整合和利用异构存储设备。人们提出 了存储虚拟化( s t o r a g ev l - t u a l i z a t i o n ) 技术【1 3 l ，以满足用户对存储系统提出的新需 求。 存储虚拟化是对存储资源实施和配置的逻辑抽象。从专业的角度看，存储虚拟 化实际上是逻辑化存储，即把多个存储介质模块( 如j b o d 、r a m ) 通过一定的手 段集中管理起来形成一个逻辑统一的存储池( s t o r a g ep 0 0 1 ) ，为主机通道提供一个 逻辑卷，主机可以通过一个物理节点管理这一空间的逻辑卷。从用户的角度来看， 用户在使用存储系统时，不需要接触实际的物理存储介质，而只需要对虚拟化的逻 辑存储设备进行相关操作。存储虚拟化技术在数据镜像，数据复制、数据恢复、存 颈士学位论文 第一章绪论 储设备整合和统一存储管理等方面应用非常广泛，r a i d 控制器就是存储虚拟化的 一个具体实例。 存储虚拟化有以下优点： ( 1 ) 减轻了物理设备配置和管理的负担，通过存储虚拟化可减少主机对网络资源 的占用； ( 2 ) 透明化存储硬件，使主机系统无需关心后端存储设备的改变： ( 3 ) 实现了集中和简化管理。虚拟化可帮助构建单一管理点，可屏蔽特性各异的 物理设备，提供统一的逻辑视图； ( 4 ) 提高存储资源的利用率和可利用性，降低总拥有成本。 5 存储网格技术 随着网格( g r i d ) 技术的提出与研究的深入，目前存储行业已经开始将网络存 储的发展向网格存储靠拢。2 0 0 2 年8 月，m m 开始研发网格计算技术，不久后便推 出了智能积木( c o l l e c t i v ei n t e l l i g e n tb r i c k s ) 这种全新的存储架构之后n e t w o r k a p p l i a n c e 、e m c 、h p 等存储公司都在设计自己的存储产品时引入了“网格计算” 的概念，并推出了各自的网格存储产品 存储网格【1 i 】( s t o r a g ec - r i d ) 是将地理上分散的存储资源( 包括软、硬件) 有机 的整合在一起，实现分布式、跨异构平台的虚拟化存储空间和海量数据的一体化， 使数据能够更为有效的协同工作，为其它各类网络应用提供服务在存储网格环境 下，无论存储设备、驱动器、访问接口的物理层是什么，网格应用系统给用户提供 的只是经过封装和虚拟化的存储服务，大大简化了存储管理的复杂性，并进一步降 低了存储管理和运行成本另外，用户可以通过自主控制的方式，将自己多余的存 储空间共享出来提供网格存储服务，实现了一种灵活透明的网格存储空间的分配共 享机制。 存储网格的优势主要体现在三个方面： ( 1 ) 存储网格具有很强的可扩展性，这有助于采用低廉的成本来获取海量存储空 问； ( 2 ) 存储网格可以实现单一地址访问、不间断数据转移等功能，并简化了管理， 提高了效率； ( 3 ) 存储网格能快速应变当前复杂的存储市场及用户不断变化的需求 9 硕士学位论文 第一章绪论 1 , 3 智能网络磁盘( n d ) 通过以上具体介绍，网络存储技术起源于d a s ，体系结构经历了n a s 到s a n 到其混合结构，存储模式也经历了以服务器为中心的存储架构到以数据为中心的存 储架构的转化。传统网络存储技术基于将控制流和数据流分开的思想，n a s 在物理 连接上将存储器直接连到网络上，不再挂在服务器后端，服务器仅起控制管理的作 用，从而减轻了服务器的工作负载，使系统的整体性能得到提高；但随着文件存取 请求增加到一定程度，服务器的性能会显著地下降，而且服务器存在单点故障问题。 s a n 提供高速的数据块传输、可伸缩的虚拟存储和远程备份，但其高技术性和高昂 的成本是中小企业所不能承担的，而且在网络数据迅猛增长的同时数据服务器的负 载也成倍的增长，数据服务器的存在使得现有的存储系统没有摆脱服务器，存储系统 的模式，服务器的单点失效问题及f o 瓶颈问题依然存在。 基于现有网络存储架构存在的诸多不足，我们设计这样一个接口卡，该接口是 由嵌入式c p u 、i d e 硬盘接口、r j - 4 5 接口、r t l s 0 1 9 a s 网络控制芯片、s r a m 、 f l a s h 等组成的一个接口电路板，嵌入式c i u 运行只包含文件系统和网络功能模 块的微型操作系统，专门负责在网络环境下提供文件服务。我们定义这样的网络存 储磁盘为智能网络磁盘i n d ( i n t e l l i g e n t n e t w o r k d i s k ) ，对应的接口为i n d 接口( i n d i n t e r f a c e ) ，i n d 存储架构如图1 4 所示。在i n d 接口电路板上，文件系统直接存储 在r o m 中，以便于i n d 管理自己的安全、文件系统和网络通信，从而做到在没有 实际服务器的情况下，客户端可像通过文件服务器或n a s 装置一样访问磁盘文件。 图1 4i n d 存储架构 硕士学位论文第一章绪论 1 4 本文的主要工作 网络存储需求的日益扩大促使了网络存储技术的快速发展，传统的网络存储技 术的缺点和不足日益凸显，本文设计了一种新的网络存储架构，即选用高性价比的 a r ms 3 c 4 4 b o x 、r t l 8 0 1 9 a s 网络控制芯片、i d e 接口等作为硬件开发平台；选用 只保留文件系统和网络功能的u c l i n u x 嵌入式操作系统作为软件开发平台，采用专 为i n d 系统设计的d 口协议栈作为系统的协议栈这种新型的存储架构及存储 模式，避免了传统存储所带来的单点故障及成本高等问题，具有很强的现实意义， 本文就在此基础上为i n d 系统的网络接入及矾d 佃协议栈实现等问题展开探讨。 本文的主要工作是： ( 1 ) 分析了课题的研究意义及网络存储的研究现状，探讨了近几年国内外网络 存储的研究新趋势； ( 2 ) 论述了i n d 存储系统的体系结构，分析并探讨了i n d 系统的数据访问原理、 数据存储原理、通信原理和功能特点； ( 3 ) 结合i n d 硬件环境和软件环境阐述了i n d i p 协议栈的设计思想和实现方 法，分析现有国内外的嵌入式t c p 佃协议栈，在此基础上讨论了在i n d 上实现 t c p i p 协议的若干问题，完成了i n d i p 协议栈的总体方案设计、功能模块的划分 与进程模型的设计； ( 4 ) 在遵循协议标准的前提下，针对i n d 系统资源少、实时性高等特点，分析 了每层协议的工作原理及特点，针对每个协议研究并提出了详细的设计思路，完成 了i n d i p 协议的接口设计，为i n d 提供一个精练、高效的通信协议； 国探讨研究了i n d i p 协议栈的构成，每个协议的内容，实现这些协议的各个 程序模块的实现模型及关键性环节的详细实现过程，并绘出了相应的详细功能实现 流程图，并完成了对各个a p i 接口函数的编写工作； 在完成上述工作的情况下，探讨了了i n d i p 协议栈存在的安全性问题，对 此方案进行了实验测试后，并通过与传统服务器存储系统的简单比较，对系统性能 进行了分析与评价； ( 7 ) 对全文的工作进行了简单总结，分析了系统现有的不足，提出了下一步要 改进及深入研究的工作 硕士学位论文第一章绪论 1 5 本文的组织结构 本文主要围绕t c p i p 协议的原理以及它在i n d 存储系统上具体的实现问题， 探讨了1 n d i p 协议在i n d 存储系统上实现问题的解决策略。全文共分六章，具体 安排如下： 第l 章，绪论。介绍本课题研究背景、课题来源及国内外网络存储研究新趋势。 第2 章，i n d 存储系统原理。本章首先介绍了i n d 存储系统软硬件体系结构， 详细阐述了i n d 数据访问原理、数据存储原理及功能特点，完成了i n d 存储系统 网络接入方案的设计，通过对当前嵌入式t c p i p 协议栈比较与比较，在不违背协 议标准的前提下，提出了重新设计i n d 系统i n d i p 协议栈的设计思路。 第3 章，i n d 存储系统i n d i p 协议栈设计。本章首先提出了i n d i i 协议栈的 开发环境及性能指标，重点阐述了i n d ! i 协议栈的总体设计方案、工作原理及设计 方法，本章最后提出了i n d i p 协议栈的接口设计思想。 第4 章，i n d 存储系统i n d i p 协议栈的实现。结合i n d 系统的特点，对i n d m 协议栈的每一层协议给出了详细的实现模型及实现方法，并介绍了相关的数据结构 和函数。 第5 章，d ，i p 协议安全及i n d 性能测试。对i n d i p 协议及i n d 存储系统进 行了测试，并进行了分析和评价。 第6 章，总结与展望。对本文的研究和应用进行了总结和展望，提出了有待研 究和改进的地方。 硕士学位论文 第二章i n d 系统原理 第二章i n d 存储系统原理 2 1i n d 存储系统架构 智能网络磁盘i n d ( i n t e l l i g 衄tn c t w o r kd i s k ) 采用先进的硬件体系结构和优良 的软件设计，不再依赖于计算机，每个存储磁盘通过专门设计的接口挂接到网络， 接口采用嵌入式c p u 处理文件存储操作和局域网通信，成本比较低。用户可以通过 文件属性来访闯挂接在接口磁盘上的数据。这种新型存储模式i n d 采纳了n a s 的 专业文件服务器思想，但彻底摆脱了对数据服务器的依赖，消除了n a $ 存在的服 务器瓶颈隐患和单点故障问题。非常适合于处理来自局域网内的f o 请求，不仅响 应速度快，而且数据传输率高，安全性高，其成本低。 2 1 1i n d 硬件体系结构 基于现有网络存储架构及性能上存在的诸多不足，i n d 存储系统在构造硬件结 构中重点考虑网络和存储两方面的功能，对其它的硬件结构则尽量简化，体现了瘦 服务器的思想。i n d 由智能接口和一个( 或多个) 4 0 p i n 的i d e 硬盘组成，智能接 口以a r ms 3 c 4 4 b o x 为嵌入式微处理器，外增加2 m bf l a s h 和8 m bs d r a m 为 片外存储单元，以太网接口部分使用r t l s 0 1 9 a s 网络控制芯片与r j - 4 5 接口，以数 据传输速率为1 3 3 m b p s 的普通i d e 硬盘作为终端存储设备i n d 的存储架构如图 2 1 所示。 i n d 接口通过选用嵌入式c p u 提供高性价比的解决方案嵌入式c p u 运行经 过裁减和优化的嵌入式操作系统，这样做可以提高系统运行效率，另一方面可以减 少存储操作系统的f l a s h 的容量，降低成本。i n d 接口的作用类似于一个专用的 文件服务器，与通用服务器不同，它去掉了通用服务器所具有的与网络存储无关的 大部分计算功能，重点保留了文件系统功能和网络通信功能，用于网络存储服务 另外，选用了高性价比的嵌入式c p u ，因此有效地控制了成本i n d 接口之所以配 置了i d e 而不是s c s i 接口，一方面是由于嵌入式c p u 的处理能力有限，通常不能 满足多个硬盘的