（计算机系统结构专业论文）改善iscsi存储系统的缓冲策略的研究.pdf

l i i i i i i ii iiiii i i ii i i i i ii l l ulll u l y 1815 0 0 3 独创性声明 人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 体己经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者躲李曲辛 日期：夕仰争年夕月，口日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密耐，在 5 年解密后适用本授权书。 本论文属于 不保密口。 ( 请在以上方框内打“ ) 学位论文作者签名： 方t 每心 日期：二叫年户月，汐日 硌 1 指导教师签名： 日期：，厶p 年f 目pe l 构建基于i s c s i 的s a n 也比传统的光纤通道s a n 成本低，这使得i s c s i 协议比光纤通道 协议更容易构建和管理，成为构建s a n 的一种新的协议选择。 i s c s i 可以用硬件和软件实现，分析了i s c s i 协议在l i n u x 环境下的实现机制。i s c s i 实现包括i s c s i 目标端和i s c s i 启动端两部分，i s c s i 目标端又由前端模块和中层模块组 成。i s c s i 启动端把s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ) 命令和数据封装在口包内， 通过t c p i p 网络传输至l j i s c s i 目标端，再通过网络接收命令处理的结果。如果需要， 还可以对封装的数据进行加密。用户访问网络上任何位置的i s c s i 存储设备就像访问 本地s c s i 硬盘一样，整个过程对用户来说是透明的。 针对在i p 网络上封装i s c s i 需要大量额外开销来进行s c s i 命令的传输和网络中的 握手动作等不足，提出了一种改善i s c s i 存储系统性能的缓冲策略。指出采用存储在 磁盘上的日志结构的缓存，可以充分利用磁盘高速连续写入的特点，提高系统的写性 能。通过对i s c s i 系统和本地s c s i 盘进行实验测试和比较分析，得出的结论是使用缓 冲策略可以缩短系统的响应时间、提高系统的吞吐率，从而可以达到改善i s c s i 存储 系统性能的目的。 关键词：网络存储，互联网小型计算机接口协议，存储区域网，缓冲 d a t as t o r a g ep l a y sa l le s s e n t i a lr o l e i nt o d a y sf a s tg r o w i n gd a t a - i n t e n s i v en e t w o r k s e r v i c e s n e ws t a n d a r d sa n dp r o d u c t se m e r g ev e r yr a p i d l yf o rn e t w o r k e dd a t as t o r a g e s a a n a l y s i st ot h ei s c s i ( i n t e r n e ts c s i ) p r o t o c o la n dab r i e fc o m p a r i s o nw i t hf cp r o t o c o lw e r e g i v e n t h ef e a t u r e so fs a n ( s t o r a g ea r e an e t w o r k ) a n dn a s ( n e t w o r ka t t a c h e ds t o r a g e ) w e r ei n t e g r a t e di n t oi s c s ip r o t o c o l ，a c c e s s i n gb o t l lt h ef i l ea n dd a t ab l o c k i s c s im a y m a k eu s eo fe x i s t i n gi pi n f r a s t r u c t u r ew h e n e v e rp o s s i b l e t c ph a sm a n yf e a t u r e st h a ta r e u t i l i z e db yi s c s i s i n c ei s c s ir u n so v e rs t a n d a r do f f - t h e - s h e l fn e t w o r kc o m p o n e n t s ，t h e c o s to fs e t t i n gu pa ni s c s is a ni ss i g n i f i c a n t l yl o w e rt h a nt h a to faf i b r ec h a n n e ls a n t h i sw i l lm a k ei s c s im o r ea f f o r d a b l ea n dm a n a g e a b l et h a nf i b r ec h a n n e l ，a n de n a b l ei tt o b e c o m et h ep r o t o c o lo fc h o i c ef o rs a n s i s c s ic a l lb ei m p l e m e n t e db yh a r d w a r eo rs o f t w a r e t h ei m p l e m e n t a t i o no fi s c s i p r o t o c o lu n d e rl i n u xe n v i r o n m e n tw a sa n a l y s e d i s c s ii m p l e m e n t a t i o nc o n s i s to fi s c s i i n i t i a t o ra n di s c s it a r g e t t h ei s c s it a r g e ti sm a d eu po ff r o n t e n dt a r g e td r i v e ra n d s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ) t a r g e tm i d l e v e l i s c s ii n i t i a t o re n c a p s u l a t es c s i c o m m a n da n dd a t ai n t oi pp a c k e t ，t r a n s l a t ei tt oi s c s it a r g e t s ，a n dr e c e i v er e s u l tf r o m i s c s it a r g e tv i at c p i pn e t w o r k t h ee n c a p s u l a t e dd a t ac a nb ee n c r y p t e di f i a e c e s s a r y t h e u s e rc a na c c e s si s c s is t o r a g ed e v i c ei na n yp o s i t i o nt h r o u g hi n t e m e tj u s tl i k ea c c e s sl o c a l s c s id i s k ，a n dt h et o t a lp r o c e d u r ei st r a n s p a r e n tt ot h eu s e r t oe n c a p s u l a t es c s ip r o t o c o lo v e ri pr e q u i r e ss i g n i f i c a n ta m o u n to fo v e r h e a dt r a 伍c f o rs c s ic o m m a n d st r a n s f e r sa n dh a n d s h a k i n go v e rt h ei n t e m e t ab u f f e rs t r a t e g yt o i m p r o v et h ei s c s ip e r f o r m a n c ew a sp r o p o s e d u s i n gl o g - s t r u c t u r ed i s k 雒t h ec a c h ef o r w r i t eo p e r a t i o n s ，t h es y s t e mc a ne x p l o i tt h eh i 曲c o n t i n u a lt r a n s f e rr a t eo fm o d e md i s k sa n d b o o s t sw r i t i n gp e r f o r m a n c eo ff i l es y s t e mb ym a g n i t u d e s a c c o r d i n gt ot h ep e r f o r m a n c e a n a l y s i sa n dc o m p a r i s o no fi s c s is y s t e ma n dl o c a ld i s kb a s e do ne x p e r i m e n t s ，i ti s c o n c l u d e dt h a ti td e c r e a s e st h er e s p o n s et i m eo f i s c s is t o r a g es y s t e ma n de n h a n c e si t s t h r o u g h p u ti nt h i sw a y k e yw o r d s ：n e t w o r ks t o r a g e ，i s c s ip r o t o c o l ，s t o r a g ea r e a n e t w o r k ，b u f f e r i i 。- 1 绪论 1 1 课题研究的背景、目的和意义( 1 ) 1 2 国内外网络存储技术发展现状( 3 ) 1 3 本课题的主要研究内容( 7 ) 2i s c s i 协议分析 2 1 i s c s i 工作原理( 9 ) 2 2 协议效率分析：( 16 ) 2 3 本章小结( 1 9 ) 3i s c s i 的实现机制 3 1 i s c s i 的实现方式( 2 0 ) 3 2 l i n u x 设备驱动程序原理( 2 1 ) 3 3l i n u xs c s i 子系统( 2 4 ) 3 4 i s c s i 目标端实现( 2 4 ) 3 5 i s c s i 启动端实现( 3 3 ) 3 6 本章小结_ ( 3 6 ) 4 缓存机制 4 1缓存技术( 3 7 ) 4 2 利用日志磁盘缓存改善系统写性能( 3 9 ) 4 3 读写性能分析( 4 3 ) 4 4 本章小节( 4 6 ) i 大学硕士学位论文 ( 4 7 ) ：( 4 7 ) ( 4 8 ) ( 4 9 ) 发表的学术论文目录( 5 2 ) i v 和主要研究内容。 1 1 课题研究的背景、目的和意义 本课题是来源于外存储系统国家重点实验室8 6 3 项目存储虚拟化及其文件系 统的研究 ，项目编号2 0 0 1 a a l l l 0 1 1 。随着信息技术的进步，网络应用飞速发展， 信息资源爆炸性增长，通过网络进行传输的信息量不断膨胀，大量的信息需要进行数 字化并进行存储，这对信息存储系统的容量和速度提出了空前的要求。 传统的存储体系都是以服务器为中心的存储结构。各种存储设备通过i d e 或 s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ) 等i o 总线与服务器相连。客户机的数据访问必 须通过服务器，然后经过其i o 总线访问相应的存储设备，服务器实际上起到一种存 储转发的作用。当客户连接数增多时，i o 总线将会成为一个潜在的瓶颈，并且会影 响到服务器本身功能。目前这种以网络服务器为中心的存储方式已不能适应来自应用 的越来越高的要求。 在这种需求的推动下，网络存储技术应运而生。目前有两种比较成熟的网络存储 方案1 】：附网存储系统【2 捌( n e t w o r k a t t a c h e ds t o r a g e ) 和存储区域网【4 ，5 ，叼( s t o r a g ea r e a n e t w o r k ) 。附网存储技术是可以直接连在网络上向用户提供文件级服务的存储设备， 有其自己简化的操作系统，它将硬件和软件有效地集成在一起，用于提供文件服务。 n a s 设备由于采用了n f s ( n e t w o r kf i l es y s t e m ) 和c i f s ( c o m m o ni n t e m e tf i l es y a e m ) 文 件协议，虽具有很多优点，但也存在一些缺点：如在文件访问的速度、在数据备份和 带宽消耗及n a s 的管理等方面，无法完成大容量存储的应用。存储区域网络是一种利 用光纤通道( f i b r ec h e n n e l ，f c ) 【7 ，8 ，9 】等互连协议连接起来的可以在服务器和存储设备 之间，以及存储设备和存储设备之间直接传送数据的网络。独特的体系结构和构建技 华中科技大学硕士学位论文 术使得s a n 具有许多优点：如高性能、高可用性、高可扩展性；便于集中存储和管理； 数据备份不用l a n 带宽，支持更远的距离等。但在具体的应用中，s a n 也有其自身的 一些缺陷：( 1 ) 设备的互操作性较差，目前采用最早和最多的s a n 互连技术还是光纤 通道，对于不同的制造商，光纤通道协议的具体实现是不同的，这在客观上造成不同 厂商的产品之间难以互相操作；( 2 ) 构建和维护s a n 需要有丰富经验的，并接受过专 f - i n 练的专业人员，这大大增加了构建和维护费用；( 3 ) 在异构环境下的文件共享方 面，s a n 中存储资源的共享一般指的是不同平台下的存储空间的共享，而非数据文件 的共享，其连接距离限制在1 0 k i n 左右等；( 4 ) 更为重要的是，目前的存储区域网采用 的光纤通道的网络互连设备都非常昂贵，这些都阻碍了s a n 技术的普及应用和推广。 n a s 和s a n 是两种不同的存储体系结构，鉴于它们各自的优缺点，企业不可能同时建 构两种不同的存储方案，所以广大的中小型企业迫切希望s a n 能取得技术的突破，将 n a s 和s a n 融合起来，生产一种“大众化 的产品来满足日益增长的存储需求。 i s c s i 技术 1 0 , 1 1 , 1 2 】是一种新型存储技术，它将s c s i 接口与以太网( e t h e m e t ) 结 合，使服务器可与使用p 网络的存储设备交换数据。i s c s i 可以实现在m 网络上运 行s c s i 协议，使其能够在高速干兆以太网上进行路由选择。目前，许多网络存储提 供商致力于将s a n 技术中使用的光纤通道设定为一种实用标准，但其架构需要高昂 的建设成本。与之相对，n a s 技术虽然成本低廉，但是却受到带宽消耗的限制，无法 完成大容量存储的应用，而且系统难以满足开放性的要求。i s c s i 技术的使用在以上 两者之间架设了一道桥梁。i s c s i 将广泛应用的两种工业标准s c s i 和t c p 口结合起 来，提供了n a s 和s a n 的功能上的融合。i s c s i = n a s 的低廉+ s a n 的高性能：( 1 ) 采用了i s c s i 协议的硬件设备是n a s 和s a n 的中间产品，它能简单连接到企业内部 网，做到即插即用；( 2 ) 为无法承担光纤通道s a n 环境基础结构高成本的中间市场 客户提供利用s a n 所带来的好处；( 3 ) 由于i s c s i 是基于m 网络的协议标准，突破 了s a n 在距离方面的限制，可以充分利用t c p i p 协议的丰富的资源如i p s e c ( i p s e c u r i t y ) 。虽然i s c s i 基于p 协议，却拥有s a n 大容量集中开放式存储的性能，这 一技术对于众多中小企业具有巨大的吸引力。 i s c s i 技术作为一种新型网络存储技术，虽然拥有经济、方便、易扩展等诸多 优点，但由于其增加协议封装、解封装、网络传输等一些环节，不可避免地要遇到 性能方面的问题。本课题分析i s c s i 协议特征和实现机制，研究缓存技术在改善 2 随着互连网时代的到来，传统的附服务器的存储方式早已无法满足需要，于是出 现了许多新型的存储技术。 1 2 1 存储系统的发展过程 现代信息技术的发展使得信息数据已逐渐成为人们的日常生活中不可或缺的一 种资源，存储需求推动着存储技术不断进步。考察外部存储系统的发展过程可以发现， 存储系统在需求的牵引下，结合相关硬件技术的相对成熟逐步发展壮大。具体过程大 致可分为三个阶段： ( 1 ) 提高存储速率，扩大存储容量 8 0 年代末期，高性能计算机系统的峰值计算能力已达到每秒千万次至数亿次操 作，i o 系统的通道速率也已达到i o m b s 量级，而当时最高性能的硬盘容量只有5 0 0 m 左右，传输率约为1 2 m b s ，这远不能满足高性能计算机系统的整体要求，为此人们 丌始研发i o 技术，r a i d ( r e d u n d a n ta r r a yo fi n e x p e n s i v ed i s k s ) t b , 1 4 l 技术应运而生。 现在硬盘的容量已达到1 6 0 g b ，传输率已达到8 0 m b s 。人们除了对速度和容量有了 更高的要求外，对存储系统新的要求也在计算机系统的应用中不断提出。 ( 2 ) 提高存储系统的可靠性 随着计算机应用领域的拓展，金融、军事、大型企业等对计算机存储系统的可靠 性提出了更高的要求，不允许出现任何不可恢复的灾难性故障。为此，人们在研究提 高存储系统的容量和速度的同时，研发了一系列提高数据可靠性的技术以及数据管理 的方法。提高数据可靠性的基本思想是数据冗余，从早期的数据备份到现在广泛采用 的r a i d 技术，如r a i d1 、3 、r a i d5 等都是数据冗余的典型实现。 ( 3 ) 网络存储 网络技术的迅猛发展，各种共享和交换的数据信息以几何级数的速度急剧增长， 导致了用户对存储产品和存储服务需求的爆炸性增长。d c 预测，今后几年世界范围 内磁盘存储系统的容量将以每年7 9 6 的速度递增。新m o o r 定律提示了现代信息技 络存储。 1 2 2 附网存储技术 附网存储系统( n a s ) 是使存储设备直接连接到网络上( 见图1 1 ) ，并为计算机 系统提供文件访问服务的一种存储方案1 5 , 1 6 。在n a s 存储结构中，存储系统不再通 过i o 总线附属于某个特定的服务器或客户机，而是直接通过网络接口与网络直接相 连，由用户通过网络访问。n a s 实际上是一个带有瘦服务器( 砌ns e r v e r ) 的存储设 备，其作用类似于一个专用的文件服务器 1 t , l s l 。这种专用存储服务器不同于传统的通 用服务器，它去掉了通用服务器原有的不适用的大多数计算功能，而仅仅提供文件系 统功能用于存储服务，大大降低了存储设备的成本。为方便存储到网络之间以最有效 的方式发送数据，专门优化了系统硬软件体系结构，多线程、多任务的网络操作系统 内核特别适合于处理来自网络的i o 请求，不仅响应速度快，而且数据传输速率也很 高。与传统的通用服务器不同，n a s 专用服务器能在不增加复杂度、管理开销、降低 可靠性的基础上，使网络的存储容量增加，具有非常好的可扩展性( s c a l a b i l i t y ) 。由 图1 1n a s 的体系结构 m 网络 4 存储区域网( s a n ) 是通过一个单独的网络( 通常是高速光纤网络) 把存储设备 和挂在t c p i p 局域网上的服务器群相连( 见图1 2 ) 【2 1 盈】。当有海量数据的存取需求 时，数据可以通过存储区域网在相关服务器和后台存储设备之间高速传输。存储区域 网络是一种类似于普通局域网的高速存储网络，允许企业独立地增加它们的存储容 量，并使网络性能不至于受到数据访问的影响。这种独立的专有网络存储方式使得 s a n 具有不少优势：可扩展性高，存储硬件功能的发挥不受l a n 的影响：易管理， 集中式管理软件使得远程管理和无人值守得以实现：容错能力强。s a n 以数据存储为 中心代替了过去以服务器为中心的存储模式，采用可扩展的网络拓扑结构，通过具有 高传输速度的光纤通道直接连接方式，提供s a n 内部任意节点之间的多路可选择的 数据交换，并且将数据存储管理集中在相对独立的局域网内。s a n 消除了以往存储结 构在扩展性和数据共享方面的局限性。不过，基于光纤通道技术的s a n 主要用于存 储量大的工作环境，并且s a n 的适用性和通用性较差，在系统的安装和升级方面效 率不高，成本也比较高。 图1 2 存储区域网的体系结构 5 f c i p 技术是将f c ( f i b r ec h a n n e l ) 封装到i p 数据包中，在通过p 网络传输到另外 一个f c 的s a n 【2 7 】，目的s a n 接收到该口数据包后，将其解包使其恢复成封装之前 的f c 帧。相对在两个s a n 孤岛之间采用专用的光纤连接，i pt u n n e l i n g 由于利用了 公用m 网络，故成本大大降低。这种技术的应用场合是将孤立的s a n 通过i p 网络 连接起来，没有涉及到单个的s a n 的本地构建技术，本地的s a n 采用的仍然是f c 技术，所以没有解决单f c s a n 的设备互操作性问题。除此之外，采用该技术使得数 据对管理系统不可见，因此使系统的管理工具和技术将不可用，必须采用单独的工具 和方法来管理。( 另外，相对而言i pt u n n e l i n g 的带宽远低于f c ) 。 i f c p ( i n t e m c tf c p ) 是将f c 协议映射t c p 协议上【2 8 刀】。与f c i p 协议不同， f c i p 是一种隧道协议( t u n n e l i n g ) ，除了将f c 封装成口数据包以外，不对f c 作 任何处理，在封装后的口数据包中同时保存两种地址：f c 地址和邛地址。在作为 隧道的i p 网络上传输时采用i p 地址寻址，到达目的地( 实际上是第二个s a n ) 后， i p 数据包被解包得到封装前的f c 帧，再利用f c 地址进行寻址。而i f c p 是一种网 关协议，它对f c 帧进行协议转换，重新用t c p i p 协议来表达f c 帧，它必须对f c 进行更多的处理，如读取f c 帧的头部，理解其地址，并用p 地址方式来表示。在 i f c p 中只有一种地址( i p 地址) ，在路由过程中，只采用一种方式( i p 寻址方式) 寻址。 1 2 5i s c s i 技术 i s c s l l 3 0 - 3 1 】是由i b m 、c i s c o 等多家公司共同提出，2 0 0 3 年2 月被i e t f ( i n t e m e t e n g i n e e r i n gt a s kf o r c e ，互联网工程任务组) 采纳的一个基于m 协议的技术标准。在 i s c s i 协议的第一个草案出台到今天，对于i s c s i 协议的研究主要分为两个方面：一 个是以1 e t f 为代表的协议机构和大学等研究机构；一个是以i b m ，c i s c o ，i n t e l 为代 表的计算机工业厂商。 6 华中科技大学硕士学位论文 i e t f 从2 0 0 0 年i s c s i 协议推出以来，就致力于协议的完善与扩充工作，从最初 的2 0 0 0 年7 月的推出的协议草案第一版到最新的2 0 0 3 年1 月推出的协议草案第2 0 版。i s c s i 协议在i e t f 的努力下，在错误恢复、安全管理、设备发现与命名等各方面 有着显著的发展与进步。与此同时，i e t f 还推出一系列i ps t o r a g e 协议：比如i n t e m e t s t o r a g en a m es e r v i c e ( i s n s ) ，是用于规范i s c s i 的名字服务的，同时规定了i s n s 服务器与客户端直接的自动发现、管理和配置；i s c s in a m i n ga n dd i s c o v e r y ，此协议 用于规范i s c s l 名字的结构，讨论i s c s i 资源的发现；基于i s c s i 协议的存储对象管 理，利用s l p ( s e r v i c el o c a t i o np r o t o c 0 1 ) 发现i s c s it a r g e t 和名字服务器等等。另外， 美国的u n i v e r s i t yo f n e w h a m s h i r e 大学的互操作实验室( i n t e r o p e m b i l i t yl a b ) 一直紧 跟着姬t f 的脚步，进行i s c s i 协议的研究。它们的研究主要集中在i s c s i 协议的实 现上。它们给出了在l i n u x 系统上的i s c s i 协议实现，并不停的追随新的协议草案的 出台进行更新。同时，它们的i s c s i 实现连同实验室的硬件条件成为了一个长期、异 构环境下的i s c s i 的测试平台，同时他们还提供一定的测试手段和测试工具。大多数 生产i s c s i 存储产品的计算机厂商，都会集中到u n h 的互操作实验室进行交互性实 验，对自己的i s c s i 产品进行测试。 另一方面，几个大计算机厂商早就开始i s c s i 产品的研制。c i s c os n5 4 2 0 存储路 由器1 0 版，就是实现i s c s i 的第一个产品，它遵循了截止2 0 0 0 年7 月1 0 号前的i s c s i 协议草案标准。i b m 推出了t o t a ls t o r a g e2 0 0 i ，也是第一批应用i s c s i 协议的存储设 备之一。m m 这款产品为中小型企业或部门提供的异构的廉价易用的解决方案。它包 括i s c s i 启动端作为存储系统的客户端的驱动，支持w 砌o w $ n t 、w m d o w s 2 0 0 0 、和 l i n u x 三个操作系统。英特尔公司推出了一款为i s c s i 存储应用优化的新型千兆以太 网适配器一一英特尔p r o 1 0 0 0 ti p 存储适配器。这款新的适配器的设计可以使大量 存储数据通过铜线以太网络传输，从而使网络存储更加方便并降低成本。 1 3 本课题的主要研究内容 针对当前网络存储技术i s c s i 的发展现状，首先从总体上对i s c s i 协议的体系结 构和特征进行了分析研究；进而在此基础上就i s c s i 协议的性能与成熟的f i b r e c h a n n e l 协议进行了更进一步的对比研究，分析i s c s i 协议特有的优点和不足之处； 研究i s c s i 的实现机制；通过对i s c s i 协议性能和特征的分析，研究缓存技术在改善 7 华中科技大学硕士学位论文 i s c s i 存储系统方面的作用并就其改善i s c s i 存储系统写性能的预期效果进行了理论 分析。最后对课题的研究进行总结并指出尚需进一步完善与探讨的工作。 本文首先深入分析了网络存储发展现状，阐述了i s c s i 协议的体系结构及特征， 分析了i s c s i 协议的性能优势与不足，讨论了i s c s i 协议的实现机制，在i s c s i 存储 系统中引入了一种缓冲策略以期改善i s c s i 存储系统的写性能。本文分为五章，结构 安排如下： 第二章探讨了i s c s i 基于请求响应机制的工作原理、i s c s i 协议的体系结构，分 析了i s c s i 存储系统的工作过程和数据路径，对i s c s i 协议的特征进行了分析研究， 阐述了i s c s i 的协议数据单元、会话管理、命令响应计数机制等特征。通过与成熟的 光纤通道协议比较，从i o 路径上数据传输的软件开销、流量控制机制、发现机制、 动念超时重发机制等几个方面对i s c s i 协议的性能进行了分析。 第三章阐述i s c s i 的实现方式，并对i s c s i 启动端和目标端驱动在l i n u x 操作系统 下的实现机制进行了研究，分析了i s c s i 与s c s i 子系统的接口。 第四章研究利用日志磁盘缓存技术改善i s c s i 存储系统的写性能，并结合i s c s i 存储系统的测试结果分析其预期效果。 第五章全文总结和后续工作。 议和i s c s i 协议结构模型，研究i s c s i 存储系统的工作过程和数据流向，i s c s i 的协 议数据单元构成、命令响应的计数机制等特性；并就影响性能的几个方面与成熟的光 纤通道协议进行了比较分析。 2 1 i s c s i 工作原理 2 1 1s c s i 协议模型 小型计算机系统接口技术( s c s i ) 3 2 , 3 3 】是一个用于同i 0 设备( 特别是存储设备) 进行通信的流行协议。s c s i 协议是一个基于请求响应( r e q u e s t r e s p o n s e ) 机制的协 议，在s c s i 协议中有两种类型的设备：s c s i 启动端( s c s ii n i t i a t o r ，客户端) 负责 发起连接，目标端( s c s i t a r g e t ，服务器端) 负责响应。启动端发出需要执行的命令， 目标端执行命令。目标端中执行命令的终端结点被称为逻辑单元( l o g i c a lu n i t ，l u ) ， 而一个目标端就是多个相同类型的且可直接寻址的逻辑单元的集合，每个逻辑单元都 有一个号，称作逻辑单元号( l o g i c a lu n i t n u m b e r ，l u n ) 。从启动端到目标端的命令 是以命令描述块( c o m m a n d d e s c r i p t o r b l o c k , c d b ) 给出的。s c s i 命令的执行可能会 产生相应的数据信息( d a t a ) 和状态信息( s t a t u s ) 。在数据传输中，数据可能会从启 动端流向目标端，例如一个写命令；也可能从目标端流向启动端，例如一个读命令。 在状态( s t a t u s ) 信息传输中，目标端返回最后的操作状态，该状态响应即作为对启 动端命令的确认或者用于通知启动端命令执行的阶段【3 4 】。 s c s i 驱动器的基本功能就是根据应用程序发出的申请构造s c s ic d b ，并将这些 c d b 传输到目标端去。在本机系统中，s c s i 驱动器将这些s c s ic d b 通过s c s i 总线 送到本机的s c s i 设备。传统的s c s i 协议有以下缺陷【3 5 】：( 1 ) s c s i 是点对点的直接 相连的计算机到存储器的设备接口，不适用于主机到存储器的存储网络通讯；( 2 ) s c s i 总线的长度被限制在2 5 米以内，对于u l t r as c s i 长度限制为1 2 米，不适合构造各种 网络拓扑结构；( 3 ) s c s i 总线上设备限制为1 6 ，不适用于多服务器对多存储设备的 网络结构。通过i s c s i 协议，s c s i 驱动器能够通过t c p i p 网络将c d b 送到网络的另 9 端与目标端，通过t c p 连接传送控制信息、s c s i 命令、参数和数据。i s c s i 的核心任 务就是在t c p i p 网络上封装命令描述块( c d b ) 形成i s c s i 协议数据单元( p r o t o c a l d a t au n i t ，p d u ) ，并且在启动端和目标端之间可靠地传输命令描述块( c d b ) 和相 应的数据。i s c s i 协议在层次模型结构( 图2 1 ) 中介于s c s i 层和t c p 层之间【3 6 】。 i p 网络 图2 1 协议层次模型结构 s c s i 层的工作为：建立s c s i 命令描述块( c d b ) 、命令执行参数和数据，并将 其传送至i s c s i 层；接收来自i s c s i 层的s c s i 命令描述块( c d b ) 、命令执行参数和 数据。 i s c s i 层的工作为：接收来自s c s i 层的s c s i 命令描述块( c d b ) 、命令执行参 数和数据等，进行协议封装形成i s c s i 协议数据单元( p d u ) 并将其传送给i s c s i 启 动端和目标端之间的会话( s e s s i o n ) ：接收来自会话的i s c s i 协议数据单元，对其进行 解封装操作并将其传送至上层s c s i 层。 t c p 层的工作为：接收来自i s c s i 层的i s c s i 协议数据单元，并对其进行封装后 递交给口层；接收来自p 层的数据包，对其进行解封装操作，还原成i s c s i 协议数 据单元并将其向上递交给i s c s i 层。 i p 层的工作为：接收来自t c p 层的t c p 包，并对其进行协议封装后递交给链路 层；接收来自链路层的数据包，对其进行解封装操作，还原成t c p 包并将其向上递交 给t c p 层。 l o 华中科技大学硕士学位论文 2 1 3 会话( s e s s i o n ) 在s c s i 协议中，启动端与目标端之间的联系称之为i - t - n e x u s ，i - t - 联结，它表 明某个启动端与某个目标端建立了一种联系，即此启动端发出的s c s i 命令，此目标 端会接收、执行并做出反馈。i s c s i 启动端( i n i t i a t o r ) 和目标端( t a r g e t ) 之间的通讯 是通过会话来完成的，一个会话由一个或多个t c p 连接构成，t c p 连接可以动态地 加入会话或从会话中删除。会话由会话d 标识，会话中的t c p 连接有t c p 连接m 标识。一个会话的多个t c p 连接可以建立在相同的物理介质上，也可以建立在几个不 同的物理介质上。 i s c s i 存储网络上的启动端和目标端建立“从属关系”之前，要先进行一定的交 互，对双方身份进行鉴别、对以后的数据交流进行一定的规范等等。这个阶段称为 i s c s i 登录阶段( l o g i np h a s e ) 。i s c s i 会话建立以后，启动端和目标端双方开始正常 数据传输。这个阶段称为i s c s i 全工阶段( f u l lf e a t u r ep h a s e ) 。数据传输完毕，终止 会话，称为l o g o u t 阶段。 i s c s i 登录的目的主要是在启动端与目标端之间建立i s c s i 会话，对双方的身份 进行鉴别，对以后的数据传输进行一系列的参数协商，包括一次传输的最大长度、 使用的安全协议、是否使用c r c 校验等等。若它们之间已经有i s c s i 会话，则可以 将这个t c p 连接加入某一个会话里，也可以新建一个会话将其加入新建的会话内； 若它们之间还没有i s c s i 会话，那么就要新建一个会话并将其加入到这个新建的会 话罩。 登录的过程通过i s c s il o g i n 请求p d u 和l o g i n 响应p d u 实现。启动端和目标 端双方约定二个t c p 服务端口，启动端向目标端主机的这个端口发起t c p 连接，目 标端应接收这个连接。启动端向目标端发出一个l o g i n 请求p d u 请求登录，然后启 动端和目标端双方进行参数协商。如果协商成功，目标端返回一个接受登录的l o g i n 响应p d u ，会话转移到全工阶段( f u l lf e a t u r ep h a s e ) 。若协商不成功，目标端返回一 个拒绝登录的l o g i n 响应并中止连接。 经过登录阶段成功建立连接之后，i s c s i 会话进入全工阶段。在全工阶段，启动 端可以通过该会话将s c s i 命令描述块( c d b ) 封装成为i s c s i 协议数据单元( p d u ) ， 传输到目标端的任何一个逻辑单元执行。 单元，并将它解包成s c s i 命令，将s c s i 命令递交给s c s i 设备驱动程序，最后，s c s i 设备将处理这个i o 请求。从i s c s i 启动端到目标端的i o 请求的数据路径如图2 2 中的实 线所示。从i s c s i 目标端返回到启动端的数据沿着相反的路线进行传输。如图2 2 中的 虚线所示。 图2 2i s c s i 启动端与目标端之间的数据路径 2 1 5i s c s i 协议数据单元 i s c s i 协议将它的数据包定义为i s c s i 协议数据单元( p d u ) ，i s c s i 协议数据单 元由一个固定长度的头部和数据组成。所有i s c s i 协议数据单元都是以一个或多个头 部段丌始的，后边跟着零个或一个数据段。头部段后边可能会跟着一个头摘要( h e a d d i g e s t ) ，数据段后边也可能会跟着一个数据摘要( d a t ad i g e s t ) 。第一个段是一个固 1 2 华中科技大学硕士学位论文 定长度为4 8 字节的基本头段( b a s i ch e a d e rs e g m e n t ，b h s ) 。其后是可选项，包括一 个或多个附加的头段( a d d i t i o n a lh e a d e rs e g m e n t ，a h s ) 、头摘要、数据段和数据摘 要。若p d u 中只有一个b h s 段时，整个i s c s ip d u 的长度是4 8 字节。i s c s ib h s 结构模板如表2 1 所示。 表2 1i s c s i b h s 的结构 ：0 ： l ： 2 ： 3 ： li l i 2 i 3 i o ：ii l 操作码 i f l操作码指定区域： - 一一一一一一一一一一一一 - 一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一0 4 ；附加头段长度：数据段长 ； - 一一一一一一l 一一一一一一一一一一一一一一一一一- 8 ii j j n 或操作码指定区域 1 2 ： 1 6 ； i n i t i a t o rt a s kt a g ： 0 一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一j i l 2 0 ji ： 操作码指定区域 ： 由于i s c s i 运行在t c p i p 层之上，i s c s i 协议数据单元是一个层次结构如图 2 3 所示。 图2 3i s c s i 协议数据单元的层次结构 i s c s i 将s c s i 命令、数据和状态信息打包入p d u 中，通过t c p 连接发送， i s c s i 协议数据单元可以在一个或多个t c p 包中发送。根据i s c s i 协议数据单元 操作码( o p e o d e ) 的不同，可以将其分为两大类：启动端操作码和目标端( 或者 响应端) 操作码。还可以根据这些p d u 的用途不同分类，一些p d u 是用于传送 s c s i 命令、数据和状态信息的，而其它的则是用于i s c s i 控制的。从启动端发出 的i s c s i 协议数据单元的操作码如表2 2 所示；从目标端发出的i s c s i 协议数据单 元的操作码如表2 3 所示。