（计算机系统结构专业论文）跨平台、多用户iscsi存储系统及性能改进.pdf

华中科技大学硕士学位论文 摘要 存储区域网( s a n ) 是存储领域的一项重要技术，由存储服务器，存储设备和网 络组成。大多数s a n 采用s c s i 协议作为不同存储设备的公共协议。运用i p 和以太 网技术，可以构建可扩展，易管理的i ps a n 。i s c s i 协议是i ps a n 中实现存储设备 访问的重要协议标准，它将s c s i 协议、t c p f l p 协议有效融合在一起，在t c p i p 网 络上传输s c s i 数据，访问i p 网络中的s c s i i o 设备。i s c s i 的协议数据单元i s c s i p d u 包括头部和数据，被封装在t c p 包中。i s c s i 协议的层次位于t c p i p 之上。 这里所实现的跨平台的i s c s i 系统可包括多种操作系统平台的服务器和存储设 备，服务器以动态可扩展方式访问异地存储资源。通过对i s c s i 协议和i s c s i 异构系 统结构进行分析，针对w i n d o w s 2 0 0 0 和l i n u x 操作系统的服务器以及l i n u x 平台下的 存储设备，分别用不同的服务例程实现i s c s i 启动器功能和i s c s i 目标器功能，并通 过基于主机的虚拟存储方法l u nm a s k i n g ，将用户请求映射到相应的逻辑单元， 实现存储单元的动态可扩展。i s c s i 的服务器端通过图形界面的w e b 控制管理台管理 存储资源。 对不同条件下i s c s i 实验测试。配置百兆以太网和千兆以太网的交换机和网卡， 从测试结果可以得出结论，网络带宽影响系统的性能。千兆以太网中i s c s i 的最高速 度可达3 0 m b s 以上。多线程能够有效的利用空余资源，因此多线程的i s c s i 可以获 得更好的性能。操作系统平台的选择也会影响性能，运行在l i n u x 中的i s c s i 与 w i n d o w s 2 0 0 0 相比有更高的数传率。 最后尝试通过r a mc a c h e 技术、双c a c h e 缓存等改进技术提高i s c s i 的性能。 实验数据表明，写操作的时间可以减少3 0 以上。 关键词：存储区域网，互联网小型计算机接口，小型计算机接口，内存缓存 华中科技大学硕士学位论文 a b s t r a c t a s t o r a g e a r e an e t w o r k ( s a n ) i s a i m p o r t a n tt e c h n o l o g y i n s t o r a g e f i e l dt h a t c o m p r i s e ss t o r a g es e r v e r s ( i n i t i a t o r s ) ，s t o r a g ed e v i c e s ( t a r g e t s ) a n dan e t w o r k m o s ts a n s u s et h es c s ip r o t o c o lo v e rv a r i o u ss t o r a g ed e v i c e s t h ei pa n de t h e m e tt e c h n o l o g i e s p u s h e st h ei ps a n e v o l u t i o nt o w a r dat r u l ys c a l a b l e ，m a n a g e a b l es t o r a g es y s t e m t h e i s c s lp r o t o c o li sa l li m p o r t a n tp r o t o c o lt oa c c e s s ss t o r a g ed e v i c ei n ps a n nu s e ss c s i p r o t o c o la n dt c p i pp r o t o c o lt h a te n a b l eat r a n s p o r tf o rs c s io v e rt c w i p a n da c c e s s i n g s c s ii od e v i c e so v e ra ni pn e t w o r k i s c s id e f m e si t so w n p a c k e t st h a ta r er e f e r r e dt oa s i s c s ip r o t o c o lu n i t s ( p d u s ) i s c s ip d u sc o n s i s to fah e a d e ra n dp o s s i b l ed a t a i s c s i p d ui ss e n ta st h ec o n t e n to fo n eo rm o r et c p p a c k e t sb e c a u s ei s c s ir u n so r lt h et o po f t c p i p s e v e r sa n dd e v i c e si ni s c s is y s t e mc a nb ed e s i g n e dt or u ni nd i f f e r e n to s p l a t f o r m s s e r v e r sw o r ki nad y n a m i c w a y t oe x t e n d s t o r a g er e s o u r c e b y t h ea n a l y s i n gi s c s i p r o t o c o l a n di s c s is y s t e m ，d i f f e r e n ts e r v e rr o u t i n e sa r ed e v e l o p e dt os u p p o r ti s c s is e r v e r sa n d d e v i c e su n d e rd i f f e r e n to s p l a t f o r m s 1 1 l ed e v i c et h a tu s e rr e q u e s t i st r a n s l a t e dt ol o g i cu n i t b yl u nm a s k i n gb a s e do nh o s tv i r t u a l i z et e c h n o l o g y b yt h i sm e a n s ，s t o r a g ed e v i c e sa r e d y n a m i c a l l ye x t e n d e d 1 1 1 e e x p e r i m e n t sa r e b a s e do nd i f f e r e n tc o n d i t i o n s w ec o n f i g u r e dt h es w i t c ha n d n e t w o r kc a r d sa sl o o m b i tn e t w o r ka n dg i g a b i tn e t w o r k a c c o r d i n gt ot h er e s u l to fi s c s i p e r f o r m a n c et e s t i ti sc o n c l u d e d t h a tn e t w o r kb a n d w i d t hh a sa i m p a c to np e r f o r m a n c e d a t a i ti sa l s os h o w nt h a tm u l t i t h r e a ds y s t e mw o r k sb e u e rt h a ns i n g l et h r e a ds y s t e mb e c a u s e m u m - t h r e a dc a nu s es p a r er e s o u r c e d i f f e r e n to s sm a k ed i f f e r e n tr e s u l t s i s c s im nf a s t e r u n d e rl i n u xt h a nu n d e rw i n d o w s 2 0 0 0 a tl a s t ，w e i m p l e m e n tr a mc a c h e 、d o u b l ec a c h et e c h n o l o g y t o i m p r o v et h e p e r f o r m a n c eo f i s c s i a c c o r d i n g t oe x p e r i m e n t sd a t a , w r i t et i m ec f l l lb er e d u c e do v e r3 0 k e yw o r d s ：s a n ，i s c s i ，s c s i ，r a m c a c h e l i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：弓乏疲 日期： ? w v 年妒月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名：理旋 日期：j 州妒年中月“曰 华中科技大学硕士学位论文 1 1 网络存储介绍 1 绪论 经历过电脑运算能力和网络连通能力两次快速发展，目前人们对网络的需求 不再满足于连通能力，而是更为强大的信息管理能力。随着越来越多的关键信息 转化为数字形式并存储在可管理的介质中，网络对于存储和管理信息的能力产生 了新的需求。可以这样说：网络是否具有高的效率，取决于其数据存储和管理的 能力。在网络存储决定网络架构的今天，i t 行业已经从p c 、网络步入了以存储 为核心的时代。 从全球的环境看，存储市场已经走过市场导入阶段，处于高速成长期。尤其是 美国据1 d g 润查，2 0 0 1 年用户在服务器和存储产品上的花费己接近1 ：l ，到2 0 0 3 年，这一比例扩大至1 ：3 。世界存储市场的总值将超过4 6 0 亿美元。目前国际上 企业级用户购买存储的费用已占到了企业i t 系统的4 0 ，而用于购买软件、服务 器的费用仅占1 2 ，购买应用软件与网络的费用为2 0 。可见网络存储的市场将有 多么巨大。 现代网络存储系统需要满足高可靠性、高可用性、高性能( i o 率和数传率) 、动 态可扩展性、易维护性和开放性等众多方面的需求【”，存储区域网络( s a n ) 这一新兴 技术因为其科学合理的结构和特点，成为理想的存储管理和应用模式。 1 , 2 网络存储的关键技术 s a n 是以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速 率的光纤通道n 路通道的直接连接方式，提供网络内部任意节点之间的多路可选 择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。在多种通道 传输协议逐渐走向标准化并且跨平台群集文件系统投入使用后，s a n 最终将实现 在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充( 如 图1 1 1 。 华中科技大学硕士学位论文 k 图1 1s a n 的结构 比较以往的网络存储结构，存储区域网络具有以下几方面的优势。 1 ) 性能：未来的存储系统有3 “t ”( i n f i n i t ec a p a c i t y , i n f i n i t eb a n d w i d t h ，i n f i n i t e p r o c e s s i n gp o w e r ) t 2 1 ，s a n 避免了瓶颈的出现，能大大提高存取带宽。 2 ) 可访问性：任何被授权的数据均能访问，可以通过多种路由重新定位存储位 置。 3 ) 可靠性：可作远程镜像增加灾难防御能力及重建速度。透过s a n 备份，降低 经过l a n 备份的t r a m c 负载。 4 ) 扩容能力：由于在s a n 上，存储器在物理上是与系统分开的，所以，增加存 储器就像是给网络增加一个节点。无须改造网络实现平缓升级。 5 ) 管理性：s a n 存储所带的虚拟化软件可以从一个管理控制台对附带在该s a n 上的所有系统的存储器进行配置、扩充和备份，能有效的管理存储的开销。 构建s a n 有3 个要素：网络连接技术、管理软件和存储系统。 1 ) 网络连接技术 网络互连结构中的部件包括主机总线适配器、互连线缆光缆、网桥、集线 器以及交换机等。各部件遵循连接协议进行通信。表1 1 指出各种连接技术的不 同。 华中科技大学硕士学位论文 表1 1 三种连接技术的比较 类碰 光纤通道i p 存储i n f i n i b a n d 人型企业大型应用， 分布式w e b i s p ； 廊川范用 集群s a n 应用 高端s a n 中等规模s a n 支持存储和土机通信 絮构专用存储网络以太网i p 网络 的网络 2 g h i t s s l g b i t s s 性能( 峰值)2 5 g b i t s s ( 全双工)( 全双工) ( 1 ) 光纤通道( f c ) 是构建s a n 的一种连接技术。服务器和存储子系统通过高 速集线器或交换机进行互连。光纤通道提供了许多优秀的性能，允许块级s c s i 数据 命令传输，克服了并行s c s 技术在传输速度和传输距离上的限制 引。 光纤通道有两种拓扑结构支持s a n l 4j 【纠：仲裁环形连接( f c a l ) 和交换拓扑式 结构。在f c a l 结构中，数据经过各个节点进行传输，所有的节点都共享同一带宽。 它允许用户在一个f c a l 环路上配置1 2 6 个主机或存储设备，它使用光纤通道命令 的超集来处理协商访问环并为环上的各节点指定序号。在许多情况下，f c a l 结构已 能满足需要，它最大的优势在于安装和维护的费用经济。但f c a l 结构也有一些缺 点。环路上的设备共享带宽，每一具体时刻只能有一个连接进行通讯，如果某个节点 或设备出错，整个环路就会中断。 在交换拓扑结构中，存储节点之间采用光纤通道交换机进行连接，形成交换式 s a n 。与f c a l 不同的是，节点间可以一对一的通信，带宽不再被分享，每个连接 都有专用的带宽。因此更能适合企业级海量数据传输的要求。但构建交换拓扑结构要 花费很多的钱，而且在关键业务中不一定比用集线器更具有优势，因为它需要管理软 件的支持和维护，此外还存在和其他设备的互操作等问题。 在建设低延迟的s a n 过程中，光纤通道技术显示出在超高性能表现、可扩充性、 可管理性以及灵活性等方面的强大优势。它允许用户在不重新配置服务器的情况下增 加存储容量，在网管方面它能在整个网络结构中被当成一个元素进行整体管理，还能 提供快速故障定位和排除。光纤通道使用较大的数据块传输，能在硬件级别保障正确 的传输。现有的光纤通道技术支持2 g b p s 的数据传输率，这个速率估计两年后能再翻 一番。 ( 2 ) 随着1 g b p s 以太网技术的发展，s a n 由f c - - s a n 一统天下的局面被打破， 以太网和t c p p 技术开始被用于s a n 中，形成i p 存储技术这一分支【6 。i p 存储协议 华中科技大学硕士学位论文 可以将块级请求进行压缩，通过t c p i p 网络传输，块级请求可以在i p 网络中直接被 s a n 接受。i p 存储使得服务器可以通过i p 网络连接s c s i 设备口j ，并且像使用本地 的设备一样，无需关心设备的地址或位置。而网络连接则是以i p 和以太网为骨干， 是以廉价而成熟的i p 和以太网技术，替代了光纤通道技术。存储市场要求能对存储 设备进行方便，高效的管理。i p 存储能够统一存储空间，得到一个整体的空间视图。 n a s 和s a n 通过i p 交换机互联，可以同时访问不同级别的数据。 i p 网络存储改变了专用存储网络的结构。目前主要采用的i s c s i ( 互联网小型计 算机接口) ，是由i b m 和c i s c o 公司共同提出，因特网工程工作小组( i e t f ) 制定的 可以在i p 协议上层运行的s c s i 指令集标准峭j 。经过不断地更新，2 0 0 3 年2 月初，1 e t f 终于通过了i s c s i 标准。它的主要思想是使用i p 包封装s c s i 包，因此可以取代f c 的作用。i s c s i 是为主机到存储设备的端到端连接而设计的，类似于光纤通道的s a n 架构，i s c s i 技术可使主机到兼容的存储设备之间通过i p 交换机进行通讯。而驱动器 仍可使用真正的s c s i 驱动器，因为i s c s i 并不等同于今天的硬盘连接技术。可以说， i s c s i 是i p 存储中最重要的技术。 ( 3 ) i n f i n i b a n d 是一种宽带i o 结构f 9 1 ，支持多并发链接的“转换线缆”技术，这 种架构在一个链接的时候速度是2 5 g b 秒，四个链按的时候速度是1 0 g b 秒，用i n t e i 架构的处理器的输入输出性能会受到p c i 或者p c i - x 总线的限制。总线的吞吐能力 是由总线时钟( 比如3 3 3 m h z ，6 6 6 m h z 以及1 3 3 ，3 m h z ) 和总线的宽度( 比如3 2 位或者6 4 位) 决定的。在最通常的配置中，p c i 总线速度被限制在5 0 0m b 秒，而 p c i x 总线速度被限制在1g b 秒。这种速度上的限制制约了服务器和存储设备、网 络节点以及其他服务器通讯的能力。i n f i n i b a n d 直接集成到系统板内，并且直接和c p u 以及内存子系统互动，肩负着改善服务器端输入输出性能的使命。i n f i n i b a n d 非常适 合在服务器和存储系统之间建立高速的连接；以及把计算机连接成计算机集群，从而 进行工作分布，这样即使单个的机器失败了，整个工作还是在进行。 2 ) 管理软件 s a n 的管理软件是一个相当复杂的成分 1 0 l 【1 1 】【1 2 i 。根据不同的需求，相应提供不 同的软件来完成指定的功能。管理一个大型的s a n 需要结合网络管理和存储管理的 知识。s a n 通过s n m p 和c i m ( 通用信息模型) 协议来进行管理。存储资源包括存 储硬件如磁盘子系统、磁带以及光介质系统等。存储资源管理软件从物理和逻辑层次 上管理资源，它包括容量和配茕管理、数据、设备和介质的迁徙管理以及事件报警和 策略管理。数据备份和恢复数据是存储管理的基础。良好的备份策略应在恢复速度和 4 华中科技大学硕士学位论文 冗余空问之间取得平衡。由于在s a n 中所有的存储资源都可以被存取，所以需要有 授权机制来保证各个存储服务器中的数据不被非法改写。使用端口分区的方法，把交 换机分成许多逻辑上的区域，从而实现安全的功能。在s a n 中，数据可以数据块或逻 辑文件的方式进行存取。s a n 的一个难题就是因为在整个网络中各个服务器的操作系 统和文件格式各异，所以要开发有效的文件管理软件。 3 ) 存储系统 存储系统包括s a n 所能访问的所有存储资源，如磁盘、s c s i i d e 阵列设备、光 盘塔、磁带系统。这些设备既可通过主机总线适配器与主机相连，也可通过一个存储 子系统控制器管理，此时屏蔽了子系统内部数据设备通信的复杂性。 1 3i p 存储技术介绍 目前学术界和存储厂商的普遍观点是，i p 存储的未来始终取决于当莳主流的 s a n 、d a s 产品的无缝连接、升级的技术。通过伊进行存储从理论上说可以达到无 限的距离。相比之下，目前所普遍使用的光纤通道，最大使用距离不能超过1 0 0 公里。 目前，支持f c i p 的厂商包括：c n t 、e m c 、g a d z o o x 和c i s c o 公司，其解决方 案已推出约两年。支持i f c p 、m f c p 、i s n s 的厂商有n i s h a n 等。支持i s c s i 的厂商 包括i b m 、c i s c o 、h p 、i n t e l 、s u n 、a d a p t e c 等众多厂商。其中，c i s c o 公司收购了 n u s p e e di n t e r n e ts y s t e m 公司。后者在i s c s i 产品的研究上很有建树。c i s c o 收购 n u s p e e d 后推出的第一款网络存储产品是s n5 4 2 0 存储路由器，这是c i s c o 公司i p 存 储方案的核心。该方案的拓扑结构如图1 2 所示。 圈1 2c i s e o i p 存储方案 但是，基于i p 的s a n 要想实现其潜质，还必须克服一些技术问题。特别是在光 5 华中科技大学硕士学位论文 纤通道网络中，从服务器向存储装置传送的是“块数据”，而i p 网络则传送的是“包 数据”【l3 1 ，因此数据在传送前被分解成小数据段，然后在传输的另一端重新组合起 来。问题是如何通过i p 网络有序地发送块数据，并在另一端以j 下确次序重新组合。 t c p 完成这一任务的典型操作是使用重调顺序缓冲器【】，将数据包的顺序完全整理为 正确方式，完成这一操作后，t c p 层将数据发送到上一层( i s c s 0 。 1 4 课题的内容和意义 本课题从属于国家重点基础研究发展规划项目( 9 7 3 ) “快速并行数据存储处理研 究”( g 1 9 9 9 0 3 3 0 0 6 ) 。根据项目的要求，需要完成i s c s i 存储技术与存储系统的研究 工作，掌握i s c s i 核心技术，并成功研制出高性能的i s c s i 存储设备，构建完整的i s c s i 存储系统，为包括i s c s l 技术在内的新型存储互联技术在全息存储系统的应用奠定良 好的基础，i s c s i 技术可直接应用在全息存储系统中，将作为9 7 3 “快速并行数据存 储处理研究”( g 1 9 9 9 0 3 3 0 0 6 ) 的阶段性成果。 本课题是根据国际上先进的存储通信标准i s c s i 协议( 已于2 0 0 3 年2 月1 2 日颁 布，此前根据其草案进行研究) ，开发实现跨平台、动态可扩展的i s c s 系统，并在 保证高可靠和高性能的前提下，研制基于此项技术的、可应用在千兆网环境中的i s c s i 存储设备，难度很大，为此，拟定了若干关键技术研究项目： 1 ) s c s i 协议分析。 2 ) 基于i s c s i 协议和技术的s a n 体系结构分析。 3 ) i s c s i 在基于异构操作系统中实现技术的研究开发。 4 ) 动态可扩展i s c s i 技术在i p 网络环境中实现技术的研究开发。 5 ) 新型i s c s i 存储设备的研究，高可靠、高性能、低成本i s c s i 存储设备的开发。 6 ) 性能的优化和跨平台。 6 华中科技大学硕士学位论文 2 i s c s i 存储技术 i s c s i 是i p 存储中的一项重要技术。本章介首先介绍如何使用i s c s i 构造s a n ， 2 2 节和2 3 节讲述s c s i 接口标准和相关的术语，s c s i 事务处理等内容。2 4 节主要 围绕i s c s i 协议标准和会话管理展开。最后介绍i p s e c 安全协议。 2 1 用i s c s i 连接s a n 近几年来，s a n 的发展非常迅速，一部分原因是它解决日益增加的大容量存储的 管理。当存储设备通过高速线缆直接连接到主机时，主机的存储请求能被存储设备很 好的服务。如果多个主机构成一个网络时，每个主机有附属的存储设备，所有的存储 资源的管理就变得很复杂。s a n 应运而生，它能提供多方面的存储管理优势。包括： 共享存储池，可扩展，平衡物理设备的负载，永不停机，可共享备份设备，计算机资 源与存储资源的分离。 构建s a n 需要多种技术的支持。s c s i 和以太网是两种成熟的技术。它们融合的 产物 s c s i 是构建s a n 的一种新兴技术。2 0 0 3 年，i e t f 公布了i s c s 标准，最 终明确了i s c s i 的应用前景。i s c s i 使用t c p i p 协议在以太网上传输块存储的s c s i 命令。 过去，以太网的速度远落后于直接附加存储。随着1 g 和1 0 g 以太网的出现，以 太网的速度已经足以满足存储应用。l a n s 、m a n s 和w a n s 的网络结构开始用于s a n i s c s i 启动器通过以太网线连接发出i o 请求的主机。i s c s i 目标器直接连接存储 设备。启动器封装s c s i 命令和数据，使之能够被t c p i p 协议处理。网络远端的目标 器解析收到的数据和命令。 实现i s c s i 的软件可以看作位于t c p i p 层上的协议层。这层协议既可以运行于 主机上，也可以运行在主板的协处理器上。使用芯片实现也是一个途径。不同的实现 方法决定s a n 连接的不同性价比。 目荫实现i s c s i 主要有以下三种方式： 1 ) 纯软件方式；采用通用的以太网卡，i s c s i 和t c p i p 协议栈功能层都由主机 c p u 完成。由于采用的是标准的网卡，因此这种方式的硬件成本最低，但由于i s c s i 华中科技大学硕士学位论文 和t c p 1 p 层功能都由主机c p u 完成，通过该网卡的即有网络通信量又有存储通信量， 随着这种通信量的增加，主机的运行开销就会大大增加，从而造成主机系统性能的下 降，严重时还可能使主机成为系统的瓶颈。 2 ) 智能i s c s i 网卡实现方式【l5 j ：采用特定的智能网卡，i s c s i 层的功能由主机来 完成，而t c p i p 协议栈功能由网卡来完成。和方式1 相比，部分降低了主机的运行 丌销。 3 ) i s c s ih b a 卡实现方式：采用主机总线适配器的方式，i s c s i 层和t c p i p 协 议栈功能均由该主机总线适配器来完成。对主机的c p u 的需求最少，相对主机而言， 就是一个标准的s c s ih b a ，可以在各种操作系统平台上应用。 i s c s i 是i p 存储的基本通信协议，使用i s c s i 构建i ps a n 具有以下几个显著的 优点： 1 ) i s c s i 基于t c p r p 协议，可以运行在传统的以太网和因特网上。众所周知， 以太网几乎无处不在，i s c s l 能很好地利用已有的网络硬件和软件基础。 2 ) i p 网络的带宽发展相当迅速，目前，千兆以太网已经逐步普及。在局域网的 范围内，带宽已不再成为网络存储的瓶颈。如果带宽达到1 0 g b ，i s c s i 就可成为构建 远程异地容灾系统的存储协议。 3 ) s c s i 大大降低了构建网络存储系统的成本。i s c s i 的实现使通过i p 网络访问 存储设备成为了可能。企业可以利用已有的以t c p i p 协议为基础建立网络环境。i p 交换机取代s a n 系统中造价昂贵的f c 交换机。 4 ) 利用i p s e c 提供网络安全机制，来保证数据被完整，保密地传输给接收方。 2 2 i s c s i 协议介绍 2 2 1s c s i 概况 s c s i 是一种连结主机和外围设备的接1 ：3 1 6 1 ，支持包括磁盘驱动器、磁带机、光 驱、扫描仪在内的多种设备。它由s c s i 控制器进行数据操作，s c s i 控制器相当于一 块小型c p u ，能对主机发给s c s i 磁盘的命令迸行缓冲、排队，并进行优化处理f 命令 队列) 。常用的s c s i 标准是s c s i 一2 和s c s i 3 。s c s i - 3 还包括f i b r ec h a n n e ls c s i 、 i e e e1 3 9 4 ( f i r e w i r e ，火线) 标准。这些标准只涉及s c s i 3 的体系结构中的互联结构 和传输层次，核心命令集还是不变的。较新推出的u l t r a 3 在性能上可达到1 6 0 m b s ， 华中科技大学硕士学位论文 = = = = = = = = = = = = = ；= = = ；= ；= = = = = = = = = = = = = = = = = = = 一 并与以前的s c s i 版本兼容。表2 1 列出各种s c s i 接口的性能参数。 一台计算机可以有多个主机适配器，每个适配器连接的s c s i 总线是一个独立的 s c s i 域。s c s i 一2 总线最多可以负载8 个s c s i 设备。每个s c s i 设备都有唯一的 个i d ，l d 越高，优先权越高。总线是独占的，只能支持一对设备进行通信。当设备 的连接建立后，优先权就不起作用了。 表2 1s c s i 接口的性能参数 b u s w i d t hs c s ib u ss y n c f r e q u e n c y最大总线速度 s c s l - 18 k t s a s y n c h r o n o u s 5m b ，s ( f a s t ) s c s i - 2 8b i t s1 0 m h z1 0 m b s ( f a s t ) w i d es c s i - 2 1 6b i t s1 0 m h z2 0 m b s u l t r as c s l 28b i t s2 0 m h z2 0 m b ，s u i t r aw i d es c s i 21 6b i t s2 0 m h z4 0 m b s u l t r a 2w i d es c s i ( l v d )1 6b i t s4 0 m h z8 0 m b s u l t r a 3w i d es c s i1 6b i 协8 0 m h z1 6 0 m b ，s 域 ；c s i 设备 设备管理器 f任务集( 队列) 图2 1s c s l 对象层次 s c s i 设备或作为启动器或作为目标器。一个目标器本身可有若干个逻辑单元 华中科技大学硕士学位论文 逻辑单元可以是物理设备也可以是虚拟设备。目标器的每个逻辑单元可以同时接受任 何一个主设备的多达2 5 6 个i 0 进程。目标器将这些进程按一定的优先级顺序排队 管理。每个主设备发给每个逻辑单元的i 0 进程与之相关的排队标号。排队标号既 可以看作是与i o 进程相联系的标志，也可以是与物理设备相联系的子单元。排队 标号在s c s i 传输信号中指定。不同的排队标号表示i o 操作对象为不同的逻辑子单 元，如把硬盘当作逻辑单元，则硬盘的分区是子单元。 2 2 2s c s i 事务处理 s c s i 事务处理是按照定义好的步骤有序执行的。当s c s i 总线上空闲时，作为启 动器的s c s i 设备可以通过一个仲裁过程要求总线控制权口7 1 。优先权高的设备获得总 线的控制权，然后选择一个目标器进行事务处理。当目标器返回确认后，在目标器和 启动器之间就建立了一个连接。 消息阶段几乎存在于s c s i 事务处理的任何时候。协议使用消息来报告错误、命 令状念和控制信息等。在消息输出阶段，目标器和启动器之间传递信息，为接下来的 事务处理协商参数和程序规则。协商参数有断开连接的优先权、数据传输宽度和同步 传输时序。 在消息输出阶段结束后，目标器进入命令阶段。启动器发送一个命令描述块 ( c d b ) 给目标器。如果命令的执行花费时间较多，在断开连接的优先权己设定的情 况下，目标器断开连接，释放启动器用于其他操作。在以后的某个时刻，目标器重新 选择启动器来恢复连接。如果接收到的命令有错。目标器将切换到消息阶段来报告错 误。如果命令要求数据传输，目标器就切换到数据输出或数据输入阶段。如果没有数 据传输，目标器就切换到状态阶段。状态码只有一个字节，表示命令执行的成功或失 败以及扩展信息是否可以利用。 一个正常的事务处理的最后阶段是消息输入阶段。目标器发送一条c o m m a n d c o m p l e t e 消息来表示命令处理已经结束，个状态字节指示结果。目标器释放数据总 线，回到总线空闲状态。 2 2 3s c s i 命令和状态 1 ) s c s i 命令 s c s i 的命令和参数用c d b 结构说明。不同的命令组有不同的长度。0 号组c d b 华中科技大学硕士学位论文 是6 字节长；l 号，2 号组c d b 是1 2 字节长：5 号组c d b 是1 2 字节长。表2 2 描述 一个6 字节c d b 。 表2 26 字节命令描述块 f o组号命令代码 【 ( l u n ) ( m s b ) 2 l o g i c a lb l o c k 3 ( l s b ) 4数据长度 5厂商自定保留位标志位连接位 c d b 的第二个字节的高三位表示逻辑单元号。逻辑块号占2 1 位，可代表l g 字节 的存储空间。1 0 字节c d b 逻辑块号有3 2 位，可以对2 t b 的地址空间寻址。数掘长 度字节指示传输长度。1 0 字节c d b 的数据长度字段有两字节。最后一个字节是控制 字段。连接位指出该c d b 是否是一系列连接的命令的一部分。标志位决定一个连接 的命令被成功执行后目标器返回的状态码。 表2 3 常用的s c s i 命令 操作码名称描述 t e s t u n i t 0 0 h反映l u n 是否准备好接受一条命令 r e a d y 0 3 h r e q u e s t s e n s e返回错误信息的细节 0 4 hf o r m a tu n i t格式化介质 1 2 h i n q u e r y 返回l u n 的特定信息 2 5 hr e a dc a p a c i t y读逻辑块的号 2 8 h r e a d 0 0 ) 读逻辑块 2 a h w r i t e ( 1 0 )写逻辑块 1 a hm o d es e n s e ( 6 )读设备的特定参数 1 5 hm o d es e u t ( 6 )设置设备参数 2 ) s c s i 状态 s c s i 状念用于报告目标设备执行命令的结果。一个正常结束的命令阶段后面是状 念阶段。目标器给启动器回送一个状态字节。表2 4 和表2 5 列出状态字节的组成和 状态代码。 华中科技大学硕士学位论文 表2 4 状态字节 【位6 7位1 5位0 i保留位状态代码 1 保留位 表2 5 常用的状态代码 l状态代码 说明 o o h良好 0 1 h检验状态 0 2 h满足条件 l l h命令结束 命令执行成功，目标器返回响应的良好状态。有一些命令是数据查找或预取，响 应的状念是满足条件状态。检验状态和命令结束状态同时出现，表示目标器执行的过 程出现错误，启动器可以读取目标器给出的检测数据，了解错误状态的详细信息。 r e q u e s ts e n s e 命令用于读出检测数据。它规定目标器将返回的数据长度。检测数据格 式如表2 6 所示。 表2 6 检测数据表头 字节#位7位6位5位4位3 l 位2i 位1 位0 _ o合法错误代码 1段号 2文件标记e o m i l i 保留检测键 错误长度指示符o l i ) 位置“1 ”，表示命令请求的数据数量和从目标器处获得的数 据数量不同。检测键指示错误的类型。非法请求键( 0 5 h ) 表示一个c d b 包含一个非 法的字段或参数。 2 3i s c s i 协议分析 2 3 1i s c s i 协议的层次 i s c s i 协议是一种s c s i 远程过程调用模型到t c p i p 协议的映射。s c s i 有两类设 备：启动设备( i n i t i a t o r ) 发起i o 请求；目标设备( t a r g e t ) 处理i o 请求，存取数据。 华中科技大学硕士学位论文 i s c s i 以i p 寻址和路由选择为基础，使用t c p 的流量控制、拥塞控制和分帧机制， 实现i n i t i a t o r 和t a r g e t 的通信。其协议栈结构如下： s c s i 命令集：s c s i 是面向块级数据的标准存储协议，可以被用作光纤通道、 i s c s i 和p a r a l l e ls c s i 的s e c o n d a r y 协议。s c s i 是点对点的、直接相连的计算机到存 储器的设备接口，不适用于主机到存储器的存储网络通讯。所以在s c s i 层之下，增 加了i s c s i 层。 i s c s i 层：i s c s i 是s c s i 协议的延伸，提供s c s i 命令描述块( c d b ) 和i s c s i 协议数据单元( p d u ) 之阍的封装解封，安全登录机制，存储设备的映射和错误恢复 机制。 t c p 层：t c p 提供的服务包括i s c s ip d u 在网络中的有序传输，拥塞控制和一 定程度的数据完整性检查。 i p 层：i p 层分析报头中的地址和决定包跨越各子网的路由。使i s c s i 存储设备 扩展到多个网络，甚至是不同类型的网络。 2 3 2i s c s ip d u 的格式 i s c s ip d u 的边界是4 字节的倍数，用零字节填充【1 9 1 。i s c s ip d u 有- - n 多个头 部，然后有一个可选的数据段。头部后可有一个头部摘要。数据段后也可有一个数据 摘要。基本头部( b h s ) 是i s c s ip d u 的第一个字段。b h s 长度为4 8 字节。其后可 跟附加头部( a h s ) ，头部摘要，数据段，可选的数据摘要。b h s 的操作码字段指出 不同的i s c s ip d u 。i s c s ip d u 分为两类：由启动器发出的和由目标器发出的。启动 器操作码有：0 x 0 0n o p - o u t ，0 x 0 1s c s i 命令，0 x 0 2s c s 任务管理请求1 ，0 x 0 3 登录 请求，0 x 0 4 文本请求，0 x 0 5s c s i 数据输出( 写操作) ，0 x 0 6 退出登录，0 x 1 0s n a c k 请求。目标器操作码有：0 x 2 0n o p i n ，0 x 2 1s c s i 响应，0 x 2 2s c s i 任务管理操作响 应，0 x 2 3 登录响应，0 x 2 4 文本响应，0 x 2 5s c s i 数据输入( 读操作) ，0 x 2 6 登录退 出响应，0 x 3 1 人r 2 t ，0 x 3 2 异步消息，0 x 3 f 拒绝。可选的摘要保证头部和数据的 完整性。表2 7 显示s c s ic o m m a n d p d u 的结构。 华中科技大学硕士学位论文 表2 7s c s ic o m m a n dp d u 字0 节 o i 邻接段i 邻接段详细说明 j j 一“一 ； 一 l 4 t o t a l a h s l e n g t h；d a t a s e 乎n e n t l e n g t h 5 ： 一t i n i t i a t o rt a s kt a g l 2 0 e x p e c t e d d a t at r a n s f e rl e n g t h i一一。 2 4ic r o d s n ； i 2 8 l e x p s t a t s n h e a d e r d i g e s t ( o p t i o n a l ) d a t a s e g m e n t ，c o m m a n dd a t a ( o p t i o n a l ) d a t ad i g e s t ( o 邮o n a l ) 字节1 的第0 位设为1 ，表示当前p d u 后面没有s c s i 数据输出p d u 。如果e x p e c t e d d a t at r a n s f e rl e n g t h 比d a t a s e g m e n t l e n g t h 长，目标器会响应一个r 2 t 。第l 位是读数 据位。第2 位是写数据位。启动器给它启动的每个i s c s i 任务分配一个t a s kt a g ，s c s i 也可使用i n i t i a t o rt a s kt a g 标记s c s i 任务。c m d s n 给每个连接中的命令排序。连接 中的e x p s t a t s n 以前的命令己被确认。有些s c s i 命令要额外带一些参数数据，在p d u 的尾部数据段存放。用户数据也可放在数据段。这两种数据都称为即时数据。 s c s ir e s p o n s ep d u 对s c s ic o m m a n dp d u