（计算机系统结构专业论文）磁盘阵列外部数据通道技术研究.pdf

华中科技大学硕士学位论文 摘要+ f 数字化的迅速发展对存储系统提出了更高的要求。目前同时存在的直接联机的 应用和网络存储对磁盘阵列这种传统的存储系统的对外数据通道的多样性提出了新 的要求。土 u s b 接口技术使得外设具备了即插即用和热插拔等特性。根据传统磁盘阵列的 特性，选用了n e t c h i p 2 2 7 0 外设接口芯片，构造了一个廉价的u s b - - e i d e 协议变 换的磁盘阵列。通过编写磁盘阵列的u s b 接口软件实现了u s b 数据与存储数据的转 换。接口软件不仅实现了u s b 协议层，使得磁盘阵列作为一个标准的u s b 设备被主 机所识别；而且实现了u s b 存储协议层，使得存储命令和数据可以成功地在u s b 总 线上传输。 根据网络存储的需要，设计和实现了磁盘阵列的网络通道。磁盘阵列的网络通 道，主要涉及网络驱动模块和网络请求通讯程序。通过编写网络请求的驱动入口和适 合网络请求的阵列驱动实现了网络驱动模块。网络环境下的阵列驱动采用一种多生产 者消费者的运转模式达到各个部分的充分运转而提高阵列的性能。 作为磁盘阵列网络通道的另一个组成部分，网络请求通讯程序的主要功能是同 服务器和客户进行网络数据交互。针对网络请求的负载特性，在借鉴原有的 m sg l a x i m i z e ds e q u e n c ea l g o r i t h m ) 和l s ( l e s ss e q u e n c ea l g o r i t h m ) 算法的基 础上给出了a l s ( a d a p t i v el e s ss e q u e n c ea l g o r i t h m ) 网络请求调度算法。( a l s 算法综合了m s 和l s 算法的优点，具有最优的平均请求初始响应时间，短请求能够 尽快地响应，长请求能够充分利用请求的顺序性提高系统的效率。4 关键字：磁盘阵列j 数据通道，、通用串行接口? 网络通道 自适应最小顿序算法 扛王均研究t 怍受曼蛋+ 暮自然社掌鼍金l6 9 9 i 3 0 l ?的资动 华中科技大学硕士学位论文 a b s t r a c t + w i t ht h e r a p i dd i g i t a l i z a t i o nd e v e l o p m e n t ，h i g h p e r f o r m a n c es t o r a g e s y s t e m i s r e q u i r e d 。n o w t h ec o e x i s t e n c eo fd i r e c t a t t a c h e d s t o r a g e a n d n e t w o r ks t o r a g ep u t sf o r w a r dt h en e wr e q u e s t sf o rt h ed i v e r s i t yo fe x t e r n a l d a t ac h a n n e lo ft r a d i t i o n a ls t o r a g es y s t e m ss u c ha sd i s ka r r a y u s bi n t e r f a c et e c h n i q u ee n a b l e sp e r i p h e r a l st oh a v et h ea b i l i t i e so fp l u g a n dp l a ya n dh o t s w a p b a s e do nt h ep r o p e r t i e so ft r a d i t i o n a ld i s ka r r a y ，a n i n e x p e n s i v e d i s k a r r a y w i t hu s b - e i d e b yc o n v e r t i n gp r o t o c o l u s i n g n e t c h i p 2 2 7 0p e r i p h e r a li n t e r f a c ec h i p i s c o n s t r u c t e di nt h i sp a p e r u s b i n t e r f a c es o f t w a r eo fd i s ka r r a yc a ni m p l e m e n tt h ec o n v e r s i o nb e t w e e nu s b d a t aa n ds t o r a g ed a t a i n t e r f a c es o f t w a r en o to n l yc a ni m p l e m e n tt h eu s b p r o t o c 0 ll a y e rb u ta l s oc a ni m p l e m e n t t h eu s bs t o r a g ep r o t o c o ll a y e r ，s on o t o n l yd i s ka r r a yc a nb er e c o g n i z e db yt h eh o s ta s as t a n d a r du s bd e v i c eb u t a l s ot h es t o r a g ec o m m a n da n dd a t ac a nb et r a n s f e r r e do nt h eu s b b u s b e c a u s eo ft h er e q u i r e m e n to fn e t w o r ks t o r a g e ，t h en e t w o r kc h a n n e lo f d i s ka r r a yi sd e s i g n e da n di m p l e m e n t e di nt h i sp a p e r i tm a i n l yi n c l u d e st h e n e t w o r kd r i v e rm o d u l ea n dn e t w o r kr e q u e s tc o m m u n i c a t i o np r o g r a m n e t w o r kd r i v e rm o d u l ec a nb e i m p l e m e n t e db y t h ed r i v e r e n t r y o f n e t w o r kr e q u e s ta n da r r a yd r i v e rf o rn e t w o r kr e q u e s t t h ea r r a yd r i v e ri nt h e n e t w o r kc o n d i t i o nc a n i m p r o v e t h e e f f i c i e n c y o f a r r a yb ya d o p t i n g a m u l t i - - p r o d u c e r - c o n s u m e ro p e r a t i o nm o d ei no r d e rt om a k ef u l l u s eo fa l lt h e c o m p o n e n t s t h em a i nf u n c t i o no fa r r a yn e t w o r kr e q u e s tc o m m u n i c a t i o np r o g r a m1 s t h ei n t e r a c t i v ec o m m u n i c a t i o na m o n gt h es e r v e ra n dc l i e n t s b a s e do nt h em s ( m a x i m i z e ds e q u e n c ea l g o r i t h m ) a n dl s ( l e s ss e q u e n c ea l g o r i t h m ) ，a l s f a d a p t i v el e s ss e q u e n c ea l g o r i t h m ) i sd i s c u s s e di nt h i sp a p e r a l sh a sb e t t e r a v e r a g er e q u e s ti n i t i a lr e s p o n s et i m ec o m p a r e dw i t hm sa n dl s ，t h es h o r t r e q u e s t sc a nb ep r o c e s s e dq u i c k l ya n dt h es y s t e me f f i c i e n c yc a nb ei m p r o v e d b yp r o c e s s i n gt h el o n gr e q u e s t so r d e r l y k e y w o r d s ：d i s ka r r a y ，d a t ac h a n n e l u s bi n t e r f a c e ，n e t w o r k c h a n n e l 。 a l s a l g o r i t h m l i 华中科技大学项士学位论文 1 磁盘阵列数据通道概述 1 。1 存储系统的现状 存储系统从广义上来讲包括计算机内的临时存储部件和计算机外部的永久存 储部件，在本文中出现的存储系统特指计算机的外部存储系统。 随麓信息化的发展，现实中大量的资源首先被转换成有意义的结构数搬，然后 转换成二进制的形式存入存储系统。存僬设备骞量的增加和橡成方式的多元化，更 多超大容量蛉莓镶系绫鲻世。最终存入系统中憋数据在烧褒上是静态的，毽在数撼 存入之藏罴要进行樱关豹处理，嚣羹数据存入之后，会被捡索或者褴耋新处理，戈 其在事务密集型静盘鼹中对存赭系统静数据存取速度要求萎加严格。对于军事、金 融、贸易等数据安全往要求徽高的领域，需要存储系统罐供冗余、镜像、弊地备份 箨方式来确缣数据可靠性、究整往和正确性。 存储系统的发展经历了三个阶段。第一个阶段怒技术积累阶段，即存储系统概 念的形成，冀代寝为分层存储数据思想的提出。第二阶段是直接存储系统的出现， 即存储系统作为单独的设备通过各种外设总线直接连接服务器，其代表为冗余磁盘 阵列及磁带库等系列系统，他们的特，谯是将多个相同设备统一组织起来，将多个 小容爨的设备组织成个太容量的设备，通过并行操作米提寒设备的存取速度，遴 过数掇冗余来确保数攥安全。第三除段是存德技术鄹网络技术的融合。这涉及强个 方恧，一方震是将多个不霞存精没冬逶遮网络连接戏更大款存磁系统，另一方瑟是 存姥系统驮服务器舱外设总线串释放出采，瘫接逶逡网络与客户交嚣数据。在秘前 的阶段溺时融合了前两个阶驳静成莱，眈如说缓存的应糟就是分层存谙数攒思想的 体现丽构成两络存储系统的有簇单元本身就是一个独立的存储系统。虽然，网络 存储技术发展的搬快。遁是由于需求的多样性可以预测直接联机的存储系统同网 络存潞系统在相当长一段时间会共存。 华中科技大学硕士学位论文 1 2 磁盘阵列技术 磁盘阵列技术最早是由d a p a t t e r s o n 教授在1 9 8 8 年提出“1 。磁盘阵列。4 1 将 多个独立的磁盘驱动器组成一个大的逻辑的存储系统，具有超大容量、响应速度快 和可靠性高的特点。通过数据分块和交叉存取的技术，使c p u 实现通过硬件方式对 数据的分块控制和对数据的并行调度。由于多个设备带来的工作可靠性的下降，一 般都放置了冗余信息，使阵列能够在磁盘失效的情况下，通过读取容错信息来恢复 数据，继续为用户服务。 根据不同的容错结构可以将磁盘阵列分为不同的级别“”，常用的有r a d o 、 r a i d l r a i d 4 、r a i d 5 、r a i d 6 以及组合级别r a i d i o 等。可以根据不同的应用需 求设定不同的级别而且目前还出现了将多种级别共存在一个磁盘阵列的情况。 目前随着计算机c p u 运算能力的提高，出现软阵列技术。软阵列技术是占用 主机c p u 的处理能力来运行磁盘阵列的软件程序”1 。因为软件程序不是一个完整 系统，只能提供最基本的r a i d 的容错能力。一般软磁盘阵列只能做成r a i d o 级别或 者r ar d l 级别，而且存取速度相对较慢，但是软阵列具有价格的优势很适合低端用 尸。目前，市面上出现了很多的阵列卡，可以用于构造软阵列。w i n d o w s 操作系统 中的卷管理和l i n u x 操作系统”1 都提供配置软阵列的功能。 1 3 磁盘阵列中的数据通道 f l y n n 分类法。1 将计算机分为四类，即单指令流单数据流计算机、单指令流多 数据流计算机、多指令流单数据流计算机和多指令流多数据流计算机。由此可见数 据流在计算机处理中的核心位置。 目前的存储系统都具有相当的智能能力单个结点一般都带有自己的处理器， 具有相当的处理能力。磁盘阵列系统本身就是专门进行大量数据处理的计算机。在 磁盘阵列中，数据通道技术是其构成的基础。数据通道技术主要用于磁盘阵列构成 的二三个方面：第一是磁盘阵列控制器内部的数据通道，第二是磁盘阵列控制器对外 的数据通道，第三是磁盘阵列控制器与磁盘的数据通道。下面将对这三个方面分别 给予介绍。 华中科技大学硕士学位论文 1 3 1 磁盘阵列内部数据通道 磁盘阵列控制器内部一般采用p c i 总线作为数据通道。p c i 总线是目前最成熟 的外围设备总线，它具有高数传率，支持3 3 m h z 和6 6 5 i h z 的时钟频率，3 2 位和6 4 位 两种数据带宽。通过桥接器与c p u 连接而支持设备的独立性，使外围设备与c p u 并 行工作。支持即插即用，具有自动配置功能。 1 3 2 磁盘阵列控制器与磁盘的数据通道 既然磁盘阵列是将多个物理盘组织成一个大的统一编址的逻辑盘，那么磁盘的 性能对磁盘阵列的整体性能具有相当的影响。 目前高端的阵列一般采用s c s i 接口的磁盘。s c s i 盘通过s c s 一p c i 的总线适配 器接入阵列控制器中。s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ，小型计算机系统 接口) 原是一种广泛应用于小型机上的高速数据传输技术，它是一种不断发展的技 术”。从s c s i l 的8 位的总线宽度，5 m b s 传输率的单端接口发展到1 6 位总线 宽度，3 2 0 m b s 传输率的差分接口“。$ c s i 一3 近加入的规格包括有f i b r ec h a n n e l s c s i 、i e e e1 3 9 4 ( f i r e w i r e ，火线) 和s c s i3 ( 1 6 0 m b 秒) ，即将诞生的有s c s i 4 ( 3 2 0 m b 秒) 和s c s i5 ( 6 4 0 船秒) 。从s c s i3 开始，s c s 能按照需要快速地提 高性能并拥有很好的有向后兼容性。硬盘转速是决定传输性能的一个关键因素。 s c s 【硬盘的转速早已高达1 5 0 0 0 r p m 了。高转速意味着硬盘的平均寻道时间短，能够 迅速找到需要的磁道和扇区。s c s i 硬盘一般都配置了容量相对较大的缓存，用来解 决硬盘与内存之间的传输速度瓶颈问题。s c s i 硬盘可通过独立的、高速的s c s i 卡来 控制数据的读写操作，大大提高了系统的整体性能。s c s i 接口可连接1 5 个设备。由 f s c s i 设备的中断共享，即只由s c s i 卡占用一个中断，连接在其上的设备由s c s i 卡 提供l d 地址，因此中断得到了扩展，解决了中断冲突的问题。 随着i d e 接口硬盘的转速增加到7 2 0 0 r m p ，a t a l 3 3 的普及以及单碟容量的增加， 一些低档的磁盘阵列采用了i d e 盘。如果阵列使用通用的主扳则一般的主扳只提 供两个i d e 接e ，总共可以接四个i d e 硬盘，即使采用能够提供四个i d e 接口的主 华中科技大学硕士学位论文 板，磁盘阵列的扩展能力也非常的有限。为了提高磁盘阵列的扩展能力，有些i d e 磁盘阵列采用了专门的阵列接口卡，比如说t e k r a ma t a 1 0 0 r a i dd c 2 0 0 能够同时 接4 个i d e 磁盘，通过多个阵列接口卡，能够大大地提高i d e 磁盘阵列的容量。 a p tt e c h n o l o g i e s 、d e l l 、i b m 、m a x t o r 、q u a n t u m 以及s e a g a t e 等公司合作 开发了取代并行a t a 的新技术一s e r i a la t a “”。s a t a 连续串行方式发送数据，每 次发送一位数据，使得它可以支持更细、更灵活的线缆和更少的针数。s a t a1 o 所 能达到的数据传输率为1 5 0 m b s ， b a t a1 3 3 所能达到的1 3 3 m b s 的最高数据传输率 还要高。在s a t a2 0 中，数据传输率将达到3 0 0 m b s ，并迅速提升到6 0 0 船s ，而 最终据说将允许s e r i a la t a 提升到1 5 g b s 的传输率。由于s a t a 采用了点对点的协 议，使得每个驱动器能够独享带宽。目前各个主板和硬盘厂商都推出了支持s a t a 的 产品。 1 3 3 磁盘阵列对外的数据通道 磁盘阵列作为传统的d a s ( d i r e c ta t t a c h e ds t o r a g e 直接联机存储) 设备， 主流上通过s c s i 通道与主机相连。这时，主机是启动者，磁盘阵列是目标者。主机 和阵列采用的p c i - - s c s i 总线适配器分别工作在启动和目标模式。p c i s c s i 总线适 配器从最早的产品开始，现在已经出现了接入6 4 位p c i 总线、数传率为3 2 0 m b s 的 适配器。虽然s c s i 通道的数传率可达到3 2 0 m b s ，但是s c s i 作为并行数据接口，受 限于信号线之间的相互干扰，最多只能到2 5 m ，而且一条s c s i 总线上最多只能连接l j 个设备，极大地约束了存储系统的可扩展性。 u s b ( u n i v e r a ls e r i a lb u s 通用串行总线接口) 是一种串行总线系统，带有 j v 电压支持即插即用( p n p ) 、热插拔等功能，最多可以同时连接1 2 7 个u s b 设 备“，1 9 9 8 年康柏、i b m ，i n t e l 和i c r o s o f t 等公司共同制定了u s b l i 标准，而 aw i n 9 8 开始正式对u s b 接口提供支持使得u s b 真正发展起来，一统了打印机、外 霞m o d e r n 、扫描仪、鼠标、建盘、数码相机等外设。由于u s b l 1 的数传率最高只有 1 2 m b p s ，只能用于馒速设备，2 0 0 1 年，u s b 2 o 的发布使u s b 接口的数传率最高达到 r4 8 0 m b p s ，各种u s b 接口的存储设备竞相上市，更加扩宽了适用于u s b 接口的设 备范围。硬件上，主流主扳都集成u s b 2 o 接口；软件上，从w i n x p 起，m i c r o s o f t 华中科技大学硕士学位论文 增加了对u s b 2 0 的支持。 磁盘阵列采用u s b 2 o 接口与主机相连，虽然在速度上受限于u s b 2 o 的极限值， 但在保持了原有的大容量，高可靠性的优势下，使得阵列能够做到即插即用和热插 拔，并且大大降低了阵列的成本，具有高的性价比，有很好的市场前景。 i e e e1 3 9 4 是一项高速数据传输标准“”1 ，也就是苹果公司所说的f i r e w i r e 。 由于此接口采用了高带宽设计，因此为音频视频( a v ) 制作、外部存储设备以及 便携设备提供了理想的数据传输模式。最大传输率可达4 0 0m b p s ，支持自动配置地 址，最多可同时连接6 3 个设备。i e e e l 3 9 4 同u s b 一样也支持即插即用和热插拔，但 是它还具有点到点的数据传输功能。尤其是当连接多个设备时，通过点对点的获取 方式，多个设备可以互相合作，提供比单个设备更丰富的服务方式。但目前来说， 主板厂商对u s b 的支持要大于对i e e e l 3 9 4 ，但是随着更多支持i e e e l 3 9 4 的主板以及 驱动的出现，可以预计i e e ei 3 9 4 也将成为存储系统的又一个通用接口。 上面谈到的s c s i 、u s b 和 e e e1 3 9 4 都可用于磁盘阵列作为d a s 与服务器相 莲。目前的流行的网络存储技术主要包括n a s 和s a n 以及i p 存储，它们需要磁盘阵 列具有新的接口，能够直接上网，本章将在下一小结单独讨论。 1 4 适合网络存储的磁盘阵列的数据通道 r a n d y h k a t z 在 1 8 中阐述了随着计算机网络技术的发展以及数据工作模式以 服务器为中心转移到以数据为中心的c s 工作模式的影响下，存储系统层次发生变 化：存储服务和网络服务的结合的必然：指出开发适合“基于网络的存储”的新型 硬件和软件体系结构以管理未来复杂的存储层次。 附网存储( n e t w o r ka t t a c h e ds t o r a g e ，n a s ) “”“的基本思想是将存储设备与 文件服务器的功能结合起来，克服传统的数据流动中的文件服务器瓶颈，避免数据 通过外设通道在传统文件服务器中的储存转发。简而言之，就是将文件服务器与存 储设备之间的数据通道由原来的外设通道和系统通道共同组成精简成仅仅通过系统 通道。s a s 中采用的瘦服务器仅汉提供文件服务，所以对客户请求的响应速度快。 、a s 果用基于网络文件的访问。实现丁跨平台的文件共享。 存储区域网( s t o r a g ea r e an e t w o r k ，s a ) 。2 4 1 采用高速的专用网络将各个数 华中科技大学硕士学位论文 据存储设备和服务器连接起来，客户通过服务器来访问数据。存储设备在逻辑上是 一体的，可以统一管理、易扩充；由于它以网络为通道，可以充分利用网络带宽提 高数据存取的速度。s a n 一般采用光纤通道来连接，数据传输率达到1 0 0 i b s ( 全双 工可以达到2 0 0 m b s ) ，可以实现更加灵活的连接，而且大大增加了存储设备和服务 器之间的距离。 从上面的阐述可知，为了适应新的网络存储技术，磁盘阵列需要采用新的数据 通道。对于高端而言大多采用光纤通道，低端则可以采用以太网接口。 1 4 i 光纤通道 光纤通道( f i b r ec h a n n e l ，f c ) “”包含五层协议：物理层、传输层、帧构 造协议和流控层、普通服务层以及协议映射层。物理介质可以采用光纤或电缆，连 接距离为l o 米到1 0 公里。协议映射层采用s c s i 一3 光纤通道协议，支持s c s i 命令。 磁盘阵列可以用光纤通道卡来构造与主机的接口。q l o g i c 公司是光纤通道卡的领导 j 一商，它最先推出光纤通道的控制芯片及控制卡。q l a 2 2 0 0 系列的控制卡采用6 4 位 的p c i 总线，具有i p 的功能，同时支持存储及网络，具有光纤和铜线两种接口。在 i 2 9 中采用q l a 2 2 0 0 实现接入s a n 的磁盘阵列的启动和目标模式的光纤通道接口。 1 4 2 以太网接口 随着千兆以太网的普及，出现了基于成熟的以太网基础设施上的i p 存储。i p 存 储可以构成廉价的s a n 。由于以太网技术的成熟，尤其是在网络传输的安全性和稳 定性方面，具有光纤通道所不具有的天然优势。目前的i p 存储中研究最多的是s c s i o v e ri p ( i s c s i ) 忡”，工作原理是主机将s c s i 命令和数据封装在i p 包中，经过操作 系统中t c p i p 协议栈的处理后进入网卡，通过网卡发送到以太网上：而存储设备端 的网号接收数据，这些数据经过t c p i p 协议栈处理后，再通过相应地处理将其中的 s c s i 命令和数据解析出来操作具体的物理设备。对于磁盘阵列而言，仅仅需要实现 i s c s i 的目标模式驱动。由此可见，采用以太网接口时，不仅需要提供硬件接口条 件，而且以太网接口上交互的数据还需要进行特殊的处理，所以在本文中将硬件接 6 华中科技大学硕士学位论文 口和在它之上的处理一起称为网络通道。 1 5 本文的目标和内容 存储系统的现状对磁盘阵列数据通道提出了新的要求。对于直接联机的存储系 统，要求能够达到磁盘阵列使用的简单而且方便，做到即插即用和热插拔。本文的 第二章设计和实现了一个廉价的u s b e i d e 协议变换的磁盘阵列的u s b 接口来满 足直接联机的存储系统的需要。网络存储要求磁盘阵列能够直接上网，本文的第三 章介绍了双通道的网络磁盘阵列的硬件结构，并设计和实现了磁盘阵列的网络驱动 模块。针对网络通道的特殊性，对传统的磁盘阵列的底层驱动进行优化和改进。根 据第三章介绍的双通道网络磁盘阵列的特性，本文的第四章介绍了一种使用灵活的 海量存储系统。这种海量存储系统能够根据需求的不同，采用不同的使用策略满足 不同的应用场合，并详细介绍了三方协议中，磁盘阵列的网络请求通讯程序的设计 和实现。这一章的最后给出了针对网络请求的a l s 算法，经过理论推导得出该算法 既具有最好的平均请求初始响应时间又能够充分利用请求的顺序性来提高设备的利 用率。 华中科技大学硕士学位论文 21u s b 协议简介 c o m p a q 、h e w e t tp a c k a r d 、i n t e l 、l u c e n t 、m i c r o s o f t 、n e c 和p h i l i p s 7 家厂商联合于2 0 0 0 年制定了u s b2 0 接口标准，u s b 2 o 将设备之间的数据传输速 度增加到4 8 0 m b p s ，比u s b1 1 标准快4 0 倍左右。现在主流的主板都集成了u s b 2 0 接口，而且各主流的操作系统都增加了对u s b 2 0 的支持，更加方便了设备的使用。 从w i n x p 起，m i c r o s o f t 在后继的w i n d o w s 版本中自带了支持u s b 的存储类( u s b m a s ss t o r a g ec l a s s ) 的驱动：同时l i n u x 在2 4 版本也提供了此选项，使得存储 设备的开发只需着重考虑设备端。通过u s b 自身很强的可扩展性，理论上最多可有 1 2 7 个存储设备通过u s bh u b 构成更大规模的廉价海量存储系统。 为了适应不同的传输要求，u s b 定义了四种传输方式，用于数据在主机和设备 的各个端口的传输“。 1 控制传输( c o n t r o lt r a n s f e r ) ：用于主机向设备发出各种标准请求，以 配置和获取设备、接口、端口等信息。控制传输是主机和设备必备的传输 方式，其数据传输具有双向性。 2 块传输( b u l kt r a n s f e r ) ：用于传输主机和设备间非周期性、数据量大 的数据，一般用于存储设备、打印机、扫描仪等时延性要求不高的设备。 要求数据的准确性，有确认信息，支持重传。 3 等时传输( i s o c h r o n o u st r a n s f e r ) ：传输主机和设备间的周期性的、连 续的、同步的数据一般用于视频、数字相机等需要及时传输的应用中。 4 中断传输( i n t e r r u p tt r a n s f e r ) ：设备向主机传输非周期性、数据量小 的数据，一般用于鼠标、游戏杆等设备。 u s b 协议是主机为主的不对称协议，即总线上的调度、控制及数据传输都由主 机控制器来统一控制。当主机端检测到新设备的加入，会主动发出询问命令，设备 端被动地响应报告设备属性( 包括设备类型、生产厂商、使用的协议等) 。主机端 恨据u s b 总线的使用情况给设备分配地址并对设备进行配置，通过设备属性找到该 8 华中科技大学硕士学位论文 设备相应的驱动程序，至此主机与设备的连接正式建立，应用程序透明地同设备进 行数据的传输。以上阶段的完成在逻辑上通过每个设备的缺省控制通道来完成。 u s b 协议是分层实现的，u s b 基本协议为其上层协议的数据传输提供u s b 数据 通道。为了使u s b 总线能够用于各种外设，针对不同的夕卜设定义了不同的外设类协 议。 根据阵列的要求，这里需要实现的是u s b 协议和其上的存储类( m a s ss t o r a g e c l a s s ) 协议。在存储类协议中，根据设备的不同要求又定义了不同的子类和传输 方式“。子类根据存储设备所采用的命令集来划分，目前主要支持r e d u c e db l o c k c o m m a n d s( r b c ) 、t i op r o j e c t1 2 4 0 一d 、s f f 一8 0 2 0 i 删c - 2 ( a t a p i ) 、s c s i t r a n s p a r e n tc o m m a n ds e t 、q i c 1 5 7 s c s i s c s i 和u f 。传输方式是存储数据传输 使用的u s b 的通道类型，比如说控制块中断( c o n t r o l b u l k i n t e r r u p t ) 方式 和块( b u l k o n l y ) 方式。在控制块中断方式。”中，存储命令块通过控制通道 来传输，数据通过块通道来传输，状态块可通过控制通道或块通道来传输。一次存 储命令执行完毕，设备可以选择是否通过中断通道通知主机。 在阵列应用中，采用s c s i 命令集( s c s it r a n s p a r e n tc o m m a n ds e t ) 予类和块 ( b u l k o n l y ) 传输方式。在该方式3 中，存储过程只通过块( b u l k ) 通道来实现。 因为l s b 协议数据是通过控制通道来传输，这样使得u s b 协议数据与存储数据在通 道上加以分离。 为了在块( b u l k ) 通道上正确的区分出s c s i 命令和数据，该协议定义命令数 据状态( c o m m a n d d a t a s t a t u s ) 子协议。s c s i 命令封装成命令块包( c o m m a n d b 1 0 c kw r a p p e r ) 、状态封装成命令状态包( c o m m a n ds t a t u sw r a p p e r ) ，它们的 硌式“2 分别如图2 1 、图2 2 所示。 序r 。b i t 了 l 6 c s i t l i 惹舅登。f o o - 3 命令块包标识 4 7 命令块包标号 8 一1 1命令数据长度 1 2 数据传输方向标识 1 3 保留t0 ) 设备逻辑单元哮 1 4 傈鼋( 0 )命令有效长度 1 5 - 3 0 辱储命令块 圈! l命令块包洛式 华中科技大学硕士学位论文 ：= ；_ = = = = _ = = = = _ = = = _ # = = 命令块包标识：标识该数据包为命令块包，这个标识域中的值固定为 4 3 4 2 5 3 5 5 h ； 命令块包标号：每个命令块包都有唯一的命令块包标号，用于主机同步其对应 的状态块包； 命令数据长度：主枫期塑在其隧后的数据除段传竣懿数据长度； 数据转辕方意据识：这个域中只毫纂7 使裔效，0 5 保整，第6 位过时，当 第? 建是0 ，代表随聪静数据除段的传输方淘是生掇到设 备，爱之，数据阶段的传输方向楚设备戮主梳： 设备逻辑蕈元号：如采该设备其有多个逻辑单元，该域用于标识命令块发向哪 个逻辑单元： 命令有效长度：设备执行的存储命令的有效长度； 存储命令块：设备执行的存储命令。 图2 2龠令状态包 番式 命令状态包标识：标识该数据包为命令状态包，这个标识域中的值固定为 5 3 4 2 5 3 5 5 h ： 命令状态包标号：设备填入对应的命令块包中的命令块包标号域的值； 莲量数键长度：主机期望的数据长度与实际传输数据长度的差值； 状态信息：设备通知主枫此次命令是否成功完成，如果成功完成则该域墨为 0 ，否则返圈错误代码。 结合s c s i 会令特点毂u s b 抟输方式，一次存涟命令赫撬行分残了三个状态，帮 余令块传埝状态、数据传输状态、获态块传输状态。一次存储命令酌状态转换汹如 澍2 3 矫示。主撬主幼遗发起一次次的存褚命令并阏步一次存储命令中的状态转 换郢一条存储命令的状态琰傣输阶段结束前，主机不会发起下一条的存储命令。 华中科技大学硕士学位论文 ：一= = = = ；= = = = = = = ；# = = = ；= = = = = = = = = = = 图2 3 命令状态转换图 2 2u s b ejd e 磁盘阵列的硬件结构 阵列中采用i d e 磁盘，通过u s b 2 0 接i e l 与主机相连。该磁盘阵列虽然在速度上 受限于u s b 2 o 和i d e 硬盘本身的极限值，但在保持了原有的大容量、高可靠性的优 势下，使得阵列能够做到即插即用和热插拔，并且大大降低了阵列的成本，具有高 的性价比，有很好的市场前景。 2 2 1n e t c h i p 2 2 7 0u s b 外设接口芯片 目前u s b 外设接口芯片根据是否带有微处理器分为自带微控制器和共享系统控 制器两类。自带微处理器的芯片占用系统控制器的资源较少，具有更大的灵活性， 但价洛较高，适合本来不具有控制器的系统。由于阵列控制器中带有c p u ，为了降 低成本和方便控制，采用不带微控制器的接口芯片，选用n e t c h i p 公司的外设接口 芯片x e t c h i p 2 2 7 0 。 e t c h i p 公司的n e t c h i p 2 2 7 0 是一款u s b 外设接口芯片m 1 。主要完成协议底层 华中科技大学硕士学位论文 的位处理，比如数据打包、数据成帧、自动数据重传及物理链路上的信号传输。由 于它不含微处理器，需要占用阵列控制器的c p u 资源进行上层协议的处理。其结构 框图如图2 4 所示。 图2 4n e t c h i p 2 2 7 0 结掏框图 u s b 2 0 接收器能够支持全速( 1 2 m h z ) 和高速( 4 8 0 m h z ) 的频率，同串行接口引 擎之间通过并行数据口连接，具有u s b 串行数据收发和时钟的自动恢复功能。串行 接口引擎能够产生c r c 校验编码而且自动检查c r c 校验编码，具有包标识符解码功 能。u s b 协议控制器实现位级别的协议，能够自动重传包，最多可以同时支持3 个 等时传输端口或者块传输端口或者中断传输端口，每个端口都具有自己的可配置包 缓存，支持可配置的控制端口。包缓存可以根据u s b 的四种传输方式进行配置，其 中0 端口( 用于控制传输) 和c 端口具有单独的1 2 8 b 的缓存，a 端口和b 端口具有 2 k b 的可配置的包缓存而且这2 k b 的包缓存可以设置成双口缓存的方式，可支持的 最大包大小为i k b 。本地总线接口用于提供同c p u 的8 位或1 6 位的连接，能够同时 支持中断和d m a 方式传输，支持非间接寻址寄存器方式。 n e t c h i p 2 2 7 0 的配置寄存器通过本地总线来获取，n e t c h i p 2 2 7 0 提供一个5 位 的地址空间用于c p u 寻址这些寄存器。c p u 可以直接寻址或者通过个指针寄存器 来间接寻址这些寄存器。配置寄存器按功能分为主控寄存器组、l s b 控制寄存器组 和端点寄存器组。主控寄存器组提供基本的功能来操作这个芯片，比如说中断控制 和中断能使寄存器、用于选择端口寄存器组的端口页选择寄存器等。u s b 控制寄存 器组实现u s b 的接口模块，其中最重要的是8 个八字节的s e t u p 包寄存器。当主机 枚举和配置设备以及设备向主机报告自身的参数时，都是通过控制端点实现传输， 相关的请求和数据的都存放在s e t u p 包中。这详c p u 通过读s e t u p 寄存器的值，就 司以根据主机的请求来进行配置，并且根据主机的请求来汇报自身的参数。端口寄 华中科技大学硕士学位论文 存器组用于操作具体的端口，其中端口配置寄存器配鬣了端口的传输类型，端口能 使和状态寄存器用于判断端口的中断类型而进行相应的操作，传输数目和传输有效 数目寄存器用于控制端口缓存中的数据操作，鼹大包大小寄存器规定了这个端口的 最大的包大小。 2 2 2 u s b e i d e 磁擞阵列的结构 c p u 逶过配置n e t c h i p 2 2 7 0 豹寄存器采决定n e t c h i p 2 2 7 0 酌工作方式，及芯片 n e t c h i p 2 2 7 0 同阵粥中内存的通讯方式。在阵翔应用中，裰据撇s ss t o r a g ec l a s s 的b u l k o n l y 传输方式，采用3 个端阳，蠕口0 作为控制端阳，用予基本u s b 协议的 数据传输；端口a 伟为块输出( b u l ko u t ) 端口，端口b 作为块输入( b u l ki n ) 端口。对于块( b u l k ) 端口，用于存储数据的传输，设置其端口缓存为双口缓存方 式，使得u s b 接口与接口芯片之间的数据流动同芯片与内存之间的数据流动能够并 行发生。 在本系绞中存焱大爨数据的流动，采用程廖方戏来控制数据在蠼口包缓存秘内 露之间鲍滚动会大大地减慢数据鸵滚动速度，蘑且傻搏系统c p u 总是互作在缀繁虻 数情况下嚣不能进行其它抟操传。n e t c h p 2 2 7 0 支持p 凇操作，冒戮采灞分离总线或 共享总线方式汹1 。掰谓分离总线是指矫韶d 淞控裁器和c p u 占箱一半钓 n e t c h i p 2 2 7 0 的本遗总线的数据线，而鼠两者的控锏线也需要分开。由于两者分剐 。占用不葡的数据线，当进行d 漱操作时，c p u 依然可以同时操作其它饭意的寄存 器，但是由于数据宽度的减小，使得d t t a 操作的吞吐率也减少了一半。图2 5 给出 r 一个采用分离总线d m a 方式的框图。 燕：s 分离息缝d m a 宵式的槎图 华中科技大学硕士学位论文 共攀总线方式的d m a 指的魑c p u 和d m a 控制嚣共享n e t c h i p 2 2 7 0 的本地总线的 数据总线丽分时地馊用数据总线。凿采用标准的d 撇方式时，一个数据单元的读霹 震要占用2 个总线周期，设总线频率为6 0 m h z ，当数攫从芯片的缓存、旋向内存时， 数据从u s b 芯片缓存读蹬蔫要5 个时皋孛周期，驾到内存震要3 个时钟周期，对于3 2 链惑线蕊言，总线器睦率菇3 0 m b s ；露理，当数据铁杰存淡囱芯片缓存时，数据技 内存读需要3 个时钟蠲赣，写到芯片缓存需要4 个辩钟阖期，魏对的总线番睦率 为3 4 m b s 。警采用请求的d m a 方式的时候，一个数括单元在u s b 芯片缓存和肉存之 间的流动是在一个总线墒期内完成的。当采用突发的d m a 方式时，个总线周期内 的数据单元可以更大。 为了进一步提高从端口缓存与内存的数传察和降低c p u 的占用率，采用d m 方 式。在进行存储数攒传输中，块( b u l k ) 端口避行大数据鬃的传输而数据处理的成 份很少，可以将两个块( b u l k ) 端阳的缓存分别对应两个d 姒通道。c p u 与d m a 控 铡爨可以通过共享总线或分寒总线形式来进行数据捷竣，但是由于在一次i o 数掇 传竣中，数据处理鼷占魄捌较小，对于任秘长度的有效数据传辕，根据采髑戆类游 议，需要处疆妻鲁数撼只有3 l + 1 3 = 4 4 个字节( 鼙一次1 1 0 歼始舱余令阶段取结束豁 状态阶段的数据餐) ，掰戳采掰c p u 与d m a 共率分辩占用慧线方式，采扩蘼芯片帮 内存间一次传输周期所能传输的数据长度。因为选糟的c p u ( s n x 6 0 1 ) 是一款s o c ( s y s t e mo f lc h i p ) 类受的芯片，箕内含d m a 控制器，所以可以直接乖j 用它而不需 要再附加d 姒控制嚣。对于d m a 传输，采用请求块( f l y b yb u r s t ) 方式，即 n e t c h i p 2 2 7 0 主动请求d m a 控制器丽占用总线进行数据传输，数据不经过d m a 控制 器，直接从芯片流向内存而且一次总线突发传输的长度能够达剥1 6 字节。采用请求 块方式。可以在d r a 的传输间隙，释放总线使得c p u 获锝总线进符传输。在该方式 f ，设u s b 外设控制芯片与内存共事固一总线奠嚣喾总线宽度擐等，设总线频率为 6 0 m t z ，对予3 2 位总线，d 姒读霉簧1 1 个对铮蠲期，即为l l 6 0 = 1 8 3 n s ，则总线吞噬 骞为1 6 ，1 8 3 = 8 7 m b ，j s ：姒写簧要7 拿封锋蜀期，靼淹7 6 0 = 1 1 7 n s ，剐吞蛙率为 s ，1 1 7 = t 3 7 m bs 这两个数据都高