（计算机系统结构专业论文）基于网络磁盘阵列的海量信息存储系统.pdf

华 中 科 技 大 学 博 士 学 位 论 文 摘要 随着计算机和网络技术的发展，社会信 息 化程度的提高，许多面向海量数据的大 型应用纷纷涌现。如何有效地存储和管理这些海量信息，以便从其数字资源中获得高 质高效的服务，对存储系统的研究提出了严峻的挑战。网络存储技术对于解决海量存 储系统中存储设备的分散性门旧 的并行性、 协议的高效性提供了一种很好的手段， 存 储设备与网络结合的不同方式可以形成不同的拓扑结构，不同的拓扑结构对系统性能 的影响又不尽相同，因此，确定海量存储系统中存储设备接入网络的方式以及存储设 各与服务器的连接方式，是构造大容量、高带宽、可扩展、易管理的海量存储系统值 得研究的重要课题。 集中式存储能够集中管理和控制数据，降低管理开销并提高管理质量，但系统的 性能和可扩展性受到限制。分布式存储能提高系统的性能尤其是可扩展性，但维护 和管 理分 布式存 储系统的 费用非常 高。以d a s ( d ir e c t a t t a c h e d s t o r a g e )体系结 构为 基础， 若将系统中的多个存储节点直接接入网络，由文件服务器对系统进行集中管理， 数据则分布地存放在多个存储节点上，则能充分结合两者的优点， 构造一种文件集中 管理、 数据分 布存 储的 海量存 储系统 ( c e n t r a l i z e d f i l e m a n a g e m e n t a n d d is t r i b u t e d d a t a s t o r a g e m a s s s t o r a g e s y s t e m , c m d s - m s s ) 。 这种海量 存储系 统的存 储节点 可以 通过网 络通道直接和网络用户进行数据交互，实现命令与数据分流，消除系统中的服务器瓶 颈。系统中每增加一个存储节点就会增加一个网络通道，利用并行传输机制可以实现 各存储节点利用网络通道的并行传输，达到扩容与增速同步的目的。在系统中采用虚 拟s c s i 命令，可以实现流水命令响应与并行数据 1 1 0 . 海量存储系统因各种异构存储结点的增加，存储和管理会越来越复杂。存储虚拟 化技术可以将各种异构的存储资源统一成对用户透明的单一逻辑视图，而且用户可以 按自 己 的需 求对其 进行分割 或组合 存储虚拟 化按 其在 存储系统 体系结 构中的实 现位 置， 可以分 为基干 主机、 基于存储设备 和基于 存储网 络的 虚拟 化。 基于 主机的方 案是 将虚拟抽象层放在应用服务器之上，既可以在应用层实现，也可以在设备层实现。 c md s - ms s 是 在服务 器的 文件 系统之下、 设备 驱动程序 之上采用 虚拟技 术实现 存储空 间的单一逻辑视图的一种方案，它既保持了对现有应用和休系结构的兼容性，同时又 可充分利用文件系统的块缓冲区来提高系统的性能。由于单一逻辑视图以存储空间的 逻辑表示取代物理设备，因而c md s 一s s 可以支持异构接口的存储子系统。 存储系统可以从空间和时间两个方面来开发其并行性，而流水线技术则只是采用 本文受国 家自然科学基金资 助。 批准 号 6 0 2 7 3 0 7 4 , 6 0 3 0 3 0 3 2 华 中 科 技大 学 博 士 学 位 论 文 时间上的并行性。网络磁盘阵列中运行由操作类型 ( 读/ 写 、操作的起始扇区，扇区 数等 信息封 装成的虚拟 s c s i 命令。 在系统资 源允许的情 况下， 它的命 令队列里 可以 有多 条s c s i 命令。 将多条虚 拟s c s i 命令的i / o周期分成 不同 的阶段，并 使用缓 冲技 术来平 滑地处理速度不固定的功能部 件之间的差异，形 成一种流水生 产者产 消费者模 型，可以重叠网络磁盘阵列中的磁盘 i / 0和c p u计算两种操作来提高系统的性能。 在由多个磁盘虚拟成一个逻辑盘的磁盘阵列中，多个网络用户请求的数据在逻辑 盘上是随机分布的，分解到每一个磁盘上的数据没有规律性。在逻辑盘上顺序分布的 数据分解到单个磁盘上也是顺序的 ( 对于多个请求， 不一定连续) 。 若将多个网络用户 的v o请求进行排队，使排队后的各 v 0请求的数据在逻辑盘上按顺序分布，则可使 磁头臂 按一定的 规律移动， 降低v 0时间。同时， 还可以 增大合并相 邻请求的 概率。 虽然个别的请求可能延迟，但网络磁盘阵列的整体u o性能将会得到很大的提高。 磁盘阵列启动后， 系统的 b i o s和操作系统会对磁盘进行检测， 并设定其传输模式。 但某些 系统的b i o s 不能 识别 较高的u d m a ( u l t r a d i r e c t m e m o ry a c c e s s ) 模式， 尽 管系统使用了支持较高u d ma模式的磁盘驱动器， 却只能工作在较低的数据传输模式 下。当磁盘阵列中的某一磁盘驱动器失效后即使换上了新盘，若没有经过 b i o s检测 和初始化，则磁盘驱动器只执行缺省的p i o传输模式。通过检测磁盘驱动器的特征和 所能支持的工作模式，重新设定工作模式，可以充分利用系统本身具备的能力，实现 磁盘阵列系统性能的自 适应提升。 聚/ 散技术可以将内存中离散的多个小块的数据区聚合起来只对磁盘进行一次 d ma操作 ( 聚) ，或将磁盘上 一 片物理连续的数据通过一次d ma操作分散到内存中 离散的 多 个小 块的数 据区( 散) ， 但是 必须有相应的 硬 件支持。 为e i d e 控制 器准备一 个d ma区间表.在表中逐个列出用于 d ma操作的若干缓冲区间 ( 包括起始地址和 长度) ，并把这个表的起始地址写入e i de接口上相应的 “ 总线主i d e描述表指针”寄 存器，就可以实现基于e i d e接口的聚/ 散技术。由于传统的 ) ma一次只能操作一段 在物理内存上连续的内存区域，通过荆散使之能在一次u o过程中对多个非连续的内 存数据区进行操作，从而提高内存使用效率，加快 1/ 0命令处理速度。试验结果证明 了聚撒 技术对于提高e i d e磁盘阵列性能的有效性。 在集中管理，分散存储的c md s - ms s中，我们利用时空并行性、 虚拟存储、自 适 应u d m a和数据的 底层聚/ 散等创 新性技术使其性能 获得了显著的 提高。 并且， 这些 技术也可移植于其他环境应用。 关 键词: 海 量存储，网 络存储， 虚拟存储， 磁盘阵列， 体系结构， 流水 q 华 中 科 技 大 学 博 士 学 位 论 文 a b s t r a c t r e c e n t d e v e lo p m e n t s i n c o m p u t e r s y s t e m s a n d h i g h - s p e e d n e t w o r k s h a v e s t im u l a t e d t h e e m e r g e n c e o f m a s s in f o r m a t io n a p p l i c a t io n s . i t s a d i ff i c u l t p r o b l e m t o s t o r e a n d m a n a g e t h e m a s s in f o r m a t i o n e ff e c t i v e l y , w h ic h p r o p e l le d r e s e a r c h o n t h e m a s s s t o r a g e s y s t e m n e t w o r k s t o r a g e t e c h n o l o g y i s a g o o d m e t h o d t o s o l v e t h e p r o b l e ms o f m a s s s t o r a g e s y s t e m diff e r e n t c o n n e c t i o n w a y s b e t w e e n s t o r a g e d e v i c e s a n d n e t w o r k c o mp o s e d iff e r e n t t o p o l o g y a n d r e s u l t i n d i ff e r e n t im p a c t s o n t h e s y s t e m p e r f o r m a n c e . i t s a s i g n i f i c a n t r e s e a r c h p r o j e c t t o c h o o s e a s u it a b l e to p o lo g y , c o n s t r u ct a m a s s s t o r a g e s y s t e m w i t h b i g c a p a c it y , h i g h b a n d w id t h , s c a l a b il i t y a n d m a n a g e a b i l it y c e n t r al i z e d s t o r a g e s y s t e m s c a n r e d u c e m a n a g e me n t s p e n d i n g a n d i m p r o v e m a n a g e m e n t q u a li t y b e c a u s e o f t h e s i n g l e c o n t r o l p o i n t , b u t s y s t e m p e r f o r m a n c e a n d s c a l a b i l i t y i s l i m i t e d . d i s t r i b u t e d s t o r a g e s y s t e m c a n i m p r o v e s y st e m p e r f o r m a n c e a n d s c a l a b i l it y , b u t t h e m a n a g e a b i l i t y a n d u s a b i l it y i s p o o r . b a s e d o n d a s ( d i r e ct a tt a c h e d s t o r a g e ) a r c h it e c t u r e , c e n t r a l iz e d f i l e ma n a g e m e n t a n d d i s t r ib u t e d d a t a s t o r a g e ma s s s t o r a g e s y s t e m ( c m ds - ms s ) c o n n e c t s m u l t i p l e s t o r a g e n o d e s o f d a s t o n e t w o r k r e s p e c t i v e l y a n d s t r i k e s a g o o d b a la n c e b e t w e e n a c e n t r a li z e d f il e m a n a g e m e n t a n d a d i s t r i b u t e d d a t a s to r a g e s to r a g e n o d e s o f c md s - ms s e x c h a n g e d a t a w it h n e t w o r k c l i e n t s d i r e c t l y t h r o u g h n e t w o r k c h a n n e l s , t h e a r c h i t e c t u r e s e p a r a t e s c o n t r o l a n d d a t a fl o w t o a v o i d f i l e s e rv e r b o tt le n e c k . c md s - ms s a c h i e v e s c a p a c it y s c a l a b i l i t y b y e x p a n d in g t h e s y s t e m s t o r a g e c a p a c i t y i n c r e me n t a ll y w i t h a d d i t i o n a l n e t - r a i ds a l o n g w i t h a s s o c i a t e d n e t w o r k inte r f a c e s t h a t e x p a n d d a t a t r a n s mis s io n r a t e p r o p o rt i o n a ll y , p a r a l le l v i rt u a l t r a n s m i s s i o n m e c h a n i s m i s u s e d t o i m p l e m e n t p a r a l le l t r a n s m i s s i o n o f m u lt i p le n e t w o r k c h a n n e l s b e c a u s e o f t h e s c a l a b i l it y , s t o r a g e ma n a g e m e n t o f m a s s s t o r a g e s y s t e m w i l l b e m o r e a n d m o r e c o m p l i c a t e d w it h i n c r e a s e o f h e t e r o g e n e o u s s t o r a g e n o d e s . virt u a l s t o r a g e t e c h n o l o g y c o n s o li d a t e s v a r i o u s h e te r o g e n e o u s s t o r a g e r e s o u r c e s i n t o o n e t r a n s p a r e n t s i n g l e l o g i c v i e w . c l ie n t s c a n a l lo c a t e t h e l o g i c v i e w w i t h t h e i r o w n e r r e q u ir e m e n t s - a c c o r d in g t o t h e r e a l i z a t i o n p o s i t i o n in s t o r a g e s y s t e m a r c h it e ct u re , v irt u al s t o r a g e t e c h n o lo g y is d iv i d e d i n t o t h r e e c a t e g o r i e s , b a s e d o n h o s t , b a s e d o n s t o r a g e d e v i c e s a n d b a s e d o n s t o r a g e n e t w o r k h o s t b a s e d s c h e m e c o n s t r u c t s t h e v i r tu a l a b s tr a ct l a y e r o n f i l e s e rve r , t h e v i rt u a l a b s t r a c t l a y e r c a n b e i m p l e m e n t e d o n a p p l ic a t i o n l a y e r a n d d e v i c e l a y e r . c m d s - m s s i m p l e m e n t s t h e s i n g l e l o g ic v i e w b e t w e e n f i l e s y s t e m a n d d e v ic e d r i v e r o f f i le s e rve r . t h e m e t h o d r e t a i n s c o m p a t i b i l i t y w it h e x i s t e d a p p l i c a t io n s a n d a r c h i t e c t u r e s , a n d a l s o t a k e s a d v a n t a g e o f t h e b l o c k b u ff e r o f f il e s y s t e m t o e n h a n c e s y s t e m p e r f o r m a n c e . b e c a u s e t h e s i n g le l o g ic v i e w r e p l a c e s p h y s i c a l d e v ic e s b y v i rt u a l a b s t r a c t la y e r o f s t o r a g e s p a c e , c md s - ms s s u p p o rt s s t o r a g e s u b s y s t e m s w i t h h e t e r o g e n e o u s i n t e r f a c e s t h e p a r a l l e l is m o f s t o r a g e s y s t e m i s u s u a l l y d e v e lo p e d fr o m t w o s i d e s , n a ml y s p a c e a n d t h i s r e s e a r ch w o r k w a s su p p o n e d b y t h e n a t io n a l n a tu r e s c ie n c e f o u n d a t io n o f c h in a u n d e r g r a n t 6 0 2 7 3 0 7 4 a n d 6 0 3 0 3 0 3 2 一一一 ， ，碑 ， ， 目.， ，山， . . m 华中 科 技 大 学 博 士 学 位 论 文 t i m e , p i p e l i n e t e c h n o lo g y a d o p t s t i m e p a r a l l e li s m , ne t - r a i d a d o p t s v i rt u a l s c s i c o m ma n d s e n c a p s u l a t e d b y o p e r a t i o n t y p e ( r e a d / w r i t e ) , s t a r t s e c t o r , s e c t o r n u m b e r a n d o t h e r i n f o r m a t i o n t o e x e c u t e 1 / 0 o p e r a t io n . t h e r e a r e m u lt i p le v i rt u a l s c s i c o m ma n d s i n ne t - r a i d ( n e t w o r k r e d u n d a n t a rr a y i n d e p e n d e n t d i s k s ) c o m m a n d q u e u e w it h i n s y s t e m r e s o u r c e s . p i p e l i n e p r o d u c e r / c o n s u m e r p o l i c y d i v i d e s t h e u o c y c le o f v irt u a l s c s i c o m ma n d i n t o d iff e r e n t p h a s e s a n d u s e s b u ff e r t e c h n o l o g y t o s m o o t h w o rk s p e e d o f d i ff e r e n t f u n c t io n c o m p o n e n t s , t h e p o l i c y o v e r l a p s d i s k i / o a n d c p u c o m p u t a t i o n t o i m p r o v e s y s t e m p e r f o r m a n c e ra i d o r g a n iz e s m u lt i p le d i s k d r i v e s in t o o n e l o g ic d i s k . r e q u e s t e d d a t a o f m u l t i p l e n e t w o r k c l i e n t s i s d i s t r i b u t e d o n t h e lo g i c d i s k i n d i s o r d e r , d e c o mp o s e d d a t a o n d i s k d r iv e s i s m o r e r a n d o m . s e q u e n t i a l d a t a o n l o g ic d i s k i s d e c o m p o s e d t o e v e ry d is k d r i v e w i t h s e q u e n c e t o o . q u e u e t h e m u l t i p l e u o r e q u e s t s o f n e t w o r k c l i e n t s a n d m a k e t h e m d i s t r i b u t e o n t h e l o g i c d is k o r d e r l y , t h e m e t h o d ma k e s d i s k a m t m o v e r e g u l a r ly , a n d i n c r e a s e t h e c o mm a n d c o m b i n a t i o n p r o b a b i l it y . e v e n i n d i v i d u a l r e q u e s t i s l ik e ly t o d e l a y , s y s t e m i / o p e r f o r ma n c e w il l h e i m p r o v e d e v id e n t l y . s y s t e m b i o s a n d o p e r a t io n s y s t e m t e s t d i s k d r i v e s a n d a s s i g n d a t a t ra n s m i s s io n m o d e a ft e r r a i d p o w e r o n . s o m e s y s te m b i o s c a n t i d e n t i f y h i g h e r u d ma ( u l t r a d i r e c t me m o r y a c c e s s ) m o d e , t h e d is k d r i v e s h a v e t o w o r k o n t h e lo w e r u d ma m o d e e v e n t h e d r i v e s s u p p o rt h i g h e r m o d e . wh e n o n e o f d i s k d r i v e s f a i l a n d c h a n g e a n e w o n e , d e f a u lt d a t a t r a n s m i s s io n m o d e i s p i o w i t h o u t b i o s t e s t a n d i n it ia li z a t i o n . i d e n t if y t h e f e a t u r e a n d s u p p o rt e d u d ma m o d e o f d i s k d r i v e r s , r e a s s i g n t h e u d ma m o d e , w h i c h t a k e a d v a n t a g e o f h a r d w a r e a b il i ty t o im p r o v e r a i d s y s t e m p e r f o r m a n c e a d a p t i v e ly . wi t h s u p p o rt o f h a r d w a r e , g a t h e r / s c a t t e r t e c h n o l o g y g a t h e r s d a t a i n d i s c r e t e m e m o ry a r e a a n d e x e c u t e s o n ly o n e d is k d r iv e d ma o p e rat io n ( g a t h e r ) , t h e t e c h n o l o g y c a n a l s o s c a t t e r c o n s e c u t i v e d a t a o f d i s k d r i v e t o d i s c r e t e m e m o ry a r e a w it h o n e d ma o p e r a t i o n . i f w e p r e p a r e a d ma t a b l e , l is t s o m e b u ff e r a r e a s ( s t a r t a d d r e s s a n d b u ff e r le n g t h ) a n d w r i t e t h e d ma t a b l e s t a r t a d d r e s s t o b u s m a s t e r i d e d e s c r i p t io n t a b l e p o i n t r e g i s t e r , e i d e c o n tr o l l e r w i l l r e a l i z e g a t h e r / s c a t t e r o p e r a t i o n . t r a d it i o n a l d ma m o d e o n l y o p e r a t e s a c o n s e c u t i v e p h y s i c a l m e m o ry a r e a , b u t g a t h e r / s c a tt e r t e c h n o l o g y c a n o p e r a t e m u l t i p l e n o n - c o n s e c u ti v e m e m o ry a r e a s w i t h o n e i / 0 o p e r a t i o n . t h e me t h o d i m p r o v e s m e m o r y e ff i c i e n c y a n d e n h a n c e s i / o p e r f o r m a n c e . t e s t r e s u l t s p r o v i d e u s e f u l in s i g h t s i n t o s y s t e m p e r f o r m a n c e b e h a v i o r w i t h t h e g a t h e r / s c a t t e r t e c h n o l o g y we e m p l o y s p a c e - t i m e p a r a l l e l is m , v irt u a l s t o ra g e , a d a p t i v e u d ma , g a t h e r / s c a tt e r t e c h n o l o g y a n d s o me o t h e r c r e a t i v e i d e a s i n c md s - ms s , t h e t e c h n o l o g i e s i m p r o v e s y s t e m p e r f o r m a n c e o b s e rva b l y . w e a l s o c a n p o rt t h e s e t e c h n o lo g i e s t o o t h e r a p p l ic a t io n s e n vi r o nm e n t s k e y w o r d s : ma s s s t o r a g e , n e two r k s t o r a g e , v i r t u a l s t o r a g e , r a i d , a r c h i t e c t u r e , p i p e l in e 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中己 经标明引用的内容外，本论文不包含任何其他 个人或集体己经发表或撰写过的研究成果。 对本文的研究做出贡献的个人和集体， 均己 在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名:叹b j a , 日 期 :，个 年本 月 ) )日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即:学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口 ，在年解密后适用本授权书。 本 论 文 属 于/ 不保密g y ( 请在以上方框内打 “ 1 / 11 ) 学位论文作者签名: u 少 日 期 : 洲作 夺 指导教师签名: 声 ，讨 夔 扮乡日 日 期: 7 c f z , 笋年 丫月乡 拍 华 中 科 技 大 学 博 士 学 位 论 文 概 述 1 . 1 存储系统面临的形势 随着计算机和网络技术的发展，社会信息化程度的提高，各种数据信息 ( 包含各 种空间数据、报表统计数据、文字、声音、图像、超文本等)以难以置信的速度急剧 增加。 一方面， 在网上流动的数据量以前所未有的速度增加， 包括来自 分布式数据库、 文件服务器、we b服务器等网上数据源，尤以e - m a i l 和i n t e m e t 文件的数据量最大。 基于数据安全和使用方便的目的，人们通常对这些数据一再进行备份，因而耗费的存 储空间也非常之多。另一方面，科学计算和仿真，飞行动力学、核爆炸仿真、虚拟现 实以 及医疗影 像数据等， 所需的 存 储容量更是大到惊 人的 程度1 1 1 “ 数字地球” 需要存贮p b量级的信息， 覆盖广东省的1 米分辨率影像数据大约有 1 t b 。 要建立全国的数字地球， 仅某个时刻静态的影像数据就有5 3 t b ， 动态的影像数 据对存储容量的要求则更高。 美国n a s a的行星地球计划e o s -a mi ， 每天产生 i t b 的数据。 欧洲空间局管理的几颗地球观察卫星每天会下传大约1 0 0 g b的图象， 新卫星 e n v i s a t发射之后，数据量又增大了5 倍。目 前已 经保存了上千万亿字节的数据。 表1 . 1部分课题对数据存储容量的要求 图书馆数字化 3 t b 电 视台的电 视播放1 -3 t b 卫星数据采集 地面站) 1 刀 3 深海橄光探测i t b 雷达信号数字化 5 0 0 gb气候模型诊断与比 较 - i t b 网络教育 1 t b 核聚变建模与分析 1 1 卫 电 视的非线性编辑 i t b电子商务、电子邮件等 0 . 5 -3 t b i d c最新数据表明，全球数字化信息正以几何级数增长。 2 0 0 1 年，全球新增的数 字化信息为6 亿g b , 2 0 0 2 年约为 1 2亿g b , 2 0 0 3 年则达到2 4 亿g b . 2 0 0 1 年世界 存储系统市场约3 8 6 .3 5 亿美元，到2 0 0 5 年将达到5 8 0 .3 4 亿美元。 在亚太地区，存储 市场规模将从2 0 0 0 年的2 4 .9 亿美元增长到2 0 0 5 年的4 5 . 1 亿美元。 亚太地区1 2 .6 %的 年增长率高于世界1 2 %的平均水平， 其中中国市场的增长率将达到1 4 . 7 %. 就交付的 华 中 科 技 大 学 博 士 学 位 论 文 存储容量来看， 仅中国2 0 0 0 年就达2 9 1 4 t b， 且将以每年8 2 .2 %的速度增长。 表1 . 1 为部分课题对数据存储容量的要求。 存储需求的另一方面体现在存取速度上， 尤其在多媒体领域， 据a c m的一份研究 报告 预测， 到2 0 0 5 年， 全世界将有5 0 %以 上的存储空间用于存储多 媒体信息 12 1 ， 而多 媒体信息的一个显著特征就是实时性。 例如， p a l 制式的 无压缩视频需要保证2 5 m b / s 的带宽，m p e g - 2压缩视频的传输带宽则至少要求 0 . 5 mb / s ， 对于单用户的需求可以 较容易地满足，但对于一个服务于成千上万个用户的视频服务器而言，其传输带宽则 面临着严重的挑战。 欧 洲 原 子 能 研究 机 构目 前 正 在 为 大型强 子 对 撞 机 ( l a r g e h a d r o n c o l li d e r . l h c ) 作 试 验准备， 在l h c上原始数据的产生速率达到1 0 0 mb / s ， 每年产生的数据量将达到1 p b e 在美国高性能计算和通信计划 ( h i g h p e r f o r m a n c e c o m p u t i n g a n d c o m m u n i c a t i o n , h p c c ) 所列 举的 重 大 挑战 性课 题中 3 1 ， 对于 全球气 候变 化、 人 类基因、 飞 行动力学、 超导建模以及量子染色动力学等课题的研究则需要提供 1 t b左右的1 / o带宽。为了建 立大范围的“ 数字夭空” ， 天文学家使用光学、 射电、 远红外望远镜测定并记录所有能 与噪声相区别的天体。 对分布在世界各地的t b甚至p b量级的天文数据进行存储并对 全部数据进行统计分析和检索，对存储系统的容量和带宽都提出了前所未有的需求。 人们对存储产品及服务的迫切需求，无疑对服务质量和存储系统性能提出了更高 的要求。信息计算已经从以服务器为核心的时代进入到了以存储为中心的时代。各个 企事业的数据中心都在以 令人惊讶的速度高速发展，不但诸多操作平台上的业务信息 数据呈几何级数增长，而且数据中心内部的存储系统及其支持硬件在数量上也在不断 增加。 面对这源源不断的数据流和不断增长的物理载体，传统的体系架构己 经无法满 足需求。 1 .2 网 络技术对存储系统体系结构的影响 考察存储系统的发展过程可以发现，它主要由需求牵引，并在相关硬件技术相对 成熟的条件下逐步发展壮大。 8 0 年代末期，高性能计算机系统的峰值计算能力已达到每秒千万至数亿次操作， 1 / o系统的通道速率也已 达到 l o m b / s 量级， 而当时 最高性能的硬盘容量只有5 0 0 m b 左右，传输率约为1 .2 mb / s ， 这远不能满足高性能计算机系统的整体要求。 为缓解u o ，钾，种 2 华 中 科 技 大 学 博 士 学 位 论 文 瓶颈问题，许多研究者进行了关于并行存储的研究，其中包括对主机请求读写的数据 进 行 分 块 使 之 分 布 存 放 存 在 多 台 磁 盘 上 的 分 块 技 术 ( s t r i p i n g ) 4 5 1 ; 对 存 放 在 多 台 磁 盘 上 的 数 据 采 取 交 叉 读 写 的 交 叉 存 储 技 术 ( i n t e r l e a v in g ) 6 17 l ; 以 及 对多 台 磁 盘的 存 储 空 间 进 行全局编址， 使数据按全局编址后的存储空间进行存放的分散技术( d e c l u s t e ri n g ) 等， 这 些技术的 研究主要集中 在提高存取速率和扩大存储容量等方面， 均已 用于单主机中。 现在， 硬盘的单台容量已超过2 0 0 g b , i d e 硬盘驱动器的峰值传输率已 接近 1 3 3 mb / s o 但是，人们对存储系统的要求除了速度和容量有更高的要求之外，还在计算机系统的 应用中不断提出新的要求。 随着计算机应用领域的拓展，金融、军事、大型企业等对计算机存储系统的可靠 性提出了 更高的要求，不允许出现任何不可恢复的灾难性故障。为此，人们在研究提 高存储系统的容量和速度的同时，研发了一系列提高数据可靠性的技术以及数据管理 方法。 1 9 8 8 年美国加州大学b e r k e l e y 分校的d a v i d a . p a tt e r s o n 等人首先在磁盘阵列中 使用了 冗余容错技术， 提出了 廉价磁盘冗余阵列( r e d u n d a n t a r r a y s o f i n e x p e n s i v e d i s k s , r a i d ) 8 19 1 ， 后 又 称 为 独立 磁盘 冗 余阵 列 ( r e d u n d a n t a r r a y s o f i n d e p e n d e n t d i s k s , r a id ) 。 使磁盘阵 列成为了一种重要的存储系统体系结构。 0 1 在传统的 存储系统体系结构d a s ( d i r e c t a t t a c h e d s t o r a g e ) 下， 存储设备连接在 总线上并通过外设通道 ( s c s i 或 f c )挂接在文件服务器上，由文件服务器调度和管 理。数据的存储与交换是以文件服务器为中心的。这种体系结构的优点在于能够集中 管理和控制数据。但网络用户通过网络访问文件服务器上的数据资源时，被访问的数 据必须在存储设备和文件服务器之间进行多次的存储转发。尽管文件服务器并不关心 数据内容，通常也不对数据本身进行处理， 但数据请求与传送都需要文件服务器的介 入。 在 使 用相 对 慢 速的 存 储 设 备 和网 络时， 服务 器的 制约 作 用还 不 太 显 著， 但随 着 快 速的存储设备和网络技术的出现以 及网络用户进行大数据量访问时，服务器和多次存 储 转 发的 开 销 对系 统 性能 的 制约 作 用 便趋向 明 显， 并 使得 文 件服 务器 成为 整 个系 统的 “ 瓶颈” 。卡耐基一 梅隆大学( c m u ) 的 研究表明， 这种 “ 瓶颈” 效应甚至会导致系统的 资 源利用率降到3 % l , 另一方面，在这种集中式的体系结构中， 计算机系统的u o速度远低于计算速度， 数据的传输受到v 0通道的约束， u o通道成为整个系统的瓶颈。 当存储资源被网 络上 多个用户共享时，在网上传输大量数据信息或进行实时数据收发所引发的i / o瓶颈问 题就尤为突出。文件服务器作为事实上的网络资源与控制中心，维系着网络的效率、 一一一一一-一一一-一. 3 华 中 科 技 大 学 博 士 学 位 论 文 性能、 安全性和可靠性， 而传统的d a s 又以文件服务器为中心， 面对庞大的数据量和 数传率需求，系统的 可用性和可扩展性都难以提高。因此，如何处理快速增长的网 络 用户请求，是当前研究人员关注的重要问题。从目 前的研究方向看，主要可以归结为 两个方面: 一 方面 是 从实 现 机制 上 入 手。 主要 研究c a c h e 技 术、 预 取技 术 12 1 3 1 4 1 5 1调 度 策 略1 1 6 1 7 1重叠i / o以 及消除、隐藏和减小主存和辅存之间的速度差异并寻求新的存储 技术等 1 8 11 1 9 2 0 2 1 3 ， 达到缩小响应时间的目 的。 可以 在现有文件服务器的 基础上按照 用 户访问行为尽可能地提高系统的性能，但提高的程度有限。添加高性能存储设备 ( 如 r a i d ) 可以 减少寻道时间， 提高响应的 速度， 但是， 由 于磁盘、内 存的发展速度远低 于c p u的发展速度， 依靠扩展单