（计算机系统结构专业论文）光纤通道存储区域网中共享存储问题的研究.pdf

华中科技大学硕士学位论文 摘要 在目前的计算环境中，如何有效的存储和管理目益增长的数据是我们 面l 临的挑战。为了解决这个问题，存储区域网应运而生。在存储区域网分 布式文件系统中，存储共享冲突问题是关键问题。 解决存储空间共享问题的方法主要有两种：集中管理和分布式管理。 分布式管理系统结构复杂，实现困难，适宜于中等规模或大规模系统， 对于小规模或中等规模系统，其性能接近甚至低于集中管理方式，并且没 有实现真正意义上的数据共享。 在集中管理方式中，元数据和数据是分开存储的，元数据经过控制网 进行传输，而数据经过存储网传输。元数据被管理服务器控制。客户端首 先访问管理服务器获得相应的元数据，然后才能直接访问共享存储中的数 据。当持有锁的客户端故障或网络故障时，该锁所锁定的数据对象对于别 的计算机来说是无法访问的，必须有一种机制来保证当锁被重新分发后， 前者不再访问这些数据。一个服务器被用来扮演管理者的角色。它采用了 一种被称为租约的方式来进行故障恢复。当租约期满时，服务器能确保客 户端不再在锁定的数据上进行操作，并且安全的将锁重新分发给需要该锁 的其他客户。) 在正常情况下，这种租约协议不存在额外系统开销。这种租约协议不 同于在v 操作系统中描述的租约协议。它有性能的提高，减小了系统开销。 一7 ( 关键词：存储区域网；共享冲突；罐甄聂羞再= 雨i _ 丽而西二) _ ，一 物伯运； 华中科技大学硕士学位论文 a b s tr a c t i n t o d a y sc o m p u t in ge n v i f or l m e r l t , t h ee l f ic i e n t s t o r a g ea n d i l l a , r l a g e m e n t o fm a s s i v e ly g r o w i n gd a t ah a sb e c o m eam a j o fc h a l l e n g e t os o lv et h isp r o b l _ e m ，s t , o r a g ea r e an e t w o r k ( s a n ) is a i ) p e a r e d h o w t os o lv et h ep r o b le mo fs t o r a g es h a r i n gc o n f l i c tist h ek e yp r o b le m o fs a nd is t r i b u t e df i l e s y s t e m i nc e n t e l - 一c o n t r o l l e dm o d e m e t a d a t ais c or l t r 0 1 l e db yac e n t r a l s e l v e f c l i e r l tc o m p u t e r sf i r s ta c c e s sc e l l t r a ls e l c v e rt of e t c ht h e i l l e t a d a t a ，t h e ni t1 9 c c e s sd a t ad if e c t l yf r o ms h a r e ds t o r a g e r a t h e r t h a ns u b m i t t i n gi or e q u e s t st h r o u g has e l v e r i fac o m p u t e l f a i ls o rb e c o m e sis o l a t e di n1 9 f i e t w o r kp a r t i t i o nw h i l eh o l d i n g1o c k so n c a c h e dd a t ao b j e c t s ，t h o s eo b j e c t sb e c o m eir l a c c e s s i b let oo t h e r c o m p u t e r su n t i l a 1 0 c k i n ga l l t h o t i t y c a ng u a r a n t e et h a tt h el o c k h 0 1 d e rw i l lr i o ta g a i nd i r e c t l y a c c e s st h e s ed a t a w ed e s c r i b ea s e r v e rt h a ta c t s8 st h el o c k i n ga u t h o r i t ya n di m p l e m e r l t sa l e a s e b a s e dp r o t o c 0 1f o rr e v o k i r t g a c c e s st od a t ao b j e c t sl o c k e db y a nis o l a t e do rf a i l e dc o m p u t e r w h e nal e i j s ee x p i r e s ，t h es e r v e rc a l l b ea s s u r e dt h a tt h ec 1 iee l tr i ol o n g e ro c t so nl o c k e dd a t a a n dc a r l s a f e lyr e d is t r i b u t el o c k st 00 t h e rc l ie n t s d u r i n gr i o f m a 1o p e r a t i or l ， th is p r o t o c 0 1 i n v o k e s1 1 0 m e s s a g eo v e t h e a d t h e1 e a s e isd i f f e r e t i t f r o mt h el e a s ed e s c r i b e dir lvo p e r a t i 0 1 1 s y s t e m a t1 a s t am a t hm o d e lo ft h e1 e a s ep r o t o c 0 1 sisc o i i s t f u c t e d t h r o u g ht h em o d e l i n go f l e a s e p r o t o c o l s aa n a l y s i so fp e r f o l m a n c e is g a i t i e d k e yw o r d s ：s a n ，s h a r i n gc o n f l i c t ，c a c h ec o h e r e n c e ，l e a s ep r o t o c 0 1 华中科技大学硕士学位论文 1 绪论 数据是信息的符号，数据的价值取决于信息的价值。由于越来越多的有价值的 关键信息转变为数据，数据的价值也就越来越高。对于很多行业甚至个人而占，保 存在存储系统中的数据是最为宝贵的财富。在很多情况下，数据要比计算机系统设 备本身的价值高得多，尤其对金融、电信、商业、社保和军事等部门来说更是如此。 设备坏了可以花钱再买，而数据丢失了对于企业来讲，损失将是无法估量的，甚至 是毁灭性的。因此，信息存储系统的可靠性和可用性、数据备份和灾难恢复能力往 往是企业用户首先要考虑的问题。 计算机系统结构设计中有一条重要的原理i lj ：加快经常性事件( 即占用时间最 多的事件) 。计算机应用模式对经常性事件有决定性的作用。早期计算机仅用于计算， c p u 活动是最经常的事件，加快其速度最重要；之后在网络应用中，计算机通信成 为占时间最多的事件，加快网络速度就成为当务之急；目前在大部分网络应用中， 存储已成为经常性事件，正如专家认为，目前的计算瓶颈已从过去的c p u 、内存、 网络变为现在的存储，因此，存储是最值得加快的经常性事件。从技术的角度讲， 目前存储系统的i 0 率( 单位时间完成任务数) 和数传率( 每秒传输字节数) 还远 不能满足高端应用的需求，存储系统需要大幅度提高其速度性能。 1 1 存储技术的发展变迁 存储技术的发展经历了直连方式( d a s ) 、附网存储( n a s ) 、存储区域网( s a n ) 等方式。下面我们就简单的回顾以下： d a s 方式是基于s c s i 和文件服务器的数据存储方式，这是最传统的存储方式【2 i ， 同时也是现在应用中的主流形式。存储系统是基于服务器磁盘的对应结构，磁盘上 的数据是服务器的专有资源，存储任务依赖于服务器及其所挂接的l a n 。它是基于 服务器一磁盘的对应结构，磁盘上的数据是服务器的专有资源，磁盘与服务器的连接 s c s i 技术。这种技术的局限性在于：数据存储和传输效率低下，实时性差，可扩展 性差，服务器成为存储系统的u o 瓶颈，也无法实现异地容灾【3 】。 附网存储( n a s ) 可以理解为是对传统的文件服务器的一种改进，它的操作系 华中科技大学硕士学位论文 统是经过剔除的操作系统，在数据传输率方面更加高效。它因此也被称为瘦服务器。 瘦服务器仅仅用来对存储设备进行管理。外部用户可以直接通过网络访问设备，但 一些整体管理任务还是由服务器完成，此时服务器的负载相对减少很多。它具有支 持异构平台共享访问、低成本等优势，但扩展性、灾难恢复能力不足。 典型的n a s 都连接到公用的网络上，通常是以太网，提供带有预先配置好的磁 盘容量、集成的系统和存储管理软件，构成一个完备的存储解决方案。如图卜i 所示： 以太阐 i 口i 日日 兰， 操作 l 口l 一 系统 日日 舟 集成存储 菩尸端 n a s 服务器 图i - in a s 的体系结构 存储区域网的推出首先使服务器同存储系统之间的连接方式发生了根本性的变 革，基于f i b r ec h a n n e l ( 同时具备网络和通道特性，能够以千兆位速度进行数据传 输的技术) 的s a n 改变了传统服务器与磁盘阵列的主从关系。位于s a n 上所有设备 均处于平等的地位，任何一台服务器均可存取网络上任何一台存储设备，通过f i b r e c h a n n e l 高带宽和强大的i 0 处理能力，s a n 技术在可连接性、可扩展性以及性能方 面解决了s c s i 技术无法解决的问题，成为存储领域具有强大生命力的新技术1 4 1 。 图1 2 是一个典型的s a n 结构。它解决了传统方式存在的所有弊端。存储数 据流从l a n 中被分离到一个专用高速的网络中，数据可以在服务器和存储设备之间 共享。数据的管理也得到了简化。s a n 也被称为服务器后的网络( t h en e t w o r kb e h i n d t h es e r v e r s ) 。它通过路由器、网关、集线器、交换器等互联单元实现a n y - t o a n y 的连接，消除了单服务器访问数据容量和存储设备数量的限制，实现了服务器或多 个异构服务器共享存储设备( 包括磁盘、磁带和光盘) 。 s a n 类似于一个局域网，它把存储单元和服务器直接进行互联。s a n 的互联技 术也和l a n 类似，采用h u b ( 集线器) 和s w i t c h ( 交换机) 。s a n 提供了独立于服 务器网络系统之外几乎拥有无限存储能力的高速存储网络。它的构建可以采用多种 方式，但目前多采用高速的光纤通道作为传输媒体，将存储予系统网络化，实现了 真正高速共享存储的目标忙j 。 2 华中科技大学硕士学位论文 俘储区域刚，e ；刁 削 巳毒 7 弋一一 白 图i 一2 典型的s a n 结构图 光纤通道是实现s a n 的主要技术。基于光纤通道的s a n 有三种拓扑结构：点 对点( p o i n tt op o i n t ) 、仲裁坏( 时b i t r a t e dl o o p ) 、交换式网络结构( f a b f i c s ) 。基于 仲裁环( a r b i t r m e dl o o p ) 的结构是一种常见的形式，它比点对点形式更灵活且支持 更多的设备，比交换式更经济，得到了广泛应用。 目前存储区域网s a n 主要是基于光纤通道( f i b r ec h a n n e l ) 结构的。光纤通道 ( f i b r ec h a n n e l ) 技术是a n s i ( a m e r i c a nn a t i o n a ls t a n d a r d si n s t i t u t e ) 为网 络和通道i 0 接口建立的一个标准集成。它既具通道的特点，又具网络的特性。它 为通道和网络数据通信提供了一个通用接口，支持串行h i p p i 、i p i ( 智能外设接口) 、 s c s i 、i p 、a t m 等多种高级协议。其目的是为了在工作站、主机、超级计算机、存 储设备之间进行联网、存储和数据传输。 它的优点在于：同一链路上可同时传输通道和网络协议。速度快，它可以 绘计算机设备提供接近于设备处理速度的吞吐量。光纤通道与铸议无关，它有很 好的通用性，是一种通用传输机制。 1 2 共享存储面临的问题 存储区域网的应用大大简化了存储的管理，并且提供了许多很好的功能。如， 存储池、数据移动和备份等。但s a n 的发展也面临着许多问题，其中如何解决共享 存储带来的冲突问题是非常关键的问题，它是实现数据共享的基础。数据的一致性 问题也是s a n 研究的热点问题。由于存储区域网中存在多个客户端，当拥有锁的客 户端同锁服务器失去联系后，可能导致多个用户同时对同一个数据进行读写操作。 另外，每一个客户端都有本地的c a c h e ，如果没有一种控制机制，很容易引起c a c h e 3 华中科技大学硕士学位论文 一致问题，导致文件系统的完整性遭到破坏。本文试图通过对存储区域网的全面分 析来寻找到一种解决数据一致性问题的方法。 1 3 国内外研究现状 目前解决存储空间共享问题的方法主要有两种：集中控制和分布式管理1 6 l 。 集耳- 控制采用传统的c s 结构，即在s a n 系统中存在一台对存储空间进行集中分 配和管理的存储服务器，它按某种策略管理整个s a n 系统中所有的存储资源、设备和 空间，当s a n 系统中其它主机需要使用存储设备时。需要该存储服务器提供某种存储 服务后才能直接访问存储设备。 分布式管理则把存储空间的管理功能模块分布到系统的多台主机中，这些主机 中的存储管理功能模块按照某种事先约定的规则或者保持必要的通信，以保证存储 资源中数据共享的协调一致关系1 7 】。 集中控制的管理系统结构简单，容易实现，其缺点通信量较大，适宜于小规模 或中等规模系统，并且系统的管理开销极大地决定于管理策略，而管理策略制订较 为困难，存储管理服务器容易成为瓶颈。分布式管理系统结构复杂，实现困难，适 宜于中等规模或大规模系统，对于小规模或中等规模系统，其性能接近甚至低于集 中控制的管理系统。目前处于领先地位的v e r i t a s 、i b m 和h p 等国外著名公司的管理 软件产品，都采用静态动态划分存储空间、以配置文件为表现形式的分布式管理策 略【8 】，即把存储网络中的存储设备集合成为存储池，并划分为分区或卷空间后把各 分区或卷配置给s a n 中的各台主机或各个网段，分区或卷只能被其拥有的主机进行 读写操作，不同主机之间不能直接共享同一分区或卷中的数据，而只能通过传统文 件服务器的c s 模式共享数据。这种采用配置文件进行分布式管理的系统简单易行， 能够实现存储设备和s a n 存储空间的共享，但还不具备文件的直接共享和元数据共 享的能力。 1 4 主要工作 本文围绕存储区域网共享存储问题进行了深入地讨论和研究。共享存储的实现 分为两种：集中管理方式和分布式管理两种，集中管理方式实现了真正意义上的数 据共享，它适用于中小型系统，同时它还具有实现简单，易于管理等特点。我们主 要对集中管理方式的存储区域网进行了研究。 4 华中科技大学硕士学位论文 l 、在现有实验条件的基础上，设计了一个基于集中管理方式的存储区域网，通 过控制网和存储网将元数据和数据分开传输，减轻了服务器的负担，同时实现了元 数据和数据的分开存储。 2 、对集中管理方式实现的关键问题：共享冲突问题进行了研究。在充分分析 几种方法存在的问题后1 9 1 ，提出一种基于租约的c a c h e 一致性解决方案。 华中科技大学硕士学位论文 2 光纤通道存储区域网 光纤通道是第一个在s a n 中广泛实现的网络技术。光纤通道和s a n 一直是紧密联 系在一起的，甚至有些人认为光纤通道就是存储区域网s a n ，情况当然不是这样，光 纤通道仅仅只是一个连接技术，它不是建立s a n 的唯一技术。然而光纤通道却是构建 s a g 的最主要技术。因此有必要对它进行深入的研究。 2 1 光纤通道 光纤通道技术是a n s i ( a m e r i c a nn a t i o n a ls t a n d a r d si n s t i t u t e ) 为网络和通道i o 接口建立的一个标准集成。它既具通道的特点，又具网络的特性【i o l 。它为通道 和网络数据通信提供了一个通用接口，支持串行h i p p i 、i p i ( 智能外设接口) 、s c s i 、 i p 、a t m 等多种高级协议。其目的是为了在工作站、主机、超级计算机、存储设备 之间进行联网、存储和数据传输。 光纤通道是第一个在s a n 中广泛实现的网络技术。光纤通道定义了几种速度， 包括2 5 m b s 、5 0 m b s 、l o o m b s 、2 0 0 m b s 、4 0 0 m b s 。和并行s c s i 技术相比，光 纤通道实现了串行的s c s i ，用单根的光缆或铜缆连接网络节点。由于利用了串行 s c s i 协议，光纤通道可以延伸到l o 公里以外，与s c s i 的最大距离2 5 米相比，延 展性有了很大的提耐】。下面是光纤通道的一些特性。 l 、协议层 在传统的网络技术中，物理层以上的层由线缆、连接器和收发器组成，它们一 般合称为介质访问控制层，即m a c 层。m a c 层实现了系统如何在网络上进行通信 的算法。例如，以太网使用c s m a c d 协议，f d d i 使用8 0 2 5 协议进行令牌传递。 物理层合m a c 层合起来形成t c p i p 和o s i 协议的最底层抽象。 光纤通道协议栈包括五个标准层【1 2 】，具体如图2 一l 所示。这些层定义了物理 介质和传输速率( f c o ) ，数据编码和解码方案( f c - 1 ) ，帧协议和流控制( f c - 2 ) ， 公共服务和特征选择( f c 3 ) 以及针对各种数据通道和网络标准的高层协议和应用 接口( f c 一4 ) 。f c 一0 、f c 1 、f c 2 三层结合在一起又称为f c p h ( f i b r ec h a n n e l p h y s i c a la n ds i g n a l i n gl a y e r s ) 。 6 华中科技大学硕士学位论文 盯。曰三正咽叵卫 f c 一3 i 公共服务 i 厂 、 f c 一2 l帧协议流量控制li = = = = 二= = = = = = = 刊召i厂 召i f c l i 编码解码 i 专l i一。l 卧。e 三卫三三匡j 图2 一l 光纤通道协议栈 1 ) f c o ：光纤通道千兆位速度传输的物理层基础。定义了连接的物理端口特性， 包括介质和连接器的物理特性、电气特性和光特性、传输速率以及其它的一些连接 端口特性。物理介质有光纤、双绞线和同轴电缆。 2 ) f c 一1 ：f c l 根据a n s ix 3 t ii 标准，规定了8 b l o b 的编码解码方式和传输 协议，包括串行编码、解码规则、特殊字符和错误控制。传输编码必须是直流平衡 以满足接收单元的电气要求。特殊字符确保在串行比特流中出现的是短字符长度和 一定的跳变信号，以便时钟恢复。8 b 1 0 b 码在现实中的应用是稳定和简单的。 3 ) f c 一2 ：类似于其他定义了传输机制、包括帧定位、帧头内容、使用规则以及 流量控制等。光纤通道数据帧长度可变，可扩展地址。用于传输数据的光纤通道数 据帧长度最多达到2 k ，因此非常适合于大容量数据的传输。帧头内容包括控制信息、 源地址、目的地址、传输序列标识和交换设备等。6 4 字节可选帧头用于其它类型网 络在光纤通道上传输时的协议映射。光纤通道依赖数据帧头的内容来引发操作，如 把到达的数据发送到一个正确的缓冲区里。 4 ) f c 一3 ：定义了三种服务功能： s t r i p i n g ：目的是为了利用多个n _ p o r t 在多个连接上并行传输信息，这样 能充分利用传输带宽。 h u n tg r o u p s ：用于多个端口去响应一个相同名字地址的情况，它通过减少 到达”占线”的n _ p o r t 端口的概率来提高效率。 华中科技大学硕士学位论文 m u l t i c a s t ：用于将一个信息传递到多个目的端口。 5 ) f c 4 ：主要提供了各种通道标准和网络协议到光纤通道的映射。 已经映射到光纤通道的协议有以下几种 小型计算机系统接口( s c s i ) s c s i 一3 的协议映射称为光纤通道协议( f c p ) ， 它是光纤通道映射的最主要的协议。f c p 在任何光纤通道协议映射中被广泛 实现。 i p 协议光纤通道的i p 协议映射的实现目前已有产品销售。 虚拟接口结构( v i r t u a li n t e r f a c ea r c h i t e c t u r e ，v i a ) v i a 直接在应用和 网络适配器之间建立通信。v i a 是面向集群应用的。 高性能并行接口( h i g hp e r f o r m a n c ep a r a l l e li n t e r f a c e ，h i p p i ) h i p p 是一个旧的系统，存储连接技术用来进行高吞吐量的应用处理。映射h i p p i 协议到光纤通道可以扩展h i p p i 技术，因为它利用了光纤通道的超级性能和 远距离传输能力。 i e e e8 0 2 逻辑链路控制层( 8 0 2 2 ) i e e e ( i n s t i t u t eo fe l e c t r i c a la n d e l e c t r o n i c se n g i n e e r s ) 指定了几种用于局域网的协议，包括用于以太网的 i e e e8 0 2 3 介质访问控制协议和用于令牌环网的8 0 2 5 介质访问控制协议。 8 0 2 2 协议提供介质访问控制无关的内容，并将网络通信传递到高层协议， 如n e t b i o s 和i p 单字节命令代码集( s i n g l eb y t ec o m m a n dc o d es e t ，s b c c s ) s b c c s 是命令 和控制协议的实现，它是一个在i b m 主流系统所使用的e s c o n 存储i 0 中的 实现。 异步传输模式适配层5 ( a a l 5 ) 虽然a t m 主要是为了传输语音而设计的， 但它的a a l 5 协议却是独立于介质访问控制方法的，并且提供可扩展的系统 到系统的通信。 光纤连接( f i b r ec o n n e c t i v i l y ，f i c o n ) f i c o n 是对i b ms 3 9 0e s c o n 大 型机器流量的映射，它作为光纤通道网络上的上层协议。 2 、拓扑结构 光纤通道支持多种拓扑结构，主要有：点到点( l i n k s ) 、仲裁环( f c - a l ) 、交 3 华中科技大学硕士学位论文 换式网络结构( f a b r i c s ) 。 点到点拓扑结构环形拓扑结构t h b r i c 拓扑结构 存储设备存储设备 存储设备 图2 3 光纤通道三种拓扑结构 p o i n t t o p o i m 点对点：这是最简单的一种f c 拓扑结构，被用在仅有两个节点 间的连接。当两个节点距离较远并且需要专用高带宽连接时，它是一种非常理想的 选择。 s w i t c h e df a b r i c 交换式网络结构：交换式和点对点方式是f c 的两个最初规范。 s w i t c h 在它本身和连接方之间提供点对点连接，允许所有节点之间进行通讯。一个 或多个s w i t c h 有可构成一个大的f a b r i c 拓扑。 a r b i t r a t e dl o o p 仲裁环：这种拓扑结构允许所连接的节点共享可用的信道带宽。 延迟非常低( 仅为信道仲裁时间) ，但总的系统容量受限于所共享的单个光纤链路。 它提供了：= l 二点对点更多的灵活性和支持更多的设备，和s w i t c h e df a b r i c 相比它的价格 更经济。 3 、服务类型 在f c - p h 中定义了三种服务类型f h 】。 c l a s s1 - - - 有确认的面向连接的服务：在这种模式下，数据交换之前使用真正 的专用链路或通过交换结构的虚拟链路，在端点之间建立一个逻辑的点到点链路。 它提供了完全的端到端的差错恢复和流量控制，因此可以保证可靠、顺序的传递。 这种行为类似于i e e e 8 0 2 2l l c 的二类服务【1 5 】。 c 1 a s s2 - - - 有确认的无连接服务： 在这种模式下，帧在端点之间传递，没有差 错恢复和流量控制。然而，要给发送方一个确认，表明某个帧已被正确接收。这种 行为除了不保证顺序传递外，类似于i e e e 8 0 2 2l l c 的三类服务。 9 粤引酒翟丽粤引酒翟丽 华中科技大学硕士学位论文 c l a s s3 - - - 无确认的无连接服务： 它是光纤通道网络中最常使用的服务类型。 在这种模式中，帧传递没有保证和确认。这类似于i e e e 8 0 2l l c 的一类服务和通常 的以太网操作。这种类型的服务只能使用缓冲区到缓冲区的流量控制，这意味着传 输错误必须由高层协议来处理，这将导致延迟。通常，这种类型的错误恢复是基于 超时的，而不是在发生时识别错误。 无连接操作( 有确认或无确认) 在仲裁环路拓扑结构中最有效，因为它不需要通 过交换结构建立连接，这有利于减少延迟。第三类服务由于不存在信息应答和帧重 排的负担，因此能减小端口中的延迟，而信息也能在高层功能中更快地传递。这意 味着能更快地结束通信，释放端口和物理层的连接，使其可以被其它传输使用。和 交换式光纤网不同，仲裁环网共享介质，花在处理帧应答和帧排序上的时间可以被 其它节点用于进行仲裁以访问环或进行数据传输。因此它使得网络能以高效率运行。 存储i o 所关心的是高层f c p 串行s c s i 协议包括应答和重排功能，因此在底层 光纤通道网络和端口结构中不具备这些功能并不是什么问题。因此，第三类服务( 无 确认的无连接服务) 最适合被用于存储环境中。 2 2 存储区域网 存储区域网络s a n ( s t o r a g ea r e a n e t w o r k ) 是一种专用网络，可以把一个或多 个系统连接到存储设备和子系统，s a n 可以被看作是负责存储传输的“后端”网络， 而“前端”网络( 或称数据网络) 负责正常的t c p i p 传输。如图2 3 所示 冀 吕 图2 3s a n 结构 s a n 现在几乎成为了光纤通道的同义语【1 6 1 ，然而，事实上光纤通道并不是s a n 的 必要组成部分，因为任何一种网络连接技术或串行s c s i 技术都可以用来建立s a n ”】。 1 0 华中科技大学硕士学位论文 同时，人们也希望光纤通道能够运行t c p i p 协议，这样它完全可以用于连接各种网 络的传输，包括客户、服务器、n a s 服务器，也可以连接存储设备和存储子系统。 l 、存储网络的组成 一般而言，存储网络包括n a s 和s a n 。n a s 源于基于以太网的数据访问技术， 并以网络文件服务器为模型。s a n 根植于s c s i 存储技术踟，目前的s a n 使用交换 机和集线器代替了并行s c s i 总线。 n a s 技术早于s a n 技术出现。因此当s a n 出现时，出现了大量关于两种技术 的争论。尽管两种技术在体系结构上不同，但总体而言它们之间的相同点多于不同 点。实际上，很有可能n a s 和s a n 技术会最终被集成到一起。下面对从文件组织 和存储层的角度来对这两种技术进行研究。 存储网络是由三种基本组成部分构成的：连接技术、存储技术和文件组织系统。 连接技术：简单地说，连接就是用于存储设备和系统及其他设备相连接的有关 的连接性技术。它包括各种各样的技术，如网络布线、主机适配器、网络交换机和 集线器，以及包括网络流控制、虚拟网络和网络安全等逻辑成分。简而言之，它是 涉及在存储网络上传输的任何事务。 连接的物理成分容易识别，但逻辑成分识别起来却比较困难。虚拟网络( 或称 为v l a n ) 和定义v l a n 交换操作的8 0 2 i q 是连接技术，低级的网络控制逻辑以 及存储网络适配器的驱动程序也属于连接技术。然而，更高级的存储协议驱动程序 并不是连接技术，如，管理应用对存储的请求和明确描述存储网络通信的存储内容 的技术等。 存储技术：存储技术提高了一个稳定的、非易失的、可靠的保存数据的地方， 保证数据能够被重复使用。存储技术既拥有物理成分，也拥有逻辑成分。物理成分 包括磁盘驱动器、电源、冷却系统和连接等：逻辑成分包括r a i d 1 9 】、镜像、卷管 理【2 0 】软件等，卷管理软件的目的是把多个磁盘驱动器映射为一个单一的虚拟逻辑空 | 日j 。逻辑成分也包括存储网络适配器的应用级驱动程序，它用于表示通过存储网络 在计算机和存储设备及子系统间传送的命令和数据。因为存储是面向设备级的，而 文件组织使用实在的或虚拟的存储，并且是面向应用级的，所以存储和文件组织是 两个不同的概念。 华中科技大学硕士学位论文 文件组织系统：文件组织就是组织存储数据的智能过程。一般来说，文件组织 由文件系统和数据库系统完成，文件系统和数据库系统确定数据如何被存储和还原， 那些额外信息应该与数据存储在一起以描述数据( 称为元数据，m e t a d a t a ) ，以及存 储的数据是如何提高给应用和用户，等等。文件组织功能的本质是逻辑的，它不依 赖于硬件。 文件组织层的功能有两个作用：向用户端和应用表示抽象对象，以及在真实或 虚拟的存储设备上组织数据层。如图2 4 所示： 文件组织层t = = = = 二二 表示层 数据结构 图2 4 文件组织层的组成 文件系统和数据库提供存储网络文件组织层的主要功能。而存储管理应用，如 备份，则作为文件组织层的应用存在。 2 、s a n 结构和拓扑 s a n 技术允许存储设备和多个服务器进行通信，从而突破了传统的存储器与计 算机之间的约束。图2 5 说明了存储设备是如何从以主机为中心的结构转化为以网 络为中心的结构。 耻螗 豇曲 服务器 服务器 图2 5 存储设备与主机连接方式的变化 将存储设备迁移到一个可供多用户访问的网络上的方案有很多显著的优点。如 用户可以突破总线结构的限制来扩充存储设备。另外，s a n 能提供更灵活、复杂的 主机连接方式，从而极大地提高数据可用性。 s a n 主要存在两种网络拓扑结构：交换型和环型。 华中科技大学硕士学位论文 交换网络结构：存储通道的链路层拥塞已经成为基于总线存储的致命弱点。根 本上说，共享存储网络的连接建立的系统有容量和性能的限制。交换技术通过消除 链路拥塞并将拥塞控制转移到交换机内部。 交换机是一个网络设备，它由多个端口可以连接到其他单元，如网络接口卡、 主机i 0 控制器、存储子系统、桥、路由器和其他交换机。 环状网：坏网是共享传输介质的网络，这意味着其中的所有单元都必须在访问 网络时相互竞争。在任一给定时刻环上只有一组数据交换。相反的，交换技术可 以允许并发传输，从而提供比环网更高的总带宽。因此，环网只适用于局部的s a n 解决方案，而对于企业级s a n 则不太适合。 2 3s a n 文件组织系统设计 存储网络的基本需求就是提高存储能力、提供高数据可用性、以及在性能上适 应处理器升级。随着存储区域网的产生，传统的文件管理系统也发生了响应的变化。 这一节主要讨论存储网络文件系统的问题。 存储网络文件系统的设计主要有两种方法：集中式文件组织管理和分布式元数 据和直接存取数据的网络文件组织。 l 、集中式文件组织管理器 共 图2 6 集中式文件组织系统网络配置 这种文件组织系统的网络配置如图2 6 所示。 在存储产业界，已经有很多公司在这方面提供新的初步开发的产品，显然，集 中式文件组织管理器的方法是有前途的。 1 ) 集中式文件组织管理器的作用 集中式文件组织管理器在文件组织系统中扮演“大哥”的角色，监视文件组织 系统中的所有操作。 一一一 1 3 华中科技大学硕士学位论文 文件组织管理器为客户端系统提供数据描述，客户端又通过界面向用户和应用 描述数据。当一个用户或应用试图存取文件组织系统中的数据时，他向文件组织管 理器发出请求。这一请求通过数据网络连接，如以太网，使用t c p i p 协议传送。文 件组织管理器接收这请求并启动它的存取控制机制判断用户或应用是否有存取这 一数据的权限，然后彳+ 检查是否有其他用户锁定这一数据。如果客户端不能存取文 件，文件组织管理器会向客户端发出拒绝或错误信息。 如果用户拥有存取权利并没有被文件锁定拒绝，文件组织管理器就用数据结构 函数判断数据的网络地址和存储位置。注意：数据位置不仅仅是逻辑块地址，它还包 括附加的网络地址或存储子系统的名称。网络位置信息也被传送到客户端系统。 2 ) 网络数据的客户端存驳 客户端系统接收网络位置，存储到本地，然后开始直接通过网络使用文件组织 系统的存储或消息协议存取数据。在s a n 文件系统中，存取网络中的存储数据使用的 协议是串行s c s i 。 3 ) 使用集中式文件组织管理器写数据 使用集中式文件组织管理器写数据和更新数据需要一个反向过程，客户端系统 将它的写数据请求传送到文件组织管理器。文件组织管理器决定数据放在哪里，然 后向客户端发送“写到”的位置。 写操作有很多种。例如，当更新一个文件时没有改变存储的物理大小，客户端 就可以赢接写到存储中，并通知文件组织管理器需要在文件系统中所做的改动。 有时我们需要创建和修改元数据，这些元数据需要从客户端传送到文件组织管 理器中。元数据信息可以与请求“写到”位置信息一起从客户端传送到文件组织管 理器中，或者在数据真正写完后再从客户端发送出去。这两种情况都需要错误恢复 机制，i 以回退或重复在文件组织系统中建立文件组织元数据。 4 ) 集中式文件组织管理器的特点 集中式文件组织管理器方法是从主机系统中抽出文件组织函数，并将其移植到 其他存取网络组件中。也就是说，文件组织( 元数据) 可以单独管理并为存储网络 操作提供资源。 与单机系统相比较，使用集中式文件组织系统可以提供一个更好的数据存取方 法。为了避免存储网络中某个服务器死机，存储网络将存储对网络中的所有系统开 放，集中式文件组织管理器也将文件组织函数对网络开放。文件组织功能在网络中 可以被任意使用的同时，也管理着所有的文件组织函数，包括读和写。因此，对于 操作频繁的存储网络，它可能是一个瓶颈和单点故障。不过它可以通过使用高速低 1 4 华中科技大学硕士学位论文 延迟网络和集群技术来解决。 2 、分布式文件组织管理器 存储网络文件组织系统的另一个模型是将文件组织系统块放入到存储网络子系 统中，并在网络系统中分布元数据和数据。 在网络存储文件组织系统中，寻址模式决定了网络地址及存储地址的存储位置。 在集中式文件组织系统，它的文件被写到网络中专有的存储子系统中，而分稚式元 数据+ 数据文件组织系统将数据和元数据分散到系统中不同的存储节点上。如图2 7 所示： 义件系统地址空间 1 分布式元数据+ ，爿数据文件组绍悉 元数据a 智能存储子系统 数据b ， , - - - - - e 元数据d 元数据b 数据a 型、智能存储子系统 元数据cl 智能存储子系统鬻能存储f 系统 图2 7 分布式元数据+ 数据文件组织系统 1 ) 分布式元数据和数据文件组织系统的特点分布式元数据+ 数据文件组织 系统是一个独立的、分布式系统，所有使用该系统的客户端都使用同一个文件组织 系统映像。每个使用系统的客户端都在系统内保存一张数据视图。 分布式元数据+ 数据文件组织系统有三个基本组成要素，它们是： a 、集群节点对等通信 b 、参与节点中统一的元数据和数据分布 c 、基于子系统数据结构功能 对等通信允许分散系统协调子系统之问的操作。构建子系统之间的结构有很多 种方法，对等方式有利于出错的处理。元数据和数据在子系统中统一分布以保证一 致的性能和容量。最后，这种设计的子系统提供数据结构函数，为所有存储的数据 分配逻辑块地址。换句话说，每个系统节点负责管理自己的存储空间，包括管理本 地锁定。当然，数据分布的协调和错误恢复需要处理器和网络开销以解决传送错误 和子系统中的其他错误，如缺少运行空间等。 华中科技大学硕士学位论文 2 ) 数据分条与冗余分布式元数据+ 数据系统可以使用r a i d g 法在存储网络 中处理文件组织数据冗余。文件组织系统中的目录数据或元数据分布在存储网络 中，不同子系统保存这些数据的一份冗余拷贝。 小文件写成一个单一实体被镜像到两个或多个子系统中，大文件分割成文件 条在网络中传送，并分布在多个存储子系统的不同区域中，保存每个文件条的冗 余拷贝。 3 ) 分布式元数据和数据文件组织系统的优点分布式元数据+ 数据文件组织 系统的一个主要优点就是结构上的冗余可以排除错误节点。实现文件条冗余使分 布节点发生错误时仍然可以继续操作成为可能。 分布式元数据+ 数据文件组织系统也有可扩展性优势。通过集成附加文件组织 子系统和在新的配置中重新分配数据和元数据条，系统可以扩充容量。同样方法， 通过增加子系统的数量和增加并行优势可以改进系统性能。在多个子系统中分配文 件数据可以使系统本身有很好的读性能，因为一个读操作指令可以驱动多个子系统 存取分布在多个独立磁盘设备上的数据。 分布式系统的另一个优点是本地予系统无需冗余保护。分布式元数据+ 数据文 件组织系统的文件组织级冗余为跨网络存储空间的数据提供了完全的冗余。因此， 使用r a i d 5 没有读、编辑、写损失。当然，需要在子系统中使用存储级镜像冗余来 增加保护和读性能。 4 ) 使用分布式元数据+ 数据文件组织系统的缺点工作在分布式元数据+ 数 据文件组织系统中的子系统必须使用专有技术完成工作。与集中式文件组织系统不 同，主流组件可能不支持这种技术。这会对方案的实施增加成本和复杂度。另一个 缺点是数据的备份比较困难，因为数据是分散在子系统中的。 2 4 小结 本章介绍了存储区域网的相关内容，对存储网络的组成连接、存储和文件 组织进行了分析介绍。s a n 中使用了多种体系结构来实现，尽管s a n 中有许多连 接技术可供选择，但交换网络似乎是将系统连接到存储的结构中最合适的。环网也 有很多优点，但缺少交换结构具有的可扩展性和高带宽。 最后讨论了存储网络的文件组织技术，重点介绍了集中式文件组织 管理器和分布式文件组织管理器。 6 华中科技大学硕士学位论文 3 共享存储及并发控制问题 多台计算机实现对同一存储介质的共享访问，是存储区域网实现的目标之一。 它实现了数据的集中存储，便以数据的控制和管理。 共享存储的实现有两种方式，一种是多个计算机共享同个存储介质，存储介 质被分为不同的分区，而不同的分区是属于不同的计算机所有，例如，分区a 属于 计算机a ，分区b 属于计算机b ，计算机a 不能对分区b 中的数据进行读写，同样， 计算机b 也不能对分区a 中的数据进行读写。这种共享其实只是存储介质的共享， 属于设备级的共享，而数据并没有真正得到共享。 另外一种方式是多个计算机不但共事同一个存储介质，而且共享介质中的数据， 存储介质中的数据是公共的，而不是被某一个计算机所独有，这种方式是真正意义 上的共享，属于文件级的共享。( 我们要研究的就是第二种情况的共享存储问题。) 3 1 共享存储文件组织系统的意义 数据共享确保了一个唯一的、即时的、一致的数据视图，与几个不同的系统在 不同的地方存储不同版本的数据不同。对于一些关键业务部门，同数据的多版本 会引起严重的后果。例如，引用错误、过时的数据版本可能会导致错误的决策，引 起工作的混乱。 另外，共享存储可以将多个物理存储部件集中在一起形成一个存储共享池进行 管理，同样，数据共享池也可以将信息集中在一起，并把它们当做一个整体资源进 行管理和保护。不过，在存储共享在每个系统必须自己管理分配给它的存储容量， 而数据共享可以由一个整体的管理器进行所有的数据管理，这明显减少了多个独立 系统管理数据引起的麻烦。 3 2 数据共享的实现 文件组织系统数据共享是一个完全不同于传统文件组织系统的概念。存储共享 向每一个服务器提供虚拟的专有逻辑地址空间，而数据共享文件组织系统允许多个 服务器访问同一逻辑地址空间的内容。数据共享文件组织系统与集群相关，这罩， 集群系统需要数据共享配置，但集群并不是数据共享的要素，因为许多非集群系统 1 7 华中科技大学硕士学位论文 也可以共享数据。 下面图3 1 的模型中，四个不同的应用系统通过光纤通道集线