（计算机系统结构专业论文）基于san的容灾方案的研究与设计.pdf

摘要 摘要 本文通过对存储区域网络和远程容灾技术的研究，给出了一个适合大中型 企业的远程应用级容灾解决方案。首先介绍和分析了存储区域网络的结构、特 点和优势。其次讨论了容灾和业务可持续性，分析了容灾系统的分类、特点、 以及设计容灾系统必须考虑的因素和衡量容灾系统性能的指标。最后给出了一 个基于存储区域网络的远程容灾系统设计架构，以及基于其上的一个远程应用 级容灾管理平台设计方案。 本文中强调了两个重点，一个是存储区域网络应用于建立容灾系统时，所 具有的优势；再一个就是应用级容灾平台的设计存储区域网络为容灾系统提 供了高效可靠的存储管理、数据备份的途径，同时还具有高可扩展性等优势 文中给出的容灾管理平台，基于业务同步文件，达到主系统和备系统之间业务 同步的目的同时具有状态监控功能，备系统可以及时获取主系统受灾状况， 必要时，迅速进行容灾切换 关键字：存储区域网络容灾光纤交换通道业务同步 a b s t r a c t a b s t r a c t as o l u t i o n , w h i c hi sr e l i a b l e ，a v a i l a b l e , f l e x i b l ea n ds e r v i c e a b l e ，w a sp r o p o s e d t ol o n gd i s t a n c ed i s a s t e rr e c o v e r yb a s e do ns a n ( s t o r a g ea r e an e t w o r k ) o v e r d i s t a n c e so fh u n d r e d st ot h o u s a n d so fk i l o m e t e r s i nt h i ss o l u t i o n , t w os i m i l a r s e p a r a t e ds a n s , t ow h i c h t h et w oc o r r e s p o n d i n gc l u s t e r i n gb u s i n e s ss y s t e m sw t - e c o n n e c t e d , w c 他c o n n e c t e dt o g e t h e ro v e ri pa n ds o n e t s d hn e t w o r k o n eo ft h e t w oc o n n e c t e db u s i n e s ss y s t e m , c a l l e dm a s t e rs y s t e m , r u nt h eb u s i n e s sr o u t i n e l y a n d p r o v i d e st h es e r v i c e sf o rt h ec l i e n t a n dt h eo l h 盯s y s t e m , e a l l e ds l a v es y s t e m , w f l sc o n t r o l l e db yt h es y n c h r o n i z a t i o nm e c h a n i s ma n dn l nt h eb u s i n e s sf o l l o w i n g a n dd e p e n do nt h em a s t e rs y s t e m , b u t l on o tp r o v i d es e r v i c a ka f t e rt h ef a t a l d i s a s t e rh a p p e n e dt om a s t e rs y s t e m , t h es l a v es y s t e mw i l ls o o na w a r eo ft h a ta n d s w i t c ht ot h em a s t e rm o d e , r u n n i n gi n d e p e n d e n t l ya n dp r o v i d e sc o n t i n u e ss e r v i c e s f o rt h ec l i e n t i nt h ep a p e r , t h em e r i t so fs a nt ot h ed i s a s t e rr e c o v e r ys y s t e mw e r ea n a l y z e d , t h ef u n d a m e n t a ls y s t e ms t r u c t u r ew a sp r o p o s e da n dad i s a s t e r r e c o v e r y m a n a g e m e n tp l a t f o r mw a sd e s i g n e d m u c ho f t h em a n a g e m e n tp l a t f o r mh a v eb e e n e m p l o y e da n dp r o v e dr e l i a b l e , a v a i l a b l e , f l e x i b l ea n ds e r v i c e a b l e k e yw o r d s ：s a nd i s a s t e rr e e e v e r yo p t i a af i b e rc h a n n e l 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所列的内容外，论文中不包 含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：董么 关于论文使用授权说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权属西安电子科技大学。本人保证毕业离 校后，发表论文或使用论文工作成果时署名仍然为西安电子科技大学。学校有权 保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分 内容，可以允许采取影印、缩印或其他手段保存论文。( 保密的论文在解密后遵守 此规定) 本学位论文属于保密，在年解密后适用本授权书。 本人签名：董熊 日期：2 。，3 导师签名 珥 第一章绪论 第一章绪论 1 1 研究背景 信息化社会的发展，为政府、企业及个人带来了前所未有的便捷。与此同 时，信息化所产生和依赖的数据迅速成为企业的核心财产，特别对于信息业、 银行业来说，更是如此。对于这些企业来说，数据量的增长速度往往超过预计， 数据遇到的不安全隐患不断出现。那么，如何高效地存储并管理数据，如何快 速地访问数据、如何安全合理地使用数据，以及如何可靠地保护数据，则成为 企业在规划建设、管理维护时，首先要考虑和解决的问题。不仅这些，人们提 出的无间断的2 4 小时x 3 6 5 天服务要求，逐渐成为各行各业的服务标准。服 务的中断，往往会带来巨大的损失。这就要求，即使在发生很大灾难或事故的 情况下，也需要做到在客户不知情的情况下立即恢复运行 针对睹上问题，存储专家在设备可靠性、故障避免、故障恢复、以及数据 存储方式上作了很大的努力和贡献。其中，在解决数据的高效存储管理、快速 访问闯题上，改变了传统的d a s ( d i r e c ta t t a c h e ds t o r a g e 直接连接存储) ， 提出了n a s ：( n e t w o r ka t t a c h e ds t o r a g e 网络连接存储) 和s a n ( s t o r a g ea r e a n e t w o r k 存储区域网络) 新的存储方法和概念在解决可靠保护，故障避免及 故障恢复问题上，提出了服务器集群组织方式、网络冗余连接、离线备份、镜 像、异地容灾等技术。 。 作者参与了一个大型远距离应用级容灾系统的改造项目，此项目在距离较 远的两地建立了两个相连的基于s a n 的业务网络实现容灾，本文是在对此容 灾系统认识和学习、做出了一定的优化和改进的基础上撰写而成的。 1 2 研究现状 在国外，很多存储公司，例如e m c ，l i p ，m m 等，在存储及容灾方面投 入了大量的人力、物力进行研究和试验，并且已经有了比较成熟和先进的案例 和产品。由于建立完善的存储区域网络和容灾系统投资较大的原因，国内在这 方面投入的研究还不够，只有在少数大型企业中实旖了存储区域网络和容灾系 统而已经实施的系统，很多在性能、可靠性上没有达到预期的效果 存储技术，特别是存储区域网络正在迅猛的发展和普及实施。同时企业对 于灾难避免、灾难恢复、业务永续性的要求越来越高 2 基于s a n 的容灾方案研究与设计 1 3 研究内容 本论文在研究存储区域网络的基础上，结合远程容灾技术，给出了一个高性 能、高可靠性、高可扩展性的基于存储区域网络的远程应用级容灾方案。 论文主要的研究工作如下： ( 1 ) 分析了当前的存储技术，特别是存储区域网存储技术： ( 2 ) 研究了远程容灾系统中涉及到的关键技术： ( 3 ) 提出了一个远程容灾解决方案模型，其中部分模块已经实施。经验证达 到了预期的效果 1 4 本文的组织 本文共分为七章，各章的内容安排如下： 第一章绪论概述了本文的研究背景、研究现状和研究内容。 第二章存储技术和存储区域网络概述了当前常用的存储技术；分析了存储 区域网络，包括实现存储区域网络的软硬件、通信协议、扩展方法、存储区域网 络相对于其他存储技术的优点、存储区域网络中的数据备份策略：给出了存储区 域网络的研究热点和未来发展方向。 第三章容灾和业务持续性给出了一组权威数据，说明容灾和业务持续性对 企业的重要性；描述了容灾中的关键技术之一的数据备份；介绍了高可用性系统， 它是容灾系统设计需要达到的目标系统，并给出了衡量系统可用性的通用方法； 简单的介绍了容灾系统的概念、特点及分类、设计容灾系统需要考虑的主要因素， 以及衡量容灾系统性能的指标 第四章基于存储区域网络的远程应用级容灾方案的系统结构给出了远程应 用级容灾方案的设计目标、网络系统架构，并对系统架构进行了解析 第五章远程应用级容灾管理系统设计。综述了应用级容灾过程，其中说明了 主备系统之问如何实现业务同步和正确处理时回依赖关系；给出了远程应用级系 统模型；容灾管理平台设计结构等 第六章总结和展望。对本文所做的工作、存在的阎题以及下一步的工作进行 了简单的阐述。 第二章存储技术与存储区域网络3 第二章存储技术与存储区域网络 2 1 存储技术概述 2 1 1 服务器直连存储 目前应用最广和最成熟的存储方式是d a s ( d i r e c ta t t a c h e ds t o r a g e 直连 存储) 结构i n ，如图2 1 所示在此结构中，存储设备独立地直接连接在其所 属的服务器上，仅供直接相连的服务器访 问。为使其它服务器访问，必须经过授权， 并且访问必须经过直接相连的服务器。优 点是管理简单，访问快捷但缺点也是很 明显的，数据信息被存储在各个孤岛上， 一个服务器要访问另一服务器管理的数 据时，必须首先建立服务器之间的连接， 这不但对访问效率、网络带宽带来很大的 影响，还往往会因为数据被存储多份儿而 造成数据的不一致，存储空间浪费等问 题，一般这种存储方法用在个人电脑上。 存储存储 图2 1 直连存储 乞1 2 网络连接存储 为了克服d a s 的缺点，提出了n a s ( n e t w o r k a t t a c h e d s t o r a g e 网络连接 存储) 存储结构i l j ，如图2 2 所示在此 结构中，存储设备以共享的方式连接在网 络上，可以被所有的服务器共享直接访 问这种方式解决了数据不一致问题，但 同样存在着比较棘手的问题：首先，对数 据进行备份时，服务器必须停止业务响应 面进行数据备份控制，这就是所谓的停机 备份其次，备份数据流和业务数据流需 要通过同一条网络线路，这极大地影响了 业务的响应速度。最后，数据的共享访问 直接带来的问题是数据安全访问的控制问题， 这在n a s 中尚无有效的解决方法 n sn a s 存储存铸 图2 2 网络连接存储 4 基于s a n 的容灾方案研究与设计 2 1 3 存储区域网络 为了彻底的解决存储共享和集中存储管理的问题，s a n 存储方式应运而生l 。 如图2 3 所示。在s a n 存储结构中，存储设备被连接在一起构成一个独立的存储 区域网络存储区域网络通常用光纤作 为连接介质，以提供足够的带宽。在此 结构中，存储空间进行统一管理，提高 管理的效率，降低管理成本。采用存储 分区的方法，提高数据访问的安全性。 数据备份过程不会影响服务器，称其为 f r e e - s e r v e r ( 免服务器) 备份方式。备份 数据直接通过存储区域网络进行传输， 不占用业务网络带宽，称其为f r e e - l a n ( 免局域网) 备份方式服务器和存储 空间可以灵活的扩展，不会彼此产生影 响。下面一节将对存储区域网络进行详 细的讨论。 存站设备 ；储设鲁存储设鲁 2 2 存储区域网络 图2 3 存储区域网络 2 2 1 存储区域网络的概念和结构 准确的说，存储区域网络是一个专用网络，它用来在物理上连接存储设备和 应用服务器，使服务器对存储设备可以进行高速可靠的访阀；同时也在逻辑上隔 离存储设备和服务器，使得存储设备及存储空阃可以作为一个大的存储池来集中 进行管理，提高了管理的灵活性、访问效率，而且不需要应用服务器的干涉；服 务器的扩展和存储空回的扩展，不会相互造成影响 存储区域网络的连接方式通常有三种：光纤通道，s c s i ( s m a l lc o m p e t e rs y s t o m i n t e r f a c e 小型计算机系统接口) 和e s c o n ( e n t = 1 ) d 舱s y s t c m sc o n n e c t i o n 企业级 系统连接) 1 2 1 e s c o n 一般用于i b m 大型机系统；s c s i 在传统的以服务器为中 心的系统中使用很广泛，但有以下缺点：单主机连接，最多支持1 5 台外设，连接 距离限制在1 2 米等一般情况下，存储区域网络采用光纤信道f c ( f i l e rc h a n n e l ) 及光纤信道协议f c p ( f i b e rc h a n n e lp r o t o c 0 1 ) 连接。 2 2 2 存储区域网络的通信协议 光纤通道协议f c p 簇是一个开放式的国际标准，由a n s i ( a m e r i c a nn a t i o n a l 第二章存储技术与存储区域网络5 s t a n d a r d si n s t i t u t e ) 制定，它可以以光纤或同轴电缆作为传输介质。f c p 分为五层， 支持多种上层协议【3 l ，如图2 。4 所示。 f c - 0 一物理介质接口在不同的介质上规定了传输速度，通常使用的介质 有光纤和同轴电缆 f c 1 一数据的编码和解码以及在物理介质上传输的物理链路控制信息。目 前使用的编码方式 是4 b s b 和 8 b 1 0 b 编解码方 式。 f c - 2 一传输组成 帧、序列以及交换 的协议信息单元， 并且规定服务类型 和流量控制等 f 一提供诸如 二二三三三二 f c f | c r - t 一 一卜 l竺：竺ll 绺霹 囤围困圈| 图2 4 光纤通道协议f c p 簇 分段处理( s t d p h l g ) 、节选组( h u n tg r o u p ) 以及组播等高级特征所需要的 通用服务 f c - 4 一运行在光纤信道上的应用程序接口，如光纤信道协议中的小型计算 机系统接口，目前在s a n 中f c 4 上使用的最普遍的是s c s i 。 f l p 协议的各层可以对应到o s i 各层上f c - 0 和部分f c - 1 功能对应到o 鲫 的物理层。f c - 1 和f c - 2 对应到o s i 的数据链路层，f c - 3 对应到o s i 的网络层， f c - 4 对应到传输层，光纤信道的数据帧最长为2 1 4 8 字节。 2 2 3 存储区域网络的硬件设备及其连接 存储区域网络中的硬件设备主要包括连接介质、光纤通道交换机、主机总线 适配器h b a ( h o s tb u s a d a p t o r ) 、光纤通路多协议路由器和存储设备等。 1 s a n 连接介质 存储区域网络的连接介质可以是光纤或同轴电缆，光纤介质拥有比同轴电缆 更远的传输距离和更好的抗干扰能力。f c 提供2 6 6 m b s 到4 g b s 的传输速率范 围，长达1 0 k m 的传输距离，与距离无关的高带宽利用率，可以传送多种接口命 令集和数据，包括口、s c s i ( s m a l lc o m p u t 盱s e r i a li n t e r f a c e 小型计算机串行接 口) 、i e i ( i n t e l l i g e n tp e r i p h e r a li n t e r f a c e 智能外围接口) 以及音频视频。 2 s a n 光纤通道交换机 6 基于s a n 的容灾方案研究与设计 s a n 光纤通道交换机负责在服务器和存储设备之同管理和建立连接、传输数 据。每个交换机有多个端口，根据每个端口连接的设备不同，端口发挥的作用有 所不同。目前通用的光线通道标准是t l l 3 ，t 1 1 3 标准定义了三种端口1 1 l ：f 端口 ( 用于连接服务器、存储设备、路由器、网桥等设备) ，e 端口( 用于交换机问互 连) 以及g 端口( 通用端口，根据厂商的实现可以作为f 端口或e 端口) 。光纤通 道交换机中有一个支持端口之间交换连接的文件，通常称为命名服务数据库文件。 在此文件中，记录着每个端口的连接情况。每个设备在连接到一个端口时，必须 在命名服务数据库文件中进行登记，登记的信息主要包括设备的名称、地址、类 型以及服务种类等信息。在建设存储区域网络时，必须保证将要连接到交换机的 所有设备都能够为此交换机所支持 3 s a n 主机总线适配器1 4 j 主机总线适配器h b a 用于将主机连接到存储网络，类似于网络适配器，它将 服务器s c s i 协议和光线网络协议进行相互转换h b a 连接在服务器的p c i 总线 上，通过h b a 驱动器程序来支持光纤网络拓扑h b a 可分为单端口和多端口两 种，多端口h b a 为服务器提供了更多的连接路径。一台服务器也可以配置多个 m i a 通过多个连接路径可以为服务器提供多条冗余连接路径，以防止单条路径 失败，也可以将一个服务器连接到多个存储区域网络中提供灵活的应用。有的h b a 还可以提供服务器与光纤交换机之间的数据传输缓冲功能。认需要与服务器和 光纤通道交换机兼容，网络中所有节点中的h b a 必须是完全一致的。而且必须 采用相同的驱动程序和固件版本 4 s n 存储设备 存储设备包括磁带、磁盘等。磁带通过磁带控制器连接到s a n 中，磁带是顺 序访问设备，访问速度较慢，通常作为离线备份设备。磁盘是随机访问设备，访 问速度较快，可以单独连接到s a n 中但由于单个磁盘的容量不能满足需要，而 且连接多个磁盘对他们进行单独管理比较复杂，所以通常将多个磁盘组织在一起 进行统一管理目前有两种组织方式比较通用，j b o d ( j u s t a b u n c h o f d i s k s 一摞 磁盘) 和r a i d ( r e d u n d a n t a r r a y o f l n d e p e n d t d i s k s 磁盘冗余阵列) 1 4 1 。 j b o d 是指将多个磁盘串行连接起来，形成一个大的磁盘来使用。j b o d 的存 储性能，完全等同于单一的磁盘存储与j b o d 不同，r a i d 在扩展存储空间时， 同时改进了存储性能，磁盘的利用率及数据的安全性能等 5 髓i d 柳 r a i d 主要思想是将多个容量较小的磁盘并行组成一个阵列，当作一个大的磁 盘来使用将连续的数据分成段，依次将连续的数据分段存放在不同的磁盘中 在存取数据时，可以使所有磁盘同时工作例如要读取五段数据，如果将这五段 数据存放在同一个磁盘中，每次只能读取一段，则需要读取五次如果按顺序将 第二章存储技术与存储区域网络 7 这五段数据存放在五个存储其中，则五个存储器同时工作，一次便可读出，写入 时同理，这样便大大的节省了存取时间。通常，r a i d 根据不同的应用可分为6 级， 依次为r a i d l e v e l 0 ，1 ，2 ，3 ，4 ，5 ( 级别数字的大小并不代表技术的高低) ，根 据应用需求来选择r a i d 级别。r a i d0 为r a i d 最基本的形式，实现了数据的分 段存储功能，优点是便宜，灵活。r a i d1 为了保护数据的安全性，在磁盘阵列中 实现了数据镜像，同样的数据在磁盘阵列中不同的磁盘上存储两份这样看起来 似乎磁盘浪费很大，但随着磁盘价格越来越低，不会造成负担，r a i d1 提供了很 好的容错能力r a m2 在磁盘阵列中加入了海明码以保证数据的安全性能。r a i n 3 用存储阵列中的一个磁盘存放其它磁盘数据的奇偶校验信息，使用数据块作为 计算奇偶校验信息的基本单位。因为在读取和写入时要计算奇偶校验信息，所以 存储性能较差r a d4 与r a i d3 不同之处在于r a d 使用扇区作为计算奇偶 校验信息的基本单位。存取性能较r a i d3 更好，但存放校验信息的磁盘是存储 阵列的瓶颈。r a i d 5 在r a i d 4 的基础上作了改进，它将奇偶校验信息不单独存 放在一个磁盘中，而将其循环存放在各个磁盘中以避免瓶颈，r a i d5 的控制较为 复杂r a 毋o 及r a i dl 适用于p c 及p c 相关的系统，如小型的网络服务器 ( n 酿v o r k 鲫r v 砷及需要高磁盘容量与快速磁盘存取的工作站等，比较便宜；r a i d3 及r a i d 4 适用于大型电脑及影像、c a d c a m 等处理；r a i d 5 多用于o i 烈0 i l l i 鹏 t r a n s a c t i o np r o c e s s i n g 在线事物处理x 因为金融机构及大型数据处理中心有迫切 需要，故使用较多而较有名气“r a i d2 较少使用 6 s a n 分区嘲一 一个s a n 中可以连接很多服务器和存储器， 在提供存储共享的同时，需要进行必要的访问控 制。控制固定的主机，以规定的方式访问特定的存 储设备，这样可以保证数据的安全性例如生产部 门对生产数据具有完全的控制能力，而财务部门可 能对生产数据不具备访问权限，或者只有只读权 限。区域划分允许管理员在磁盘的逻辑卷中对设备 进行分区，从而将设备保留在一个逻辑卷中，以便 为特定的服务器访问。这意味着，逻辑存储卷中的 服务器和存储设备间的所有交互都被隔离在区域 边界内，而其他s a n 的非本分区内的成员则不会 受本分区行为的影响。 如图2 5 所示，对两个s a n 分区进行了逻一一。 辑描述( 分区1 和分区2 ) ，每个区域都包含一个存 图2 5 s a n 逻辑分区 储控制器在该例子中，s c r w r l 和s e r w - r 2 可以从存储控制器1 访问数据，但 8 基于s a n 的容灾方案研究与设计 s e r v e r 3 不可以，s e r v e r 3 可以从存储控制器2 访问数据。分区需要在硬件层次进行 实施( 结合控制器或交换机) ，而不能通过软件来实现。主要的原因是分区也是一 个针对基于s a n 的集群的安全机制，因为未经授权的服务器无法访问区域内盼 存储设备( 访问控制由交换机来执行，主机适配器无法访问未经配置的设备) 。如 果通过软件形式进行分区，如果软件组件出现故障，群集将无法得到安全保障。 除了提供群集安全性外，分区还对给定s a n 环境中的流量进行了限制端 口问的流量只被路由到位于相同区域的架构段中。 7 逻辑单元号屏蔽州 逻辑单元号l u n ( i - o s c a lu n i tn u m b e r ) 是s a n 中定义的逻辑磁盘，服务器 群集发现l u n 后会将其认作物理磁盘。l 【j n 屏蔽是在控制器层面执行的，它允 许定义l u n 与集群节点间的关系存储控制器通常提供创建l u n 层次的访阔 控制的方法，这种访问控制允许为给定u j n 接入一台或多台主机通过在存储 控制器上提供该访问控制，控制器本身可以对设备强制执行访问策略 l u n 屏蔽提供了比分区更加细粒的安全性，因为l u n 提供了端口层面的分 区方法。例如，许多s a n 交换机允许重叠的区域，从而可以使一个存储控制器 位于多个区域中，多个区域中的多个群集可以共享这些区域中的控制器上的数据 8 s a n 网络拓扑结构嘲 在存储区域网络中，服务器和存储设备之间的连接可以采用点对点式、光纤 通道仲裁环和交换式光纤通道等几种 点对点式连接是最简单的存储拓扑形式，由磁盘阵列直接连线到服务器主机 上，易于控制但为了实现服务器共享存储，需要在服务器和存储设备之厨，两 两进行全连接设备较少的系统可 以采用这种拓扑，设备较多的系统 中。由于设备连接端口数量有限， 往往不能满足全连接要求。而且点 对点拓扑可扩展性较差，为了增加 一台服务器或存储设备，要添加多 条连接。 光纤通道仲裁环路这种拓扑 方式，在物理上利用一个光纤通道 集线器来连接多台服务器与存储 设备，而逻辑上将所有设备组织成 环路实施仲裁环路拓扑成本较 低，扩展性较好任何一个连接在 集线器上的设备，可以共享2 g b s图2 6 交换式光纤通道 第二章存储技术与存储区域网络 9 的光纤通道带宽。但只能有两台设备同时进行通信，限制了带宽利用率。交换式 光纤通道，类似于交换式以太网络拓扑结构，是利用光纤通道交换机来连接多台 服务器和存储设备交换式光纤通路拓扑结构是最具灵活性的网络拓扑结构，它 能同时让所有连接的服务器主机与存储设备互相通信，而不需要共享带宽，交换 式光纤通道s a n ，如图2 6 所示。 2 2 4 存储区域网络的软件 s a n 中的软件主要由以下几部分构成： ( 1 ) 光纤通道交换机操作系统。为了实现服务嚣和存储设备之问的正确有效连 接和通信，光纤通道交换机必须提供一些基本的服务支持。如对光纤通道提供支 持服务，对端口连接的管理服务等。 。 ( 2 ) h b a 驱动程序1 7 1 。h b a 在服务器上提供了一种光纤通道接口。以便与光 纤通道交换机相连接，h b a 中所包含的软件驱动必须将服务器的文件i o 请求和 存储设备命令集转换为光纤通道命令h b a 使得服务器不必关心那些封装在光纤 通道之中的寻址细节，它维护一套服务器所能够访问的逻辑单元编号( l o g i c a lu n i t n u m b e r l u n ) ，帮助服务器确定所能访问的设备边界h b a 还需要在服务期和交 换机之间提供一种有效的收发数据的途径，充分利用所连接的光纤通道的带宽。 2 3 存储区域网络的扩展 为了企业的发展。企业的业务往往遍布更广，全国，乃至全球：为了保户数 据，往往在距离很远的地方建立数据备份。这些需求超出了s a n 的距离范围，需 要对s a n 进行距离上的扩展对s a n 的扩展通常使用两种方法： ( 1 ) 光介质扩展网l 裰光纤，粗波多路复用c w d m ( c o a r s e w a v e l e n g t h d i v i s i o n m u l t i p l e x i n g ) ，密集波分复用d w d m ( d e n s ew a v e l e n g t hd i v i s i o nm u l t i p l e x i n g ) 和 同步光纤网，同步数字架构s o n e t s d h ( s y n c a m m o u so 陋c 缸n e t w o r k s y n c h r o n o u s d i g i t a lh i e r a r c h y ) 裸光纤( d m kf m 盱，又称黑光纤) 是指预先埋设的，还没有使用的，可以被 租用的光纤线路。通常为了减少一次又一次铺设线缆所产生的成本，在一次施工 中会铺设很多目前用不到的线缆，这就是裸光纤用户可以租用裸光纤，并把它 接到自己的光纤交换机上来实现s a n 的远程连接一般用于数据中心或园区内 s a n 的扩展，传输距离取决于光纤网络特性、接口特性、接口数量以及衰减等特 性。c w d m 基于裸光纤，允许最多8 个l g b 芦或2 g b p s 通道共享同一对光纤。点 对点拓扑传输距离最大9 0 公里，环网拓扑最大为4 0 公里d w d m 最多可以3 2 个光纤通道共享一对光纤每条通道上速率最大为1 0 g b p s ，扩展距离2 0 0 公里左 右，可以将s a n 扩展到城域网范围。s 0 1 屺1 y s d h 是大部分运营商网络的主要基 1 0 基于s a n 的容灾方案研究与设计 础，有l g b p s 或m b p s 的带宽，可以将s a n 扩展至几千公里通过光纤介质扩展 s a n ，线路上的延迟基本都来自于光传播的固有延迟，往往可以忽略。 ( 2 ) i p 介质扩展唧：f c i p ( f i b e r c h a n n e l o v j e r t c p i p ，i s c s i ( i n t e m e t s c s d ， i f c p ( i n t e r n e tf i b e rc h a n n e lp r o t o c o l 因特网光纤通道协议) i s c s i 使用t c p i p 网络作为其s c s i 和数据的传输介质，在同一对i s c s i 会话 实体间可以建立多条并行的t c p 连接，充分利用带宽。 f c i p 为基于f c 的s a n 孤岛之间提供了通过m 网络的扩展途径。在f c 网络 与口网络之间增加一个f c i p 网关，在发送端，f c 口网关通过封装技术将光纤信 道数据报包装成口数据包；通过m 网络进行传输，到达目的端后，对方的f c 即 网关将口协议数据报拆封，将其中的有效光纤信道数据包放到接收端网络上这 一过程中，存在着两个会话的建立过程，首先是光纤交换设备之间建立会话过程， 之后是f c i p 网关之间建立t ：p 会话过程。t c p 会话对f c 会话是透明的，一对 f c i p 网关之间一次只允许存在一条t c p 会话连接，但在此连接上可以同时传输多 对f c 会话 i f c p 允许将光纤通道存储设备连接到口网络上在光纤通道与口网络之间 加入一个i f c p 网关，i f c p 网关之间建立至少有一条t c p 连接。f c 协议数据经过 i f c p 网关转换为口协议数据，在口网络上传输，到达目的i f c p 后，再将其转换 为f c 数据协议 通过p 网络扩展s a n ，传输延迟及传输带宽等性能因素会受到t c p 协议的 固有因素影响 2 4 存储区域网络的优点 与其他的存储技术相比，s a n 的主要优点l l o l 如下： ( 1 ) 数据访问及传输的高速率，低延迟光纤通道连接，为s a n 上的数据传 输提供了理想的带宽和速率； ( 2 ) s a n 可靠的冗余连接为应用提供了高可用性和单点失败恢复的优势实现 s a n 的光纤信道通信协议，允许连接在s a n 上的设备之间两两双向逻辑连接，允 许应用服务器和存储设备之间存在冗余路径，这样就保证了数据的高可用性，并 且系统可以在某个服务器、链路或存储设备失效时迅速恢复正常； ( 3 ) 应用扩展和存储扩展灵活由于基于s a n 的应用结构将存储从应用服务 中独立出来，进行统一管理，这样在s a n 上添加存储设备不会对应用服务造成影 响同样，随着业务的扩展，添加应用服务也不会对存储造成影响； ( 4 ) 数据备份对应用服务透明在此应用结构中，数据的备份不需要通过客户 与应用服务之间的局域网，直接通过s a n 从源存储设备到目的存储设备即可，不 第二章存储技术与存储区域网络 会因为备份的原因中断或延迟服务的响应，可以满足2 4 小时3 6 5 天的业务要求； ( 5 ) 实现集群容易。出于数据和系统安全稳定的目的，企业往往会采用x + i 的 集群技术来应对应用服务器意外停机等问题。在s a n 结构中，因为应用服务器和 存储设备之间的共享连接，数据存储具有全局性。在单个服务器失败后，其上的 服务将切换到其他备份服务器，对存储的访问不需要任何改动；同样，存储设备 的失败切换也不会影响到应用服务： ( 6 ) s a n 间互连。光纤通道直连最长距离只有1 0 公里，为了实现远程容灾， 必须将相隔远距离的s a n 连接起来有多种互连协议支持远程s a n 问互连，例 如通过密集波分d w d m 技术可以连接距离3 0 0 公里的s a n ，s a n 钾酉 s ( ) n 鄹删女s c s i ，i f c p f c 口以及s a no v 盯i p 都可以满足距离达到上千公 里的连接； ( 7 ) 集中化存储，易于管理，降低管理成本。连接在s a n 上的存储设备可以 组成一个大的存储池，由s a n 管理服务器进行统一管理。管理员可以根据动态地 为应用分配存储空间，还可以根据应用的需求来合理安排数据在各存储设备上韵 分布。以提高访问效率。 2 s 存储区域网络中的数据备份 传统的d a s 存储结构中，数据的备份是基于u 、n 的，基本过程如图2 6 所示 源端服务器将数据从连接在其上的存储设备读出，经过转储发送到l a b l 上，数据 到达目的备份服务器后，再经过转储存放到备份存储器上。在此过程中，源端服 存储存储 图2 6 基于i , a n 的数据备份 n a sn a s 存储存储 圈2 7n a s 存储结构中的数据备份 务器和目的各份服务器需要停止其上的业务运行，进行备份控制。同时备份数据 1 2 基于s a n 的容灾方案研究与设计 需要占用l a n 的带宽。在这种情况下，只能进行停机备份，不能满足2 4 小时 3 6 5 天的业务需求。 在n a s 存储结构中，数据备份的基本过程如图2 7 所示。源端服务器将数据 从主存储设备上读出，经过转储后，通过l a n 存放到目的备份存储设备上这一 过程比在d a s 中少了一次备份服务器的停机和延迟，但同样没有从根本上解决备 份时停机和l a n 带宽占用的问题。其中备份停机问题可以通过增加类似备份控制 器或存储控制器之类的设备来克服，但l a n 带宽占用问题是网络连接结构与生俱 来的问题，不能克服。 由于在s a n 存储结构中，存储是与业务网络完全隔离的，所以可以从根本上 克服以上两个问题。首先是l a n - f r e e 数据备份方式，如图2 8 所示。在l a n - f i - e e 备份中，服务器通过s a n 将数据读出，经过转存后，再放回到& 蛾中，最后备 份到备份存储设备上。这一过程不会影响到u 、n 。 更进一步，s e r v e r - f i e e 数据备份方式将服务器从备份任务中完全解放出来，如 图2 9 所示服务器发出数据备份请求后，就不再干预数据备份过程整个数据备 份过程由专用的备份控制服务器控制，数据从主存储设备直接流向备份存储设备 中这样从根本上将应用服务器和业务网络从繁忙的数据备份中解放出来。真正 实现了2 4 小时x 3 5 6 天的业务需求。 存储设鲁存储设鲁存储设备存储设备存储设备存傣设鲁 图2 8i a n - f r e e 数据备份方式图2 9s e r v e r - f r e e 数据备份方式 2 6 存储区域网络的研究热点和未来发展 2 6 1 存储虚拟化 s a n 中的数据量随着信息化的发展急剧增长，保守估计每年翻一番对于数 第二章存储技术与存储区域网络 据的存储和管理，异构平台数据的共享，应用系统的扩展，存储的扩展，存储网 络的管理，访问控制以及访问安全的要求越来越高，目前解决的方法只有虚拟化。 存储虚拟化i n l 是指将服务器操作系统的存储访问描述与实际的物理存储设备 相分离，使得物理存储对于服务器访问透明，其原理类似于程序设计中用逻辑地 址屏蔽物理存储地址。通过存储虚拟化，将所有的存储设备统一管理，呈现给服 务器一个存储池它是具体存储设备或存储系统的抽象，展示给用户一个逻辑视 图，同时将应用程序和用户所需的数据存储操作与具体的存储控制分离。存储虚 拟化的任务：首先是在多个物理存储设备或存储系统上刨建一个抽象层，屏蔽复 杂性，简化管理，尤其是在异构环境中；其次是对存储资源进行优化。对于s a n 来说，存储虚拟化的最终目标就是使得一个应用程序或者终端用户能够仅仅根据 它所需要的属性来使用、请求、改变可用的存储资源而不用关心存储资源的设备 的提供者、位置、物理结构以及介质类型。存储虚拟化可以在主机层次上通过卷 管理器实现，也可以基于存储子系统级别来实现，还可以通过在网络级别上引入 公共的存储服务器来实现。但这些方案都依赖于具体的供应商，一般只能在几个 厂商之间的某些产品闻实现存储虚拟化类似于虚拟局域网i 可以利用虚拟存储 网络进行存储分区通过分区可以方便访问控制，增加访问安全。例如，一个公 司里的各个部门。经过分区后，每个部门只能访问到本部仃的数据，但所有部门 的数据却是统一存储管理的 目前，各大存储设备及服务公司都在进行这方面的研究，最终的解决方案应 该是制定一个得到普遍接收的标准，来简化这种异构存储环境的管理问题， 2 6 2i ps a n 和i s c s i 存储区域网络技术的出现，给企业提供了解决存储问题的新方案。但由于实 施存储区域网络需要较大资金投入，以及光纤通道协议与现有的基于m 的存储设备 不兼容，这就需要提出新的解决方法，以使企业可以根据合理的预算建立起一个 存储网络，与现有的存储基础设施互联通用这样既可以节省实施s a n 的成本， 也可以降低将数据从现有存储设施迁移到s a n 上的成本和风险。利用现有的管理 经验和设施进行存储管理，降低管理成本而且单模光纤提供最远1 0 公里的连接 距离，在分布较广的应用或容灾方案中仍不能满足要求。 为了解决这些问题，存储专家提出了一种新的存储网络概念w - s a n 2 0 0 3 年2 月，i e t f ( 互联网工程任务组) 正式公布了i s c s i 标准，为m 戳n 的实现提供了依据 峪c s i 技术将现有s c s i 接口与以太网技术结合，使服务器可与使用口网络的存储设 备相互交换信息。i s c s i 使用已有的串行s c s i 标准，将s c s 瞰据和命令封装在碑数 据包内在网络上进行传送i s c s i 的基本模型是用扩展虚拟电缆把一个s c s i 启动设 备连接到一个s c s i 目标设备，i s c s i 启动者和i s c s i 目标完全由它们的m 地址识别。 1 4基于s a n 的容灾方案研究与设计 i s c s i 使用t c p 提供的己有的传输机制，换言之，i s c s i 是基于m 协议的技术标准， 它实现了s c s i 和t c p i p 协议的连接，对于以局域网为网络环境的用户，只需要不 多的投资，就可以方便、快捷地对信息和数据进行交互式的传输及管理。它充分 利用了现有碑网络的成熟性和普及性的优势，对存储设备提供了直接访问的能力。 但是，i s c s l 也不是万能解决方案，首先它只适合于中低端用户环境，其次因为现 在所有的用于s a n 的磁盘阵列基本上只支持f c 接口，要让所有设备厂商都支持 i s c s l 接口，还有一段很长的路要走。 第三章容灾和业务持续性 第三章容灾和业务持续性 3 1 业务持续性和容灾的重要性 计划内和计划外的停机会对企业造成巨大的损失，数据无法访问、客户的服 务中断、生产停止，这些都会造成直接的和潜在的损失，表3 1 给出了不同行业中 系统中断所造成的损失。 表3 1 各行业系统停机损失表 年收入中断时闯中断损失每小时损失 ( 百万美元)( 小时) ( 百万美元)( 千美元) 美国金融业 4 ，0 d b3 7 略l o 62 8 3 欧洲金融业1 ，2 0 02 4 lo 3 墨1 石 美国能源业7 ，伽 2 6 憾4 31 美国在线旅游业9 ，咖6 2z 43 & 7 美国高科技制造业1 ，3 r 溯l o 24 2 美国保健卫生服务业4 4 咖 7 挖 7 粤石 9 6 6 计划内停机包括停机备份、服务器停机升级等普遍的方法是在业务较少的 时候停机。例如深夜但为了适应全球的业务需求，必须将停机时间降到最少， 甚至不停机，进行无缝升级。计划内的停机因为具有可预见性和可控制性，所以 只要采用先进的技术，就可以实现不停机 计划外的停机包括操作失误、黑客攻击，以及战争灾难或者自然灾难，具有 不可预见性和较大的破坏性，所以较难应对。投入大量资金建立异地远程容灾系 统的根本目的也在于应对计划外的停机。当计趔外停机发生后，系统会透明的进 行容灾切换，为用户提供业务持续性。 3 2 数据各份 数据备份啕是最早的和最普及的容灾方法，也是应用级容灾系统的技