（计算机应用技术专业论文）基于san的存储资源管理系统的研究与实现.pdf

中文摘要 随着i n t e m e t 和i n t r a n e t 技术的广泛应用，数据存储不仅在容量上爆炸性增 长而且对网络存储的要求也越来越高。传统的网络存储已经不能满足企业对存 储系统高可靠性，可扩展性和安全性的要求，新的网络存储系统s a n ( s t o r a g e a r e an e t w o r k 前储区域网) 应运而生。 s a n 是使用高速链路( 如光纤通道) 将存储设备和服务器连接在一起而形成 的网络，它可以实现对存储资源的集成化管理，降低了管理成本，提高了存储 的速度和效率，存储系统的灵活性和可扩充性更好，不同服务器之间共享存储 资源和数据也成为可能。 在数据存储系统中，存储管理软件是整个系统的“大管家”，直接关系到数 据是否可用。如果缺乏存储管理软件，那么系统就不能真正保证数据的高可用 性和高可靠性。对s a n 的有效管理离不开存储资源管理系统的支持，而备份恢 复又是存储资源管理系统的核心功能之一。 本文通过一个基于s a n 的存储资源管理系统( s t o r a g er e s o u r c em a n a g e m e n t s y s t e m ) 的项目，对s a n 的管理技术及相关问题进行了细致的研究。在探讨s a n 管理软件体系结构的基础上，对备份恢复技术进行了深入分析，完成了备份恢 复管理模块的设计与实现。该系统采用全平台开发的思路，可运行于w i n d o w s 、 u n i x 以及l i n u x 平台之上，并且根据软件工程的标准，从开发到测试，严格按 照计划进行，开发出的产品具有强有力的监控能力，拥有网络设备故障的自动 检出和隔离功能以及数据管理、存储资源管理、性能监视与优化、安全管理和 文件管理等功能。 在完成上述项目过程中，取得的主要成果如下： 1 总结基于s a n 的存储资源管理系统s r m s 的整体构成； 2 分析了3 种备份恢复技术：卷复制技术、原子中断备份技术和s n a p s h o t 技术，并详细介绍实现机制、方法和细节； 3 备份恢复管理模块r r m 的设计与实现； 4 s r m s 的性能测试和评价。 关键字：存储区域网，存储资源管理系统，备份恢复管理 a b s t r a c t w i t ht h ew i d ea p p l i c a t i o no fi n t e r n e t d a t as t o r a g ei n c r e a s e se x p l o s i v e l y , a n dt h e a n di n t r a n e tt e c h n o l o g y , t h ec a p a c i t yf o r r e q u e s tf o rn e t w o r ks t o r a g ei sh i g h e ra n d h i g h e r t h et r a d i t i o n a ln e t w o r ks t o r a g ec a n tm e e tt h en e e do ft h er e q u i r e m e n to n g o o dd e p e n d a b i l i t y , e x p a n d a b i l i t ya n d s e c u r i t yf o re n t e r p r i s eu s e r s ot h en e w n e t w o r k s t o r a g es y s t e m s t o r a g ea r e an e t w o r ke m e r g e sa st h et i m er e q u i r e s a ni sd e f i n e da san e t w o r kw h e r es t o r a g ed e v i c e sa n ds e r v e rd e v i c e s 孤e c o n n e c t e dt o g e t h e rb yf a s tl i n k ss u c ha so p t i c a lf i b e rc h a n n e l s a nc a n b eu s e dt o l m p j e m e n ti n t e g r a t e dm a n a g e m e n to fs t o r a g er e s o u r c e ，t or e d u c et h em a n a g e m e n t c o s t s t oi m p r o v et h es p e e do fd a t aa c c e s sa n dt h ee f f i c i e n c yo f s t o r a g es p a c e a n dt o i n c r e a s es y s t e m f l e x i b i l i t ya n de x p a n d a b i l i t y t h e s h a r i n go fd a t aa n ds t o r a g e r e s o u r c eb e t w e e nd i f f e r e n tt y p e so fs e r v e ra l s ob e c o m e s p o s s i b l e 1 nd a t as t o r a g es y s t e m ，s t o r a g em a n a g e m e n ts y s t e mi st h e h o u s e k e e p e r ，o f t h e w h o l es y s t e ma n di t s d i r e c t l yr e l a t e dt ot h ea v a i l a b i l i t yo ft h ed a t a t h eh i g h a v a i l a b i l i t ya n dh i g hr e l i a b i l i t yo ft h ed a t ac a n tb eg u a r a n t e e dw i t h o u t s t o r a g e r e s o u r c em a n a g e m e n t s o f t w a r e f u r t h e r m o r e ，r e p l i c a t ea n dr e s t o r ei st h ec o r e 缸1 c t i o n o f s t o r a g er e s o u r c em a n a g e rs y s t e m t h i sp a p e rm a k e ss o m es t u d i e so ns t o r a g em a n a g e m e n tb a s e do ns a n b va p r o j e c t ，s t o r a g er e s o u r c em a n a g e m e n ts y s t e mn a m e ds r m s i ta l s om a k e s a ni n d e p t h a n a l y s i so nr e p l i c a t er e s t o r et e c h n o l o g ya n dc o m p l e t e dt h ed e s i g na n di m p l e m e n t a t i o n o fr e p l i c a t i o nr e s t o r em a n a g e m e n tm o d u l e s r m sc a nr u no n m u l t i - p l a t f o n i l ： w i n d o w s ，u n i xa n dl i n u x i tp r o v i d e sw i t ha b i l i t i e so fs t r o n gm o n i t o r i n g ，d e t e c t i n g b r o k e nd o w no fn e t w o r k d e v i c e sa n d s e p a r a t i n g t h e ma u t o m a t i c a l l y d a t a m a n a g e m e n t ， s t o r a g er e s o u r c e sm a n a g e m e n t ， s e c u r i t ym a n a g e m e n ta n df i l e m a n a g e m e n t 。 t h ea u t h o ra t t a i n e ds o m ea c c o m p l i s h m e n tt op u tf o r w a r d f o l l o w i n gi d e a s f i r s t l y , s u m m a r i z e dt h em a i ns t r u c t u r eo f s t o r a g er e s o u r c em a n a g e m e n t s y s t e m ； s e c o n d l y , a n a l y z e dt h r e et e c h n o l o g i e so fr e p l i c a t i o na n dr e s t o r e 、，o l u m e i i r e p l i c a t i o n ，t r a n s a c t i o ng r o u pa n ds n a p s h o t ，t h e ni n t r o d u c e dt h em e c h a n i s m ， m e t h o d sa n dd e t a i l so ft h ei m p l e m e n to ft h ef u n c t i o n ； t h i r d l y , t h ei m p l e m e n t a t i o no fr r m ； f i n a l l y , p e r f o r m a n c et e s t i n ga n de v a l u a t i o no ns r m s k e yw o r d s ：s t o r a g e a r e an e t w o r k ，s t o r a g er e s o u r c e m a n a g e m e n ts y s t e m ， r e p l i c a t er e s t o r em a n a g e m e n t i i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写的研究成果，也不包含为获得武汉理工大学或者其他教育机构的学 位或证书所使用过的材料。与我一同工作的同志对本研究所做的贡献均已在论文 中做了明确的说明并表示了谢意。 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检 索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武 汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会 公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：瘩谊多令翮c 签孙蚀与 嗍寸乡 武汉理工大学硕士学位论文 1 1 研究背景与意义 1 1 1 研究背景 第1 章引言 近年来，随着i n t e m e t 和i n t r a n e t 技术的广泛应用，信息容量正以令人难以 置信的速度增长。据统计，现在数据的增加量每年超过1 0 0 ，这使得很多企业 不得不多次升级信息存储系统容量以适应企业的发展i l 】。靠信息化支撑的企业， 尤其是在数据的可用性、可靠性以及可扩展性等方面要求更加严格的企业，迫 切需要一种性能先进、安全可靠的存储系统。传统的存储管理系统面临着巨大 的挑战，s a n ( s t o r a g e a r e a n e t w o r k ，存储区域网) 作为一种新的网络概念应运 而生，它提供了一个高可用、易扩展、安全可靠、集中管理信息数据资源的存 储架构以及新一代的存储模式【2 j 。同时，急剧增长的企业数据存储需求使存储业 面临着革命性的演进，也带来新的软件需求，其中有许多新的软件应用值得关 注。在今后的几年内，存储服务市场将进入飞速发展期。从存储服务的发展趋 势来看，一方面，是对数据的存储量的需求越来越大，另一方面，是对数据资 源的有效管理提出了更高的要求1 3 j 。 1 1 2 研究意义 由于存储区域网具有管理方便、扩展性强、高可靠性、支持异构服务器等 优点，已经被广泛使用在存储系统的构建中。而存储资源管理系统能帮助充分 发挥存储区域网的优势，目前国外许多大公司投入了大量人力物力进行基于 s a n 的存储管理系统的研究和开发，如h p 公司的s t o r a g e w o r k ss t o r a g e e s s e n t i a l s ，i b m 公司的t i v o l i 存储管理软件，v e r i t a s 公司的s t o r a g ef o u n d a t i o n f o rn e t w o r k s ，以及e m c 公司的i tp r o c e s sc e n t r e ，i tc o m p l i a n c ea n a l y z e r 和i t p e r f o r m a n c er e p o r t e r 等。相比之下，国内在这个领域的研究还比较匮乏。 因此，研究与实现基于s a n 的存储资源管理系统具有相当重要的意义： 1 客观的需要要求进行这个领域的研究； 武汉理工大学硕士学位论文 2 信息产业的发展形势决定了信息存储对我国经济建设有重要推动作用； 3 为将来开发更好的存储资源管理系统作经验和技术积累； 4 基于s a n 的存储资源管理系统是存储技术领域一个重要的发展方向， 可带来巨大的经济价值。 1 2 研究内容 本文研究与实现的基于s a n 的存储资源管理系统命名为s t o r a g er e s o u r c e m a n a g e m e n ts y s t e m ，简称s r m s 。它采用c s 模式实现客户端对存储设备的管 理，是一个功能比较完备的管理配置系统。s r m s 具有网络设备故障的自动检出 和隔离功能、存储资源管理、数据管理功能以及文件管理和安全管理等功能。 本文所讨论的是该系统服务器端软件的研究与开发。 s r m s 按功能可以分为以下几个模块：c o m m a n d 进程、m a i n 进程、a g e n t 管理、c l i e n t 管理、性能监视、状态监视、备份恢复、连携控制、构成设定、l o g 控制和性能优化。由于主要负责的是备份恢复管理模块的实现，因此本文将重 点介绍备份恢复管理模块的关键技术和一些相关问题。 1 3 论文组织结构 本文全文共分七章，全文结构如下： 第一章：绪论。介绍论文研究背景与意义，研究内容以及论文组织结构。 第二章：s a n 的概述。对s a n 的基础知识进行简要的介绍。 第三章：存储资源管理系统的设计。从整体上对s r m s 系统进行介绍，对 上述提到的各个模块分别进行简要说明，包括它们的结构构成和功能。 第四章：备份恢复技术的研究。主要介绍了三种备份恢复技术：卷复制技 术、原子中断备份技术和s n a p s h o t 备份技术的概念和应用，并详细的介绍了实 现机制、方法和实现细节，其中着重介绍了卷复制以及原子中断技术，并且把 s n a p s h o t 与传统卷复制备份技术进行了比较。 第五章：备份恢复模块的设计与实现。主要研究了备份恢复模块系统结构、 主要进程模块、通信设计和命令接口的实现等。 第六章：系统性能测试与评价。针对s r m s 系统的服务器资源占用、进程 2 武汉理工大学硕士学位论文 启动停止恢复时间以及系统的稳定性，三方面内容进行了测试，并对测试数据 进行了分析。 第七章：结论。对本文所做工作做一个总结。 1 4 小结 s a n 已成为当前网络存储的主流技术，随着人们对数据存储的要求越来越 高，存储资源的管理的也日益重要。因此基于s a n 的存储资源管理系统的研究 具有现实性和可用性。 武汉理工大学硕士学位论文 第2 章s a n 的概述 本章将对s a n 的基础知识进行简要的介绍，包括网络存储的概述， s a n 的构成要素以及s a n 的特点等。 2 1 网络存储概述 近年来，网络正成为主要的信息处理模式，需要存储的数据量大大增加， 数据作为企业的生命和核心竞争力的重要性在增加，通过网络及其互联来实现 数据和文件以及相关资源的共享成为当今主流1 4 j 。而从本质上看，这些数据和文 件的共享是建立在相关的存储资源的共享基础之上。这种通过一定的网络将存 储资源按特定方式连接在一起实现存储资源及数据共享的技术，称之为网络存 储【5 】。本节将介绍现存的几种网络存储技术，共分析其优缺点。 2 1 1d a s 图2 - 1 传统的d a s 体系结构 传统的外存( 即m e m o r y 以外的存储器，如磁盘，磁带等) 的设计思想是提供 面向单台计算机的存储服务，存储系统通过标准接口( 如s c s i 或f i b e rc h a n n e l ) 4 武汉理工人学硕士学位论文 与计算机直接相连，故称之为直接连接存储系统【6 1 。d a s 是最早出现的网络存 储方式，至今仍然是小型机和大型主机的主要存储模式。但是当存储容量不断 增加时，这种方式很难扩展，此外在服务器异常的时候会造成数据不可获得【7 1 。 2 1 2n a s n a s ( n e t w o r ka t t a c h e ds t o r a g e ，网络附加存储) 是在r a i d 的基础上内置优 化的独立存储操作系统1 8 j 。这种方式允许用户通过网络存取数据，数据以文件的 形式在客户机与存储设备之间传送，从而实现异构平台客户机对存储资源的共 享。存储服务器和客户端可在n a s 上存取各种格式的文件，包括s m b 、n f s 和c i f s 格式等【9 】。n a s 系统可以根据服务器端或客户机发出的指令完成对文件 的管理。 2 1 3s a n 图2 2 传统的n a s 体系结构 s a n 是独立出一个存储数据的网络，系统间的互联利用专用通道( 通常为 f c ( f i b e rc h a n n e l ，光纤通道) ) 来实现i l 。这种方式通过特定的互连方式连接的 若干台存储服务器组成一个单独的数据存储网络，在该存储系统中提供多主机 连接，允许任何服务器连接到任何存储阵列，让多主机访问存储器和主机间互 相访问一样方便1 1 1 2 j 。s a n 方式易于集成、管理及集中控制相对容易、可扩展 性强、能提高数据可用性和网络性能【1 3 1 。利用s a n 存储，地域上可以分散，还 武汉理工大学硕十学位论文 可以提供更大容量的存储数据，并且减d , t 大量数据传输对局域网性能的影响。 图2 - 3 传统的s a n 体系结构 2 2s a n 的构成要素 s a n 的构成要素有三个：网络互连结构、管理软件和存储系统。 2 2 1 网络互连结构 1 硬件 网络互连结构中的硬件部件包括光纤通道f c 、主机总线适配器、集线器以 及交换机等【1 4 】。 2 协议 s a n 环境下的通信协议通常有四种：并行s c s i 、专用协议、f c 协议、i s c s i 协议和其它的专用协议。 并行s c s i 协议：并行s c s i 协议在传统的以服务器为中心的系统中应用广 泛【1 5 】。 专用协议：专用协议一般用于专用的系统中，支持厂商少，没有广泛和一 6 武汉理工大学硕士学位论文 致的标准。例如e s c o n 协议一般用于i b m 大型机系统。 f c 协议：f c 协议簇是一个开放式的国际标准，它可以光纤或铜缆作为传输 介质，以极高的速率和可靠性来收发数据。 i s c s i 协议：i s c s i | 1 6 是一种在因特网上特别是以太网上进行数据块传输的 标准，是一个供硬件设备使用的可以在i p 协议上层运行s c s i 指令集，从而能 够在在高速千兆以太网上进行路由选择【r 7 1 。这样就实现了s c s i 技术和t c p i p 协议的融合，可以让用户通过以太网来构建s a n i l 8 】。 2 2 2 管理软件 管理一个大型的s a n 需要一个健壮的管理软件，而这个软件需要集中管理 能力和强有力的监控能力，还应具备网络或存储设备故障检出和隔离的能力【1 9 】。 在管理中除了要管理s a n 中的存储数据外，还要管理s a n 中的各种网络设备 资源，重要管理方面如下【2 0 】： 1 行政级管理：它包含集中管理、存储资源控制、拓扑和配置管理以及各 种网络设备的故障隔离。 2 数据管理：它包括数据的备份恢复、镜像管理以及数据分层存储管理等。 3 存储资源管理：它管理和监控物理层以及逻辑层上的存储资源，从而简 化行政级管理，提高了数据的可用性【2 1 1 。被管理的存储资源包括存储硬件如磁 盘子系统和磁带等。存储资源管理产品能够监控存储系统的可用性、性能、健 康状况和配置情况，从而提供优化策略。存储资源管理还包括存储容量和配置 管理、故障报警等。 5 文件管理：在整个s a n 网络环境中各个服务器的操作系统和文件格式 各异，由于物理层上只能以数据块的方式查看数据，那么要在物理层次上实现 资源共享很难，只能在逻辑层次上实现。目前有3 种方案：一是选择一种主机 的操作系统和文件系统作为主系统，然后在其它不同种类的主机端安装代理软 件，把其它的各种文件格式都转化为该主机的文件格式，从而实现文件资源的 共享，其缺点是在实际应用中代理的效率太低【2 2 】。二是在各种操作系统和文件 系统中加入软件模块，通过这个模块进行格式的转换，其缺点是必须能够随时 更新各操作系统的信息。三是建立一种各家厂商协同和一致认可的通用、独立 的文件系统。 4 安全管理：在s a n 中所有的存储资源都可以被存取，所以必须有一种 7 武汉理工大学硕士学位论文 机制来保证存储服务器中的数据不被非法改写。目前有3 种机制来保障数据的 安全：第一种是通过绑定的方法，将主机总线适配器与一定的逻辑单元绑定， 从而阻止其它逻辑单元对存储资源的访问；第二种是在系统管理软件中嵌入程 序实现相应的功能：第三种是通过端口分区( z o n i n g ) 的方法，把交换机分成许多 逻辑上的区域，使区域之间的访问受到限制来保障数据的安全。 2 2 3 存储系统 存储系统包括磁盘系统，磁带系统，r a i d 设备，存储服务器等。其中有些 设备是没有智能的，如磁盘、磁带系统及r a i d 设备；而有些设备则可以带有很 强的智能，如存储服务器，它有专用的管理软件和处理器。存储系统还可以通 过光纤通道连接磁带、光驱以及s c s i 设备等。目前，存储系统正朝着高性能、 高可用性和管理性的方向发展。 2 3s a n 的特点 1 s a n 具有很强的可扩展性，它为每台主机提供了更多的存储容量。s a n 中通过专门的交换机和集线器实现存储容量的扩充，不需要扩大每个磁盘的容 量或者增加主机的i o 控制器。 2 s a n 提供可靠的传输带宽。传统的存储技术依赖i p 网络作为传输路径， 数据传输会大量耗费网络带宽，而s a n 将局域网上的存储数据转移到以存储设 备为核心的存储网络上，使得数据访问、备份和恢复不影响局域网的带宽。 3 s a n 使得集中管理的实现更加容易。集中式的管理支持远程监控、无人 职守运行等。利用s a n 的远距离连接能力，即使系统遭受局部灾害( 如洪水、火 灾、电力故障等) ，也可以通过数据镜像等操作很快完成数据的恢复。 4 数据的高可用性。服务器和数据的分离及面向网络的集中存储使数据的 安全性和可用性大大提高。应用服务器和存储资源的追加以及置换时不需要停 止系统的运行，多路径的数据交换也使得数据共享更加容易，从而使s e r v e rd o w n 带来的影响大大减少。 5 s a n 可以提供更长距离的连接。在i p s a n 中，使用i p 网络进行数据传 输，则可以在广域网上传输数据，从而使数据的存取不再受区域的限制；在 f c s a n 中，通过光纤通道链接，可支持长达1 0 公里的数据传输。 8 武汉理工大学硕士学位论文 6 支持异构服务器。w i n d o w sn t 、u n i x 、l i n u x 和n e t w a r e 可同时连接。 2 4 小结 本章对s a n 的基础知识进行了必要的介绍，包括网络存储的概述，s a n 的 构成要素以及s a n 的特点等。 9 武汉理工大学硕士学位论文 第3 章存储资源管理系统的设计与实现 3 1 存储区域网络的管理策略 s a n 的有效管理是保证s a n 为用户提供资源优化利用的重要因素，它结合 网络管理和存储管理，为用户提供决策支持，为系统提供故障通知和防护，帮 助用户从错误和失效中快速恢复。目前存在两种管理策略：分层管理和分级管 理【2 3 】。 1 分层管理 s a n 支持异构的存储环境，包括不同种类和不同层次的资源。如何为用户 提供集中、可靠的资源管理，以及为用户提供哪些种类和层次的管理是亟待解 决的问题。s a n 存储管理系统按任务化分为以下5 个层次。如图3 1 所示： 应用管理 数据管理 资源管理 网络管理 设备管理 图3 1 分层管理层次结构图 设备管理：s a n 中的设备包括磁盘子系统、可移动的介质和交互连接设备等。 设备管理是指收集元件的状态信息以便于控制台进行管理。设备管理分为带内 和带外管理：带内管理是指设备和管理软件之间的信息直接传输；带外管理则 是通过基于t c p i p 的网络来收集信息【2 4 1 。 网络管理：网络管理层用来映射s a n 的物理部件，给用户显示s a n 网络拓 扑结构视图，并让用户管理它。 资源管理：资源管理是以最优资源利用的方式来管理不同的设备，让用户 共享跨越不同应用的设备。 数据管理：数据管理的主要功能包括数据的备份恢复，保证数据的有效性， 1 0 武汉理工人学硕士学位论文 并能实现跨越网络的访问，此外还要保证数据存储方式大的安全性，数据恢复 的平稳性。 应用管理：应用管理涉及到运行在网络中应用的实用性和性能。应用管理 的目的是判断设备在故障的状态下仍然能够正常运行和工作。应用管理控制台 允许用户通过集成的图形接口来检测、控制和管理网络中的应用。 上述各层实现s a n 中不同对象的管理，只有各管理层协调一致，存储系统 才能安全、可靠地为用户提供存储服务。 2 分级管理 按管理的范围，s a n 管理可分为三个级别：存储级管理、网络级管理和企业 级管理1 2 5 1 。 存储级管理：s a n 存储级管理是指对存储设备资源的管理，其目标是保证对 存储设备资源的最优利用。存储级管理还涉及优化存储子系统与主机的连接以 及与交互设备之间的连接。 网络级管理：对存储网络进行管理，包括对存储设备以及网络设备的监控 和配置，可以使用使用现有的网络协议和网络管理系统。 企业级管理：企业级管理是对一个企业网络的全面管理。在企业网络中， 用户需要利用网络管理软件来管理s a n 。企业级管理系统能让用户实现自动化管 理大多数管理任务，减轻了管理负担，还能让用户在企业网络中实现集成备份。 由于采用分层管理策略设计的系统通用性较好，可应用于各种不同s a n 网 络拓扑结构，并有利于管理系统软件功能模块设计方案的确定。因此，s r m s 基 于分层管理策略设计和实现。 3 2s r m s 整体介绍及系统构成 s r m s ( s t o r a g er e s o u r c em a n a g e m e n ts y s t e m ) 是作为一个为存储应用提供一 整套从硬件到软件、从应用到管理高性能存储解决方案的管理软件的角色而进 行设计和开发的。它采取c s 模式，如图3 2 所示，s e r v e r 端对磁盘阵列硬件进 行直接控制，c l i e n t 端通过网络连接s e r v e r 端，通过与s e r v e r 端的通信对磁盘阵 列进行监视与操作。业务s e r v e r 通过s a n 与磁盘阵列连接，可以直接访问磁盘 阵列中的存储设备。 s r m s 除了拥有数据管理、存储资源管理、安全管理以及文件管理等基本功 武汉理工大学硕十学位论文 能，还具有强有力的监控能力。s r m s 能对整个系统进行实时监控，随时报告错 误与警告信息，并对客户所定义的阈值进行监视，一旦超过阈值就会发出报告， 可以通过l o g 输出或e m a i l 报告，用户能够及时和有效预防，所以s r m s 也具有 很强的安全性【2 6 1 。 管理s e r v e r 图3 - 2s r m s 系统构成示意图 磁盘阵列 s r m s 包括服务器端程序和客户端程序，服务器端的程序是s r m s 的核心 也是本文的研究重点，是实现存储资源管理的关键。 s r m s 的服务器端软件是一组在后台始终运行的守护进程( d a e m o n ) ，负责存 储资源管理功能的具体实现，它向存储子系统发送s c s i 命令，对磁盘阵列存储 资源进行直接控制1 2 引。s e r v e r 端软件可分解为由一个主控程序协调的若干独立的 系统功能模块，每个模块都是一个可以自成一体的可执行部件，它们彼此之间 的通信通过协议无关的s o c k e t 来实现【2 9 1 。 3 3s r m s 内部系统模块构成 s r m ss e r v e r 程序主要由1 1 个模块组成，它们分别是c o m m a n d 进程、m a i n 进程、a g e n t 管理、c l i e n t 管理、状态监视、性能监视、备份恢复、构成设定、 性能优化、连携控制和l o g 控制。结构图如图3 - 3 所示： 1 2 武汉理工人学硕十学位论文 客户端 图3 3s r m s 系统内部模块构成示意图 1 c o m m a n d 进程 c o m m a n d 进程可以以命令行的方式对s r m s s e r v e r 进行操作，例如以下命 令： s r m ss e r v e r 启动命令： s r m s s v rs t a r t - is g m i d - cf i l e n a m e 】 - is g m i dm u l t is g m i d 1 - - - 9 】 cf i l e n a m e 环境定义文件名 s r m ss e r v e r 终止命令： s i 己m s s ws t o p 【一e 】 - is g m i d 】 e紧急终止 - is g m i dm u l t is g m i d 1 9 】 此外c o m m a n d 进程对不同的控制进程有不同的命令，首先讲这些命令发给 送m a i n 进程，然后再由m a i n 进程发送给各个控制进程，然后由控制进程返回 给m a i n 进程，最后由m a i n 进程给c o m m a n d 进程响应。 2 c l i e n t 管理 c l i e n t 管理模块负责客户端和服务器端的通信，主要由主进程、机能进程以 及通信进程组成。主进程主要负责控制所有子进程的正常运作，处理来自各个 进程的请求并做出应答，接受c l i e n t 的连接请求等；机能进程负责处理各种功能 武汉理工人学硕士学位论文 请求；通信进程则负责与c l i e n t 端的通信。 3 a g e n t 管理 a g e n t 管理的主要功能有：处理各控制进程和a g e n t 管理进程之间的通信； 来自各个控制进程的s c s i 命令请求的接收和结果的返回；接收并处理t r a p ( 陷 阱) 信号和状态监视请求。 4 状态监视 状态监视负责磁盘阵列相关信息的设定，并对相关硬件设备进行监视及报 告给用户，是s r m ss e r v e r 重要的组成部分。可以设定磁盘阵列的名字，逻辑 磁盘的形式，逻辑磁盘的名字，磁盘阵列和业务服务器之间连接的端口的名字， 监视机能发出监视命令的时间间隔等等。它能够利用c l i e n t 显示管理对象和磁盘 阵列构成要素的状态并对其进行监视，当其有特殊状态或异常故障出现时，就 会报告给使用者。 5 构成设定 构成设定可以对磁盘阵列进行一括设定( 一次完成多个设定) 和个别设定( 一 次完成一个设定) 。一括设定有：物理盘的构造解除、磁盘阵列名字、p a i r 设定： 个别设定有：l d 的构造解除、磁盘阵列名字、访问控制。 6 连携控制 当磁盘阵列发生故障或警告时，系统直接把发生故障的时间、原因等信息 通过电子邮件的形式发送到管理员的信箱里，并且可以选择发送的级别以及相 应的信息，这就是连携机能【3 0 1 。这样可以使管理员维护磁盘阵列更加方便，即 使磁盘阵列不在自己的控制范围内，也能得到相关信息。 7 l o g 控制 l o g 控制的功能有：将信息输出到运用l o g 文件和系统事件日志中；当运用 l o g 文件的大小超出上限时，将信息输出到新的l o g 文件中。 8 性能监视 性能监视是对磁盘阵列的性能进行监视，并进行数据采集和分析。监视的 内容包括磁盘阵列的端口，物理磁盘和逻辑磁盘。通过对磁盘阵列的性能数据 分析，可以判断出i o 瓶颈所在地方。其主要的功能有： 1 ) 监视负载状况，在专用窗口中实时显示负载状况，归纳出性能的走向。 2 ) 分析负载状况，积累长期统计信息，并进行分析。 3 ) 监视负载，通过设定阈值，检查并通知用户预料之外的高负载状况，以便 1 4 武汉理工人学硕士学位论文 及时发现性能问题。 9 性能优化 在使用磁盘阵列的过程中，某些磁盘的负荷可能特别高，导致i o 的响应缓 慢，出现i o 瓶颈。性能优化就是为了解决该问题而开发的。主要的功能有： 1 ) 重新设计配置方案，设计用于查出负载集中的逻辑磁盘并重新均衡负载的 配置方案，进行性能协调、预测重新配置后的负载均衡状况。在重新配置逻辑 磁盘之前，预测配置后的负载率，并将其图表化，协助决定重新配置的方案。 2 ) 在执行业务时通过重新配置进行协调。重新配置逻辑磁盘时不需要停止正 在执行的业务，大大提高了磁盘性能。 3 ) 间隔一定的时间对磁盘负载状况进行监视，查出瓶颈所在的位置，然后进 行逻辑磁盘互换，从而实现无需停止服务器就可减轻访问突然集中的磁盘的负 载。 1 0 备份恢复 备份恢复是提高数据安全性和高可用性的手段之一，该模块是利用磁盘阵 列的命令，在磁盘阵列内部或在磁盘阵列之间实现高效的数据备份及恢复。该 模块在系统内部称为r r m ( r e p l i c a t i o nr e s t o r em a n a g e m e n t ) ，它利用磁盘阵列提 供的硬件命令，在磁盘阵列内部或者在磁盘阵列之间实现的s e r v e rf r e e 的数据 备份及恢复，并且通过各种设置选项，实现不同的复制状态，按用户的需要完 成不同的复制功能，在必要时恢复数据。存储区域网上主要应用之一就是数据 的备份恢复，r r m 是s r m s 中用来实现备份恢复功能的重要模块，备份恢复技 术能有效减少系统开销，提高工作效率，提高了系统的安全性，是s r m s 的特 有功能，也是本文将要重点介绍的部分。 3 4 小结 本章介绍了存储区域网络的管理策略，给出了存储资源管理系统的设计原 理和基本结构，接着对系统的各个功能模块进行一些必要的说明，使读者对整 个系统有一个初步的了解，然后指出本文工作的重点，并说明该模块在系统中 的重要性。 武汉理工大学硕士学位论文 第4 章r r m 备份恢复技术的研究 备份恢复管理模块是存储资源管理系统中的一个重要模块，在该模块中针 对客户的不同需求，提供3 种不同的备份恢复技术，有效地减少了系统开销并 且提高了工作效率，同时也大大提高了系统的安全性和可靠性。本章将主要介 绍r r m 中的3 种备份恢复技术，分析每一种技术的实现模型，并探讨其相关概 念、操作类型和实现方法。 4 1 卷复制技术 4 1 1 卷复制模型 r r m 从磁盘的管理入手，它通过引入复制的概念，在磁盘阵列中将一些磁 盘作为主磁盘( m km a s t e rv o l u m e ) ，另一些作为主磁盘的复制磁盘，也叫从磁盘 ( r vr e p l i c a t i o nv o l u m e ) 。卷复制是通过对m v 和r v 的p a i r 设定，提供复制、 恢复和分离操作，可实现以下功能：将主磁盘上所有数据的复制到从磁盘上； 当主磁盘上数据发生意外时，从磁盘上的数据就可以迅速恢复到主磁盘上；通 过各种选项的设置可以实现不同的复制状态，即按用户的需要可以完成不同的 备份恢复功能1 3 。两个磁盘同时取数据失败的可能性是很小的，这样数据的脆 弱性就比单一的磁盘小得多。其高安全性表现在以下几个方面： ( 1 ) 使数据备份时系统停止的时间大大缩短，对系统的影响降至最小。 ( 2 ) 更容易的构造真实的测试环境。 ( 3 ) 数据更新业务和检索业务可以进行并行处理，更加有效地提供服务。 4 1 2 卷复制相关概念 ( 1 ) v o l u m e 备份恢复操作是以逻辑盘( l d ，l o g i cd i s k ) 为单位进行的p 2 1 。逻辑盘在备 份术语中称为“卷( v o l u m e ) 。磁盘阵列中的v o l u m e 可分为三种： 1 ) m v ( 主卷) 即待备份的原始数据所在的v o l u m e 。 1 6 武汉理工人学硕十学位论文 业务卷( 即原始数据所在的v o l u m e ) 通常作为m v 使用。只充当m v 的 v o l u m e ，亦即数据的最初“源头 ，称之为p v ( p r i m a r yv o l u m e ，原始卷) 。 2 ) r v ( 从卷) 即数据备份的目的v o l u m e 。 若r v 和与其对应的m v 在一个磁盘阵列内，则称该r v 为d r v ；若它们在 不同的磁盘阵列内，则称该r v 为r r v 。 3 ) i v ( i s o l a t e dv o l u m e ，独立卷) 不参与备份恢复操作的v o l u m e 。 ( 2 ) p a i r 设定规则 在容量相等且操作系统类型相同的两个i v 之间可设定p a i r 关系，此时可指 定其中一个为m v ，另外一个为r v 。只有存在p a i r 关系的两个v o l u m e 才可进 行数据的复$ 1 j ( r e p l i c a t e ，简写为r p l ) 与恢复( r e s t o r e ，简写为r s t ) 。数据复制的方 向是从m v 到r v ，数据恢复的方向是从r v 到m v 。m v 和r v 之间有以下三 种组合方式： 1 ) 基本组合方式：m v ：r v = i ：l 一个m v 和一个r v 组成p a i r 关系，能够成为p a i r 的两个v o l u m e 既可以位 于同一个磁盘阵列中，也可以位于不同的磁盘阵列中。 d i s k a r r a y ld i s k a r r a y 2d i s k a r r a y 明 一 图4 1 基本组合方式 2 ) 并列组合方式：一个m v 可以与多个r v 组成p a i r 关系( 最多可以有4 个) ， 这样可以形成m v 与r v 之间的分叉( b r a n c h ) 关系，在运行时生成同一数据的多 个副本。 1 7 武汉理t 大学硕士学位论文 图4 2 并列组合方式 3 ) 串行组合方式：同一个v o l u m e ，可以在一些p a i r 中作m v ，也可在另一 些p a i r 中作r v ，这种即作m v 又作r v 的v o l u m e ，称之为m v & r v 。这样可以 形成m v 与r v 之间的链式( c h a i n ) 关系，它是通过数据复制的“传递”关系，将 数据一级一级地传往更远或更安全的地方保存。 d i s k a r r a y1d i s k a r r a y 2 d i s k a r r a y ld i s k a r r a y 2 图4 3 串行组合方式 从上面的描述可以看出，磁盘阵列中的m v 和r v 之间的“分叉”关系可以 形成一种树状结构( 可以称之为“p a i r 生成树”) ，而“链式关系则形成一种森 林结构( 可以称之为“p a i r 生成森林”) 。i v 则可以看成是一些“孤立点”，这些 “孤立点”可以随时加入已有的树，也可以创建新的树。树中的v o l u m e 也有从 树中“离开 的自由。在同一个磁盘阵列内生成多个数据备份时，可以使用“分 叉”式的p a i r 关系，而v o l u m e 之间的“链式”p a i r 关系建立的目的是为了尽可 武汉理工人学硕士学位论文 能地在不同磁盘阵列间生成数据的多个备份。因此，规定一个p a i r 链中最多只 能有两个v o l u m e 位于同一个磁盘阵列中。