（计算机科学与技术专业论文）基于san的存储管理软件的设计与实现.pdf

摘要 新的网络存储技术s a n ( s t o r a g e a r e a n e t w o r k ) 以其自身多方面的优势， 为日益增长的信息存储和管理提供了良好的解决方案，成为网络存储理想的管理 和应用模式。但目前，s a n 的管理对用户来说比较困难，管理成本在存储系统中 的比例较高，因此s a n 管理的重要性越来越被人们所认识。目前，业内普遍认为， 存储市场未来的热点不再会是技术本身，而是如何高效地对s a n 进行管理。 在此背景下，作者参与研发了大型s a n 管理软件s s m ( s a ns t o r a g e m a n a g e r ) 。该软件整合了s a n 管理的多种任务功能，针对多个任务模块实施集中 化管理控制，并具有强的监控能力，拥有故障自动恢复功能、数据复n 快照功能、 文件管理等功能。作者在研究与实践过程中，主要取得以下成果： 1 对多个功能模块，实现集中化控制管理功能，提高系统管理效率，有效降 低管理成本，增强了系统灵活性。 2 分析系统软件故障的多种情况，实现故障自动恢复功能，使系统在无人职 守情况下能够自动从故障中恢复，并且无需终止服务。 3 实现集中解析、管理用户配置信息功能，解决多任务模块下用户配置信息 集中管理问题，降低配置管理复杂度。 4 分析多平台应用的差异，在此基础上实现了w i n d o w sn t 平台利用多线程 模拟信号处理技术。 5 实现命令队列技术，完成了命令队列数据结构的设计，实现系统在繁忙情 况下高效地处理命令请求。 目前，s s m 系统已经完成开发并通过功能测试、性能测试以及第三方测试阶 段，系统运行稳定，性能良好。 关键词存储区域网，s a n ，存储管理，光纤通道 a b s t r a c t an e wn e t w o r ks t o r a g et e c h n o l o g y s a n ( s t o r a g ea r e an e t w o r k ) p r o v i d e sg o o d r e s o l u t i o nf o rt h ei n c r e a s i n gr e q u i r e m e n to fi n f o r m a t i o ns t o r a g ea n dm a n a g e m e n ta n d b e c o m e st h ei d e a la d m i n i s t r a t i v ea n da p p l i e dm o d ef o ri t sn a t u r a la d v a n t a g ei nm a n y a s p e c t s h o w e v e r , t h em a n a g e m e n to fs a ni ss t i l lab i gh e a d a c h ef o ru s e r s ，a n dt h e a d m i n i s t r a t i v ec o s th o l d sal a r g ep r o p o r t i o ni ns t o r a g es y s t e m s oi ti st h ei m p o r t a n c eo f t h em a n a g e m e n to f s a nt h a ti sg r a d u a l l yr e a l i z e db yp e o p l e i nt h i s b a c k g r o u n d ，t h e w r i t e rt o o kp a r ti nt h ed e v e l o p m e n to fl a r g es a n m a n a g e m e n ts o f l w a r e - - s s m ( s a ns t o r a g em a n a g e r ) t h i ss o f t w a r er e a l i z e dl o t so f f u n c t i o n so fs a n sa d m i n i s t r a t i o na n dr e a l i z e dt h ec o n c e n t r a t i o no ft h ea d m i n i s t r a t i o n f u r t h e r m o r e ，t h es o f t w a r eh a ds t r o n ga b i l i t yo nm o n i t o r i n g ，h a dt h ef u n c t i o n so ff a u l t r e c o v e r y , d a t ar e p l i c a t i o n s n a p s h o t a n df i l ea d m i n i s t r a t i o n ,e t e t h e m a j o r a c c o m p l i s h m e n td u r i n gt h ep r o c e d u r eo f t h er e s e a r c ha n da p p l i c a t i o ni s ： 1 f o rm u l t if u n c t i o nm o d u l e s s s mr e a l i z e dt h ef u n c t i o no fc o n c e n t r a t e d a d m i n i s t r a t i o n t l l i sm a d es y s t e mm a n a g e m e n tb e c a m ee f f e c t i v e d e c r e a s e dt h ec o s to f m a n a g e m e n t , a n de n h a n c e dt h ef l e x i b i l i t yo f s y s t e m 2 a n a l y z i n gd i f f e r e n tc a s e so fs y s t e ms o f t w a r ef a u l t ，a u t h o rr e a l i z e dt h ef u n c t i o n o ff a u l tr e c o v e r y t i l i sm a d et h es s mc a nr e c o v e rf r o md i s a s t e ra u t o m a t i c a l l yw i t h o u t a d m i n i s t r a t o r si n t e r f e r e n c e ，a n dn e e dn o ti n t e r r u p ts e r v i c e s 3 r e a l i z e dt h ef u n c t i o no f t h ec o n c e n t r a t i o no f p a r s i n ga n da d m i n i s t r a t i o no f u s e r s c o n f i g u r a t i o ni n f o r m a t i o n 1 1 1 i s m a d ec o m p l e x i t yo fc o n f i g u r a t i o nm a n a g e m e n t d e c r e a s e d 4 a n a l y z i n gd i f f e r e n c eo fd i f f e r e n tp l a t f o r m ，a u t h o rr e a l i z e dt h es i m u l a t i o no f s i g n a lm e c h a n i s mb ym u l t i t h r e a di nw i n d o w sn tp l a t f o r m 5 r e a l i z e dt h ec o m m a n dq u e u ef u n c t i o n 1 1 1 ed a t as t r u c t u r eo fc o m m a n dq u e u ei s d e s i g n e d 1 1 1 i sm a d es s mc a nd e a lw i t hc o m m a n de f f e c t i v e l yw h e ns y s t e mi sb u s y n o wt h ed e v e l o p m e n to ft h es s ms y s t e mh a sb e e na c c o m p l i s h e da n dt h es y s t e m h a sp a s s e dt h ef u n c t i o nt e s t p e r f o r m a n c et e s ta n dt h et h i r dp a r t yt e s t t h es y s t e mw o r k s w e l la n dh a sag o o dp e r f o r m a n c e k e y w o r d s ：s t o r a g ea r e an e t w o r k ，s t o r a g em a n a g e m e n t ，f c a l ( f i b r ec h a n n e l a r b i t r a t e dl o o p ) 1 1 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位 期间论文工作的知识产权单位属于西扎工业大学。学校有权保留并向国家有 关部门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学 校可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存和犯编本学位论文。同时本人保证，毕业 后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业大学。 保密论文待解密厉适用本声明。 学位论文作者签名：鲤指导教师签名：幽 叼年弓月 日2 叼年电月丫日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位 论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文 中已经注明引用的内容和致谢的地方外，本论文不包含任何其他个人或集体 已经公开发表或撰写过的研究成果，不包含本人或他人已申请学位或其它用 途使用过的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名： 3 司 年；月1 日 i 两北r = 业人学硕七学伊论文第一章绪论 第一章绪论 内容提要：本章主要对存储区域网络的研究背景及国内外发展现状进行了介 绍，并介绍了本文的研究内容及文章结构。 1 1 研究背景 最新数据表明，全球数字化信息正以几何级数放大增长。2 0 0 1 年的全球存储 市场规模为3 8 6 3 5 亿美元，2 0 0 5 年，达5 8 0 3 4 亿美元；在亚太区，存储市场规模 从2 0 0 0 年的2 4 9 亿美元增长到2 0 0 5 年的4 5 1 亿美元。研究显示，企业对信息资 料存储的忽视已经影响了自身的商务运作能力，并且随着数据规模的增大及安全 要求的不断提高，存储设备的应用管理成本也日益提高。 “9 1 1 ”事件后为一些关键业务行业，比如金融、电信以及证券等行业敲起了 数据安全的警钟，使得这些被人们称为高端市场的行业用户对网络存储产品有了 更大的需求，因此出现了市场的采购高潮。即使不是“9 1 l ”，由于这些行业信息 化程度较高，对网络存储的需求也是最迫切的，所以，相对于其他传统领域而言， 网络存储的市场潜力巨大。鉴于存储市场的发展前景，欧美等西方国家都在极力 发存储系统技术。在市场方面，欧美各大跨国公司，如e m c 2 、h d s 、v e r i t a s 、i b m 、 惠普等，在存储系统产品的研发和未来技术发展上都有大力的资金和资源投入， 并在市场上取得了垄断性地位。与此相配合，欧美各国在国家战略角度上，重点 支持大型网络存储系统研究和开发。 新的网络存储技术s a n 以其自身的优势，一方面为网络上的应用系统提供丰 富、快速、简便的存储资源；另一方面又能共享存储资源并对其实施集中管理， 成为当今理想的网络存储管理和应用模式。与传统存储方式相比，s a n 的管理效 率大大提高了，资源利用率远远高于传统存储方式，所以s a n 势必将占有大量的 市场。据预测，在未来的几年内，我国的存储系统市场将快速增长，其中，s a n 将以每年增长6 2 的速度发展。 1 2 国内外研究现状 s a n 从系统结构上可分为：存储系统、互连网系统、存储管理，三大部分。 由于s a n 是采用专用传输协议( f c ) 构建的专用存储网络，其管理和维护对于普 l 两j 匕一1 + 业人学硕七学位论文 第一苹绪论 通用户来说比较困难，管理成本在存储系统中的比例非常高，因此其管理的重要 性越来越被人们所认识。目前，国外业内著名厂商和研究机构普遍认为，存储市 场未来的热点不再会是技术本身，而是如何高效地对存储资源进行管理。而且， 目前如何实现s a n 管理的标准化是当前存储网络业界的一大主要难题。 尽管s a n 的标准化组织已经成立，但是有关存储管理的软件体系标准目前尚 在指定中。当前各大流行的管理软件大都是s a n 存储设备生产厂商根据自身产品 特性度身定做的，存在功能单一，集中管理困难，互相的集成和互操作性差的问 题。 目前国内s a n 管理软件领域的现状，难以让人乐观。虽然在存储领域处于相 对劣势的国内厂商，通过与国外厂商的合作加快了在存储管理软件市场上前进的 步伐，但仍然无法满足企业日益扩大的需求。 因此，对基于s a n 的存储管理软件的研究正逐步成为存储区域网络领域内关 注的焦点。在此背景下，作者对s a n 存储管理进行了深入的研究，并通过参与国 外著名企业的s a n 存储管理软件的研发与设计工作，针对s a n 众多功能集中管 理控制功能的设计与实现提供了一套完成可行的方案。 1 3 研究内容 目前，目前s a n 管理正由单纯的设备管理发展为集中式、智能化的存储区域 管理。本课题组与中科院软件所及国外某著名企业合作，针对多种操作系统平台 开发了一系列s a n 管理系统软件。 笔者通过其中集中管理控制模块的开发，就s a n 管理的主要技术进行了研究， 提出了基于s a n 的存储管理软件的体系结构设计、功能设计、功能实现进行了详 细讨论，并对集中控制管理模块的设计进行了重点探讨，对其中集中管理策略、 通信机制、故障恢复等方面设计提出了切实可行的方案。本文主要研究内容包括： 1 介绍了传统存储技术的模式，分析了传统存储技术的局限性。 2 对两种新存储技术进行比较，详细介绍本系统采用的存储区域网络的基本 概念、构成要素。 3 分析目前s a n 管理现状，归纳了s a n 管理存在的问题。 4 提出了本系统管理软件( s s m ) 的体系结构设计，从基本模型、功能设计 等方面进行了探讨。 5 对集中管理控制模块( m a i n ) 的设计与实现，所涉及的多方面问题提出了 解决方案。 2 劭北丁业人学硕士学位论文第一章绪论 开发过程中，作者从设计( b d d d ) 、编码( c d ) 到测试( u t s t ) 等阶段 严格遵守软件工程思想方法工作。测试过程中人工测试与自动测试相结合，并从 多方面对性能进行了完善的测评和分析。保证了系统运行的性能、健壮性和稳定 性。 1 4 论文的组织方式 全文的组织方式如下： 第一章绪论 介绍项目的研究背景，作者在开发中的主要研究内容和论文的组织方式 第二章存储技术概述 存储技术的比较，以及存储区域网络的基本概念、构成要素以及发展前景 第三章s s m 存储管理软件的设计与实现 分析s a n 的运行环境及主要管理策略，并对当前s a n 管理方面的问题加以 分析，得出一系列解决方案。针对关键技术进行详细讨论和阐述 第四章集中管理控制机能的设计与实现 对s s m 系统中的集中管理控制模块m a i n 的设计和实现方面的问题加以分析， 并针对每个问题点提出相应的解决方案 。第五章其他机能的设计与实现 对s s m 系统其他功能的设计与实现进行简要叙述 第六章系统性能评价与改善 对s s m 系统的测试方法进行介绍，并提出新的自动化测试方案；对s s m 系 统整体性能测评结果进行分析，得出结论 第七章结束语 西北工业大学硕士学位论文 第二章存储技术概述 第二章存储技术概述 2 1 网络存储概述 归纳起来存储技术的发展可以分为三个方向：d a s ( 直接连接存储d i r e c t a t t a c h e ds y s t e m ) 、n a s ( 网络附加存储n e t w o r k a t t a c h e ds t o r a g e ) 、s a n ( 存储区 域网络s t o r a g ea r e an e t w o r k ) 。 2 1 1 直接连接存储 d a s 是传统的存储方案，它以服务器为中心，各种存储设备通过i d e 、s c s i 等i o 总线，经过一个通用的服务器连接在网络上，存储器与服务器之间通过传统 的i o 总线通信。客户端如果需要访问存储器上的数据，必须先给文件服务器发送 请求信息；文件服务器解析这个请求并给存储器发送访问信息；存储器访问数据 并发送至文件服务器内存，最终由服务器把文件传送给客户机。这种结构中服务 器实际上起到数据转发的作用，导致这种结构有以下难以克服的缺陷，已经不能 满足网络时代的要求f l 】。请参考图2 1 。 服务器，存储服r s e 器s i 总线 ，。 f 留 j 存储设备 图2 - 1d a s 结构 4 西北工业大学硕士学位论文第二章存储技术概述 2 1 2 网络附加存储 n a s 系统拥有一个专用的服务器，服务器上安装着一个优化的文件系统和 “瘦”操作系统，其作用类似于一个专用的文件服务器。这种专用文件服务器去 掉了通用服务器原有的大多数计算功能，仅仅提供文件系统功能，用于存储服务。 而且，n a s 系统中的核心操作系统是经过特殊定制的，专门服务于文件请求且与 主要的网络环境兼容，其基本结构如图2 - 2 所示。n a s 的结构提供了一种解决常 规文件服务器模型中速度缓慢、服务中断现象的解决方案。它是通过基于i p 网络 的网络文件协议向多种客户端提供文件级f o 服务，客户端可以在n a s 存储设备 提供的目录或设备中进行文件级操作l ”。 图2 2n a s 结构 虽然n a s 使得存储的速度和可靠性得到了改善，但仍然存在一些难以解决的 问题： 1 传输能力有限。 2 可扩展性有限。 3 设备备份能力有限，不能对数掘库服务提供有效的支持。 由以上我们可以看出n a s 并没有解决实质问题，只是一种过渡性的解决方案， 而新型的网络存储技术s a n 正是针对这些问题的解决之道。 2 1 3 存储区域网络 存储区域网络s a n 是一种面向网络的存储结构，是以数据存储为中心，采用 可扩展的网络拓扑结构连接服务器和存储设备，并将数据的存储和管理集中在相 西北工业人学硕士学位论文第二章存储技术概述 对独立的专用网络中，面向服务器提供数掘存储服务。服务器和存储设备之间的 多路、可选择的数据交换消除了以往存储结构在可扩展性和数据共享方面的局限 性。请参考图2 3 。 晾涉 期络，局域网 存储嚣城网络 百由b 弱 图2 - 3s a n 结构 在多种光通道协议逐渐走向标准化后，s a n 最终将实现多操作系统下，最大 限度的数据共享和数据优化管理，以及系统的无缝扩充”。 2 2 存储区域网的定义 存储区域网络，即用于在异构服务器和存储资源之间进行数据传输的高性能 网络，是一种能够提供灵活连接方案、实现扩展容量、增加性能和延伸距离的新 方案。这种网络通过专用的集线器、交换机、网关建立服务器与磁盘设备之间的 直接连接，真正的使存储设备同服务器相分离，使存储成为多个服务器所共享的 资源，因此能够实现多主机之间的数据共享p j 。 s a n 为数据资源提供了一个专用的网络，通过协议映射，s a n 中存储设备的 磁盘或磁带表现为服务器节点上的“网络磁盘”。在服务器操作系统看来，这些网 络盘与本地盘一样，服务器节点就像操作本地s c s i 硬盘一样对其发送s c s i 命令。 s c s i 命令通过f c p 、i s c s i 、s e p 等协议的封装后，由服务器发送到s a n 网络， 然后由存储设备接收并执行。服务器节点可以对“网络磁盘”进行各种块操作， 6 西北丁业大学硕士学位论文 第二章存储技术概述 包括f d i s k 、f o r m a t 等，也可以进行文件操作，如拷贝文件、创建目录等【8 1 。 2 3 存储区域网络的构成要素 存储区域网络s a n 的构成包括以下三个方面：网络互联结构、存储管理软件 和存储系统。 考虑s a n 的构成，可以通过两个层次去理解：物理和逻辑。从物理层面看s a n ， 主要关注构成存储区域网络的各介质、网络的互联结构。从逻辑层面，主要关注 被标识的实体闯相互关系和联系。 2 3 1 物理层 从物理层角度上来看，s a n 由四种类型的组件构成： 1 最终用户平台，例如桌面系统和瘦客户端 2 存储设备和子系统 3 服务器系统 4 互联实体 终端用户即可以和f i b r ec h a n n e l 网络互相连接，也可以直接和存储设备连接。 存储区域网络中的服务器即可以单独存在，也可以由多个服务器构成集群。s a n 中的部件，大多都具有一定的管理能力，并且提供管理接口嘲。 2 3 2 逻辑层 逻辑上讲，s a n 是由各个部件、存储资源之间的相互逻辑关系组成。s a n 要 得到可靠、高效的应用，除了有物理部件作为基础外，还须要有管理工具和应用 程序的支持，这是至关重要的。这种从逻辑上对个部件的进行管理的关系包括j ： 1 存储子系统和互联实体之间的关系 2 存储子系统和服务器系统之间的关系 3 存储子系统和终端用户实体之间的关系 4 终端用户实体和服务器系统之间的关系 5 存储子系统之日j 的关系 6 服务器系统之间的关系 曲北工业大学硕士学位论文 第二章存储技术概述 2 4s a n 的主要特点和优势 其一，s a n 的可扩展性，它为每台主机提供了更多的可控存储容量。s a n 中 容量扩充不需要扩大每个磁盘的容量，也不需要增加主机的i o 控制器的数量，它 通过专门的网络交换机和集线器实现网络扩充。对于光纤网络，s a n 具有无限的 寻址能力。 其二，提供可靠的传输带宽。传统的存储技术依赖i p 网络作为传输路径，数 据传输就会使网络带宽处于饱和状态，s a n 将l a n 上的存储转移到以存储设备为 核心的存储网络上，使得数据访问、恢复、备份不影响l a n 的带宽。目前，存储 网络的千兆以太网能够提供1 g b s 的带宽，而光纤网络则可以提供2 g b s 的带宽。 其三，在数据可用和共享方面体现出前所未有的优势。服务器和数据的分离 以及面向网络的集中存储使数据的安全性和可用性大大提高。同时，面向网络的 集中存储和多路径的数据交换使数据共享变得非常容易。 其四，提供更长的连接距离。s a n 能以高速在很长的距离上运作，在采用光 纤通道协议( f i b r ec h a n n e lp r o t o c o l ，f c p ) 的f c s a n 中，使用单模光纤且不使用重 发器，就可支持长达1 0 公里的数据传输：而使用i p 网络进行数据传输的i p s a n 则可以在广域网上传输数据，从而使数据的存取不再受区域的限制。 其五，集中管理的方便性。集中式的管理支持远程监控、无人职守运行等。 利用s a n 的远距离连接能力，通过数据镜像等操作，即使系统遭受区域灾害( 如 洪水、火灾、大规模电力故障等) ，也能很快完成数据的灾难恢复。 其六，支持异构服务器。w i n d o w sn t 、u n i x 、l i n u x 和n e t w a r e 可同时连接 1 1 1 2 5s a n 的主要应用 1 数据备份s a n 的数据备份经历三个阶段：虚拟专有备份网络、集成存 储介质和设备s a n 、无服务器备份。这些方式都可以独立于原来的网络，提高数 据操作的性能。 2 存储池或称为存储共享，存储网络结构允许s a n 将所有存储组件视 为一个大的固有资源的集合的一部分。并且允许多个服务器共享一个存储单元。 这意味着它可以收集存储资源，并将其打包成虚拟驱动器，并且能够独立于服务 器扩展存储资源，将其重新捆绑给特定的服务器1 6 】。 3 数据共享由于存储设备的核心化，当应用模块需要从一个系统迁移到 8 西北工业大学硕七学位论文第二章存储技术概述 另外的系统时，不需对模块使用的数据做相应的迁移，从而降低了复杂度和系统 开销。 4 远程复制和灾难恢复s a n 的长距离连接能力，可以使存储介质放置在 不同的地理位置，将数据拷贝发送到多个地理位置不同的站点，从而避免某处发 生灾害所产生的影响。 2 6 小结 本章从存储技术的三个发展方向入手，阐述了三种存储技术各自的优缺点。 并从s a n 的定义、构成要素、主要特点和优势、应用领域几个方面对存储区域网 络s a n 进行了多方位、多角度的阐述。 下一章中，首先介绍s a n 的应用环境，并对s a n 管理策略进行分析，还借 鉴已有l a n 的管理原则，提出s a n 管理所面临的问题以及针对问题的解决方案。 9 西北工业大学硕士学位论文第二章s s m 存储管理软件的设计与实现 第三章s s m 存储管理软件的设计与实现 3 1 存储区域网络的应用环境 通常的存储区域网络应用的拓扑结构环境请参考图3 - 1 。 嗯笋 存储1 殳鲁 f 理服务鼍 图3 - 1存储区域网络拓扑结构 在该拓扑结构中客户机通过前端t c p i p 网络发送i o 请求，业务服务器受理 后经由负责存储传输的后端网络( f co ri s c s i ) 完成i o ，极大减少对l a n 网络 带宽的消耗。管理员可以从远程登陆到管理服务器上，对整个s a n 资源进行集中 管理和配置。另外，在该系统中用户可对核心业务设置c l u s t e r 系统的业务s e r v e r ， 出现故障能够不停机的由预备服务器接替工作。并且，利用s a n 在各设备之间设 置冗余连接，避免网络单点故障。后端网络用户通常会采用虚拟化存储技术，将 分散的物理存储设备映射为单一的逻辑资源p o o l ，提供给用户的虚拟盘( d i s k ) 或虚拟卷( v o l u m e ) ，用户可以突破物理盘的限制对存储资源任意分割、组合，并 可以将其绑定给特定的逻辑单元，以阻止其他逻辑单元对它的非法访问。 1 0 - 曲北j ：业人学硕士学位论文第三章s s m 存储管理软竹的设计与实现 3 2 存储区域网络的管理策略 s a n 的管理是保证s a n 为用户提供资源优化利用的重要因素，是网络管理和存 储管理的结合，可以帮助用户从错误和失效中快速恢复。s a n 的管理必须在收集系 统信息的基础上进行决策，以便为系统提供故障通知、预报和防护。目前，存在 着两种管理策略：分层管理和分级管理。 1 分层管理 s a n 是一个异构的存储环境，包括不同种类和层次的资源。如何实现各种资源 的集中管理，为用户提供集中、可靠的资源管理，以及为用户提供哪些种类和层 次的管理功能是需要解决的问题。s a n 存储管理系统按任务化分为以下5 个层次。 应用管理 数据管理 资源管理 网络管理 设备管理 设备管理：s a n 中的设备包括磁盘子系统、可移动的介质和交互连接设备，这 些元件都有专用的管理控制台。设备管理是指收集元件的状态信息以便于控制台 进行管理。所采用的技术分为带内管理和带外管理两种：带内管理是指设备和管 理软件之间的管理信息直接传输；带外管理则是通过基于t c p i p 的连接网络来收 集管理信息。 网络管理：网络管理层用来映射s a n 的物理部件，给用户显示s a n 拓扑结构 的视图，并让用户管理它。 资源管理：资源管理是以最优资源利用的方式来管理不同的设备，能让用户 共享跨越不同应用的设备。资源管理的主要好处是用户能够创建主机到l u n 的屏 蔽。 数据管理：数据管理的主要功能包括数据的备份、恢复，保证数据的有效性， 并能实现跨越网络的访问，此外还要保证数据存储的方式是安全的，数据恢复是 平稳的。 应用管理：应用管理涉及到运行在网络中应用的实用性和性能。应用管理的 目的是：即使设备出了故障，但如果应用能正常工作，则认为没有问题。应用管 理控制台允许用户通过集成的图形接口来检测、控制和管理网络中的应用。 西北工业人学硕士学位论文第二章s s m 存储管理软仆的设计与实现 上述各层实现s a n 中不同对象的管理，只有各管理层协调一致，存储系统才 能安全、可靠地为用户提供存储服务。 2 分级管理 按管理的范围，s a n 管理可分为三个级别：存储级管理、网络级管理和企业级 管理。 存储级管理：s a n 存储级管理是指对存储设备资源的管理，其目标是保证对存 储设备资源的最优利用。存储级管理还涉及优化存储子系统与主机的连接以及与 交互设备之间的连接。存储级管理主要从两方面进行：存储性能调整和分区。存 储性能的调整保证用户使用的存储设备是有效的；而分区( z o n i n g ) 则是保证存 储系统的安全并便于管理。 网络级管理：对存储网络进行管理，包括对存储设备以及网络设备的监控和 配置。使用户能够简化管理复杂度的方法是使用已有的网络协议和管理系统。 企业级管理：企业级管理是对一个企业网络的全面管理。在企业网络中，用 户需要利用网络管理软件( 或者说是企业网络管理系统) 来有效地管理s a n 。企业 管理系统能让用户自动化地管理大多数管理任务、减轻管理负担，还能让用户在 企业网络中集成备份平台。 由于采用分层管理策略设计的系统通用性较好，可用于各种不同s a n 网络拓 扑结构，并且有利于管理软件功能设计方案的确定，对于管理软件功能模块的设 计较为有利。因此，s s m 系统基于该策略设计和实现。 3 3 存储区域网络管理面临的问题 目前，s a n 技术虽然实现了海量数据的高可用性，但s a n 系统的管理仍有运用 及技术上的一些问题。 1 存储区域网络管理存在巨大的复杂性。 2 针对不同的任务功能存在多套软件，不能集中管理控制。 3 管理软件缺乏多平台支持。 4 存储设备以外的故障检测、恢复困难。 5 系统功能的可扩展性差。 造成存储区域网络管理复杂的原因包括多方面。存储系统是一个综合系统， 包括存储基础网络的硬件和支撑软件，还包括存储设备、用于管理资源的服务器。 目前，管理软件分散、用户接口( u i ) 不统一，大部分用户接口复杂难于掌握， 缺乏强大的管理界面，因此，系统管理人员对系统整体状况难以把握，更难以有 西北j 业大学硕士学位论文第二章s s m 存储管理软什的设计与实现 效的配置、管理存储区域网络排除故障。 由于整个系统环境复杂，硬件种类繁多，软件任务多种多样，针对复杂的环 境往往由多套软件满足用户多方面的任务需求，管理人员难于实施集中化、智能 化的管理，对企业增加了管理成本投入，更不利于软件故障的排除。 系统中存在多套软件，对于系统的整体信息难以收集，系统整体运行情况难 以把握，包括对系统性能和故障难以处理。例如，需要对系统某部件的性能情况 得出结论，信息需要从多个软件部件收集，并对不同种类的信息进行综合分析， 难度是可想而知的。 存储设备以外的故障往往难于被系统管理员察觉，系统难以做到无人职守运 行。因为，目前采用多套软件，各软件部件间联系较为松散，所以多套软件间缺 乏故障检；i u 力，无法实现各部件间的协调工作，管理人员需要采用既耗时又费 力的方式，定期查看系统运行状况才能发现并排除故障。这无疑又增加了管理的 复杂度与成本投入。 如果用户要增加任务需求，需要花费大量的时间和人力对新软件部件进行调 试。另外，软件部件的松散联系导致调试工作的复杂度加剧。 作者参与研发的s s m 存储管理软件即是针对上述s a n 管理存在的问题的一套 s a n 管理的完整解决方案，并且保持了s a n 的现有优势，后文将进行详尽的讨论。 3 4s a n 管理问题的解决方案 根据上一节提出的s a n 管理的问题，应当建立一个集中的管理平台，将软件 功能高度模块化，并将负责不同任务的功能模块进行集中管理。管理软件还应当 向用户提供强大的图形化管理界面和详细的许可结构及记录机制，以便使企业中 的有关部门有效地设计、配置、管理存储网络并进行故障排除。 不同于松散的多套软件部件的集合，在集中管理的平台上针对用户的各种任 务需求设置相应的功能模块，模块间共享系统状态信息，有利于集中统一的管理 以及各模块间协调工作。系统发生故障时，相关模块能够及时得到其他模块发来 的通知，并且采取相应的故障联动处理工作，这样以便提高系统的智能化程度， 减轻了管理人员的工作量，降低管理成本和复杂度。 通过集中控制管理的手段，利于各模块运行信息集中、统一的收集以及综合 分析，信息不再是各不同部件提供的零散、规则不统一的信息，系统管理员能够 集中的把握系统整体运行状况和性能状况，并由专门模块负责设备以外的故障检 测、预测报警与一定程度上的故障恢复，提高整个系统运行的稳定性。 西北工业大学硕士学位论文 第二章s s m 存储管理软r l 的设计与实现 使用代理技术，使系统管理只需要关注于相应的虚拟实体，用户不需要过多 的关心物理层的实现方式，底层通过设备支撑管理软件对物理层设备和网络设备 进行监控和配置，降低了用户管理的复杂度。 安全性方面，由于各功能模块置于集中的管理之下，由系统为各功能部件提 供统一安全监测点，管理人员不必维护多个监测点就能实施集中配置资源访问控 制，用户身份鉴别等安全控制措施。 下面研究针对以上思想的系统功能设计。s s m 系统采用s a n 的分层管理策略， 该管理策略将管理的任务功能分为五个层次，这五个层次可以在s s m 系统的设计 中映射为若干s a n 管理所不可或缺的功能。请参考图3 - 2 。 应用管理 数据管理 资源管理 网络管理 设备管理 客户端 数据备份恢复 设备构成设定 性能监视 状态监视 设各代理 图3 2s a n 管理软件基本功能模块 客户端，为用户提供集中化控制的单一的集中管理控制台。 数掘备份恢复，数据的备份目前包括复制和快照两种主要技术。 设备构成设定，提供对资源的各类配置功能。 性能监视，监视各部件的负载情况，并能够收集性能数据信息，对数据信息 分析并得出性能评价结论。 状态监视，对整个系统运行状态实时监视并将系统状态变更反馈到用户界面。 设备代理，代理所有功能与存储设备的交互，各模块可将代理看作是虚拟的 存储设备，不必对存储设备的固件打交道，只对代理模块发送s c s i 命令，由代理 模块将命令封装并发送给存储设备。 上述五个功能仍然无法解决s a n 管理所面临的所有问题。从故障管理观点看， 模块化设计有利于故障隔离，但需要提供机制对多个模块综合分析处理，并支持 故障联动机制，减少系统管理维护的复杂度；从配置观点来看，s a n 中大量组件之 间存在各种物理和逻辑联系，需要健壮的配置能力；从性能观点看，需要提供模 块对各组件数据综合分析，给出性能评价；集群方面，需要负载控制、集群系统 单点控制能力，并提供管理视图提高效率；安全管理方面，虽然s a n 的分区技术 西北工业大学硕十学位论文 第二章s s m 存储管理软件的设计与实现 能隔离存储设备，但作为集中式管理，中央管理者势必要将安全认证功能嵌入程 序以保障对其自身的安全访问。 根据以上分析，设计s a n 存储管理软件应当提供以下功能： 1 状态监视 2 配置管理 3 构成管理 4 性能监视、优化 5 安全控制 6 数据复制快照 7 事件联动 8 存储系统代理 另外，可借鉴设备代理技术思想，增加客户端代理，简化对系统访问的安全 管理，并代理各功能模块与客户端程序的交互；任何健全的管理系统都需要对程 序运行中的重要信息、错误发生时信息等进行记录，不仅整个系统要有日志记录， 各模块还需要维护本身的日志记录，因此可增加日志功能，为各模块提供公共库 接口；各模块之间存在着相互依存管理，某些模块功能实现需要其他基础模块提 供服务，故需要一个总体控制模块对其按一定顺序起动、终止，监控各模块运行， 并且负责模块问的公共事务。 3 5s s m 系统整体设计 参考3 1 中s a n 的应用环境，s a n 管理软件采用客户朋艮务器模式。s e r v e r 端 程序负责管理和控制存储子系统，c 1 l e n t 端程序为用户提供远程集中控制管理的 图形化操作界面。根据以上分析，设计s a n 管理软件体系结构图，请参考图3 - 3 t 引。 、 ( 系统总控制模块 ) 、 客 、 、 、 、 存 由 功功功功 储 端能能能能 系 代 模 模模模 统 理 块块块块 代 模1 2 3 n 理 块 模 、 块 r记录机制模块、 一 图3 - - 3s a n 管理软件体系结构图 1 5 西北业人学硕士学位论文第三章s s m 存储管理软什的设计与实现 根据上一节的分析，s s m 系统设计模块构成如表3 - 1 。 表3 - 1s s m 系统模块构成 模块功能 集中管理控制模块负责启动、终止其他功能进程( 模块) ，并处理各功能模块 ( m a i n ) 之间的共通事务，例如向其他模块提供用户配冒信息等。 存储系统代理代理磁盘阵列的固件与其它进程的通信，接受各功能进程 ( a g e n t )发来的s c s i 命令，发送给磁盘阵列；接受磁盘阵列发来的 s n m pt r a p 报文。 客户端代理代理各功能进程与c l i e n t 端程序的通信，保证c l i e n t 端 ( e l i e n t 代理)连接请求的安全性。 事件联动负责在发生某事件时通知管理员或执行用户指定的程序。 判断事件的发生依赖于系统输出的 o g 。 状态监视提供c 1 l e n t 端程序需要的以下功能：设定功能，设定阵列 名称等信息；显示功能，显示系统各构成要素的状态；监 视功能，对系统各构成要素的变更通报给相应功能进程。 性能监视提供磁盘阵列性能数据信息，例如阵列的负荷、异常负载 等，并将信息存入履历文件，用户可随时根据信息分析设 备性能。 数据备份数据复制，又称为卷复制，对磁盘组基础上划分出来的逻 ( r e p l i c a t i o n )辑盘进行全盘复制。 数据快照快照，又称为差分复制，只创建在某一时间段内被改变的 ( s n a p s h o t )数据块的旧数据的副本。 日志管理为各模块提供统一的模块输出接口，负责接受其他模块发 ( l o g 管理)来的日志输出请求，并输出到日志文件中。 构成设定提供对磁盘设备的各种配置功能。 文件传送负责将系统异常时的文件打包并发送给远程c 1 l e n t 程序。 性能最优化不停机的自动优化系统各要素的性能，例如磁盘性能等。 s s m 软件结构框架设计如图3 4 。 1 6 两北r 业大学硕士学位论文第二章s s m 存储管理软件的设计与实现 图3 4s s m 系统进程构成 1 7 西北工业大学硕士学位论文第四章集中管理控制机能的设计与实现 第四章集中管理控制机能的设计与实现 4 1 多个功能模块的集中管理 作为s s m 系统的集中控制管理者m a i n 模块( 以下简称m a i n ) ，m a i n 的设 计目标就是如何维护各功能模块的运行，如何处理好各功能模块之间的共通事务。 那么m a i n 具体需要承担哪些任务，才能既处理好各功能模块的共通事务，又不至 于过多的影响和干预功能模块内部的工作是重要问题。这其中包括以下几方面： 1 m a i n 与各模块间需要哪些通信方式 2 依掘怎样的原则管理各功能进程 3 进程异常采取怎样的策略恢复 4 负责各功能进程的共通事务都有哪些 4 1 1 集中控制的功能分析 m a i n 作为各功能进程的集中管理者，需要对其他功能进程的运行状态、占用 资源、进程间通信等方面负责。对整个s e r v e r 的启动、停止控制当然也是必不可 少的。m a i n 实际上可以认为是整个s e r v e r 端程序的大管家，使得各功能能够在稳 定、可靠的运行环境中，分工合作，各司其职。m a i n 与其他功能进程的关系，请 参照图4 - 1 。 r命令行程序、 多 m a i n 之囊未土一 状态监视 c l i e n t 代理几 a g e l l tl 。g 管理 r e p l i c a t 。n s n a p s h 。t事件处理 i | 文件传送 构成设定 性能监视性能最优化1 图4 - lm a i n 在s s m 中的重要性 1 8 西北工业大学硕士学位论文第四章集中管理控制机能的设计与实现 1 功能分析 作为一个大型系统的总控模块，m a i n 模块首先需要具备以下几个必不可少的 功能： 1 ) 启动、停止整个系统( 即各功能进程) 2 ) 维护系统资源，包括创建、回收等 3 ) 监视子进程状态，能够检测到子进程的异常，并采取相应处理 4 ) 用户能通过u i ( 用户接口) 与系统交互 5 ) 随着系统的启动而启动，随着系统的终止而终止 2 m a i n 功能设计面l 临的问题 以上是m a i n 基本功能的设定，但实