（计算机软件与理论专业论文）基于san的存储管理软件的研究与开发(1).pdf

阿北t 业犬学硕十论文 摘要 i t 应用领域的不断扩展产生了越来越多的数据，导致了对高容量，高速存储 系统的迫切需求。而存储区域网( s a n ，s t o r a g ea r e an e t w o r k ) 的提出解决了上 述问题。 本文研究了基于s a n 的存储管理软件整体功能，提出了等待控制表机制和进 程问的超时机制，应用于备份和恢复管理系统中，提高了备份和恢复管理系统的 性能和可靠性。另外，针对存储管理系统中要保存诸多同类信息、占用内存大的 问题，同时考虑到能够实现进程问的数据访问，提出，设计并实现了e n t r y 管理 库，从而大大降低了内存的使用量。另外，本文还设计和实现了a g ( a t o m i cg r o u p ) 功能，提供了一种解决灾难恢复的方案，同时相对于单个v o l u m e 的操作，阻组 为单位操作，简化了用户的操作。 在本系统的设计和实现中，作者克服了很多理论和技术实现上的难题，在此 做一总结，希望对广大同行的设计和实现有借鉴意义。 关键词 s a n 备份e n t r y 管理原子组p a i r 组 两j l - ：业大学硕十论文 a b s t t a c t t h ee x p a n s i o no fi ta p p l i c a t i o n sh a sr e s u l t e di nm o r ea n dm o r ed a t a b e l n gp r o d u c e d ，m a k l n g 1 t n e c e s s a r y t o m a n a g eh i g h c a p a c i t y s t o r a g e s y s t e m s o n ei d e at h a th a sb e e np u tf o r w a r dt os o l v et h e s ep r o b l e m si s th e s a n ( s t o r a g ea r e an e t w o r k ) 1 n l sp a p e rs t u d l e st h eg e n e r a lf u n c t i o no fs t o r a g e m a n a g e m e n ts o f t w a r e b a s e do ns a n f i r s t l y ，t h ew a i tc o n t r o lt a b l ef u n c t i o n a n dt i m e o u tf u n c t i o n 1 sa d p a t e dt ot h es y s t e mo fb a c k u pa n dr e c o v e r ys ot h a t t h e yi m p r o v et h e p e r f o r m a n c ea n da v a i l a b l i t y s e c o n d l y ，t h e r ea r es o m a n y s a f f 【eo bi e c t s m a n a g e d 1 nt h e s t o r a g em a n a g e s y s t e ma n dag r e a t ed e a lo f m e m o r y is o o c u p _ e d a n dl no r d e rt oa c c e s st h er e s o u r c e sb e t w e e n p r o c e s s e se n t r y m a n a g e m e n tl1 b r a r y1 sp r e s e n t e d t h i r d l y ，t h i sp a p e ra l s or e s e a r c h e st h e a g ( a t o m i cg r o u p ) f u n c t i o n ，t h e ni m p l e m e n t sa nm e t h o d t od e a lw i t ht h e d i s a t e rr e c o v e r yi ns a na n da gm a k eu s e r se a s i e rt oo p e r a t et h a na v 0 1 u m e k e yw o r d s s a n ( s t o r a g ea r e an e t w o r k ) r e p l i c a t i o n e n t r ym a n a g e a t m oic g r o u p p a i rg r o u p 曲i l l ：业大学硕士论文 1 1 研究背景 第一章绪论 在人类信息技术发展史上，数字技术是一项划时代的成就。随着数字技术的 不断发展，数据量爆炸性增长，对海量存储设备及其管理提出了迫切的需求。如 果将存储资源以一种无序的方式连接到不同类型的服务器( 即d a s ，直接连接存 储) ，不但浪费了大量空闲存储空间，而且很难管理，同时，数据的备份难以进 行。 为了解决上述问题，目前有两种流行的方案，即n a s ( n e t w o r ka t t a c h e d s y s t e m ) 和s a n ( s t o r a g ea r e an e t w o r k ) 。s a n 是使用高速链路( 如光纤通道) 将存储设备和服务器连接在一起而形成的专用于传输存储数据流的后端网络，实 现对存储资源的集成管理。相对于n a s 而言，s a n 在存储规模、可扩展性、灵活 性、存储速度等方面更有发展潜力。 存储系统有三大构成要素，存储设备( 主要是磁盘阵列) 、互联设备和协议、 存储管理软件。其中，存储管理软件在存储系统中的地位越来越重要，没有存储 管理软件的支持，再好的硬件也难以发挥作用。存储管理软件主要包括存储资源 管理、数据备份、性能监视、集群系统、灾难恢复以及存储虚拟化等。通过存储 管理软件，可以提高资源的利用率、系统的可用性和人们的工作效率。目前，存 储管理软件的研究与开发已成为一个热点，许多的著名i t 企业，女i ：i h p 、i b m 、e m c 、 v e r i t a s 、s u n 等，都投入大量资金和人员进行研究。存储区域网络工业协会 ( s t o r a g en e t w o r ki n d u s t r ya s s o e i a t i o n ) 专门成立了一个分支机构s n m w g ( t h e s t o r a g en e t w o r km a n a g e m e n tw o r k i n gg r o u p ) 来致力于解决存储区域网络管理 所面临的问题。总的来说，存储区域网络管理技术的研究在国外已经有了一定的 发展，出现了很多各具特色的存储管理软件。在国内，学术界、工业界和有关部 门虽然已经意识到信息存储技术浪潮的到来及其重要性，也投入了很多资源来进 行研究，但是软件要以硬件为基础，因此，还没有自主产权的类似产品问世。 存储技术作为一个正在迅速发展的技术，其市场前景非常广阔。作者认为， 对数据存储技术的研究既有理论价值，更有实际应用价值。有幸作者参与了s a n 管理系统的设计与开发工作，从而对存储网络技术，特别是对存储网络管理软件 技术进行了研究。 聪i 王簸大学碟七论文 i 。2 研究沟容及弱檬 本文疑讨论的基予s a n 数存撩誊遴系统鲻( s t o r a g em a n a g e m e n t ) 怒建挥菇 瑟在懿漾嚣缀与芝客审辩虢较侮疑n e c 矗s 公霹共强舞发戆，爨戆是实溪怼菜瓣奉 企业所垡三产驹磁盘薄列的管理茅妇配爨，并在北基础上提供一宠的应用解决能力。 罄前巴疑在多个绦终系缝平螽上实域了对存镶设备盼状悫鼗裰氍资源管理，矮功 能几乎覆盖t s a n 瞽疆软件的所有方面，包括网络设备陂障的自动梭趣和隔离功 鼹、数撵备镑浚笈功麓、存德资源管理、秣鼗簸褫与撬纯、存髓安全管理帮交 徉警理等。 在熬个鬃统拣开黢过程中， 譬者主耍及攀黢务器瓣瓣工俘，负责数攥鍪徐 恢复模块豹谈诗秘实瑷。本文缀合鍪爨耧羧燹懿应震，豢重分绥器掺羧务器懿逡 计和寓现，以及如秘利月s 州实现甍性熊麴舔份和恢复。 l 。3 论文鲍组织方式 全文的缀织缩构懿下： 第一寒：绪论 对本支酌研究背最、磷究肉容、羁称避行了说溺。 燕一露：基予s a n 敬襻撩管毽( s 麓) 搬遴 耋襄奔绥了存穗俸蓉结稳豹菱震历囊及涞素趋势，饕菱奔缁了存储蕊躐阚豹 构成耍豢。 第二黎：基予s a n 魏蠢德警瑾( 瓣) 浆壤述 简要介掰了存储箭理系统的总体构成及器功能模块间的关系。 筵三露：r p l 胬谂管瓒s e r v e r 的浚计与突现 介绍了r p l 管理s e v e r 的总体框架和相应的功能我安税。 第嚣豢；r p l 豹浮徐淡改进 对蓊援耄实鬣懿r p l 翡谯捩杰逶行了搔遴，并霹新动能遴行了袋勰。 结囊滠 致谢 参考文献 一一 堕j 型：些盔堂堡主堡苎 第二章存储区域网概述 2 1 存储体系结构的发展与挑战 2 i 1 存储体系结构的历史与现状 2 1 1 1d a s 直接连接存储 d a s ( d i r e c ta t t a c h e ds t o r a g e ，直接连接存储) 也称为s a s ( s e r v e r a t t a c h e ds t o r a g e ，服务器连接存储) ，它实际上是传统c s 架构中的文件 服务器存储方式。存储资源被一台服务器所独占，同一l a n 上的其它工作站 或服务器必须通过这台服务器才信e 访问存储设备上的数据。不同类型的计算 机间要想实现数据共享，必须通过n f s ( n e t w o r kf i l es y s t e m ) c i f s ( c o m m o n i n t e r n e tf il es y s t e m ) 等协议来进行。 这种存储方式，存储资源的利用率很低，不同机器问数据共享困难，且 文件服务器常常成为访问的瓶颈。并且，数据分布在系统中的不同服务器上， 导致难以进行有效的备份和管理。 2 1 1 2n a s n a s ( n e t w o r ka t t a c h e ds t o r a g ，网络互联存储) 是一个大容量存储设 备，它通过集线器( h u b ) 或交换机( s w i t c h ) 直接连在数据网络上，使磁 蔽蔻：l ：建大学臻论文 _ _ _ _ w _ _ _ m _ p _ 一一 盘空潮的扩袋强弱在潮络上添妻羁打印飙一弹桶简单方瞧，蒉豆，n 盎s 设备上 集成了一个“疲”文件服务嚣，可撬供高速的数耀访问能力。n a s 通常在 令l a n 上占有趣己酌繁点，葵物理l ：莛鹫灵溪，它萋零上是一辩结台了瓣络篱 容德躲瑟瑟帮攥存穗技术。 n a s 包括存键嚣l 譬葶嚣集成在一起鹣“瘦”文l 譬爨务器，露1 | 露予实褒涉及 文馋级敬存双秘管理功麓。n a s 设蘩一般支持多操作忝绞乎窘，臻户邋过爨 络支撩协议可访问棚丽的文 牛，翻丽，设备无需改造即可用于混合 u n i x a i n u x w i n d o w s 翮。 2 1 1 。3s a n s a n ( s t o r a g ea r e an e t w o r k ，存接嚣城耀) 是搜璎蒸予光绎逶i i 耋菠零f i b r e c h a n n e l ) 的电缆、交换枫和集线器，将很多存豫设蘩幂鞋不阏躲服务器连接匙来， 影成静专瘸子存德数据往输豹滕端网络。程s a n 中，照磐器帮存储浚器、以教存 储设备和存储设备之闯郝是戳多点对多点的方式进行数据的存储撩制信息交换。 g a n 将蘩徐羧复数摆濂获传统翡蓊薅数爨网络中分离蠢采，捧为一个数立筋焉 溺狂健爨络，遴行数覆静餐徐藕传输。这样，数疆无须经避企业局竣丽就可瞵俊 遮煮效越撼数摄在s a n 中盘接鼓一个存辏设备黪送翻舅令存 l ；蓦设备。 阳北1 ：业大学硕士论文 2 1 2s a n 与n a s 的比较 下图是s a n 与n a s 的比较表。 s a nn a s 协议 串行s c s i 一3n f s c i f s 共享对象 d i s k 或者磁带 文件系统 共享对象例 d e v d s k c o t o s 2 f i l e c d i r e c t o r y f i l e n a m e d o c 存取单位物理单位( b l o c k )逻辑单位( 文件) 文件系统由业务服务器构建由嵌入式的n a s 服务器构建 优点高速容易管理 备份容易 廉价 容易扩张不同系统问的数据共享访问容易 缺点昂贵文什级的备份困难 比较复杂，管理困难与s a n 相比，性能较低 适用的领域l - 性能关键型应用，如大型不是必须使用r a wd i s k 的应用领域，它 数据库系统，它们大多采们更加重视对文件的共享访问，如：i s p 、 用直接访问物理盘数据块邮什服务器、搜索引擎、多媒体服务器等。 的方式( r a wd i s k ) 2 对存储安全性要求较高的 应用 强就i 篷灭学硕士谂支 2 1 3 存储技术的未来与发展 本节将从异构设备的管理、存储网络距离的扩展、不同存储体系结构的融 合等三方囊鼹未来熬技术发鼹趋势遴行讨论。 ( 一) 存储艘拟化 s a n 作为新兴的存储体系，需要将多萃中来自不同供应商的存储系统整 台并通过一个单一界面和管理模式来对它们加以管理。 存髓虚按亿意昧羞逶过对物理存储瓷源进行逻辑敬掰采大大篱纯复 杂多样的存储构架。它通过运用块级映射技术，以虚拟磁盘的形式为主 税疆务器提 ； 冬了一令存健器逻辑援銎，并蠖存穗数撂浃鬟魏毽存储设蘩 的工作以一种对服务器完全透明的方式进行。对于s a n 来说，存储虚拟 化的最终羁标就是使季导一个应瘸程序戴潜终蠛期户能够仅坟根撼它骚嚣 疆的属健来使用，请求，改变可用的存储资源丽不用关心存储资源的设 备提供商，位置，物理结构以及介质类型。 存德瘦叛仡可淤在主税层次上通过漆管理嚣实现，也可基于存储子 系统级别来实现，还可通过在网络级别上引入公菇的存储服务嚣来实现。 德这些方案褰褒赣予昊蒋弱供寂亵，一缎只麓在咒个厂籁之溺豹某塾产 品间实现存储虑拟化。蠛终的解决方案应该是制定一个得到普通接受的 存鳍域刚络协议( s a n p ，s a np r o t o c 0 1 ) ，衷簿他这季孛异襁存髓繇壤的繁 理问题。 ( 二) i p s a n 与i s c s i 协议 传统的f c s a n 爨有一定的局限褴。如： l 需要专用设备和机器，不能利用既存的基于i p 网络的设备。 2 。震产在i p 磁络上兹餐理经骏不麓壹接奔l 予眨网络静管理，增麴了麓； 理成本。 3 。不能保迁不翻厂齑产黯阍懿连接经帮互攥搏瞧。 4 虽然单模光纤提供最远达l o 公罩的连接距离，但这在某些场合下仍 然不够。丽f c 对于避一步扩展存储阈络的躐离是无栽为力的。 因藏，为了解决这魏限制，种更新的网络存储概念一i p s a n 就 产生了。2 0 0 3 年2 月，i e t f ( 互联网工程任务小组) 正式公布了i s c s t 标 准，舞i p s a n 静实现提供了依撵。 i s c s i 协议怒将s c s i 命令压缩n t c p t p 包中，从而使数据块可以在i p 瓣络上健羧，翳滁了实辩矩褰骚潮，霹以缓瑶一般兹蔽太圈交羧穰幕联 网，不需要特殊的硬件，用户在i p 网络上的经验也得以平滑地移植到到 存储网终鲍管理上。 西北【：业大学硕士论文 高速干e i s c s i 把s c s i 、以太网并n t c p i p 结合起来。在s a n 和n a s 之问 架设了一道桥梁，它既具有n a s 的易管理性，又拥有s a n 大容量集中开放式 存储的品质。它以低廉的总体拥有成本获得了较高的性能，比较适合中 低端用户环境。 但是，i s c s i 也不是万能解决方案，首先，它只适合于中低端用户环 境。其次，因为现在所有的用于s a n 的磁盘阵列都只支持f c 接口，要让所 有设备厂商都支持i s c s i 接口，还有一段很长的距离要走，所以笔者认为 i s c s l 最终将能够发展成为业务主机到存储设备这一级的接口标准，但存 储设备之间应该还是以基于f c 的s c s i 协议为标准，从而在s a n 中形成两个 协议层次。这样，既能在管理层面上充分利用i p 协议的丰富管理资源和 经验，又能在存储层面上获得最大的性能提高。当然，如何有效地协调 这两种协议，以及它们之间的相互转换，还是一个需要长期研究的问题。 ( 三) 存储技术的融合 n a s 有一个s a n 无法比拟的优势，即在l a n 环境下，n a s 可以实现异 构平台之间的文件级共享。因此。s a n 和n a s 的整合将是存储发展的必 然趋势。 如何让s a n 和n a s 结合起来，如何在一个产品中同时提供面向文件和 面向块的存储，这个问题在s a n 并n n a s 产生的第一天就存在。最好的策略 就是把n a s 年n s a n 进行集成。基本思想是由专用文件系统真正实现磁盘块 i o ，使用常规的磁盘卷引擎为文件系统或块设备服务。这将真正融合面 向文件和面向块的存储，为服务器中的存储空间及应用提供灵活的管理。 与n a s 一样，它也有内嵌的运行专用操作系统的服务器。其核心操 作系统采用分层体系结构，最底层软件负责磁盘管理、r a i d 及缓存，缓 存之上是管理存储空间的虚拟层，它被文件管理和目录管理层使用，而 n a s 网络协议堆栈在最上层。通过在虚拟层上插入l u n ( l o g i cu n i t n u m b e r ，逻辑部件号) 管理层，以增加对面向块的f i b r ec h a n n e l 存储阵 列的支持。这种设计的好处很多。由于文件管理和l u n 管理层是同一虚拟 层的处理对象，空间得以在它们之间自由分配和再分配。例如n e t a p p 公 司的f a s ( f i b r ea t t a c h e ds t o r a g e ) 就是基于这种方法实现s a n 和n a s 集成的。 2 2 存储区域网的构成要素 s a n 系统的三在构成要素是互连协议、硬件和软件( 包括管理软件和应用 软件) 。 西北： 业大学硕七论文 2 2 1s a n 互连协议 s a n 环境下的连接方式通常有三种：光纤通道、并行s c s i ；f , 其它的专用协议。 ( 一) 并行s c s i 协议 并行s c s i 协议在传统的以服务器为中心的系统中使用很广泛，但有 以下缺点：单主机连接，最多支持1 5 台外设，连接距离限制在1 2 米等， 难以实现多主机间的存储资源共享，扩展性和可维护性差，在替换故障 设备时需要关闭电源等，不适于远距离的高可靠性的容灾和备份。 ( 一二) 专用协议 专用协议一般用于专用的封闭系统中，支持厂商少，没有广泛和一 致的标准。如e s c o n 协议一般用于i b m 大型机系统。 计算机技术发展的实践证明，只有开放的技术才能最终赢得市场， 取得主导地位。 ( 三) 光纤通道( f c ，f i b e rc h a n n e l ) 协议 f c 协议簇是一个开放式的国际标准，它可以光纤或铜缆作为传输介 质，以极高的速率和可靠性来收发数据。使用铜缆时的传输速率与光纤 相同，只是连接距离短很多。 f c 协议簇是一套完整的标准，它可以支持多种上层协议，如下图所 示： f ( 4 f c 一3 f c 一2 f c 1 f ( ：。o 占酲占医 二二二二二亟巫亟三二二二二 i 圆圈圈固型l f c 协议簇 醇北工业大学硕十论文 现在的开放式s a n 环境的主流连接方式是基于f c 的串行s c s l i 力议( 称为 s c s i 一3 协议) ，它具有类似于并行s c s i 协议的指令和上层协议接口，从而与以前 的存储设备兼容；但为了充分利用硬件和光纤通道的能力，最新的s c s i 一3 协议也 增加了新的命令集合。 s c s i 一3 协议支持多主机连接同一个存储设备，支持高达1 6 0 0 万结点连接和 最长l o 公里的连接距离。 2 2 2s a n 硬件 s a n 硬件包括业务主机、管理主机、存储设备、网络设各以及其他设备。 ( 一) 业务主机和管理主机 业务主机可以是各种不同型号、不同规模的机器，既可以是大型机，也 可以是小型的工作站。它是用户运行应用程序和完成e ：= | 常业务的机器。它们 也是数据的来源和加工者，s a n 的存在就是为了向这些业务主机提供可用的 存储资源。业务主机与s a n 本身的关系不是太大，所以不作特别说明。 ( 二) 管理主机 管理主机运行存储管理软件，为用户提供一个统一管理s a n 中存储设备 的平台。它一般作为服务器使用，要求有较强的处理能力和计算资源。 ( 三) 存储设备 包括磁盘阵列、j b o d ( j u s tab u n c ko fd i s k s ) 等，一般就有如下的功 能： 可以通过f c 或者t c p i p 进行磁盘阵列的访问。 具有高速的c a c h e 功能 复数个s e r v e r 可以进行连接。 发生故障时，能够及时地进行通知。 能够进行z o n e 化处理等。 ( 四) 网络设备 s a n 网络设备用于实现业务管理主机与存储设备以及存储设备之间的光 纤连接，主要有如下几种： 1 桥接设备( b r i d g e ) 用于连接不支持光纤协议的磁带库和光纤设备( 如光纤集线器或光 纤交换机) ，实现s c s i 和f c 之间的协议转换。 2 光纤集线器( f ch u b ) 和光纤交换机( f i b e rs w i t c h ) 用于在s a n 环境下连接主机、存储设备以及其它的光纤集线器( f c h u b ) 和光纤交换机( f i b e rs w i t c h ) ，形成各拓扑结构，并为各种设 备之间的路由和寻址提供物理支持。 阳北：业大学硕七论文 3 光纤通道主机总线适配器( f ch b a ) 即f i b e tc h a n n e lh o s tb u sa d a p t e r ，用于为业务主机和管理主机 提供光纤接口，使得这些服务器主机能够接入光纤网络，访问其中的 存储资源。我们也可通俗地将之称为“光纤卡”。并且每个h b a 都有一 个全球唯一的标识符，即w w n 。 s a n 的拓朴结构一般可分为f c a l ( f i b e rc h a n n e l a r b i t r a t e dl o o p 光纤通道仲裁环) 和f i b r i c ( 光纤交换结构) 两种。 ( 五) 其他设备 主要是指连接网络设备和存储设备的电缆等附加器件。在基于f c 协议的 s a n 中，既可以使用光纤，也可以使用同轴电缆。 2 2 3s a n 软件 s a n 环境下运行的软件分为存储管理软件和业务软件两类。s a n 环境下的业务 软件与普通的业务软件没有什么两样，因此在本文不加讨论。 存储管理软件按功能来说分为如下三类： 1 驱动程序 使用光纤通道适配卡时需要特定的驱动程序，增强功能的驱动程序附件 2 存储网络管理软件 对网络流量和各网络节点的活动进行监视，并以g u i 方式显示网络的拓扑 结构，能对网络性能和q o s 进行一定的分析。 3 存储设备管理软件 对存储设备的构成设定、存取访问控制、性能监视与优化、设备故障的监 测与报告、数据备份恢复等功能。 其中对对数据和应用进行备份和恢复是一个存储管理软件的必须实现的 核心功能，很多存储管理软件厂商的主打产品都是备份与恢复解决方案，如 v e t i t a s 的n e t b a c k u p 系列产品。 2 3 小结 本章对s a n 的基础知识进行了必要的介绍，包括网络存储的概述，s a n 的概 念、s a n 的构成要素、s a n 与n a s 的比较、存储技术的发展趋势等。在下一章里， 将重点介绍基于s a n 的存储管理系统。 西北工业人学硕士论文 第三章基于s a n 的存储管理( s m ) 概述 s m ( s t o r a g e m a 衄g e r ) 是用来监控和管理磁盘阵列的资源管理软件，采用 c 1 i e n t s e r v e r 模式进行管理，如下图所示： 幽3 1 存储管理c s 模型 c l i e n t 端提供两种操作界面，一种是g u i 方式，一种是命令行方式。c l i e n t 端通过通过t c p i p 协议，按照一定的命令格式发给s e r v e r 端，从而实现相应的 功能，同时s e r v e r 端定期地对磁盘针列进行监视，从而实现c l i e n t 端和s e r v e r 端的互动，从而实现对磁盘阵列的控制和管理。 本章主要说明s m s e r v e r 的实现。 s m s e r v e r 具有如下的功能： i ! ：e 北丁业大学硕士论文 资源配置管理对磁盘阵列进行r a i d ，逻辑盘( l d ) 等资源的配置。 状态监视管理对磁盘阵列的状态进行定期地监视。 性能监视管理 定期监视并记录磁盘阵列中各个存储单元的数据，进行性 能的分析。 连携机能对应重要的信息( 如发生了p d 故障等) ，能用e ，- r r a l l 来通知管 理人员。 数据复制管理在不影响业务的情况下，实现数据的复制和恢复。 性能最优化管理结合性能监视，通过特定的方式，消除i o 的瓶颈，提高 存储性能。 远程命令能够通过控制终端按照特定的协议进行磁盘阵列的控制和管理 文件传输在s m s e r v e r 出现异常或者客户需要从s e r v er 端侧进行信息取得时，通 西北丁：业大学硕士论文 s t o r a g e m a n a g e rs e r v e r 采用如一k 图所示的方式进行存储系统的管理。 3 1 系统总控模块( m a i n ) 系统总控( m a i n ) 模块是整个s m 系统的控制核心。由一个单独的进程 ( s m m a i n d ) 来实现。该模块负责创建并启动s m 系统中的其他进程。在启动其 他进程之前，s m m a i n d 进程会首先进行一些初始化工作，包括对s m 配冕文件 的解析等，然后把这些信息保存在共享内存中，供其它进程使用。在s m m a i n d 把所有进程都启动完毕后，系统进入就绪状态，这时s m m a i n d 就可以接受不同 的命令，通知其他模块进行相应的处理。并且，在系统出现异常时，它会自动收 集s m 当前的所有信息，供开发者问题调查时使用。还可以根据用户的设定，让 系统出现问题时，可尝试多次启动。 其主要的功能有： 进程的启动终止及顺序 配鼍文件的解析 异常情况下的信息收集和释放 3 1 1 进程启动终止及顺序 s m m a i n d 进程由s m s v r 进程创建并启动，它负责启动s m 系统中其它机能模 块的主进程，各机能模块的主进程然后启动各自模块中的进程，从而实现全系统 进程的启动。 s m s e r v e r 根据进程问相互依赖的关系，s m m a i n d 进程按以下的顺序进行启 动： l o g 一专m s g 一- - ) a 1i v e d 一- - f t p c 1i e n t a g e n t 一r m o n 一- - ) c o n f i g - - p m o n 一- - ) r p 。一专p e r f o p t 专c m d d 在用户要求s m s e r v e r 终止时，各模块的终止顺序与启动时的顺序刚好相 反，即： c m d d 一专p e r f o p t 一专r p l 一p m o n 一c o n f i g 一r m o n 一专a g e n t 一专c l i e n t 一- - f t p 一- - a 1 i v e d 一- - m s g 一- - ) l o g 3 1 2 配置文件的解析 s m 配置文件是设置s m 系统使用的硬件资源，用户，密码和各个进程所需 信息的文件等。s m m a i n d 利用f l e x 对该文件中的配置进行解析，然后把这些信 西北。l 业人学硕十论文 息写入到共享内存中。各个进程可利用s m m a i n d 启动时所传入的共享内存i d ， 从而可以配置文件的信息进行访问，取得进程相关的所有信息。使用配置文件的 方式，可以增强系统的灵活性，可使用不同的环境。 3 1 3 异常情况下的信息收集和释放 当某个机能进程异常终止，或者被用户不小心杀掉等，系统都会信息收集和 释放，方面可方便问题的调查( 程序都是有b u g 的) ，另一方面，保证系统能 够继续正常运行。 当各机能进程出现异常时，s i f l s e r v e r 系统首先会收集相关信息，如各个进 程的t r a c e ，l o g 及c o r e 文件等，同时把各个进程的申请的资源进行保存，如共 享内存，信号量，管道等，在下次s w s e r v e r 启动时能够进行资源的释放，否则 的话，在出现多次进程异常时系统的资源就会耗竭，整个操作系统就会出现问题。 但是这些都是有前提的，就是在各个机能进程申请进程问资源时一定要向 s m m a i n d 进行注册，才能保证在下次启动时，能够自动的进行资源的清理。 3 2 消息处理模块 s m 系统作为管理s a n 的软件，监视的种类特多，多个业务同时对共享的 磁盘阵列进行操作时，都需要及时地向用户进行提示和报告；并且，对于特别重 要的故障信息，需要及时地通知管理维护人员，进行灾难的恢复。另外，作为一 个管理软件，在开发中或者在用户使用过程中，为防止出现重大的问题无法查明 原因等，为便于软件的维护，需要记录程序运行的流程，以便能够根据所记录的 t r a c e 和l o g 等，及时查明原因，减少用户的损失。s m 系统通过以下的方式来实 现上述的功能： 在程序的运行中记录关键的信息，显示程序运行的流程和各种错误信息。 在程序出现重大问题或者磁盘阵列发行变化时，把相应的信息输出e v e n tl o g 以及m e s s a g e 中。在磁盘阵列出现重大的故障时，要能把相应的信息通过 e m a i l 发送到用户指定的管理人员处，及时地进行故障的排除和业务的恢复。 堕! 堕! 些查堂婴主丝塞 一 _-一一 1 日志模块( l o g ) 为系统中的其它模块提供统一方便的日志信息输出功能。它从其 他模块接受需要输出的数据输出至l j s y s l o g 或者s m 系统的l o g 文件 中，还可以将这些日志信息通过客户代理模块发往g u ib r o w s e r ，提 示用户做了那些工作等。另外，该模块还提供t r a c e 的输出功能。 仿照u n i x 上的s y s l o g 的过滤机制，对于s c m 系统中的每一类同志 信息，可在s m l o g c o n f 中定义不同的消息级别和不同的处理方式。 2 e m a il 通报模块( m s g ) 从日志模块的输出中撷取某些重要的信息，通过m a i1 或者其他方 式通知远程维护人员。其过滤规则及对每一类消息的处理动作可通过 s m m s g c o n f 文件来配置。 3 3 客户代理模块 一个s m s e r v e r 最多可以支持3 2 个g u ib r o w s e r ，而这3 2 个g u ib r o w s e r 阳北工业大学硕士论文 就是通过客户代理( c 1 i e n t ) 模块来实现的。可见，客户( c 1 l e n t ) 代理模块是 g u ib r o w s e r 与s m s e r v e r 通信的桥梁，起到了存储转发的功能，一方面它根据 g u i 发来的要求，把相应的电文发送到s m s e r v e r 相应的功能模块去，同时还要 把各个功能模块返回的结果返回到各个g u ib r o w s e r 中。具体请参考下图。 3 4a g e n t 代理模块 负责各个模块和磁盘阵列的通信，通过把s c s i 命令按一定的格式发送给 a g e n t 代理模块，a g e n t 代理模块再发送给磁盘阵列，然后把从磁盘阵列接受到的 数据，返回给各个机能模块，从而实现各个模块和磁盘阵列数据的交互。通过该 模块简化了各个机能模块发送命令的复杂性，使得各个机能模块能够从和磁盘 阵列的通讯中解脱出来，更好地实现各自的机能。并且，能够按照s c s io v e r t c p i p 的方式，实现和磁盘阵列的通讯，从而实现存储管理系统对远程磁盘阵 列的管理。另外，作为个连接各机能模块和磁盘阵列的中间件，不是根据f i f o 的原则，它也对收到的电文进行优先级的设定，从而实现重要模块的快速取得。 a g e n t 代理模块还对i p 故障时磁盘阵列自动连接进行了处理。因为在对远 程磁盘阵列监视的情况下，网络出现故障的可能性非常大，如果没有有效的故障 恢复机制，从而会导致存储管理系统不能进行有效的监视，存储管理系统也就失 去了意义，因此，a g e n t 代理模块设计了定期监视磁盘阵列的机能，能够在i p 故障恢复时，能够及时恢复对磁盘针列的监视。 3 5 资源监视模块 对磁盘阵列中的各个组成部分进行监视。在磁盘阵列进行设计时考虑到了硬 件的健壮性，对关键部件进行了冗余化处理，能够实现对出故障的关键部件进行 热交换，继续运作。然而，通过提供对磁盘阵列中各个设备的监视，及时地发现 故障，从而更加有效的增强磁盘阵列系统的可靠性。 当磁盘阵列中的状态发生变化时，资源监视( r m o n ) 会向s m 系统的1 0 2 和s y s l o g 以及s mc l i e n t 输出异常信息；在个别情况下，还能通过e 。m a i l 把出现 异常的信息发送给远隔维护人员。维护人员根据收到的信息，就可以对磁盘阵列 进行分析和故障排除，如更新出故障的硬件，重新配置磁盘阵列等。 另外，r m o n 还把监视的磁盘阵列的变化发送给其他进程，如构成设定模块， 性能监视模块，复制管理模块等，从而使得其他模块相应得更新，维持和磁盘阵 列状态的一致，使得s mc l i e m 中的各个模块能够露示一致，如莱个磁盘阵瓢或 者l d 的名字发生r 变化，那么s mc l i e m 上的各个画面上的磁盘降列或者l d 的 名字都能登示一致，进而畿够茨壹潼瑗蹦0 瞄翡蕊覆帮箕佳模块餐二画嚣豹不一 致的情况。 3 6 资源酉己置模块 该模块是通过图形化界面或者命令行界面向客户提供配置磁盘阵列资源，进 行安全控制和进行擞处理设定等功能的模块。 在s a n 环城下，各个业务主机和存储资源在物理都是相连的，如下图。 需要对不同的主机分配不同的访问权限，防止用户误操作，保证数据的安全 性。磁盘阵列的安全控制试控制主机对l d 的访问权限，磁盘阵列主要由疆穆安 全性控制模式：端阳模式和w w n 模式。端口模式适合年订磁盘酶列直接相连的 拓扑结构，从物理上能够糟到几个就能访问即可。w w n 怒w o r l dw i d en a m e 的 简写，象e 氇e m e t 阏卡豹m a c 翘继一棒，h b a 卡也有全球难一的标识，w w n 模式就是根据主机的h b a 卡的地址进行设定，从而限制该h b a 卡所在的主机 戆够访阚那些盘。磁盘终捌提袋了一令捉鞫，帮l d s e t ，彗先生成一令l d s e t ， 然后把该l d s e t 和h b a 卡相关联，然后把要想访问的l d 登录到该l d s e t 中， 那么h b a 一囊所在的主枧裁可以通过f c 遗道谤阏该磁盘簿列鲍l d 了，没有登 录到的l d 不能访问。 西北i ：业大学硕七论文 3 7 备份和恢复管理模块 备份和恢复是提高数据安全性和高可用性的手段之一，该模块是利用磁盘阵 列的命令，在磁盘阵列内部或者在磁盘阵列之间实现高效的备份及恢复。该模块 内部称为r p l 管理模块，其实现方式和应用在后续部分详细介绍。 3 8 性能监视模块 性能监视是对磁盘阵列的性能进行监视，进行数据采集和分析的模块。监 视的内容包括磁盘阵列的端口，物理磁盘和逻辑磁盘。通过对磁盘阵列的性能 数据的分析，可以判断出i o 瓶颈所在地方。其主要的功能有： 监视负载状况在专用窗i z l 中实时显示负载状况( 数值表、时间序列图、柱 状图1 ，够归纳出性能的走向。 分析负载状况积累长期统计信息，并进行分析。 监视过载 通过设定闽值，检查并通知用户预料之外的高负载状况，从而能及时发现 性能问题。 3 9 性能优化模块 在使用磁盘阵列的过程中，可能使得某些磁盘的负荷特别高，导致i 0 的响 应缓慢，出现i c l 瓶颈。性能优化就是为了解决该问题而开发的。主要的功能有： 设计重新配置方案设计用于查出负载集中的逻辑磁盘，并重新均衡负载 的重新配簧方案，进行性能调谐、预铡重新配置后的负载均衡状况。在重 新配置逻辑磁盘之前，预测重新配置后的负载率，并进行图表化，协助决 定重新配置的位置。 在执行业务时通过重新配置进行调谐 重新配置逻辑磁盘时不需要停止正在执行的业务，可提高磁盘性能： 查出瓶颈位嚣间隔一定的时间( 1 分6 0 分) 对磁盘负载状况进行监视，查 出瓶颈所在的位置，然后进行l d 互换，从而实现无需停止服务器，即可减 轻访问突然集中的磁盘的负载。 睡f ：鼗大学硕士论文 目静，s m 中主要是通过r a n k p o o l 级别( 逻辑磁盘是构筑在r a n k 或者 p o o l 上懿) 靛後轻分轿采迸幸亍调整静，通过对r a n k p o o l 的涟视可以方便静 进行逻辑磁盘管理信息的互换，从而实现业务的不停止，就可以动态的进行逻辑 磁盘豹黧瑟配嚣，逶露解除i o 簸颈。如上型繇示。 3 。1 0 ，l 、结 本牵楚要分绥了存援管理系统豹总髂糖或及磐功麓模块阕豹关系，势黠蠢模 块的设计思想和主要功能进行了描述。 一 一一鍪i 塑：些查竺篓圭鎏壅 一一 _一_一一 第鼹章r p l 篱理系统的设计与实现 4 1r p l 管理s e r v e r 灏位嚣 辩上图繇示，r p l 篱瑾s e r v e r ( 蒈份和恢复管臻s e r v e r ) 凝与纛个模块 遴嚣逶臻，宗稍燕慧控挟臻( s m m a i n d ) ，c l i e n t 代褒模块，a g e n t 霞毽溪决， r c ( 舯毛豢 睾) 积r m o n 状态簸毫蘩。心毛蛰瑙s e r v e r 怒窿s m m a i n d 詹动寒 按剿；笺割鹫理c l i e n t 秘r p l 。攥馋爨要通过髋l 蛰理s e r v e r ，经受a g e n t 钱 理发行愈令，扶麓实魏辩磁懿簿到憝复剿管璎。r m o n 会定期嚣d i s k a r r a y 逆 行监搬，如暴发现磁盘阵列发生了变化，r l v l o n 状态监视就会把相斑晦变化 淘r p l 餐理s e l w e r 笈送邋籍然蕊再邈遘c l i e n t 代理摸块通知t i p l 管瑷c l i e n t ， 从而维护最示的硒西和磁盘陈列所楚的状态一致。总之，r p l 管理s e r v e r 与 羚都翡聂个摸浚密韬箱关，其有挺羰往德翻之闻的关系，浚谤密豹系绞架褐 才麓合纛车罾赢效率。 西北j ：业大学硕士论文 4 2r p l 管理s e r v e r 的总体结构 不 r p l 管理s e r v e r 模块由r p l 主进程和r p l 子进程构成。其内部构成如下图所 上蚕糖爨线糕肉是r p l 警璞s e r v e r 棱块，纛线框代袭各拿逡程。r p l 主进 程和r p l 予进程从逻辑上w 划分为若干功能块来实现，每个小框对应一个功能 块。 r p l 主进程负责和总控进程、c 1 i e n t 代理进程、r p l 操作、r m o n ( 状态监 西北一业大学硕士论文 视) 和r p l 子进程进行s o c k e t 通信，对收到的电文进行电文解析：然后根据电 文进行不同的处理，要么从共享内存中直接参照，然后返回给相应的客户就可以， 要么就按照按照一定的优先级，维护一个等待表，然后把相应的电文发送给r p l 子进程。r p l 主进程把子进程发回的结果发送给相应的客户即可。 r p l 进程负责通过a g e n t 代理模块向磁盘阵列发行硬件命令，处理r m o n 发来 的e v e n t 通知，进行共享内存情报的创建和更新，并向r p l 主进程返回命令的执 行结果。 r p l 主进程和r p l 子进程之间有两种通信方式，一种是通过s o c k e t 进行的 r p l 模块内部通信，一种是通过共享内存来进行磁盘阵列状态信息的共享。r p l 模块与其它模块间的通信属于外部通信。所有这些通信都遵循约定的电文格式。 4 3 等待表的控制 因为r p l 主进程要和多个进程进行s o c k