（计算机软件与理论专业论文）san存储管理软件的研究——主控模块的设计与实现.pdf

两北t 业火学坝i ：论文 摘要 传统的存储管理系统面临着巨大的挑战，尤其是在可用性可靠性及可扩展性 等方f 町的要求，迫切需要一种性能先进、安全可靠的海量存储系统。传统的分散 式存储结构山于分散数据的格式不统一，数据传输中的网络拼f 挤等自身的局限 性，很难从根本上解决实际面临的问题 目f 讥l ：日外许多大公司和研究机构在存储管理系统方面进行了大量的研究工 作，并推出了一些商业化的系统：然而，国内对这方面的研究却很少，还没有一 个相关的产品。针对这种现状，作者对此进行了一定的研究，并取得了部分成果。 本次在w i n d o w sn t 和u n i x 平台上开发的基于s a n 网络协议的存储管理系统 ( 吼1 a g o ( ：n n t r 0 1m a n a g e r ) ，是一个功能完备的存储管理配置系统，拥有网络 设备故障的自动榆出和隔离功能、数据管理功能、存储资源管理以及安全管理等 功能。 作苔负责此次丌发中主控模块m a i n 部分的设计和实现。开发过程中利用了 w i n d o w sn t u nt x 平台的许多特性，采用了许多新技术，严格按照软件工程的方 法，运用了先进的测试手段完成，大大提高了系统的整体性能和运行效率。从中 作者学到n 玎多新思想、新方法、新技术，独立工作能力和自身素质得到很大提 高，获益良多。 本文就是在此基础上对作者的研究工作及成果的归纳和总结。本文的安排如 下：西! 简介本次丌发的背景s a n 的特点和优势的基础之上，介绍s c m 系统的 功能划分和备模块的主要机能，着重论述作者负责的主控模块从需求到设计实现 的过f l ! 和成果。最后分析现有系统的缺点与不足，提出进一步的改进方向和设想。 关键字仔储管理系统 存储区域网 r c a l ( f i b r ec h a n n e l 一a r b i t r a t e dl o o p ) s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) 两北工业大学硕l 论文 a 【) s f i 【 h ia d i t i o n a ls t o r a g em a n a g e rs y s t e mh a st of a c eu pt og r e a tc h a l l e n g ef r o mt h e a c q u i r e0 1 1i f su s a b l i t y ，r e l i a b i l i t ya n de x t c n s i b i l i t ye t cb e c a u s ei ti sd i f f i c u l tt ou n i f y t h ed i f f m t i l t b r m a to fs e p a r a t e dd a t a ，a n db e c a u s et h eb o t t l e n e c ka p p e a r e dw h e n t r a n s m i s s i o no fd a t a ，ak i n do f b u l k ya n da d v a n c e ds t o r a g em m l a g es y s t e mi sl o o k e d f o r w a r dt ou r g e n t l yb yt h ec o n s u m e r 1 u s tl i k eo t h e rl a s t e dt e c h n o l o g y , n e t w o r ks t o r a g et e c h n i q u ew i l lg i v eu saf r e s h e x p c c t a t i o nf o rt h ef u t u r em a n yf o r e i g nl a r g e s c a l ec o r p o r a t i o n sh a v ed o n e al o to f r e s e a r c ha n dd e v e l o p m e n tw o r kl o n gb e f o r e ，a n dh a v ep r o d u c e dr e l e v a n to u t p u t b u t d o m e s t i ca c a d e m i ci n s t i t u t i o n sd oi i t t l er e s e a r c h0 1 1t h i sf i e l d | h es t o r a g em a n a g e s y s t e mb a s e d o ns a ni sd e v e l o p e do i lw i n d o w sn t u n i x o s i ti sam a n a g e m e n tc o n f i g u r a t i o ns y s t e mw i t hc o m p l e t ef u n c t i o n s i tp r o v i d e s w i t ha b i l i t i e s o f d e t e c t i n g b r o k e n d o w no fn e t w o r kd e v i c e sa n d s e p a r a t i n g a u t o m a t i c a l l y ，d a t am a n a g e m e n t ，s t o r a g e r e s o u r c e s m a n a g e m e n t ，s e c u r i t y m a n a g c m c n l a n df i l em a n a g e m e n t l h ca t t t h o rt a k e sc h a r g eo ft h ed e s i g na n dc o d eo fm a i nm o d u l e w eh a v em a d e u s co fal o to l g o o dc h a r a c t e r i s t i c so fw i n d o w sn ta n du n i xo nt h ed e v e l o p m e n to f t h es c m ，a d o p t e dn u m e r o u sn e w t e c h n o l o g i e s ，a n du s e da d v a n c e di n s t r u m e n tt ot e s t a c c o r d i n gt o s o f t w a r ee n g i n e e r i n g t h i si m p r o v e sw h o l ep e r f o r m a n c ea n dr u n n i n g e f f i c i e n c yo ft h es y s t e mg r e a t l y f r o mt h ep r o c e d u r eo fd e v e l o p i n gt h es y s t e m ，t h e a u t h o rh a sa c q u i r e dm a n yn e wi d e a sa n dm e t h o d ss ot h a tt h ei n d e p e n d e n tw o r k i n g a b i l i t ya n dd i a t h e s i so n e s e l f a r ei n c r e a s e d t h e a u t h o rb e n e f i t sf r o mi tg r e a t l y o nt h ec o n d i t i o n ，t h i sa r t i c l es i m i i su pt h ea u t h o r sr e s e a r c ha n do u t c o m e t h i s a r t i c l ei so r g i n z e da sf o l l o w i n gf o r m a t ： a tf ir s t ，t h eb e c k g r o u n d 一c h a r a c t e r i s t i c sa n d a d v a n t a g e so fs a n i si n t r o d u c e d ， t h ef u n c t i o no fe v e r yc h i l dp r o c e s si s p a r t i t i o n e d f o l l o w i n g ，i t d o e saf u r h e r d i s c u s s i o n0 1 7c o l e d e s i g na n dt e c h n i q u eo fm a i nm o d u l e a tt h ei a s t a c c o r d i n gt o a n a l y s i sn rt h ed c l b c to fs c m t h ea u t h o rp u t sf o r w a r ds o m ei m p r o v a b l ea s p e c ta n d k e y w o r d ss t o r a g em a n a g es y s t e m s t o r a g e a r e an e t w o r k f c - a l ( f i b r e c h a n n e l a r b i t r a t e dl o o p ) s n m p ( s i m p l e n e t w o r k m a n a g e m e n tp r o t o c 0 1 ) 两北丁业人学硕卜论文 1 1 研究鹜景 第l 章绪论 蒸锸诤，对i n t e r n e t 存镱容萎鹣露求每三令麓簸要翻一螫，函诧，疆专薤 人员1 分渴驭能有一种帮助他们整含存储信息控制的可伸缩性解决方案。而存储 区域删是比站岂分布式模型能更好地舒理信息存储系统的选择。 今天，多数规翰婊赣采用文传服务器处理柬爨最终鼹户帮其它应用服努器 的l f ) i 菏求的分糖式存储摸壁。在这种模型辛，掰有对数摄豹请求都经过与存 储磁蕊捌选的文件服务器，并且只有文件服务器可以通过s c s i 总线，在与其连 接的本地磁撒上存取数据。 这剥t 祓型蠢几个缺点。蓠先，黢务器能够谤阅懿数握量受测予惑线掰支接 豹磁盘酮个数，这就隈翻了蕈个文徉激务器匏容豢。其次，由予服务器处理帮个 i o 请求，j ) = i | 此它有成为瓶颈的危险。第三，由于只允许文件服务器访问其本地 磁盘，圜此这种服务器横裂的可用性受到非常大的照常4 。如果此文件服务器或蕻 某s g s ： 避接出臻故障，那么鼹户秘菸宅痤瘸黢务器羲失去了涛润存德文 譬麓 麓力。 这利| 申蹩删还存在另外一些非常不利的条件。分布式服务器依靠数据传输网 络柬执行备份和恢复操作，这些操作套耗尽带宽，便f 常的网络传输性能严重下 辫。最辱，这种分数式竣嚣无论是麸逻辑兹受疫蓍逐蹩跌秘理款角菠看都缀蕊蛰 理。蔡j ：文件服务器的存储系统分布裰企业的各个地方，函此，常常很难评估当 前和术米的容量需求。幽于这类服务器使用并行连线配置将文件服务器连接到磁 盘阵列，所以它们在设键和管理上会十分繁琐。 s n 可以i ! 要通过艇台控制来减少困扰常斌文件服务器的阀题。这类专用 存储例络贝有更高的可用性、更好的性能、集中式的管理，并在结构上具有为 1 觚斛除带斑密集型数掇器份和恢复操作负担的能力。这就解放了l a n ，使它用 予l f 常的黢锶迸落，麸露绦 歪了更乎游靛备携运费。 利用像光纤通道这类高速传输技术。s a n 提供了为传送存储数据而优化的 商性能| 叫络。h a n 还为l a nf r e e 备份这类新型存储应用丌辟了道路。由于光纤 通道熊够支持多达1 0 公繁戆传输距离，s a n 设备可塔被广泛部溪，但同时还可 集t t 群理。 儿碰ii ，l ：像甲期的l a n 那样，s a n 仍在发展。厂商仍在解决产品的互操作 7 肚川题，卜f 盯发s a n 技术的各个公司在努力解决如何将差异非常大的存储和 燃终爆境浏! 禽超柬，并越管理这秀莘申蓼境。最后，人们顸缎，嘲l a n 一撵，s a n 两北工业大学硕：l 论义 将发胜成个成熟的高度可管理的解决方案，它可以更低的价格提供实实在在的 好处。 1 2 研究内容 本文首先总体介绍存储区域网络的概念及其基本构成，简述存储区域网络相 对f 传统网络的优势；接着概述本次开发的s c m 系统的主要功能及模块划分；之 后介绍州m 系统个模块功能的实现；最后详述m a i n 模块的主要机能、设计实现 以及重要技术。 第2 章存储区域网概述 2 1 传统存储技术 d a g ( d ir e c ta t t a c h e ds t o r a g e 直接连接存储) 是指将存储设备( 一般 足r a i d 硬盘阵列) 通过s c s i 接口或光纤通道宜接连接到网络系统的服务器上， 它的噢型特点是以服务器为中心。如下图2 一l 所示： 对每台服务器进行管理对每台服务器进行备份 图2 1d a s 网络存储结构 由l 罔可以看剑，d a s 存储体系是以服务器为中心的存储结构，并不适用于大 规模系统的应用，其局限显而易见。 甬先，释种存储设备通过诸如i d e 或s c s i 等i 0 总线与服务器相连。客户 机的数抛访问必须通过服务器，然后经过其i 0 总线访问相应的存储设备，服 务器。戈际 ：起到一种存储转发的作用。当客户连接数增多时，i o 总线将会成 为 个 ! ! 庄f f 瓶颈，并且会影响到服务器本身功能，严重情况下甚至会导致系统 的崩溃。， l 【1 j 服务器出现故障，信息资源也将被埋葬在崩溃的主服务器之中。 西北工业大学硕k 论文 j n 欠，传统的d a s 存储不支持多操作系统的文件共享，给网络环境下的资源 利_ h _ 带来极大的不便。同时，数据高可用的传输需占用很大的局域网带宽。 i 询这种以服务器为中心的存储方式已不能适应来自应用的越来越高的要 求。这f f ，传统的以服务器为中心的存储体系被网络存储所代替就成为一种趋势。 2 2 存储区域网络的概念 良l ：述的街多因素的推动下，存储区域网络应运而生。s a n 即：s t o t t e a g ea r e a n e t w or k ，j0 二在异构服务器和存储资源之间进行数据传输的专用高性能网络， 是一种能够提供灵活的连接方式、实现扩展容量、提高性能和延伸距离的新型方 案。，s a n 可以定义为是以数据存储为中心，采用可伸缩的网络拓扑结构，通过具 有赢传输速；莓的光通道的直接连接方式，提供s a n 网络内部任意节点之间的多路 可选择的数据交换，并且将数掘存储管理集中在相对独立的存储区域网内。在多 种光通道传输胁议逐渐走向标准化并且跨平台群集文件系统投入使用后。s a n 最 终：暂实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的 尤缝矿f l ! 。见f 圈2 2 ： 图2 - 2s a n 网络结构 2 2 1 存储网络的主要构成 缱改 个企、i k 存储区域网络( s t o r a g e a r e a n e t w o r k ，s a n ) 包含了许多相对 复杂的技术。s a n 有三个要素：网络互连结构、管理软件和存储系统。为了得到 两北丁业人学顾i ：论史 最任丈际腑川和现有应用程序的无缝支持，规划和集成显得格外重要，以下将 讨除纲建s a nf l j 有关问题。 存储区域州络作为一项新的技术，我们可以从物理和逻辑两个方面去理解上 述的? 个篮索，从物理的角度，我们主要关注构成存储区域网络的各介质以及网 络的：连绀构等：从逻辑的角度，我们着重分析存储区域网络的各组件之削的关 系、以及撼r 其上的管理软件等。 2 2 1 1 物理构成 a 址静个不同的技术组成，其中包括了光纤通道技术、磁盘阵列系统、 丰机、i j 龠 支术及应用技术，在s a n 中，传输数据采用的都是光纤通道协议( f c p ) 。 根抓i ： 簖功能的1 i 同可以将其中的设备大致分为如下两类： 第类：网络互连结构 ，光纤通道 s a n 山许多服务器和存储子系统组成，它们通过高速集线器或交换机 进行互连。光纤通道提供了许多优秀的性能，克服了s c s i 技术在传 输速度和传输距离上的限制。在建设低延迟的s a n 过程中，光纤通 道技术显示出在超高性能表现、可扩充性、可管理性以及灵活性等 力面的强大优势。它允许用户在不重新配置服务器的情况下增加存 储容量，在网管方面它能在整个网络结构中被当成一个元素进行整 体管理，还能提供快速故障定位和排除。光纤通道使用较大的数据 块传输，能在硬件级别保障正确的传输。 ， ) 够f 通道拓扑结构 有两种光纤通道拓扑结构支持s a n ，它们是择优环路拓扑结构 ( f c a l ) 和交换拓扑结构。在f c a l 结构中，数据经过各个节点进 j ：传输，所有的节点都共享同一带宽。理论上可以有1 2 6 个主机或 存储设备同时连接在f c a l 环路上，但实际上当连接的设备超过6 8 个州，系统响应时间会显著下降，有些连接甚至会因超过系统阈值 而中断。f c a l 拓扑结构提供了设备数量上的灵活性和可扩充性，并 1 能以可接受的价格在原有系统上进行很小的改造。但f c a l 结构 的缺点是其带宽是共享的，每具体时刻只能有个连接进行通讯。 r ：许多情况下，f c a l 结构已能满足需要，它最大的优势在于安装和 维护的费用很经济，是近来安装的s a n 系统中采用得最多的结构。 两北工业人学颂一j + 论文 交换拓扑结构中，各个不同的节点之间采用交换机进行连接，每 个连接都有专用的带宽。交换结构允许在企业网中移动大量的数据 儿同时提供高可用性。但构建交换拓扑结构代价高昂，而且在关键 、眦务中不一定比用集线器更具有优势，因为它需要管理软件的支持 驯维扩，此外还存在和其他设备的互操作等问题。 p - s ( 7 5j 交换拓扑结构 s c s 【交换虽然已经开始走下坡路，但在传统的s c s i 体系结构向光纤 通道过渡的过程中，它仍能起到临时的替代作用。 ，适配器、网桥和路由器 i ：帆总线适配器可让服务器系统总线连接到扩展的设备上。网桥是 连接s c s i 、e s c o n 和光纤通道的设各。路由器在光纤通道端口和s c s i 总线之问转换数据。网桥和路由器延长了传统存储系统的寿命，使 它们能一步步向光纤通道迁移。 集线器 砸s a n 中，服务器通过一个或多个光纤通道集线器或交换机来访问 行储网络，这些网络互连设备在其中所起的作用与在传统网络中的 作用类似。集线器把很多节点连接到f c a l 环路上，共享l o o m b p s 的带宽，集线器典型的应用是连接7 1 2 个节点。它的局限在于带 宽是共享的，而且在同一时间里只有两个节点可以相互通讯。 ，交换机 光纤通道交换机可以根据数据传输的实际需要配置交换链路，还可 以靠：多个交换机和多个节点之间扩充这个链路。在这种配置下，任 何交换机端口都可以全双工速率访问其他网络端口，并提供高可用 性。交换机允许在各个端口之间以满带宽楣互访问，它还可以和集 线器结合，组成网络互连结构，从而得到最大的性能价格比，从集 线器连接迁移到交换机连接到广域的路径。 第：类：存储系统 许多s a n 的部件，如磁盘系统、磁带系统以及连接部件都有一定程 度的麓理能力，并且都提供管理接口。s a n 中的存储系统和光纤通道交 两北- 下业火学砸e 文 按税以及移潞辙务器氇其备备螽鹃蓉建畿力，辑跬在整个s a n 中瀚餐能 j 止分和神：食网中的。 存储f 系统也可以包括爨无智能的设备，如磁盘和r a i d 设备，它们 义搜煮一意匏痰部缆裁璃怒，宠或镜像等数据功疑。宅巍爵隘包含繁有 缀强智能的存储服务器，同时带有专用的处理器和管瑷软件。存储系统 惩rr j 。以连接磁带和光驱等设锯，其最佳方式是通过光纤通道进行互遥， 此外还可以通过光纤通道到s c s i 的网桥设罄把s c s i 设舔出连接起束。 莳，存锗系统正朝着离性能、高可弼潍和可管殍性的方向发展。 2 2 ，1 2 邋霉嚣槐袋 从逻辚观点看，一个s a n 的逻辑遥行要求有应用程序和管理工具的参与，这 螳： 鼠能够对i ：多主机系统中的存储资源进行管理。这种逻辑管理体系结构包螨 从数掘管理应用程序到设鍪管理在内黪几个层次，逐必须包括每一层中的管瑷控 捌。 管理+ 个大型的s a n 需要一个健壮的管理配鼢系统，强有力的监控能力对 于集中管理广泛的资源相当必要，s a n 管理软件还应具各从网络藏存储设备掇 供的数烈巾检测粥朝将产尘翡故障或朝将发生的传羧簸颈的能力，鼠两可以捷 透行预防。矗? 管豫t p 豫了鬟管理s a n 申的数摄羚，还应管理s a n 中酌各静两络 设备，燕蟹管艘方面如下： 1 ) 行政绒管埋：它包含集中管遐、存储资源按制、拓扑和配置管理以及器 秽浚器盍n 集线嚣、交换瓿、跨国器苇珏网捺等缒效障隔甍。它透过s n m p 鄹c i m ( 通丽信息模墅) 协泼来迸孝亍管理。髫魏s a n 中的务种设备都 町以通过各自的篱理软件进行篱理和监控。 2 l 戳掘管理：它包括数据各份和数据复制、镜像管理以及数据分层存储篱 璎簿。 3 存锵资源管理：存储资源管璞惫一类应用稷窿，它们管理和监控物理和 逻辑层次上的存储资源，从两简化了行政管理，提高了数据的可用性。 被箭理的资源包糕存储硬件如磁盘子系统、磁带以及光介质系统等。猩 撼髫篁嚣管趣产晶辘够蓝控存麓系统夔键袋获凝、露爱瞧、瞧藐表王楚以及 配w 情况，从而提供优化策略。存储资源镣理还包括窖擞和配置管理、 数_ 挠1 ：、波备和介质的迁徙管理以及事件报警和策略管理。 4 )奠仑锈：雕：u n i x 髑w i n d o w sn t 给予了服务器管理所商存储资源的权 碉。d | 于在s a n 中舞舂静存薅资源餐可戳被存取，所以篱要青一静枫 - 6 - 两北t 业人学颂l 论艾 制求保证各个存储服务器中的数据不被非法改写。日日t 有3 种机制来保 m 苘先是持续绑定，它把主机总线适配器绑定在特定的逻辑单元上， 从而| ； i l ：其他逻辑单元对存储资源的非法使用：其次是在系统管理软件 巾嵌入程序实现相应的功能；最后一种机制是存取控制，使用端口分区 的力法，把交换机分成许多逻辑上的区域，从而实现安全的功能。 5 )文件管理：在s a n 中，要查看数据可以通过两种方式：一种是在物理 层次l ：以数据块的方式进行查看，另外一种方式是在逻辑层次上以逻辑 文件的方式进行查看。s a n 的一个难题就是因为在整个网络中各个服务 器的操作系统和文件格式各异，所以要进行有效的文件管理并不轻松。 征物理层次上，要实现资源共享很难，这主要是因为难以要求各个服务 搽挪采用相同的文件格式。所以希望只有寄托在逻辑层次上。目前有3 1 = | l 力案：首先是选择一种主机的操作系统和文件系统，如w i n d o w sn t 和它的n 7 r f s 文件系统，然后在其他不同种类的机器早安装w i n d o w sn t f i q 4 理，把各种其他的文件格式都转化为w i n d o w sn t 的文件格式，从 l m 实现文件资源的共享，但这种方法在实际应用中暴露出来的问题是其 代理的效率太低。另一种方案是在各种操作系统和文件系统中加入软件 乃式的中间层模块，利用它来进行格式的转换。这种方法的缺点是必须 时刻跟上操作系统的更新和修订。第三种方法是建立一种通用、独立的 文件系统。建立这样的标准需要各家厂商的协同和一致。 2 2 2 s a n 的主要特点及优势 ：s a n 提供了优异的可伸缩性，所以它逐渐成为那些正面临着数据存储 壁队述增【的大型企业和服务提供商在网络基础设施方面的选择。实际上，相对 f 传统f ( j 4 储体系结构，s a n 具有许多显著优点。例如传统服务器附加存储很 难进行更新和集中管理。如果要真正增加存储器和配置新存储器，必须要关掉每 一台存储器，相比之下，s a n 提供了一种方法可以避免像服务器附加存储那样 的俘：j ：1 1 和存储结构瓦解情况的产生。s a n 还有助于数据的集中化管理，而 这样l j 以人人减少整个操作丌销。 使e l j 光纤通道凋节技术，s a n 可以优化高效的数据块传递。通过支持包含 在存储器： ：l j 服务器之i h j 进行高容量数据块传递的软件，s a n 提供了简化数据备 份搽作的力泄i 。所以传统上用于数据备份的宝贵的带宽可以替换到更有战略意义 的| 避i 软什l ：。 j l ：放的、具有行业标准的光纤通道技术也使s a n 极具灵活性。通过克服传 统j ：，s c s i 相关的电缆限制，s a n 不但允许更多的连接，而且大大增加了存储 器和服务搽z m i 的距离。改进的可伸缩性简化了网络服务的使用和可扩展性，从 西北t 业人学删 二论文 而捉l ；：i ，殿初的硬件投资回报。另外，s a n 提供了在网络环境中更高层的控制， 用藏足鹰丁事务处理的系统在性能和可用性方面的要求。这类系统一般要求有 很高| 帅j 确定性，在软件性能上不允许宽范围的变动。s a n 通过使用高可靠性 和高性能的光纤通道协议满足了这一需求。 s a n 的另大优势是能将数据块高密度传递。由于在发送时数掘被分割成 的段数更少，所以在数据传输过程中，s a n 减少了预先对通信节点的处理( 服 务； 尤其如此) 。因此，光纤通道s a n 在传输大量集中的数据块方面要有效得多， 而i f 是这点使得光纤通道协议可以理想地应用于存储空间比较紧张的情况。 s a nf 、i 用软件及其好处 能存s a n 环境中实现的一个主要好处是它大大提高了企业数据备份和恢复 操作的可靠t l i g j 可升级性。基于s a n 的操作可以在减少整个网络上发生的通行 数最的同时，鼹著地降低备份和恢复时间。 当s a n 通过城域网的基本设施扩展时，它可以通过与远程设备的无缝联接 来提高i 】5 【障容锚度：可以将s a n 的组件距离增大至1 5 0 k m ，而性能丝毫不降低。 各利t 组织可以通过使用故障恢复设备，利用上述功能来提高故障容错度。这些故 障恢复设蒉刖于执行关键任务和为关键应用服务器进行远程数据备份。 另外，基于事务处理的数据库从s a n 的使用中获益匪浅。无缝地添加存储 器，提商数据备份的时间，保证了预期性能的级别，这些能力对全面提高事务处 理软什的可靠性、实用性和服务性大有好处。而且，消除了直接的存储器到服务 器的联系，s a n 也能显著地减少每台服务器备用存储的数量。 s a n 还提供了更划算的方法来实现高实用性软件的需求。传统意义上的高 实用f 豳q 配胃要求在高实用性服务器组中为每一台服务器提供一台热备份服务 器( h o ts t a n d b ys e r v e r ) 。而s a n 通过消除存储连接的限制，实现了用一台单备 份服务器支持多个主要服务器。 本章阿先介绍丁传统存储网络的结构，之后主要阐述存储区域网络s a n 的主 要构成、特点以及相对传统存储网络的优势。接下来将介绍本次丌发的基于s a n 的管刑i 软件。 - 8 两北t 业大学 | l 士论文 第3 章s c m 系统介绍 s tc m ) g ec e n t r o lm a n a g e r ( 以下简称s c m ) 是一套对磁盘阵列进行全局管理 的软件。属于基于s & n 的管理软件的范畴，它采取服务器客户模式，服务器端 对磁痢：阵列进行控制及监视，客户端与服务器端连接后，可以通过与服务器端的 通信对磁胜阵列进行图形化监视与控制操作( 远程操作) 。 s c m 旗。r 存储区域网( s a n ) ，能有效减少系统的综合丁】：销。除了捌有存储资 源谢理、安全管珊等功能，还拥有强有力的监控能力，能对整个系统进行实时监 控，随时搬告错误与警告信息，并对客户所定义的阀值进行监视，一旦超越用户 所舰定的阀值就会及时报告，报告的方法有l o g 输出和e - m a i l ，使用户及时预 防，所以具有很强的安全性。 s c m 的系统构成可以参考图3 1 ，由图可见，s c m 客户端通过网络连接服务器 端，即锐理s e r v e r ，管理s e r v e r 通过局域网及光纤通道直接连接磁盘阵列硬件， 客户端即可实现对磁盘阵列的图形化监视与操作。这是实现的基本模型。 业务s e r v e r 通过s a n 模式( f c a l ) 与磁盘阵列连接，可以直接使用磁 盘阵列中的存储殴备。用户不再担心磁盘阵列的状况，如何划分磁盘等棘手的问 题，这些都能由s c m 方便的完成，并且安全性高，性能优，速度快等好处。 图3 - 1s c m 系统构成 软什i 帮分包括s c , i 客户端程序和s c m 服务器端程序，服务器端的程序是这部 分的核心内辞，是实现磁盘阵列管理的关键。 s ( m 服务器端程序主要由9 个模块组成，它们分别是c o m m a n d 进程、m a i n 机 能、a g e l i l 管胖、c e n t 管理、状念监视( r m o n ) 、性能监视( p m o n ) 、r e d i ie a t i o n 管理、连挑控制、l o g 控制。表3 1 中列出了这9 个模块的基本功能。 型! 王些点兰! 堕：! ：! 堡苎一 一 模块 内容 c o m i a n d 进程负责s c ms e r v e r 的启动和终止，以及其他用户 命令的执行 由c o m m a n d 进程创建，负责启动或停止各个机 m h in 机能能子进程，并且当系统发生异常时进行 r e c o v e r y ( 恢复) 处理 c l 沁n t 管理负责s c mc ll e n t 和s e r v e r 各模块之间的通信 数据转发 连携控制负责控制s c ms e r v e r 和w e b g o m 系统的连接 l o g 控制负责输出各种l o g 信息 a g e n t 管理 负责s c ma g e n t 和s e r v e r 各个进程之删的通信 工作，与磁盘阵列进行s c s i 命令通信 状念崎视管理磁盘阵列构成及状态信息的存储及监视方 式的变更 性能监视监视磁盘阵列各管理要素的性能状况 r e p li c a t i o n 管理控制磁盘阵列的r e p l i c a t i o n 机能 表3 - is c m 进程的基本功能 这9 个模块组成了s c m ，它们在s c m 中的位置如下图所示 叵围 一j 状态监视i l 性能监祝 c i i e n i r e p l i c a t i o n a g e n t a 摧 管理 管理吖 奸 ，c l l e nc 降司f 习 图3 2s c m 的内部结构图 为j 他i 贸析更好的理解s c m 的工作原理，作者认为有必要把s c m 中重要的模 掣 两北工业大学颂：论文 块作个觞篮的晓明。 3 1c o m m a n d 进程 c o m m a n d 进器f i 丁以以命令行方式对s c ms e r v e r 进行简单必要的操作，例如 以卜的命令： ，s c ms e r v e r 启动命令： s c m s vrs t a r t 一is c m i d - cf i l e n a m e 一is e m i dm u l t is c m i d 1 9 ( 非公r 丌) cf - il e n a m e 环境定义文件名( 非公丌) ，s c ms e r v e r 终止命令： s c m s v rs t o p - e 一is c m i d 一e紧急终止 一is c m i dm u l t is c m i d 1 9 ( 非公开) s c ms e r v e r 的刷新命令： s c m s v ru p d a t e 一mi sd a s n a m e f rd a s n a m e 一is c m i d 一m 再次读入连携控制情报文件( m s g d d c o n f ) 一sd a s n a m ed is ka r r a y 装置监视停止 一rd a s d a m ed i s ka r r a y 装置监视再丌 一is c m i dm u l t is c m i d 1 9 ( 非公丌) 再种资源释放： s c m s v rc l e a r l 一i s c m i d 一is c m i d m l i l t is c m i d 1 9 ( 非公开) 还有。对不同的机能子进程有不同的命令，但这些命令都是发给s c m m a i n d 进 程后m 拍s c m m a i n d 进程转发给各个模块的控制进程，各模块的控制进程处理完 毕后将结聚返回给s c m m a i n d 进程，再由s c m m a i n d 进程给c o m m a n d 进程发送 响应报文，如f 圈所示： 图3 - 3c o m m a n d 进程与其他进程的关系 堕j ! 些苎兰堡兰堡苎一 3 2c l i e n t 管理 c 1i 。呲管理可以看作客户端和服务器端通信的桥梁，分为主进程、机能进程 以及通信进辊。主进程负责整体控制所有子进程正常运作，处理来自各个子进程 的请求并做 h 成答，接受c li e n t 的连接请求等；机能进程负责处理及转发其它 模块进程的静种助能请求；通信进程负责与c l i e n t 通信数据转发，通信进程只 有在连接了b r o w s e r 之后爿。被创建。 c ii e n t 管理进程问通信采用消息队列和套接字等手段，以报文的方式传递信 用、。 3 3 人g e n t 管理 a g e nl 管理的主要功能有： 处理备个模块控制进程和a g e n t ( 代理) 管理进程之i l 白j 的通信操作( 排队及 转发) ，处理柬自各个磁盘阵列的s c s i 命令 ，接收并处理tr a p ( 陷阱) 信号和状态监视请求 为r 乃便阳州n d o w s 系统上移植以及容易调试，a g e n t 管理机能采用多进程 壳法。蛙助l 。 a g e nl 管理机能由以下进程构成： 【) , g e n t 管理主进程：由s c m m a i n d 启动的a g e n t 管理机能父进程。负责 a g e n t 管理机能各进程的启动、终止和r e c o v e r y 处理。该进程只生成一 个。 2 ) 命令接收结果返回进程：从各个模块控制进程发来的操作磁盘阵列的 s c s l 命令的接收，通过套按字向相关磁盘阵列的对应a g e n t 通信进程转 发。接收来自a g e n t 通信进程的命令执行结果，返回各个控制进程请求 的信息。 该类进程与s c ms e r v e r 的各模块控制进程一一对应，系统启动后最多可 有： 个这种进程，分别对应状态监视进程、性能监视进程以及 n 1ic a t j o n 进程。 特别；需要指出的是，与状态监视进程对应的命令接收结果返回进程当收 到t m p 信号之后要转发给状态监视进程。 ：3 ) a g e r 1c 通信进程通过i p 或光纤通路发送和接收s c s 【命令，处理命令 队列c t 的消息，命令结果的返回。该类进程与s s e r v e r 所管理的磁 黜阵州一一对应，最大数目为系统的最大磁盘阵列数。 4 ) 7 m f f ) 进程等待来自管理对象a g e n t 上的s n m pt r a p 报文，将结果返 两北工业大学硕士论文 p i 给请求进程。该进程系统启动后只有一个。 a g ( _ _ n 1f i 按照一定的顺序启动各机能予进程 专设跨子遂程夔霆葫蹶旁跨，考虑蚕令予逡程夔撬戆愚否对整个鬃统鹣 f 嘣 运行有影响，若有影响，则该子进程必须优先启动。如：l o g 进 程，由于它负责s c m 系统的诸多运行状态信息的保存，因此优先启动； 某一“子进程的启动是否必频l 美另一子避程的正常运 乍为前提。如： 踏p i c a t i o n 避程囊奏数攒复潮，a g e n t 逐藿受责s c m 与磁蠢簿刭豹 受互，因此浚进程必须在a g e n t 进程之厢启动：若浆子进程启动不成 功，是否会到挺他子进程的正常运作。如：r e pl i e a t i o n 进程如果启 勘失败，不会影嗡其他避攫的运作，等篱。基于各予避程的作用和它 们之闾翁稳互彩稳，设诗纛动蹶痔羟下： l o g 控制一l o g 进程最先启劫保证s c m 能够收集最多的系 统运行信息( 包括崩动终了过程中的信息) 连携控誊若s 勰系统启瀵过程中出觋超题，尽早发送 e - m a i l 通知缍沪人员或寓动s h e l l 处理 c j f 2 r l t 管理由于它是各机能进程与c l l e n t 的中转点，它 必须先建立s o c k e t 然后等待双方来连接 a g e n t 繁璎一它褥与磁盘阵列建立s o c k e t 藏s c s i 连接，是 磁擞簿弼操作的蕊磁 ：状态监视它将通过a g e n t 取得全部可连接的磁盘阵列的 构成及状态信恳，放入自己例建的共享内存 + l ：缝骏餐它雾l 要苁状态簸援遘程躲共享痰存驻簿斑蠢 p q 北丫业人学 i i i ik 论义 海弼豹构成信息 r e p l i c a t i o n 管理必须在状态监视和a g e n t 启动之后才能工 作 ，羧照定的联净疆常终了各梳能予进程 净，引自动顺序相反，按照依赖关系终止备个子进程。s c m m a i n d 等待子 进程f 常终了之后退出。 ，紧急终了各棍能予进程 净某姥情况下，需要快速终止s c m 的运行，u n i x 系统通过由s c m m m n d 向予孙进糨发送信号来结束全部s c m 进程的运行；w i n d o w s 系统遇过 泼霞e v e n t 柬绩泰s 醺系绞全罄逶程。 ，j m 、命令与各予进程间的交甄 串为疗便蠲户操作，命令设计尽量简单、便于汜忆馁用。 ，备乎进程的处理结果向用户的反馈 专返回信息尽燃详尽、全面，同时又不冗长，格式消晰美观。 ，“逸器出现舜黉 鸯况瓣，s 繇系统鹈蠡动滚复 专将所有机能进程按照其功能和作用，划分为基本机能进程和可选机能 进程，顾名恩义：基本机能进程就是那些保证s c m 系统能够完成基 本功能不可戚缺的予进稷，共4 个：c l i e n t 管埋，l o g 控制，a g e n t 管建，获惑簸褪；其余予遴程均为可筑狡能避程。当子避程窭璃异 常，如果该进程为基本机能进程或某贱与磁盘阵列有关的可选机能 进程，s c m m a i n d 将杀死c l i e n t 管理进程及其之后启础的所有子进程 藏二羲耨扇动它襄】：奶巢黪嚣进程为菜凝与磁盘簿到无关翡霹选凝缝 蘧手鬟，鲻s c m m a i n d 将革独蓉死并重霸该子进程( 潮为这些可遗矾能 进程仪与s c r m a i n d 有s o c k e t 连接且没有自己的熬亭内存，所以单 独启动即可) 。同时出于灵活性的考虑。允许用户艘定s c m 子进程的 覆囊次数。 ，之潺尊l 适应毪酾考虑 净s c m 系统避个可以在多种操作系统下运行的管理软件，允许用户囱 仃殴定本系统的某些参数，圆此为了曾强s c 陋的灵灞性和适应姓， 戎姒in 模块麴入配鬟文转憝鳃援琰戆，鄄：允跨璃声定义指定懿配 两北t 业大学顿i l 论文 。爵文件，在每次s c m m a i n d 启动时，先行解析该配置文件，将用户定 义的参数值写入共享内存，启动每个子进程时将m a i n 的共享内存i d 作为参数传递给子进程，子进程a t t a c h 该共享内存取得与它自己相 关的配置信息。 t t l 维护性的考虑 专s c m 系统是系统软件，因此提高s c m 的可维护性是用户对本系统的期 望和要求。如果出现故障，能够尽可能快的追踪并再现问题，以便 尽早解决。在这一思路的指导下，我们设计了l o g t r a c e 机制，及 时监视系统的运行状态，同时对整个管理系统的运行状况进行及时 的详细的记录( 正常情况以及非正常情况) 。 ，与f 进程之闻的接口 专考虑非正常s c m 系统终止的情况下清理子进程创建的共享内存等资源 的问题t s c m 启动时，各个子进程将各自创建的资源信息( 例如共 享内存i d 或消息队列i d 等) 写入s c m m a i n d 的共性内存，当子进程 异常退出而无法自行清理的时候。可以通过该共享内存中保存的信 息回收、释放资源，从而尽可能保证s c m 系统异常不会导致o s 性能 急刷下降。 。于进程与s c m m a i n d 的交互，通过s o c k e t 实现。 4 2s c m 系统的启动 4 2 ，l 启动方式 s c m s ( ! f v c r 是后台运行的服务器程序，从用户观点看； u n i x 版的启动方式如下： ，g c m s v rs t a r t - - ) f o r k ( s c m m a i n d ) 调用s e t s