（计算机软件与理论专业论文）网络存储资源管理软件的研究与设计.pdf

摘要 网络存储资源管理通过对网络存储系统中的数据、配置、性能、事件和容量等 物理与逻辑资源的管理和监控，达到降低系统管理的难度与复杂性、提高资源利用 效率和数据访问可用性的目的。y ， 本文参考通信网络管理的功能模型和结构，结合光纤通道协议的特征，在实现 对一类典型光纤存储设备管理的基础上，进行了支持多供应商设备的网络存储资源 管理软件的系统分析，提出了基于客户服务器的三层结构，具有策略自动化、单点 控制集中化特征的设计方案，并实现了客户端予系统软件。 本文首先简介存储技术现状与网络化发展趋势，从典型的网络存储资源管理对 象的特征与环境入手，讨论了网络存储资源管理系统的生命周期、功能域和结构组 成，分析了当前网络管理基于w e b 与策略的趋势与影响，不同管理技术通道的对 比：探讨了提高系统可用性与安全性的具体技术措施，进行了网络存储资源管理系 统功能的概要设计；客户端软件采用面向对象的j a v a 程序语言实现，类设计充分借 鉴运用了m v c 、f a c t o r y 、o b s e r v e r 等设计模式，作者还根据实际需要对部分模式 进行了有效改进，客户服务器通信消息采用x m l 语言描述，有利于系统的二次开 发与扩展，对象粒度细分化与时间邮戳算法等优化手段显著提高了客户服务器的通 信效率；文章最后提出了网络存储资源管理系统设计的一些改进建议，并对其未来 发展进行了预测分析。 关键词 网络存涪7 资源每盘软件，j a v ax “【，客户月诲器，光穿存储设备网络存储j 资源管理软件，x m l ，客户服务器，光纤存储设各 a b s t r a c t t h r o u g ht h em a n a g e m e n ta n dc o n t r o lo f t h el o g i c a la n dp h y s i c a lr e s o u r c e si nt h e n e t w o r ks t o r a g es y s t e m ，i n c l u d i n gd a t a ，c o n f i g u r a t i o n ，p e r f o r m a n c e ，e v e n ta n dc a p a c i t y e t c ，n e t w o r ks t o r a g er e s o u r c em a n a g e m e n ts y s t e md e c r e a s e s t h ec o m p l e x i t yo f s y s t e m m a n a g e m e n ta n di m p r o v e st h ee f f i c i e n c yo f r e s o u r c e su s a g ea sw e l la sh i g ha v a i l a b i l i t y f o rd a t aa c c e s s r e f e r r e dt ot h ef u n c t i o nm o d e la n do r g a n i z a t i o ns t r u c t u r eo fn e t w o r k sm a n a g e m e n t ， c o m b i n e dw i t ht h ef e a t u r e so ff i b e rc h a r m e l ( f c ) , s y s t e ma n a l y s i sa n dd e s i g nf o rt h e n e t w o r ks t o r a g er e s o u r c e m a n a g e m e n ti sp r o v i d e d o nt h eb a s i so fc o n f i g u r a t i o n m a n a g e m e n to v e rat y p i c a lf cs t o r a g ed e v i c e ，w h i c hi s b a s e do n3 - t i e rs t r u c t u r eo v e r c l i e n t s e r v e rm o d e la n dc h a r a c t e r i z e db yp o l i c yb a s e da u t o m a t i c ，s i n g l e p o i n tc o n t r o l c e n t r a l i z e da n dm u l t i v e n d o rd e v i c e se l l a b l e d a l s ot h ec l i e n ts o f t w a r ei si m p l e m e n t e d i nt h i st h e s i s ，t h es t o r a g et e c h n o l o g yh i s t o r ya n dd e v e l o p m e n tt r e n da r eb r i e f l y i n t r o d u c e d s e c o n d ，r e s e a r c h i n go n t h em a n a g e m e n t t a r g e t sa n d t h ee n v i r o n m e n t ，t h el i f e c y c l e ，f u n c t i o n a n ds t r u c t u r eo ft h en e t w o r ks t o r a g er e s o u r c em a n a g e m e n ta r e d i s c u s s e d ，m a dt h ei m p a c to n t h et r e n d so fb o t hw e bb a s e da n dp o l i c yb a s e di sa n a l y z e d t h i r d 、t h em e a s u r e sf o rh i g ha v a i l a b i l i t ya n ds e c u r i t yo fs y s t e ma 臻p r o v i d e d ，a n dt h e f u n c t i o nm o d u l e sa r ed e v i s e dg e n e r a l l y f o u r t h ，t h ec l i e n ts o f t w a r ei si m p l e m e n t e dw i t h j a v a w i t hp o p u l a rd e s i g np a t t e r n ss u c h 矗sm v s 。f a c t o r ya n do b s e r v e ra sw e l la s i m p r o v e m e n t sb ya u t h o r ，t h e c l a s s e so fc l i e n ts o f t w a r ea r e d e s i g n e db y t h e o b j e c t - o r i e n t e dt e c h n o l o g y , w i t hx m l b a s e dm e s s a g ed e s c r i p t i o n ，s y s t e me n h a n c e m e n t i nf u t u r ei sb e n e f i t e d w i t ht h e o b j e c tg r a n u l a r i t y a n dt i m e s t a m pt e c h n o l o g i e s ，t h e c o m m u n i c a t i o ne f f i c i e n c yb e t w e e nc l i e n ta n ds e r v e ri sd r a s t i c a l l yi m p r o v e d f i n a l l y , s o m e i m p r o v e m e n ta d v i c e sa n dd e v e l o p m e n t f o r e c a s tf o rt h en e t w o r ks t o r a g er e s o u r c e m a n a g e m e n t a r eb i l e f e d k e v w o r b s n e t w o r ks t o r a g e ，r e s o u r c em a n a g e m e n ts o f t w a r e , j a v a ，x m l ，e l l e n t s e r v e r , f c s t o r a g ee n c l o s u r e l i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名：日期：年月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期：年月日 网络存储资源管理软件的研究与设计 第一章引言 1 1 研究背景和意义 当今互联网时代，公司信息系统及其与供应商、客户间的集成大规模地增加， 不断涌现的新的商业应用模型将存储技术从后台推向了前台。存储被业界誉为继 个人计算机、因特网后第三次信息技术浪潮。 全球存储技术的重要发展趋势之一即存储网络化，因其消除了传统技术的距 离限制，一方面能为网络应用提供丰富、快速、简便的存储资源；另一方面使得 对网络存储资源实施集中统一的管理成为可能，近年来正迅速成为理想的存储管 理和应用模式。 网络存储资源管理是指管理、监控网络存储系统的物理与逻辑资源，包括数 据、配置、性能、事件和容量等方面，以降低系统管理的难度与复杂性，提高资 源利用率和数据访问可用性。 网络存储资源管理正面临着数据爆炸性增长，熟练的存储领域人力资源短缺， 繁杂而重复的存储管理任务，不同供应商设备间的互操作性，日益攀升的系统管 理费用，关键数据的保护与数据零等待访问时间等一系列挑战，呼唤着自动化、 集中化的管理解决方案。 当前相关领域的研究机构与公司主要集中于三个层次实施资源管理：服务器 层、光纤通讯层和存储设备层： 1 ) 服务器层，包括逻辑卷( v o l l u m e ) 管理、安全路经、设备资产管理等； 2 ) 光纤通讯层，包括s a n 拓扑管理、s a n 广域存储虚拟化、设备分区 f z o n i n g ) 管理等； 3 ) 存储设备层，包括r a i d 配置管理、性能管理、事件管理软件等。 作者认为网络存储资源管理软件应该在这三个层面上进行全面协调，并将它 们作为一个整体实施资源管理，改变传统的单纯数据存储模式，使得数据成为奔 跑于不同的平台、区域、部门之间的信息流，从而为企业真正创造价值。 本课题来源于成都网维科技有限公司与中科院成都计算所合作研发项目，在 为美国i q s t o r 公司研发光纤存储设备管理软件的基础上，开发出适用于中小规模 企业应用的网络存储资源管理系统，该系统是开放的、可扩展的，目前有选择地 兼容各设备层的主流产品，如s o l a r i s 、w i n d o w s 、l i n u x 主机，b r o c a d e 光纤交换 机，i q s t o r 、c o m p a q 光纤磁盘阵列，实现数百g b 到数十t b 数据的存储与管理。 网络存储资源管理软件的研究与设计 该系统管理对象定位于网络存储产品刚进入国内市场，已经遍布全国的光纤 网络一构筑网络存储的重要基础设施，以及多数用户需要的是可承受、入门级别 的网络存储资源管理系统这些特征，软件产品一旦投入市场应用，由此而带来的 经济效益将非常可观。 1 2 国内外研究现状 由存储业界企业组成的存储网络工业协会s t o r a g en e t w o r k i n gi n d u s t r y a s s o c i a t i o n ( s n i a ) 是主要的网络存储管理的标准化推动者，涉及领域包括数据管 理服务a p i ，如复制( r e p l i c a t i o n ) 、快照( s n a p s h o t ) 等，光纤主机适配器( f c h b a ) a p i ，策略管理，安全与r a i d 配置等方面；s n i a 专门成立了互操作实验室以促 进相关标准的制订过程；另外，s n i a 一直积极参与d m t f 研究的c i m w b e m 标准协议制订工作。然而上述这些标准尚停留在草案阶段，没有成熟到能被业界 企业广泛接受的程度，尽管如此，一些供应商的产品设计己尽可能靠拢草案中的 模型或a p i ，包括本文的设计方案。当然，技术标准滞后的产品市场导致了日趋 严重的设备互操作性问题，成为网络存储市场进一步发展的主要障碍。 国外，网络存储资源管理正成为老牌i t 大公司( 如i b m 、c a 、c o m p a q 等) 与大量的新兴小公司( s a n a v i g a t o r 、f a l c o n s t o r 、i q s t o r 等) 在存储管理领域竞争 的焦点。市场上的大多数产品基于网络存储系统的某单一设备层的资源管理( 即 管理供应商自身产品) ，个别大公司由于拥有全面的产品线，研发了覆盖这三个层 次的资源管理软件，然而囿于相关标准滞后与公司市场考虑的原因，他们的软件 仍只能管理公司自己的产品设备，且耗资数十万美金。 伴随着2 0 0 1 年9 月中国网络存储技术展览和2 0 0 2 年5 月由s n i a 和i d g 合 办的中国国际存储技术大会等系列活动的展开，揭开了网络存储的技术与产品在 国内市场应用的序幕。清华大学2 0 0 1 年成立了网络存储开放实验室，大恒、奥克 码、联想与清华同方等公司先后以代理或o e m 方式进军网络存储领域，但硬件 产品的研究与开发尚处于起步阶段，管理软件主要定位于单一的设备本身。 1 3 作者的主要工作 作者作为合作项目的主要研发人员之一，参与系统可行性研究、需求分析、 系统概要设计，完成了以策略自动化、单点控制集中化的管理为特征，支持多供 应商网络存储设备的资源管理软件的系统分析与设计方案，其中基于j a v a 语言的 管理客户端子系统软件由作者担纲负责完成了详细设计与编码调试工作。 网络存储资源管理软件的研究与设计 客户端软件为管理员提供网络存储系统的全局资源及关系视图，可视化的网 络拓扑结构，允许定义系统全局和设备相关的策略，支持系统中设备的配置管理、 状态监测、性能监视等功能。软件采用面向对象的j a v a 程序语言实现，基于w e b 的a p p j e t 配置技术，类设计充分借鉴运用了m v c 、f a c t o r y 、o b s e r v e r 等设计模 式，作者还根据实际状况需要对部分模式进行了有效改进；应用x m l 语言描述 客户服务器通信消息内容，有利于二次开发与系统扩展；对象粒度细分化与时间 邮戳算法等技术手段的运用有效提高了客户服务器的通信效率。 1 4 本文的章节安排 本文从存储技术组成的基本概念入手，给出了一个集中化管理主机、存储设 备和连接设备的网络存储资源管理系统设计方案，详细描述了以作者为主设计开 发的管理客户端软件子系统。全文共由六章组成，各章的主要内容如下： 第一章引言分析网络存储资源管理的研究背景和意义，简述作者主要工 作。 第二章概述作为全文的基础，概述了存储技术发展历史及其网络化趋势， 对网络存储系统涉及到的相关技术等围绕基本概念、标准协议与特点分别进行简 述，最后一节介绍了用以实现网络存储资源管理软件客户端的j a v a 程序语言。 第三章系统分析分析了网络存储资源管理对象的不同类型及各自抽象化 特征，将网络存储资源管理与一般的网络管理的功能模型进行了比较分析，描述 了在网络管理中当前基于w e b 和基于策略的自动化管理发展趋势及其对网络存 储资源管理的影响，最后讨论了不同管理技术通道的优点与缺点。 第四章系统设计在网络存储资源管理系统设计目标基础上进行物理和逻 辑的层次架构设计，探讨了提高网络存储系统可用性与安全性的技术措旖，系统 的功能划分为六个模块：设备发现、事件系统、策略管理器、数据管理、配置管 理与性能管理，并对每个模块进行了概要设计，最后总结了该系统设计的特性。 第五章客户端详细设计与实现全文的重点，提出了视图与模型分离的模 块化结构，围绕客户与服务器间的通信协议，数据模型的同步技术，抽象设备层 a p i ，面向对象的类设计与设计模式的应用和用户图形界面等方面对管理客户端 软件设计与实现展开了详尽的描述。 第六章总结与展望总结全文的工作意义、目的与内容，并提出了一些网 络存储资源管理软件设计的改进建议，并对该项技术的未来发展做出了预测分析。 3 网络存储资源管理软件的研究与设计 2 1 引言 第二章概述 2 0 世纪7 0 年代，数据大多集中在主机上，磁带库是主要的存储设备；进入 8 0 年代，p c 的发展使数据呈现出分散的格局；9 0 年代，客户机朋匣务器模式的广 泛应用，使数据主要云集在网络上的文件服务器和数据库服务器上，数据分散进 一步加剧： 当今互联网时代出现了大量新的应用和商业模型，如数据库应用，在线媒体 内容、电子商务w e b 站点等产生了包括声音和影像等各种形式数据。这些信息不 仅要求在公司内部共享，也要求在其合作伙伴及用户之间共享，同时，通信带宽 的不断增加使网络传输更多的数据成为可能。 这些变化对数据存储技术及其基础架构提出了迫切的要求：存储容量需求的 急剧膨胀( 数十上百个t b ) 、系统数据要求7 * 2 4 小时不间断地持续访问、数据 访问仅限于安全机制的管理而不再受地域空间或平台的约束等。 存储区域网络s a n ( s t o r a g ea r e an e t w o r k s ) 于1 9 9 8 年一经出现即迅速成为业 界引人注目的新技术，该技术致力于降低存储设备、管理及信息管理的费用，节 省数据堵塞时间，提高业务连续性，优化资源配置。 2 2 存储技术发展 2 2 1 存储介质 存储介质可以分为磁盘、磁带存储系统和光媒介与可移动存储系统三种类型。 本文主要关心前面两种。 1 9 5 6 年i b m 公司向全世界展示了第一台磁盘存储系统i b m3 5 0r a m a c ， 1 9 7 3 年，该公司推出的w i n c h e s t e r ( 温氏) 硬盘，成为至今高端硬盘仍然采用的 技术原型。近年来磁盘技术发展迅速，容量价格比正在逼近磁带，当今磁盘转速 已经突破每分钟1 5 0 0 0 转，单硬盘最大容量达到1 8 0 g b 。磁盘的高速随机存取、 稳定性、数据不易丢失等特征，使得它成为计算机主要的辅助存储设备。 磁带存储系统出现得更早，1 9 4 5 年第一台计算机的存储设备就是磁带机，根 据读写磁带的工作原理，磁带存储系统可分为螺旋扫描技术、线性记录( 数据流) 技术、d l t 技术以及比较先进的l t o 技术。2 0 0 1 年市场上已经出现了带光纤通 4 网络存储资源管理软件的研究与设计 一一 道接口的磁带驱动器。磁带存储系统的单位存储信息成本低、容量较大、读写速 度较慢，适于顺序存取，主要用于现代信息系统中的备份服务。 2 2 2 输入输出接口技术 存储输入输出( i o ) 接口分为专有系统和开放系统两类，前者如i b m 从 b u s - a n d t a g 、e s c o n 发展到光纤接口的f i c o n ，本文主要介绍开放系统的i 0 接口技术，包括：i d e a t a 、s c s i 和f i b r ec h a n n e l ，以及处于规范制订过程中的 i s c s i 、i n f i n i b a n d 和串行a t a 。 i d e ( i n t e g r a t e dd r i v ee l e c t r o n i c s ，集成设备电路) 起源于康柏、西部数据等公 司共同开发的磁盘控制接口，于1 9 8 9 年由a n s i 追认为a t a ( a ta t t a c h m e n t ) 标准。1 9 9 8 年、2 0 0 1 年相继推出了u l t r aa t a 6 6 和u l t r aa t a1 3 3 标准，但在目 前硬盘内部传输率还不及6 6 7 m b s 的前提下，带宽达到1 3 3 m b j s 对系统整体性 能的贡献有限。该接口构造的系统成本较低，因此在个人电脑上得到了广泛应用。 s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ，小型计算机系统接口) 1 9 7 9 年由 s h u g a r t 公司制订，s c s i 1 仅规定了5 m b s 传输速度以及总线类型、接口定义、 电缆规格等技术标准；到9 0 年代初，s c s l 2 通过提高同步传输时的频率( f a s ts c s i ) 和】6 位并行数据传输( w i d es c s i ) 使数据传输速率提高到2 0 m b s ；1 9 9 5 年推出的 s c s i ，3 协议增加了能满足特殊设备协议所需要的命令集，使得s c s i 协议既适应 传统的并行传输设备，又能适应最新出现的一些串行设备通讯需要，如光纤通道 协议( f c p ) 、串行存储协议( s s p ) 等，当前s c s i 的最高传输速率已经达到了 3 2 0 m b s ( u l t r a3 2 0 ) ，支持1 6 个地址，线缆最大长度1 5 米。s c s i 具有高速、低 延时和低c p u 占用等特点，成为高性能计算机的直接连接存储设备的首选。 f c ( f i b r ec h a n n e l ，光纤通道) 技术标准是1 9 9 4 年由a n s i 标准化组织制订的 一种适合于千兆位数据传输通信的网络技术。光纤通道封装串行s c s i 协议，同 s c s i 技术相比，光纤通道支持的地址数更多( 达1 5 0 0 万) 、传输的距离更远，单 模光纤传输距离为l o 公里，若使用特殊的g b i c ( g i g a b i t i n t e r f a c ec o n v e r t e r s ) 可以 将光纤通道的传输距离延长到8 0 公里，这使得在多个楼宇之间、甚至同个城市 的不同区域之间建立大规模集群系统、容灾系统成为可能。目前市场占主导地位 的是1 g b s 的光纤通道交换机和主机总线适配器( h b a ) ，2 0 0 1 年末已经出现了 2 g b s 产品，预计2 0 0 3 年出台1 0 g b s 的标准协议和产品。光纤通道技术既融入 了网络的路由、长距离连接和可管理性特点，又结合了通道的高速、低延迟、确 保数据完整性与查错的优点，使得该技术成为当前构建网络存储的理想技术平台。 l n f i n i b a n d i 0 规范由1 9 9 8 年8 月成立的i n f i n i b a n d 贸易协会( i t a ) 提出， 5 网络存储资源管理软件的研究与设计 该组织的2 0 2 个成员覆盖了i n t e l 、m i c r o s o f t 、s u n 、i b m 等业界巨头。l n f i n i b a n d 将i o 总线体系结构从服务器中解脱出来，其规范体系结构( 简称i b a ) 包含以 下核心内容：协议分层结构、基于包交换的通信、多播( 组播) 能力、子网管理 能力、支持2 5 0 b p s ( 单速) 1 0 g b p s ( 4 速) 3 0 g b p s ( 1 2 速) 单向数据链路， q o s ( q u a l i t yo fs e r v i c e ) i h 题的考虑。i n f i n i b a n d 有望成为未来高性能集群服务器 的主流i 0 接口技术。 i s c s i ( i n t e r n e ts c s o 由c i s c o 和i b m 两家公司共同起草，作为i p 传输存储信 息的互联网标准草案提交给互联网工程任务组( i e t f ) 。i s c s i 基于i p 网络，通 过封装s c s i 数据块，实现在t c p i p 协议上传输s c s i 命令，即利用现有的t c p i p 网络来构建存储局域网( s a n s ) 。i s c s i 产品以中间市场为定位，一方面可以作 为企业级光纤通道s a n 的补充，可以实现不问断增长的集中存储管理，并且可以 和现有的i p 网络技术进行良好的整合；另一方面，随着网络存储技术的发展， i s c s i 将会同附网存储( n a s ) 系统进行全面的整合，成为一个独立的、与s a n 系统并驾齐驱的发展领域口i 。i s c s i 的顺利推广还依赖于解决i p 网络的效率和延 迟等这些影响块数据传输的主要障碍。2 0 0 1 年1 0 月的全球网络存储大会上已经 出现了新型高端交换机，用于连接i p 和光纤通道网络。 串行a t a 接口是为了弥补i d e ( 并行a t a ) 接口的不足以及修补i d e 现行标准 的缺陷的基础上诞生的，包括i n t e l 、s e a g a t e 、i b m 等公司正在大力推崇该磁盘接 口规范，其中i n t e l 计划在2 0 0 2 年中所有的芯片组中支持s e r i a l a r a 。串行a r a v l 0 能达到1 8 7 m b s 的突发数据传输率，预计2 0 0 7 年最高达到每秒6 g b 。 2 3 网络存储 2 3 1 直接外挂存储( d a s ) 传统存储系统采用d a s ( d i r e c t a t t a c h e ds t o r a g e ，直接外挂存储) 方案，即外部 数据存储设备直接挂接在主机内部总线上的方式，如图1 - 1 所示，数据存储是整 个服务器结构的一部分，和操作系统无法分离，其显著特点是局域网用户通过访 问专用服务器及与之相连的s c s l 存储设备实现对信息的存取访问。 d a s 模式下的数据传输的瓶颈主要集中在主机上，当多个客户机访问存取某 个主机且超出该主机处理能力时，无论主机与存储设备之间是通过s c s i 设备连 接，还是通过高速的f i b r ec h a n n e l 设备连接，都将不可避免地导致存取速度的下 降，从而影响整个系统性能；同时，附属于不同主机的存储设备不能在主机间共 享，造成一定程度的资源浪费，随着系统规模逐渐扩大，分布于各主机的存储管 6 塑竺堡堡望塑笪里鏊竺竺竺墅兰堡生 一一 。_ _ _ - - _ - _ 一一 理工作也变得臼益复杂化。 s ；t o r a 口o 2 3 2 网络区域存储( s a n ) 3 0 n h h t 图1 - 1d a s ( 直接外挂存储) 电子商务、互联网的迅速发展产生多项因素导致存储需求的变化：存储需求 与日俱增( 每年全球的数据容量需求增长达到2 3 倍) 、降低存储系统整体拥有成 本、存储管理的复杂度增长与专业的数据存储管理人力资源匮乏的反差、新的商 业模式、s s p ( s t o r a g es e r v i c ep r o v i d e r ，存储服务供应商) 的涌现等，其中不乏相互 冲突者；这些因素驱动着用户对主机的计算能力和数据输入输出( i 0 ) 能力根据 实际需要任意配置，也就是说，希望计算能力和i 0 存储能力分别作为单独的功 能节点。 1 9 9 8 年成立的s n i a ( s t o r a g en e t w o r ki n d u s t r ya s s o c i a t i o n ，存储网络工业协 会) 促进了s a n ( s t o r a g ea r e an e t w o r k s ，网络区域存储) 的诞生。s a n 为解决 d a s 方式下带来的服务器存取瓶颈问题，采用将信息存储设备与服务器分开，网 络用户可以通过网络实现对存储设备的直接存取访问，实现了主机和存储设备间 的点到点( p o i n t t o p o i n t ) 存取到多对多( m a n y t o m a n y ) 存取的飞跃，从而改 善了企业计算资源的共享、整和、连接、管理和保护【2 j 。 s a n 的发展有三个阶段： 1 ) 多主机的磁盘共享( 即存储池共享) 。多服务器通过s a n 实现了真正意义 上的计算机系统和存储设备之间的相互连接，存储系统与主机系统均形成 无限的双向扩展能力。 2 ) 文件系统的并行操作。这实际上是大多数u n i x 文件系统的瓶颈，该阶段 s a n 通过将存储设备与多种服务器的同时挂接，使用户的应用系统变得 更加灵活，结构更加合理。如v e r i t a s 公司的相关产品。 3 ) 异构服务器之间的文件系统共享以及多种存储设备的开放式共存。存储系 网络存储资源管理软件的研究与设计 统将有机地融为一体，成为一种公用基础设施，这正是s a n 的精髓和最 终目标，其实现尚依赖于相关技术的标准化和产品互操作性的提高。 光纤通道是目前建立s a n 架构通信网络的唯一选择，也许将来可能会用1 0 g 以太网或i n f i n i b a n d 来构筑s a n 基础网络设施。主机群通过光纤通道的交换机和 集线器与所有的光纤存储设备建立物理连接。 s a n 图1 - 2s a n ( 网络区域存储) 光纤通道支持三种不同的拓扑技术；点对点( p 2 p ) 、仲裁环路( f c - a l ) n 及交 换结构( f c s w ) ，后两种拓扑结构是当前实施s a n 的主流技术，在图1 2 的左右 两边分别描述了它们的物理连接结构。仲裁环路通过级联的集线器最多连接1 2 6 台光纤设备，设备间通信共享带宽；在交换结构中，多个设备是由一台交换机或 一系列互联的交换机连接在一起的，该拓扑结构可以实现任意两点之间的连接， 而且每个连接都可以利用全部带宽，支持在不中断整个系统的情况下增添或去除 任何设备。 s a n 的特点总结如下： 存储设备的智能化减轻了主机的负载 专用的存储数据网减轻了l a n 的负载，释放l a n 的有限带宽 使用s c s i 或f c 传输介质，使传输速率最高达2 0 0 m b s 动态在线存储容量可扩展性 支持集中化资源管理 跨平台的存储资源共享 拥有磁盘阵列的数据保护能力，高可靠性、安全性与可用性 其典型应用包括：w e bs e r v e r s 多台网站主机、企业多种平台的数据共享、 高速跨平台备份、非线性剪接、大量高速资料存取工作群组等。 8 网络农储资源管理软件的研究与设计 2 3 3 附网存储( n a s ) 尽管本文论述的网络存储就是针对上述的s a n ，但谈射网络存储，不能忽略 近鼯年涌现的另外一个分支：n a s ( n e t w o r ka t t a c h e ds t o r a g e ，附网存储) 。n a s 是种特殊的、能完成单一或一组指定功能的基于网络的存储设备，它通过自带 的网络接口把存储设备直接连入到网络中，实现海量数据的网络共享，把应用程 序服务器从繁踅的i o 负载中解脱出来，从而获得更高的存取效率，驻低的存储 成本吼 褒1 1s a n 与n a s 表1 1 对比分孛厅了s a n 与n a s 技_ 术组成，我们参考g a r t n e r 报告来描述这两 种网络存储技术的发展趋势：“朱来几年内，所有存储市场的增长均来源于阚络存 储市场( n a s s a n ) 。剿2 0 0 4 年，s a n 将占到整个存储市场份额的6 0 ；n a s 以几乎同样的速度在增长，未来将占到2 0 的市场份额。在市场寇位方面，文件 应用和小型数据库将会采用n a s 模式，而大型数据库则会采用s a n 。” 在毕期，数据存储、计算处理和i 0 是合为一体的，存储网络化使得数据存 储部分已经独立出来，未来发展将是i o 和计算处理的进一步分离，形成数据存 储、计算处理、i 0 吞吐三足鼎立的局词，形成真正的服务器网络化体系结构。 2 ，4 存储虚拟化技术 s a n 用个高速专用网络将存储设备连接起来，为各类服务器提供统的访 问接口，改善数据欺享、移动、保护以及集中管理等方面的特性。但s a n 对存储 管理的复杂性并没有给予太多的改善，因为它本身就是个更为复杂的网络f i l 。 存储虚拟化是对存储设备的抽狠，将存储从实际的物理存储中分离开来，这 种将物理存储设备与用户或应用程序的逻辑存储空间相分离的技术，使得存储转 化为个通用的应用存储池。虚拟化实际上是翻译逻辑块地址为物理地址和l u n 9 网络存储资源管理软件的研究与设计 ( 逻辑单元数) 的过程，以虚拟磁盘的形式为主机提供了一个存储逻辑视图，以 允许主机完全透明地访问存储数据。 存储虚拟化已经成为支持存储公用设施模型( s t o r a g eu t i l i t ym o d e l ) 的关键 技术，从系统的观点看，存在三种主要的存储虚拟化方法： 1 ) 基于主机的虚拟存储。该虚拟方式依赖于安装在一台或多台主机上的代理 或管理软件，实现存储虚拟化的控制和管理，当前市场上已经出现了一些 成熟的解决方案，如v e r i t a s 、i p s t o r 等公司的相关产品。 2 ) 基于存储设备的虚拟存储。基于存储设备的存储虚拟化方法依赖于提供相 关功能的存储模块，8 0 年代后期出现的磁盘阵列( r a i d ) 技术就是一个例 子，将几个小的物理驱动器合而为，形成一个容量更大的虚拟存储设备， 不仅能提供对数据的保护，还能增强存储系统的性能。 3 ) 基于网络的虚拟存储。基于网络的虚拟化方法是在网络设备之间实现存储 虚拟化功能，具体可分为互联设备、交换机和路由器三种方式的虚拟化。 存储虚拟化允许使用相同的工具，以致的方式，采用基于策略而不是基于 不同的情况来进行存储管理，虚拟化允许策略管理控制不同类型的存储，并以相 同的特征和属性将存储呈现给用户，从而简化了在网络存储环境下对管理资源设 备的配置等管理工作，同时有助于系统性能的提升。 2 5j a v a 1 9 9 5 年5 月，j a v a 以一种面向对象编程语言身份登陆互联网，立即受到广泛 关注，s u n 公司先后对其进行了三次重要的修订，1 9 9 6 年发布1 0 2 版，开始支持 数据库连接和分布式对象，1 9 9 7 年发布1 1 版，增加了健壮的事件模型、国际化 支持以及j a v a b e a n s 组件模型，1 2 版发布于1 9 9 8 年末，包括之后推出的版本1 3 以及2 0 0 2 年发布的1 4 标准版等，都被归入到j a v a 2 平台，带来了包括彻底支持 可移植j a v a g u l 的s w i n g 、企业应用多层架构、安全加密技术等重大更新【3 】。 在短短的7 年时间里，j a v a 应用己从w e b 浏览器的动画、小应用程序( a p p l e t ) 发展到今天的电子商务、分布式处理和手持、移动设备而无所不在。 j a v a2 平台按照应用领域被细分为三个版本：标准版j 2 s e ( j a v a 2s t a n d a r d e d i t i o n ) 面向桌面开发和低端商务应用；企业版j 2 e e ( j a v a 2e n t e r p r i s ee d i t i o n ) 针对复杂的企业级应用；微型版j 2 m e ( j a v a 2m i c r oe d i t i o n ) 出现较晚，但已迅 速成为致力于消费产品和嵌入式设备应用的开发人员的又一选择。 从j a v a 作者所著的“白皮书”中，摘录了以下些j a v a 技术特性：简单( 针 对c + + 而言) 、面向对象、分布式、健壮、安全、中性结构( 字节码) 、可移植( 支 1 0 网络存储资源管理软件的研究与设计 持在拥有j a v a 虚拟机的任何环境中运行) 、多线程( 语言级别的多线程) 、动态。 j a v a 目前已经成为一些著名的网络管理系统( n m s ) 的主流平台，如i b m 公司 的t i v o l i 等。 2 5 1j a v a 应用类型 由于j a v a 在电子商务领域应用的成功，人们一般总是关注其在服务器端应用 的种种技术，然而随着j a v a 在桌面端虚拟机性能的不断改进和配置技术的进步， 除了老式的h t m l 客户端外，另外三种开发用户界面的方案也走上了舞台，分别 是使用j s p 和s e r v l e t 的h t m l 客户端、基于x m l 和x s l t 的客户端和基于s w i n g 的图形用户界面客户端。 2 5 2j a v a 配置技术 j a v a 配置技术自v 1 3 1 之后己形成了以下三种类型： 1 ) j a v a 插件。j a v a 插件拥有分别适用予当前流行的两种浏览器i e 和 n e t s c a p e 的版本，其中n e t s c a p e 安装包中已经内置了该插件软件，基于 w e b 的a p p l e t 运行于标准虚拟机中。 2 ) j a v a w e bs t a r t 。j a v a w 曲s t a r t 是种比较新的部署j a v a 应用程序的方法。 本质上它与j a v a 插件类似，提供j a v a 运行环境，安装过程结束后，需要 依靠w e bs t a r t 的应用程序就可以被下载和安装，这些程序各自独立地运 行于j a v aw e bs 扭i t 的应用程序管理器中，该管理器功能类似w i n d o w s 3 1 的任务管理器。 3 ) 将s w i n g 部署为纯h t m l 。该方式需要第三方的工具来沟通s w i n g 和 h t m l 。如w e b c r e a m ，它能动态地将j a v a a p p l e t 转换为h t m l ，使得j a v a 的框架窗体与对话框等图形界面元素在只有h t m l 解释器的环境中也可 以被显示和响应。 2 6 小结 本章作为全文的基础，概述了存储技术发展历史及其网络化的发展趋势，对 网络存储系统涉及到的相关技术等围绕基本概念、标准协议与特点分别进行简述， 最后一节介绍了用以实现网络存储资源管理软件客户端的j a v a 程序语言。 网络存储资源管理软件的研究与设计 3 1 引言 第三章系统分析 本章从一个典型的网络存储系统中的软、硬件资源组成与概念入手，包括存 储设备、存储网络连接设备、主机以及数据管理软件等管理对象，总结并抽象出 它们的一般特征：在此基础上参考网络管理的功能模型和结构，并结合光纤通道 的协议特点对网络存储资源管理系统进行需求分析。 3 2 网络存储系统的资源与环境 3 2 1 硬件资源 s a n ( 存储区域网络) 架构以光纤或铜为介质，由光纤交换机或集线器连接 存储设备( 磁盘阵列、磁带库等) 、主机及其他辅助设备组成 4 1 。 主机光纤适配卡( h b a ) h b a ( h o s tb u sa d a p t e r ) 是安装在主机的p c i 或s b u s 等总线上的光纤适配卡， 对外有1 个或2 个d b 9 或s c 光纤接口，以连接具有光纤接口的存储设备或连接 设备。目前h b a 支持所有的主流操作系统，如a i x 、s o l a r i s 、w i n 2 k 等。h b a 驱动程序一般满足s n i a 组织颁布的h b a a p i 规范要求。 光纤线缆 连接光纤设备的一种介质，分为铜缆、多模和单模光纤三类。其中铜缆光纤 传输距离约2 4 米；多模光纤传输距离约5 0 0 米；单模光纤传输距离约1 0 公里。 光纤交换机和集线器 连接光纤设备的设备，用于进行数据流的转发。光纤交换机是多对多的，其 上的任意两个接口都可以进行数据通讯，某一条通讯线路故障不影响其他通讯线 路的数据传输：光纤集线器是一条或两条光纤环路，某条环路上的节点出现故障， 将影响整条环路的数据通讯。 光纤连接设备具有转发延时低、高速( 2 m b s ) 、确保数据顺序到达等特征， 主流产品的交换机包含分n ( z o n i n g ) 等安全管理技术措施，其简单网络管理协议 ( s n m p ) 代理支持s n l a 和f c i a 组织联合颁布的f i b r ec h a n n e lm i b 。 磁盘阵列 支持创建r a i d 0 、1 、3 、5 、0 + 1 级别的阵列，热插拔部件，u l t r as c s i l 6 0 1 2 网络存储资源管理软件的研究与设计 或光纤通道接1 5 1 的磁盘，通过控制器的光纤通道接口连接s a n 连