（计算机软件与理论专业论文）基于san的存储管理新技术的实现与研究.pdf

摘 界 摘要 随着信息的急剧增长， 数据的存储方法经历着一代又一代的革命， 在最新一 代的革命浪潮中， s a n 技术立于潮头。 s a n 的革命性体现在: 它打破了传统的以服 务器为中心的存储模式， 而确立了 在网 络互连结构中以 存储为中 心的新的存储模 式。 它的应用理念不仅满足了 海量数据的存储需求， 也通过一些新扩展的技术方 向 满足了 数据的长期可用性、高安全性的容灾能力等更高的需求。 在这样的存储技术日 新月益的背景下，我通过所参与的对基于s a n 的存储管 理系统的维护和新功能的开发工作， 从实践中总结并进行理论的推演和创新， 构 成了本文的研究范畴。总结起来，主要在以下几个方向上进行了阐述: i .对主流的存储技术进行了横向的比较，从而延伸出对s a n 的拓扑结构、技 术优点等的介绍。 2 ，对基于s a n 的 存储管理系统的关键技术进行了逐一地陈述，包括磁盘冗余 阵列技术、光纤通道技术、网络存储备份技术、文件共享技术等. 3 .从整体上对基于s a n 的存储管理系统r v m 作了介绍，包括r v m 的基本概念和 常用命令等。 4 .以支持数据持续可用性为目的的快照技术是r v m 所新开发的功能，对快照 功能及在r v m 中有效使用的模块f s o p i t o n 的设计和性能等进行了论述，以 上论述是从应用的需求、 设计的流程、 执行的 性能等几个角度进行的。 5 .阐述了r v m 的又一个新功能一原子中断组，这一功能对数据复制的一致性 和完整性提供了保证。 以上的研究内容都是以r v m 系统作为实现的参考模型的，这一模型是在我所 参与开发的存储管理系统的实践中总结出来的， 这一系统无论在安全性还是运行 效率上都经过了十分严格的测试和评审，具有很高的实用价值和理论参考价值。 关键字 存储区 域网 络 :复 制 ; 快照 ; 原 子中 断组 : 光纤 通道 a b s t r a c t a b s t r a c t wit h t h e r a p i d g r o w t h o f i n f o r m a t i o n , t h e s t o r a g e m e t h o d o f d a t a i s g o i n g t h r o u g h s e v e r a l g e n e r a t i o n s o f r e v o l u t i o n s , i n t h e n e w e s t r e v o l u t i o n a r y g e n e r a t i o n , s a n t e c h n o l o g y i s i n t h e h e a d . t h e r e v o l u t i o n a r y c h a r a c t e r o f s a n e m b o d i e s i n : i t h as b r o k e n t h e t r a d i t i o n a l m o d e o f s t o r a g e t a k in g s e r v e r a s t h e c e n t r e , a n d h a s e s t a b l is h e d t h e n e w s t o r a g e m o d e t a k i n g s t o r i n g a s c e n t r e i n t h e i n t e r c o n n e c t io n s t r u c t u r e o f t h e n e t w o r k . i t s a p p l i c a t i o n i d e a h a s n o t o n l y m e t t h e s t o r a g e d e m a n d f o r t h e l a r g e a m o u n t s o f d a t a , b u t a l s o m e t d e m a n d s s u c h a s l o n g - t e r m u s a b i l i t y o f d a t a a n d h o l d i n g c a l a m i t y a b il it y t h r o u g h s o m e t e c h n o l o g i c a l d i r e c t i o n e x p a n d e d n e w l y . u n d e r t h e b a c k g r o u n d t h a t s t o r a g e t e c h n o l o g y i s p r o g r e s s i n g r a p i d l y , i h a s f i n i s h e d t h e t h e o r e t i c a l r e s e a r c h c o n t e n t o f t h i s t e x t t h r o u g h s u m m a r i z i n g f r o m p r a c t i c e a n d i n n o v a t i n g o n t h e t h e o r y a f t e r p a rt i c i p a t i n g i n m a i n t e n a n c e o n s t o r a g e m a n a g e m e n t s y s t e m b a s e d s a n a n d d e v e l o p m e n t o f t h e n e w f u n c t i o n . i n c o n c l u s i o n , t h e c o n t e n t i s s h o w e d m a i n l y in s e v e r a l b e l o w d i r e c t i o n s ， 1 . h a v e c a r r i e d o n h o r i z o n t a l c o m p a r i s o n t o t h e p o p u l a r s t o r a g e t e c h n o l o g i e s , a n d t o i n t ro d u c e t o p o l o g ic a l s t r u c t u r e ， t e c h n o l o g i c a l a d v a n t a g e s o f s a n , e t c 2 . h a v e c a r r i e d o n t h e s t a t e m e n t o n e b y o n e t o t h e k e y t e c h n o l o g y b a s e d o n s t o r a g e m a n a g e m e n t s y s t e m ，i n c l u d i n g d i s k a r r a y t e c h n o l o g y，f i b r e c h a n n e l t e c h n o l o g y ， n e t w o r k s t o r e a n d b a c k u p t e c h n o l o g y ， f i l e - s h a r i n g t e c h n o l o g y ， e t c . 3 . t o i n t r o d u c e s t o r a g e m a n a g e m e n t s y s t e m r v m o n t h e w h o l e , i n c lu d i n g t h e b a s i c c o n c e p t i o n a n d c o m m o n c o m m a n d s o f r v m, e t c 4 . t h e t e c h n o l o g y o f s n a p s h o t w h o s e p u r p o s e i s t o s u p p o r t s u s t a i n u s a b i l i t y o f d a t a i s t h e n e w f u n c t i o n o f r v m， d e s i g n a n d r e a l i z a t i o n o f m o d u l e f s o p i t o n t h a t i s u s e d t o p e r f o r m t h e f u n c t i o n o f t h e s n a p s h o t i n r v m e f f e c t i v e l y h as b e e n s t a t e d ， i t i s c a r r i e d o n f r o m s e v e r a l f a c e t s s u c h a s t h e a p p l i c a t io n d e m a n d ，d e s i g n p r o c e d u r e ,e ff ic i e n c y , e t c . 5 . h a v e e x p l a i n e d a n o t h e r n e w f u n c t i o n o f r v m - a t o m i c b r e a k g r o u p , a n d t h i s f u n c t i o n i s to e n s u r e c o n s i s t e n c y a n d in t e g r a l i t y o f d a t a s t o r a g e . t h e a b o v e - me n t i o n e d r e s e a r c h c o n t e n t s t a k e r vm a s r e f e r e n c e mo d e l t o r e a l i z e t h e m , t h i s m o d e l i s s u m m a r i z e d b y t h e p r a c t i c e a b o u t s t o r a g e m a n a g e m e n t s y s t e m t h a t i p a rt i c i p a t e i n， t h i s s y s t e m h a s b e e n t e s t e d s t r i c t l y w h e t h e r a b o u t t h e s e c u r i t y o r a b o u t o p e r a t i o n a l e ff i c i e n c y a n d h a s g o o d a c t u a l v a l u e a n d t h e o r y r e f e r e n c e v a l u e . k e y w o r d s s a n ( s t o r a g e a r e a n e t w o r k ) a b g ( a t o m i c b r e a k g r o u p ); ; r e p l i c a t e ; s n 即s h o t; f c ( f i b r e c h a n n e l ) 前 言 前 份5， . 习 研究背景 信息化的发展步伐日益加快， 而数据是信息化的生命线， 必然要求实施有效 的存储。 用户需要随时随地的数据接入， 数据的可扩展性、 可靠性和可用性的要 求都在提高; 而与此同时， 现存的分散存储设备和相互独立的硬件平台却增加了 用户对于海量数据管理与运行的难度以及维护成本。 从而在安全性、 灵活性、 兼 容性、扩展性等方面对存储系统的管理提出了许多新的挑战。 如何应对这些挑战呢? 存储区域网是一个比较理想的选择。 一 那么什么是存储区域网呢? 存储区域网( 缩写为s a n ) 可以定义为:存储区域网以数据存储为中心， 采用 可伸缩的网络拓扑结构， 通过高速光纤通道的直接连接方式来提供s a n 内部任意 节点之间的多路可选择的数据交换， 并且将数据存储的管理集中在相对独立的区 域网内。 s a n 的用途是在不影响局域网和广域网带宽的情况下实现服务器与存储设备 之间的大流量数据传输。 s a n 和l a n 的根本区别在于: l a n 是计算机之间的互联， 只要发送小批量数据就会增加间接通信量， 从而降低了通信带宽; 而s a n 是计算 机之间及其与存储器之间的互联， 消除了服务器的处理瓶颈， 能够在间接通信量 较低的情况下运用s c s i 存储协议传输大宗的数据。 s a n 作用于服务器后方， 通常使用可以实现超高速数据传输的光纤通信技术。 s a n由提供物理连接的通信基础设备、组织这些连接的管理层面、存储单元和计 算机系统组成。 传统的服务器与存储设备之间连接方式的缺点在于速度太慢， 而 且过时的传输协议不再适合于大流量数据的传输， 当前的存储环境正在从以 服务 器为中心向着以数据为中心转变，对共享数据的使用变得越来越至关重要，s a n 就是在这方面出现危机时的有效解决办法。 以s a n 方式搭建备份架构， 可以非常平滑地对整个存储局域网进行升级。 如 果将来用户数据量增大， 只需相应地增加磁盘阵列或自 动磁带库及软件模块就可 第 1 页 前言 研究背景 前言 信息化的发展步伐日益加快，而数据是信息化的生命线，必然要求实施有效 的存储。用户需要随时随地的数据接入，数据的可扩展性、可靠性和可用性的要 求都在提高：而与此同时，现存的分散存储设备和相互独立的硬件平台却增加了 用户对于海量数据管理与运行的难度以及维护成本。从而在安全性、灵活性、兼 容性、扩展性等方面对存储系统的管理提出了许多新的挑战。 如何应对这些挑战呢? 存储区域网是一个比较理想的选择。 一那么什么是存储区域网呢? 存储区域网( 缩写为s a n ) 可以定义为：存储区域网以数据存储为中心，采用 可伸缩的网络拓扑结构，通过高速光纤通道的直接连接方式来提供s a n 内部任意 节点之间的多路可选择的数据交换，并且将数据存储的管理集中在相对独立的区 域网内。 s a n 的用途是在不影响局域网和广域网带宽的情况下实现服务器与存储设备 之间的大流量数据传输。s a n 和l a n 的根本区别在于：l a n 是计算机之间的互联， 只要发送小批量数据就会增加间接通信量，从而降低了通信带宽；而s a n 是计算 机之间及其与存储器之间的互联，消除了服务器的处理瓶颈，能够在间接通信量 较低的情况下运用s c s i 存储协议传输大宗的数据。 s a n 作用于服务器后方，通常使用可以实现超高速数据传输的光纤通信技术。 s a n 由提供物理连接的通信基础设备、组织这些连接的管理层面、存储单元和计 算机系统组成。传统的服务器与存储设备之间连接方式的缺点在于速度太慢，而 且过时的传输协议不再适合于大流量数据的传输，当前的存储环境正在从以服务 器为中心向着以数据为中心转变，对共享数据的使用变得越来越至关重要，s a n 就是在这方面出现危机时的有效解决办法。 以s a n 方式搭建备份架构，可以非常平滑地对整个存储局域网进行升级。如 果将来用户数据量增大，只需相应地增加磁盘阵列或自动磁带库及软件模块就可 第l 页 前言 以满足新的需求，无需更换原有的存储备份设备及软件。通过统一的管理模块可 以完成对服务器文件、打开文件的备份恢复以及对存储区域网内各服务器备份任 务的控制。通过软件模块实现对数据库的在线备份。当数据发生丢失时，恢复程 序可以很方便地恢复历史数据。恢复数据时，首先选择相应的历史备份版本，提 交备份任务，需要恢复的数据通过光纤交换机传输到相应的应用服务器，完成数 据的恢复。 那么s a n 都能给用户带来哪些好处呢? ( ) 实现了集中式的统一管理 使用单个超大容量、高可靠的存储设备，可以通过管理工具从中心控制平台 对存储进行管理，从根本上改变了分散控制的格局。 ( 二) 保证了数据的安全性、可靠性和完整性 集中后可以接触数据的人员相对比较集中，数量较少，使电脑犯罪的可能性 极大降低：同时便于对数据进行集中的备份，提高了数据的安全性和可靠性，也 保证了数据的完整性和真实性。有效的备份，也保证了一旦出现系统故障，数据 能够被有效地恢复。 ( 三) 能够有效地减少总体拥有成本 具有良好的可扩展性，需求增加后，数据量增大，也不用频繁更新存储设备。 同时，还可以在异地建立容灾中心，s a n 能够很好地满足此类需要，不用重新更 换设备。 ( 四) 高速及高性能 改变了过去以服务器为中心的存储模式，而是以数据存储为中心，采用可伸 缩的存储网络拓扑结构，通过具有高传输速度的光纤通道直接连接，提供了s a n 内部任意节点之间的多路可选择的数据交换。 ( 五) 高可用性 多台服务器共享一个超大容量、高可靠的存储设备，因此主机通过光纤通道 可以与存储设备建立任意两点之间的连接，从而能形成一个被多个服务器通过多 条路径访问的共享存储池，保证了更高的可用性。 ( 六) 数据共享及高可扩充性 分布式服务器可以访问一个大的集中管理的存储子系统，各种应用共享数 据。由于存储结构采用光纤通道连接方式，可以保证存储的高扩展性和主机系统 平滑地扩容。 第2 页 前言 目前，国内很多大型的企事业单位都采用s a n 作为数据库存储的解决方案。 中国石油化工股份有限公司石油化工科学研究院采用了c a 公司的b r i g h t s t o r ： 国土资源部信息中心使用i b mt i v o l it s m 作为存储备份软件：国家图书馆数字 化系统的中国国家图书馆存储区域网( s a n ) 工程选用了v c s ( v e r i t a s c l u s t e r s e r v e r ) 。这些s a n 存储管理软件都是国外生产的，国内还没 有相关的具有自主产权的产品，这对国内的s a n 研究者无疑是一个巨大的压力。 研究内容 正是在这样的形势下，笔者确定了研究生学位论文的课题，就是基于s a n 网 络协议的存储管理系统( r e p l i c a t ev o l u m em a n a g e m e n t ，简称r v m ) 的研发，这一 系统是由本课题组与北京中科院软件所n e c a s 共同合作开发的，参考了n e c 公司 的以u n i x 系统作为平台的同类产品，目的是实现在n e c 生产的a c o s 4 大型机集 群环境下通过服务器对磁盘阵列和网络设备进行集中式地管理。 下图是总体的网络布置框架图。 本文将根据笔者的实践经验阐述基于s a n 的存储管理系统的相关核心技术， 并论述随最新的用户需求而延革出的新理论和新方法。 第3 页 第一章s a n 的概遗 第一章s a n 的概述 本章将从宏观角度对s a n 的基本理论进行阐述，包括布局比较，组成要素 拓扑结构，优越特性等，这些基础是构成存储区域网技术恢宏大厦的前提。 1 1 主流网络存储技术的比较 随着信息量的爆炸式增长，对于数据的存储方式也正在变革，以满足惊人的 存储需求。现在比较主流的存储技术大都是以网络技术为基础的，也就是说，利 用互连网络来构成数据存储的布局方式。下面就对当前的几种主流的网络存储技 术进行比较，以说明s a n 的特性。 1 1 1 直接连接存储( d a s ) d a s ，是d i r e c ta t t a c h e ds t o r a g e 的缩写。在历史上，标准的连接方式是通 过s c s i 接口一对一地将存储设备直接连接到一台计算机上，这就是d a s 的布局 形式。d a s 是网络存储的先驱，它的出现标志着网络存储技术在世界存储舞台上 的“闪亮登场”，虽然现在它仍然活跃在很多应用领域，但由于本身的些弊病， 在s a n 或n a s 这些新技术面前已经黯然失色。 图卜ld a s 的布局方式 第4 页 第一章s a n 的概述 它的弊病主要有：当其中的服务器出现故障时，就使这存储方式失效，无 法连结并取得磁带库等存储媒体中的数据；数据备份占用l a n 的带宽和主机资源 随着存储设备和服务器数量的激增，使得管理的负担加大。 1 1 2 网络连接存储( n a s ) n a s ，就是n e t w o r ka t t a c h e ds t o r a g e 的缩写。文件系统在n a s 设备端实现， 客户端通过n f s 或者c i f s 访问n a s 设备的磁盘，这就是n a s 的布局方式。n a s 的 传输载体是文件形式的数据，由网络协议指定数据在客户机与存储介质之间的流 动方式，而不用考虑客户端平台的构造是否相同。这种共享数据的方式对于大多 数网络都适用，并对大多数格式的文件都支持。例如常见的n f s 格式的文件，利 用u n i x 服务器或l i n u x 服务器所提供的指令在n a s 中进行数据的传输是十分便 利的。 图1 吨n a s 的布局方式 1 1 3 存储区域网络( s a n ) s a n ，是s t o r a g ea r e an e t w o r k 的缩写。s a n 是目前最显现优势的网络存储 技术，它将多台存储服务器互连组成一个数据网络。这样一来，其中的服务器与 存储设备可以构成任意形式的连接，对于任意一台存储设备上的数据，都能被整 个网络中的所有服务器所共享。 第5 页 第一章s a n 的概述 相对于d a s 与n a s ，它的优势之处为：可扩展性，由于存储服务器互连构成 网络，当需要加入新的存储设备时只需要在一个节点处加入，就可以很容易地实 现共享；灵活性，由于采用特定的方式互连，所以在地理位置上可以分散，这无 形中又可以提供更大容量的存储数据；稳定性，由于存储功能与基本功能脱离， 所以做备份操作时不会对网络的总体性能产生直接的影响，同时也消除了海量数 据对局域网安全性能的冲击。 图1 - 3s a n 的布局方式 s a n 和n a s 之间并不是竞争对手，而是相互补充的关系。例如，n a s 越来越 多地采用s a n 来解决与存储设备扩充相关的问题，以及进行数据备份和恢复。 1 2s a n 的组成要素 s a n 作为一种配置网络化存储的解决方案，在物理布局上是通过专用的交换 机、集线器和网关在服务器和存储设备之间建立连接的，这与普通的局域网的物 理布局类似，但在接口上主要以f c 、s c s i 等为主，这与普通的局域网以e t h e r n e t 为接口不同；在技术层面上将存储设备从服务器的直接管辖中“解放”了出来， 从而使存储设备上的数据真正地为所有网络中的访问节点所共享，而且各个存储 子系统之间还可以直接实现协同的操作，无需通过专用的服务器，这些都使得存 储设备的“自由度”明显提高。 第6 页 第一1 is a n 的概遗 存储区域网络的组成要素主要包括网络互连结构、管理软件和存储系统，下 面分别对这几个组成要素加以阐述。 1 2 1 网络互连结构 网络互连结构中的部件包括主机总线适配器、互连线缆光缆、网桥路由器、 继承器交换机以及集线器等。下图是网络互连结构配置的说明图示。 图卜4 网络互连结构配置的说明图示 光纤通道s a n 由许多服务器和存储予系统组成，它们通过高速集线器或交换 机进行互连。光纤通道提供了许多优秀的性能，克服了s c s i 技术在传输速度和 传输距离上的限制。在建设低延迟的s a n 过程中，光纤通道技术显示出在超高性 能表现、可扩充性、可管理性以及灵活性等方面的强大优势。它允许用户在不重 新配置服务器的情况下增加存储容量，在网管方面它能在整个网络结构中被当成 一个元素进行整体管理，还能提供快速的故障定位和排除。光纤通道使用较大的 数据块传输，能在硬件级别保证传输的正确性。 适配器、网桥和路由器：主机总线适配器可以让服务器系统总线连接到扩展 的设备上。网桥是连接s c s i 、e s c o n 和光纤通道的设备。路由器在光纤通道端口 和s c s i 总线之间转换数据。网桥和路由器延长了传统存储系统的寿命，使它们 能一步步地向光纤通道迁移。 集线器：在s a n 中，服务器通过一个或多个光纤通道集线器或交换机来访问 存储网络，这些网络互连设备在其中所起的作用与在传统网络中的作用类似。集 第7 页 i 一章s a n 的概述 线器把很多节点连接到f c - a l 环路上，共享l o o m b p s 的带宽，集线器典型的应用 是连接7 1 2 个节点。它的局限在于带宽是共享的，而且在同一时间里只有两个 节点可以相互通讯。集线器在小应用场合非常合适，它的端口价格仅仅是交换机 端口价格的1 4 。可管理集线器提供了有限的端口状态统计信息，它是通过一个 运行s n m p 管理信息库的管理部件实现的。 交换机：光纤通道交换机在逻辑上是s a n 的中心，它可以根据数据传输的实 际需要配置交换链路，还可以在多个交换机和多个节点之间扩充这个链路。在这 种配置下，任何交换机端口都能以全双工的速率访问其它网络端口，并提供高可 用性。交换机允许在各个端口之间以满带宽相互访问，它还可以和集线器结合， 组成网络互连结构，从而得到更大的性能价格比。 1 2 2 管理软件 管理一个大型的s a n 需要一个健壮的管理配置系统，强有力的监控能力对于 集中管理广泛的资源相当必要，s a n 管理软件还应具备从网络或存储设备提供的 数据中检测出即将产生的故障或即将发生的传输瓶颈的能力，从而可以提前进行 预防。 管理一个s a n ，需要结合网络管理和存储管理的知识。在管理中除了要管理 s a n 中的数据外，还应管理s a n 中的各种网络设备，主要的管理方面如下： 1 行政级管理：它包含集中管理、存储资源控制、拓扑和配置管理以及各种 设备如集线器、交换机、路由器和网桥等的故障隔离。它通过s n k i p 和c i m ( 通 用信息模型) 协议来进行管理。目前s a n 中的各种设备都可以通过各自的管理软 件进行管理和监控。 2 数据管理：它包括数据备份和数据复制、镜像管理咀及数据分层存储管理 等。 3 。存储资源管理：存储资源管理是一类应用程序，它们管理和监控物理与逻 辑层次上的存储资源，从而简化了行政管理，提高了数据的可用性。被管理的资 源包括存储硬件如磁盘子系统、磁带以及光介质系统等。存储资源管理产品能够 监控存储系统的健康状况、可用性、性能表现以及配置情况，从而提供优化策略。 存储资源管理还包括容量和配置管理，设备和介质的迁移管理以及事件报警和策 略管理。 4 安全管理：u n i x 和n t 给予了服务器管理所有存储资源的权利。由于在s a n 中所有的存储资源都可以被存取，所以需要有一种机制来保证各个存储服务器中 第8 页 咐 一 分s a n的 w it 线器把很多节点连接到 f c - a l 环路上， 共享 1 0 0 m b p s 的带宽， 集线器典型的应用 是连接7 - 1 2 个节点。 它的局限在于带宽是共享的， 而且在同一时间里只有两个 节点可以相互通讯。 集线器在小应用场合非常合适， 它的端口 价格仅仅是交换机 端口价格的1 / 4 。 可管理集线器提供了 有限的端口 状态统计信息，它是通过一个 运行s n m p 管理信息库的管理部件实现的。 交换机: 光纤通道交换机在逻辑上是s a n 的中心， 它可以根据数据传输的实 际需要配置交换链路， 还可以在多个交换机和多个节点之间扩充这个链路。 在这 种配置下， 任何交换机端口 都能以 全双工的速率访问其它网络端口， 并提供高可 用性。交换机允许在各个端口 之间以满带宽相互访问，它还可以 和集线器结合， 组成网络互连结构，从而得到更大的性能价格比。 1 . 2 . 2管理软件 管理一个大型的s a n 需要一个健壮的管理配置系统， 强有力的监控能力对于 集中管理广泛的资源相当必要， s a n 管理软件还应具备从网络或存储设备提供的 数据中检测出即将产生的故障或即将发生的传输瓶颈的能力， 从而可以提前进行 预防。 管理一个s a n , 需要结合网络管理和存储管理的知识。 在管理中除了要管理 s a n 中的数据外， 还应管理s a n 中的各种网络设备，主要的管理方面如下: 1 . 行政级管理: 它包含集中管理、 存储资源控制、 拓扑和配置管理以及各种 设备如集线器、交换机、 路由 器和网桥等的故障隔离。 它通过s n m p 和c 工 m( 通 用信息模型) 协议来进行管理。目 前s a n 中的各种设备都可以通过各自的管理软 件进行管理和监控。 2 . 数据管理: 它包括数据备份和数据复制、 镜像管理以及数据分层存储管理 等。 3 . 存储资源管理:存储资源管理是一类应用程序， 它们管理和监控物理与逻 辑层次上的 存储资源， 从而简化了 行政管理， 提高了 数据的可用性。 被管理的资 源包括存储硬件如磁盘子系统、 磁带以 及光介质系统等。 存储资 源管理产品能够 监控存储系统的健康状况、 可用性、 性能表现以 及配置情况， 从而提供优化策略。 存储资源管理还包括容量和配置管理， 设备和介质的迁移管理以 及事件报警和策 略管理。 4 . 安全管理: u n i x 和n t 给予了服务器管理所有存储资源的权利。 由于在s a n 中所有的存储资源都可以被存取， 所以需要有一种机制来保证各个存储服务器中 第 8 页 j s - 幸s a n的概 述 的数据不被非法改写。目 前有3 种机制来保证:首先是持续绑定， 即把主机总线 适配器绑定在特定的逻辑单元上，从而阻止其它逻辑单元对存储资源的非法使 用; 其次是在系统管理软件中嵌入程序以实现相应的功能: 最后一种机制是存取 控制， 使用端口分区的方法， 把交换机分成许多逻辑上的区域， 从而保障数据的 安全性。 5文件管理: 在s a n 中。 要查看数据可以 通过两种方式:一种是在物理层次 上以数据块的方式进行查看， 另外一种方式是在逻辑层次上以逻辑文件的方式进 行查看。 s a n 的一个难题就是因为在整个网 络中各个服务器的操作系统和文件格 式各异， 所以要进行有效的文件管理并不轻松。 在物理层次上， 要实现资源共享 很难， 这主要是因为难以 要求各个服务器都采用相同的文件格式。 所以希望只有 寄托在逻辑层次上。 目 前有3 种方案:首先是选择一种主机的操作系统和文件系 统， 如w i n d o w s n t 和它的n t f s 文件系统， 然后在其它不同种类的机器里安装n t 的代理，把各种其它的文件格式都转化为n t的文件格式，从而实现文件资源的 共享， 但这种方法在实际应用中暴露出来的问 题是其代理的效率太低。 另一种方 案是在各种操作系统和文件系统中加入软件方式的中间层模块， 利用它来进行格 式的转换。 这种方法的缺点是必须时刻跟上操作系统的更新和修订。 第三种方法 是建立一种通用、独立的文件系统，建立这样的标准需要各方面的协同和一致。 1 . 2 . 3存储系统 许多s a n 的部件， 如磁盘系统、 磁带系统以及连接部件都有一定程度的管理 能力，并且都提供管理接口。 s a n 中的存储系统和光纤通道交换机以 及存储服务 器也具备各自的管理能力，所以在s a n 的智能是分布在全网中的。 存储子系统也可以包括毫无智能的设备， 如磁盘和r a i d 设备，它们仅仅有 一定的内部控制功能， 能完成镜像等数据功能。 它也可以包含带有很强智能的存 储服务器， 同时带有专用的处理器和管理软件。 存储系统还可以连接磁带和光驱 等设备， 其最佳方式是通过光纤通道进行互连， 此外还可以 通过光纤通道到s c s i 的网桥设备把s c s i 设备也连接起来。目 前， 存储系统正朝着高性能、高可用性 和可管理性的方向发展。 1 . 3 s a n 的拓扑结构 从抽象层面讲，目前 s a n主要有四种拓扑结构: 包括择优仲裁回路 ( a r b i t r a t e d l o o p ) ( 环 形 ) ， 专 属 点对 点连 接 ( d e d i c a t e d p o i n t - t o - p o i n t 第 9页 j s - 幸s a n的概 述 的数据不被非法改写。目 前有3 种机制来保证:首先是持续绑定， 即把主机总线 适配器绑定在特定的逻辑单元上，从而阻止其它逻辑单元对存储资源的非法使 用; 其次是在系统管理软件中嵌入程序以实现相应的功能: 最后一种机制是存取 控制， 使用端口分区的方法， 把交换机分成许多逻辑上的区域， 从而保障数据的 安全性。 5文件管理: 在s a n 中。 要查看数据可以 通过两种方式:一种是在物理层次 上以数据块的方式进行查看， 另外一种方式是在逻辑层次上以逻辑文件的方式进 行查看。 s a n 的一个难题就是因为在整个网 络中各个服务器的操作系统和文件格 式各异， 所以要进行有效的文件管理并不轻松。 在物理层次上， 要实现资源共享 很难， 这主要是因为难以 要求各个服务器都采用相同的文件格式。 所以希望只有 寄托在逻辑层次上。 目 前有3 种方案:首先是选择一种主机的操作系统和文件系 统， 如w i n d o w s n t 和它的n t f s 文件系统， 然后在其它不同种类的机器里安装n t 的代理，把各种其它的文件格式都转化为n t的文件格式，从而实现文件资源的 共享， 但这种方法在实际应用中暴露出来的问 题是其代理的效率太低。 另一种方 案是在各种操作系统和文件系统中加入软件方式的中间层模块， 利用它来进行格 式的转换。 这种方法的缺点是必须时刻跟上操作系统的更新和修订。 第三种方法 是建立一种通用、独立的文件系统，建立这样的标准需要各方面的协同和一致。 1 . 2 . 3存储系统 许多s a n 的部件， 如磁盘系统、 磁带系统以及连接部件都有一定程度的管理 能力，并且都提供管理接口。 s a n 中的存储系统和光纤通道交换机以 及存储服务 器也具备各自的管理能力，所以在s a n 的智能是分布在全网中的。 存储子系统也可以包括毫无智能的设备， 如磁盘和r a i d 设备，它们仅仅有 一定的内部控制功能， 能完成镜像等数据功能。 它也可以包含带有很强智能的存 储服务器， 同时带有专用的处理器和管理软件。 存储系统还可以连接磁带和光驱 等设备， 其最佳方式是通过光纤通道进行互连， 此外还可以 通过光纤通道到s c s i 的网桥设备把s c s i 设备也连接起来。目 前， 存储系统正朝着高性能、高可用性 和可管理性的方向发展。 1 . 3 s a n 的拓扑结构 从抽象层面讲，目前 s a n主要有四种拓扑结构: 包括择优仲裁回路 ( a r b i t r a t e d l o o p ) ( 环 形 ) ， 专 属 点对 点连 接 ( d e d i c a t e d p o i n t - t o - p o i n t 第 9页 j s - 幸s a n的概 述 的数据不被非法改写。目 前有3 种机制来保证:首先是持续绑定， 即把主机总线 适配器绑定在特定的逻辑单元上，从而阻止其它逻辑单元对存储资源的非法使 用; 其次是在系统管理软件中嵌入程序以实现相应的功能: 最后一种机制是存取 控制， 使用端口分区的方法， 把交换机分成许多逻辑上的区域， 从而保障数据的 安全性。 5文件管理: 在s a n 中。 要查看数据可以 通过两种方式:一种是在物理层次 上以数据块的方式进行查看， 另外一种方式是在逻辑层次上以逻辑文件的方式进 行查看。 s a n 的一个难题就是因为在整个网 络中各个服务器的操作系统和文件格 式各异， 所以要进行有效的文件管理并不轻松。 在物理层次上， 要实现资源共享 很难， 这主要是因为难以 要求各个服务器都采用相同的文件格式。 所以希望只有 寄托在逻辑层次上。 目 前有3 种方案:首先是选择一种主机的操作系统和文件系 统， 如w i n d o w s n t 和它的n t f s 文件系统， 然后在其它不同种类的机器里安装n t 的代理，把各种其它的文件格式都转化为n t的文件格式，从而实现文件资源的 共享， 但这种方法在实际应用中暴露出来的问 题是其代理的效率太低。 另一种方 案是在各种操作系统和文件系统中加入软件方式的中间层模块， 利用它来进行格 式的转换。 这种方法的缺点是必须时刻跟上操作系统的更新和修订。 第三种方法 是建立一种通用、独立的文件系统，建立这样的标准需要各方面的协同和一致。 1 . 2 . 3存储系统 许多s a n 的部件， 如磁盘系统、 磁带系统以及连接部件都有一定程度的管理 能力，并且都提供管理接口。 s a n 中的存储系统和光纤通道交换机以 及存储服务 器也具备各自的管理能力，所以在s a n 的智能是分布在全网中的。 存储子系统也可以包括毫无智能的设备， 如磁盘和r a i d 设备，它们仅仅有 一定的内部控制功能， 能完成镜像等数据功能。 它也可以包含带有很强智能的存 储服务器， 同时带有专用的处理器和管理软件。 存储系统还可以连接磁带和光驱 等设备， 其最佳方式是通过光纤通道进行互连， 此外还可以 通过光纤通道到s c s i 的网桥设备把s c s i 设备也连接起来。目 前， 存储系统正朝着高性能、高可用性 和可管理性的方向发展。 1 . 3 s a n 的拓扑结构 从抽象层面讲，目前 s a n主要有四种拓扑结构: 包括择优仲裁回路 ( a r b i t r a t e d l o o p ) ( 环 形 ) ， 专 属 点对 点连 接 ( d e d i c a t e d p o i n t - t o - p o i n t 第 9页 第 一 幸s a n的 k im c o n n e c t i o n ) ， s w i t c h f a b r i c ( 星形) 和交换拓扑结构。 其中仲裁回路形的拓扑结构如下图所示: 内 bl l ，. l. nu l l一 翎 - 一 .曰日曰以两陌 一 一 叮 ;翻月习抽 猫 印，.一 户. 们 .r 目 . . .娜晚 今， . ， 飞 叮 图1 - 5仲裁回路s a n 的拓扑结构 从具体的 层面讲， 结合 i / 0 技术的 特点，又 有光纤通道的 拓扑结构和s c s i 的拓扑结构。 光纤通道拓扑结构: 有两种光纤通道拓扑结构支持s a n ， 它们是择优环路拓 扑结构 ( f c - a l )和交换拓扑结构。在f c - a l 结构中，数据经过各个节点进行传 输， 所有的节点都共享同一带宽。 理论上可以有1 2 6 个主机或存储设备同时连接 在f c - a l 环路上，但实际上当 连接的设备超过6 -8 个时，系统响应时间会显著 下降， 有些连接甚至会因为超过系统阐值而中断。 f c - a l 拓扑结构提供了设备数 量上的灵活性和可扩充性，并且能以可接受的价格在原有系统上进行很小的改 造。 但f c - a l 结构的 缺点是其带宽是共享的， 每一个具体时刻只能 有一个连接进 行通讯。 在许多情况下， f c - a l 结构己 能满足需要， 它最大的优势在于安装和维 护的费用很经济，是近来安装的s a n 系统中采用得最多的结构。 在交换拓扑结构中， 各个不同的节点之间采用交换机进行连接， 每个连接都 有专用的带宽。 交换结构允许在局域网中移动大量的数据， 并同时提供高可用性。 但构建交换拓扑结构开销很大，而且在关键业务中不一定比用集线器更具有优 势， 因为它需要管理软件的支持和维护， 此外还存在和其它设备的互操作等问 题。 s c s 工 交换拓扑结构: s c s i 交换虽然己 经开始走下坡路， 但在传统的s c s 工 体 系结构向光纤通道过渡的过程中，它仍能起到临时的替代作用。 第 1 0 页 第 一 章s a n的 概 述 1 . 4 s a n 的优越特性 ( 一) 总体成本的降低 1将单一的管理控制改进为统一管理所有的存储资源; i i可以灵活地进行时间表 / 权限的管理以及备份 / 灾难恢复的控制; m 实现了管理网络与应用程序的综合运用; w 随着数据容量的激增，可以随时地追加存储资源; v 通常不需要变更应用服务器的设定; v i能够自 动地检出存储结构的变更。 ( )i nlllivv (_ )i 高可靠性和高可用性 与c l u s t e r 结合使用，可以构筑更具高可靠性和高可用性的系统; 无需中断业务，即可进行应用服务器和存储资源的追加和置换; 从任意的应用服务器都可以访问目 的存储资源， 从而使服务器发生故障 时带来的影响局部化; 使用r a i d 硬件或软件以 确保存储的可靠性; 根据灵活的备份/ 灾难恢复管理和对远距离目 标的远程镜像来保护数据 不受故障/ 灾难的破坏。 存储资源的有效利用 实现了n t , u n i x , m f 间数据的转移/ 协同/ 共享; 通过综合管理以前管理无序的存储格局可以 统一地调整既存系统: 由于无需了解数据的位置，从而降低了应用程序的开发难度，同时也缩 短了软件产品的开发周期。 nm 1 . 5本章小结 本章对s a n 的基础知识进行了必要的介绍，包括网络存储的概述，s a n 的概 念、s a n的构成要素、s a n的拓扑结构、s a n的优越性等。在下一章里，将重点 阐述基于s a n 的存储管理系统的关键技术。 第 1 1 页 第二 ; 章基 代 于 s a n的存 储 系统 的 关 姚 拉 术 第二章 基于s a n 的存储系统的关键技术 笔者所参与研究设计的基于s a n 的存储管理系统， 在用到了有关s a n的技术 之外，也借助了下面的一些关键性的技术: r a i d 技术;光纤通道技术;存储备份技术;文件共享技术。 r a 工 d技术、光纤通