（计算机系统结构专业论文）数字有机体存储空间中配额机制的研究与实现.pdf

摘要摘要随着大规模网络应用的不断出现，数据存储的重要性越来越大。由于传统存储技术d a s 的广泛采用，使得数据分散到各个服务器上，并且服务器大多都工作在不同的操作系统平台上( 比如h p u x 、s o l a r i s 、l i n u x 等) ，这就形成了所谓的“信息孤岛l i 】，网络存储n a s 和s a n 的出现，虽然解决了部分问题，但与d a s 之间的数据访问和管理相互独立，这就给数据的共享和统一管理带来了很大的困难。为此，存储虚拟化就显得特别重要了。通过存储虚拟化系统，所有存储资源将映射成一个统一的虚拟存储空间，用户可以通过应用程序接口a p i 、命令行、g u i以及基于w e b 的用户界面来对它进行透明的访问和管理。本研究室所开发的数字有机体系统就是一个虚拟的存储系统。其核心思想是通过聚集网络上的各种存储资源，形成虚拟的单一空间，向业务系统提供统一的映像，并提供数据的高可用性保证，从而满足大规模网络应用的需要。但是，很多存储系统包括数字有机体系统都存在一个问题，那就是当存储资源共享之后，一个用户可以很容易的使用整个系统的大量共享的存储资源。因此如何确保用户不滥用系统存储空间，设立配额机制，限定每个用户的最大空间使用量就是一个必须解决的问题。这也是本研究的主要目的。而数字有机体是一个非集中式的系统，一个用户在某个时刻可能同时有多个登陆点，并分别在不同的登陆点上消耗分散在不同地域的存储资源。因此如果通过一个集中式的服务器来统一管理以及分配用户配额，不仅违背了数字有机体不能有集中控制点的建设初衷，也不能满足应用的需求。尽管在大规模的分布式存储系统中，配额管理是一个很重要的问题，但至今并没有很好的非集中式的解决方案提出。本文在数字有机体这个平台上，对虚拟存储系统的配额管理作了一次尝试。所设计和实现的配额机制能将用户的配额控制分散开，能够同时处理多用户、多并发的配额请求，达到了配额的异步分配的目的。并且为用户的配额信息设置了几个副本，保证了配额信息的可靠性。最终结果比不引入配额时的系统损失了5 的性能。关键词：配额，分布式的，虚拟存储，数字有机体a b s t r a c tw i t ht h er a p i de m e r g e n to fl a r g e - s c a l en e t w o r ka p p l i c a t i o n s ，t h ed a t as t o r a g eh a sp l a y e da l li m p o r t a n tr o l e d u et ot h ew i d e l ya d o p t i o no ft r a d i t i o n a ls t o r a g et e c h n o l o g yd a s t h ed a t ah a sb e e ns c a t t e r e di n t od i f f e r e n ts b a l v e rw h i c hn m sd i f f e r e n to p e r a t i n gs y s t e m t h a ti st h es o - c a l l e d “i s o l a t e di n f o r m a t i o ni s l a n d a sar e s u l ls t o r a g e啊r t u al i z a d o nh a sb e e no nt h ec e n t r a li m p o r t a n c e t h r o u g ht h es t o r a g ev i r t u a l i z a t i o ns y s t e m ，a l ls t o r a g er g s o u r c 0 8w i l lb em a p p e di n t oau n i f i e dv i r t u a ls t o r a g es p a c e ；t h r o u g ht h ea p i , c o m m a n dl i n e , g u ia n dt h ew e bi n t e r f a c e ，t h eu s e rc a na c c e s sa n dm a n a g et h e s ed a t ae a s i l y t h ed i g i t a lo r g a n i s ms y s t e m ，w h i c hw a sd e s i g n e db y8 0 10l a b ，i sav i r t u a ls t o r a g es y s t e m t h r o u g hf o r m i n gau n i f i e dv i r t u a ls t o r a g es p a c eo fd i s t r i b u t e dr e s o u r c e so nt h en e t w o r k ，i tp r o v i d e sav i r t u a lu n i q u ei m a g es p a c ea n dm e e t st h en e e d so fl a r g e - s c a l en e t w o r ka p p l i c a t i o n s b u tt h e r ei sap r o b l e me x i s t si nm a n ys t o r a g es y s t e mi n c l u d eo u r s t h a ti st h eu s e r sc o u l de a s i l ya c c e s st h el a r g en u m b e ro fs h a r e dr e s o u r c e s t h u s ，h o wt om a k es u r eo n e s u s a g ew a sw i t h i nt h e i rq u o t a si st h ep o i n tw h i c hm u s tb ef i g u r e do u ta n dt h a ti st h em a i np u r p o s eo ft h i ss t u d y t h ed i g i t a lo r g a n i s ms y s t e mi sad e c e n t r a l i z e ds y s t e m au s e rm a yh a v em u l t i p l el a n d i n gs p o t sa tt h es a m et i m ea n dh a v ev a r i o u sc o n s u m p t i o no fs t o r a g er e s o u r c e ss c a t t e r 司i nd i f f e r e n ta r e a s i fi m p l e m e n tt h eu n i f i e dm a n a g e m e n ta n da l l o c a t i o no fu s e l ，sq u o t a sb yac e n t r a l i z e ds e r v e r , i tn o to n l yb r e a k st h er u l et h a tt h ed i g i t a lo r g a n i s m sc a l ln o th a v ec e n t r a l i z e dc o n t r o lp o i n t ，b u ta l s oc a n n o tm e e tt h ea p p l i c a t i o n sr e q u i r e m e n t s ，w h i l eq u o t am a n a g e m e n ti sac r i t i ct o p i ci nl a r g e - s c a l ed i s t r i b u t e ds t o r a g es y s t e m s ，n or o b u s ts c a l a b l es o l u t i o n sh a v eb e e np o i n t e do u ty e t w ei n v e s t i g a t e dq u o t am a n a g e m e n ta sp a r to ft h ed i g i t a lo r g a n i s ms y s t e ma n dp r e s e n t e das o l u t i o nt h a th a sl e s st h a n5 p e r f o r m a n c er e d u c t i o nc o m p a r e dw i t ht h eo n ew i t h o u tt h eq u o t am a n a g e m e n t o u rq u o t as y s t e md i s t r i b u t e dt h ec o n t r o lo fu s e rq u o t a s ；i tw a so p e n e dt od e a lw i t ht h ec o n c u r r e n tr e q u e s t s t h r o u g ht h et e c h n o l o g yo fr e p e t i t i o no fu s e r s q u o t ai n f o r m a t i o n ，ua b s t r a c tt h er e l i a b i l i t yo fq u o t am a n a g e m e n th a sb e e ne n s u r e d k e y w o r d s ：q u o t a , d i s t r i b u t e d ，v i r t u a ls t o r a g e , d i g i t a lo r g a n i s ms y s t e m! i i独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：! 虱望盔鱼日期：年月e l关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后应遵守此规定)、签名：阍歪嘲导师签名：雪9 护f c ：1日期：年月日第一章绪论1 1 课题的背景及意义第一章绪论信息正以超乎人们想象的速度增长，互联网技术和电子商务的发展，迅速改变着企业的运作和经营管理模式，其中影响最大的就是企业的信息存储系统。特别是美国的9 1 l 事件后，全世界都认识到了数据备份存档的重要性，数据备份因此被放在许多企业i t 投入的第一位。数据存储也由传统的服务器体系中独立出来，成为一个独立的资源。单一的传统文件服务器的存储方式已经成为网络存储服务的瓶颈。网络存储成了市场和学术研究的热点。附网存储【2 】( n a s ) 和存储区域网( s m 时习这两种网络存储方式有效地解决了大规模网络存储问题，但是添加这样的存储设备，价格昂贵。因此，研究一种能够管理多个服务器的大规模、高性能、高可靠、高性价比的存储系统具有重要的意义。从技术上说，存储网络包括n a s 和s a n 都是一种很大的技术革新，但是它们都有很多不尽如人意的地方，虽然目前已经实现了一定的存储整合和自动化的存储管理操作，但并没有实现真正的透明存储，存储管理用户仍然需要分别掌握不同存储设备的物理特性，才能对存储池进行有效的管理。只有采用了存储虚拟化的技术【4 】【5 1 ，才能真正屏蔽具体存储设备的物理细节，为用户提供统一集中的存储管理。存储虚拟化是通过存储虚拟化的技术方法，将系统中各种异构的存储设备映射为一个单一的存储资源，对用户完全透明，达到互操作性的目的。电子科技大学8 0 1 0 研究室经过五年的研究，实现了大规模的网络存储系统一数字有机体系统【6 】，为网络公众用户和企业用户提供存储服务。该项目已经初步建成并于今年6 月在四川省检察院及其下属市级检察院应用。数字有机体系统采用了存储虚拟化的技术，屏蔽了具体存储设备的物理细节，为用户提供统一集中的存储管理。但是，在这些存储系统中都存在一个问题，就是如何合理有效地分配系统存储空问，防止由于个别用户过量地占用系统存储资源和网络资源而导致其他用户无法访问系统和存储文件。或者是可用空间被恶意攻击，使得正常的业务无法开展。解决这个问题的一个行之有效的方法就是设置用户配额，使所有用户都可以电子科技人学硕士学位论文公平地使用系统存储空间。但是当前配额机制的研究还主要停留在使用一些操作系统固有的配额机制，如w i n d o w s 2 0 0 0 的磁盘配额。这些配额机制，除了操作和配置十分复杂，同时也非常具有局限性，不能适应大规模的存储系统，因此设计一套灵活的配额管理系统是有很有必要的。1 2 数字有机体系统数字有机体系统是一种虚拟存储系统。它力求全面地解决存储系统的各种问题，并满足业务对存储系统的各种要求。数字有机体系统的核心思想是通过聚集网络上的各种存储资源，形成虚拟的单一空间，向业务系统提供统一的映像，并提供数据的高可用性保证。具体地说，数字有机体系统的三个核心思想是：1 ) 充分利用网络上的各种存储资源首先，网络上的各个存储设备常利用不均。为了方便业务的扩展，许多系统在设计时就故意配置了大量的闲置空间。而某些业务系统可能现在就出现了存储紧张的情况。显然，如果能在它们之间进行调剂，即可解决存储紧张和资源闲置的问题。其次，集中部署数据的方式并不能满足大多数业务的需要。比如，一个管理系统覆盖2 0 个以上的用户点，每个用户点都产生数据并要访问大量的数据。这时，将数据集中存储在任何一个点都将使其他点的访问速度慢，而且在网络故障时无法使用。这就是现在某些银行网点不时出现无法服务的原因。最后，由于设备的性价比曲线是随性能的升高而急速降低的，单设备的性能越高，其性价比就越低。因此，购买多个价格适中的存储设备远比购买相同性能的存储设备便宜。显然，利用价格适中的高性价比的设备建设高性能的虚拟存储系统性价比更高。基于这三个原因，数字有机体系统尽量利用分散在网络上的各种存储资源，而不是建立集中的数据中心。2 ) 形成虚拟的单一存储空间和统一的映像光是强调充分利用网络上的存储资源，却不向用户和业务系统提供必要的支持是没有意义的。因此数字有机体系统向用户和业务系统提供两个类似单存储设备的功能，即虚拟的单一存储空间和统一的映像。数字有机体系统将这些分散的存储资源统一管理起来，建立起单一的存储空间。因此对业务系统来说，它仍然可以认为他使用的是一个集中部署的存储设备，丽无须考虑这些设备的具体位置。另外，管理员也可以在一个地方控制和维护整个存储系统，而无须到各个设备部署点。单一的存储空间使业务系统从具体的存2第一章绪论储管理中解脱出来，从而使得业务系统的开发和单存储系统一样简单。统一的映像包括两个方面。一是存储空间对每个访问者来说都是一样的，即看到的都是一个存储空间，从而方便了数据的共享。二是数据的组织对用户和业务系统来说也是统一的，即在各台服务器上看到的是统一的数据组织结构文件目录和数据库目录。3 ) 数据高可用性保证数据是分散的，保存数据的设备也不是专门的高可用性设备，因此提供数据的高可用性保证就显得很必要。影响数据可用性的故障主要是设备故障、主机故障和网络故障。数字有机体系统通过仔细且巧妙的方式来应对这些故障，并保证数据总是可用的。1 3 数字有机体系统中配额机制研究的内容数字有机体构建了一个基于广域网的分布式存储平台，将网络上的各种存储资源集中起来，形成虚拟的单一存储空间和统一的映像，使得位于广域网中离散的机器的存储空间得到有效的管理和利用。随着数字有机体中存储节点的增多，位于系统中的用户看到的将是一个极其庞大的存储系统，用户可以像在单机系统中一样，利用目录管理自己的文件。但是，再庞大的存储空间也会有耗尽的时候，如果遇到一个用户恶意向系统频繁拷贝大文件，那么整个系统将一直处于资源的拷贝状态，并且存储空间将很快被用完。为了保证所有用户的利益，也为了保证系统的运行效率，数字有机体引入了配额管理机制，为每位用户按照他们的需求，在配额中设置相应可使用的存储空间。数字有机体通过配额管理机制，实现了对用户空间的管理。数字有机体系统中配额机制主要实现用户配额的分配与回收。要求能快速响应用户的文件配额请求。当用户有文件写请求时，即需要消耗系统存储空间时，必须获得可使用配额后才能进行写操作。配额机制屏蔽了分散的存储资源如磁盘，使用户可以从系统中任何一个节点出发申请配额。1 4 论文组织本文主要论述了数字有机体系统中配额机制的研究与实现。为了向读者说明问题首先需要对数字有机体系统本身加以说明，包括主要的设计思想、构架、模3电子科技大学硕士学位论文块划分和实现的功能。本文的结构安排如下：第二章介绍了当今流行的一些存储系统和他们的一些特点，并对他们进行了简单的比较。第三章介绍数字有机体系统的设计思想、构架和一些主要的功能模块，使读者对数字有机体整体有一个比较深入地了解。第四章配额机制的设计与实现。第五章测试与分析。第六章结论与后续研究建议。4第二二章存储系统比较2 1 存储系统概述第二章存储系统比较业务系统普遍需要数据存储系统。存储设备的发展大致经历了三个时期。最初，存储设备很笨重，而且也很昂贵，因此往往直接连接在服务器上，作为服务器的珍贵资源管理。其后，硬盘出现，并且存储容量越来越大，体积越来越小，硬盘成为服务器内的标准设备。但是硬盘容量的发展还是跟不上业务需求的发展，因此独立的存储设备开始出现，最常见的是磁盘阵列。在这个时期，存储都是附接于服务器，作为服务器的一个子系统存在的，因此被称为直连式存储( d i r e c t - a t t a c h e ds t o r a g e ，简称d a s ) z l 。图2 一l 业务与存储设备间的关系从业务和存储设备间的关系来看，有图2 1 所示的情况。在最下面是存储设备，最上面是业务服务，即数据处理部分。中间是简化业务系统管理存储设备上的数据的支持层数据管理。数据管理一般由操作系统的文件系统或者数据库管理系统完成。文件系统负责文件的管理，数据库系统负责数据记录的管理。这两个基础软件提供的支持大大简化了业务处理数据的工作，即将业务处理和数据管理独立起来【引。在存储设备和数据管理间是界面1 。它是数据管理系统访问存储设备的界面。通常，存储设备是作为服务器或者主机的一个设备出现的。主机和设备间按照较低层的协议标准进行交互，如常见的s c s i 、s a t a 9 】和a t a 等。这些协议标准都了电子科技大学硕士学位论文没有考虑存储设备和主机相隔很远部署的情况。通常支持的传输距离在几米到几十米左右，而且扩展性也有限，因此不能形成大规模的存储系统。为此，f c s c s i协议出现。它是在光纤通道上运行的s c s i 协议【l o j 。光纤通道有较高的可靠性和较低的传输衰减，其传输距离可以达到5 0 公里左右。但更大范围的部署仍然无法支持，而且光纤通道的价格昂贵。为了解决扩展性问题和价格问题，i s c s i 协议被提出。i s c s i 协议是在i n t e r n e t 上运行的s c s i 协议【n 】。这个协议利用传统的口网络传输s c s i 协议，因此价格相对较低，而且扩展性也比f c s c s i 好。在数据管理和业务服务间的界面是界面2 。这个界面通常以文件服务【1 2 】或者数据库服务的形式出现。而且这个界面通常运行在传统的口网络上，因此价格相对低廉些。文件服务采用的协议通常有n f s ( 网络文件系统) 1 1 3 】、c f s 闻、h 1 1 叩和f t p 等。n f s 和c f s 都在业务系统所在的主机上形成网络磁盘( 或者说网络路径) ，使用户可以像操作本地文件一样操作远地的文件。h t t p 和f t p 是应用协议，通常不会在业务系统所在的主机上形成网络磁盘，因此访问时需要使用专门的工具，相对来说显得不方便。但是普通的用户往往并不熟悉n f s 和c f s 等，因此使用这两个协议需要学习。数据库管理系统提供的是数据库服务，其接口众多，这里就不再讨论。由于直连式存储有扩展性和可靠性等问题，将存储和业务系统分离的想法出现。并在图一所示的两个界面上都出现了对应的技术。在界面l 上分离形成的是存储区域网络( s t o r a g ea r e an e t w o r k ，简称s a n ) 等存储设备。在界面2 上分离形成的是网络附接存储( n e t w o r k - a t t a c h e ds t o r a g e ，简称n a s ) 。除了将业务系统和存储分离的思路外，另一种思路也被引入，它就是虚拟存储技术。通过扩展数据管理系统，虚拟存储系统能够管理众多的分散存储设备，并向业务系统提供统一的虚拟存储设备。2 2 常见存储系统介绍根据服务器类型将存储分类为：封闭系统的存储和开放系统的存储。封闭系统主要指大型机，a s 4 0 0 等服务器；开放系统指基于包括w i n d o w s 、u n i x 、l i n u x等操作系统的服务器。而开放系统的存储分为：内置存储和外挂存储。d a s 、n a s 、s a n 都属于开放系统的外挂存储。6第二章存储系统比较2 2 1 直连式存储( d a s )直连式存储也可以称为服务器附加存储( s a s ，s c 震v c r - a t t a c h e ds t o r a g e ) ，指的是直接连接在服务器或客户端的扩展接口之上的数据存储设备。对这些存储设备的操作将依赖于其连接的服务器或客户端，而存储系统本身则只是存储设备硬件的简单堆叠，不带有任何存储操作系统。在这种方式中，存储设备是通过电缆( 通常是s c s i 接口电缆) 直接连到服务器或客户端上的，由它们发送相关的i o请求来操作其连接的存储设备1 1 5 1 。如图2 - 2 所示，d a s 实际上就是指直接与计算机连接的存储设备，如硬盘或磁盘阵列。a p p l i c a t i o ns e r v e rf i l es y s t e ms c s i ，f cj b o d7 、卜一图2 - 2d a s 结构这种结构的优点是数据和处理器距离很近，因此两者间的传输开销小，数据访问速度快，数据处理效率高。单人单机的应用环境下，用这种方式具有较强的存储优势。但当需要在部门级内部或网络环境下使用存储系统时，d a s 方式则会变得极不合理，它实际上是将本应该集中共享的存储资源分散于各自主机之内。因此就造成了存储资源使用量的不均衡问题，有些部门不停地需要扩充新的存储容量，而有的部门则根本用不完现有的存储容量，造成了存储资源的闲置。另外，每个存储设备只连接到相应的服务器上，也只有该服务器才能对它进行数据的存取以及相应的管理操作。其他服务器需要访问该存储设备时，就需要利用远程数据访问工具，这种数据共享机制效率极为低下，根本无法适应信息网络快速发展对数据存储的需求。随着网络存储的发展，d a s 的适用范围越来越少。要解决上述的问题，可行的道路有两条，一是将存储设备独立出来，从而存储设备可以独立扩展，这条道路就是网络附接存储( n a s ) 和存储区域网络( s a n )7电子科技大学硕士学位论文所走的。第二条道路是由更多的服务器及其磁盘形成虚拟存储系统，这条道路就是数字有机体系统和其他的虚拟存储系统所走的。下面分别对其进行介绍。2 2 2 网络附接存储( n a s )n a s 系统的思路是将存储设备和数据管理都从业务服务中独立出来，即从图2 1 所示的界面2 处断开，用专门的设备完成下面部分的功能。但n a s 不是能完成所有数据管理功能。实际上，n a s 上带有一个瘦文件服务系统 【嘲，该系统是专门针对存储操作而优化的。与基本通用服务器的文件服务器不同，n a s 在功能上只关注文件服务和存储部分，不允许再安装和运行任何其他的应用程序。所以在性能上要高于通用的文件服务器。n a s 的结构如图2 3 所示。a p p l i c a t i o ns e r v e r焱麟f i l es y s t e mf i l es y s t e mr a i dr a i dh9图2 3n a s 结构图n a s 提供的是文件级的存储服务，它直接通过网络接口与l a n 相连并拥有自己的i p 地址，允许用户在网络上直接存取数据而无需应用服务器的干预。n a s 使用流行的网络文件协议n f s 、c i f s 和h t t p 在l a n 上实现数据共享访问的。n a s 系统与业务服务器间的网络是标准的t c p i p 网络。交换机也是常见的以太网络交换机。因此在网络上的要求不高，投入也比较低。当采用现有的g b e ( 千兆以太网) 时，数据访问速度要低于s a n 系统常采用的2 g b p s 的光纤交换网络。不过，1 0 g b e ( 万兆以太网) 很快就会流行起来，因此以后的速度并不比光纤交换网络差。n a s 设备在功能上是完全独立于用户网络中的主服务器。用户与n a s 设备之间的数据交互不再需要通过网络上的文件服务器进行内存转发，而是在用户和n a s 设备间形成了一条直接连接的数据通路。这种方式不占用网络中服务器的系第二二章存储系统比较统资源，也不需要在其上安装特定软件。在增加n a s 时，也不需要关闭网络上的任何服务器。这样使服务器从巨大的i o 负荷中解放出来，更高效、更可靠地为用户提供服务。与传统的通用服务器结构相比，优化的n a s 体系结构能提供性能上的优越性，包括：多协议：与平台无关的存储和文件服务；对多协议数据存储和文件服务操作优化的实时操作系统；简化配置和远程管理。但是，n a s 只实现了对客户端的文件数据共享，却没有实现与其他服务器共享自身存储空间的能力。随着网络中流动的数据量越来越大，n a s 在l a n 中传输文件数据时，会将大量整块的数据划分成多个的数据包，这样会造成传输处理过程对n a s 中处理资源占有率过大，并直接影响到n a s 对用户请求的响应和存储服务的提供。其次，传统的l a n 并不是为可靠传输大数据量的信息而设计的。所以，n a s 在具体使用中会与用户竞争网络的带宽。而且，b i a s 的数据备份是无法与用户隔离的，在备份过程中对网络资源的消耗十分巨大。若用户频繁使用网络时，n a s 的备份机制出现问题，对用户网络来说将会产生致命的后果。2 2 3f c s a ns a n 提高性能的思路和n a s 系统不同，它是从图2 1 所示的界面1 处断开，即将存储设备独立出来。为了保证多个存储设备之间，及主机与存储设备间的网络通信畅通，通常s a n 有自己独立的网络，所有的服务器可以通过这个网络对任意的存储设备进行读取和写入。这个网络可以是专门的光纤通道( f c ) 、也可以是专门的i p 交换网络。采用光纤通道的s a n 称为f c s a n 。采用i p 网络的s a n 称为口一s a n ( 某些厂家又叫i s c s i ，因为在i p 网络上传递的是s c s i 协议) 1 1 7 】。s a n 不是一种产品而是配置网络化存储的一种方法。这种网络技术支持远距离通信，并允许存储设备真正与服务器隔离，使存储成为可由所有服务器共享的资源。s a n 也允许各个存储子系统，如磁盘阵列和磁带库，无需通过专用的中间服务器即可互相协作。s a n 和n a s 系统相比，s a n 是基于块的存储，而n a s 是基于文件的存储。s a n 共享原始的磁盘或磁带设备，而n a s 则共享文件系统。客户访问s a n 的磁盘必须要经过服务器，而n a s 则不用。由于数据传输网络和业务网络是独立的，因此s a n 的传输网络更有保障，也更可靠。由于s c s i 协议标准是磁盘设备层的标准，容错和可靠性设计不多，在性能差的网络上难以运行。因此，对网络的要求比n a s 采用的t c p i p 协议高。这也是s a n 要求高速专用网络的原因。9电子科技大学硕士学位论文f c s a n ( f i b r ec h a n n e ls a n ，光纤通道存储区域网络) 是s a n 最早的形式，也是目前市场上的主流样式。f c s a n 是在s c s i 协议为核心的基础上，基于光纤通道协议实现的一种s a n 。f c 网络需要专门的交换机、存储设备、h b a 卡。其结构如图2 _ 4 所示。图2 - 4f c s a n 结构图与单机d a s 系统比较，s a n 具有以下优势：s a n 网络具有出色的可扩展性，理论上最多可以连接1 6 0 0 万个设备。s a n 不必停机或中断与服务器的连接即可增加存储。s a n 支持在线数据备份，因此不必建立单独的备份系统。现阶段s a n 的数据访问速度高于n a s 的数据访问速度。s a n 可以在较广的范围内部署。与n a s 相比，s a n 的不同之处在于：s a n 对外提供的是磁盘设备，既在服务器上看到的是磁盘；而n a s 对外提供的是文件服务，服务器看到的是网络文件系统。s a n 需要专门的传输网络，而n a s 通常使用业务系统的网络，因此s a n的网络投入远高于n a s 。s a n 也存在以下不足之处：f c s a n 的传输距离通常不超过5 0 公里，因此还不能整合更多的主机，也不适宜大规模分散部署。缺乏统一的标准，时至今日，互操作性仍是f c s a n 实施过程中存在的主l o第二章存储系统比较要问题。基于f c s a n 的存储设备价格仍居高不下，普通单位难以负担。2 2 4i p s a ni p s a n 存储技术，顾名思义是在传统i p 以太网上架构一个s a n 存储网络，从而把服务器与存储设备连接起来的存储技术。i ps a n 其实在f c s a n 的基础上再进一步，它把s c s i 协议完全封装在讲协议之中。简单来说，i p s a n 就是把f c s a n 中光纤通道解决的问题通过更为成熟的以太网实现了。从逻辑上讲，它是彻底的s a n 架构，即为服务器提供块级服务【博j 。i p s a n 技术有其独特的优点：节约大量成本、加快实施速度、优化可靠性以及增强扩展能力等。采用i s c s i 技术组成的i p s a n 可以提供和传统f c s a n 相媲美的存储解决方案，而且普通服务器或p c 机只需要具备网卡，即可共享和使用大容量的存储空间。与传统的分散式直连存储方式不同，它采用集中的存储方式，极大地提高了存储空间的利用率，方便了用户的维护管理。i s c s i 是基于i p 协议的，它能容纳所有口协议网络中的部件。通过i s c s i ，用户可以穿越标准的以太网线缆，在任何需要的地方创建实际的s a n 网络，而不需要专门的光纤通道网络在服务器和存储设备之间传送数据。i s c s i 可以实现异地间的数据交换，使远程镜像和备份成为可能。因为没有光纤通道对传输距离的限制，i p s a n 使用标准的t c p i p 协议，数据即可在以太网上进行传输。i p s a n 也有不足的地方：一是目前i p s a n 的实现还比较困难，需要在i p 或是s a n 网络上添加专门的设备和安装驱动；二是与专用存储网络相比，i p 网络尤其是以太网的数据传输效率较低，且基于口网络的存储也会比较占用网络资源。2 2 5s a n 和n a s 的融合n a s 和s a n 最大的区别就在于n a s 有文件操作和管理系统，而s a n 却没有这样的系统功能，其功能仅仅停留在文件管理的下一层，即数据管理。s a n 和n a s并不是相互冲突的，是可以共存于一个系统网络中的。n a s 与s a n 作为两种新的主流存储技术的出现，为从根本上改变已有的存储结构与存储管理方式提供了重要的条件，两种技术的融合已经成为大势所趋，得到市场的共识1 1 9 1 2 0 1 。当然，n a s 和s a n 的融合存在其合理性【2 。s a n 提供速度，n a s 提供由文件处理带来的协作性。对s a n 来说，点到点之间光纤通道的最大距离不得超过电子科技大学硕士学位论文1 0 k i n 限度实在是一个缺陷，但这种缺陷可以被n a s 的i p 连接所弥补。这就是说，可以通过m 网络发送光纤通道命令( f c m ) 。借助于l o g b i t 以太网技术，这种处理方法最终变成了现实。这种方式虽然使文件共享问题得到了很好的解决。但是，如果s a n 上的存储系统不是统一在一个文件系统下，而是分成无数个各个服务器使用的小文件系统，则会出现文件映射错乱，无法管理的问题。因此，它们的融合只适合于系统中业务种类单一，整个存储空间被统一使用的情况。并且，n a s 和s a n 的融合没有降低系统的总体拥有成本。因为整个系统仍然需要昂贵的专用网络，需要专用的设备。2 2 6 虚拟存储技术存储虚拟化是对存储资源实施和配置的逻辑抽象【2 2 1 。从专业角度来看，存储虚拟化实际上是逻辑化存储，即把多个存储介质模块通过一定的手段集中管理起来形成一个逻辑统一的存储池，为主机通道提供逻辑卷，主机可以通过一个物理节点管理这一空间的逻辑卷。从用户的角度来看，虚拟存储就是使用存储空间而不是使用物理存储硬件，管理存储空间而不是管理物理存储硬件。虚拟化技术其实是一个抽象的技术，几乎可以应用在存储的所有层面【2 3 j ：文件系统、文件、块、主机、网络、存储设备等等。通常所指的虚拟存储技术有两类。一类是基于主机的虚拟存储系统。在这类系统中，根据实现是硬软配合还是纯软件又可划分为两种。一种是硬软配合的虚拟存储系统，如i b m 提出的统一存储技术【2 4 】。这类技术往往应用在s a n 系统中，用来将部署在多个地方的，用光纤通道网络连接的s a n 系统虚拟成单一的s a n系统。这种方式较好的解决了s a n 本身的扩展性问题，同时也解决了多个s a n设备的统一访问问题。其结构如图2 5 所示。1 2第二章存储系统比较图2 5 基于硬件的虚拟存储技术硬软配合的虚拟存储技术有以下优点：完全基于硬件实现，数据访问速度有保障，访问速度快。设备易于部署和管理。能较好的解决多点部署问题。但硬软配合的虚拟存储技术仍然难以有效的解决不同存储设备间的互操作问题，也较难在更分散的范围内部署，更无法支持各种业务系统的不同需求。设备层的虚拟存储技术是基于主机的第二种虚拟存储技术。它能将较多的同型号存储设备虚拟成单一的存储设备，其结构如图2 - 6 所示。在这里，多个磁盘阵列通过f c 交换机同时接入服务器。服务器上部署的虚拟设备软件则将这些磁盘阵列聚合成逻辑卷的形式提供给服务器的文件系统使用。这种方式能较好的解决多个设备的统一访问和管理问题，也能较好的提高数据访问速度，投入小。但存在两个问题：单个磁盘损坏时可能影响整个存储系统的访问，因此可靠性不高，难以用于关键业务；进行虚拟化管理要占用主机的处理能力，影响业务系统的处理性能。不过，现在处理器性能的提升远快于存储设备性能的提升，因此第二个问题并不是很大。电子科技大学硕士学位论文图2 - 6 设备驱动层存储虚拟技术另一类虚拟化存储技术在文件系统内实现。为了解决附接存储的问题，在主机层进行扩展也是一种可行的选择，这就是分布式并行文件系统。传统的分布式并行文件系统如图2 7 所示。图2 - 7 分布式并行文件系统示意图分布式并行文件系统解决了以下几个问题：对各种存储设备的兼容问题。由于虚拟处理是在文件系统内实现的，文件系统通过设备驱动程序访问设备，因此只要设备能够被主机访问，即可被管理。解决了各种存储设备的互操作问题。分布式并行文件系统能够对各种存储设备进行统一管理和存取。解决了多台服务器间共享数据的问题。对每台服务器来说，看到的都是相同的虚拟文件系统，因此数据可以在主机间方便地共享。相对d a s 系统来说，扩展性得到明显改善。要增加存储系统可以通过增加服务器的存储容量和增加服务器来实现。1 4第二章存储系统比较题：部分解决了d a s 系统的数据可靠性问题。由于数据可以在多个主机间复制，而且这些复制可以被统一管理，因此单个主机故障时能够保证数据仍然可用。加快了数据访问和数据处理的速度。由于数据可以同时分布在多台服务器上，因此可以同时在多台服务器上并发的访问数据并处理数据，从而提高了数据访问和处理速度。投入相对较低。系统运行的环境是高速以太网络。它既可以和业务共享网络，也可以通过独立网络传递数据，因此可简可繁，可根据用户需要部署。当共用网络时，无须投入其它的设备，因此启动投资小。用分布式并行文件系统来建立虚拟存储系统和共享数据仍然没有解决以下问大范围的分散部署。分布式并行文件系统的网络环境通常是内部高速局域网，不能是广域网，因此无法分散大规模部署。大范围的数据共享。由于分布式并行文件系统无法在大范围内部署，因此其数据共享的范围也较小。需要配套的存储管理系统。分布式并行文件系统本身并没有存储管理功能，因此需要单独的存储管理系统配合。电子科技火学硕士学位论文3 1 概述第三章数字有机体系统数字有机体系统由研究室已研发成功的分布式并行文件系统( d p f s ) 【2 5 】发展而来，融合了分布式并行系统【2 6 】和p 2 p 2 7 】系统各自的特点和优点。本章介绍数字有机体系统的基本概念和整体结构，进而得到配额机制在整个数字有机体系统中的位置，为其设计和实现提供必要的支持和依据。3 2 数字有机体网络拓扑结构数字有机体系统面对的是大规模的网络上的巨大数量的计算机。它具有分布式系统的基本特征，在实现过程中首先将局域网内的计算机组成一个整体作为数字有机体的一个基本组成单元，然后将大量的基本组成单元进一步组合起来成为数字有机体。它的网络拓扑结构如图3 1 所示f 2 剐：在数字有机体中这个基本组成单元被称为“站”，单个主机称为节点。站内部，站与站之间的节点完全对等，不存在层次结构之分。1 6第三章数字有机体系统图3 1 数字有机体网络拓扑结构图从硬件结构来看，数字有机体系统分为三个层次，即节点、站、数字有机体。每个节点都有自己的存储设备，它们可以是主机内的磁盘，也可以是外接的磁盘阵列，甚至是s a n 这样的存储设备。这些存储设备物理上被所在节点管理，在一个局域网内的多个节点被组织成一个站。可以认为数字有机体站是部署在一起的存储设备的联合体，它作为一个整体和部署在其他地方的数字有机体站交互。多个数字有机体站又再组织成一个统一的系统。从软件结构来看，数字有机体系统是构建在现有l i n u x 操作系统上的软件层。它用来建立统一的文件存储空间和文件系统映像，以便业务系统可以像访问本地的文件一样，访问分散放置在整个系统内的文件。1 7电子科技大学硕十学位论文3 3 数字有机体系统结构图3 - 2 数字有机体系统结构图整个数字有机体系统分为了三大块：数字有机体内核、数字有机体外核和分布式并行数据库( d p s q l ) 2 9 1 ，数字有机体内核和外核一起作为数字有机体文件系统存在。其中，数字有机体内核是基于l i n u x 内核开发的，遵循了l i n u x 的风格实现；而数字有机体外核在l i n u x 应用层实现。现在的数字有机体内核就是裁减了原来的分布式并行文件系统中的站内副本管理留下的，而将站内副本管理的功能移到了应用层实现，即作为外核的一部分。而数字有机体外核直接使用分布式并行数据库( d p s q l ) 提供的数据存储功能。由于我的研究工作主要在文件系统，故下面着重介绍一下数字有机体外核的设计结构。1 8第三章数字有机体系统3 3 1 数字有机体内核在l i n u x 的内核中，文件系统是通过v f s ( v i r m a if i l es y s t e m ) 向上为用户提供一个统一的接口访问操作系统中的文件系统的 3 1 】。l i n u x 中所有具体文件系统的类型结构首先在v f s 中注册文件类型。同样的，数字有机体也在v f s 中注册了文件类型为d p f s ，v f s 的s u p e r、和等结构中的操作集指针被填充b l o c kd e n t r yi n o d e上d p f s 的对应操作集。在d p f s 内部实现了v f s 定义的标准接口集。当用户在数字有机体环境中时，其发出的命令通过v f s 传给了d p f s ，然后通过内外核通信接口将该命令发给了数字有机体外核。数字有机体外核在处理用户命令时，直接使用具体文件系统的功能( 例如，e x t 3 和n f s 等) ，利用它们直接访问物理磁盘文件或网络文件。从而避免了直接对磁盘，内存、磁带等硬件设备进行管理，简化了实现过程。当数字有机体外核处理完用户命令时，也通过内外核接口将操作结果原路返回给用户。3 3 2 数字有机体外核数字有机体外核主要包括6 个模块：基础模块、元数据管理模块、副本管理模块、文件系统操作集、外核接口请求处理、本机通信接口模块和系统恢复模块。为了叙述方便，在介绍各个模块功能之前，先介绍一些基本概念。3 3 2 1 基本概念1 ) 资源和资源i d 、站i d资源是数字有机体中描述和管理的基本对象，资源包括的范围很广，可以是任何能被组织和管理的实体。比如：文件、目录、服务等。每个资源在数字有机体当中都有一个唯一的全局标识：一个以d p f s 开头的分布式路径名。比如资源：d p f s f i l e l 。 3 2 】资源i d 是资源全局标识经过m d 5 算法加密后得来的一个数值，每个资源对应一个唯一的资源i d 。站l d 是站名经过m d 5 算法加密后得来的一个数值，每个站对应一个唯一的站i d 。2 ) 副本副本是资源的具体存在形式，与传统分布式系统一样，数字有机体使用资源的多个副本来保证资源的可访问性和访问效率。1 9电子科技大学硕士学位论文3 ) 元数据数字有机体系统中的每个资源都对应一个资源