（计算机科学与技术专业论文）分布式文件系统小文件性能优化技术研究与实现.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能计算平 台存储系统的首选，已经在军事技术、天气预报等环境中得到广泛应用。相比其它文件系 统，它具有两个特点：一是通过数据的分布存储，来提供更大的存储空间，并利用并行的 i o 服务模式提供更高的i o 带宽；二是通过使用各种新颖的分布式存储体系结构，来为应 用程序提供更丰富的i o 模式。比如通过使用对象存储技术，为应用程序提供面向对象的 数据存储格式，并提供p e t a 级大小的存储空间。 l u s t r e 是典型的基于对象存储体系结构的并行文件系统，它起源于卡耐基梅隆大学的 c o d a 项目研究工作，已经成为当前高性能计算领域使用最广泛的并行文件系统之一。l u s t r e 具有良好的大文件i o 性能，但是由于l u s t r e 使用分布式的存储体系结构，文件元数据和 数据分开存储，它的小文件i o 性能低下，甚至不如本地文件系统。本文以l u s t r e 为具体 研究对象，通过研究l u s t r e 的存储体系结构和实现原理，在l u s t r e 的o s t 组件中设计并 实现了一种分布独立式的小文件c a c h e 结构：f i l t e rc a c h e 。该方法通过扩展l u s t r e 的o s t 端的数据通路，在原有数据通路的基础上，增加对小对象i 0 的缓存措施，以此来改善l u s t r e 的小文件性能。测试表明：使用f i l t e rc a c h e 方法之后，l u s t r e 的小文件i 0 性能得到了很 好的改善，在c a c h e 资源全命中时，读性能最大能够提高6 5 。 命中率和访问延迟是c a c h e 系统中最重要的两个指标。本文研究了c a c h e 技术的设计 思想和实现技术，设计了对f i l t e rc a c h e 方法的优化方案。优化方案主要针对方法使用的资 源结构、c a c h e 置换算法和c a c h e 读写流程。本文下一步工作将进一步完善这些优化措施 的设计，并进行实现。 最后，本文对分布式文件系统中的另一种c a c h e 结构：协作一对象c a c h e 进行了研究， 详细介绍了其特点和实现，对比了该c a c h e 结构和f i l t e rc a c h e 方法的不同点，根据它的优 点提出了两点对f i l t e rc a c h e 方法的改进思想。 关键词：分布式文件系统，对象存储，i o 性能，缓存 第i 页 国防科学技术大学研究生院工学硕士学位论文 a b s t r a c t d i s t r i b u t e df i l es y s t e mh a sb e e nw i d e l ya p p l i e di nh i g hp e r f o r m a n c ec o m p u t a t i o nf i e l d s s u c ha sm i l i t a r i st s t r a t e g i s t ，w e a t h e rf o r e c a s t t h e s ef i e l d s s p e c i a l i t yn e e d st h ed i s t r i b u t e df i l e s y s t e mb e i n go fh i g h l yt h r o u g h p u ta n da v a i l a b i l i t y t h ed i s t r i b u t e df i l es y s t e mh a sb e e nt h em a i n s t o r a g ea r c h i t r a v eo fh p ce n v i r o n m e n t i th a st w oc h a r a c t e r i s t i c s ：o n ei st h eb i g g e rc a p a b i l i t ya n d h i g h e ra g g r e g a t i o ni ob a n d w i d t hb yd i s t r i b u t e dd a t as t o r a g e ；t h eo t h e ri sa b u n d a n to ft h ei o a c c e s sm o d e ，s u c ha st h eo b j e c t b a s e dd a t ap a t t e r nb yu s eo b j e c t - b a s e ds t o r a g ea r c h i t e c t u r e l u s t r ei sat y p i c a lo b j e c t - b a s e dd i s t r i b u t e df i l es y s t e m i to r i g i n sf r o mt h ec o d ar o j e c ti n c a r n e g i eu n i v e r s i t y , a n dh a sb e c o m eo n eo ft h ew i d e l yu s e dd i s t r i b u t e df i l es y s t e mi nh p c f i l e d i th a sf f a v o u r a b l eb i gf i l ei 0p e r f o r m a n c e ，w h i c hh a sa l m o s tp e t ad e g r e ea g g r e g a t i o ni o b a n d w i d t h t h e r e f o r e b e c a u s eo fi t sd i s t r i b u t e ds t o r a g ea r c h i t e c t u r ew h i c hp l a c i n gf i l ed a t aa n d m e t ad a t a s e p a r a t e l y i t es i n a i lf i l e i op e r f o r m a n c ei sn o ts ow e l l e v e nl o w e rt h a nt h a ti nt h e l o c a lf i l es y s t e m i nt h i sp a p e r , ac a c h e b a s e di m p r o v e m e n tf o rs m a l li op e r f o r m a n c e ，c a l l e d f i l t e rc a c h ei sd e s i g n e da n di m p l e m e n t e d w h i c hi sb a s e do nt h es t o r a g ea r c h i t e c t u r ea n d i m p l e m e n t i o no fl u s t r e l 6 4 ，a n de x p a n d st h ed a t ap a t ho ft h e0 b j e c ts t o r a g et a r g e t s m a l lf i l e i 0p e r f o r m a n c et e s t i n go nf i l t e rc a c h ea r ec a r r i e do u ta f t e rw ef i n i s h e dt h ed e s i g na n d i m p l e m e n t i o n w h i c hs h o wt h a tf i l t e rc a c h ec a ni n d e e di r e p r o v es m a l lf i l e i 0p e r f o r m a n c e r e a dp e r f o r m a n c eh a sb e e ne n h a n c e db yaf a c t o ro f6 5 w h e na l lr e a di or e q u e s th i t sc a c h e t h ec a c h eh i tr a t i oa n da c c e s sl a t e n c ya r eb o t hi m p o r t a n tf o rc a c h e i nt h i st h e s i s s o m e o p t i m i z em e a s u r ea r ed o n ea f t e rw es t u d yt h a ti nt r a d i t i o n a lf i l es y s t e mc a c h e o u ro p t i m i z e m e t h o df o c u so nt h ec a c h es t r u c t u r e ，c a c h eh i tr a t i o ，a n di of l o w w ew i l ld om o r eo p t i m i z ew o r k o nf i l t e rc a c h ei nf u t u r e i nt h ee n d w ed os o m e w o r ko v e ro na n o t h e rc o l l a b o r a t i v eo b j e c tc a c h es t r u c t u r eu s e di n d i s t r i b u t e df i l es y s t e m i n t r o d u c i n g i t si m p l e t i o na n dc h a r a c t e r i s t i cd e t a i l e d l y w ep r o p o s e d t w oi m p o r t a n ti m p r o v e m e n tf o rf i l t e rc a c h eb a s e do ni t sm e r i t k e yw o r d s ：d i s t r i b u t e df i l es y s t e m ，o b j e c t b a s e ds t o r a g e ，i 0p e r f o r m a n c e ，c a c h e 第i i 页 国防科学技术大学研究生院工学硕士学位论文 表 目录 表3 1 s t r u c tm d sb o d y 各成员的作用2 6 表3 2s t r u c tl o vs t r i p e 各成员的作用26_md 表3 3s t r u c tm d sf i l ed a t a 各成员的作用2 7 表3 4 s t r u c tm d sb o d y 各成员的作用2 8 表4 1 s t r u c tc a c h es e t 各成员的作用3 3 表4 2 s t r u c tt i m el i s t 各成员的作用3 3 表4 3 s t r u c tc a c h e 各成员的作用3 3 表4 4 实验环境配置3 8 第1 v 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图1 1 直接附加存储2 图1 2n a s 结构示意图2 图1 3s a n 结构示意图：2 图1 4l u s t r e 的逻辑结构示意图4 图1 5 对称式虚拟存储系统结构图7 图1 6 非对称式虚拟存储系统结构图7 图1 7 分布式文件系统中的分布独立式的c a c h e 结构9 图1 8 分布式文件系统中的协同式c a c h e 结构1 0 图2 1l u s t r e 各部件之间的交互1 2 图2 2l u s t r e 文件系统的读流程一1 4 图2 3l u s t r e 文件系统响应一次i o 请求的过程【6 】1 4 图2 4l u s t r e 的文件条块化机制一15 图2 5l u s t r e 和e x t 3 的小文件写性能对比1 7 图2 6l u s t r e 和e x t 3 的小文件读性能对比一1 7 图2 7o b f s 的磁盘区域划分1 9 图2 8由一个r a mb u f f e r 、两个磁盘组成的d c d t 5 3 l 1 9 图3 1l u s t r e 的网络模块2 2 图3 2p o r t a l s 处理列表的结构图2 3 图3 3 客户端和服务器端建立连接的方式2 4 图3 4 在p t lp u t 方式下，o s c 和o s t 进行一次i o 操作的过程2 4 图3 5m d s 响应一次文件对象打开请求的过程2 7 图3 6o s c 和o s t 组件之问进行一次数写操作的流程2 8 图4 1 在每个o s t 上单独做c a c h e 后，l u s t r e 的结构图3 l 图4 2 在l u s t r e 中做一个全局c a c h e 后，l u s t r e 的结构图3 1 图4 3 应用f i l t e rc a c h e 方法后，o s t 响应一次客户端写请求的流程3 6 图4 4 应用f i l t e rc a c h e 方法后，o s t 响应一次客户端读请求的流程3 7 图4 5实验结果读性能测试3 9 图4 6 实验结果写性能测试3 9 图6 1协作一对象c a c h e 的层次结构5 0 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他入已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目： 金查盛塞往丕统! j ! 塞住性能伍氆遮盔盟塞生塞理 学位论文作者签名：奎 拉日期：2 口。g 年f2 ，月倍日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 日期：2 移d 字年厂z 月圆日 日期：仅分年亿月f 扣 国防科学技术大学研究生院工学硕士学位论文 第一章引言 本章首先说明课题的研究背景及意义，然后在介绍国内外相关研究的基础上，概括本 文的主要工作和创新，最后给出全文的组织结构。 1 1 课题背景及意义 高，蚪i - ：厶匕b e 计算技术p 1 1 3 1 】【3 2 】【3 3 1 在国内外越来越受重视，许多行业的应用都离不开它，如天 气预报、军事技术等。随着电子制造技术的发展，计算机的计算速度越来越快，几百万亿 次的巨型计算机已经很常见。c p u 计算能力、内存容量等指标不断提高，但是磁盘的存储 能力由于受其机械结构的限制，发展缓慢，磁盘带宽的增长速度远远低于c p u 计算能力的 增长速度，于是出现了计算机的i o 速度与计算速度不匹配的情况1 3 训。因此，高性能计算 环境中，必须有相应的高性能的存储系统。随着大规模科学计算处理的数据量越来越大， 计算机的i o 处理速度成为决定计算机速度的一个主要因素，高性能计算环境离不开大容 量、高速度的存储系统，存储技术也逐渐成为研究的热点。 随着人们对存储技术的研究，计算机的存储体系结构不断变迁，并设计出各种高吞吐 量、高i o 带宽的并行文件系统。高性能计算环境中，通过采用s a n l l 3 j 、n a s 3 7 等新型存 储结构，使用新型的并行文件系统【2 3 】【2 5 儿3 0 1 ，来大幅度提高其i o 速度。 1 1 1 存储体系结构的变迁 在计算机科学的发展过程中，存储结构大致经历了直接附加存储、网络附加存储和存 储区域网络3 种结构的变迁。直接附加存储( d i r e c ta t t a c h e ds t o r a g e ，d a s ) 结构中，各 种存储介质直接和主机相连，通过总线访问存储设备，不同主机之间不能共享数据，如图 1 1 所示，在高性能计算环境下，需要多个节点共享数据，所以不采用d a s 结构。网络附 加存储( n e t w o r ka t t a c h e ds t o r a g e ，n a s ) 4 3 1 是一种文件网络存储结构，如图1 2 所示。应 用程序通过网络访问文件系统，具有结构简单，跨平台数据共享的优点，但是其性能受限， 不能提供应用程序需要的带宽；存储区域网络( s t o r a g ea r e a n e t w o r k ，s a n ) 使用存储网 络代替总线，如图l - 3 所示。s a n 中存储设备和主机相分离，存储设备在应用程序之间共 享，它能在更低级别的数据块级提供数据共享，能够为集群系统提供更高的i o 性能，但 是系统的一致性维护和数据同步代价很大。 o b s ( o b j e c t b a s e ds t o r a g e ) 【5 】【1 2 】【1 3 】【1 5 】【2 0 】f 2 l 】【2 9 1 是一种新的存储体系结构，它提供了基 于对象的访问接口，有效的合并了n a s 和s a n 的优势，通过高层次的数据抽象，具有n a s 的数据共享和基于策略的安全访问的优点，支持对数据的直接访问；具有s a n 的高性能 和交换网络结构的可伸缩性。在o b s 中，对象是数据共享的基本单位，它是一个数据集合， 第1 页 国防科学技术大学研究生院工学硕士学位论文 包括用户数据、用户属性和存储属性。存储对象的设备称为对象存储设备( o b j e c tb a s e d d e v i c e ，简称o b d ) 1 4 】，它是一个能自我管理的智能设备，具有自身的处理器、内存和网 卡，能够独自管理其自身的安全、存储和网络通信。在o b s 体系结构中，数据通路和控制 通路分开，数据直接由o s d 流向客户端或者其它o s d ，而元数据则由专门的元数据服务 器负责管理( m e t a d a t as e r v e r , m d s ) ，对象存储近年来在h p c 领域得到广泛应用，l u s t r e 是典型的对象存储并行文件系统，在t o p 5 0 0 前几名的系统中被大量配置使用。 霉堕9 存储系统| 图1 1 直接附加存储 图1 2n a s 结构示意图 图1 3s a n 结构示意图 第2 页 国防科学技术大学研究生院工学硕士学位论文 1 1 2l u s t r e 介绍 分布式文件系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能计算平 台存储系统的首选。目前广泛应用的并行文件系统有s g i 的x f s 、s u n 的p f s ，g o o g l e 的g p f s l z 2 i 以及c f s 的l u s t r e 【4 】【6 j 【7 】1 8 i t 9 1 1 1 0 1 11 1 等。 l u s t r e 文件系统是典型的基于对象存储技术的并行文件系统，它来源于卡耐基梅隆大 学的c o d a 项目研究工作，2 0 0 3 年1 2 月发布了1 o 版，目前已经发布到1 6 版。l u s t r e 在 国外的许多高性能计算机构( 如美国能源部，l o s a l a m o s 国家实验室，s a n d i a 国家实验室， p a c i f i cn o r t h w e s t 国家实验室) 的高性能计算系统中都己经得到了应用，t o p 5 0 0 t 3 8 1 前1 0 台 机器中有多台采用l u s t r e 。 l u s t r e 作为新一代的基于对象存储的分布式文件系统，同一般的分布式文件系统( 如 n f s 、g f s 、p v f s ) 等相比，具有独特的优势1 2 1 ： 针对大文件读写进行优化，可以提供高性能的i o ； 数据独立存储； 服务和网络失效的快速恢复； 基于意图的分布式锁管理。 此外，l u s t r e 还融合了传统分布式文件系统( l l j t n ：a f s 和l o c u sc f s ) 的特色和传统共 享存储文件系统( 比如：z e b r a 、b e r k e l e y 、x f s 、g p f s 、c a l y p s o 、i n f i n i f i l e 和g f s ) 的设计 思想，还具有： 更加有效的数据管理机制； 全局数据共享； 基于对象存储，使存储更具智能化； 系统可快速配置。 l u s t r e 文件系统支持多种网络接口，能充分利用网络性能，它的逻辑结构如图1 4 所 示： l u s t r e 的数据传输协议兼容多种网络存储设备协议，比如v i a 、i n f i n i u b a n d 等，支持 在网络上的远程d m a 操作。l u s t r e 文件系统构建在l i n u x 操作系统上，应用程序所有的 i o 操作都必须通过l i n u x 的v f s ( v i r t u a lf i l es y s t e m ) 层。 l u s t r e 文件系统的大文件性能良好，通过采用基于对象的数据存储格式，同一文件的 数据分为若干个对象存储于不同o s t 节点上，文件的大小可以达到p e t a 级。大文件i o 被 分配到不同o s t 上，具有很高的并行性，可以达到很大的聚合带宽。但是，由于l u s t r e 采用分布的存储结构，文件的数据和元数据分开存储，访问文件数据前需要先访问元数据 服务器，这一过程增加了网络开销，所以l u s t r e 的小文件性能不好。 第3 页 国防科学技术大学研究生院工学硕士学位论文 图1 4l u s t r e 的逻辑结构示意图 1 2 研究现状 o s t ( 对象存储设备) 随着计算机的i o 能力越来越受重视，设计出高性能的文件系统，或者采用新颖的存 储系统结构，逐渐成为人们对存储技术研究的热点。 1 2 1当前主要的分布式文件系统 除l u s t r e 并行并行文件系统，当前的主流分布式文件系统包括：p v f s 、g p f s 、g f s 、 p f s 、s f s 、d a f s 、l u s t r e 等，它们之间的许多设计思想类似，如将文件分散于多个存储 节点上以提供并行i o 访问等。 ， p v f s ( p a r a l l e lv i r t u a lf i l es y s t e m ) 4 5 j 是c l e m s o n 大学的一个构建在l i n u x 操作系统上 的开放源码的并行虚拟文件系统。它在结构上采用传统的c s ( 客户端h i 务器) 架构实现， 整个文件系统由管理结点、i o 结点和计算结点组成。管理结点负责处理文件的元数据，i o 结点负责文件数据的实际存储和读写，并向计算结点提供所需要的数据。在整个集群系统 范围内采用一致的全局命名空间。它也使用对象存储的概念，将数据条块化为多个对象， 分别存储到多个结点上。在网络通信上，它只支持t c p 网络通信协议，不如l u s t r e 灵活。 由于p v f s 使用对象存储结构，所以小文件性能也不好。 第4 页 国防科学技术大学研究生院工学硕士学位论文 g p f s ( g e n e r a lp a r a l l e lf i l es y s t e m ) 1 2 2j 足i b m 为l i n u x 集群系统设计的并行共享磁盘 文件系统，它的前身是t i g e rs h a r k 多媒体文件系统。在存储设计上，它借鉴了i b ml i n u x 集群系统中的“虚拟 共享磁盘技术，即计算结点通过交换网络来并行访问系统中的多个 磁盘，通过这种并行的数据访问方式来达到高的i 0 带宽。大文件通过循环方式放置在不 同的磁盘上，小文件的读写通过合并写来提高性能，使用动态选举的元数据结点来管理元 数据。它的特点有： 基于日志的结点失效自动恢复； 使用集中式的锁机制。 s u n 的p f s ( p a r a l l e lf i l es y s t e m ) 4 7 】支持高性能，可扩展i o 。它的设计思想是将文件 分布在多个磁盘以及服务器上，并在逻辑上将这多个磁盘当作一个“虚拟 磁盘共同管理， 它还可以跨越多个存储系统，可以包括整个集群中的所有存储设备。当有多个节点同时访 问同一文件时，就可以并行地为这些节点提供访问。文件系统构建于s o l a r i s 操作系统中， 包括h o s t 结点、计算结点、l j os l a v e 结点、i 0m a s t e r 结点。h o s t 结点是p f s 给其它系 统提供的“入口”，登陆到h o s t 结点才可以访问到p f s 内的文件数据；计算结点负责管理 系统的通讯和内存资源；i 0m a s t e r 结点负责文件系统的目录管理、存储块管理，并提供 i o 数据读写服务；i os l a v e 节点是i 0m a s t e r 结点的一个“子集”，它仅处理磁盘读写和 空白块的分配。 d a f s ( d i r e c t a c c e s sf i l es y s t e m ) t 4 6 】构建在v i 协议1 之上的一个文件系统，它和n a s 、 s a n 的最大不同在于它实现了全新的网络存储协议，能够提供基于标准的、高性能的、低 延迟的网络存档协议。它的主要特征有数据共享、基于文件的数据整合、条块化的数据管 理等。 1 2 2 分布式文件系统中的存储结构 各种分布式文件系统都能适应一定的应用环境，在存储技术发展的各个阶段，都发挥 出优越的性能，能很好的满足当时计算系统对存储系统的需求。分布式文件系统的设计和 实现都是基于一定的存储结构，按存储介质的组织形式来划分，分布式文件系统采用的存 储结构主要分为虚拟化存储结构和对象存储结构，比如s a n 和n a s 采用的是虚拟化存储 结构，l u s t r e 文件系统采用的是对象存储结构。对象存储结构出现在虚拟存储结构之后， 它在虚拟化存储结构的基础上，提出更新颖的设计理念，具有良好的性能和可扩展性。 在高性能计算环境中，需要存储系统具有更大的存储能力、更好的扩展性和更高的i 0 带宽，此时单个磁盘的存储能力已经不能满足需求。这种情况下，虚拟存储技术【2 2 】刚应用 lv i 协议是由微软、康柏和英特尔公司开发设计的高速、低延迟的协议，作为集群互联计算机间的独立传输标准，实现 了传统互联网络所不具备的新功能。 第5 页 国防科学技术大学研究生院工学硕士学位论文 而生。它的基本思想是把多个存储介质模块( 磁带组、磁盘r a i d 等) 连接在一起，做为一 个逻辑上的存储池，通过一定的手段集中管理。在存储池中可以整合各种存储介质，存储 系统表现为一个容量很大( t b 或者p b ) 的逻辑卷，为计算环境提供大容量、高性能的存储 系统。 从拓扑结构来看，虚拟存储主要分为对称式虚拟存储系统和非对称式虚拟存储系统； 从实现方式来看，虚拟化存储主要分为虚拟文件系统和数据块虚拟。 1 2 2 1 对称式虚拟存储系统 对称式虚拟存储系统的结构如图1 5 所示，存储控制模块包括存储控制设备、控制软 件和交换设备，该模块集成在数据传输路径中，由存储控制模块和存储池组成一个存储区 域网络( s a n ) 。它在客户端与存储池进行数据交换的过程中起到核心作用。该结构的存储 过程为：存储控制模块将存储池中的存储介质虚拟为逻辑存储单元，并进行映射管理，给 每个客户端分配其可见的存储单元集合( 每个客户端可见的存储单元不止一个) ，客户端把 这些存储单元映射为本机操作系统可以识别的盘符。当客户端向自己的某个盘符中写入数 据时，数据经过存储控制模块的高速并行端口，先写入存储控制模块中的高速缓存，再由 存储控制模块完成客户端端盘符和存储池中存储单元的转换，并把数据写入池中的目标单 元。该存储系统的特点有： 在存储控制模块中集成了大容量的高速缓存，能显著提高数据传输速率； 存储控制模块中集成了高速并行端口，采用并行i o 过程，能提高存储系统的聚合 i o 带宽，消除i o 瓶颈； 通过配置对称的存储控制模块，可以很容易的在系统中实现容错功能。在存储控制 模块中可以很方便的连接f a b r i c 交换设备，增大系统的规模。 1 2 2 2 非对称式虚拟存储系统 非对称式虚拟存储系统是指存储池控制设备和交换设备独立于数据交换网络之外的 情况，如图1 6 所示。客户端和虚拟设备管理软件均能通过交换网络访问到存储池中的存 储介质。虚拟设备管理软件把存储池中的介质虚拟化为逻辑带区( s t r i p ) 集，并指定每个客户 端对池中每个s t r i p 的访问权限。客户端要访问池中某个s t r i p 上的数据时，先访问虚拟设 备管理软件，读取目的s t r i p 的信息和访问权限，只有客户端具有访问目的s t r i p 的权限时， 才能通过交换设备访问目的s t r i p 中的数据。在数据访问的过程中，客户端只看到逻辑的 s t r i p ，而不是实际的磁盘。这种对称式的虚拟存储系统的特点有： 将不同存储介质进行整合，实现虚拟的s t r i p 集，大幅度的提高了系统的可用带宽； 在交换设备能力足够的情况下，可以通过安装两台虚拟存储设备，来实现系统内数 第6 页 国防科学技术大学研究生院工学硕士学位论文 据存储的冗余。 客户端 客户端客户端 图1 5 对称式虚拟存储系统结构图 客户端 客户端客户端 图1 6 非对称式虚拟存储系统结构图 但是这种结构的缺点也很明显： 单个s t r i p 没有容错能力，一旦某个s t r i p 离线或者损坏，将导致整个s t r i p 里的数据 丢失； 该存储系统的访问带宽提高是通过阵列端口绑定来实现的，普通光纤阵列的有效带 宽仅为4 0 m s 左右。要达到高的带宽就需要很多台光纤阵列，这是不经济的。 第7 页 国防科学技术大学研究生院工学硕士学位论文 1 2 2 3 数据块虚拟存储系统和虚拟文件系统 这两类存储系统主要在软件实现上对虚拟存储系统进行升级，以解决系统中存在的问 题。 数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在大型f a b r i c 结构 的s a n 中，当多个客户端通过多个交换机端口访问存储池时，存在访问延时和数据块冲 突的问题。数据块虚拟存储方案通过软件的形式，将存储控制模块中的多个端口虚拟化， 以最大限度上减少延时与冲突的发生。在实际应用系统中，数据块虚拟存储系统以对称虚 拟存储系统的形式出现。 同样在规模较大的s a n 中，存在文件共享的安全机制问题，虚拟文件系统存储方案 着重解决这个问题。它的基本思想是对不同的客户端指定不同的访问权限，保证存储池中 各存储设备中数据的安全性。在实际应用系统中，虚拟文件系统存储方案以非对称式虚拟 文件系统出现。上一小节中介绍的几类并行文件系统都属于虚拟文件系统。 1 2 3c a c h e 技术及其在分布式文件系统中的应用 c a c h e 技术广泛应用于存储系统的各个领域，比如文件系统、数据库应用系统等。存 储系统中的c a c h e 位于最低层存储介质之上，其中缓存了应用程序需要的数据的子集。对 子集中数据的读写先在c a c h e 中异步进行，稍后异步存储到低层稳定介质上。通过这种异 步的数据i o 模式来解决程序的计算速度和数据存储速度不匹配的情况。文件系统中的 c a c h e 主要分为数据块c a c h e 、各种元数据c a c h e ( i n o d e ，f i l e 等) 以及预读c a c h e 等。c a c h e 技术不仅能提高应用程序的i o 响应速度，也减少了访问底层存储介质的次数，使存储系 统的性能大大提高。 根据调查研究，现在磁盘技术中，c a c h e 技术对写性能的提高不如对读性能的提高明 显，写性能成为i o 系统的性能瓶颈。所以设计c a c h e 系统时，主要设计其写措施( 同步 写或者异步写) 。在改进写性能的所有措施中【2 6 1 ，l o gs t r u c t u r ef i l e s y s t e m ( l s f ) 、m e t a d a t a l o g g i n g 、s o f tu p d a t e 是比较常用的几个技术。在l f s 中，d i s k 中的数据结构只包括一个 l o g ，所有的写操作先在一个内存片上堆积起来，等该内存片充满之后再写入磁盘；m e t a d a t a l o g g i n g 技术采用和l f s 类似的措施，但它只对元数据采用l o g ；s o f tu p d a t e 对元数据使用 延迟写策略，在内核空间的内存中，记录这些写记录之间的依赖关系，在适当的时候，把 这些延迟的元数据写入磁盘。这些异步写入方式有如下优点： 采用l o g 堆积i o 请求的数据，并采用异步数据写方式，使得应用程序感知到的i o 操作时间减少，好像读写操作在内存级别的存储介质上进行一样； 同时i o 请求的数据堆积在c a c h e 中形成一个l o g 再写入磁盘，减少了访问存储介 质( 主要是磁盘) 的次数，减小了存储系统的访问延迟； 第8 页 国防科学技术大学研究生院_ 学硕士学位论文 数据堆积起来以i o z 形式写入磁盘，t 叮以尽量把数据存储于大块的连续存储空洲中， 减少存储系统中的磁盘碎片。 同时这3 种改进写性能的措施都有局限性。比如l f s 和m e t a d a t a l o g g i n g 需要对文件 系统的一部分进行修改；s o t tu p d a t e 需要对o s 的内核进行修改。所以这3 种技术的实现 代价都很大，而且它们都或多或少地和操作系统内核有关，一4 重用性不高。 分布式文件系统山多个存储节点组成，通过把数据分布十各个存储节点上在运行时 刻i h 所有存储节点并行提供服务i 0 请求，能形成更大的存储容量，提供更高的i 0 带宽。 哪个存储节点上运行具体的木地文件系统，由该文件系统负贵分发到率节点上的i 0 请求。 所有竹点上的文件系统可以柑也可以小同，每个节点上的文件系统- 扣均分配有一定数 黾晌c a c h e 资源。根据每个节点上的c a c h e 资源工作方式的不l - q ，分布式文件系统十的 c a c h e 结构分为两种，即分布独立式c a c h e 和协作式c a c h e ，下面分别介绍。 1 2 3 1 分布独立式c a c h e 存分布独立式c a c h e 结构中，每个存储节点上的文什系统c a c h e 只负责缓存奉节点上 的i 0 数据，c a c h e 中数抛的墩性和c a c h e 资源的分配等工作由本节点上的c a c h e 管理 器负责。如阁l7 所示： 一一 么 l i 圄 # * a i “q “ 图i7 分布式文件系统中的分布独立式的c a c h e 结构 分布独立式c a c h e 的优点有： c a c h e 的管理简单，町以沿用奉地文件系统中的c a c h e 管理策略 第9 页 | i| i 甸 国防科学技术大学研究生院工学硕士学位论文 c a c h e 结构不影响系统的整体结构，系统中存储结点增加或者减少后，无需做额外 的c a c h e 配置和管理工作。本文没计的h l k r c a c h e 也采用了分布独立式的c a c h e 结构。 1 2 3 2 协同式c a c h e 在协作式c a c h e l 2 4 脚i i “1 结构中，每个存储节点上的文什系统c a c h e 不仪负责缓存本节 点上的1 ( 3 数据，还负责缓存其它节点上的c a c h e 数据。协作式c a c h e 的运行需要各节点 之间能够快速的通信，因此分布式文件系统的网络带宽必须足够大。所有存储性点上的 c a c h e 由上层服务器中的c a c h e 管理器统一管理如图1 8 所示： 【谊“- * * 8 # 夕一 岛 回 圈18 分布式文什系统中的协同式c a c h e 结构 卧作式c a c h e 的特点有： o 通过各c a c h e 节点的协同工作来达到c a c h e 资源的负载均衡，c a c h e 资源的利用 更合理； 通过在多个节点上存储一个文件的多个副本，来提供数据冗余和c a c h e 的并行读 写。 1 3 主要工作 小文件性能低下是所有基于对象存储的分布式文件系统存在的问题。本文以l u s t r e 文件系统为具体研究对象，需要实现四个目的： o 以l u s t r e 文件系统为具体研究对象，研究分布式文件系统的结构和原理； 第1 0 页 国防科学技术大学研究生院工学硕士学位论文 分析其性能上存在的缺点，设计并实现可行的解决方案； 结合相关研究，对解决方案进行改进； 研究分布式文件系统中的其它c a c h e 结构。 本文完成了以下五个方面的工作： 以l u s t r e 为具体研究对象，分析了分布式文件系统的结构、性能特点； 结合相关研究，分析得出导致l u s t r e 小文件性能低下的原因； 设计并实现了f i l t e rc a c h e 方法，对改善l u s t r e 中小文件性能有显著作用； 对f i l t e rc a c h e 方法的优化进行研究； 研究了分布式文件系统中的协作一对象c a c h e 技术。 本文主要创新有以下点： 以l u s t r e 文件系统为具体研究对象，分析指出导致分布式文件系统小文件性能低 下的原因； 设计并实现了f i l t e rc a c h e 方法，对改善l u s t r e 的小文件性能有显著作用。 1 4 本文结构 本文作为硕士期间完成工作的个总结，全文共分为五章。 第一章，首先说明课题的研究背景及意义，然后在介绍国内外相关研究的基础上，概 括本文的主要工作，最后给出论文的结构。 第二章，剖析l u s t r e 的内部机制，为以后几章的工作奠定基础。 第三章，介绍l u s t r e 文件系统的结构和i o 特点，分析其i o 性能弱点，并给出测试 数据。 第四章，在前两章的基础上，介绍自己设计和实现的基于分布独立式结构的c a c h e 方法：“f i l t e rc a c h e ，并设计实验，对f i l t e rc a c h e 方法的功能和性能进行测试。 第五章，结合相关研究技术，提出对“f i l t e rc a c h e ”方法进行优化的可行措施。 第六章，研究分布式文件系统中的另一种协作式c a c h e 结构，对比该结构和f i l t e r c a c h e 方法的不同，并根据它的优点，提出了两点对f i l t e rc a c h e 的改进思想。 第七章，概括全文，总结课题所做工作及研究成果，并对进一步的研究进行展望。 第1 1 页 国防科学技术大学研究生院工学硕士学位论文 第二章l u s t r e 文件系统的i o 结构及特点 l u s t r e 文件系统通过v f s ( 虚拟文件系统，v i r t u a lf i l es y s t e m ) 构建于l i n u x 内核之 上，应用程序通过v f s 中的各个接口访问l u s t r e 文件系统。 由于l u s t r e 设计的目标是尽量提供高的聚合i o 带宽，小规模的i o 操作先在客户端 的o s c 中缓存起来，堆积到一定规模之后，再传输到o s t 端，写入磁盘。