（计算机科学与技术专业论文）集群文件系统关键技术的研究与实现.pdf

国防科学技术大学研究生院学位论文 摘要 文件系统对计算机的输入输出能力有着重要的影响，它伴随着存储技术的进 步已经由传统的主机方式向集群方式发展，并在应用中占有举足轻重的地位。 本文在充分分析当前主要网络存储技术的基础上，研究并设计了基于s a n 环 境的集群文件系统一s m 虾s 在l i n u x 系统上的体系结构及其锁管理、缓存、服务 质量等关键技术。s a n f s 采用数据流和元数据控制流分离访问的方式避免网络和 主机带来的性能瓶颈。测试表明，s a n f s 文件系统在l i n u x 系统上的实现已经达 到了良好的i o 性能。 集群文件系统的数据高可用性方式及容量高可扩展方式也是本文研究的内容 之一。本文设计的s a n f s 的动态镜像模型利用镜像算法使s a n f s 在不停止服务 的基础上提高存储数据的可用性，并通过i 0 路径选择算法充分利用各个存储节点 的性能。在s a n f s 扩容的基础上，本文研究与设计负载均衡策略针对不同的应用 需求增加存储设备访问的并行度。 关键词：存储区域网，集群文件系统，元数据，s a n f s ，o p l o c k ，d o o rl o c k 第i 页 国防科学技术大学研究生院学位论文 a b s t r a c t f i l es y s t e ma f f e c tt h ei oa b i l i t yo fc o m p u t e rd e e p l ya n di se x p a n d i n gf r o m f r a m e w o r kh o s tt oc l u s t e ra c c o m p a n y i n gp r o g r e s so ft e c h n o l o g yi nn e t w o r ks t o r a g e ， a l s o ，i ti si m p o r t a n ti nt h ea p p l i c a t i o n s b a s e do na n a l y s i sa b o u tn e t w o r ks t o r a g et e c h n o l o g y ，t h i sp a p e rp r o p o s et h e a r c h i t e c t u r eo fc l u s t e rf i l es y s t e mb a s e do ns a ne n v i r o n m e n ta n dl i n u x s a n f sa n d i t sk e yt e c h n o l o g y ，s u c ha sl o c km a n a g e r , c a c h e ，q o s ( q u a l i t yo fs e r v i c e ) f o ra v o i d i n g t h eb o t t l e n e c kf r o mn e t w o r ka n dr e s o u r c eo nt h eh o s t ，s a n f sa d o p ts e p a r a t ea c c e s s i n g o fs t r e a mo fm e t ad a t aa n df i l ed a t a 1 1 l er e s u l to ft e s ts h o w ss a n f so nl i n u xh a v e a c h i e v e dg o o di op e r f o r m a n c e s t u d y i n gd a t ah i 曲a v a i l a b i l i t ya n ds c a l a b i l i t yo fc l u s t e rf i l es y s t e mi s c o n t e n to f t h i sp a p e r d y n a m i cm i r r o rm o d e lo fs a n f sd e s i g n e di nt h i sp a p e ru t i l i z et h em i r r o r a r i t h m e t i ct op r o v i d et h ea v a i l a b i l i t yf o rc l u s t e rs t o r a g ew i t hr u n n i n gs e r v i c e ，a n di t s a r i t h m e t i ca b o u ts e l e c t i o no fi 0p a t hm a k ef u l lu s eo fp e r f o r m a n c eo fe v e r ys t o r a g e n o d e b a s e dt h ee x t e n d i n gc a p a b i l i t yo fs a n f s ，t h i sp a p e rs t u d i e sa n dd e s i g n sl o a d b a l a n c es t r a t e g ye n l a r g et h ec o n c u r r e n c yo fa c c e s s i n gt h es t o r a g ed e v i c ew i t ht h e a p p l i c a t i o n sv a r y i n g k e yw o r d s ：s t o r a g ea r e an e t w o r k ，c l u s t e rf i l es y s t e m ，m e t ad a t a ，s a n f s ， o p l o e k ，d o o r l o c k 第i i 页 国防科学技术大学研究生院学位论文 表目录 表1 1 网络存储技术的比较5 表2 1 叠加协议命令字介绍1 4 表2 20 p l o c k 各种锁状态客户端的缓冲内容1 9 表2 3c i f s 的o p l o c k 语义2 0 表3 1i ps a n 环境裸盘性能测试结果3 6 表3 2i ps a n 环境s a n f s p 系统性能测试结果3 7 表3 3f cs a n 环境裸盘性能测试结果3 8 表3 - 4f cs a n 环境s a n f s 系统性能测试结果3 8 表3 5f cs a n 环境t o t a l s t o r a g es a n 系统性能测试结果3 9 表4 1s a n f s r a i d 命令字介绍4 6 第1 v 页 国防科学技术大学研究生院学位论文 图目录 图1 1s a n f s 硬件体系结构结构图。4 图1 2 存储功能从主机到存储控制器的迁移6 图2 1s 触盯s 总体结构示意图1 1 图2 2s 砧虾s 文件系统数据流程图1 2 图2 3s 砧师s 叠加协议：。1 4 图2 4l m c 缓存操作流程1 6 图2 5d m c 缓存操作18 图2 6 采用了d o o rl o c k 后的s a n f si o 过程。2 2 图2 7d o o rl o c k 的实现一2 3 图2 8s a n f s q o s 模型2 4 图3 1s a n f s 软件体系结构2 7 图3 2c l i e n t 软件体系结构2 8 图3 3m d s 软件体系结构2 9 图3 4c l i e n t 核心过程示意图3 0 图3 5 文件打开流程图3 2 图3 6 读操作流程图3 4 图3 7 写操作流程3 5 图4 1 主从复制模式4 1 图4 2 主动复制模式4 2 图4 3 动态镜像体系结构图4 4 图4 4m d s 动态镜像状态图4 4 图4 5 同步窗口和完成链表一4 7 图4 6s a n f s 集群文件系统读写性能5 1 图4 7 动态镜像过程中s a n f s 读写性能。5 2 图5 1 集群文件系统条带化示意图5 6 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：篡登塞佳丕统羞毽技苤的盈究生塞理 学位论文作者签名：拯一 日期：刎年 月弓日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：篡登塞往丞红差鳇拉盔鲍盟究多塞熟 学位论文作者签名： 垄亟是日期：劫谢年j 月弓日 作者指导教师样：瑟堑日期：多拼，月) 日 国防科学技术大学研究生院学位论文 第一章绪论 随着计算机系统和互联网在各个领域的广泛应用，数据资料己经成为开展业 务不可缺少的基础，是企业、部门的重要财富。目前，基于各种网络存储技术的 集群文件系统已经广泛应用于对i o 要求极高的行业，应用的后台核心是否具有高 效的i o 性能、维护数据的高可用性的能力、保持数据存储的可扩展能力逐渐得到 各个应用部门的关注。 1 1 研究背景 计算机技术在飞速的发展，摩尔( m o o r ) 定律似乎在未来的若干年内仍将有 效：计算机的处理器速度在不断地提高，计算机存储器的容量和传输速度在非常 规地发展，计算机网络的吞吐量更是在跳跃式地增加。但是，磁盘带宽的增长远 远却落后于计算能力的增长，单机系统的计算与i o 之间的差距越来越大。造成i o 瓶颈的主要原因是c p u 和f o 设备速度增长的不匹配。现在越来越多的计算机由 于采用多个c p u 使计算能力与f o 速度不匹配的问题越来越严重。因此，存储系 统面临着如何提供更好的性能等新的挑战。 数据高可用性也不再是一个可有可无的考虑因素。9 11 灾难发生前，约有3 5 0 家企业在世贸大厦中工作，一年后，重返世贸大厦的企业只有1 5 0 家，2 0 0 家企 业由于信息系统的破坏和关键数据的丢失而关闭。据i d c 的统计数字表明，美国 在2 0 0 0 年以前的1 0 年间发生过灾难的公司中，有5 5 当时倒闭。剩下的4 5 中， 因为数据丢失，有2 9 也在两年之内倒闭，生存下来的仅占1 6 p j 。国际调查机 构g a r m e rg r o u p 的数据表明，在由于经历大型灾难而导致系统停运的公司中，有 2 5 再也没有恢复运营，剩下的公司中也有1 3 在两年内破产。美国德克萨斯州大 学的调查显示：“只有6 的公司可以在数据丢失后生存下来，4 3 的公司会彻底 关门，5 1 的公司会在两年之内消失”【5 3 1 。美国明尼苏达大学的研究也表明，在 遭遇灾难而又没有灾难恢复计划的企业中，将有超过6 0 在两到三年后退出市场。 而随着企业对数据处理依赖程度的递增，此比例还有上升的趋势1 3 。显然，数据的 安全性成为这些部门不断追求的目标。 同时，经济的全球化趋势将企业的经营模式从8 x 5 变成了2 4 x 7 的“永不中 断 服务【5 3 】，在这种环境中，许多应用程序特别是一些关键系统，暂时的停机都 可能导致灾难性的后果，因此，人们对高可用性提出了更加严格的要求：为了保 持一个企业的正常运行，数据一企业最重要的资产一必须在任何时候都可供使用。 不仅数据丢失会造成灾难性的后果，数据无法访问也会造成同样严重的损失。有 第1 页 国防科学技术大学研究生院学位论文 2 6 的企业认为停止服务会造成2 5 万美元每小时的损失，4 的企业认为损失将 超过5 0 0 万美元每小时【5 3 j 。 此外，i n t e m e t 的广泛应用和互联网技术的蓬勃发展推动了全球化电子商务、 大型门户网站和无纸化办公的大规模开展。在各种应用系统的存储设备上，信息 以高速增长的方式不断推进全球信息化进程。随之而来的是海量数据存储需求在 不断扩充，用户不断地抱怨容量和存储空间不够用，因此任何存储方案的可扩展 性成为人们关注的重点之一。 集群文件系统充分考虑各种存储模式带来的优点，提供了一种高i o 带宽、数 据高可用、存储容量高可扩展的解决途径。本文的研究课题正是在这种背景下选 定的：研究和设计了基于s a n ( 存储区域网) 环境集群文件系统一s a n f s 文件系 统的体系结构及相关的锁管理、缓存、服务质量、数据动态高可用性、容量高可 扩展性等关键技术。 1 2 网络存储技术 海量数据存储已经成为了网络发展迫切需要解决的问题，存储服务和网络服 务的结合成了一种必然的发展趋势，人们面临着开发适合“基于网络的存储的 新型硬件和软件体系结构，用来管理复杂的存储层次l l j 。将存储与网络恰当结合解 决存储瓶颈、发展网络存储实现通过网络交换处理大量信息的工作模式成为当今 提高i o 性能的首选思路。“网络就是存储 反映了新时代以网络数据为中心的存 储结构正在快速形成，网络存储可以提供网络系统的信息存取和共享服务，具有 超大存储容量、超高速的数据传输率和系统高可靠性的典型特征。 1 2 1 主要的网络存储技术 网络节点和存储子系统通过不同的连接方式形成不同的拓扑结构决定了网络 存储的结构模式，而这些结构模式最终发展成为网络存储方案。目前，网络存储 技术主要沿着三个主流的方向发展，即网络附加存储( n a s ，n e t w o r ka t t a c h e d s t o r a g e ) 、存储局域网( s a n ，s t o r a g ea r e an e t w o r k ) 和基于对象的存储( o b s ，o b j e c t b a s e ds t o r a g e ) 。 1 2 1 1 网络附加存储 网络附加存储是直接连接到网络( 如以太网) 的一种存储器。它采用网络 ( t c p i p 、a t m 、f d d i ) 技术，通过网络交换机连接存储系统和服务器主机，建立 专用于数据存储的存储私网【1 1 。 n a s 实际上是一个带有瘦服务器( t h i ns e r v e r ) 的存储设备，其作用类似于 第2 页 国防科学技术大学研究生院学位论文 一个专用的文件服务器。这种专用存储服务器不同于传统的通用服务器，它去掉 了通用服务器原有的不适用的大多数计算功能，而仅仅提供文件系统功能用于存 储服务，大大降低了存储设备的成本。为方便存储到网络之间以最有效的方式发 送数据，n a s 服务器专门优化了系统硬软件体系结构，多线程、多任务的网络操 作系统内核特别适合于处理来自网络的y o 请求，不仅响应速度快，而且数据传输 速率也很高。 但是，n a s 协议开销高、带宽低、延迟大，不利于在高性能y o 集群中应用， 并且它缺乏灵活性，不能通过通用的、流行的软硬件来升级或改善产品的性能， 因此n a s 产品一旦设计好后，就很难改变。n a s 装置在网络备份和恢复方面也存 在如下的问题：保存有大量数据，进行数据备份与恢复需要耗用大量时间，会过 分占用网络资源；由于是专用系统，很难和现有的备份工具集成。 1 2 1 2 基于对象的存储 基于对象的存储体系结构的核心是对象。对象是数据存储的基本单元，是包 含文件的数据和可扩展存储属性的组合。这种结构一般采用了文件数据与元数据 分离存储的机制，通过条带化技术将传统文件的数据分解为一系列的存储对象， 分布存储在多个“智能磁盘 即基于对象的存储设备( 0 s d ，o b j e c t b a s e ds t o r a g e d e v i c e s ) 上闭；而文件元数据则保存在元数据对象中，并具有一个全局唯一的对 象标识以及一些文件属性信息，这些属性包括传统文件固有的属性如文件大小， 创建时间、访问时间、修改时间等和一些扩展属性如安全信息、服务质量控制信 息，文件数据分布布局信息等。0 s d 构成了分布式存储结构的核心，它将许多传统 的存储分配行为从文件系统层转移，从而解决了当前存储系统的一个瓶颈问题。 对象存储结构提供了新一代网络存储系统的基础。在新兴的应用中，它和一 种可扩展的、为应用程序提供文件系统接口的元数据管理层结合在一起。这一层 负责管理诸如目录隶属关系和文件所有权限以及文件扩展属性等信息。它同样负 责将跨0 s d 的存储对象( 每个存储对象是文件的一部分) 联接成一个文件，以确 保数据的可靠和可用。集群节点向这一层提出请求，例如打开或关闭文件，通过 认证后，接受它能够访问0 s d 所必需的信息，此后集群节点可以直接对文件进行 读写操作，而和元数据管理层无关。 1 2 1 2 存储区域网络 存储区域网是一种类似于普通局域网的高速存储网络，它采用交叉开关结构， 可为较大数目的结点机和存储设备提供一个快速、可扩展的互连【l 】。传统上的存储 管理集中于存储资源所在的主机，而s a n 将存储管理从单个主机上迁移到网络， 使其独立于操作系统。管理软件用来配置、控制和监视s a n 和所有它的部件。 s a n 提供了一种与现有l a n 连接的简易方法，并将l a n 上的存储转换到主 第3 页 国防科学技术大学研究生院学位论文 要由存储设备组成的专用网络上，使得数据的访问、备份和恢复不会影响到l a n 的性能，在有大量数据访问时，不会大幅度地降低网络性能。同时允许企业独立 地增加它们的存储容量，并使网络性能不至于受到数据访问的影响。这种独立的 专有网络存储方式使得s a n 具有不少优势：可扩展性高，存储硬件功能的发挥不 受l a n 的影响，存储子系统在容量和性能方面具有良好的可扩展性以配合网络上 日益增加的数据量；易管理，集中式管理软件使得远程管理和无人值守得以实现： 容错能力强，冗余部件确保高容错性。 o p e ns a n ( 开放式存储区域网) 是s a n 存储技术发展的最高境界瞄j ，它可 以在不考虑服务器操作系统或存储设备制造商的情况下，将任何平台的服务器、 存储系统完整地连接起来，完全实现s a n 技术所承诺的一切，支持异构服务器， u n i x 、n t 和n e t w a r e 服务器可以同时连接。目前，众多高速发展的机构正密切 关注o p e ns a n 的进展。o p e ns a n 指的是在包括服务器、磁盘、磁带存储和交换 机在内的各种水平的s a n 环境中，遵循已公布的业界标准，用通用工具管理存储 数据。s a n 能为任何类型的服务器、操作系统、应用与文件系统的组合提供存储 的集中区域。相对于封闭的s a n 来说，设备要由单一厂商提供且通常需要额外的 软件，开放式s a n 的优势是：它可以选择任何厂商的产品，采用最优的存储设备、 服务器和应用程序以满足业务需求；保证对现存的存储设备、服务器和应用程序 的投资保护；在存储和s a n 基础结构之间有一组开放接口，便于用户应用实施。 在s a n 环境中，所有应用服务器使用以太网互联，而s a n 网络作为一个存 储子网，使所有主机与存储设备采用光纤( f i b r ec h a n n e l ) 或者i - s c s i ( 基于口的 小型计算机系统接口) 的方式相连，硬件结构如图1 1 所示： s t a t a g o 图1 1s a n f s 硬件体系结构结构图 1 2 - 2 网络存储技术的比较 第4 页 国防科学技术大学研究生院学位论文 数据的重要性越来越得到认可，未来网络的核心将是数据，网络化存储正是 数据存储的一个发展方向。表1 1 中对目前流行的几种网络存储技术进行了比较， 从中可以看出各种存储方式的适用范围。 表1 1 网络存储技术的比较 比较项目 n a s o b ss a n 管理 容易复杂集中化的存储管理 维护成本低 较高 较高 容错性中等好好 连接错误 低 高高 价格较高较高高低 可扩展性较好无限可扩展能力无限可扩展能力 n a s 的优势是易于管理和文件共享，提供了各种应用领域的文件共享和文件 服务功能，包括内容传送和分发、统一的存储管理、科学计算、w e b 服务等，允许 在不使用服务器停机的前提下进行扩展。n a s 产品是真正的即插即用的产品，它 无需改造就可以用户混合环境中。其物理位置同样具有相当的灵活性，它们可以 放在靠近数据中心的应用服务器或者其他地点，通过物理链路与网络连接起来。 但是n a s 的缺点是与l a n 共用一个网络，易形成拥塞影响性能，特别是在数据 备份时性能较低。 基于对象的存储提供了具有高性能、高可靠性、跨平台以及安全的数据共享 的存储体系结构。对象存储能够将与设备相关的特性从设备一层中分离出来，隐 藏于对象层中，从而实现跨平台能力，对象存储能够直接与网络中的主机系统进 行数据交换，而不需要服务器的数据转发，从而实现高性能的并行数据传输，它 适合于对安全要求较高的存储领域。但是从用户角度来看，基于对象的存储系统 比较复杂，它们需要有技术人员很好的支持，需要有专业技能的人来进行体系结 构设计，才能运行起来。 s a n 通过单一控制点管理多个磁带、磁盘设备实现高可扩展性，利用专用的 备份工具实现高可靠性。s a n 的存储模式既实现了集中式的数据存储和管理，又 通过s a n 的特点解决了数据流量的瓶颈，同时具有极大的灵活性。传统的s a n 普遍采用光纤通道技术，因为其成本较高，所以只适用于高端用户，但是新兴的 i p s a n 日趋成熟，其中包括f c i p 、i f c p 、i s c s i 等技术，这些使s a n 走进了许 多要求网络带宽、存储容量、可靠传输的低端用户。同时，基于s a n 环境的存储 系统能够使s a n 网络上的存储设备高效地共享，并虚拟化文件系统环境。 同时，s a n 在向智能化的方向发展，智能化的s a n 的好处是：管理功能内嵌， 使服务器和存储控制器摆脱了管理负荷，发挥最优的性能；进一步提高s a n 的高 第5 页 国防科学技术大学研究生院学位论文 可靠性、可用性和可伸缩性。智能化的s a n 为实施跨异构平台环境的先进的存储 管理功能奠定了基础。 1 2 3 网络存储与文件系统 在不同的网络存储模式下，文件系统处在不同的逻辑位置，如图1 2 所示， 在s a n 中，应用程序首先进行定位，指出要访问的文件名，由文件系统将文件请 求转换为扇区块请求，再向存储系统发出存取扇区块的请求。这种方式定位逻辑 和文件系统都位于主机中，通过s a n 网络与主机互联的存储设备可以由主机并发 访问，存储设备的i o 吞吐率能达到较高水平。在面向对象的存储( o b d ) 中，存 储空间不再需要运行在主机上的文件系统管理，而由存储系统自己管理和分配： 主机中原先由应用程序执行的定位逻辑和由文件系统执行的存储空间管理功能迁 移到存储系统中，应用程序只需要指出待访问的对象既可。在n a s 中，存储系统 中带有文件系统，其中的文件通过网络共享的形式提供给主机，与s a n 相比，文 件系统部分从主机迁移到存储系统，而定位逻辑仍然保留在应用程序中，由应用 程序指出文件名，在文件中包含有该应用程序需要的数据l l j 。但是，n a s 事实上并 没有从根本上改变c s 模式，导致文件服务器的机器性能、i o 瓶颈、客户端与服 务器间的网络带宽都成为其性能瓶颈。所以在要求使用具有高数据i o 速度的文 件系统的应用领域里，网络存储系统的三种分类中，n a s 系统不具有优势。当然， n a s 系统的安全性、可靠性比较易于控制和实现，因此在那些要求不问断服务的领 域里有较好的应用。 二至口 二受口 鼐暖圈 主机 r o o o “。_ 。- 存储控制器 l 缓帮继没器 i i 。一 图1 2 存储功能从主机到存储控制器的迁移 1 3 基于s a n 环境的集群文件系统及其关键技术分析 第6 页 国防科学技术大学研究生院学位论文 目前，国内和国际上均有一些研究所或企业展开了基于s a n 环境集群文件系 统的研究，并取得了一定的成果，也存在一些不足。 i b m 的s t o r a g et a n k 以及基于s t o r a g et a n k 的t o t a l s t o r a g es a nf i l es y s t e m 除 了具有一般的集群文件系统的特性之外，采用s a n 作为整个文件系统的数据存储 和传输路径，利用带外( o u t - o f - b a n d ) 结构，将文件系统元数据在高速以太网上传 输，由专门的元数据服务器来处理和存储【l 引。文件系统元数据和文件数据的分离 管理和存储，可以更好地利用各自存储设备和传输网络的特性，提高系统的性能， 有效降低系统的成本。在t o t a l s t o r a g e 中，块虚拟层将整个s a n 的存储进行统一 的虚拟管理，为文件系统提供统一的存储空间。这样的分层结构有利于简化文件 系统的设计和实现。同时，它们的客户端支持多种操作系统，是一个支持异构环 境的集群文件系统。t o t a l s t o r a g e 采用了基于策略的文件数据位置选择方法，能有 效地利用系统的资源、提高性能、降低成本。在实际应用中，t o t a l s t o r a g e 的主要 缺点是：i o 吞吐率有限；不支持文件系统级的条带化，无法堆叠盘阵；与s t o r a g e t a n k 内容管理系统结合紧密，架设复杂【3 5 】。 蓝鲸集群文件系统( b w f s ) 是中科院计算所工程中心研发的基于网络存储的 集群文件系统【3 8 】。b w f s 针对元数据的分布式日志，保证系统元数据的一致性， 缩短系统灾难恢复的时间，并采用双机热备进行失效接替管理，减少系统单点故 障发生的几率。系统采用智能化的备份方案保证用户数据的可用性。b w f s 采用 l a z y b i n d i n g ，l o g i c a l b i n d i n g ，l o c a l b i n d i n g c a c h e 等技术来提供多个元数 据服务器机群之间的负载平衡，尽量发挥每一个元数据服务器的最大性能。b w f s 在v o d 等i n t e m e t 信息服务领域已有较好的应用，但还存在如下不足：系统复杂， 不易加花色；多层虚拟化资源管理虽然能扩大容量、提高i o 吞吐率，但也造成i o 过程繁琐，使单机i o 速率受限；元数据管理开销较大，网络将成为其将来发展的 瓶颈【3 9 】。 基于s a n 环境的集群文件系统一般能提供数据的高可用性方式，它们有多个 存储节点，需要集体协作才能对外提供服务，对于系统中的存储节点，采用数据 复制技术( r e p l i c a ) ，或者采用r a i d ( r e d u n d a n ta r r a yo fi n d e p e n d e n td i s k 独立 冗余磁盘阵列) 的方法在各个存储服务器之间做数据冗余存储等。开源文件系统 l u s t r e 2 3 支持s a n 环境，它采用文件级r a i d 数据冗余，将文件以条带化的方式 存储在对象存储设备中，并具有良好的可恢复性。i b m 公司的g p f s ”】用双重附带 的r a i d 控制器。大型的g p f s 文件系统分布在多个r a i d 上，这种情况下，文件 系统块大小和r a i d 的匹配就非常重要，这样可以防止写数据时发生奇偶校验的 错误。作为r a i d 的替代或补充，g p f s 支持替代机制，它为每个数据和元数据块 都分配空间，将两份拷贝存在两个不同的磁盘上。但是，几乎所有的集群文件系 第7 页 国防科学技术大学研究生院学位论文 统( 以及使用分布式r a i d f 4 9 】【5 2 】的其他系统) 都需要在系统建立之初构建或者配 置相应的数据高可用系统，或者需要在停止服务的状态下进行系统备份。 在容量扩展方面，集群文件系统一般都是通过扩充系统存储规模来取得更大 的容量和相应的性能。z e b r a 通过管理多个存储设备获得更大的容量1 3 引， s t o r a g e t a n k 、t o t a l s t o r a g e 里的元数据服务器集群帮助系统动态添加更多的存储设 备，服务于更多的客户端文件访问【2 9 j 。b w f s 采用基于i p 的网络环境，多个存 储设备形成一个共享的虚拟存储池，提供大容量、可扩展的存储空间。容量扩展 后控制系统的管理成本、简化系统的管理流程也是集群文件系统实现的目标。尽 管s t o r a g et a n k 、c x f s l 2 0 2 1 】等将系统分为多个实现不同的功能层次，但是由于其 体系结构本身的原因，容量扩展后的系统维护和管理仍然十分复杂。 基于s a n 环境的集群文件系统应用于一些对单机i o 速率、i o 稳定性、用户 管理、易用性等特性要求很高的系统中，如非线性视频编辑、地震计算数据存储、 v o d 服务等。本文研究和设计了一种具有上述特点的s a n 文件系统，称为s a n f s ( s a nf i l es y s t e m ) ，它与其他集群文件系统相比具有以下特点： 高性能i o 。 针对顺序读写和大文件读写，优化i o 稳定性，满足某些即时应用的需要。 全局数据共享，容易架设，低成本。 系统可快速配置，与操作系统的管理权限相结合，使用户系统管理方便。 数据能迅速迁移，允许与备份系统相结合，通过系统外的方式访问数据。 s a n f s 集群文件系统的设计注重于系统在服务连续情况下的数据高可用性和 容量高可扩展性，这些也正是本文研究的内容之一。 1 4 本文主要的研究成果 本文针对s a n f s 文件系统的设计目标，研究并实现了一种基于s a n 环境的 集群文件系统，并对集群文件文件系统的其他关键技术进行了研究与实现。具体 的研究成果包括以下几个方面： 1 设计s a n f s 集群文件系统基于l i n u x 的体系结构及相应的文件操作，充 分利用s a n f s 模型中的锁管理和各种缓存机制达到客户端的i o 高性能。 2 针对数据高可用性，设计了s a n f s 文件系统数据的动态镜像模型及相关 算法，使文件系统在不停止服务的情况下能使数据得到冗余存储。 3 针对文件系统的高可扩展性，设计s a n f s 扩容后的数据负载均衡算法及 策略，使文件系统扩容后充分利用存储设备的性能。 第8 页 国防科学技术大学研究生院学位论文 1 5 论文的组织结构 论文分为六章 第一章首先对比几种网络存储技术体现在s a n 环境上建立集群文件系统的研 究意义，然后通过分析目前几种基于s a n 环境集群文件系统的优缺点介绍s a n f s 集群文件系统的设计目标及关键技术，最后简介本文的研究内容和成果。 第二章主要介绍s a n f s 集群文件系统的总体结构设计，首先介绍了s a n f s 的体系结构，然后分析了s a n f s 的协议、锁管理机制和缓存机制等关键技术，最 后描述了s a n f s 的q o s ( 服务质量) 模型以及相关的自适应算法。 第三章采用自顶向下的方法详细地阐述s a n f s 集群文件系统的客户端和 m d s ( m e t ad a t as e r v e r ，元数据服务器) 软件结构。然后详细地介绍了文件系统 的各项文件操作流程。最后在f c 和i s c s i 环境中测试了文件系统的性能，并对结 果进行了分析。 第四章分析了数据高可用性技术，然后介绍了s a n f s 集群文件系统的数据动 态镜像模型，详细叙述了相关的动态镜像算法，并与传统的方法进行比较，最后 对s a n f s r a i d 的可用性和性能进行了测试和分析。 第五章首先研究和分析了传统集群文件系统的容量高可扩展性，并提出了其 面临的挑战。然后介绍了s a n f s 的容量动态扩展模型，并阐述了各种相关的负载 均衡策略和算法。 第六章总结了本文研究成果，并指出下一步开展的工作。 第9 页 国防科学技术大学研究生院学位论文 第二章s a n f s 总体结构设计 s 筒虾s 是基于s a n 环境的集群文件系统，它的设计不但遵循访问透明、位置 透明、有效、正确性、安全性等一般集群文件系统的关注目标，而且避免了s a n 环境管理复杂、成本高的缺点，它综合了开放标准以及l i n u x 操作系统标准，利用 l i n u x 操作系统提供标准的p o s i x 兼容文件系统，通过它的共享磁盘结构来实现 其强大的扩展性。s a n f s 由许多集群节点组成，应用程序在这些节点上运行，它 们对所有的磁盘都有相同的访问权限。s a n f s 采用元数据和文件数据的访问相分 离的方式，融合了传统集群文件系统的特色和传统共享存储集群文件系统的设计 思想，形成了一个可靠的和网络无关的数据存储模型。 本章首先介绍s a n f s 集群文件系统的总体结构和s a n f s 协议，然后详细介 绍了用于保证数据一致性的几种系统锁模型，最后描述了文件系统服务质量模型 及相关算法。 2 1s a n f s 体系结构 s a n f s 集群文件系统的设计充分利用s a n 环境中各个应用服务器能通过存 储子网直接对数据存储进行高速存储的特点，实现文件数据和文件元数据的分离 访问机制。为了方便s a n f s 体系结构的描述，我们进行了如下若干术语定义： s ( m e t ad a t as e r v e r ) ：元数据服务器，它处理来自处理工作站( 或应用 服务器) 的文件元数据操作请求( 如文件、目录的各种属性操作以及目录的所 有操作) ，协调和控制各工作站对文件的访问。 c l i e n t ( 以下简称c l i e n t ) ：s a n f s 集群文件系统的客户端，它主要处理文件 数据的操作，是用户或者其他软件直接操作文件系统的载体。 s t o r a g e ：是指s a n 环境中附加在存储子网的存储节点，并提供数据存储服务。 它可能是直接连接与存储网络连接的磁盘，也可能是i s c s i 协议中的t a r g e t 节 点。 f i l el a y o u t ( 以下简称l a y o u t ) ：文件元数据映射关系，每份映射关系对应文 件的某一段物理或者逻辑地址，是c l i e n t 进行文件操作时的关键信息。 d o i ( d e v i c eo b j e c ti n f o r m a t i o n ) ：设备对象信息，每个d o i 对应s a n 存储 子网中的一个存储设备或者设备分区。需要进行文件操作时，c l i e n t 首先应该 从m d s 获取d o i 以确定该文件存放的设备。 l m c ( l a y o u t m e t ac a c h e ) ：l a y o u t 元数据缓存，它根据c l i e n t 获取的锁级别 ( o p l o c k 级别，将在2 4 1 中详细叙述) 将l a y o u t 缓存在c l i e n t 本地。 第1 0 页 国防科学技术大学研究生院学位论文 d m c ( d e v i c e - o b j e c tm e t ac a c h e ) ：设备对象缓存，它将文件的设备对象信息 缓存在c l i e n t 本地。 s a n f s 对用户来说是一个高度透明的集群文件系统，c l i e n t 通过使用标准的 p o s i x 接口用实现对文件系统的访问，它无需知道具体数据所在位置便可以访问 整个文件系统的数据。s a n f s 文件系统主要由m d s 、c l i e n t 和s t o r a g e 三部分组 成，总体结构示意图如图2 1 所示： d 俗 c 图2 1s a n f s 总体结构不恿图 其中，m d s 改变了传统集群文件系统的i 0 处理方式，成为仅处理文件元数据 而不处理文件内容数据的元数据服务器。利用原有的本地文件系统，m d s 负责在存 储设备上进行所有的元数据读写操作。同时，负责向客户端提供整个文件系统的 元数据，管理整个文件系统的全局命名空间，维护整个文件系统的目录结构、用 户权限，并负责维护文件系统的数据一致性。 c l i e n t 同样修改了传统集群文件系统的文件操作方式，它通过以太网从m d s 上获取文件逻辑地址与存储设备逻辑地址的映射关系后，通过s a n 网络，直接对 存储设备进行读写操作。其它的元数据操作，如文件属性操作、目录操作等，则 通过以太网向m d s 发送请求，由m d s 集中完成。 s a n f s 充分利用s a n 环境的特性，分离元数据和文件数据的访问，元数据由 m d s 管理，根据实际应用透明灵活地变换m d s 后台存储机制，采用不同的本地 文件系统( 如e x t 3 2 6 】，x f s t l 4 】等) 来提供服务，高效地支持不同的应用。元数据 的集中控制使系统的可扩展性较强，无需修改任何配置即可增加节点，同时m d s 的卷设备最终是一个完整的本地文件系统，可供上层应用直接使用。图2 2 描述了 s a n f s 文件系统的数据流程： 第1 1 页 国防科学技术大学研究生院学位论文 图2 2s a n f s 文件系统数据流程图 其中，我们对s a n f s 客户端节点的网络文件系统驱动向m d s 请求l a y o u t 和 d o i 。所有元数据操作均集中在m d s 上完成，客户端从m d s 上获取文件逻辑地 址与磁盘地址的映射关系后，计算出需要读写的逻辑卷线性地址，根据l v m ( 逻 辑卷管理器) 算法将逻辑卷线性地址计算出实际的块设备对象和块设备内偏移地 址，构造向内核g l b ( 1 i n u x 内核2 6 中的通用块层) 发送的块设备请求，并通过 s a n 网络，直接对块设备进行读写操作。该文件系统根据s a n f s 协议修改本地文 件系统来进行文件元数据管理。来自客户端的读写请求到达m d s 后，它从本地文 件系统进行文件映射关系的读取或分配，再将结果返回给客户端。客户端收到m d s 返回的映射关系后，直接在磁盘上读写文件内容。对于其它元数据操作，如文件 的打开、关闭、属性读写等，m d s 接收到客户端请求后读写磁盘并进行相应的处 理和回复。数据流与控制流分离传输，存储与计算职责分明，可以有效的减轻文 件访问对网络带宽和计算资源的消耗，同时大大提高了系统的扩展性和i o 性能。 为了提高读写性能，s a n f s 文件系统根据“访问局部性原理 ，结合o p l o c k ( 机会锁，2 4 1 中详述) 对文件系统一致性的保证，设计并实现元数据预读和预 分配技术。在对文件的写过程中，m d s 对文件数据空间进行提前分配，读过程中 客户端缓存文件的逻辑地址映射关系。客户端驱动在处理用户的后续读写请求时， 将先在元数据缓冲器中进行搜索，若没有匹配到所需的值，才与m d s 交互，从而 大大地减少了客户端与m d s 之间的网络通信。同时，s a n f s 文件系统创新性地 提出d o o rl o c k ( 2 4 2 中详述) ，它在保证客户端元数据缓存正确性的基础上使文 件的并发读写速度最优化。 2 2s a n f s 系统协议分析 s a n f s 集群文件系统选择了开放、跨平台的c i f s 协议作为其原型，供客户 端通过网络向服务端请求文件服务，同时支持多用户读写操作、锁和其它文件共 享的一般操作。s a n f s 的文件操作协议继承c i f s 协议并对其进行扩展，增加了 第1 2 页 国防科学技术大学研究生院学位论文 适合并行i o 的叠加协议，本节将对它们进行详细描述。 2 2 1c i f s 协议介绍 c i f s ( c o m m o ni n t e m e tf i l es y s t e m ) 协议是微软( m i c r o s o f l ) 在s m b ( s e r v e r m e s s a