（计算机软件与理论专业论文）存储虚拟化数据传输的设计与实现.pdf

华 中 科 技 大 学 硕 士 学 位 论 文 摘要 随着信息化技术的发展， 传统的数据管理体系己 经不能 满足数据密集型应用 和高性能计算的要求，存储虚拟化技术为解决这个问题提供了一条有效途径。 g d s s ( g l o b a l d i s t r ib u t e d s t o r a g e s y s t e m ) 是一个存储虚拟化系统，该系统 实现了广域网范围内存储资源的统一管理和共享， 屏蔽了底层数据资源的分散性 和异构性，为用户提供了透明的逻辑视图。 传输系统是( i d s s中的一个重要模块， 其性能直接决定了g d s s的性能。 为 了 确保g d s s 的高性能和高可靠性， 传输系统综合采用了多种技术， 包括自 适应 传输、 分片并行传输、 连接复用和基于多副本的断点续传等。 其中自 适应传输根 据文件大小和服务器状态决定传输方式: 当传输大文件时采用分片并行传输， 通 过多线程并行传输，提高传输效率;而当传输批量小文件时采用连接复用技术， 通过一个连接传输所有小文件， 这样与普通文件传输协议( f i l e t r a n s f e r p r o t o c o l , f t p )相比显著减少了连接次数，从而提升了传输性能。另外，为了确保系统的 可靠性， 传输系统还采用了基于多副本的断点续传和双日 志技术。 其中基于多副 本的断点续传在普通断点续传的基础上利用系统中 存在多 副本的 特点， 在恢复过 程中充分利用可用的副本; 而双日 志技术采用主日 志和备份日 志相结合， 确保任 何时刻至少存在一个日 志是可用的， 为断点续传的正常进行提供基础。 经过测试，与普通f t p 相比，g d s s 传输大文件时的性能提高1 -3 倍，传 输批量小文件时的性能提高2. 1 0 倍。 结果表明g d s s 传输系统的性能达到了 预 期效果. 关键字: 存储虚拟化， 自 适应传输，连接复用，断点续传，分片并行传输 华 中 科 技 大 学 硕 士 学 位 论 文 a b s t r a c t d a t a - i n t e n s i v e a n d h i g h - p e r f o r m a n c e c o m p u t i n g a p p l i c a t i o n s a r e b e y o n d t h e c a p a b i l i t y o f t h e t r a d it io n a l d a t a m a n a g e m e n t s y s t e m . l u c k i l y , t h e s t o r a g e v ir t u a l i z a t i o n t e c h n i q u e p ro v i d e s a n e f f e c t i v e w a y t o s o l v e i t g d s s , w h i c h m a k e s t h e b e s t u s e o f t h e s t o r a g e v i rt u a l i z a t i o n t e c h n iq u e b y re a l iz i n g t h e u n i f i e d m a n a g e m e n t o f t h e s t o r a g e re s o u r c e s d i s t r i b u t e d i n w i d e a re a , p r o v i d e s a l o g i c a l v i e w a n d r e d u c e s t h e m a n a g e m e n t c o s t o f t h e s y s t e m . t h e s e l f - a d a p t t r a n s f e r s y s t e m i s a n im p o r t a n t m o d u l e i n g d s s , w h i c h i n f e c t s t h e p e r f o r m a n c e o f g d s s g re a t l y . i n o r d e r t o g u a r a n t e e t h e h i g h - p e r f o r m a n c e a n d h i g h - a v a i l a b i l i t y , i t a d o p t s s e v e r a l t e c h n i q u e s , s u c h a s s e l f - a d a p t t r a n s f e r , s e p a r a t e a n d p a r a l l e l t r a n s f e r , c o n n e c t i o n re u s e , b re a k p o i n t re s u m e , a n d s o o n . s e l f - a d a p t t r a n s f e r t e c h n i q u e d e c i d e s t h e t r a n s f e r m o d e b y t h e s iz e o f t h e f i l e s a n d t h e s t a t u s o f t h e s e r v e r s . s e p a r a t e a n d p a r a l l e l t r a n s f e r t e c h n i q u e i s u s e d i n t r a n s f e r r i n g b i g f i l e s , w h i l e c o n n e c t i o n re u s e t e c h n i q u e , w h i c h t r a n s f e r s b a t c h e s o f s m a l l f i l e s 妙o n l y o n e d a t a c o n n e c t i o n t o re d u c e t h e c o n n e c t i o n t i m e s , i s u s e d w h e n t r a n s f e r r i n g b a t c h e s o f s m a l l f i l e s . o n t h e o t h e r h a n d , i n o r d e r t o g u a r a n t e e t h e a v a i la b i l i t y o f t h e s y s t e m , b re a k p o i n t re s u m e t e c h n i q u e t h a t t a k e s a d v a n t a g e o f t h e a v a i l a b l e re p e t i t i o n s in t h e re c o v e r y p r o c e s s a n d d o u b l e l o g t e c h n i q u e t h a t u s e s b o t h m a i n l o g a n d b a c k u p l o g t o m a k e s u r e t h a t a t l e a s t o n e l o g i s a v a i l a b l e a t a n y t i m e a r e a d o p t e d i n g d s s . t e s t s h o w s t h a t t h e p e r f o r m a n c e o f g d s s i n c re a s e s i t o 3 t im e s t h a n t h a t o f t h e g e n e r a l f t p w h e n t r a n s f e r r i n g b i g f i l e s , a n d 2 t o 1 0 t i m e s w h e n t r a n s f e r in g b a t c h e s o f s m a l l f i le s . i t p ro v e s t h a t t h e t r a n s f e r s y s t e m o f g d s s h a s m e t t h e r e q u i r e m e n t s . k e y w o r d s : s t o r a g e v i rt u a l i z a t i o n , s e l f - a d a p t t r a n s f e r , c o n n e c t i o n r e u s e , b r e a k p o i n t r e s u m e , s e p a r a t e a n d p a r a l l e l t r a n s f e r 华 中 科 技 大 学 硕 士 学 位 论 文 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及 取得的研究成果。 尽我所知，除文中已 经标明引用的内容外，本论文不包含 任何其他个人或集体已 经发表或撰写过的研究成果。对本文的研究做出贡献 的个人和集体，均已在文中以明确方式标明。本人完全惫识到本声明的法律 结果由本人承担。 学 、 文 作 者 签 名 :再 澎 多 史 日 期 : .2,0 6 f * .? a alt q 学位论文版权使用授权书 本学位论文作者完全了 解学校有关保留、使用学位论文的 规定，即: 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅 和借阅。 本人授权华中科 技大学可以 将本学位论文的全部或部分内 容编入有关数据库进行检索， a 7 以 采用影印、 缩印或扫描等复制手段保存和 汇编本学位论文。 保密 巴， 在 年 解 密 后 适 用 本 授 权 书 。 本论文属于 不保密9. ( 请在以上方框内打 “ 4 ” ) 学 位 论 文 作 者 签 名 :私 日 期 ， 妙斗 年了 月z 日 指导教师签名: 日期: 1 7 .41 丹年3 华 中 科 技 大 学 硕 士 学 位 论 文 1 绪论 1 . 1 研究背景 随着科学技术的飞速发展， 现代大型科学研究、 信息服务和数字媒体应用中 的数据呈爆炸式增长， 数据己 经成为一个重要的资 源n -3 ， 例如: 全球气候模拟、 高能物理、生物计算、战场仿真、核模拟、数字地球、电子商务、电子政务、数 字 媒体等应用， 它们的 数 据量 将达到 几十个t e r a b y t e 至p e t a b y t e 的 级别， 这对信 息存储系统的容量和速度提出了空前的要求，由此引发的各种问题也随之而来。 主要表现在人们对信息数据日益广泛的需求导致存储系统的规模变得越来越庞 大， 管理越来越复杂， 信息资源的爆炸性增长和管理能力的相对不足之间的矛盾 日 益尖锐14 ,5 1 在广域网中存在大量相互独立的数据孤岛，它们之间的数据资源不能共享， 存储空间不能得到有效使用， 数据的传输性能不足， 同时地理上广泛分布的用户 都希望能够访问和使用这些数据， 如何存储和管理这些数据成为许多应用的首要 问 题 6 .8 存储虚拟化的发展为解决这个问题提供了一条有效途径， 它通过集成网络上 分布的数据资源， 形成单一虚拟的逻辑视图， 为用户屏蔽了底层异构的物理资源， 建立了 一体化的数据使用和管理平台 8 ,9 g d s s 是国家8 6 3 项目“ 存储虚拟化及其文件系统的研究” 的原型系统， 其 研究目 的是采用存储虚拟化技术实现广域范围内存储资源的统一管理和数据共 享， 屏蔽底层数据资源的分散性和异构性， 为用户提供透明的逻辑视图， 减少系 统的管理开销。 传输系统是g d s s 中的一个重要模块， 其性能直接决定了g d s s 系统的性能。 用户访问这些数据时将进行数据传输， 同时系统为了减少响应时间而采用的副本 也需要进行传输数据， 因此数据传输的性能是存储虚拟化性能的主要指标， 提高 传输系统的性能和可靠性是提高系统性能和可用性的重要途径。 此外存储虚拟化 系统中存在着海量的数据， 而这些数据存在于广域网中， 数据的分散性和网络状 态的不确定性对传输带来了很大的难度，同时也给传输优化带来了很大的必要 性. 所以本文研究的重点是如何针对存储虚拟化的特点提供一套稳定、 高效的传 输系统。 华 中 科 技 大 学 硕 士 学 位 论 文 1 . 2 存储虚拟化的研究现状 网 络 存储， 包括网 络直 连 存储( n e t w o r k a tt a c h e d s t o r a g e , n a s ) 和存 储 局 域网( s to r a g e a r e a n e t w o r k , s a n ) ， 是一 种很 大的 技 术革 新， 但是 并 没 有 实 现 真正的透明存储， 用户仍然需要分别掌握不同存储设备的物理特性， 才能进行有 效管理【 1 0 - 1 2 。 只有采用存储 虚拟化的 技术才能真正 屏蔽具体存储设备的物理细 节， 为 用 户提 供 统一 集中 的 存 储管 理 i3 根据应用规模的大小，存储虚拟化可以简单的分成 s a n的虚拟化和广域网 ( wi d e a r e a n e t w o r k , wa n)的虚拟化。 1 . 2 . 1存储局域网的虚拟化 s a n 的虚拟化是将可用的存储空间分成虚拟磁盘或虚拟卷，而无须考虑实 际存储设备的物理布局和结构 1 3 , 1 4 。 它将会取代传统的服务器受限的数据管理系 统结构，并且进一步影响存储器硬件的结构。s a n的虚拟化有多种实现方式， 根据虚拟化在体系结构中的位置， 可以 划分为基于主机、 基于存储设备和以网络 为中心的虚拟化。 1基于主机的虚拟化 基于主机的虚拟化是将虚拟化的工作放在 s a n中的应用服务器上，通过改 造操作系统或者加上一层虚拟层来实现映射工作。 这种方法不需要额外的特殊硬 件， 虚拟层以 软件模块的形式嵌入到应用服务器的操作系统中。 d a t a c o r e 公司的 s a n s y m p h o n y ，就是采用基于主机的虚拟化。它将虚拟化作为扩展驱动模块， 为连接在s a n上的磁盘、阵 列等存储设备增加了 所需的控制功能 1 s 这种方法的不足有两点:首先，它受到 s a n中软件和硬件环境的制约。虚 拟化软件必须能够嵌入到不同的操作平台中，兼容性是一个很大的问题;其次， 虚拟化功能是由多个服务器通过分布式操作实现的， 如果任何一个服务器有不恰 当的数据存取操作，就很有可能造成整个数据资源的完整性受到破坏。 2基于存储设备的虚拟化 基于存储设备的方案是将虚拟层放在存储设备的控制器上来实现的。 基于存 储设备的虚拟化从性能上来说是最优的，它能够充分考虑存储设备的物理特性， 并且将应用服务器从虚拟化存储的实现工作中彻底解放出来。 但是基于存储设备 . . . . . .叫 网.， 叫. . . . . . . . . . . 曰. . . ，. . . . . . . . . . . .目 . .勺. 如. .， ，. .呻 .一-. 一. 一目 . 一叫，间 一门 一.-目 一叫 . -. 一， . . . 一 . . 向 . 一一-一 2 华 中 科 技 大 学 硕 士 学 位 论 文 的虚拟化也只有在同构的存储环境中才能更好地发挥作用。 3 .以网络为中心的虚拟化 以网络为中心的虚拟化通过在s a n互联这一级增加一个元数据服务器或者 采用智能化的路由 器、交换机等来实现虚拟化的工作，目 前是s a n虚拟化的l 流技术。 以网络为中心的虚拟化又可以分为基于专用服务器的虚拟化、 基于交换机的 虚拟化和基于存储路由器的虚拟化。 基于专用服务器的虚拟化方式使用一台服务器专用于提供存储虚拟化。 例如 s t o r a g e a p p s 公司的s a n l i n k ， 它使用的虚拟平台 称为s a n m as t e r ，在这个虚拟 平台上， 它使用专用的s a n o s 实现虚拟化功能 1 6 . 1 7 1 基于交换机的虚拟化方式将虚拟层直接做到交换机上， 用同一个设备既完成 交换功能又完成虚拟化功能。这种具有虚拟化功能的交换设备称为域控制器或 s a n i n a b o x 。这种方法的优势在于交换功能和虚拟化功能的紧密接合能大 大提高系统性能，如果在域控制器上使用大容量的缓存和优良的缓存管理算法， 效果会更加明显。例如d a t a d i r e c t 公司的s a n d i r e c t o r ，一个d i r e c t o r 能够支持 8 0 0 0 0个并发的数据流，单个虚拟磁盘的最大容量是 7 2 t b ，并月具有良 好的扩 展性p a l 基于存储路由器的虚拟化方式是一种比 较新的结构，它是随着s a n存储路 由技术的出现而发展起来的。 存储路由器是一种智能设备， 它既具有普通的路由 功能，又针对1 1 0进行了 专门优化，并且能够完成协议转换，连接不同的网络。 在这种方式中，虚拟化实现在存储路由 器上。 v i c o m公司的 s a n v i r t u a l i z a t i o n e n g i n e 使 用的 正 是 这 种方 式 1 9 ,2 o 1 1 . 2 . 2 广域网的虚拟化 广域网的虚拟化主要指统一管理广域网内 存储资 源的大型存储系统2 1.2 3 1 ， 与 之相关的主要指一些数据网格项目。 在数据网格研究领域， 美国和欧洲处于领先地位， 他们的研究范围和规模都 比 较大， 并且己经推出了一些试验系统， 其中最著名的有欧洲数据网格项目、 美 国的国际虚拟数据网格实验室i v d g l和p p d g项目、 g l o b u s 中的数据网格支撑 模块和美国圣地亚哥超级计算中心的存储资源代理系统 ( s t o r a g e r e s o u r c e 华 中 科 技 大 学 硕 士 学 位 论 文 b r o k e r s r b ) 4 - 6 1 . 欧洲数据网格的目 标是以欧洲粒子中心， 为世界范围内分布的科研团体提供 数据分布存储、 传输和计算密集型分析处理的能力，以进行科学研究， 开展面向 高能物理学、 地球观测、 生物信息学等应用的研究工作。 研究内容主要包括: 数 据访问、 数据副本管理、 元数据管理、 数据安全、 查询优化、 资源调度和管理等。 它采用 g l o b u s 、面向对象数据库、网格数据库服务系统等技术，构建一个包括 软硬件的网 格环境 2 7 -2 9 g r i p h y n ( g r i d p h y s i c s n e t w o r k ) 系统提出 应用虚拟数据的概念和语言 ，描 述如何通过计算获得并使用派生信息和数据， 这为系统访问远程数据还是通过计 算获得，或者获取他人计算处理过程符合自己需求的数据等情况提供决策依据， 为数据的自 动生成和再生成提供较完整的系统方法3 0 1 g l o b u s 系统主要由 美国a r g o n n e 国家实验室和南加州大学联合研制。 它借鉴 了因特网和u n i x的开发路线，不是构造一个完整的系统，而只是构造一套底层 的开发工具， 采用模块化设计方式， 可升级或替换， 是一个中间件系统。 g l o b u s 对资源的管理、 安全、 信息服务和数据管理等网格计算的关键技术和方法进行研 究，提供了一整套 s d k和a p i ，用户可以任意选择其中的工具模块进行高层次 的 应用开发。目 前， 欧洲 数 据网 格、 美国国 家 技术网 格、 g r i p h y n 等项目 都采用 了g lo b u s 系统.g l o b u s 系统最初是面向 计算网格的，后来由 于数据网格应用的 需求迫切，g l o b u s系统在原有的基础上增加了数据网格的功能，对数据的高速 传输、 数据复制、 数据复制的选择、 元数据管理等进行了研究和实现， 成为数据 网格应用的开发平台3 1 -3 3 1 美国圣地亚哥超级计算中心的存储资源代理系统s r b是用途较广的数据网 格软件之一。s r b提供了一套在分布式环境下统一访问异构存储系统上的数据 的中间件系统，包括文件系统、 数据库、 文档系统等，为上层应用和用户提供透 明的 数据服务。 它 支持 广域网 络环境下多 种数 据 源的 访问， 提供了 数据复 制、 副 本数据的访问、文件的汇集、分布文件的逻辑集合等功能.s r b采用了集中式 的元数据目 录服务和广域的数据访问和管理。它最初并不支持网格环境下的使 用，为了支持数据网格的特点，超级计算中心正在将它和g l o b u s 系统相结合， 进行分布式的设计和实现， 对多域管理环境进行支持， 以满足网格技术和用户的 需求。目前，s r b系统己经被多家单位所使用，包括英国的国家网格、美国的 联邦数据库等1 3 4 1 华 中 科 技 大 学 硕 士 学 位 论 文 1 . 2 . 3 传输子系统 广域网上的数据传输主要针对网 络的数据传输进行优化， 提高传输性能的宗 旨 就是充分利用现有网 络带宽。 在这方面己 经有很多有意义的研究， 包括针对 底 层传输协议进行优化和针对应用层协议进行优化。 目前在广域网上的数据传输主要采用传输控制协议 ( t r a n s f e r c o n t r o l p r o t o c o l , t c p ) ， 在高带宽、 高延迟网络环境下影响t c p 性能的关键因素是t c p 的窗口大小。为了保持 t c p管道的充分利用，数据的收发方必须保证管道处于 “ 饱， 状态， 即t c p 窗口的大小至少是网络带宽和网络延迟的乘积。 例如: w e b 1 0 0 联盟提出了一种修改现有路由系统的算法来评估网络的带宽. 根据当前的网络状 态实 时 调整 窗口 大 小以 获 取 好的 性能 3 $ 1 用 户 数 据 报协 议( u s e r d a ta g r a m p r o t o c o l , u d p ) 是 用于 数 据 传输的 另 一 种 协议， 它的性能一般优于t c p ， 但是提供的是不可靠服务。目 前研究的热点主要 是基于u d p 提供可靠的u d p 服务，如r e l i a b l e b l a s t u d p ( r b u d p ) ，它的主要 优化 原 理是 适当 的 增加 确 认 报文 来 提供 可 靠的u d p 服务 36 1 另外还有很多通过开发应用层协议来提供高性能传输的研究，著名的有 g ri d f t p 等。 g r i d f t p 在f t p 协议上进行扩展， 提供了一套高效、 安全、 稳定的 传输协议。它综合采用了多种技术，包括并行传输、分片传输、三方控制传输、 可 靠传 输、 手 动 修改t c p 的 滑动窗口 等 3 7 1 对底层传输协议进行优化和对应用层协议进行优化各有优缺点。 修改传输协 议的方法优点是不需要修改应用， 对应用提供透明的支持， 通用性好， 缺点是难 度大， 可移植性差， 同时无法根据应用需求提供合理的优化。 而基于应用层协议 进行优化的优点是可以 根据应用的具体特点进行优化， 可移植性好， 优化潜力大， 效果也很显著，但缺点是它需要修改应用程序，通用性差。 1 . 3 本文研究的主要内容 本文分析了存储虚拟化系统g d s s 及其传输子系统， 根据存储虚拟化中数据 传输的特点，设计了 一套自 适应传输系统。 g d s s 传输子系统综合采用了多种技术，包括自 适应传输、分片并行传输、 连接复用和基于多副本的断点续传等。 其中自 适应传输根据文件大小和服务器状 态决定传输方式: 当 传输大文件时采用分片并行传输， 通过多 线程并行传输， 提 华 中 科 技 大 学 硕 士 学 位 论 文 高传输效率; 而当传输批量小文件时采用连接复用技术， 通过一个连接传输所有 小文件，这样与普通 f t p相比显著减少了连接次数，从而提升了传输性能。另 外， 为了确保系统的可靠性， 传输系统还采用了 基于多副本的断点续传和双日 志 技术。 基于多副本的断点续传在普通断点续传的基础上利用系统中存在多副本的 特点， 在恢复过程中充分利用可用的副本: 而双日 志技术采用主日 志和备份日志 相结合， 确保任何时刻至少存在一个日志是可用的， 为断点续传的正 常进行提供 基础。 本文第二章简要介绍g d s s 系统的结构及工作原理， 并对系统的主要模块和 技术特色做简要说明。第三章提出 传输系统的设计方案，详细讲解自 适应传输、 分片并行传输、 连接复用和基于多副本的断点续传等算法。 第四章将会从客户端、 接口 层、 控制层和传输层等四个层次讲述g d s s 传输子系统的实现。 第五 章则对 系统的功能和性能进行测试，与 f t p协议进行比较以证明系统的先进性。最后 对全文进行总结并展望未来的工作。 华 中 科 技 大 学 硕 士 学 位 论 文 2存储虚拟化系统结构 存储虚拟化系统g d s s 的研究内容包括: 多样的数据访问 接口、 全局范围内 的数据共享与访问 控制、 全局统一的文件名字空间、 动态的副本管理机制、 灵活 的安全认证机制、 商性能数据传输技术和全局可视化统一管理等。 它的特点是实 现了 对广域范围内孤立存储资源的统一管理和数据共享， 屏蔽了 底层数据资源的 分散性和异构性， 为用户提供了统一逻辑视图， 实现了数据的透明访问， 减少了 系统的管理开销。 2 . 1 整体结构 g d s s主要包括存储服务提供者 服务器 ( g l o b a l n a m e s e r v e r 证中心 ( c e r t i fi c a t e a u t h o r i t y ，g n s ) . ( s t o r a g e s e r v i c e p r o v i d e r s s p ) 、全局命名 资源管理器 ( r e s o u r c e m a n a g e r r m) 、 认 ， c a ) 、 客户端、 存储代理 ( s t o r a g e a g e n t . s a ) 以 及 可视化管理，系统结构如图2 . 1 所示。 s t o r a g e s e r v i c e p r o v i d e r c e r t i f i c a t e a u t h o r i t y g l o b a l n a m e s e r v e r 如 a g e r a g e n t 图2 . 1 g d s s 系统结构图 基于图2 . 1 显示的系统结构，对g d s s 的基本工作流程描述如下: 1用户向s s p 发出请求: 一.一，一一 一 7 华 中 科 技 大 学 硕 士 学 位 论 文 2 . s s p向c a提供用户的身份信息和服务请求信息， c a根据访问权限 控制 机制向s s p反馈是否接受用户请求以及用户的访问权限; 3认证通过后，s s p将用户请求交给g n s 解析，通过 g n s返回数据的逻 辑元数据信息; 4 . 当需要传输数据时s s p将请求再传递给r m，进一步获取物理元数据或 者进行资源申请和分配; 5 . s s p 将存储任务发给能够满足用户请求的最合适的s a ， 并将相关信息反 馈给用户; 6 用户与s a建立连接，在用户和s a的控制下进行直接数据传输。 g d s s 从三个方面保证了存储的虚拟化: 首先， s s p 为用户提供了统一的访 问接口 和存储视图;其次，s a屏蔽了存储系统的具体特性，保证了 存储虚拟化 系统能够适应异构存储环境;最后， g n s保证了 逻辑存储池到具体存储系统的 对应关系，提供了虚拟化存储系统的内部实现机制。 2 . 2 主要模块 2 . 2 . 1存储服务提供者 s s p 是整个系统的入口， 也是系统的枢纽， 通过s s p 实现对系统所有模块的 访问 。 如图2 .2 所示 ， 它主要提供f t p 接口 、 c a接口 、 r m接口 和g n s 接口 。 在整个系统中s s p 不是唯一的，系统可以 根据需要动态增加s s p ，同时s s p实 现了传统方案中命名服务器的部分功能，减轻了g n s的负载，提高了系统的可 扩展性。 s s p是g d s s的一个特色， 在以往的系统中， s s p的功能集成在元数据服务 器或者资源管理器中， 但是当数以万计的用户连接到系统时， 处理这些连接将消 耗大量系统资源， 同时， 一个服务器的最大连接数目 也受到操作系统本身的限制; 另一方面元数据服务器和资源管理器本身也是系统的 瓶颈之一。 所以为了提高系 统的容量， 减轻存储元数据服务器和资源管理器的负担， 我们设计了与元数据服 务器独立的s s p . 针对广域网存储虚拟化的特点， s s p 通过提供分片管理、 数据传输、 访问控 制等功能实现了普通 f t p的访问 接口，这样，用户通过普通 f t p就可以访问 g 华中科技大学硕士学位论文 q wi ；_ - _ 目t _ 口= * _ _ _ _ _ | t e 自- - _ q 目目= 目= = 鬻_ _ - ；= 自 # = = 自_ - _ _ _ ；= = = = = # _ q 自e = ；目# _ _ = _ _ _ _ _ # 目目z = = _ _ _ | = ；= = # 2 s s p 向c a 掇供用户的身份信息和服务请求信息，c a 根据访问权限控制 辊锈囱s s p 蔽馈是磷接受鬻户请求激及焉户豹谤翊投陵； 3 认诋通过后，s s p 将用户请求交给g n s 解析，通过g n s 返回数据的逻 辑元数据信怠： 4 。当器要传输数据时s s p 将请求再传递绘r m ，进一步获取物理元数据或 者进行资源申请和分配； 5 ，s s p 憋存储锫务发绘自最后，g n s保证了逻辑存储池到具体存储系 统的对应关系，提供了虚拟化存储系统的内部实现机制。 华 中 科 技 大 学 硕 士 学 位 论 文 3 数据传输子系统的设计 在g d s s 系统中， 数据传输的设计目 标是适应广域网的 特点 提供一套稳定可 靠、性能优秀的传输系统。 它主要通过扩展 f t p协议， 采用分片并行传输、 连 接复用等算法，取得了良好效果。 31 方案概述 如图3 . 1 所示，传输系统从上至下由4 部分组成: 用户层、接口 层、控制层 和传输层。 用户层 g o s s客户端 接口层 文件操作接口 控制层 自适应传输决策 / 大 文 件 分 片 决 策/ 侧种，. 5 ,pffl 1 分片传输 / 连 接 复 用 策 菇 / 数 据 传 输 ! 数据传输 断点续传 . t .， f t p协议 传输层 g d s s协议 图 3 . 1传输系统的模块结 构 1 3 华 中 科 技 大 学 硕 士 学 位 论 文 用户层包括应用程序、 通用f t p客户端和g d s s客户端; 接口 层主要向应 用层提供文件操作接口: 控制层是系统的核心， 提供自 适应传输策略、 大文件传 输模块和连接复用传输模块以 及断点续传模块等; 最后是传输层， 根据服务器等 选择采用传输的协议并进行数据传输。 g d s s 的传输系统充分借鉴了g r i d f t p , 基于f t p 协议进行扩展。 f t p 是i n t e m e t 上使用非常广泛的一种应用层通讯协议4 5 。 它采用两个t c p 连接来传输一个文件:控制连接以通常的客户/ 服务器方式建立。服务器以被动 方式打开众所周知的用于f t p 的端口2 1 等待客户的连接， 客户则以主动方式打 开t c p端口2 1 来建立连接。 控制连接始终等待客户与服务器之间的通信，该连 接将命令从客户传给服务器， 并传回服务器的应答。 每当一个文件在客户与服务 器之间传输时， 就创建一个数据连接。 控制连接一直保持在客户与服务器连接的 全过程中， 而数据连接可以根据需要随时来， 随时走。由于通用传输方式是流方 式， 并且文件结尾是以关闭数据连接为标志， 所以对每一个文件传输或目 录列表 来说都要建立一个全新的数据连接。 g d s s 选择f t p 协议的理由有以下几点: 1 . f t p 是一个非常流行的，并被广泛接受的标准协议: 2 . f t p 提供了一种良 好的扩展结构，支持动态添加协议扩展; 3 . f t p协议本身有很多非常适合文件传输的特性，如三方传输、断点续传 等。 采用 f t p协议来传输文件存在简单、易用等优点，但是在传输大文件和批 量小文件时的性能却不理想， 因此g d s s 在此基础上进行扩展， 实现了并行传输、 分片传输、连接复用等富有意义的功能，并取得了良好效果。 下面重点分析传输系统所采用的关键技术，包括分片并行传输、连接复用、 自 适应传输和基于多副本的断点续传等， 它们互相配合共同完成传输任务。 3 . 2 分片并行传输算法 分片是指将数据分片然后分别存放到多个服务器，采用分片有几个作用。 首先存储虚拟化是在整个网络环境下意味着会有很多存储资源， 将多 个分散 的存储资源整合成一个逻辑视图或者为用户提供透明的大容量存储资源是存储 华 中 科 技 大 学 硕 士 学 位 论 文 时必须进行分片。 其次， 为了系统各个存储资源的负载均衡， 需要将资源分散在多个存储资源 上，这也需要分片的支持。 另 外， 在传输数据时为了 提高传输效率也需要同时调用多个存储资源的u o 带宽和网络带宽，这时候也需要将数据分片。 在广域网中，单个 t c p流的带宽非常有限，远远低于网络的最大带宽，所 以很多传输系统都采用了多个t c p 流来弥补单个t c p 流不能充分利用网络的不 足， 测试表明 采用多t c p 流可以 利用网络带宽的8 0 %以卜 。因此通过并行传输 可以 提高系统的整体带宽和单个任务的响应时间。 g d s s 传输系统中有多 个层次的并行度: 首先在任务级，多个传输任务可以并行传输数据。 其次， 单个任务可能有多个分片分别保存在不同的服务器上， 它们之间可以 并行传输。 另外在一个分片里， 如果分片比较大或者该分片所在服务器的网络带宽比较 低，也适合采用将任务分解并行传输。 算法思想: 根据任务分片的分布情况和分片的大小决定并行度。 通常一个分 片一个线程， 当 分片的大小比 较大时再进一步分片。 分片 方法为 将最大分片平分， 然后重新排序， 再判断是否需要进一步分片， 如需要分片则重复分片方式。 同时 该任务中的线程数不超过最大并行度。 当子任务数目 等于最大并行度时不再进行 进一步划分; 当子任务数目多于最大并行度时本次调度只取与最大并行度相等的 分片数目 进行传输，其余分片下次调度时再传输。 定 义3 . 2 : 子 任 务s t 是 一 个 六 元 组 : s t 二 ( u r l , s iz e , s ta r t , e n d , s t a t e , m o d e ) ， 其中u r l 表示任务地址， s i z e 表示文件大小， s t a rt表示对应于整个文件的起始位 置，e n d表示对应于整个文件的结束位置，s t a t e表示任务状态，m o d e表示文件 传输模式。 定 义3 .2 : 给 定 传 输 任 务t = s t , , s t , , s t , ， 一 ， s t , 卜其 中 s t , 表 示 子 任 务 ， n 表示子任务数目。 下面给出分片并行传输的算法: 华 中 科 技 大 学 硕 士 学 位 论 文 算法3 . 1 : p r o c d p t ( t ) 无 飘撇踢 w h i l e 御 ( 袭才二扩为 遭) 1x 1 1 . 聊丛层才子在务s t 2 . i f ( s t (s iz e ) 塌t # 万 勿 a子ff 务鹅471w 如果没有分片但文件小 于大文件的阀值， 则直接采用普通的传输方法; 如果有分片则对分片进一步分析， -一一. 一曰 -一一 握 9 华 中 科 技 大 学 硕 士 学 位 论 文 分片之间采用并行传输，每一个分片的处理和没有分片的文件一样。 3 . 5 基于多副本的断点续传算法 在广域网内，由 于网络、 服务器不稳定 等多 种原因可能导致传输的终比 ， 为 了保护己经完成的数据，需要提供断点续传能力。 在g d s s 里， 断点续传提供的功能比通常情况下的更加强大和更有意义。 通 常的断点 续传工具， 如f l a s h g e i ， 在网 络不通或者服务器失效时， 将尝试重新连 接， 但是对应的网络或者服务器不能修复时就无法继续传输了。 在g d s s 中存在 多个存储资源， 上传文件时如果一个服务器失败， 系统可以再选择另一个服务器 来代替;而在下载文件时，如果失败了可以尝试副本，如图3 .4 所示，当 服务器 1 失败之后可以利用服务器2 上的副本继续传输。 因此基于多副本的断点续传提 高了系统的可用性。 服务器， 客户端 图3 .4 多 副本断点续传 定 义3 .6 : 给 定 副 本 集 左 = 卜 ， 几 ， 八 ， ， 圣 ， 其 中 。 表 示 任 务t 的 副 本 。 算法3 . 3 : p r o c b r t t , r) 滋入: 2 0 华 中 科 技 大 学 硕 士 学 位 论 文 1 . 冷9 3 胃夕 2 .灰厨冰*中若芦曰r关者掀剔诱 和与关展 宙 1 a蹬尊庄n重窗泞 夕 * 才，尘成7假 j a莫 r ，弃功 * 一 卜 ，。 ， ，。 ， 。 。 r j .t (1 r, ， 。 i r, (s ta te ) = 1 3 . i f ( r 为勿 4 .加藉窟务劣 a对r 进 u刀 齐 洋刃 5 . w h i l e ( r % t hz 5 . 1 众万中产全葵普r ” . 阿胃冷厂灰r n麟才，弃沪 ， ” = 认 ” ，: .， ，二 ，。 ” 。 r a r , s ta r t ) t ( e n d ) ) 返回 9 i e了 sf , t ( b r e a k p o in t ) f e ( e n d ) 华 中 科 技 大 学 硕 士 学 位 论 文 五川d环生 月rle 6.if(e (e nd) l e a p f t p 和i n t e r n e t e x p l o r e r 等 标准 的f t p 客户 端 可以访问g d s s 系统，不过用户看到的数据和资源是经过系统虚拟化之后的。 4 . 2 文件接口 文件接口 可以 简单的分成类f t p 接口 和标准文件接口。 类f t p 接口 强调将 文件数据的一部分或者整体上传或者下载到目 的 地， 整个过程动作单一， 有明确 的行为结果，所以对类 f t p的处理非常简单。 标准文件接口就相对复杂，因为 文件操作是一种随机操作的过程， 其结果随着用户的行为动态改变， 同时g d s s 系统的数据分散在广域网上，所以实现和优化的难度很大。 涉及文件接口 的主要数据结构如下: u s e r s p a c e 定义 了 用 户 的 名 字 空间 ， 用于 跟 踪 用户 在 整个 逻 辑 视图中 的 位置， 此处定义仅考虑了 用户私有空间的定义，未 涉及共享空间。 t v d e d e f s t r u c t u s e r s v a c e / / 用户空间 2 5 华 中 科 技 大 学 硕 士 学 位 论 文 c h a r u s e r es i d u s e r - i ll sl i e+i 1 ; c h a r u s e r n a m e u s e r n a m e es s i z e +1 1 ; c h a r u s e r es d s c p u s e r d s c p _ s i z e + 1 1 ; u n s ig n e d l o n g c re a t i m e ; / 创建时ii7 , c h a r u s e r ee c u r _ d i r ma x _ p a t 比s i z e+1 ; c h a r t i c k e t i d t i c k e t 一 m a x es l e n+ 1 1 ; u s e r s p a c e ; / / 用户i d / / 用户名 刀 用户描述 / 用户所处当前目录位置 l o c a t i o n 描述了文件的物理信息，包括文件名称、 t y p e d e f s t r u c t 一。 c a t i o n 分片信息等。 c h a r s n a m e m a x f i l e es n a m e ; / / 文件名称 i n t 6 4 1 l e n g t h ;/ / 文 件长 度 i n t i s