（计算机软件与理论专业论文）面向移动计算的分布式文件共享服务平台软件研究.pdf

浙江人学硕i ：学位论文摘要 摘要 传统的智能终端文件共享环境具有针对性强，限制多，传输不稳定，使用不 方便等限制。通信技术的发展、智能终端的普及，对移动计算的文件共享环境提 出了新的挑战。面对新的计算环境，通用分布式文件共享模型无法满足移动网络 的分散性，不稳定性等特点。 论文针对移动网络资源分散的特点和智能设备文件共享的需求，提出了基于 智能代理的对等分布式文件共享平台一j f s m ( j t a n gf i l e s y s t e m f o rm o b i l e c o m p u t i n g ) ，通过智能代理屏蔽智能设备不同的计算能力，将其纳入p 2 p 对等网 络文件共享流程之下；通过对等架构将众多处于网络边缘的资源文件纳入分布式 文件共享体系，并利用其容错，高可靠性的特点提供稳定的负载均衡服务。 论文针对单一元数据服务器负载瓶颈问题，采用集群模式管理元数据分布， 提供基于对等网络的据存储服务；提出以增强式元数据实现p 2 p 架构下资源定位 算法，利用集群元数据服务的均衡特性，解决p 2 p 系统中影响系统性能瓶颈的关 键问题；以p a x o s 规约为基础，实现了具有元数据空间学习能力的一致性算法， 该算法以服务向量表为基础，可以实现一定数目的节点失效恢复。 论文针对智能设备计算能力各不相同的问题，采用智能代理架构屏蔽不同设 备间计算能力的差别，提供基于设备能力的p 2 p 共享服务。提出以信任目录实现 节点q o s 选择，将智能设备p 2 p 共享模式分为直接p 2 p 与间接p 2 p 两种模式， 利用智能代理针对不同的模式实现共享服务。 论文针对分布式文件共享应用需求各不相同的问题，采用面向请求的划分与 转发服务，提供持久性文件共享与临时性文件共享服务；通过基于用户行为的数 据块预测算法，解决了临时性文件共享模式下的传输延迟瓶颈；通过对称式自动 缓存的设计，解决了持久性文件共享模式下的离线操作与数据一致性问题，满足 了智能设备不同应用环境下的共享要求。 关键词：分布式文件共享，智能代理，对等计算，元数据一致性，数据块预测， 对称式自动缓存，自适应浏览 i 浙江人学硕 ：学位论义 a b s t r a c t a b s t r a c t t r a d i t i o n a lm o b i l ef i l es h a r i n gt e c h n o l o g yh a sr e s t r i c t so nt r a n s m i s s i o ns t a b i l i t y , u s i n g c o n v e n i e n c ef l e x i b i l i t ya n ds oo n t h ed e v e l o p m e n to fc o m m u n i c a t i o n t e c h n o l o g ya n dp o p u l a r i t yo fi n t e l l i g e n tt e r m i n a l sp o s en e wd e m a n d s o nm o b i l e c o m p u t i n ge n v i r o n m e n t f a c i n gw i t h t h eg r o w i n gv a s td i s t r i b u t ef i l e si nm o b i l e n e t w o r k ，c o m m o nf i l e s h a r i n gm o d e li sn o ts u i t a b l ef o rd i s p e r s i o nc h a r a c t e r i s t i c s t a r g e tw i t ht h ed e c e n t r a l i z e dr e s o u r c ef e a t u r e sa n dn e e d so fi n t e l l i g e n td e v i c e s ， p a p e rp r o p o s e dp e e rd i s t r i b u t ef i l e - s h a r i n ga r c h i t e c t u r ej f s m ( j t a n gf i l e s y s t e mf o r m o b i l ec o m p u t i n g ) t h r o u g ht h ea r c h i t e c t u r e ，i ts h i e l d st h ed i f f e r e n c eo fm o b i l e c o m p u t i n ga b i l i t i e s ，p u t t i n gt h ev a s ti n t e l l i g e n td e v i c e si n t op 2 pf i l e - s h a r i n gp r o c e s s t h r o u g hp 2 ps h a r i n gm o d e ，i ta c c u m u l a t e sv a s tr e s o u r c e so v e rn e t a n dp r o v i d e o v e r l o a db a l a n c es e r v i c eb yi t sf a u l t - t o l e r a n t ，h i g h - r e l i a b i l i t yn a t u r e s t a r g e tw i t ht h es i n g l em e t a - d a t as e r v e rb o t t l e n e c k , t h ep a p e rp r o p o s e dc l u s e r b a s e dm e t a d a t am a n a g em o d e lp r o v i d i n gp e e rn e t w o r ks t o r a g es e r v i c e i tu s e s e n h a n c e dm e t a d a t at o s o l v et h eb o t t l e n e c ko fp 2 pr e s o u r c el o c a t i n ga l g o r i t h m b a s e d o np a x o sa g r e e m e n t ，i tr e a l i z e sa nl e a r n i n gc o n s i s t e n c ya l g o r i t h mw h i c h ic a ns u p p o r t n o d ef a i l u r eu n d e ra nu n i q u en u m b e r t a r g e tw i t hv a r i o u sc o m p u t i n ga b i l i t i e so fi n t e l l i g e n tt e r m i n a l s ，t h ep a p e rp r o p o s e s i n t e l l i g e n ta g e n ta r c h i t e c h t u r et op r o v i d ep 2 ps h a r i n gs e r v i c eb ys h i e l d i n gt h ea b i l i t y d i f f e r e n c e s b a s e do nr e l i a n c eq o sn o d es e l e c t i o n ，i ts e p a r a t et e r m i n a l si n t od i r e c tp 2 p a n di n d i r e c tp 2 pm o d e s ，a n dp r o v i d i n gf i l e s h a r i n gs e r v i c eu s i n gi n t e l l i g e n ta g e n t t a r g e tw i t ht h ed i f f e r e n ta p p l i c a t i o nn e e d s ，t h ep a p e rd i s t r i b u t ef i l e - s h a r i n g e n v i r o n m e n ti n t ot w ot y p e sa c c o r d i n gt or e q u e s to r i e n t e dc l a s s i f i c a t i o n ，e p h e m e r a l f i l e s h a r i n ga n dp e r s i s t e n tf i l e - s h a r i n g i ts o v l e st r a n s m i s s i o nb o t t l e n e c ki ne m p h e r a l s h a r i n ge n v i r o n m e n tu s i n gu s e rb e h a v i o rb l o c kp r e d i c t i o na l g o r i t h ma n ds o v l e so f f i i n e o p e r a t i o np r o b l e m su s i n gs y m m e t r i ca u t o m a t i cc a c h ed e s i g n k e y w o r d s ：d i s t r i b u t ef i l e s h a r i n g ，i n t e l l i g e n tp r o x y , p e e rt op e e rc o m p u t i n g ，d a t a b l o c kp r e d i c t i o n ，s y m m e t r i ca u t o m a t i cc a c h e ，s e l fa d j u s t i n gb r o w s i n g 浙江人学顾i ：学位论文 幽日录 图目录 图1 1j f s m 框架设计模型图7 图2 1 通用分布式文件服务器架构1 0 图2 2j f s m 整体架构图13 图2 3j f s m 系统关键流程图1 5 图3 1 用树形元数据分布形式图2 1 图3 2 基于服务向量表的元数据组织图2 2 图3 3 基于环的节点拓扑图2 3 图3 4 节点退出与加入流程图2 4 图3 5 基于用户策略的存储模型图2 5 图3 6 基于元数据的资源定位流程图2 7 图3 7 基于元数据的资源发布流程图2 9 图3 8 元数据层次缓存模型图。3 2 图3 9p a x o s 算法框架示意图3 3 图3 1 0 基于p a x o s 的元数据一致性算法发流程图3 6 图3 1 1 基于p a x o s 一致性算法失效恢复流程图一3 7 图3 1 2 基于p a x o s 一致性算法失效恢复流程图二3 8 图3 13j f s m 元数据性能测试图3 9 图4 1 智能代理总体架构图4 0 图4 2 基于代理的路由目录示意图4 6 图4 3 临时性文件共享流程图4 9 图4 4 持久化文件共享流程图5 3 图4 5 对称式自动缓存架构图5 5 图4 6 数据预测算法性能测试图5 6 图4 7 对称式缓存性能测试图5 6 图5 1j f s m 通讯层实现类图5 8 图5 2j f s m 元数据服务器实现类图5 9 图5 3j f s m 系统平台启动图一6 0 图5 4 浏览器端请求u r l 配置文件格式示例6 1 图5 5 原型系统部署示意图6 l 图5 6j f s m 文件共享实例效果图6 2 图5 7j f s m 文件共享实例h t t p 效果图6 3 图5 8 自适应浏览布局效果图6 4 图5 9s - l f f 算法与r s l f f 算法框架示意图6 4 图5 1 0j f s m 系统共享性能测试图6 5 图5 1 1j f s m 共享性能w l a n 测试图6 6 图5 1 2j f s m 系统p 2 p 性能测试图6 7 图5 1 3 自适应浏览服务性能测试图6 8 l v 浙江人学硕1 ：学位论义表日录 表目录 表2 1l i n u x 与w i n d o w s 的优缺点比较1 8 表3 1 常用分布式文件系统元数据组织形式对比表2 0 表3 2 典型p 2 p 资源查找算法表2 6 表3 3j f s m 元数据性能测试数据表3 9 表4 1 临时性文件共享与持久性文件共享对比表5 l 表4 2 数据预测算法性能测试数据表5 7 表5 1 元数据服务器请求处理类列表5 9 表5 2j f s m 系统共享性能测试表6 6 表5 3j f s m 共享性能w l a n 测试数据表6 7 表5 4j f s m 系统p 2 p 性能测试数据表。6 8 表5 5 自适应浏览服务性能测试数据表6 9 v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝至三盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月r 学位论文版权使用授权书 本学位论文作者完全了解逝江盘鲎有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权滥姿态堂可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 导师签名： 签字同期：年月同签字同期：年月同 浙江人学硕 ：学位论文第1 章绪论 第1 章绪论 1 1 前言 随着越来越多的智能终端进入移动网络，智能终端上各种各样的资源也越来 越丰富。当前无论是在办公室、家庭、公共场合或其它不同的需求场景下，个人 和企业都需要一种高效的、便捷的资源共享服务，比如经常需要将图片、视频、 音频、文字等文件共享给他人。然而，资源节点分布的趋散化，节点的移动特性 等使得传统智能设备的共享模式越来越不适应资源共享需求的发展。 传统智能设备上的文件共享，或要求具有独特的格式，或是简单的文件传送 服务。这类共享服务要求条件极为苛刻，不但需要相关协议的支持，近距离的接 触，并且需要共享的双方在同一个时刻进行操作。究其缺陷的本质，是在智能终 端上没有一个开放的，标准的文件系统级的平台支持。如何有效共享处于网络边 缘的智能设备上的丰富资源，是移动计算面临的一个新挑战。 p 2 p 共享架构由于其固有的分散性，耐攻击、高容错的特点【l 】，非常适合于 传输边缘的数据。理论上来讲，p 2 p 的整个体系【2 】是全分布的，节点失效时能够 自动调整网络拓扑结构，保持节点之间的连通性。服务分散在各个节点之间进行， 部分节点遭到破坏时对其余部分的影响很小。p 2 p 网络1 3 通常以自组织方式建立 起来，允许节点自由的加入或离丌，随着服务需求增加的同时，系统整体的资源 也在同步扩充。纯p 2 p 网络环境下每个节点即是服务器又是客户端，可以根据负 载和网络状况不断的作出调整，将资源负载均衡的分担在各个节点。随着p 2 p 文 件共享技术的发展，其在文件共享，分布式存储方面的应用越来越广泛。 传统文件系统级的共享模式【4 】，存在存储格式容量方面的种种瓶颈。分布式 文件共享技术的发展提供了海量数据级的存储服务和并行计算的数据存储环境。 其共享模型将存储服务分为元数据和数据存储来分割不同种类的请求负载，分布 式节点通过网络间的接口传出消息和数据将多个节点的容量和性能组织在一个 系统内。这种模式，克服了单个服务器处理能力有限，存储能力受到磁盘容量限 制，吞吐能力受到磁盘i o 等限制，在g o o g l e ，i b m 等大型公司的系统中均得到 1 浙江人学硕i ：学位论义第1 幸绪论 应用【5 1 。 综上，针对移动计算下文件资源共享的难题，p 2 p 共享模型与分布式文件系 统天然的分布特性，非常适合与组织架构散乱的智能设备网络资源共享。下面将 介绍分布式文件共享技术与p 2 p 文件共享技术的发展背景。 1 2 分布式共享与p 2 p 文件共享 分布式文件共享与p 2 p 文件共享技术其目的虽然都是进行资源的网络共享。 但是它们在共享层级，共享架构和发展方向上【6 】均有不同。综合现有分布式文件 共享的发展历程，其发展方向可以分为两个方面：分布式文件系统与分布式存储。 分布式文件系统主要面向各种分布式计算与并行计算环境，分布式存储面向海量 数据存储和云存储服务。p 2 p 共享技术由于其自身的优势，发展越来越迅猛。下 面将对两种技术进行简要介绍。 1 2 1 分布式文件共享 分布式文件系统的架构，根据数据与元数据的存放位置，分为带内模式与带 外模式。带内模式指元数据与数据存放在一起。这种模式下，所有的数据和元数 据处理均要经过服务器，随着节点的增多，其服务器的性能成为系统的瓶颈。带 外模式指数据与元数据分离存储的模式，利用存储区域网络技术s a n ( s o t r a g e a r e an e t w o r k ) t 7 】使存储设备为节点提供存储服务。这种模式下，数据与元数据的 操作被分离，元数据操作可以由专用服务器提供更为广泛的服务。 分布式文件系统的架构，根据节点所处的角色可以分为服务器架构与对等架 构。服务器架构指网络中有专用的服务器节点处理客户端请求，这种模式应用非 常广泛，但其扩展性受到很大的限制，且需要有良好的分布函数处理负载均衡问 题。对等架构模式类似与p 2 p 对等网络，网络中所有节点既提供本地的数据元数 据服务又提供远程的存储和元数据服务。这种模式要求高度的一致性和组织能 力，应用范围不广。 分布式存储服务起初是随着磁盘技术的进步，单位存储成本降低和网络传输 条件不断进步而产生。随着存储系统成为大型系统性能发展的瓶颈，分布式存储 2 塑翌叁堂竺! ：堂篁笙苎笙! ! 笙丝 架构倾向与提供更大规模更专业的存储服务如基于光纤通道的存储区域网s a n 和网络附连存储n a s ( n e t w o r ka t t a c h e ds t o r a g e ) 8 】等。下一代存储服务发展的趋势 是基于对象的存储服务。专有基于对象的存储设备o s d ( o b j e c to r i e n t e dd e v i c e ) 9 】 可以很好的理解存储对象，根据对象的属性安排存储空间，同时支持各种网络协 议直接与客户端交互。由于其分担了元数据服务器的部分请求，相应的提高了整 体存储服务的性能。 综合分布式文件共享技术的发展，新的文件共享技术具有以下的特点： 大容量。通常是海量数据存储，比以往任何一个时期的数据量都大。 高性能。即使是通过通用网络连接，也可以发挥网络带宽的极限优势来 拓展数据吞吐量 高可用性。基于服务的设计，不但保证数据的高可靠性，同时保证服务 的高可用性 可扩展性。系统规模可以简单的改变，改变不影响系统的正常运行。 服务性。即按需服务，将存储与计算相分离，可以根据不同的计算环境 提供对应的存储服务。 1 2 2p 2 p 文件共享 分布式文件共享的体系架构，倾向于传统的c s 的架构模式。其优势在于可 以利用网络架构集中节点的性能，局限性在于适应性和扩展性需要改进。 p 2 p 技术原是一种对等的通信技术，通过客户端之间的直接通信，完成通信 的无服务器化。p 2 p 打破了传统的c s 架构，每个节点即提供客户端功能又提供 服务器功能。将p 2 p 对等网络架构引入分布式文件共享架构，可以突破传统架构 的局限性，扩大整体网络的适应性与扩展性。 p 2 p 相比传统的通信技术，优点在于： p 2 p 技术的非中心化趋势。传统c s 模式的共享体系，其服务器是整个 网络的命脉所在，整个体系架构存在着单点失效的风险。对等网络中的 节点拓扑，使其固有免疫单点失效的风险。并且对等化的网络有利于资 源的平均分布。 3 塑婆叁堂堕! ：兰篁笙兰笙! 主笪堡 p 2 p 网络节点的扩展性好。由于任何一个节点都是对等的实体，其可以 自主的加入和退出网络，并不影响整个网络的j 下常运行。同时，网络中 的对等节点越多，网络整体的性能就越优秀，共享资源越多，用户体验 也越好。 因此，将p 2 p 文件共享技术的优点与分布式文件系统的共享模型结合起来， 就可以发挥各自的长处，实现广义范围的自组织文件共享机制。 1 3 国内外研究现状 1 3 1 分布式文件系统 s u n 微系统公司开发的基于t c p 的网上文件共享系统n f s 是最早的分布式 文件系统。n f s 利用l i n u x 内核下的虚拟文件系统v f s 实现请求向用户空间的转 向，通过网络将请求转发至远端节点。其优点在于具有轻量级的m o u n t 与u n m o u t 服务，缺点在于需l i n u x 内核支持。 a n d r e w 文件系统( a f s ) 利用本地存储作为分布式文件系统缓存，使得系统 可以支持短暂的离线操作；并在节点扩展方面进行了特别的设计，提高了系统可 靠性。其利用缓存支持离线操作的思想影响了下一代的分布式文件系统设计，缺 点在于依赖远程文件访问机制。 c o d a 分布式文件系统【】在支持移动计算方面做了很多研究，是第一个真正支 持离线操作的分布式文件系统。其大部分框架用来设计如何解决客户端与服务器 端数据一致性问题，以及如何减少服务器与客户端的数据传送量。但是其设计主 要集中与固定网络下的持久性文件共享访问，缓存端的设计过于复杂。 1 3 2 分布式存储 随着网络发展，数据业务量遇到了前所未有的爆发性增长，海量数据离不开 存储服务的支持。现有主流分布式存储技术包括基于s a n 和基于n a s 的存储服 务，主流系统有b w f s ，p a n f s ，s t o m e x t 等应用系统。 b w f s l l 2 】同时具有s a n 文件系统与集群文件系统的特点，采用带外存储架构。 其利用动态一致性语义和晚绑定技术实现高度的i o 聚合带宽。其根据系统中不 4 望! 望叁兰塑! ：兰竺丝兰笙! 主笙笙 同的功能将整个系统分为不同的子模型的组合架构，使其性能比一般s a n 系统 提高了数十倍。 p a n f s 主要面向集群文件服务，通过软件提供全局的文件访问接口。可支持 大规模存储服务，但其节点依赖具有高性能存储能力的刀片服务器，对硬件的依 赖性较高。且底层存储依赖成熟的文件系统如e x t 3 等f 1 3 1 。 l u s t r e i m 】是面向密集型i o 应用的集群文件存储系统，支持t b 级的存储容量。 其元数据模型没有采用集群结构，而是采用了两节点的失败结束模式。o s t 模型 负责具体数据的存储和访问，并且支持通用的p o s i x 接口和对象访问协议。但是 其不能支持异构的操作系统。 综上所述，分布式共享技术的发展可以满足海量数据存储和并行计算的需 要，其架构同趋发展成熟。但是移动计算下的文件共享访问仍然缺乏成熟的系统 支持，没有针对分散性网络资源的有效组织形式。 1 3 3 移动p 2 p 共享服务 现有p 2 p 技术应用广泛，在视频，即时通讯，文件共享等方面均有建树，其 主流共享架构主要有n a p s t e r , g n u t e l l a 和f r e e n e t 等。 n a p s t e r 模型是非完全对等的模型。网络中存在服务器节点保留目录信息并将 数据分布在各个节点之上。客户端的请求需经过服务器的处理，是一种集中式架 构【15 1 。 g n u t e l l a i l 6 】是一种完全非集中式模型，其通过网络间节点的消息机制进行通 信。资源查找基于广播式的节点查询请求，可以定位处在网络边缘的资源信息， 但是会造成大量重复性的消息，容易引起网络瘫痪。 f r e e n e t 模型【1 7 】也是一个完全非集中式的共享模型，其面向大规模p 2 p 存储服 务。其在安全保密和路由选择上有自己的特点，通过资源描述索引来映射节点存 储空间与文件位置的关系。交互机制与g n u t e l l a 类似。 在p 2 p 共享模型的基础上，由于p 2 p 技术固有的分散性、耐攻击、高容错的 特点，利用其特点组织移动网络中众多资源的研究也越来越多。 p r o e m 是一个基于a dh o c 网络的移动中间件平台【| 8 】，其利用p 2 p 技术实现 塑婆叁兰堡! ：兰竺笙兰 笙! 里堑笙 a dh o c 网络下的节点自组织管理，并实现了包括表现层，协议层，数据存储层， 对等数据库层，事件驱动层等一系列应用接口，致力于建立通用的移动应用部署 平台。 p u r d u eu n i v e r s i t y 的g a n gd i n g 等人意图将m a n e t ( m o b i l ea dh o cn e t w o r k ) 于p 2 p 技术进行完美融合，在比较包括表路由、d h t 路由、广播路由等5 种路由 方法的基础上，建立了跨网络层协议的路由方法，解决了m a n e t 下资源定位的 问题。 综上所述p 2 p 共享技术的发展较为成熟，不同的模型各有特点。针对无线网 络下的p 2 p 资源共享有一定的研究，但主要针对于自组织形式的a dh o c 网络， 与传统的固定网络没有交集。 1 4 研究背景及研究内容 1 4 1 课题研究背景 论文是浙江省电信建设省级运营宽带城域网p 2 p 流媒体播放系统项目的一部 分，项目主要包括城域网p 2 p 媒体播放系统建设、p 2 p 媒体直播与点播系统开发、 i p t v 机顶盒p 2 p 技术移植及实现等子项目。项目主要针对基于宽带城域网p 2 p 网络架构与相应的p 2 p 协议、保证p 2 p 流媒体播放系统的服务质量的信息搜索机 制、路由策略、节点维护、媒体数据调度等核心算法、p 2 p 流媒体技术的安全问 题和面向电信级运营的宽带城域网p 2 p 流媒体应用系统的监管机制等问题。 论文所涉及的工作是建立基于宽带城域网p 2 p 网络架构的核心部分，包括 p 2 p 共享技术与分布式文件共享架构的融合、城域网与无线网的资源融、针对智 能设备的p 2 p 共享模式等问题。 论文围绕智能设备w a n 下资源共享架构展开，主要研究基于p 2 p 的分布式 共享平台架构和基于代理的智能服务。基于p 2 p 的分布式共享架构结合了分布式 文件共享模型的和p 2 p 共享模型的特点，利用增强元数据提供资源的定位与查找 服务，同时通过p 2 p 架构平衡资源请求负载；基于代理的智能服务通过在l a n 下 设置代理集群屏蔽智能设备的计算能力，将p 2 p 架构扩展至无线网络，同时针对 不同应用请求提供面向p 2 p 、临时性共享与持久性共享的智能服务，提高智能设 6 浙江 学顶i 学1 m 论z1 绪论 备的用户体验。论文拟研究的平台框架设计模型如图11 所示 e 二二蟊 dt 一 烈 驯 鹦- 一 l 置 l 幽11j f s m 框架设计模型幽 首先是基于p 2 p 的分布式服务器架构，架构采取带外存储模式，利用元数据 集群提供元数据负载均衡服务：利用代理节点同时作为l a n 下客户端与w a n 下 服务器的双重角色：利用元数据发布与查找实现p 2 p 下资源定位和节点自组织机 制。其次是基于代理的智能服务设计。其作为一个特殊的层次，将l a n 与w a n 下的资源无缝融合，并将p 2 p 共享流程扩展至无线网络。其所处的中间层可以针 对智能设备的能力提供基于用户行为的智能服务。论文拟研究的主题可以概括如 下： 网络映射：如何融合分和式文件菇享架构和p 2 p 共享架构：如何结合元 数据实现p 2 p 架构下资源的定位；如何实现元数据服务的高可用性。 智能代理：如何通过代理隐藏移动性带来的变化，屏蔽不同网络带来的 异构性区别。如何通过软状态改进服务性能。 动态适应：如何针对智能设备能力调整服务，实现动态内容适应，甚至 是基于用户定制的服务。 在明晰了论文研究背景及研究内容的基础上，论文研究的目标包括在异构网 络条件下实现暂时性的文件共享和持久性的文件共享服务。具体的论文组织架构 如下： 论文第一章描述了移动计算面临的新挑战，概要介绍了分布式共享及p 2 p 共 酉基m r = 臣罩酉一 鼠崔一 厕需 二量 i 龇量 、 同需 面需 塑垩尘兰堡! ：兰篁堡茎笙! 至笙笙 享服务技术，通过分析国内外分布式文件系统、存储模型及移动p 2 p 共享技术的 发展状况，提出了本文的研究内容及目标。 论文第二章首先介绍了移动计算环境下文件共享的需求和特点，通过分析通 用分布式文件服务器架构和缺点提出了基于p 2 p 的对等式分布式文件服务器架 构，并介绍了架构所应用的平台环境。 论文第三章阐述了基于p 2 p 的分布文件共享模型，详细阐述了模型划分及功 能，基于增强元数据的资源定位服务和层次缓存优化模型。最后介绍了基于p a x o s 的元数据一致性算法。 论文第四章介绍了基于代理集群的智能服务设计；阐述了面向请求的划分与 转发服务，并分类描述了面向p 2 p 共享、持久性共享和临时性共享的服务流程及 算法设计。 论文第五章列出了系统架构设计的部分类图，针对不同系统比较了j f s m 系 统的访问性能，并通过不同功能点的性能测试分析了系统平台性能的优异性，最 后介绍了基于代理智能浏览服务的实例和性能分析。 第六章在总结论文工作的基础上指出了目前的不足之处及以后的工作目标。 8 浙江人学硕1 ：学位论文第2 章j f s m 总体架构及关键投术 第2 章j f s m 总体架构及关键技术 本章首先介绍了移动计算环境下文件共享的需求及特点，通过对通用分布式 文件服务器架构的介绍，分析得出其特点不适合与面向移动计算环境下文件共享 需求的结论。接着阐述j f s m 系统平台总体架构和关键流程，介绍了j f s m 平台 所针对的研究目标，最后在分析不同系统平台特点的基础上，提出了适合j f s m 平台部署的应用环境。 2 1 移动环境文件共享需求及特点 论文第一章已经指出现有分布式共享技术的发展以面向海量数据存储和并 行计算为主，忽略了移动计算领域下资源共享的需求。与传统的文件共享环境不 同，移动环境下的文件共享具有以下特点： 1 ) 恶劣的通信环境 无线网络的通信条件收到多种因素影响，如距离、信号干扰甚至天气等。其 传输速率很不稳定，有可能频繁出现断线状态。智能设备由于其移动特性也会导 致传输环境的不断更换而影响拓扑结构。 2 ) 有限的设备能力 智能终端由于其电源、网络、位置等特性不可能像传统终端一样提供持续而 稳定的共享服务，且其设备能力不一定满足进行p 2 p 计算的需要。 3 ) 流量控制 无线网络下的智能终端由于现实性的原因其流量往往是需要计费的，不可能 稳定而持续的提供p 2 p 共享模式下的数据传输。同时由于智能设备存储空间和功 耗的限制，其流量必须尽可能的优化。 综上所述，要满足移动环境下文件共享的需求，应用平台必须满足移动环境 下移动性，不稳定性，有限性等特点。面向智能设备的分布式文件共享服务器【1 9 1 由于其服务对象的特殊性质，所注重的特点集中在以下几个方面： 1 ) 可用性要求高 9 f “ - f f g2 口j f s m n * 目& * 日# $ 智能设备由于其本身的移动性需要整体的文件系统具有高度的可扩展性和 可用性，以允许节点的高度动态变化。 2 ) 缓存要求高 智能设备一般体积较小，与传统节点性能相比仍有较大差距，在一个较大的 范围内，低计算能力低内存的智能设备仍然占掘应用的主流。所以其更需要节约 传输所需的数据量和时口j ，这就要求了需针对智能设各设计特殊的缓存束保证数 据传输的可靠性和及时性。 3 、要求有全局命名空日j 智能设备所访问的文件具有极大的移动性，这要求所有的资源文件必须有统 一的资源标识柬对资源文件进行定位和查找。这种资源标识对客户端是透明的。 2 2 通用分布式文件服务器架构及特点 在上节引入移动环境下文件共享需求特点的基础上，本节将通过分析通用服 务器系统架构和特征，指出通用分靠式文件服务器不适应移动若享环境的缺陷， 在分析缺陷的基础上引入面向移动计算的j f s m 文件共享平台。首先介绍通用 分布式文件系统架构。 通用分布式文件服务器通常部署在集中式系统模型中，为并行计算及海量数 据存储提供存储服务。其注重的特性主要是存储服务的可靠性及有效性，不注重 客户端共享访问的环境。通用分柿式文件服务器的架构如图21 所示： 一一， 幽2i 通川分布式文什服务器架构 望! 望盔堂婴! ：堂垡堡竺笙! 至! ! ! 竺璺堡銎塑垄茎丝垫查 通用分布式文件服务器主要采取带外存储模式，可以分为元数据模块，数掘 模块，客户端模块，监控模块，通信模块等。每个模块所负责的功能各不相同， 下面介绍各个模块的功能： 1 1 元数据模块 元数据模块是负责维护及存储元数据的功能模块，其负担了大部分的客户端 查询及读取请求，并维护了元数据具体的组织形式。在单一管理模式下，所有元 数据存储在同一节点，对外提供其数据结构及访问接口，查找及维护简单；在分 布式管理模式下，元数据及副本分布在各个节点，利用分布及一致性算法保证元 数据服务性能的高效。 2 1 数据模块 数据模块是负责数据具体存储的模块，所有资源文件的数据均经过数据模块 的管理进行存储。数掘模块可以维护底层的存储格式，也可以通过其它文件系统 比如n t f s t 2 1 1 ，e x t 3 等接口维护数据存储。其功能还包括数据冗余备份和并发访 问管理等。 3 1 客户端模块 客户端模块是提供存储访问接口的模块，通用文件服务器客户端的实现均基 于l i n u x 系统内核，实现了p o s i x 所规定的通用文件接口【2 2 1 ，可以通过轻量级的 m o u n t 及t u u n o u n t 服务实现与本地文件系统的无缝对接。 4 1 通信模块 分布式文件服务器的核心是通信模块的设计，良好通信模块的性z 日匕e , 刁- 能实现 元数据、数据以及各个模块的快速耦合。通用文件服务器基于t c p 协议确保通信 的良好质量，但是其设计的参数往往基于l a n 下的网络环境。针对元数据及数据 模块的通信服务设计需要可以支持并发访问并具有一定负载能力的通信模型。通 用的文件服务器基于s o c k e t 的异步通信队列来提供服务器的大量并发请求。 5 ) 监控模块 监控模块其实是一些辅助模块的集合，包括节点角色分配，动态管理，节点 问负载均策略等功能。 以上是通用文件服务器系统架构和各模块的基本功能描述，从中易于发现通 1 l 塑堑盔堂竺! ：兰垡丝兰笙! 雯! ! 兰! 塑垒堡銎丝垄茎堡垫查 用文件服务器的一些限制： 第一对l i n u x 系统内核依赖过大 由于l i n u x 内核下v f s 的可扩展式设计理念，大部分通用分布式文件系统均 集成了对v f s 的支持，使其可以快速的在l i n u x 系列下的系统中得到应用，却忽 略了来源于广大的非l i n u x 系统用户的普通文件共享需求。对于广大智能设备来 说，其内核的之间的区别不可度量，所以不能强制性的使用基于一种内核设计的 通用模型。 第二对元数据模块的性能要求过高 通用分布式文件服务器元数据模块往往基于单一模式设计，其虽然简化了元 数据的分柿及数据组织形式的设计，但是由于其负担了全部的请求，如果节点发 生故障，那么整个系统会陷入单点失效的故障情况下，其必然成为整个系统性能 提升的瓶颈2 4 1 。 第三基于l a n 下的网络设计【2 5 】 通用分布式文件服务器针对于并行计算和海量文件存储设计，所以其面向 l a n 下的传输条件，忽略了移动环境下的传输条件。无线网络下传输条件的不稳 定性可能会导致t c p 协议频繁的丢包而影响效率。 综上所述，通用分布式文件服务器的缺陷其实是其针对于并行计算与海量数 据存储方向发展所导致的缺陷。其设计的特点决定了其无法应用于智能设备共享 存在的移动共享环境下。基于以上缺陷，论文提出了基于p 2 p 和智能代理闭的分 布式文件共享架构，改进了通用分布式文件服务器架构方面的缺陷，引入了对 w a n 下智能设备的支持。 2 3j f s m 系统总体架构 论文提出j f s m 文件共享服务平台，一种集合p 2 p 对等网络模型和分布式文 件共享架构，可以为各类智能设备提供无线网络资源共享接入服务的分布式文件 共享系统平台。其引入p 2 p 对等网络模型和智能代理模型，解决了通用分布式文 件系统下服务器性能瓶颈和不支持无线设备接入的问题。 该架构注重于基于p 2 p 的分布式共享模型和基于代理的智能服务两个方面， 1 2 ! 坚生兰堡! 兰些堡兰兰! ! ! ! ! 型些堡型型苎垄型垫至 重点在于如何利用分稚式文件架构完成p 2 p 模式下的文件共享流程及如何利用中 糊代理层完成面向不同请求的优化服务。代理分布于固定网络中，其与服务器问 的联系方式与通用分布式通信方式没有区别，不在详细描述。针对无线网络下智 能设备与代理间的无缝切换及双向选择是基于无线漫游技术的另外主题，论文也 不会阐述。下面将介绍j f s m 系统的总体架构。 2 3 1 i f s m 总体架构 j f s m 架构的总体思想是引入p 2 p 网络模型平衡分砧式文件共享体系下的甘 点负载，改造原有的带内模式和简单集群模式，并利用增强型元数据提供p 2 p 共 享下的资源定位服务，在代理架构的基础上，将p 2 p 流程扩展至无线智能设备， 并针对智能设各能力的提供不同的优化服务。 智能设备通过代理集群接入j f s m 网络，代理集群根据设备计算能力对设备 节点进行划分。对有计算能力的节点实现了简单的路由转发服务，对没有计算能 力的节点屏蔽其计算能力并选择代理成为该节点在j f s m 网络下的替代节点。 r f s m 平台的整体架构如图22 所述： 霪兰二：) 1 一。藿耄 善1 7 霉r 一霉霪i 降鼍亨孽萋；鋈善 一月，e i 、 量； j 主 釜雾 | 量黧一、一二“乎“ 日e 。= 幽2 2j p s m 整体架构鳕 从层次结构看整体架构可以分为三层，即服务器集群层，智能代理层和客 户端层。服务器集群负责与分布式文件系统有关的操作，管理元数据及数据的存 浙江人学坝i ? 学位论义第2 币j f s m 总体架构及关键技术 储。代理层负责客户端与服务器之i 日j 的请求转发，提供各种接入服务。客户端实 现基于智能设备环境的客户端接口。 从模块组成看，整体架构大致可以分为以下几个模块：资源目录模块，集群 管理模块，存储模块，通信模块，路由模块，缓存模块，数据预测模块，客户端 模块等。 集群管理：元数据集群内部实行简单管理，由监控节点管理映射函数，并利 用映射函数平衡各个节点的负载。这种构造方式，有效的解决了了单一元数据服 务器的弊端，并减少了因自组织式对等网络频繁进行资源查找所带来的网络负载 和系统复杂性。 资源目录：其实现了p 2 p 共享技术下的资源定位算法，为分散在网络中的对 等节点提供资源的定位与查找服务。同时为了均衡资源定位的请求负担，其实现 了具有学习能力的全分布式元数据结构。每个节点初始按照定位函数划分元数据 空间，随着系统的运行，每个节点逐渐的掌握了全部的元数据空间，即具有了元 数据空间的一个副本。在此基础之上，利用基于p a x o s 算法的一致性算法维护元 数据间的一致性。 数据存储：其建立在本地文件系统之上，不涉及具体的文件数据分配，在分 布式文件服务器所包含的节点之间实现完整数据的冗余备份。 通信模块：同通用服务器的通