（计算机系统结构专业论文）基于p2p网络的vod服务器的研究与设计.pdf

摘要 摘要 随着网络通信技术与计算机技术的发展，人类社会正在迅速进入以宽带网络 为中心的信息时代。互联网发展推动了网络用户逐渐的增加，带动了大规模互联 网应用的发展。同时，网络服务规模的扩展，对服务器并发处理能力带来了巨大 的挑战。本文研究和讨论了提高网络服务器性能的方法，并设计和实现了基于p 2 p 网络的视频点播服务器。 v o d ( v i d e o o n d e m a n d ) 的基础是流媒体服务，但是流媒体对带宽资源要求高 且服务时间长，传统的c s ( c l i e n t s e r v e r ) 模式下服务器很容易成为瓶颈，如何 在i n t e m e t 上提供大规模的流媒体内容分发一直是过去流媒体研究领域的核心问 题。p 2 p 网络技术的出现，为v o d 服务带来了新的思路。p 2 p 网络上的v o d 服 务，通过利用普通节点的资源为其他节点提供服务，在不改变现有网络配置的前 提下具有良好的性能，是一种有广泛应用前景的v o d 服务方法。 本文研究了高性能服务器的几种服务器模型和网络i o 机制。通过对这些模型 的研究，指出如果采用基于传统的网络i o 模型来提供高并发连接服务，在并发客 户数量超过服务器最大支持数时，会出现服务器负载达到饱和或服务器崩溃，而 网络带宽并没有得到充分利用的现象。通过对几种服务器网络i o 方法的分析和比 较，结合基于p 2 p 网络的v o d 服务器这个具体应用，提出了流水线式服务器模型 与e p o l l 网络i ，o 结合的服务器模型。 在流水线式服务器中，一个完整的网络服务被分为多个阶段，每个线程只负 责完成服务的特定环节，互不干涉，降低了并行粒度，使得各网络请求实现了任 务内并行，各任务在执行过程中重叠，提高了服务的并发度和性能。 网络i o 部分使用了l i n u x2 6 中引进的e p o l l 技术，采用单个独立线程负 责网络数据报的收发。这样避免了在并发度较高的情况下，频繁的线程切换带来 的大量系统开销，提高了服务器的性能。 在实现部分，本文就几个与服务器性能关系密切的环节为例，给出了较为详 细的实现。最后通过对现阶段已经完成的网络i o 部分进行测试，部分验证了这种 服务器模型初步达到设计目的，与传统服务器比较，性能有很大提高。 关键词：p 2 p ，v o d ，e p o l l ，流水线式结构 a b s t r a c t a b s t r a c t a l o n gw i t ht h ea d v a n c e m e n t o fn e t w o r kc o m m u n i c a t i o na n dc o m p u t e rt e c h n o l o g y , t h eh u m a n s o c i e t yi so nt h ew a y t oab r o a d b a n dn e t w o r k - - c e n t e r e di n f o r m a t i o ne r a t h e d e v e l o p m e n to f i n t e m e tg r a d u a l l yp u s h e dt h ei n c r e m e n to f n e t w o r kc u s t o m e r s ；b r i n go n al a r g e - s c a l ed e v e l o p m e n to fi n t e m e ta p p l i c a t i o n s i nt h em e a n t i m e ，t h ee x p a n d i n go f n e t w o r ks e r v i c es c a l eb r i n g sah u g ec h a l l e n g et ot h ec o n c u r r e n c eo fs e r v e r s i nt h i s t h e s i sw er e s e a r c ha n dd i s c u s st h em e t h o d sw i t hw h i c ha r eu s e dt oe n h a n c et h e p e r f o r m a c eo fn e t w o r ks e r v e r , a n dt h e nd e s i g na n di m p l e m e n tap 2 p - n e t w o r k - b a s e d v o ds e r v e r t h ef o u n d a t i o no fv o ds e r v i c ei s s t r e a m i n g m e d i as e r v i c e i nat r a d i t i o n a l c l i e n t - s e r v e rs t r e a m i n gs y s t e m ，t h es e r v e ro f t e nb e c o m e st h eb o t t l e n e c kd u et ot h eh i 曲 b a n d w i d t ha n dl o n gd u r a t i o no fm u l t i m e d i as t r e a m s i nt h ep a s tf e wy e a r s ，h o wt o p r o v i d eal a r g es c a l eo fs t r e a m i n gm e d i ah a sb e e nt h ec 6 r ef o rt h er e s e a r c h i n g t h e e m e r g e n c eo fp 2 pn e t w o r kt e c h n o l o g yb r o u g h tn e ww a yo ft h i n k i n gf o rt h ev o d s e r v i c e t h ev o ds e r v e r so nt h ep 2 pn e t w o r km a k eu s eo f r e s o u r c e so f c o m m o nn o d e s t os e r v eo t h e rn o d e s i th a sag o o dp e r f o r m a n c ew i t h o u tc h a n g i n gt h ec o n f i g u r a t i o no f e x i s t i n gn e t w o r k i ti sag o o dk i n do f v o d s e r v i c em e t h o dt h a th a se x t e n s i v e l ya p p l i e d f o r e g r o u n d n i st h e s i ss t u d i e ds e v e r a ls e r v e rm o d e l sa n dn e t w o r ki om e c h a n i s mo ft h eh i 曲 p e r f o r m a n c es e r v e r r e s e a r c h e st h es e v e r a li om e c h a n i s m sw h e np e o p l ed e s i g n st h e h i 出p e r f o r m a n c es e r v e r , a n dp o i n t so u tt h a ti fa p p l y i n gt h et r a d i t i o n a ln e t w o r ki o m o d e lw i mt h eh i 曲c o n c u r r e n c yn e t w o r kc o n n e c t i o n s ，t h es e r v e rw i l lc r a s h ，b u tt h e n e t w o r kb a n d w i d t hm a yn o tf u l l yb eu t i l i z e d t h r o u g ht h ea n a l y s i sa n dc o m p a r i s o no f s e v e r a ls e r v e rm o d e l sa n dn e t w o r ki om e c h a n i s m ，u n i f i e ss p e c i f i ca p p l i c a t i o no f v o d s e r v e ru n d e rp 2 pn c t w o r k , a d v a n c eas e r v e rm o d e lo fs t a g e d - e v e n td r i v e na r c h i t e c t u r e ( s e d a ) w i t he p o l l n e t w o r ki om e c h a n i s m i nt h es e r v e rw h i c hi sb a s e do ns e d a ，i ts e p a r a t e st h ef o i ln e t w o r k i n gs e r v i c et o s o m ep a r t i t i o n si np i p e l i n e , e v e r yt h r e a dd e a l sw i t l l a p p o i n t e dp a r t i t i o na n da r e s e l f g o v e r n e de a c ho t h e r i tr e d u c e st h ep a r a l l e lg r a n u l a r i t y , m a d ee a c hp a r t i t i o no ft h e t i a b s t r a c t s e r v i c e sd i s p o s e dp a r a l l e la n de v e r yd i s p o s i n gp r o c e s so v e r l a p i ti m p r o v e st h es e r v e r s p e r f o r m a n c eg r e a t l y t h en e t w o r k i n gy oe m p l o y se p o l l t e c h n o l o g y , w h i c hi si m p o r t e dd u r i n gl i n u x k e r n e l2 6 i ta d o p t ss i n g l et h r e a dt od e a lw i t hs e n d i n gt oa n dr e c e i v i n gf r o mi n t e r a c t i ta v o i d st h el a r g es y s t e mo v e r h e a do ft h r e a ds w i t c h i n gf r e q u e n c yu n d e rh i 曲 c o n c u r r e n c y , a n di m p r o v e st h es e r v e r sp e r f o r m a n c e i nt h ei m p l e m e n t a t i o np a r t ，t h i st h e s i sg i v e so u ts o m ed e t a i l e di m p l e m e n t a t i o n s a b o u ts e v e r a li m p o r t a n tp a r t i t i o n sw h i c hr e l i ct ot h es e r v e r sp e r f o r m a n c ec l o s e l y f i n a l l y , t h r o u 曲t h et e s t i n ga n de v a l u a t i n gw i t ht h ei m p l e m e n t e dp a r t i t i o n s ，i ti sp r o v e d t h a tt h es e r v e rm e e t so u rg o a l st h a tt h ep e r f o r m a n c ei sb e t t e rt h a nt h et r a d i f i o n a ls e r v e r k e y w o r d s ：p 2 p , v o d ，e p o l l ，s e d a 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：雄日期：w 口7 年牛月妇 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：垄墨塞 导师签 日期：。 j 铜邢、 7 年毕月出一日 第一章绪论 1 1 课题背景和意义 第一章绪论 随着i n t e r n e t 的普及和网络通信技术的发展，越来越多的互联网服务面临新的 挑战。 以视频点播( v o d ) 服务为例，从1 9 9 4 年一家叫做p r o g r e s s i v e n e t w o r k s 的美 国公司成立之初，流媒体开始正式在互联网上登场亮相。时隔一年，他们推出了 幽架构的音频接受系统r e a la u d i o ，并在随后的几年内引领了网络流式技术的汹涌 潮流。当时受制于i n t e r a c t 的传输能力，v o d 服务能提供的都是码率很低的媒体 流，用户数量也非常稀少。在当时，绝大多数i n t e m e t 用户还只能使用拨号上网甚 至更慢的上网方式。在编码方式一定的条件下，提高服务质量的主要手段是提高 用户的可用带宽。 近来，随着宽带网络技术的发展，互联网用户使用的带宽大大提高。常见的 x d s l 接入用户通常能使用的带宽平均在i m 比特以上。更多的用户，和对服务质 量更高的要求，对v o d 服务器的性能带来了巨大的挑战。如一部r e a l v i d e o4 格 式，分辨率6 4 0 x 4 8 0 ，2 4 0 0 f p s ( 帧每秒) 的电影，码率在4 7 8 k b p s ( 4 7 8 x 1 0 2 4 比特每秒) 。传统的c s ( 客户朋艮务器) 模式下，当有1 0 0 0 个用户同时播放时， 服务器需要的带宽达到约4 7 6 m b 。在千兆网飞速发展的的现在，这个数字并不能 带对网络来太大压力。但是对于服务器来讲，4 7 6 m b p s 的网络i o 不是一个小负担。 并且当服务规模进一步扩大时，服务器和服务器端网络承受的负荷直线上升。 在不使用服务器集群技术的情况下，提高v o d 服务器自身的性能和降低服务 器提供服务时承受的压力，就成为了解决问题的关键。 1 2 课题研究内容及章节安排 本文从系统的总体模型入手，在基础理论部分分析讨论了p 2 p 模型和流媒体 的基本原理以及应用技术，接着讨论了高级服务器技术。最后针对具体应用环境， 设计并分析了v o d 服务器。并对已经实现的v o d 服务器的部分原型进行了模拟 电子科技大学硕士学位论文 性能分析测试。后续章节的主要内容安排如下： 第二章理论基础 主要讲述了p 2 p 模型和视频点播的相关概念和典型的几种应用技术。 第三章网络服务器i o 技术研究 研究t n 务器实现中的关键技术问题，分析比较了多种服务器结构和多种用来 处理网络i o 的事件分派机制，并在此基础上提出了：流水线式结构+ e p o l l 构 架适合用于实现高性能的服务器。 第四章系统总体设计 针对p 2 p 网络环境下的v o d 服务器应用，提出了系统的总体设计，并分析了 系统框架结构和服务流程。 第五章服务器设计与实现 在前一章基础上，讲述了服务器几个与性能相关部分的实现。 第六章实验测试 对服务器已完成部分作了模拟环境测试，结果表明本服务器与传统多进程模 式的服务器相比，具有更高的的性能。 结束语 对全文进行了回顾和总结，以及以后的工作安排。 2 第二章基础知识 2 1p 2 p 模型的基础理论 第二章基础知识 p 2 p ”，全称叫做“p e e r - t o p e e r ，意为“对等的”。在网络技术中，其意义通常 解释为：对等互联网络技术( 点对点网络技术) ，它让用户可以不通过服务器中转， 直接连接到其他用户的计算机，进行数据共享与信息交换。在这个网络中，每个 节点既是客户机，享受其他节点提供的服务，又是服务器，向其他有需求的节点 提供服务。 2 1 1p 2 p 应用 p 2 p 将网络服务边缘化，即是说网络应用的核心从中央服务器向网络边缘的 终端设备扩散：服务器到服务器、服务器到p c 机、p c 机到p c 机，p c 机到w a p 手机所有网络节点上的设备都可以建立p 2 p 对话。这使人们在i n t e r n e t 上的 共享行为被提到了一个更高的层次，使人们以更主动深刻的方式参与到网络中去， 正如1 2 ( 第二代互联网) 之父d o u g v a nh o u w e l i n g 说到的：”下一代互联网民们 将真正参与到网络中来，每个人都能为网络的资源和功能扩展做出自己的贡献。” p 2 p 从目前的应用来看，p 2 p 的威力还主要体现在大范围的共享、搜索的优 势上。在这方面更好的解决网络上四大类型的应用：对等计算、协同工作、搜索 引擎、文件交换【2 1 。 2 1 1 1 文件交换 可以说文件交换的需求直接引发了p 2 p 技术热潮。在传统的w e b 方式中，要 实现文件交换需要服务器的大力参与，通过将文件上传到某个特定的网站，用户 再到某个网站搜索需要的文件，然后下载，这种方式的不便之处不言而喻。电子 邮件是方便了人与人之间文件传递问题，却没法解决大范围的交换。这也是w e b 的重要缺陷，n a p s t e r 就是在情况下横空出世，抓住人们对m p 3 喜欢的需求，n a p s t e r 的m p 3 交换直接引发了网络的p 2 p 技术革命，以一个中央目录服务器提供资源索 引，任何对等点( p e e r ) 都可以相互下载对方感兴趣的文件，从而共享资源，而没 有一个传统的文件服务器提供文件下载。 3 电子科技大学硕士学位论文 2 1 1 2 即时通信 公司机构的日益分散，给员工和客户提供轻松、方便的消息和协作的工具， 变得日益重要。网络的出现，使协同工作成为可能。但传统的w e b 方式实现，给 服务器带来了极大的负担，造成了昂贵的成本支出。p 2 p 技术的出现，使得互联 网上任意两台p c 都可建立实时的联系，建立了这样一个安全、共享的虚拟空间， 人们可以进行各种各样的活动，这些活动可以是同时进行，也可以交互进行。p 2 p 技术可以帮助企业和关键客户，以及合作伙伴之间建立起一种安全的网上工作联 系方式，因此基于p 2 p 技术的协同工作也受到了极大的重视。 事实上，网络上现有即时消息系统譬如l c q 、a o li n s t a n tm e s s e n g e r 、y a h o o p a g e r 、微软的m s nm e s s e n g e r 以及国内的腾迅q q 是最流行的p 2 p 应用。它 们允许用户互相沟通和交换信息、交换文件。用户之间的信息交流通常不是直接 的，需要有位于中心的服务器来协调。 2 1 1 3 搜索引擎 p 2 p 技术的另一个优势是开发出强大的搜索工具。p 2 p 技术使用户能够深度 搜索文档，而且这种搜索无需通过w e b 服务器，也可以不受信息文档格式和宿主 设备的限制，可达到传统目录式搜索引擎( 只能搜索到2 0 一3 0 的网络资源) 无可比拟的深度( 理论上将包括网络上的所有开放的信息资源) 。以p 2 p 技术应用 g n u t e l l a 进行的搜索为例：一台p c 上的g n u t e l l a 软件可将用户的搜索请求同时 发给网络上另外1 0 台p c ，如果搜索请求未得到满足，这1 0 台p c 中的每一台都 会把该搜索请求转发给另外1 0 台p c ，这样，搜索范围将在几秒钟内以几何级数 增长，几分钟内就可搜遍几百万台p c 上的信息资源。可以说，p 2 p 为互联网的 信息搜索提供了全新的解决之道。 2 1 1 4 对等计算 通过众多计算机来完成超级计算机的功能，一直是科学家梦寐以求的事情。 采用p 2 p 技术的对等计算，正是把网络中的众多计算机暂时不用的计算能力连结 起来，使用积累的能力执行超级计算机的任务。任何需要大量数据处理的行业都 可从对等计算中获利，如天气预报、动画制作、基因组的研究等，有了对等计算 之后，就不再需要昂贵的超级计算机了。同时对等计算的发展是以独立的微机资 源的有效利用为根本出发点的。从本质而言，对等计算就是网络上c p u 资源的共 享。 4 第二章基础知识 2 1 2p 2 p 模型体系结构 p 2 p 模型属于分层结构，其底层为通信层，依次向上为：组管理层、r o b u s t n e s s 层、服务分类层、应用层，结构模型如图2 1 所示。 应臆叵圆匠 服务分类层 ：i i i i 二i i i i i i ；i ! i 圈 ：! ! i 至 r o e u s t n e s s 层区臣因回 组管理层 l 发现算法l1 定位与路由l 通信层 望堡 图2 1p 2 p 模型体系结构 2 1 2 1 通信层 p 2 p 通信协议覆盖在其它通信协议之上，形成一个o v e r l a y 网络。其中通 信节点( 对等点) 主要由各种类型的计算机构成，蜘：桌面p c 、p o c k e tp c 甚至 p a l m 等手持式设备构成。桌面p c 一般通过有线的方式联入，而移动设备通过无 线方式联入。 对p 2 p 通信层最大的挑战就是如何处理由于对等的组网方式所带来的不确定 性和动态性等问题。例如由于网络连接的故障或者对等点关机等原因使得p 2 p 网 络的对等点构成的o v e r l a y 网络拓扑结构会频繁发生改变。在这样的条件下， 要维护应用层的通信连接是p 2 p 应用开发人员所面临的最大的挑战。 2 1 2 2 组管理层 p 2 p 的组管理层包括其它对等点的发现以及定位和路由。如n a p s t e r 对对等 点发现采用集中型的方法，而如g n u t e l l a 采用高度分散的发现方法，也有的应用 系统采用界子两者之间的方法。 对等点发现算法的设计受到许多因素的影响，例如：移动无线设备根据它自 身的通信范围发现其他的对等点；桌面p e 通常采用中心索引型的方法。 定位和路由算法通常用来优化发送通信数据的路径。对于一个分布式应用， 如n a p s t e r 和g n u t e l l a 会采用此类算法来优化底层通信的延时，以提高系统性能。 5 电子科技大学硕士学位论文 2 1 2 3 r o b u s t n e s s 层 主要有三个方面来支持p 2 p 系统的r o b u s t n e s s 特性，包括安全、资源聚集以及 可靠性方面的内容。 在安全性方面： 由于p 2 p 中的对等点既是客户端同时又是服务器，然而，这种双重身份同时也 会危及p 2 p 系统的安全，所以，只有可信的或经过安全认证的信息资源才能由所 有对等点共享。 资源聚集： p 2 p 模型使得系统中所有的对等点可以共享节点上的资源。而此处资源定义 可能包括本节点的c p u 资源、网络带宽资源、磁盘空间资源、文件资源。 可靠性： 由于对等网络模型所固有的一些分布式特性使得如何保证可靠性非常困难。 在p 2 p 中解决这一问题的通用方法是采用冗余的方法。例如：在分布式计算应用 中，一旦检测到某一节点有故障，则将此节点未完成的任务转移到另外的节点之 上；或者相同的任务可以开始就交给多个对等点。在文件共享应用中，数据可以 复制在多个对等点上。在即时通信应用中，某节点的消息可以通过多条路径发送 等。 2 1 2 4 服务分类层 在p 2 p 模型中，可以从所有的p 2 p 应用中抽象出一个服务分类层。例如：调 度对于分布式计算来说，就是其应用的一个服务层，对上提供透明的计算服务， 对下进行计算任务的分派调度。m e s s a g i n g 对于即时通信或协作应用来说，就是发 送消息使得对等点之间进行通讯。 2 1 2 。5 应用层 实现了p 2 p 模型中具体的应用功能，对某一个具体应用就是运行在p 2 p 网络 之上的应用程序。例如：网络电话、文件共享、即时通讯等。 2 1 3p 2 p 网络模型的拓扑结构 拓扑结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关系，结 点之间的拓扑结构一直是确定系统类型的重要依据。目前互联网络中广泛使用集 中式、层次式等拓扑结构，i n t e r n e 本身是世界上最大的非集中式的互联网络，但 是九十年代所建立的一些网络应用系统却是完全的集中式的系统、很多w e b 应用 6 第二章基础知识 都是运行在集中式的服务器系统上。集中式拓扑结构系统目前面临着过量存储负 载、d o s 攻击等一些难以解决的问题。 p 2 p 系统一般要构造一个非集中式的拓扑结构，在构造过程中需要解决系统中 所包含的大量结点如何命名、组织以及确定结点的加入离开方式、出错恢复等问 题。p 2 p 网络的拓扑结构，决定了各个节点间的逻辑互连关系。 根据拓扑结构的关系可以将p 2 p 研究分为4 种形式：中心化拓扑( c e n t r a l i z e d t o p o l o g y ) ；全分布式非结构化拓扑( d e c e n t r a l i z e du n s t r u c t u r e dt o p o l o g y ) ；全 分布式结构化拓扑( d e c e n t r a l i z e ds t r u c t u r e dt o p o l o g y ，也称作d h t 网络) 和半分 布式拓扑( p a r t i a l l yd e c e n t r a l i z e dt o p o l o g y ) 【3 1 。我们分别对他们进行描述。 2 1 3 1 中心化拓扑 在中心化拓扑p 2 p 模型中，一台或多台有特殊用途的服务器为对等点提供资源 定位服务。为了使可扩展性最大化，对应用程序进行了结构化设计，以便少量的 资源索引就可以为数量众多的对等点服务。对等点向资源索引注册关于自身的信 息( 其名称、地址、资源和元数据) ，并通过根据资源索引中信息的查询，来定位 其它对等点；并且中心节点可以根据对等点的需求返回最优( 比如延时最小或最 稳定的) 的对等点信息，从而使得两个对等点的通信最优化，为达到此目的，中 心节点必须拥有所有活动对等点的相关信息。 图2 2 中心化拓扑模型 7 电子科技大学硕士学位论文 中心化拓扑最大的优点是维护简单发现效率高。由于资源的发现依赖中心化的 目录系统，发现算法灵活高效并能够实现复杂查询。最大的问题与传统客户机假 务器结构类似，容易造成单点故障，访问的“热点”现象和法律等相关问题，这 是第一代p 2 p 网络采用的结构模式，经典案例就是著名的m p 3 共享软件n a p s t e r 。 图2 2 说明了一个使用资源索引来向对等点提供位置和命名服务的p 2 p 体系 结构。节点l 如果要与节点5 通信，必须首先查询中心索引节点获得节点5 的地 址和端口号。中心节点本身可以是对等点( 尽管是很庞大的对等点) ，或者可以只 担当索引服务而不作它用。 2 1 3 2 全分布式非结构化拓扑 图2 3 说明了另一种p 2 p 网络拓扑结构。它由许多地位完全相同的对等点组 成，这些对等点在功能上很类似。没有专门的中心节点。对等点必须使用它们所 在的网络来定位其它对等点；正如名称所暗示的，网络模型p 2 p 应用程序由一些 ( 通常是动态的) 对等点组成。没有一个对等点知道整个网络的结构或者组成网 络的每个对等点的身份。相反，对等点只知道直接与它们通信的对等点，它们通 过代理参与到大型网络中。 图2 3 全分布式非结构化拓扑模型 8 第二章基础知识 对等点必须合作完成任务。在许多环境中这种合作包括支持分布式查询、分 布式消息传递，甚至包括认证和授权行为。因为涉及通信量的多少，例如文件传 输这样需要大流量的网络操作通常直接发生在对等点之间，而不是通过对等点的 网络。如图2 3 中的网络。当对等点3 希望知道网络中另一个对等点的位置时，它 就发出一个查询请求并传递给邻居。这些邻居尝试满足这个请求。如果这些邻居 不能完全满足这个请求，就将请求传递给它们的邻居，以此类推。 要加入网络，一个对等点要找到愿意接受它为邻居的另一个对等点。但是， 当对等点本身还不是网络的一部分时，它如何找到网络中的另一个对等点呢? 一 个可能的解决方案是向这个对等点提供一个对等点列表，让其检查。对等点设法 联系列表上的对等点直到一个或多个对等点接受它为邻居。但是这个解决方案只 是一定程度上有效。因为p 2 p 网络动态性很强，所以任何静态列表都不太可能长 期有效。 在g n u t e l l a 应用中实现是这样开始：当其它对等点通过网络传播发送请求时， g n u t e l l a 捕获并持久地存储这些对等点的位置。当这些客户机关闭后又重新启动 时，它试图连接每个先前标识的对等点直到找到一个或多个仍在运行的节点。这 种方法，虽然自动化程度很高，但是脆弱而且低效。后来，通过添加对从中央缓 存下载活动对等点的列表的支持，改进了这种模式下的客户机。 由于非结构化网络将重叠网络认为是一个完全随机图，结点之间的链路没有 遵循某些预先定义的拓扑来构建。这些系统一般不提供性能保证，但容错性好， 支持复杂的查询，并受结点频繁加入和退出系统的影响小。但是查询的结果可能 不完全，查询速度较慢，采用广播查询的系统对网络带宽的消耗非常大，并由此 带来可扩展性差等问题。 另外，由于非结构化系统中的随机搜索造成的不可扩展性，大量的研究集中 在如何构造一个高度结构化的系统。目前研究的重点放在了如何有效地查找信息 上，最新的成果都是基于d h t 的分布式发现和路由算法。这些算法都避免了类似 n a p s t e r 的中央服务器，也不是像g n u t e l l a 那样基于广播进行查找，而是通过分布 式散列函数，将输入的关键字惟一映射到某个结点上，然后通过某些路由算法同 该结点建立连接。 2 1 3 3 全分布式结构化拓扑 全分布式结构化拓扑p 2 p 网络建立在d h t ( d i s t r i b u t eh a s ht a b l e ，分布式哈 希表) 的基础之上。分布式散列表( d h t ) 实际上是一个由广域范围大量结点共 9 电子科技大学硕士学位论文 同维护的巨大散列表。散列表被分割成不连续的块，每个结点被分配给一个属于 自己的散列块，并成为这个散列块的管理者。d h t 的结点既是动态的结点数量也 是巨大的，因此非中心化和原子自组织成为两个设计的重要目标。通过加密散列 函数，一个对象的名字或关键词被映射为1 2 8 位或1 6 0 位的散列值。 d h t 类结构能够自适应结点的动态加入腿出，有着良好的可扩展性、鲁棒性、 结点i d 分配的均匀性和自组织能力。由于重叠网络采用了确定性拓扑结构，d h t 可以提供精确的发现。只要目的结点存在于网络中d h t 总能发现它，发现的准确 性得到了保证，最经典的案例是t a p e s t r y ，c h o r d ，c a n ，和p a s t r y 。 d h t 类结构最大的问题是d h t 的维护机制较为复杂，尤其是结点频繁加入退 出造成的网络波动( c h u m ) 会极大增加d h t 的维护代价。d h t 所面临的另外一 个问题是d h t 仅支持精确关键词匹配查询，无法支持内容语义等复杂查询。 2 1 3 4 半分布式结构 半分布式结构( 有的文献称作h y b r i ds t r u c t u r e ) 吸取了中心化结构和全分布 式非结构化拓扑的优点，选择性能较高( 处理、存储、带宽等方面性能) 的结点 作为超级点( 英文文献中多称作：s u p e r n o d e s ，h u b s ) ，在各个超级点上存储了系统 中其他部分结点的信息，发现算法仅在超级点之间转发，超级点再将查询请求转 发给适当的叶子结点。半分布式结构也是一个层次式结构，超级点之间构成一个 高速转发层，超级点和所负责的普通结点构成若干层次。最典型的案例就是k a z a a 。 k a z a a 是现在全世界流行的几款p 2 p 软件之一。根据c a 公司统计，全球k a z a a 的下载量超过2 5 亿次。使用k a z a a 软件进行文件传输消耗了互联网4 0 的带宽。 之所以它如此的成功，是因为它结合了n a p s t e r 和g n u t e l l a 共同的优点。从结构上 来说，它使用了g n u t e l l a 的全分布式的结构，这样可以是系统更好的扩展，因为 它无需中央索引服务器存储文件名，它是自动的把性能好的机器成为s u p e r n o d e ， 它存储着离它最近的叶子节点的文件信息，这些s u p e r n o d e , 再连通起来形成一个 o v e r l a yn e t w o r k 由于s u p e r n o d e 的索引功能，使搜索效率大大提高。 半分布式结构的优点是性能、可扩展性较好，较容易管理，但对超级点依赖 性大，易于受到攻击，容错性也受到影响。下表比较了4 种结构的综合性能，比 较结果如表2 1 所示。 1 0 第二章基础知识 表2 1p 2 p 模型比较 比较标准拓扑 中心化拓扑 全分布式非结全分布式结 半分布式拓扑 结构构化拓扑构化拓扑 可扩展性差差好中 可靠性差好好 中 可维护性非常好非常好好中 发现算法效率最高 中 高中 复杂查询支持支持不支持支持 对应于不同使用目的，需要选择适当的网络拓扑结构，以适应不同的需求。 2 2v o d 相关协议与应用技术 v o d 服务的基础是流媒体服务。在研究设计v o d 服务器之前必须对流媒 体的相关协议有所了解【4 】1 5 】【“。 r t p ( r e a l t i m e t r a n s p o r t p r o t o c 0 1 ) 是用于i n t e m e t 上针对多媒体数据流的一种 传输协议。r t p 被定义为在一对一或一对多的传输情况下工作，其目的是提供时 间信息和实现流同步。r t p 通常使用u d p 来传送数据，但r t p 也可以在t c p 或 a t m 等其他协议之上工作。当应用程序开始一个r t p 会话时将使用两个端口：一 个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传送机 制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。通常r t p 算法 并不作为一个独立的网络层来实现，而是作为应用程序代码的一部分。实时传输 控制协议r t c p 。r t c p ( r e a i t i m e t r a n s p o r t c o n t r o l p r o t o c 0 1 ) 牙hr t p 一起提供流量控 制和拥塞控制服务。在r t p 会话期间，各参与者周期性地传送r t c p 包。r t c p 包中含有己发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务 器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合 传送网上的实时数据。 1 1 电子科技大学硕士学位论文 2 2 1r t p 数据传输协议 r t p 提供端对端网络传输功能，适合通过组播和点播传送实时数据，如视频、 音频和仿真数据。r t p 没有涉及资源预订和质量保证等实时服务，r t c p 扩充数据 传输以允许监控数据传送，提供最小的控制和识别功能。r t p 与r t c p 设计成独 立传输和网络层。 2 2 1 1r t p 固定头 r t p 头格式如下： i v = 2 p x lc cl mjp tl 系列号 同步源标识( s s r c ) 作用标识( c s r c ) i 开始1 2 个八进制出现在每个r t p 包中，而c s r c 标识列表仅出现在混合器插 入时。 2 2 1 2 复用r t p 连接 为使协议有效运行，复用点数目应减至最小。r t p 中，复用由定义r t p 连接 的目的传输地址( 网络地址与端口号) 提供。例如，对音频和视频单独编码的远 程会议，每个媒介被携带在单独r t p 连接中，具有各自的目的传输地址。目标不 在将音频和视频放在单一r t p 连接中，而根据s s r c 段载荷类型进行多路分解。 使用同一s s r c ，而具有不同载荷类型的交叉包将带来几个问题： 如一种载荷类型在连接期间切换，没有办法识别新值将替换那一个旧值。 s s r c 定义成用于标识单个计时和系列号空间。如媒体时钟速率不同，而要求 不同系列号空间以说明那种载荷类型有丢包，交叉复用载荷类型将需要不同计时 空间。 r t c p 发送和接收报告可能仅描述每个s s r c 的计时和系列号空间，而不携带 1 2 第二章基础知识 载荷类型段。 k t p 混合器不能将不兼容媒体流合并成一个流。 在一个r t p 连接中携带多个媒介阻止几件事：使用不同网络路径或网络资源 分配；接受媒介子集。 对每种媒介使用不同s s r c ，但以相同r t p 连接发送可避免前三个问题，但 不能避免后两个问题。 2 2 1 3 对r t p 头特定设置的修改 可以认为，现用r t p 数据包头对r t p 支持的所有应用类共同需要的功能集是 完整的。然而，为维持a l f 设计原则，头可通过改变或增加设置来裁剪，并仍允 许设置无关监控和记录工具起作用。标记位与载荷类型段携带特定设置信息，但 由于很多应用需要它们，否则要容纳它们，就要增加另外3 2 位字，故允许分配在 固定头中。包含这些段的八进制可通过设置重新定义以适应不同要求，如采用更 多或更少标记位。如有标记位，既然设置无关监控器能观察包丢失模式和标记位 间关系，我们就可以定位八进制中最重要的位。 其它特殊载荷格式( 视频编码) 所要求的信息应该携带在包的载荷部分。可 出现在头，总是在载荷部分开始处，或在数据模式的保留值中指出。如特殊应用 类需要独立载荷格式的附加功能，应用运行的设置应该定义附加固定段跟随在现 存固定头s s r c 之后。这些应用将能迅速而直接访问附加段，同时，与监控器和 记录器无关设置仍能通过仅解释开始1 2 个八进制处理r t p 包。如证实附加功能是 所有设置共同需要的，新版本r t p 应该对固定头作出明确改变。 2 2 2r t p 控制协议一r t c p r t c p 协议将控制包周期发送给所有连接者，应用与数据包相同的分布机制。 低层协议提供数据与控制包的复用，如使用单独的u d p 端口号。r t c p 执行下列 四大功能： 主要是提供数据发布的质量反馈。是作为r t p 传输协议的一部分，与其他传 输协议的流和阻塞控制有关。反馈对自适应编码控制直接起作用，但i p 组播经验 表明，从发送者收到反馈对诊断发送错误是致关重要的。给所有参加者发送接收 反馈报告允许问题观察者估计那些问题是局部的，还是全局的。诸如i p 组播等发 布机制使网络服务提供商类团体可能接收反馈信息，充当第三方监控者来诊断网 络问题。反馈功能由r t c p 发送者和接收者报告执行。 1 3 电子科技大学硕士学位论文 r t c p 带有称作规范名字( c n a m e ) 的r t p 源持久传输层标识。如发现冲突， 或程序重新启动，既然s s r c 标识可改变，接收者需要c n a m e 跟踪参加者。接 收者也需要c n a m e 与相关r t p 连接中给定的几个数据流联系 前两种功能要求所有参加者发送r t c p 包，因此，为了r t p 扩展到大规模数 量，速率必须受到控制。让每个参加者给其它参加者发送控制包，就大独立观察 参加者数量。该数量用语计算包发送的速率。 第四个可选功能是传送最小连接控制信息，如参加者辨识。最可能用在松散 控制”连接，那里参加者自由进入或离开，没有成员控制或参数协调，r t c p 充当 通往所有参加者的方便通道，但不必支持应用的所有控制通讯要求。高级连接控 制协议超出本书范围。 在i p 组播场合应用r t p 时，前3 个功能是必须的，推荐用于所有情形。r t p 应用设计人员必须避免使用仅在单播模式下工作的机制，那将导致无法扩展规模。 2 2 2 1r t c p 包格式 下面定义几个携带不同控制信息的r t c p 包类型： s r ：发送报告，当前