（通信与信息系统专业论文）基于p2p的视频点播系统uvod的研究与设计.pdf

重庆邮电大学硕士论文摘要 摘要 “，e e - ，一 随着网络流媒体应用日趋普及，用户对多媒体业务的需求越来越大，如何在因 特网上提供大规模的流媒体服务已成为流媒体研究的重点。传统的c s 模式，因为 、性能和带宽等原因服务器很容易成为系统瓶颈。m 组播将数据包进行复制采用组播 的方式发送给多个用户，这种方式虽然减少了服务器的压力但由于安全和管理等原 因难以在网络中广泛部署。c d n 分发网络由于部署成本过高难以广泛应用。在p 2 p 模式下，系统中的节点是对等的既接收服务又可以利用自身的资源为其它节点提供 服务，充分利用了系统中的空闲资源减轻了服务器的负载，提高了系统的扩展性。 目前，p 2 p 流媒体技术主要应用在视频直播和准点播系统中。由于点播系统某 些固有的特点使得p 2 p 流媒体技术应用在视频点播系统中面临更大的挑战。针对点 播系统的数据实时性、节点动态性、资源和请求异构性及v c r 等动态行为，本文 在资源节点定位、数据分发和覆盖网结构三个方面对现有的协议和算法进行了分析 和比较，并基于扩展性的考虑，设计了一个非结构化的p 2 p 视频点播系统u v o d 。 u v o d 系统采用数据驱动的方式构成非结构化的覆盖网络。在此基础上借鉴b t 在文件传输方面的成功经验，采用集中式方案进行资源节点定位减少节点的定位延 时，并通过在服务器端维护一个开放节点列表减少节点的启动延迟。进行节点定位 时，根据带宽优先和拓扑汇聚策略进行节点选择，降低覆盖网压力的同时保证节点 的流服务质量。为了改进视频播放连续性问题在进行数据调度时，提出一种高低优 先级调度策略。节点进行v c r 操作时根据拖放到的位置分别采用可控洪泛和集中 式定位方案进行资源节点的定位，降低t r a c k e r 压力的同时不影响用户的观看体验。 随后，通过理论分析得到服务器负载和节点规模无关，证明了u v o d 系统具有较高 的扩展性。在n s 2 仿真平台上搭建了u v o d 系统的仿真模型对源服务器压力、节点 启动延迟、节点视频播放连续度等系统性能进行仿真测试。仿真结果显示，本文设 计的u v o d 系统在扩展性、节点启动延迟、播放连续性等方面具有一定的优良性。 关键词：资源节点定位，数据调度，启动延迟，u v o d 重庆邮电大学硕士论文 a b s t r a c t a b s t r a c t w i t ht h ei n t e m e ts t r e a m i n gm e d i aa p p l i c a t i o n sh a sb e c o m ep o p u l a r , t h e r ea l e r e q u i r e m e n t so fm u l t i m e d i as e r v i c e ，h o wt op r o v i d el a r g e s c a l em e d i as e r v i c eo nt h e i n t e m e th a sb e c o m eac o r ei s s u ei nt h em u l t i m e d i ar e s e a r c ha r e a i nt h et r a d i t i o n a lc s s y s t e m , s e r v e rb e c o m e st h eb o t t l e n e c kd u et oi t sp e r f o r m a c ea n dl i m i t e db a n d w i d t h i p m u l t i c a s t r e p l i c a t i o nt h ep a c k e t st h e ns e n dt ot h e u s e r su s i n gm u l t i c a s tm e t h o d i p m u l t i c a s tr e d u c e st h es t r e s so fs e r v e rb u ti ti sd i f f i c u l tt od e p l o yi nt h en e t w o r kd u et o s e c u r i t ya n dm a n a g e m e n t c d ni s a l s od i f f i c u l tt od e p l o yd u et oi t s e x p e n s i v e d e p l o y m e n t s i np 2 ps y s t e m , n o d en o to n l yr e q u e s ts e r v i c eb u ta l s op r o v i d es e r v i c eu s i n g o w nr e s o u r c e s m a k ef u l lu s eo ft h ei d l er e s o u r c eo ft h es y s t e m ，t h es y s t e ms c a l a b i l i t yi s i m p o r v e d ， c u r r e n t l y , p 2 ps t r e a m i n gt e c h n o l o g y i s m a i n l y u s e di nl i v e s y s t e m a n d q u a s i - o n - d e m a n ds y s t e m p 2 p - b a s e dv i d e o - o n - d e m a n di san e wc h a l l e n g ef o rt h ep 2 p s t r e a m i n gt e c h n o l o g y a i m i n ga t d a t as e n s i t i v e ，n o d ed y n a m i cu p t i m e ，r e q u e s t a s y n c h r o n o u sa n dv c re t c ，w ea n a l y s i sa n dc o m p a r i s o ne x i s t i n gp r o t o c l sa n da l g o r i t h m f r o mt h r e ea s p e c t s ，l o c a t i n gs u p p l y i n gp e e l s ，m e d i ad a t ad e l i v e r y , a n do v e r l yt o p o l o g y a t l a s t , f o rt h ec o n s i d e r a t i o no fs c a l a b i l i t yd e s i g n e da l lu n s t r u c t u r e d - b a s e dp 2 pv o ds y s t e m u v o ds y s t e mu s e sd a t a - d r i v e nm e t h o dt of o r mt h eu n s t r u c t u r e do v e r l a yn e t w o r k b a s e do nb ts u c c e s s f u le x p e r i e n c e si nt h ef i l et r a n s f e r , c e n t r a l i z e dd i r e c t o r yl o c a t i n g s u p p l y i n gp e e r s m e t h o di sa d o p t e di nu v o dt or e d u c e t h el o c a t i n gd e l a y t r a c k e r m a i n t a i n sa l l o p e n l i s tt o r e d u c es t a r t u pl a t e n c y i np e e rs e l e c t i o nm e c h a n i s m , u s e b a n d w i d t hp 五o d 班a n dt o p o l o g ya g g r e g a t i o ns t r a t e g yt os e l e c ts u p p l y i n gp e e l s ，i nt h i s w a yn o to n l yr e d u c et h ep r e s s u r eo fo v e r l a yn e t w o r kb u ta l s oo fe n s u r et h et h es e r v i c e q u a l i t y i no r d e rt oi m p r o v et h ec o n t i n u i t yo fp l a y b a c k ，d u r i n gd a t as c h e d u l i n g ，an o v e l p r i o r i t ys t r a t e g y i si n t r o d u c e d w h e nv c r o p e r a t i o ni s e x e c u t e de i t h e rc e n t r a l i z e d d i r e c t o r yo rc o n t r o l l e df l o o d i n gm e t h o di sa d o p t e dt ol o c a t es u p p l y i n gp e e r sa c c o r d i n gt o t h ep a l y b a c kp o s i t i o n i nt h i sw a yr e d u c et h et r a c k e rs t r e s sw h i l ed on o ti m p a c tt h e e x p e r i e n c eo fu s e r t h e nt h et h e o r e t i c a la n a l y s i so fs e r v e rw o r k l o a dp o i n t so u tt h e r ei sn o r e l a t i o n s h i p b e t w ns e r v e rs t r e s sa n dn u m b e ro f p e e r s b u i l d i n gu v o ds y s t e m s i m u l a t i o nm o d e lb a s e do nn s 2 ，t h e ne x c u t ea n dg i v eap e r f a m e n c et e s to ns y s t e m r e l i a b i l i t y , s t a r t u pl a t e n c y , c o n t i n u i t yo fp a l y b a c k s i m u l a t i o nr e s u l t si n d i c a t et h a tu v o d i l 重庆邮电大学硕士论文 i sg o o di nr e l i a b i l i t y , s t a r t u pl a t e n c y , a n dp l a y b a c kc o n t i n u i t y k e yw o r d s ：l o c a t i n gs u p p l y i n gp e e r s ，d a t as c h e d u l e ，s t a r t u pl a t e n c y , u v o d i i i 重庆邮电大学硕士论文第一章绪论 1 1 研究背景及意义 第一章绪论 随着网络技术的发展，用户对网络的期望和要求也越来越高，已不满足于传统 的网页浏览、文件下载、即时通信等服务，而是希望能实时的观看视频节目。传统 的音视频多媒体应用需要将文件完全下载后再开始播放，下载过程常常要持续数分 钟甚至数小时，这些特点使得传统的音视频多媒体信息传输方式不能满足人们的实 时性要求，于是流媒体技术应运而生。流媒体技术最显著的特点是“边下载边播放 ， 用户不必等整个文件全部下载完后再观看，而只需要经过几秒或几十秒的启动延时 即可进行观看，文件的剩余部分还会从服务器上继续下载到用户的机器上。由于连 续性、实时性等优点，流媒体技术得到了飞速发展。目前出现了很多典型的流媒体 应用，如网络视频会议系统、视频直播系统和视频点播系统等。 传统的流媒体服务都是基于c s 模式的，由于流媒体应用具有持续时间长、占 用带宽大等特点，对服务器的存储空间和带宽资源要求较高。传统的c s 模式由于 服务器性能和带宽资源有限，在很大程度上阻碍了流媒体业务质量的提高和容量的 扩大。为了提高流媒体业务的质量和扩大流媒体业务的系统规模，业界提出了诸多 的解决方案。现有的解决方案主要有以下两种： 1 ) i p 组播技术【l 】：由组播路由器将一个数据包进行复制然后采用组播方式发送 给请求该数据包的多个用户。这种方法虽然减少了服务器的压力，但是由于p 组播 技术本身的安全性较差与难以管理等原因，现在多数服务提供商没有在路由器上开 通组播功能，所以p 组播技术无法实现大规模应用。 2 ) 内容分发网络 2 1 ( c d n ) ：源服务器通过网络将要传送的内容推送到距离用 户最近的网络节点即c d n 边缘代理服务器上，由边缘代理服务器为用户提供服务。 这种方法需要建立c d n 网络，部署成本较高。 然而，p 2 p 技术的出现，改变了传统的网络服务模式，在p 2 p 网络中每个节点 在接受服务的同时也向其它节点提供服务，使系统的服务能力随着用户数量的增加 而增加，具有较高的可扩展性，能够充分利用网络资源。p 2 p 系统采用节点自组织 的方式工作，能很好的适应节点的动态加入和退出，具有较高的容错性和数据高可 用性等优势。因此将p 2 p 技术引入到流媒体服务中，可以减轻服务器的负载，提高 系统的可扩展性。 重庆邮电大学硕士论文 第一章绪论 随着p 2 p 流媒体技术的发展，出现了视频直播、视频点播等流媒体服务。与视 频直播相比，视频点播可以满足用户任何时间观看任何节目的要求，所以视频点播 成为了p 2 p 流媒体应用的主流。p 2 p 视频点播中面临诸多挑战，如节点选择、数据 资源调度、激励机制、用户v c r 操作等。当前，针对这些挑战提出了很多的解决 方梨3 】【4 】【5 1 及原型系统【6 】【7 】【8 】，但是每个方案及原型系统都存在或多或少的缺陷。因 此，目前基于p 2 p 的视频点播流媒体服务仍然是研究的热点问题。 1 2 研究现状 近年来基于p 2 p 网络的流媒体服务体系引起了很多大学、国内外研究机构及商 业机构的重视。最早利用p 2 p 技术实现大规模流媒体直播的系统是w e b c a s t ，该系 统利用一棵二叉组播树在用户之间进行实时流媒体数据的传输。由于直播服务相对 简单所以首先得到快速发展。第一个可用的p 2 p 多播原型系统e s m ，该系统的用户 采用网状结构进行互连构造最优媒体数据多播树，通过这种方法在用户之间传播实 时的流媒体数据。虽然这套系统只能支持几千人同时在线，但是已经标志着p 2 p 流 媒体直播系统进入了系统发展期。在此之后大量p 2 p 多播系统和原型不断被提出。 其中比较典型的系统有斯坦福大学的p c c r c a s t 和德国的p 2 p r a d i o 系统。2 0 0 4 年5 月 欧洲杯期间，香港中文大学张欣研博士开发的c o o l s 仃e a i i l i l l g d o n e t l 9 j 直播系统在 p l a n e t l a b 网上试用获得成功。此后国内的视频直播系统发展迅速，比较有代表性的 是华中科技大学自主研发的a n y s e e 1 0 】直播系统和由华中科技大学的姚欣和上海聚 力传媒合作推出的p p l i v e 。 p 2 p 直播已经取得了相当成功，几乎没有人怀疑它的广阔前景。也就在这时， 很多公司，包括p p s t r e a r n 、p p l i v e 、u u s e e 、v e o h t v 、j o o s t ，推出了另一个更具 挑战性的业务p 2 p 点播。目前，虽然这些大型系统开始应用但它们在很大程度上 依赖于服务器或c d n ，因而普遍存在“成本过高、盈利困难 的问题。 1 3 论文主要工作及创新点 p 2 p 视频点播系统中面临着许多技术问题，如数据如何进行分发；节点对数据 如何进行缓存；节点如何加入、退出系统：节点如何快速的找到可用的资源节点， 保证播放的连续性和稳定性；节点如何维护彼此间的关系等。本文在对现有的视频 点播关键技术进行研究的基础上，借鉴b t 在文件传输方面的成功经验，进行视频 点播系统的设计。主要考虑系统的扩展性、健壮性，减少节点的启动延迟和等待延 迟，提高视频播放的连续性。主要研究内容包括下面三个方面： 2 重庆邮电大学硕士论文第一章绪论 覆盖网络的构建和维护：主要研究系统采用何种覆盖网结构，如何建立及 维护。 数据调度机制：节点如何根据自己及伙伴节点的缓存情况进行数据调度， 以确保视频播放的连续性。 节点加入、节点中断、v c r 操作时怎样进行资源节点定位。 本文主要的创新点表现在以下几个方面： 借鉴b t 文件共享的成功模式，引入基于非结构化网络传输拓扑，解决点 播系统中节点资源共享离散问题。采用集中定位方案减少节点的定位延时。 在t r a c k e r 端引入开放节点列表，降低节点加入时t r a c k e r 的筛选范围，从而 降低节点的启动延迟。 进行节点定位时，采用带宽优先和拓扑汇聚结合的方案进行节点选择。降 低覆盖网压力的同时保证节点的流服务质量。 为了改进视频播放连续度问题，在进行数据调度时，对现有的基于数据驱 动的调度算法进行改进，采用高低优先级策略。即数据调度时，优先调度 紧急度高和稀有数据分块以保证视频播放的连续性。 节点进行v c r 操作时，如果节点的v c r 操作拖放区间在节点i 的缓存区 间内，使用可控洪泛定位资源节点，如果超出则需要重新向t r a c k e r 发送资 源节点定位请求。 1 4 论文结构 论文总体结构大致分为四个部分：第一章绪论，概要介绍论文的主要内容和结 构；第二部分为理论研究部分，包括第二至第三章；第三部分为系统的总体设计及 仿真实现和测试，包括第四章至第五章；最后第六章进行全文总结。论文的具体内 容安排如下： 第一章介绍了p 2 p 流媒体应用的发展现状，并提出了p 2 p 流媒体技术应用于 视频点播系统的重要性及面临的挑战。随后给出了本文所要研究的内容及创新点。 第二章介绍了p 2 p 相关概念和现有的p 2 p 网络模型，对流媒体现有的传输和 控制协议作了相关介绍。最后介绍了视频编码技术。 第三章p 2 p 点播关键技术研究，介绍了现有p 2 p 视频点播中的覆盖网络拓扑 结构、资源节点定位方案及数据分发策略。并分析了各种方案和策略的优缺点，为 下面的系统设计提供依据。 第四章u v o d 视频点播系统的设计。在这一章首先说明了设计思路，并给出总 体设计方案。详细给出了系统中各个模块的设计，及节点在系统中的各种操作( 力口入、 3 重庆邮电大学硕士论文第一章绪论 退出、v c r 等1 执行过程。 第五章系统的仿真设计与测试，包括仿真平台的选择、u v o d 系统仿真模块的 实现、测试的内容和结果，然后对结果进行分析和评价，得出结论。 第六章总结与展望。对本文工作进行了总结，并对下一步研究进行展望。 4 重庆邮电大学硕士论文第三章相关技术介绍 2 1p 2 p 技术 第二章相关技术介绍 p 2 p ( p e e r - t o - p e e r ) 即对等网络，i n t e l 将p 2 p 定义为“通过系统间的直接交换 所达成的计算机资源与信息的共享，这些资源包括处理器资源、存储资源等。在 p 2 p 系统中每个节点的地位是相等的，即是服务的获取者又是其它节点的服务提供 者。节点之间可以相互通信，共享彼此的资源。将p 2 p 技术引入到流媒体服务中， 可以充分发挥系统中每个用户的作用，每个用户可以通过本地缓存部分视频数据为 系统中其它的节点提供服务，从而有效的减少服务器的负载和网络带宽的消耗。 相对于传统的c s 模式来说，p 2 p 技术具有下面的优点：资源利用率高，充分 利用了系统中各个节点的资源，减少因服务器容量和带宽而造成的系统瓶颈；可扩 展性高，节点数越多，可用资源越多；稳定性，不依赖中心服务器，只要有一定数 量的节点，网络就可以正常运转。近年来，用户的带宽化和计算机能力的提高，使 得p 2 p 技术的优势得到了更充分的发挥。目前p 2 p 技术广泛的应用在文件共享 ( n a p s t e r ) 、即时通信( s k y p e ) 、流媒体系统( p p l i v e ) 等方面。 p 2 p 网络的特点是资源分布在系统中的节点上，节点动态性较强，频繁的加入 和退出网络，目前的相关研究主要集中在合理的p 2 p 网络模式、资源节点定位等方 面。目前，p 2 p 的网络模式主要有三种【l l 】： 集中式p 2 p 网络 集中式p 2 p 网络由一个中心服务器来负责记录共享信息以及回答对这些信息的 查询。采用集中式方式进行资源节点定位的过程如下：首先目录服务器维护所有节 点的信息，如口地址、可用带宽、存储的文件索引等。当节点请求下载某个文件时， 服务器通过查找把存储有该文件的节点地址返回给请求节点，请求节点直接和该节 点建立连接进行文件下载。 集中式网络虽然采用了中心服务器但是它与传统的c s 模式不同。c s 模式是 所有资料都放在服务器上，客户端直接从服务器上读取信息而各客户端之间不具有 交互能力。在集中式p 2 p 网络中，资源是存放在客户端上的，服务器只保留索引信 息，客户端相互交互获得相应的资源。这种模式实现和部署都较为简单，但是当中 心服务器负载过重时可能出现单点失效问题。用于共享m p 3 音乐文件的n a p s t e r 是 这种模式的典型代表。 5 重庆邮电大学硕士论文 第二章相关技术介绍 节点b 图2 1 集中式p 2 p 网络 分布式p 2 p 网络 分布式p 2 p 网络是一种纯p 2 p 模式的网络，这种网络不需要中心服务器，网络 中的每个节点地位平等。每个节点既是客户机又是服务器。这种网络根据节点组织 结构的不同可以分为非结构化网络和结构化网络。 非结构化网络采用随机图的组织方式来形成一个松散的网络，这种结构对网络 的动态变化有较好的容错能力并且支持复杂查询，因此具有较好的可用性。 图2 2 非结构化p 2 p 网络 这种结构典型的代表是g n u t e l l a ，它和n a p s t e r 最大的区别是g n u t e l l a 没有中心 服务器，它采用完全随机图的洪泛式搜索和随机转发机制，采用类似妒数据包中的 t t l 机制来决定是否继续转发消息，1 凡大于0 则转发，否则丢弃消息，每经过一 个节点1 1 咀减l ，使用消息序列号来检查是否收到过该消息，如果是则丢弃该消息 不予转发。网络中每个节点维护一部分其它节点的信息这部分节点称为邻居节点， 当请求某一资源时，节点首先把消息发送给它所有的邻居节点，邻居节点把消息转 6 重庆邮电大学硕士论文第二章相关技术介绍 发给它的邻居节点，实现洪泛式查询。每个节点收到查询消息时查询自己是否拥有 所请求的文件，如果有则向请求节点发回一个q u e r y h i t ( 查询命中) 消息。之后两个 节点直接建立连接进行文件传输。 在非结构化网络中采用f l o o d i n g 方式传播搜索请求，网络额外开销比较大，随 着p 2 p 网络规模的扩大，网络开销呈指数级增长。搜索请求遍历整个p 2 p 网络需要 经过很多跳，完整的获得搜索结果延迟比较大。 完全分布式结构化p 2 p 网络采用分布式哈希表( d h t ) 技术对网络中的节点进行 组织。每个节点的p 地址通过散列运算得到一个唯一节点标识符( n o d et o ) ，资源 对象通过散列运算产生一个唯一的资源标识符( k e y ) ，资源存储在n o d ei d 与之相等 或相近的节点上。需要查找该资源时，采用同样的方法定位到存储有该资源的节点。 d h t 结构化p 2 p 网络能够适应节点动态性的加入和退出，具有良好的可扩展性、顽 健性、节点d 分配均匀和自组织能力。但其维护机制较为复杂，节点频繁加入或 退出网络会极大的增加d h t 的维护代价。同时d h t 不支持内容语义等复杂查询。 比较经典的案例有t a p e s t r y ，p a s t r y ，c h o r d 和c a n 。 混合式p 2 p 网络 图2 3 混合式p 2 p 网络 混合p 2 p 模型的思想是，把整个p 2 p 网络建成一个二层结构，由普通节点和超 级节点组成，一个超级节点管理多个普通节点形成一个自治的簇，超级节点直接使 用g o s s i p 协议构成完全分散式模型。节点的查询请求首先发送给它所在簇的s n ， s n 在簇内进行索引，发送符合查询条件的资源后返回该资源所在节点的m 和端口 号，否则将请求发送给其他的s n 直到成功或满足某停止转发的条件。超级节点的 选取算法也影响混合p 2 p 网络的服务质量。这种混合式p 2 p 网络的典型代表是 s k y p e 。 7 重庆邮电大学硕士论文 第二章相关技术介绍 2 2 流媒体技术 流媒体应用最大的特点是传输数据量大且实时性要求很高。传统的t c p 协议， 是面向连接的协议，其三次握手机制加大了网络传输延迟，不能保证较高的实时性 要求，且其重传机制和拥塞机制也都不太适用于流媒体的文件传输。u d p 是面向无 连接的协议，虽然不如t c p 可靠，且不能保证业务的实时需求，需要r t c p 来监控 实时数据传输，保障服务质量。但是，相比t c p ，u d p 的传输时延要小，能够更好 的配合音频视频文件的传输。 实际应用中，一般用t c p 来传输数据及控制信令，而r t p 、r t c p 、u d p 用于 传输音视频流媒体。目前为止，主要有三种用于支持流媒体文件传输的协议：r t p ( 实 时传输协议) 、r t c p ( 实时传输控制协议) 和r t s p ( 实时流协议) 。流媒体协议栈如 图2 4 所示。 p r o t o c o ls t a c k s d a 协p l a n e c o n t r o lp l a n e 士一匡圉l 旦堕雪匡宴j 2 2 1 实时传输协议 图2 4 流媒体协议栈 实时传输协议【1 2 】( r t p ) ：用来为数据提供实时的点对点的传输服务，是一种应 用型传输协议，r t p 通常使用u d p 来传送数据，也可以在t c p 或a t m 等其他协议 上工作。 重庆邮电大学硕士论文第二章相关技术介绍 由于r t p 是通过底层服务实现发送机制及q o s 保证，故r t p 不能保证文件传 达的可靠性以及流量的拥塞控制机制，所以和r t c p 一起使用来提供流量控制和拥 塞控制服务。r t p 和r t c p 配合使用，能以有效的反馈和最小的开销使传输效率最 佳化，因而特别适合传送网上的实时数据。 其工作机制如下： r t p 协议提供了时间标签、序列号及其他用于控制实时数据流的结构。发端根 据实时采样文件，在数据包里标记了时间标签，而接收端收到数据后会按照时间标 签的顺序依照正确的速率恢复成原来的实时数据。其本身并不负责同步，只负责传 输，同步留给应用层来完成。 r t p 与u d p 共同完成传输功能时，u d p 不用管理传输时间顺序，只负责传输 数据包。r t p 的数据单元是用u d p 协议分组进行承载的。 2 2 2 实时传输控制协议 r t c p 是r t p 的一个姐妹协议，r t c p 为r t p 媒体流提供通道外控制，其本身 并不传输数据，但和r t p 一起协作打包和发送多媒体数据。r t c p 定期在流媒体会 话参与者之间传输控制数据。它的主要功能是为r t p 提供的服务质量提供反馈。 r t c p 负责管理传输质量，交换当前应用进程间的控制信息。 r t c p 工作机制：当开始一个r t p 会话时，将使用两个端口，一个分给r t p ， 另一个分给r t c p 。r t p 依赖r t c p 来提供一些服务，如：按一定顺序传输数据包 时提供的可靠的传送机制，流量控制，拥塞控制等。r t p 会话期间，各个参与者会 周期性的发送r t c p 数据包，包里含有一些已经发送的数据包的数量及丢失的数据 包的数量等统计资料，用来传送监听服务质量及交换会话用户的信息等。 2 2 3 实时流协议 r t s p 是一种流媒体串流协议，主要是用来控制音视频文件。能够允许同时控 制多个串流内容，用于传输的网络通信协议等不包括在内，服务可以自行选择使用 哪种传输协议如：t c p 或u d p 来传输串流内容，并不要求时间同步，能够忍受网 络延迟。能够降低服务器端的网络用量，支持多方视频会议。由于其余h 1 限1 1 协 议的运行方式相似，故r t s p 也同样适用于代理服务器的缓存功能，又因r t s p 具 有重新导向功能，能够根据实际的负载状况转换新的服务器，避免了同一服务器的 负载过于集中造成网络延迟现象。 9 重庆邮电大学硕士论文第二章相关技术介绍 实时流协议+ ( r t s p ) 能够同时建立并控制一个或若干个同步连续的音视频流媒 体文件。能够充当流媒体服务器的网络远程控制功能，r t s p 提供了可以扩展的框 架，用来实现控制实时音视频数据及其是否按需传送。当r t s p 控制多个会话时， 提供了可选的发送通道如：u d p 、组播u d p 及t c p 等方式，同时也提供了基于r 1 1 p 的发送机制方法。 2 2 4 资源预留协议 r s v p ( r e s o u w , er e s e r v a t i o np r o t o c 0 1 ) 是一种用于互联网上的质量整合服务的协 议。路由器也是通过使用r v s p 发送q o s 请求给所有节点，同时建立并维持此状态 用以提供再次的请求服务。r s v p 的请求通常使得每个节点上的数据进行资源预留。 由于这种资源请求是单方向的，故即使应用程序相同，同一机器可能同时既担 任发送者也担任接收者，r s v p 对发送与接收在逻辑上是有区别的。 r s v p 运行在i p v 4 或i p v 6 上层，不传输应用数据，但支持网络控制协议， 如i c m p 、i g m p 或者路由选择协议。与路由选择及管理类协议的实施一样，r s v p 也是在后台进行运作，而并非在数据转发的路径上。 r s v p 的工作机制如下： 发送端在发送流媒体数据前会先发送一个p a t h 报文，该报文中包含数据流的标 示符( i d ) 及其他的控制类信息，然后与接收端建立传输链路。途经的路由器都会 记下这一流标示符i d ，做好保留资源的准备。接收端收到p a t h 报文后，使用相同 的i d 发回一个r e s v 报文应答。该应答报文也会沿着同一途径发回给发送端，并在 经过各个路由器时对p a t h 报文指定的q o s 进行确认。之后双方就会建立传输链路 进行数据传输，途径的各个路由为该传输数据保留资源，并按q o s 提供转发服务。 2 3 视频编码技术 视频编码技术是视频点播系统的一个关键技术。视频编码主要指视频的压缩编 码，其标准主要有i t u t 和i s o i e c 。i t u t 发布的视频会议标准有h 2 61 、h 2 6 2 、 h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 。i s o i e c 公开的m p e g 系列标准有m p e g 1 、m p e g 2 、 伊e g _ 4 和m p e g 7 。 h 2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可视电 话应用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预测和可减 少空间冗余的d c t 变换的混合编码方法。和i s d n 信道相匹配，其输出码率是 p x 6 4 b i t s 。p 取值较小时，只能传清晰度不太高的图像，适合于面对面的电视电 1 0 重庆邮电大学硕士论文第二章相关技术介绍 话；p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视图像。h 2 6 3 建议的 是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充，支持码率小于6 4 k b i t s 的 应用。但实质上h 2 6 3 以及后来的h 2 6 3 + 和h 2 6 3 + + 已发展成支持全码率应用的建 议，从它支持众多的图像格式这一点就可看出，如s u b - q c i f 、q c i f 、c i f 、4 c i f 甚 至1 6 c i f 等格式。 m p e g 1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) 质量的图像， 是为c d r o m 光盘的视频存储和播放所制定的。m p e g 1 标准视频编码部分的基本算 法与h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v l c 游程编码等措 施。此外还引入了帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概 念，进一步提高了编码效率。在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、 兼容数字电视等方面做了一些改进，例如它的运动矢量的精度为半像素；在编码运 算中( 如运动估计和d c t ) 区分”帧”和”场”；引入了编码的可分级性技术，如空间 可分级性、时间可分级性和信噪比可分级性等。近年推出的m p e g - 4 标准引入了基 于视听对象( a v o ：a u d i o v i s u a lo b j e c t ) 的编码，大大提高了视频通信的交互能力 和编码效率。m p e g - 4 中还采用了一些新的技术，如形状编码、自适应d c t 、任意 形状视频对象编码等。但是m p e g - 4 的基本视频编码器还是属于和h 2 6 3 相似的一类 混合编码器。m p e g 在高压缩比的情况下，仍能确保高质量画面，最适于视频v o d 的存储、点播和网上传输。而m p e g - 4 更是一种面向对象、基于内容的压缩编码标 准，侧重于多媒体系统的交互性和灵活性。 2 4 本章小结 本章介绍了p 2 p 的概念及现有的三种网络模式集中式、分布式和混合式。随后 介绍了流媒体的传输协议和控制协议。最后介绍了视频点播中的关键技术，视频编 码技术。 重庆邮电大学硕士论文第三章p 2 p 视频点播关键技术研究 第三章p 2 p 视频点播关键技术研究 在流媒体应用中使用p 2 p 模式可以有效的扩展系统的规模，现有的基于p 2 p 模 式的流媒体应用主要集中在视频直播这一方面并出现了一系列比较优秀的p 2 p 直播 系统，如p p l i v e 、a n y s e e 、c o o l s t r e a m i n g 、p r o m i s e 、z i g z a g 、s p l i t s t r e a m 等。相 对于视频直播来说，在视频点播系统中，节点服务能力有限并且存在差异，节点频 繁的加入和退出系统，点播的实时性对时限要求比较严格，用户频繁的v c r 操作 等特点，使得p 2 p 流媒体点播系统的设计要面临更大的挑战。 针对上面的这些问题，现有的p 2 p 点播系统一般从两个方面提出解决办法：资 源节点定位和数据分发策略。资源节点定位是指节点加入系统或进行中断恢复( 节点 退出、节点失效、v c r 操作) 时如何快速的找到可以为其提供服务的源节点：数据 分发策略主要关注数据在p 2 p 网络中的分发过程，涉及到数据的调度算法、节点缓 存区的结构等内容。因为覆盖网络拓扑决定了节点定位和传输调度规则，所以首先 研究现有的覆盖网络拓扑。 3 1 覆盖网络拓扑 对于p 2 p 流媒体分发系统而言，p 2 p 覆盖网络拓扑决定了节点定位和传输调度 规则。现有的p 2 p 流媒体模型根据覆盖网络拓扑可以分成两种：结构化和非结构化。 3 1 1 结构化覆盖网 结构化p 2 p 网络大多数是基于树状模型的，根据组播树的多少可以分为单树和 多树两种。p 2 c a s t 1 3 1 和p 2 v o d 1 4 1 都是基于单树模型的。其中p 2 c a s t 采用集中式定位 方式维护节点，并依次将视频数据从父节点发送给子节点。在p 2 v o d 中提出可变缓 存和“代 的概念，由目录服务器和系统中的节点共同维护节点请求。这种单树结 构维护较为简单但是存在下面的缺点：一是公平性，在这种单树模型中，视频数据 总是从父节点“推送到子节点。系统中的叶子节点不需要共享或转发任何视频数 据，中间节点最少需要向两个子节点转发数据。叶子节点的增长速度远大于中间节 点，所以随着节点规模和树的深度的增加，空闲的叶子节点越来越多。系统中的中 间节点几乎承担了整个系统的负载，系统负载严重失衡：二是稳定性，系统中每个 节点只和它的父亲节点相连，如果父亲节点失效或因为拥塞等原因造成链路损坏， 1 2 重庆邮电大学硕士论文第三章p 2 p 视频点播关键技术研究 子节点及它所有的后代都将中断，需要执行中断恢复程序；三是限制性，为了降低 树的深度减少维护开销，我们希望每个节点尽可能的为多个子节点服务，但是在实 际网络中中间节点因为输出带宽有限，限制了系统的扩展性。 针对单树模型的上述缺点，提出了基于多树的分发策略，在源服务器端对视频 进行编码产生多个可以单独解码的子流。这些子流沿着不同的树的进行传输，一个 节点既可以是一棵树中的叶子节点也可以是另一棵树中的中间节点。当一棵树中出 现中断节点时，仍然能够从另一棵树接收和播放视频数据。该策略有效的利用了系 统中所有节点的资源，提高了系统分发的速率和吞吐量。但是增加了系统的维护负 载。 3 1 2 非结构化覆盖网 和结构化分发网络相反，非结构化p 2 p 网络不依赖于特定的覆盖网网络拓扑。 每个节点可以从多个伙伴节点获取视频数据，所以当某个伙伴节点离开或失效时节 点仍可以从其它节点处获得视频数据从而降低了节点离开或失效带来的视频传输中 断。这种结构不需要维护复杂的网络结构，也不需要对视频数据进行编解码，降低 了节点动态性带来的影响。但每个节点只维护系统中节点的部分视图难以实现全网 优化。h o n 、b a s s 、b i t o s 等点播系统都是采用非结构化覆盖网进行数据分发的。 h o n 把g o s s i p 协议和树形覆盖网结合起来集成了结构化和非结构化两种分发拓扑， 充分利用了树形覆盖网的低延迟性和m e s h 网络的扩展性，但同时也继承了两种覆 盖网拓扑的缺点：管理维护较为复杂和协议开销较大。 表3 1 对两种分发网络在扩展性、负载均衡、网络稳定性、系统实现等方面进 行了比较【1 5 】。 表3 1 点播系统分发网络拓扑比较 特点结构化分发网络非结构化分发网络 单树结构多树结构 扩展性差中好 网络稳定性差好好 负载均衡 差 好好 协议开销 小 中大 视频延迟小 中 中 实现简单 复杂简单 基于单树的点播系统因为采用树形拓扑，所以系统的扩展性和网络稳定性都较 1 3 重庆邮电大学硕士论文第三章p 2 p 视频点播关键技术研究 差，但是这种系统一般都采用集中定位方式，所以可以有效减少协议开销，视频的 传输时延也较低。基于多树的系统将视频进行编码形成多个码流在多棵组播树上进 行传输，因此网络的稳定性和负责均衡性能较好，但是系统需要维护多棵组播树， 所以部署过于复杂。非结构化分发网络采用多源方式为节点提供视频数据传输，并 且节点可以实时的替换伙伴节点，所以扩展性较好，但是节点之间要进行大量的信 息交互所以协议开销较大，且增加了视频的传输时延。 1 3 2 资源节点定位策略 在p 2 p 流媒体系统中，资源节点定位是节点加入系统观看节目和接收视频数据 的前提。直播系统中，节点加入到系统中观看某个节目是同步的即现在播放到哪里 就从哪里看起，点播系统中节点加入系统后发送异步请求要求从节目的开始处观看 并且节点可以进行v c r 操作来观看自己感兴趣的片段，这给资源节点定位提出了 更高的挑战。目前，常见的点播系统如p 2 v o d 、p 2 c a s t 等，实现了异步请求和中断 恢复但是不支持v c r 操作，属于准点播系统。一个真正的p 2 p 点播系统在下面三 种情况下执行资源节点定位程序：节点加入、节点中断恢复、v c r 操作。现有的视 频点播系统中常用的资源节点定位方案主要有【1 6 】：集中目录式( c e n t r a l i z e dd i r e c t o r y ) 、 分级覆盖网( h i e r a r c h i c a lo v e r l a y ) 和可控洪泛( c o n t r o l l e df l o o d i n g ) 。 3 2 1 集中目录式 集中目录式是最简单最普通的一种资源节点定位方案。在这种方案中目录服务 器需要维护所有系统节点的全局信息，包括节点的口地址、可用带宽、f a n - o u td e g r e e 、 视频段标识等。目录服务器的m 地址是已知的，节点向目录服务器发送资源定位请 求后，目录服务器运行相关查找算法为节点提供候选节点列表。节点离开系统时， 向目录服务器