（计算机软件与理论专业论文）基于peercast的p2p流媒体技术研究与设计.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 近年来，流媒体逐渐成为互联网应用的主流。传统的流媒体服务主要采用 “客户端一服务器 模式，服务器以单播的方式和每个客户建立连接，而由于流 媒体服务处理的是多媒体数据，具有高带宽、持续时间长等特点，随着用户数 目的增加，服务器端的资源如带宽、处理能力等很快被消耗完，成为系统瓶颈 所在。因此，研究p 2 p 流媒体技术对解决流媒体服务器端的瓶颈问题具有重要 的意义。 为了更深入地研究p 2 p 流媒体技术，本文对目前p 2 p 流媒体领域最具代表 性的开源项目- p c e r c 邪t 系统进行了深入分析，在系统相关文档及资料比较缺 乏的情况下，通过反复实验、输出日志及代码分析的研究方法，了解了其内部 机制及实现原理，并发现了p e e r c a s t 在断线重连机制及节点选择机制上存在的 问题，针对这些问题，提出了改进的方案，并对提出的改进方案进行了实现和 效果测试。 论文主要从两方面对p e e r c a s t 进行了改进：一是p e e r c a s t 的断线重连机制； 二是p e e r c a s t 的节点选择机制。通过对p e e r c a s t 进行断线重连实验发现，p e e r c a s t 传输树中某一节点断开，其下游传输树完全解散，各自重新寻找新的传输源， 一方面单个节点重连时间长、重连命中率不高，另一方面需要重建传输树，造 成了网络整体服务质量的不稳定，本文提出并实现了一个改进的断线重连方案， 经时间复杂度比较及实验效果对比，改进方案在重连速度、重连命中率、网络 稳定性等方面均优于原机制。此外，通过对p e c r c a s t 原有的节点选择机制进行 分析发现，p e c r c a s t 在对同类节点进行筛选时，比较的n u m h o p s 参数仅仅代表 该节点在数据传输树中的逻辑距离，并未代表节点间的实际物理距离，针对该 问题，提出了基于物理延迟的节点选择机制，并进行了实现及效果测试，证明 了改进方案的可行性及优越性。 最后，对论文所做的工作进行了总结并对未来进一步的研究工作进行了展 望。 关键词：p 2 p 流媒体：应用层组播；p e e r c a s t ：断线重连；物理延迟 a b s t r a c t ， i nr e c e n ty e a r s ，s t r e a m i n gm e d i ah a sg r a d u a l l yb e c o m et h em a i nc o n s u m p t i o no f m eh l t e n l e t c o n v e n t i o n a ls t r e a m i n gm e d i a s e r v i c e m a i n l y w o r k sb yt h e c l i e n t s e r v e r ”m o d ci nw h i c ht h es e r v f f f c o n n e c t se a c hc l i e n ti nau n i c a s tw a y h o w e v a st h ei n f o r m a t i o np r o c e s s e db y t h es t r e a m i n gm e d i as y s t e m1 5m u l t i m e d i a d a t aw h i c hh a sm et r a i t so fh i g hb a n d w i d t ha n dl o n gd u r a t i o n ，t h er e s o u r c g sl i k e b a i l d w i d m ，p r o c e s sa b i l i t y a n ds oo no nt h es e r v e rs i d ew i l lb ec o n s u m e da w a y 日j c l d 舅w h i c hb e c o m e st h eb o t t l e n e c ko f t h ew h o l es y s t e m 。t h e r e f o r e ，r e s e a r c h i n g p 2 ps 仃e a m i n gm e d i at e c h n o l o g yt a k e sa l li m p o r t a n ts i g n i f i c a n c ef o r s o l v i n gt h e s e r 、，e fs i d eb o t t l e n e c kp r o b l e mi nt h es t r e a m i n gm e d i aa p p l i c a t i o n h lo r d e rt ot a k ead e e pi n s i g h ti n t op 2 ps t r e a m i n gm e d i at e c h n o l o g y , t h i st h e s i s t 郴m a d ea ni n d e p t ha n a l y z a t i o no ft h en o wm o s tr e p r e s e n t a t i v eo p e n - s o u r c ep r o j e c t o fp 2 ps t r e a m i n gm e d i at e c h n o l o g y p e e r c a s t i nt h ec o n d i t i o no fl a c k i n gc 伽f c 1 a t i v ed o c u m t s ，i t si n t e r n a lm e c h a n i s ma n dr e a l i z a t i o np r i n c i p l ei sl e a r n e db y u s i n g r e s e a r c hn l e m d sl i k ee x p e r i m e n t i n gr e p e a t e d l y o u t p u t i n gl o g s a n da n a l y z i n gt h e c o d e s 锄ds o m ep r o b l e m sw i t hi t s d i s c o n n e c t & r e c o n n e c tm e c h a n i s ma n dn o d c - s e l e c t i n gm e c h a n i s m a r ed i s c o v e r e d t os o l v et h e s ep r o b l e m s ，i m p r o v e ds c h e m e sa r e r a i s e d ，a n df u r t h e r m o r er e a l i z e da n dt e s t e d t h i sm e s i sh a sm a i n l yi m p r o v e dp e e r c a s tf r o mt w oa s p e c t s ：t h ef i r s t i si t s d i s c o n n e c t r e c o n n 。c tm e c h a n i s m ；t h es e c o n d i si t sn o d e - s e l e c t i n gm e c h a n i s m a c c o r d i n gt ot h er e s u l t so f t h ed i s c o n n e c t & r e c o n n e c te x p e r i m e n t ，i fo n e n o d emt h e d 眦a 们n s m i t t i i 培t r e eo fp e e r c a s tq u i t s ，t h ed o w n r i v e rt r a n s m i t t i n gt r e ew i l lt o t a l l y d i s n l i s s 雒da l lt h ed o w n r i v e rn o d e sb e g i nt os e a r c hf o rn e ws o u r c e sr e s p e c t i v e l y t h i sr e s u l t si n t om a n yp r o b l e m s ：0 1 1o n eh a n d ，t h er e c o n n e c t i n gt i m et a k e nb ye a c h s i n g l en o d ei sl o n ga n dt h er e c o n n e c t i n g s u c c e s sp r o b a b i l i t yi sl o w ；o nt h e o t h e rh 狮d ， “i r l v o l v e sr i e b u i l d i n gt h et r a n s m i t t i n gt r e ew h i c hw i l lc a u s es e r v i c eq u a l i t yi n s t a b i l i t y o ft 1 1 ew h o l en e t w o i k i nt h i st h e s i s ，a ni m p r o v e dd i s c o n n e c t & r e c o n n e c ts c h e m e l s r a i s e da l l di ti sp r o v e db yt i m ec o m p l e x i t yc o m p a r i s o na n dr e s u l t so fc o m p a r a t i v e e x p 砸m e i l t st h a tt h ei m p r o v e ds c h e m ea d v a n c eo v 叮t h eo r i g i n a l s c h e m ei nt h e a s p e c t so fr e c o n n e c t i o ns p e e d ，r e c o n n e c t i o n s u c c e s sp r o b a b i l i t y , n e t w o r ks t a b i l i t ya i l d 西南交通大学硕士研究生学位论文第页 s oo n b e s i d e s ，b ya n a l y z i n gt h eo r i g i n a ln o d e - s e l e c t i n gm e c h a n i s mo f p e e r c a s t ，i ti s d i s c o v e r e dt h a tt h ec o m p a r i s o np a r a m e t e r “n u m h o p s ”u s e di nt h eh o m o c a t e g o r y n o d es e l e c t i o no n l ys t a n d sf o rt h el o g i c a ld i s t a n c eb e t w e e nn o d e si n t h ed a t a t r a n s m i t t i n gt r e e ；i td o e s n ts t a n df o rt h ea c t u a lp h y s i c a ld i s t a n c eb e t w e e nn o d e s t o s o l v et h i sp r o l c m ，an o d e - s e l e c t i n gs c h e m eb a s e do np h y s i c a ld e l a yi sr a i s e da n d f u r t h e r m o r er e a l i z e da n dt e s t e d ，i nw h i c ht h ef e a s i b i l i t ya n ds u p e r i o r i t yo ft h e i m p r o v e ds c h e m ei sp r o v e d i nt h ee n d ，t h ew o r kd o n ei n t h i st h e s i si sc o n c l u d e da n dt h ef u r t h e rr e s e a r c h w o r ki nt h ef u t u r ei sl o o kf o r w a r d k e yw o r d s ：p 2 ps t r e a m i n gm e d i a ；a p p l i c a t i o nl a y e rm u l t i c a s t ( a l m ) ；p e e r c a s t ； d i s c o n n e c t & r e c o n n e c t ；p h y s i c a ld e l a y 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密d 使用本授权书。 ( 请在以上方框内打“4 ) 学位论文作者签名：辛勿i 雪 日期：二舶矽芗2 d 指导老师签名： 日期：锄峭子、 事? 锄， i j - z - o 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所 得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 一、通过对p e e r c a s t 进行断线重连的实验，发现了p e e r c a s t 在断线重连机 制方面存在的问题，提出了改进的断线重连方案，并进行了实现及效 果测试。通过对原机制和改进机制进行时间复杂度比较和实验效果对 比，证明了改进机制相对于原机制的优越性。 二、通过对p e e r c a s t 的节点选择机制进行分析及实验验证，发现了p e e r c a s t 在节点选择机制方面存在的问题，提出了基于物理延迟的节点选择机 制，并进行了实现及效果测试。 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1课题背景与意义 1 1 1 互联网流媒体应用遇到的问题 近年来，随着i n t e r a c t 的普及及信息技术的发展，流媒体逐渐成为互联网应 用的主流，根据国外相关应用市场调查表明，有超过半数的网民经常使用流媒 体，因此宽带应用的主体变成了“流媒体 而非网页。然而视频和音频资源数 据量大，对服务器端网络的带宽、服务器的性能要求很高，严重阻碍了“流媒 体 业务的发展。 传统的流媒体服务主要采用“客户端一服务器 模式，服务器以单播的方式 和每个客户建立连接，由于流媒体服务具有高带宽、持续时间长等特点，随着 用户数目的快速增加，服务器端的资源如网络带宽、处理能力等很快被消耗完， 成为系统瓶颈所在【l 】。针对该问题，现有的解决办法有如下三种： ( 1 ) 使用服务器集群，提高整个流媒体服务系统的性能；网络方面，通过 增加光纤提高出口带宽【2 】； ( 2 ) 使用分布式系统。采用c d n t 3 】技术，通过代理服务器的复制将流媒体 数据分散到各地，用户就近访问； ( 3 ) 口组播【4 】【5 】。 前两种方法都从一定程度上增大了流媒体服务系统的容量，但是仍然不能 满足目前庞大的用户群。而且，这两种方式都以昂贵的硬件成本和系统的复杂 度为基础，使得流媒体的成本太高，昂贵的成本成为了阻碍其大规模部署的主 要因素。而口组播技术由于自身的种种限制，如很难实现可靠性组播和拥塞控 制及其协议的复杂性等，也没有得到广泛的应用【6 】。 1 1 2 基于p 2 p 技术的解决方案 如何解决流媒体服务系统中服务器端的瓶颈问题，充分利用现有的计算机 资源和宽带网络资源普及流媒体这种资源消耗严重的业务? p 2 p 技术就是我们 的答案。p 2 p 技术通过系统间的直接交换达成计算机资源与信息的共享，将p 2 p 技术应用于流媒体传输，必然能够解决服务器端网络带宽和服务器能力限制的 西南交通大学硕士研究生学位论文第2 页 障碍。 p 2 p 模式的流媒体服务技术是相对于目前c s 模式的流媒体服务技术而言 的。c s 模式只使用服务器的资源为用户提供服务，因此其质量和容量受到服务 器性能和服务器端处理能力及网络资源的限制。而p 2 p 模式彻底更新了这种模 式，它不仅能用服务器的资源，同时能合理地使用用户计算机的空闲资源，用 户在享受流媒体节目的同时，也在利用自身计算机所空闲的资源为其他用户提 供着服务。因而整个流媒体服务系统的资源不仅仅是服务器资源，还同时包括 用户的空闲计算机资源，用户数增多，消耗的资源多了，但是新增的用户又提 供了新的资源。因此，使用p 2 p 技术使提供高质量和大容量的流媒体服务成为 可能，而且由于对服务器的能力和服务器端网络带宽没有太高的要求，在建立 整个系统时不用增加服务器和网络基础设施等设备，成本反而降低了。 p 2 p 模式的流媒体服务系统并不改变现有的流媒体传输协议，甚至可以不必 改变现有的系统，而只需增加新的模块和功能，p 2 p 模式的流媒体服务系统只需 在现有流媒体服务系统的基础之上，改变c s 模式下的服务方式和数据传输路 径，在底层物理网络上构成一个应用层的覆盖网络( o v e r l a yn e t w o r k r 1 ) 。 1 2基于p 2 p 流媒体技术的p e e r c a s t 系统 1 2 1 系统简介 p e e r c a s t 8 】【9 】系统是美国s t a n f o r d 大学p e e r - t o 。p e e r 研究小组的研究成果，是 p 2 p 流媒体技术的典型代表，系统采用c + + 语言编写，目前己在i n t e r n e t 上得到 了初步应用。p e e r c a s t 采用一个单根树结构，通过建立一个以媒体源为根节点的 应用层组播树实现数据分发，如图1 1 所示。系统中所有节点在逻辑上组成一棵 分发树，每个节点服务一定个数的节点，系统的数据分发流程按照该分发树的 拓扑结构由上至下分发。 每个节点在任何时刻都只与一个父节点建立连接，同时向被连接的父节点 报告自己的存在，然后从被连接的父节点获取数据。为了减少拓扑结构的动态 变化对播放质量的影响，它采用了冗余连接的方式，当不能获得数据时，它从 自己的缓存节点中随机选择节点尝试连接【1 0 】。 p e e r c a s t 在数据传输路径上采用推的机制，但是它引入了存储转发的机制 西南交通大学硕士研究生学位论文第3 页 使得结点有更多的时间去调整这棵树的结构从而达到较好的质量。p e e r c a s t 可 用于音视频广播，单频道用户数可达上百人。 。鼙i _ 誊謦i i 矮。瀛 簿c 渗聱，- 蕊每 蕊j 蛰蘑蕊! 番一蕊 图1 - 1p e e r c a s t 中数据分发树结构图 1 2 2 存在问题 p e e r c a s t 虽然在i n t e r n e t 上已得到了应用，但由于它是一个实验的产品，而 不是一个稳定的商业版本，所以无论在稳定性还是性能上都存在很多不完善之 处，比如p e e r c a s t 节点在加入和离开时，整个网络适应节点动态变化的能力较 差。经实验发现，当上游节点断开时，下游的数据传输树全部解散，节点各自 寻找新的传输源，一方面造成网络负担增大，另一方面下游需要重建传输树， 重建过程耗费的时间长且造成了整个流媒体服务网络的不稳定，大大降低了媒 体服务质量。 此外，经分析及实验发现，在节点选择、传输树的平衡等方面，p e e r c a s t 也存在很多有待完善的地方。 1 3主要研究内容 为了更深入地研究p 2 p 流媒体技术，作者对目前p 2 p 流媒体技术的典型代 表p e e 心a s t 进行了深入分析，结合研究目标，主要做了以下工作： 1 学习p 2 p 技术、流媒体技术、基于p 2 p 的流媒体技术、应用层组播技术 的相关知识，调研现有的应用层组播技术的研究成果。 2 深入分析p e e r c a s t 源代码，通过反复实验、输出日志及代码分析等研究 方法，研究其系统框架、核心代码执行流程、p c p 协议及内部机制、频道管理、 西南交通大学硕士研究生学位论文第4 页 节点管理、连接管理等功能模块的原理及实现。 3 利用现有的实验环境对p c e r c a s t 进行了断线重连实验，通过分析实验过 程中产生的日志并进一步分析p e e r c a s t 源码，发现了p e e r c a s t 断线重连机制存 在的问题； 4 提出了一个改进的断线重连方案，并对改进方案进行了实现、时间复杂 度比较及实验效果对比，证明了改进方案的可行性及优越性。在该改进方案中， 提出了上游向下游广播，使下游保存上游有效节点，增加重连命中率的新思想。 5 通过对p e e r c a s t 原有的节点选择机制进行分析及实验，发现了p e e r c a s t 在节点选择机制上存在的问题，针对该问题，提出了基于物理延迟的节点选择 方案，并进行了实现和效果测试。 1 4 论文结构安排 本论文由以下六个部分组成： 第一章：绪论，介绍课题的选题背景与意义，简要介绍p 2 p 流媒体技术的 典型代表- p e e 庀嬲t 系统及其存在的问题。 第二章：p 2 p 流媒体相关技术概述，分别介绍了p 2 p 原理与技术、流媒体技 术和应用层组播技术，并对基于应用层组播技术的p e e r c a s t 系统进行了简要介 绍。 第三章：p e e r c a s t 深入分析与研究，分析了p e e r c a s t 核心代码执行流程、p c p 协议及内部机制、频道管理、节点管理、连接管理等功能模块的原理及实现。 第四章：p e e r c a s t 断线重连机制的改进，对p e e r c a s t 进行断线重连实验， 通过分析实验过程中产生的日志并进一步分析p e e r c a s t 源码，发现了p e e r c a s t 断线重连机制存在的问题，提出了一个改进的断线重连方案，并对改进方案进 行了实现及效果测试，证明了改进方案的可行性。并通过进一步对改进机制和 原机制进行时间复杂度比较及实验效果对比，证明了改进机制的优越性。 第五章：p e e r c a s t 节点选择机制的改进，通过对p e e r c a s t 原有的节点选择机 制进行分析及实验，发现了p e e r c a s t 在节点选择机制上存在的问题，针对该问 题，提出了基于物理延迟的节点选择方案，并进行了实现和效果测试。 结论，对论文所做的工作进行了总结，并对未来进一步的研究工作进行了 展望。 西南交通大学硕士研究生学位论文第5 页 第2 章p 2 p 流媒体相关技术概述 2 1p 2 p 原理与技术 随着网络技术的飞速发展和i n t e m e t 在社会生活各个领域中的广泛应用和迅 速普及，信息量和用户数量与日俱增，使得现有的c s 模式无法满足和支持大 规模的网络应用，由此产生了p 2 p 技术。p 2 p 技术改变了人们使用网络的方式， 它可以有效地均衡负载，充分地利用i n t e r n e t 边缘的闲置资源，包括计算、存储 和带宽等，具有很好的自组织能力和可扩展性，财富杂志将其列为影响i n t e r n e t 未来的四项科技之一【l 。 p 2 p 计算并不是一个全新的技术，早在1 9 6 9 年i n t e r n e t 的前身a r p a n e t 刚出现的时候，网络的应用模式就是p 2 p ，计算机对等相连共享网络资源。随着 i n t e r n e t 规模的剧增，为了便于管理，很多应用逐步演变成层次式和c s 模式。 直到1 9 9 9 年，共享音乐m p 3 的软件n a p s t e r 的流行才使得p 2 p 重新受到关注， 之后出现了g n u t e l l a 和今天的b t ，p 2 p 应用越来越深入人心。目前p 2 p 技术已 广泛应用于文件共享、对等计算、协同工作、即时通信等诸多领域，p 2 p 是未来 网络的关键技术。 2 1 1p 2 p 基本概念 2 1 1 1p 2 p 的概念 p 2 p 是p e e r - t o p e e r 的缩写 1 2 】，p e e r 在英语里有“( 地位、能力等) 同等者 、 “同事”和“伙伴”等意义。这样，p 2 p 就可以理解为“伙伴对伙伴”的意思 13 1 ， 即端对端对等网络技术【1 4 】，是一种用于不同计算机用户之间，不经过中继设备 直接交换数据或服务的技术，在对等网络中，每个节点的地位都是相同的，具 备客户端和服务器双重特性，可以同时作为服务使用者和服务提供者【l5 1 ，系统 中的用户能够意识到彼此的存在，并构成一个虚拟或实际的群体【1 6 1 。 2 1 2p 2 p 网络体系结构 p 2 p 网络是构建于现存的底层物理网络基础之上的网络，所以又称为p 2 p 覆盖网络( o v e r l a yn e t w o r k ) 【1 7 1 【1 8 1 。p 2 p 网络体系结构通常有两种划分标准， 西南交通大学硕士研究生学位论文第6 页 一种是按照服务器的集成度来划分，另一种是按照p 2 p 网络的拓扑结构进行划 分【1 9 】。 按照服务器的集成度即网络中是否存在中央服务器的标准，可将p 2 p 网络 划分为集中式p 2 p 网络、完全分布式p 2 p 网络和混合式p 2 p 网络，如图2 1 所 示。 禽 图2 - 1 按服务器的集成度划分的耽p 两络 口：服务器；o ：节点；：超级节点 ( a ) 集中式p 2 p 网络，( b ) 完全分布式p 2 p 网络，( c ) 混合式p 2 p 网络 ( 1 ) 集中式p 2 p 网络。该网络存在一个中央目录服务器，目录服务器负 责管理和维护网络中所有节点的目录信息。它不像传统的c s 模式那样把所有 节点的信息都保存在中央目录服务器上，它的服务器只存储每个节点的索引信 息，而节点的所有具体信息都保存在节点本身。集中式p 2 p 网络的典型代表是 n a p s t e r l 2 0 1 。 ( 2 ) 完全分布式p 2 p 网络。该网络与集中式p 2 p 网络的主要区别就是不存 在中央目录服务器，网络中所有节点在功能上是对等的，既是客户机又是服务 器，节点通过与其邻居节点之间的连接组成整个网络，不再需要中央服务器的 协调。完全分布式网络中的节点称为s e r v e n t ，s e t v e n t 一词来源于s e r v e r + c l i e n t ， 它代表既有客户机的功能，又有服务器的功能。完全分布式p 2 p 网络的典型代 表是g n u t e l l a t 2 i 】。 ( 3 ) 混合式p 2 p 网络。该网络融合了集中式p 2 p 网络和完全分布式p 2 p 网 络的优点而形成。在混合式p 2 p 网络中，选择网络中那些具有较高带宽、较大 内存和较强的c p u 处理能力的节点作为“超级节点，超级节点可以存储其周围 一部分节点的数据信息，作为这些节点的中央服务器，那么这部分网络就相当 于这些节点的中央服务器，那么这部分网络就相当于集中式p 2 p 网络，而且这 些超级节点再以完全分布式的方式互相连接构成一个p 2 p 网络，称为混合式p 2 p 网络。混合式p 2 p 网络中超级节点的选择是动态的，它们同普通节点一样可以 西南交通大学硕士研究生学位论文第7 页 随时离开网络，一旦网络发现某个超级节点不再工作，就会采用另一种选择机 制重新选择一个高性能的节点担任超级节点。混合式p 2 p 网络的典型代表是 k a z a a 2 2 1 。 p 2 p 网络按照其覆盖网络的拓扑结构可划分为非结构化p 2 p 网络和结构化 p 2 p 网络，如图2 2 所示。 ( 1 ) 非结构化p 2 p 网络。该网络中节点随机地连接在一起，节点之间的连 接是不规则的，无需遵循特定的原则，这种结构的网络具有很强的动态性，每 个节点保存的是自身共享的文档。节点的命名标识仍然采用p 地址，内容( 通 常指文件) 的存放与覆盖拓扑完全无关。 ( 2 ) 结构化p 2 p 网络。该网络中的节点连接成规则的拓扑结构，节点的加 入和退出需要遵循一定的原则。结构化p 2 p 网络在口地址之上添加了新的命名 层n o d e i d ( 由安全散列函数得来) ，整个覆盖网组织严格，文件存放在指定的地 方，每个节点存储的文档不一定是自身共享的或感兴趣的，节点和文档之间存 在一个映射关系，通过查询路由表可以高效的到达有指定内容的节点。 一围 ，t b ) 图2 - 2 非结构化p 2 p 网络( ) 和结构化p 2 p 网络( b ) 2 1 3p 2 p 技术在流媒体传输中的应用 作为“边下载，边播放”的媒体播放方式，流媒体服务特别适合采用p 2 p 方式在网络上传送，原因如下： ( 1 ) 流媒体文件体积较大，同时对带宽要求较高，采用集中式的发布方式 对中心服务器的带宽以及数据处理能力要求极高； ( 2 ) 流媒体欣赏者只关心自己所观看的或听到的那部分流媒体数据，而对 其余不在其感知范围的数据不感兴趣； ( 3 ) 个人p c 性能及其网络带宽的进步，已经可以支持流媒体数据在本机 的编码、解码、转发等功能。 出于以上几点理由，p 2 p 技术在流媒体领域的应用具有广阔的应用前景，例 西南交通大学硕士研究生学位论文第8 页 如视频会议、网络教学、远程监控、视频广播等领域【2 3 1 ，基于p 2 p 技术的流媒 体服务系统，由于不采用集中式传输方案，服务器压力大大减少，克服了服务 器端的瓶颈问题，同时充分利用了网络中客户计算机的空闲资源，而无需增加 服务器和网络基础设施等设备，大大提高了整个流媒体服务系统的性价比。 2 2 流媒体技术 2 2 1 流媒体的基本概念 2 2 1 1概念 流媒体是从英语s t r e a m i n gm e d i a 中翻译过来的，它是一种可以使音频、视 频和其它多媒体文件能在i n t e m e t 及i n t r a n e t 上以实时的、无需下载等待的方式 进行播放的技术。简单来说就是应用流技术在网络上传输的多媒体文件，所以 说流媒体属于多媒体，只不过将多媒体信息经过流化处理后，放到服务器上， 让用户可以一边下载一边观看、收听，而不需要等整个压缩文件下载到自己的 机器后才可以收看。该技术先在使用者端的电脑上创造一个缓冲区，于播放前 预先下载一段资料作为缓冲，当网络实际连线速度小于播放速度时，播放程序 可以取用这一小段缓冲区内的资料，避免播放中断。流媒体技术是一个综合的 技术，它包括信息的采集、编码、传输、储存、解码等多项技术【2 4 1 。 2 2 1 2实现环节 流媒体的实现包括制作、发布、传播和播放四个环节。 制作环节：运用编码工具，将采集到的音视频信号进行压缩编码，转换成 流格式。 发布环节：在普通的多媒体文件中加入流式信息以适合流式传输，采用专 门的流媒体发布平台，完成流媒体的发布。 传输环节：流媒体传输的实现需要合适的传输协议。一般采用h t r p t c p 来传输控制信息，而用r t p 、r t c p 、r t s p 等网络协议传输实时流媒体数据。 播放环节：流媒体到达接受端后，首先进行缓冲以减小延迟和抖动的影响， 并保证数据包的顺序正确，之后进行音视频数据解码，采用同步算法，播放流 媒体。 2 2 1 3网络发布形式 西南交通大学硕士研究生学位论文第9 页 流媒体的网络发布主要有两种形式：点播和广播。 点播：将制作好的流媒体节目存储在媒体服务器上，该媒体服务器可以 是流媒体服务器也可以是普通的w e b 服务器，用户可以在任何需要的时候观看 流媒体文件。 广播：又可分为实时广播和非实时广播两种。 实时广播：用户收看的是现场发生的事件，例如在央视网站上收看春节晚 会的现场直播。 非实时广播：由媒体服务器将制作好的流媒体文件在特定时间同时向预定 的多个用户传送。与实时广播相同的是，用户同样只能在特定的时间收看特定 的内容，不能进行快进等操作。不同的是，收看的是预先制作好的节目，不是 现场直播的节目。 2 2 2 流媒体的传输 首先，多媒体数据必须进行预处理才能适合流式传输。其次，流式传输的 实现需要缓存。再次，流式传输的实现需要合适的传输协议。实现流式传输有 两种方法：实时流式传输( r e a l t i m es t r e a m i n g ) 和顺序流式传输( p r o g r e s s i v e s t r e a m i n g ) 。一般说来，如视频为实时广播，或使用流式传输媒体服务器，或应 用如r t s p 的实时协议，即为实时流式传输。如使用h t t p 服务器，文件即通过 顺序流发送。采用哪种传输方法依赖具体的需求。当然，流式文件也支持在播 放前完全下载到硬盘【2 5 1 。 2 2 2 1传输协议 i e t f ( i n t e m e t 工程任务组) 是i n t e r n e t 规划与发展的主要标准化组织，已 经设计出几种支持流媒体传输的协议。主要有用于i n t e r a c t 上针对多媒体数据流 的实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 、与r t p 一起提供流量控制 和拥塞控制服务的实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o l p r o t o c 0 1 ) 、定义了一对多的应用程序如何有效地通过疋网络传送多媒体数据的 实时流协议r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 。常见的流媒体协议还有：i n t e m e t 上的资源预订协议r s v p ( r e s o u r c er e s e r v ep r o t o c 0 1 ) 、访问w i n d o w sm e d i a 发 布点上单播内容的m m s ( m i c r o s o rm e d i as e r v i c e s ) 协议【2 6 1 、媒体描述协议s d p ( s e s s i o nd e s c r i p t i o np r o t o c 0 1 ) 。 西南交通大学硕士研究生学位论文第1 0 页 2 2 2 2顺序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给 定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺 序流式传输不像实时流式传输在传输期间根据用户连接的速度做调整。 由于标准的h t t p 服务器可发送这种形式的文件，也不需要其他特殊协议， 它经常被称作h t t p 流式传输。顺序流式文件是放在标准h t t p 或f t p 服务器 上的，易于管理，基本上与防火墙无关。顺序流式传输比较适合高质量的短片 段，不适合长片段和有随机访问要求的视频，它也不支持现场广播，严格说来， 它是一种点播技术。 2 2 2 - 3实时流式传输 实时流式传输指保证媒体信号带宽与网络连接匹配，使媒体可被实时观看 到。实时流与h t t p 流式传输不同，它需要专用的流媒体服务器与传输协议。 实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快 迸或后退以观看前面或后面的内容。 实时流式传输必须匹配连接带宽，而且，由于出错丢失的信息被忽略掉， 网络拥挤或出现问题时，视频质量很差。如欲保证视频质量，顺序流式传输会 更好。实时流式传输需要特定服务器，如q u i c k t i m es t r e a m i n gs e r v e r 、r e a ls e r v e r 与w i n d o w sm e d i as e r v e r 。这些服务器允许用户对媒体发送进行更多级别的控 制，因而系统设置、管理比标准h t t p 服务器更复杂。实时流式传输还需要特 殊网络协议，如r t s p 或m m s 。 2 2 3 流媒体文件格式 由于流媒体系统中处理的主要是实时性要求比较高的媒体信息，比如，音 频节目、视频节目和动画等。这些媒体的数据量大，通常要经过压缩之后生成 一定格式的文件去掉冗余的信息再进行传输，这些格式就是压缩媒体格式，如 m p e g 、a v i 等。 要将这些媒体在网上实时传输，就需要把这些压缩文件进行必要的流化处 理，分割成若干块后进行传输，这就是媒体流格式，如r i l l 、a s f , w m a 、w m v 等。 在网上传输还需要将一定的格式告诉用户，这就是媒体发布格式。目前网上主 要有三大公司的三种流格式，分别是r e a l s y s t e m 的r e a l m e d i a 文件格式，微软 西南交通大学硕士研究生学位论文第1 1 页 高级流格式a s f ，q u i c k t i m e 电影( m o v i e ) 文件格式。 2 2 3 1压缩媒体文件格式 压缩格式有时被称为压缩媒体格式，包含了描述一段声音和图像的同样信 息，尽管它的文件大小被处理得更小。在压缩媒体文件再次成为媒体格式前， 其中数据需要解压缩。常见的压缩文件格式有：m o v 、m p g 、m p 3 、w a v 、a i f , s n d 、 a u 、a v i 等。 2 2 3 2 流式文件格式 动画、音频、视频等虽然可以直接播放在网上，但文件偏大，要等完全下 载后才能观看。流式文件格式经过相应格式的特殊编码，将一个资料( 动画、 影音等) 分段传送，使其适合在网络上边下载边播放，用户不必等待整个内容 下载完毕，就能观看到即时的连续的内容，甚至可以随时地暂停、快进、快倒。 不同公司发展的文件格式不同，传送的方式也有所差异，主要有以下几种流媒 体格式： 1 r e a l v i d e o 的r i l l 视频格式、r a 音频格式、印流式图片和r t 流式文本格式 2 m i c r o s o f tm e d i at e c h n o l o g y 的硒f 格式 2 7 】 3 q u i c k t i m e 的q t 、m o v 格式 4 f l a s h 的s w f 格式 5 m e t a s t r e a m 的m t s 格式 6 a u t h o r w a r e 的a a l t l 多媒体教学课件格式 2 2 3 3媒体发布格式 媒体发布格式不是压缩格式，也不是传输协议，其本身并不描述视听数据， 也不提供编码方法。媒体发布格式是安排视听数据的一种方式，与物理数据无 关，只说明了媒体数据类型和安排方式。常用的媒体发布格式有：a s f , s m i l 、r a m 、 r p m 、a s x 、x m l 等。 2 2 4 流式技术的主要解决方案 流媒体领域的巨大市场前景，使得众多厂商倾力投入其中，在此领域展开 了激烈的竞争。到目前为止，i n t e r n e t 上使用较多的流媒体格式主要有r e a l n e t w o r k s 公司的r e a ls y s t e m 、m i c r o s o f t 公司的w i n d o w sm e d i at e c h n o l o g y 和 a p p l e 公司的q u i c k t i m e ，它们是网上流媒体传输系统的三大主流。 西南交通大学硕士研究生学位论文第1 2 页 2 2 5 流媒体技术的应用 流媒体应用可以根据传输模式、实时性、交互性粗略地分为多种类型。传 输模式主要是指流媒体传输是点到点的方式还是点到多点的方式。点到点的模 式一般用单播( u n i c a s t ) 传输来实现，点到多点的模式一般采用组播( m u l t i c a s t ) 传输来实现；实时性是指视频内容源是否实时产生、采集和播放；交互性是指 应用是否需要交互，即流媒体的传输是单向的还是双向的。 常见的流媒体应用有：( 1 ) 远程教育；( 2 ) 宽带网视频点播；( 3 ) 互联网 直播；( 4 ) 视频会议：( 5 ) 视频监视；( 6 ) i n t e r n e t1 v ；( 7 ) 电视上网；( 8 ) 视 频广播：( 9 ) 音乐播放；( 1 0 ) 在线电台等。总之，目前基于流媒体的应用非常 多，发展非常快，丰富的流媒体应用对用户有很强的吸引力。 2 3 应用层组播技术概述 应用层组播( a l m ，a p p l i c a t i o nl a y e rm u l t i c a s t ) 2 8 】 2 9 】【3 0 】【3 1 】是p 2 p 应用于 流媒体领域所采用的主要方式，它将请求同一节目的用户归为一组，把组播的 功能从网络层转移到应用层，每个流媒体用户都是p 2 p 网络中的一个节点。应