（教育技术学专业论文）p2p技术在网络教学直播系统中的应用研究.pdf

摘要 基于互联网的p 2 p ( p e e r - t o - p e e r ) 技术又称为对等网技术，是一种网络体系结构，是在系统各 成员之间直接进行交换来共享计算机资源和服务的一种应用模式。p 2 p 网络有中心化p 2 p 、结构 化p 2 p 和非结构化p 2 p 这三种结构，目前应用在文件共享、对等计算、搜索引擎、协同工作、 即时通信等领域。 最近几年，流媒体应用得到了广泛的发展，然而媒体的质量并不是非常高，主要原因在于 i n t e m e t 的原始设计主要是为了满足端对端系统的需求，传统的基于单播的传输方式很容易导致 服务器端的性能瓶颈，并不能有效的支持流媒体的大规模数据分发。因此，为了提高i n t e m e t 上 流媒体直播的o o s ，研究人员提出了基于p 2 p 网络的媒体分发技术：p 2 p s t r e a m i n g ，即把组播的 功能从网络层移到了应用层。 本文首先介绍了p 2 p s t r e a m i n g 的技术框架以及目前一些p 2 p s t r e a m i n g 的典型模型，分析了 现有的方案中存在的问题与不足。然后提出了一个改进的p 2 p s t r e a m i n g 模型，该模型融合了p 2 p 技术和c s 技术的优点，可以在网络带宽效率、延时和可靠性三者之间做出更好的权衡。通信模 型采用混合式p 2 p 结构。服务器本身不存放任何资源，它只是帮助节点之间建立p 2 p 虚拟通道， 节点之间的通信不通过服务器中转。 改进型p 2 p s t r e a m i n g 通过c s 的方式组织节点而通过p 2 p 的方式分发数据，这使得此系统 易于实现，并且有较强的健壮性、扩展性以及带宽适应性。本研究以p 2 p 流媒体技术为基础构 建了一个网络教学直播系统的框架，并将该框架作为一个网络直播服务系统的支撑模型，并基本 完成了基于此改进型p 2 p s t r e a m i n g 模型的直播系统的设计与实现。该模型并不是用米取代目前 网络教学直播系统的采用的c ，s 结构。而是作为c 俗结构的一种辅助和补充。 关键字：p 2 p s t r e a m i n g 、流媒体、直播 n 东南大学硕士学位论文 a b s t r a c t f 2 p ( p e e r - t o - p e e oi sak i n d o fn e t w o r ka r c h i t e c t u r e s c o m p u t e r sc a l ls h a r er c s o u r v 2 sa n ds e r v i c e s w i t ho t h e rc o m p u t e r sd i r e c t l yi np 2 pn e t w o r k s t h e r ea l et h r e ed i f f e r e n ts t r u c t u r e sf o rp 2 pn e t w o r k s ： c e n t r a l i z e dp 2 p , s t r u c t u r e dp 2 pa n du n s t r u c t u r e dp 2 p p 2 ps o l v e ds e v e r a lt y p e so fa p p l i c a t i o n so n n e t w o r k ：f i l es h a r i n g ，p 2 pc o m p u t i n g ，s e a r c he n g i n e ，c o o p e r a t e dw o r ka n di n s t a n tm e s s a g i n g n o w a d a y s ，m u l t i m e d i as t r e a m i n gi sh i g h l yi m p r o v e do v e rt h ei n t e r n e t h o w e v e r , t h es t r e a m i n g q u a l i t yi sg e n e r a l l yu n s a t i s f a c t o r y f o rl a r g e s c a l a b l eb r o a d c a s t i n g ，t h et r a d i t i o n a li n t e r n e tm o d e lo f p o i n t - t o - p o i n tu n i c a s tc o m m u n i c a t i o nd o e sn o ts c a l e i no r d e rt oi m p r o v et h eq o so fs t r e a m i n go v e r t h ei n t e r a c t ，m e d i ao v e rp 2 pn e t w o r ki sp r o p o s e d f i r s t , w eg a v ea l lo v e r v i e wo ft h ep 2 p s t r e a m i n gt e c h n i c a lf i a m e w o r ka n ds u m m a r i z e ds e v e r a l c l a s s i c a lm o d e l sa b o u tm e d i as t r e a m i n gi np 2 pn e t w o r k s t h e n , t h i sp a p e rp r e s e n t san e w p 2 p s t r e a m i n gm o d e l ：i m p r o v e dp 2 p s t r e a m i n g i m p r o v e dp 2 p s t r e a m i n gt r i e s t oa c h i e v eab e t t e r t r a d e - o f f , b yl e v e r a g i n gt h ea d v a n c e si nb o t hp 2 pa n dc s t h ec o m m u n i c a t i o nm o d e li sb a s e do n s t r u c t u r e dp 2 pa r c h i t e c t u r e s e r v e r st h e m s e l v e sd on o td e p o s i ta n yr e s o u r c p 咯t h e yo n l yh e l pt h ep e e r s t oe s t a b l i s hp 2 pv i r t u a lc h a n n e l sa n dd on o tr e l a yt h ed a t ab e t w e e np e e r s t h ei m p r o v e dp 2 p s t r e a m i n gm a n a g ea l ln o d e st h r o u g ht h ec o n c e n t r a t e ds e v e r , a n dd i s t n l o u t et h e m e d i ad a t ao i lt h ep 2 pn e t w o r k s oi t i se a s yt oi m p l e m e n t , r o b u s t ，s c a l a b i l i t ya n dh e t e r o g e n e i t y a d a p t i v e t h i sp a p e rh a sm a d er e s e a r c ha n di m p l e m e n t a t i o nt oap 2 p b a s e dn e t w o r kc o m m u n i c a t i o n m o d e la st h ef o u n d a t i o np l a t f o r mo ft h en e t w o r ke d u c a t i o ns y s t e m w ec o m p l e t e dt od e s i g na n dc a r r y o u tt h el i v es y s t e m 诵t l lt h i si m p r o v e dp 2 p s t r e a m i n gm o d e l t h i sm o d e li sn o tt ot a k ep l a c ew i t l it h e c sn e t w o r ke d u c a t i o ns y s t e m ，i ti st h ea s s i s t a n ta n dc o m p l e m e n t a r i t i e sf o rc sn e t w o r ke d u c a t i o n s y s t e m k e y w o r d s ：p 2 p s t r e a m i n g ，m u l t i m e d i as t r e a m i n g ，l i v e i i i 东南大学硕士学位论文 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅 和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名： 盏l 叁导师签名： l 门1 一 f 日期：矿，i t b 东南大学硕士学位论文 1 1 课题背景 1 1 1 网络教育现状 第1 章绪论 网络教育是一种基于互联网的传播手段进行学习与教育的一种新型的教育培训方式i l j 。计算 机技术、多媒体技术和通信技术的发展，特别是因特网( i n t e r n e t ) 的发展和普及，为网络教育提供 了丰富的教育手段和教育资源，网络教育的自主性、开放性等特点导致了庞大的网络教育用户群 体。据国内市场调研机构艾瑞市场咨询的调查统计，中国网络教育市场规模在2 0 0 4 年就达到1 4 4 亿元人民币，网络教育用户达6 5 5 万人；2 0 0 6 年中国网络教育市场规模达到了刨纪录的2 0 2 亿 元，比上年增长2 3 。艾瑞市场咨询预测2 0 0 7 年中国网络教育市场将达到2 9 6 亿元，用户达到 1 0 5 4 万人。网络教育市场前景广阔，研究网络教育技术的意义不言而喻。 1 1 2 现有产品的形式和特点 我国的网络教育总体仍处于起步阶段【1 l ，其现有形态主要包括以下几种1 2 1 ： 1 ) 虚拟学校 虚拟学校是现代远程教育的主要形态，是依托原有的实体学校建立起来的，由原有的学校出 资设计，借助原有的教学力量，形成网络学校。学生通过网络进行学习，学习的方式有网上课堂、 b b s 提问、网上答疑和电子邮件发送作业等。 2 1 学习社区 学习社区是以群体学习为基础的网络教育，它不像传统的学校那样把教师的讲授作为主要的 学习方式，而是以网络社区为学习的园地，以b b s 上的讨论为学习的主要方式。学习社区常常 以专业为单位，一个专业内根据学科划分为若干园地，网络的学习区域相对固定，学生人数相对 不稳定，学习时间非常的灵活。 3 ) 教育网站 教育网站是很重要的一种网络教育形态，学生通过教育网站下载课件和试题库，通过教育网 站在线学习和名师答疑，通过教育网站考试。学习内容主要有同步课堂、在线练习、学习方法指 导、解答问题、学校资料库等。 对现有网络教育形态做一下总结，就可以发现，这些网络教育系统都是基于c s 或者b ，s 结构，教育资源位于中央服务器上，学员通过客户端( 或浏览器) 学习。如果学员之间想互相交流， 消息必须经过服务器的转发。这种形式的优点是可以容易地实现用户管理和安全控制等功能，系 统可维护性好：缺点是这些系统普遍存在着交互性差、个性化差、实时性差、服务器负载大等问 题，未能充分利用互联网带来的沟通方便和资源丰富等特点。 1 2p 2 p 技术 p 2 p ( p e e rt op e e r ) 技术是近几年来兴起的一种网络，它一经兴起就掀起了一种应用的热潮。 p 2 p 是一种用于不同p c 用户之间、不经过中继设备直接交换数据或服务的技术。p 2 p 技术模式 第1 章绪论 弱化了服务器的作用，甚至取消服务器f 3 】。所有接入p 2 p 网络的设备都作为一个对等点而组成一 个对等网，各对等点既可作为信息的提供者( 服务方) ，也可作为信息的消费者( 客户方) 。各对等 点之问可任意通信而不需通过服务器的中转。每个人可以直接连接到其他用户的计算机，并进行 文件的交换，而不需要连接到服务器上再进行浏览与下载。 1 2 1p 2 p 全新的网络计算模式 p 2 p 是p e e rt op e e r 的缩写，p e e r 解释为：“同等者( 指地位、能力等y 、“同事”或“伙伴”等。 在此词义下，p 2 p 也就可以理解为对等连接或对等网络。简单地说，p 2 p 技术是一种用于不同用 户p c 机之间，共享他们所拥有的空闲软、硬件资源( 处理能力、存储能力、网络连接能力、可共 享文件等) ，可以不经过中继设备直接互相访问和交换信息的技术。它打破了传统的c s 服务模 式，在对等网络中每个节点的地位都是相同的，具备客户机和服务器的双重特性，可以同时作为 服务使用者和服务提供者。随着p 2 p 技术的飞速发展，互联网的服务模式将由目前的“信息位于 中心”的以网站为中心的状态，重返“信息位于边缘”，将权力交还给用户。 与其它网络模型相比较，p 2 p 网络具有分散化、可扩展性、健壮性、高性能等优点，使得 p 2 p 技术及其应用备受关注。 与c - s 服务模式相对照，p 2 p 服务模式具有以下特点： ( 1 _ ) 在p 2 p 网络中的每一个对等节点具有相同的地位，印同时是客户机也是服务器，同时还 具有应用层路由器和缓冲存储器的功能： ( 2 ) 每个对等节点都可以充分利用p 2 p 网络中其它对等节点的处理能力、存储空间、磁盘空 间、共享资源( 服务与内容) 等； ( 3 ) 区别于网络层按i p 地址进行寻址的方式，p 2 p 采取了在应用层按内容进行寻址的方式， 其搜索方式目前主要有洪泛和d h t 两种搜索方式。 随着互联网的发展和p c 机能力的增强，边缘网络的信息不断丰富，许多人开始用自己的p c 机来对外提供一些特定的服务，但无论从计算能力还是网络的资源，用户p c 机毕竟不具备提供 大规模服务的能力，但是，如果把互联网上众多的p c 机作为一个整体联系起来，就可以提供任 何服务器都难以比拟的丰富的资源和强大的计算能力。基于这种思想，c 态服务模式在互联网中 的统治地位受到了冲击，出现了越来越多的对等( p 2 p ) 的服务模式。 1 2 2p 2 p 网络基础设施 p 2 p 网络基础设施是p 2 p 节点相互协作的基础，一般指节点互连的拓扑结构和节点在与相邻 节点保持连接时的行为规范。p 2 p 网络基础设施保证节点形成连通的图结构，并在其上建立了特 定的节点逻辑组织。所谓路由( 搜索) 算法是指从一个节点出发，沿着节点之间的连接进行消息转 发，最终到达目标节点或实现路由目标( 如搜索到所需数据) 的过程。p 2 p 网络基础设施与路由算 法一般是一对应的，特定的基础设施决定了其上的路由特性和搜索性能。 对于p 2 p 流媒体系统而言，p 2 p 网络基础设施决定了节点间互联的基本规则，进而决定了搜 索流媒体数据和数据供应节点的方式和性能，因此，对于p 2 p 流媒体系统有着至关重要的作用。 p 2 p 网络的类型又分为中心化( c e n t r a l i z e d ) 、非结构化( d e c e n t r a l i z e da n du n s t r u c t u r e d ) 和结构化 ( d e c e n t r a l i z e db u ts t n l c t u r e d ) 网络【4 l 。 1 ) 中心化p 2 p 中心化p 2 p 由一个索引服务器来负责记录共享资源以及这些资源的地址。该模型的工作机 制为：对等点在索引服务器上注册自己的存在和自己的共享资源：从索引服务器查询资源及其所 在的对等点；连接该对等点得到所需的资源。n a p s t e r l 5 i 采用的就是这种结构。图1 1 是中心化p 2 p 2 东南大学硕士学位论文 的示意图。 圈l 。l 中心化p 2 p 这一种结构的系统易于管理、易于发现网络节点，安全性较好。但是这种结构不容易扩展， 索引服务器容易成为系统的瓶颈，一旦索引服务器崩溃，整个系统将处于瘫痪的状态。 2 ) 非结构化p 2 p 也被称作“纯p 2 p ”。该模型中没有索引服务器，资源随机地分布在系统中所有的节点上， 这些对等点的功能是相同的。一个对等点只知道和它直接相连的对等点。如果对等点要寻找它需 要的资源，它必须访问他的相邻节点。如果邻居节点不满足请求，它会再访问自己的邻居节点， 这种搜索定位方法称为洪泛法0 a o o d ) 该模型的优点是不会出现单点失效( s i n g l e f a i l u r e ) ，系统中不会出现瓶颈，但它也有很多缺 点： _ 搜索请求要经过整个网络或者至少是一个很大的范围才能得到结果，因此，需要花费很 长时间才能返回结果。 随着网络规模的扩大，通过洪泛方式定位对等点及查询信息的方法将会造成网络流量急 剧增加，从而导致网络拥塞。 安全性较差，恶意程序发送垃圾查询信息可能造成网络拥塞。 图1 2 非结构化p 2 p 3 )结构化p 2 p 网络 也被称作“混合( h y b r i d ) p 2 p ”。该模型吸取了中心化f 2 p 和非结构化p 2 p 的优点，选择性能 ( 处理、存储、带宽等方面) 较高的节点作为超级节点s u p e r n o d e ) ，在各个超级节点上存储了系统 中其他部分结点的信息。结构化p 2 p 中，搜索数据包仅在超级节点之间转发，由超级节点将搜 索请求转发给适当的叶子节点。示意图见图1 3 。 3 第1 章绪论 该结构的优点是性能、可扩展性较好，较容易管理，由于超级节点的索引和转发功能，使搜 索效率大大提高。 该结构最典型的案例就是k a z a a 。 1 2 3p 2 p 应用领域 图1 3 结构化p 2 p 目前，p 2 p 技术主要应用包括以下几个方面【6 l ： 1 ) 文件共享 p 2 p 技术使在互联网上的任意两台p c 机之间，可直接共享文本、音乐、影视或多媒体等文 件。利用p 2 p 技术，网上计算机之间可以进行直接交互文件，而不需要使用任何一台中央服务 器。在传统的w e b 方式中，要实现文件交换需要将文件上传到某个特定的网站，用户再到某个 网站搜索需要的文件，然后下载。这种方式对用户而言非常不方便。在p 2 p 网络中，用户通过 不同的查询机制定位含有所需资源的其它p c 机后，将直接与其建立连接，并下载所需文件 分布式计算 分布式计算也被称为“网格计算( g 谢c o m p u t i n g ) 。分布式计算收集处于工作间隙的p c 的闲 置计算能力，通过集群技术产生超级计算机的处理能力。其中一个成功典范是1 9 9 9 年的 s e n h o m e 项目。在该项目中分布于世界各地的2 0 0 万台个人电脑组成计算机阵列，搜索射 电天文望远镜信号中的外星文明迹象。据统计，在不到两年的时间里，这种计算方法已经完成了 单台计算机3 4 5 0 0 0 年的计算量。 3 1 搜索引擎 p 2 p 技术使用户能够深度搜索信息资源，而且这种搜索无需通过w e b 服务器，也可以不受 信息文件格式和宿主设备的限制。传统目录式搜索引擎只能搜索到2 0 - - 3 0 的网络资源，而基 于p 2 p 技术的搜索引擎理论上将包括网络上的所有开放的信息资源。 4 ) 即时通信 i p t v 在c s 服务模式下，一台高性能的服务器只能支持1 0 0 0 余名用户同时在线观看速率为 5 0 - 6 0 k b i t s 的低质量电影。在p 2 p 模式下，可以采用b t 技术每人下载一小段，然后互相交 换的方法来观看电影。这样，一台服务器可以同时支持上万个用户同时观看电影。 近几年流行的b t ( b i tt o r r e n t ) 把一份大文件切割成碎片，为每一个碎片标上特殊标识，用 户无需到一个固定地点( 例如中央服务器) 去下载完整的文件，系统会自动寻找、随机下载具有 相同标识的文件碎片，将其加以整合成为完整的文件。 类似于碟片交换。在p 2 p 网络中，如果每个成员都能提供共享的电影或电视剧，则成员 东南大学硕士学位论文 之间可以不经过服务器，通过文件共享直接从对等节点中搜索与下载自己所需的节目。 v o l p p 2 p 技术运用到v o l p 的典型代表为s k y p e 软件。2 0 0 5 年，具备强大通话功能的s k y p e 迅猛发展，使固网运营商感到这一颠覆性技术的威胁。用户在网上下载s k y p e 软件后，则可 以通过互联网实现p ct op c 的免费通话。s k y p e 公司宣称，该技术具有很强的防火墙和n a t ( 网 络地址翻译) 穿透能力；在用户宽带上网情况下，话音质量清晰、自然( 其带宽宽于3 0 0 - - - 3 4 0 0 e , z ) ，还支持多人同时参加的电话会议。目前s k y p e 公司已与固话运营商合作，提供p c t o p h o n e 和p h o n et op c 的呼叫方式。 5 ) 协同工作 公司机构日益分散情况下，给员工和客户提供轻松、方便的消息和协作的工具，交得日益重 要。但按传统的w e b 方式实现协同工作，会给服务器带来了极大的负担。p 2 p 技术的出现，使 得互联网上任意两台p c 机都可建立实时的联系，建立了这样一个安全、共享的虚拟空间，人们 可以进行各种各样的活动，这些活动可以是同时进行，也可以交互进行。p 2 p 技术可以帮助企业 和关键客户，以及合作伙伴之间提供一种安全的网上工作联系方式，因此基于p 2 p 技术的协同 工作也受到了极大的重视。l o t u s 公司开发的协同工作g i d o v e 就是p 2 p 技术在该领域最具有代 表性的应用之一。 国网络游戏 网络游戏可以采用p 2 p 技术建立起分布式小组服务模型，配以动态分配的技术，每个服务 器的承载人数将远超过传统的c s 服务模式，这将极大提高目前多人在线交互游戏的性能：与此 同时，每个游戏用户成为一个对等节点，各个节点问可以进行大量的点对点通信( 例如：下棋、 打扑克等) ，从而减少服务器的通信任务提高性能，由此可见其发展潜力是不可估量的。 随着p 2 p 技术研究的不断深入，p 2 p 的应用范围将不断拓宽。从长远看，p 2 p 有可能成为目 前应用层( s 服务模式w e b 的替代者。但这需要一个漫长的过渡阶段，在这个阶段中会出现p 2 p 与c 俗两种服务模式互相竞争与联合的新格局。 1 3 课题研究内容 基于单播的c s 架构的模型并不适合流媒体直播时大规模数据的分发，而i p 组播技术也存 在很多固有的限制而难以部署为了提高i n t e r n e t 上流媒体应用的q o s ，p 2 p s t r e a m i n g 技术被提 了出来，即把组播的功能从网络层移到应用层，把p 2 p 技术应用到流媒体，每个流媒体用户也 是一个p 2 p 中的一个节点。在目前的流媒体系统中用户之间是没有任何联系的，但是采用p 2 p 技术后，用户可以根据他们的网络状态和设备能力与一个或几个用户建立连接来分享数据，这种 连接能减少服务器的负担和提高每个用户的视频质量。 本文首先介绍了p 2 p s t r e a m i n g 的技术框架，并对p 2 p s u e a m i n g 的典型模型进行了分析，可 以发现，不同的模型都是试图在网络带宽效率( b a n d w i d t he f f i c i e n c y ) 、延时( d e l a y ) 和可靠性 ( r e l i a b i l i t y ) 之间做出某种权衡。 本文提出了一个新的改进型p 2 p s t r e a m i n g 模型，该模型融合了p 2 p 技术和c s 技术的优点， 可以在网络带宽效率、延时和可靠性三者之间做出更好的权衡。 作为应用于教学直播的平台，连接的用户数量必然没有大规模直播时( 例如国内国际重要新 闻，重大赛事直播以及娱乐直播) 所连接的用户多，教学直播基本上用户数量维持在几十至数百 上千的范围内，节点的数量制约了教学直播中完全采用p 2 p 网络传输的质量，所以在这个规模 下，改进型p 2 p s t r e a m i n g 模型的设计在于辅助提升原始c s 模式的传输质量。 改进型p 2 p s t r e a m i n g 通过c s 的方式组织节点而通过p 2 p 的方式分发数据，其主要特点为： 1 ) 易于实现，节点通过服务器集中管理，无需构造和维护复杂的组播树，也不需要部署复杂的 5 - 第1 章绪论 p 2 p 组通讯协议。2 淮壮性( r o b u s t ) ，节点除了依赖于节目源节点，不依赖于任何其它特定的节点。 3 ) 扩展性( s c a l a b i l i t y ) ，通过p 2 p 的方式分发数据，用户越多，分发越快。4 ) 带宽适应性( h e t e r o g e n e i t y a d a p t i v e ) ，通过部署f g s ，用户可以根据带宽情况控制自己的o o s 。 本文研究地重点包括：设计一种适合于教学直播系统的改进型p 2 p s t r e a m i n g 模型，在网络 带宽效率、延时和可靠性三者之间做出更好的权衡。同时设计一套从视频采集、编码、传输到播 放的完整直播系统。 1 4 课题研究目标 设计一种结合c s 和p 2 p 模型特点的改进型p 2 p s t r e a m i n g 模型，以改善目前网络教学直播 系统的质量，在网络带宽效率、延时和可靠性三者之间做出更好的权衡。同时设计一套从视频采 集、编码、传输到播放的完整直播系统。 1 5 课题研究成果 提出一种基于g o s s i p 协议的实时流媒体数据分发的模型改进型p 2 p s t r e a m i n g 模型，采 用融合了传统c s 架构和p 2 p 技术的混合式框架来实现。同时，根据实际应用需求，在g o s s i p 实现机制、伙伴管理和优化、数据调度、服务器功能定位等方面，改进型p 2 p s t r e a m i n g 模型都 作出了不同的设计与实现方法。 基本设计实现了基于此模型的直播系统的编码。 东南大学硕士学位论文 第2 章p 2 p 流媒体技术框架 2 1p 2 p 流媒体直播技术综述 基于单播的c s 架构的模型并不适合流媒体大规模数据的分发，而口组播技术也存在很多 固有的限制而难以部署，为了提高i n t e r a c t 上流媒体应用的q o s ，p 2 p s t r e a m i n g 技术被提了出来， 及把组播的功能从网络层移到应用层把p 2 p 技术应用到流媒体，每个流媒体用户也是一个p 2 p 中的一个节点。在目前的流媒体系统中用户之间是没有任何联系的，但是采用p 2 p 技术后，用 户可以根据他们的网络状态和设备能力与一个或几个用户建立连接来分享数据，这种连接能减少 服务器的负担和提高每个用户的视频质量。p 2 p 技术在流媒体应用中特别适用于一些热门事件， 即使是大量的用户同时访问流媒体服务器，也不会造成服务器因负载过重而瘫痪。此外，对于多 人的多媒体实时通信，p 2 p 技术也会对网络状况和视频质量带来很大改进。p 2 p 技术如果与可扩 展性视频编码技术结合将能极大地提高每个用户所接收的视频质量。由于可扩展性码流的可加 性，媒体数据不用全部传输给每个用户，而是把它们分散传输给每个用户，再通过用户间的连接， 每个用户就可以得到合在一起的媒体数据。即使每个用户与服务器的连接带宽是有限的，应用 p 2 p 技术，每个用户依然可以通过流媒体系统享受高质量的多媒体服务。 p 2 p 流媒体直播技术属于实现应用层组播技术的一种，本章将从p 2 p s t r e a m i n g 技术框架入 手，介绍目前p 2 p s t r e a m i n g 领域内所涉及的技术。 2 2p 2 p 流媒体技术框架概述 在一个典型的流媒体应用中，媒体经过压缩技术存在硬盘上，流媒体服务器接收客户端的请 求，应用层q o s 控制层通过o o s 的要求以及网络状况调整压缩的媒体流的参数( 如比特率) ，然 后流媒体传输层对其进行打包，通过p 2 p 技术进行连续媒体分发，客户端接收到媒体流后，同 过媒体同步技术进行播放。以上的过程涉及到七个技术领域：媒体压缩技术，应用层的q o s 控 制，应用层组播技术，视频服务器技术，媒体同步技术和流媒体传输协议以及n a t 穿透技术 图2 1 显示了p 2 p s t r e a m i n g 的技术框架。 - 7 - 第2 章p 2 p 流媒体技术框架 圈2 1p 2 p s tr e a l i n ( 技术框架 媒体压缩技术：为了有效的利用网络的带宽，媒体通常通过压缩后才进行传输，压缩技术主 要可以分为非扩展编码性和扩展性编码，因为扩展性编码可以适应网络带宽的变化，文章将重点 介绍扩展性编码 应用层组播技术：通过应用层复制数据包，并且在应用层进行路由技术。 应用层的q o s 控制：应用层q o s 控制包括拥塞控制和错误控制。拥塞控制主要用于预防网 络的丢包问题和延时，根据网络状况调节发送数率。错误控制用于在丢包问题发生后，如何进行 错误控制，尽量的提高最终的视频质量。 视频服务器技术：服务器如何有效的给客户端提供服务，文章将主要研究服务器与p 2 p 技 术的协作。 媒体同步技术：不同通道的数据的同步( 比如音频和视频) 是媒体应用中很重要的问题 流媒体传输协议：文章首先介绍 m e 眦t 的协议框架，并介绍了适合流媒体传输的协议 册l n s p 。 n a t 基本原理：n a t 是一种网络地址转换标准，业界用它来解决的i p 地址紧缺的问题。在 一个适应性广泛的p 2 p s t r e a m i n g 模型中，不可避免的需要解决n a t 穿透的问题。 2 3 媒体压缩技术 原始的视频数据存在着很大的冗余，包括时间冗余，空间冗余和主观视觉冗余。为了更有效 的存贮和传输，需要对原始数据进行压缩。压缩技术可以分为两种：普通( n o n s c a l a b l e ) 编码技术 和可扩展性( s c a l a b l e ) 编码技术。 2 3 i 普通编码技术 目前工业应用的主流标准，如m p e g 系列及h 2 6 x 系列标准，大都采用基于分块运动补偿 及离散余弦变换( d c d 的压缩算法。图2 2 显示了一个帧内模式编解码的框图。为简单起见，文 章只考虑帧内压缩的情况。 - 8 - 东南大学硕士学位论文 d ：蛐o 妇t r m 幽m u q ：q 瞄呲扭 v l f ：v w b i b l e 帅c o d i n g ( - ) 裂亘卜伍卜哥絮 v 1 d ：v | 赫k 西曲瑰啪m 唱 的：l a 憎l , w o 瞳n 豳咖 册：抽v 鳃簖d c r 他 国2 2 普遁的帧内模式绾解码框圉 异构性是网络的一个很重要的特点不同的终端的网络状况可能有很大的区别。在采用口 组播时，对与这个问题的最简单的办法就是最小传输，即组播带宽最低的用户的所能接收的码流， 然而，这样虽然可以保证所有的用户都可以获得视频，但是高带宽的用户也只能观看低质量的视 频，带宽利用率很低。为了按照用户的带宽条件提供足够好的视频质量，可以在服务器保存同一 个视频的不同质量的码流，这些码流的关键帧是对齐的，将这几个不同码率的码流通过不同的组 播通道发送到网络，用户根据自己的需求和网络状况选择一个最佳的视频流，并且可以随着网络 带宽的变化动态的切换。这种码流切换和组播相结合的技术称为联播( s i m u l c a s t ) 。虽然联播可以 满足不同用户的不同需求，但联播存在带宽利用率的问题，因为不同码率的码流存在着很大的冗 余数据，分层可扩展的编码技术可以改进这个问题。 2 3 2 分层可扩展性编码技术( l a y e r e ds c a l a b l ec o d i n g ) r a w v u t o o 融蛳 c v m p r c 删 d b i t - 出e 蹰 绪l a 归 i 搬o o v d v i d 的 翟恕固骨蹦曾 瓣_ 寸廿盼一器“ 圉2 3 分层- - 7 扩晨性编解码框图 9 第2 章p 2 p 流媒体技术框架 传统的n o n - s c a l a b l e 编码产生单一的压缩流，而s c a l a b l e 编码【将把原始的视频流压缩成多个 视频流，如图2 3 ( a ) 所示，原始流被压缩成了一个基本流和多个增强流，基本流可以被单独解码， 提供最基本的视频质量，增强层解码后叠加在基本流上，如图2 3 ( b ) ，可以提供更好的视频质量。 将分层可扩展性编码和组播结合是解决视频在网络中传输的一种方法，称为分层组播 ( l a y e r e dm u l t i c a s t ) 。与联播相比，分层组播的优点在于网络带宽的利用率高。 但是分层可扩展性编码的各个压缩层的码率在编码完成时就固定了，用户通过接收多个组播 组中的压缩视频数据只能获得有限的码率调整范围。 传统的视频编码不适合网络传输的根本原因在于它们的目标是将视频压缩成一个或几个固 定比率的码流，是面向存储的。由于网络的异构性及缺乏q o s 保证，网络带宽会在一个很大的 范围内发生交化，面向网络传输编码的目标就是将视频压缩成适合一个码率范围变化的码流。图 2 4 是面向网络传输的视频编码方法与传统编码方法的率失真的比较，图中阶梯状的直线对应传 统的方法，实的曲线代表面向网络传输的率失真曲线，虚的曲线代表理想的率失真曲线。在传统 的编码方法中，当带宽达到一定的程度时用户可以接收到一定质量的视频，但随着带宽的继续增 加，视频质量得不到任何改善，直到带宽达到阶梯的下一条线。为了适应网络带宽的变化，理想 的视频编码方式应该具有可以在任何地点截断的特性，视频的质量随着码率的增加而增加，理想 的率失真曲线应该如图中的虚线所示，把传统率失真曲线的拐点连接起来。但是加入适应性会影 响压缩的性能，所以实际上面向网络的率失真曲线比理想曲线要低一些。 b a n d w i d t h 国2 tp d 曲线比较 2 3 3 精细的可扩展性编码( f i n eg r a n u l a rs c a l a b l ec o d i n g ) 如图2 5 所示，f g s t 8 l 【9 】与普通的s c a l a b l ec o d i n g 的最大的不同就是增强层采用位平面 ( b i t p l a n e ) 编码技术，使的每一帧的增强层码流可以在任何地点截断，解码器重建的视频质量与 收到的解码的比特数成正比。f g s 己被m p e g 4 1 0 1 采纳。 1 0 1i，ide09iii鼋 东南大学硕士学位论文 r a w v j 蛔 ( | ) 嘞 圃誉 圈2 5 精细的可扩晨性绾解玛框圈 f g s 的基本层编码与普通的编码非扩展性编码一样，而在增强层编码时，从原始的d c t 系 数减去基本层逆量化后的重建的d 卫系数值获得d c t 残差，对残差扫描采用位平面编码：对于 一个8 8 的块，扫描之后就是对“个有符号的整数编码。位平面编码就是将6 4 个树的绝对值 写成二进制形式，位数由其中最大的系数决定，然后按位的高低顺序进行编码，即先编码最高位， 再编码次高位最后编码最低位。使用位平面编码的好处就是使得每个系数的重要部分( 较 高的位) 优先编码，这样在码流被截断时就保证了解码器仍可以获得视频的重要信息，从而提供 了精细的可扩展性。 2 3 4 多重描述编码( m d c ) 多重描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ) 1 1 1 1 1 1 2 j 的基本思想就是把一个码流编码成m 个流， 称为描述，并且不同额描述之间应该存在着相关性，其中任何一个描述都可以被用户接收并且可 以在一定的失真的情况下单独的解码。不同的描述也可以叠加层失真更低的流。所以用户接收到 的描述越多，重构的视频质量就越好。m d c 编码与分层可扩展性编码的最大区别在于m d c 的 每个描述都可以单独解码，而分层编码中只有基本层可以被独立的解码，增强层需要依赖与基本 日 力譬。 在基于组播树的p 2 p s t r e a m i n g 的系统中，由于用户的行为无法预期，任何节点都有可能在 任何时候退出系统，一旦父节点的离开系统，则它的子节点的需要被重新插入到组播树中，系统 对树的恢复速度将严重影响对受影响的子节点的服务，在一个不稳定的环境下，用户频繁的退出 会导致系统的不稳定，解决这个问题的一个比较简单而有效的模型是同时构造两棵或多棵组播 树，通过在系统中部署多重描述编码( m d c ) ，每个组播树组播一个描述。因为只要收到一个描述 就可以单独解码，一个节点在所有组播树中的父节点同时离开的可能性非常小，所以可以有效的 解决系统不稳定的问题。 。 第2 章p 2 p 流媒体技术框架 2 4 应用层组播技术 i n t e m e t 的原始设计主要是为端对端系统，比如e m a i l 、文件传输和网页浏览等，并不能有效 的支持大规模数据( 比如流媒体组播) 的分发，为了解决这个问题，i p 组播被补充入网络协议。作 为i p 的扩展，坤组播可以有效的提供大规模数据的组播支持，然而，l p 组播有其自身的问题， 包括网络管理、扩展性、部署和上层协议的实现( 比如拥塞控制) 。应用层组播就是把组播功能从 网络协议栈的层转移到应用层 2 4 1 应用层组播结构的构建 为了实现基于p 2 p 网络的组播，主要的问题是构造组播的结构，即数据流动的路径。考虑 一个简单的情形：只涉及一个源节点和许多目的节点，我们的目的是尽快地把数据从源节点散发 到所有的目的节点。为了解决目的节点数目巨大的问题，一些目的节点充当数据传送路径上的接 力节点，把自己收到的数据转发给其它目的节点。因此，许多应用把组播树作为从一到多应用的 基本结构。 给定p 2 p 覆盖网络的带权连接图g = ，e x 其中v 代表所有的参与节点，e 表示覆盖网络的 连接) ，理论上，这个问题转变成构造一棵以源节点为根的最小生成树( m s t ) 的问题。尽管有构造 最小生成树的有效算法，在实际上构造这样的一棵树却不简单：在互联网上取得完整的覆盖网络 的连接图不容易：同时，构造出的最小生成树常常包含高出度的节点，这些节点很容易过载，成 为系统的瓶颈。因此，在实践中许多组播算法不寻求构造最优的生成树，而是根据部分连接图构 造出度受限的近似最优生成树。组播结构主要考虑的问题有： ( 1 减少延迟和提高带宽： ( 2 溶错； ( 3 ) 构造的难度，特别是在动态性很高非结构化网络中。 然而。基于树的组播协议存在一些固有的缺点，并且有时难以充分利用协作环境中的可使用 的资源。造成这个问题的原因是：在任何的组播树中，承担复制和转发组播数据的节点只是组播 树中的内部节点，这些内部节点只占所有参与节点的一小部分。大部分节点是叶子节点，没有贡 献任何资源。这个结果和希望所有节点都承担转发负载的初衷相违背。这个问题在高带宽的应用 中进一步恶化，例如视频或大文件发送：在这些应用中，许多接受者可能没有担当传统组播树中 的内部节点的能力。另外在树的结构中，从上到下，带宽一般是单调递减的。较高层的损失都会 减少低层能够取得的带宽。尽管许多技术被提出来去恢复丢失的数据，由此提高可取得的带宽， 然而，一个节点获褥的带宽却是只由它在树中的唯一的一个父亲决定的。 为了克服树的天然的缺陷，近来的研究提出使用“垂直链路”来增大通过树获得的带宽 ( b u l l e t ) ，或者使用多棵树来取代单一的树( s p l i t s t r e m ) i 川。基本上，这些技术具有一个共同点： 我们应当利用覆盖网络中的每一个节点来增强数据的传输，而不是仅仅利用单棵树中的内部节 点。 s p l i t s t r e a m 的关键思想是把内容分成k 个带( s t r i p e ) ，并且每个带利用一棵独立的树来广播。 节点根据它们愿意接收的带的个数加入同样多的组播树中，每个节点同时还给定一个它们愿意转 发的带的上限。问题转变为构造一个组播树的森林：在这个森林中，一个在某棵树中是内部节点 的节点在加入的其它的树中都是叶子节点，并且满足节点的出度限制( 即转发的带的个数) ，这确 保转发负载散布到所有参与的节点。例如，如果所有的节点都希望接收k 个带和转发j 【个带， s r ，l i t s t r e a m 将会构造一个转发负载均衡的森林，这个森林还是低延迟和低链路负载的。 b u l l e t 是面