（计算机系统结构专业论文）互联网中实时流媒体播放技术的研究.pdf

摘要 随着现代网络技术的发展，互联网开始走入人们的生活。人们对网络 的需求不再只是简单的文字和图片，人们希望互联网能够实时地提供多媒 体服务。为了解决传统网络下载多媒体资讯时间过长的问题，流媒体技术 孕育而生。流媒体是指在网络中使用流式传输技术的连续实时多媒体，如 音频、视频或多媒体文件。通过采用流媒体技术，用户可以一边下载一边 收听观看，实时地接收到最新的多媒体信息，而不需要等待整个文件下载 到自己的电脑后才欣赏。多媒体技术推广的关键问题之一就是解决视频、 音频数字化后大量数据与数字存储媒体和通信网容量小的矛盾，其解决途 径就是压缩。为了在低带宽网络中传输视音频数据，运动图像专家小组 ( m p e g ) 于1 9 9 9 年制定了m p e g 4 标准。m p e g 。4 是为视频会议、可视 电话等的运用而制定的超低比特率编码标准，m p e g 一4 标准编码是基于对 象的，即使处于低带宽时，也可以利用码率分配方案对用户感兴趣的对象 多分配一些比特率，从而保证播放质量。 本文介绍了一种能够实时播放m p e g 一4 编码影片的流媒体播放系统。 文章首先分析介绍了实时流媒体播放所采用的传输协议，及其工作机制； 然后分析介绍m p e g 4 编码技术的特点；文章剩余部分介绍了流媒体播放 系统的总体设计思路。 文章侧重于分析播放系统的网络接收模块，及组帧过程。为了保证播 放质量，播放系统在实时地接收流媒体服务器发送过来的r t p 数据包的同 时，播放系统采用了提前随机检测的方法以控制网络拥塞；播放系统还向 流媒体服务器实时地汇报丢包率以控制流媒体服务器发送的总数据量；播 放系统还采用了一种较新颖的同步原理，保证视音频同步。当用户网络中 存在进行网络地址转化( n a t ) 的网络防火墙时，播放系统采用了 r t s p o v e r t c p 数据传送方式克服了传统播放系统穿越防火墙困难这一 缺陷。文章还介绍了针对分布式并行流媒体平台所做出的开发，充分利用 了分布式并行系统的独有特点。最后，播放系统考虑到用户需求，不仅支 持网络流媒体播放，也支持本地播放国际流媒体组( i s m a ) 所制定的m p 4 格式文件。 关键字：流媒体，m p e g 4 ，r t p ，线程同步，q o s a b s t r a c t w i t ht h e d e v e l o p m e n t o fn e t w o r k t e c h n o l o g y ，i n t e r n e t b e c o m e sa r l o r d i n a r yt h i n gt oc o m m o np e o p l e p e o p l eh o p et h a ti n t e r n e tc a np r o v i d et h e m n o to n l yp i c t u r ea n dt e x ts e r v i c eb u ta l s om u l t i m e d i as e r v i c e s t r e a m i n gm e d i a i si n v e n t e dt os o l v et h e p r o b l e mt h a t i tc o s t sa l o n g t i m ew h e np e o p l e d o w n l o a dm e d i af i l e t h ed e f i n i t i o no fs t r e a m i n gm e d i ai s t h a tw eu s e s t r e a m i n gm e t h o dt og e tv i d e o ，a u d i of i l e b yu s i n gs t r e a m i n gt e c h n o l o g y ， p e o p l e n e e dn o td o w n l o a dt h ew h o l ef i l et ow a t c ht h e c o n t e n t ，a n dt h e y d o w n l o a dt h en e w e s tm e d i ac o n t e n tw h e nw a t c h i n gt h em e d i a t h ec r i t i c a l t e c h n o l o g y o fm u l t i m e d i ai st os e t t l et h ec o n t r a d i c t i o nb e t w e e n l a r g e c o n s u m p t i o no f m e d i as t o r a g ea n df i n i t en e t w o r kb a n d w i d t h ，t h eo n l yw a yi s t oc o m p r e s st h ea vm e d i a i no r d e rt ot r a n s p o r ta vm e d i ai nl o wb a n d w i d t h n e t w o r k ，m o v i n gp i c t u r ee x p e r tg r o u p ( m p e g ) e s t a b l i s h e sm p e g 一4s t a n d a r d i n19 9 9 m p e g 一4i sas u p e rl o wb i tr a t ee n c o d i n gs t a n d a r da n di su s e di nv i d e o c o n f e ：r e n c ea n dv i d e op h o n e ，a n ds oo n m o r e o v e r ，m p e g 一4s t a n d a r di sb a s e d o no b j e c t ，w h i c ha s s u r e sv i d e oq u a l i t yb ya l l o c a t i n gm o r en e t w o r kb a n d w i d t h f o ri n t e r e s t i n gt h i n ge v e nt h o u g hw h e nd a t ai si nn a r r o wb a n d w i d t hn e t w o r k t h et h e s i si n t r o d u c e st h em e c h a n i s mo fas t r e a m i n gm e d i a p l a y e rw h i c h p l a y sm p e g 一4m e d i a f i r s t l y ，t h et h e s i s i n t r o d u c e st h es o m er f c p r o t o c o l s w h i c ha r eu s e di nt h ep l a y e r t h er e m a i n si n t r o d u c et h ea r c h i t e c t u r eo ft h e p l a y e r t h et h e s i se m p h a s i z e st h en e t w o r ki n t e r f a c eo ft h ep l a y e ra n dh o wt h e p l a y e r m a k e su po fm e d i af r a m e t h e p l a y e r r e c e i v e sr t pp a c k e tf r o m s t r e a m i n gm e d i as e r v e rc o n t i n u o u s l y i no r d e rt o a s s u r et h ev i d e oq u a l i t y , t h e p l a y e r u s e sr a n d o me a r l yd e t e c t i o nm e t h o dt oc o n t r o ln e t w o r kc o n g e s t i o n a n dt h ep l a y e rr e p o r t sp a c k e tl o s tr a t et os t r e a m i n gs e r v e rt i m e l y t h ep l a y e r i n t r o d u c e san e ws v n c h r o n i z a t i o nm e c h a n i s mw h i c ha s s u r e sv i d e oa n da u d i o s y n c h r o n i z a t i o n t h ep l a y e ru s e sr t s p o v e r t c p m e t h o dt og e tm e d i ad a t a w h e nt h e p l a y e r w o r k si nan a tf i r e w a l ln e t w o r k m o r e o v e r ，t h et h e s i s i n t r o d u c e sd e v e l o p m e n to ft h ep l a y e rf o rd i s t r i b u t e da n dp a r a l l e ls t r e a m i n g s e r v e ra n dh o wt h ep l a y e rm a k e su s eo ft h em e r i t so fd i s t r i b u t e da n dp a r a l l e l p l a t f o r m l a s t l y , t h et h e s i s i n t r o d u c e sh o wt h ep l a y e rp l a y sl o c a lm p 4f i l e w h i c hi ss t a n d a r d i z e db yi n t e r n a t i o n a ls t r e a m i n gm e d i a a l l i a n c e ( i s m a ) k e y w o r d s ：s t e a mm e d i a ，m p e g - 4 ，r t p ，t h r e a ds y n c h r o n i z a t i o n ，o o s i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：鸯盟导师签名：! ! ：丝 日期：易印午年1 2 月令日 互联网中实时流媒体播放技术的研究 1 1 国内外研究状况 第一章引言 随着网络技术的飞速发展，网络上的信息不再只是文本、图像或者简 单的声音文件。为了解决多媒体文件下载时间过长的问题，适应网络多媒 体化的发展趋势，一种新兴技术孕育而生，这就是遵守特定网络协议的流 媒体技术。流媒体( s t r e a m i n gm e d i a ) 作为一个完美的、真正的“第四媒 体”，将是未来互联网发展的一个方向，它将彻底改变传统互联网只能表现 文字和图片的缺陷，而可集音频、视频及图文于一体，成为未来互联网应 用的主流，并将推动互联网整体架构的革新。互联网的发展，决定了流媒 体市场的广阔前景。流媒体的巨大市场吸引了全球众多各大宽带运营商、 电信运营商的目光，它们都希望在这一新兴的网络媒体市场争取更大的份 额。传统的多媒体文件需要从服务器上下载之后才能播放，而流媒体与常 规多媒体不同，可边下载边播放。流媒体是运用可变带宽技术，以“流” 的传输方式在因特网上播放的媒体格式，如音频、视频或多媒体文件，使 人们可以在2 8 k b i t s 到1 2 0 0 k b i t s 的带宽环境下在线连续地欣赏高品质音 频和视频节目。与单纯的下载方式相比，这种对多媒体文件边下载边播放 的流式传输方式使启动延时大幅度地缩短，而且对系统缓存容量的需求也 大大降低。流媒体不仅可以进行单向的视频点播，还能够提供真正互动的 视频节目，如互动游戏、三维动画等，可以实时观看电影或收听广播，给 网上生活增添色彩。在流媒体技术中，需对a v 、3 d 等多媒体文件数据进 行预处理后才能进行流式传输，包括适当降低质量和采用先进高效的压缩 算法等。尽管流式传输对于系统缓存容量的要求大大降低，但仍需要缓冲。 通过使用缓存系统来弥补延迟和抖动的影响，并保证数据包传输顺序的币 确，使媒体数据能连续输出，不会因网络暂时拥堵而使播放出现停顿。流 媒体传输的实现需要合适的传输协议，如实时传输协议( r t p ) 、实时传输 控制协议( r t c p ) 、实时流协议( r t s p ) 来实现流式传输。在互联网中发 展流媒体传输系统对推广互联网的运用有着重要的意义。 鉴于目前网络带宽普遍有限，因此有必要将多媒体信息数字化后的数 据压缩后再通过网络传输。m p e g - 4 压缩标准是由国际标准化组织0 s o ) t 属的运动图像专家小组( m p e g ) 制定的新一代超低压缩比规范。m p e g - 4 编 码的一个重要目标就是支持多种多媒体运用，重点在于访问多媒体信息的 互联网中实时流媒体播放技术的研究 内容。由于m p e g 一4 标准采用了基于对象的编码，因此采用m p e g 4 标准 编码的多媒体信息可以方便地控制其压缩的比特率。对用户感兴趣的视音 频信息采用较高的比特率压缩，对用户不感兴趣的视音频信息采用较低的 比特率压缩，从而有效地保证了视频信息的质量。而这种根据用户需求调 节压缩比的编码方案是传统的基于帧压缩编码方案所不能相比的。因此， 采用m p e g 一4 编码的影片可以在较低的码率下提供清晰度很高的视音频服 务。 2 0 0 0 年1 2 月，a p p l e 、c i s c o 、l a s e n n a 、p h i l i p s 和s u n 宣布成立互联 网流媒体联盟( i s m a ) ，意在共同推动流媒体市场，并制定相应的开放标 准和实施协议。流媒体技术已成为一个跨区域、跨国界、跨文化的信息传 援平台，人们通过互联网，不但能够传播文字图像信息，还能通过互联网 实时地传播一些重要的影视、新闻节目，如实况转播新闻、重要会议、球 赛、领导人讲话等。正是因为看到了流媒体发展的广阔前景，许多著名公 司都想成为这个行业的主流，纷纷开发自己的流媒体管理软件。 目前，为进一步推广流媒体技术的运用，电子科技大学8 0 1 0 研究室已 研发出分布式并行流媒体服务器。它可以提供m p e g 4 编码的视音频服务， 并且具有并发流高，安全可靠等诸多特点，但是尚未有合适的流媒体播放 器。因此开发基于分布式并行流媒体服务器的流媒体播放器成为一急待解 决的课题。本文介绍了在互联网中实时流媒体播放技术的研究和实现框架。 1 2 论文的内容安排 第一章为论文概述部分，介绍了目前国内外最新的研究动态和论文的 内容安排。 第二章介绍了流媒体播放系统所采用的网络协议，协议内容以及各个 协议之间的联系与区别，并介绍了流媒体播放系统所播放媒体文件的视频 编码方式，及相关技术讨论。 第三章介绍了流媒体播放器的总体设计思路、工作原理，以及各个相 关模块的工作方式和实现原理。 第四章介绍了流媒体播放系统相关q o s 的研究和测试结果 第五章为全文的总结与展望。 2 互联网中实时流媒体播放技术的研究 第二章网络通信协议与多媒体压缩技术 2 1r t p r t c p 协议 r t p 协议提供了实时端到端传送视频，音频数据流的方法。一般来讲， 采用r t p 协议的应用程序般使用u d p 传输协议。u d p 协议虽然较t c p 协议可靠性较低，并且无法保证实时业务的服务质量，但u d p 协议的传输 时延远低于t c p 协议，并且能很好的保证数据传输的实时性。r t p 协议与 底层传送网络所采用的物理介质无关，可以运行于多种网络之上，同时r t p 协议也支持组播，这样可以极大地节约网络带宽。在使用r t p 协议时，应 注意到r t p 协议不包含确保及时交付的机制，因此协议本身并不提供资源 预留服务或保证网络的q o s 保证，其功能必须由底层系统来保证。r t p 协 议是一种具有高度可扩充性的应用层协议，它可以被应用程序集成到处理 过程本身而不是给应用程序添加一个单独的网络协议层。相比较雨言，在 传统的网络协议中，一般通过添加额外需要应用程序自行解析的可选功能 来使应用程序具有更好的通用性。此外，r t p 协议本身并未完全将数据包 的内容给予规定，r t p 协议仅仅指定了数据包头部，其余部分可以根据应 用程序的需求自行添加或删除。r t p r t c p 是由i e t f 组织作为r f c 3 5 5 0 发布的。r t p 数据包的格式如图2 1 所示： vpxc cmp t s e q u e n c en t m b e r ( 2 )( 1 )( 1 )( 4 )( 1 )( 7 )( 1 6 ) 刚间戳t i m e s t a p ( 3 2 位) 同步源标识s s i i c ( 3 2 位) 参与源标识f s l i c ( 3 2 位) 图2 - 1r t p 报文格式示意图 v ：指明了r t p 协议的版本号。目前r t p 协议的版本号为2 。 p ：般在数据需要加密时使用。如果p 位为1 ，则在数据包中的负载 数据后有一个附加数据包的长度，指出如加密数据的长度等信息。 x ：r t p 报文头部数据扩充位。如果x 位为1 ，在r t p 报文头部结尾 处将附加一个3 2 位的数据。其中前【6 位由应用程序根据需求自行确定， 后1 6 位指出附加头的长度，以双字节为长度单位。 3 互联网中实时流媒体播放技术的研究 c c ：指出在r t p 报文的固定头部中，c s r c 源的个数。 m ；依据不同程序需求而定。在多媒体服务程序中，它用于指明一个 视频帧或者音频帧的边界。 p t ：指明r t p 包的数据类型。在多媒体应用程序中，它用来指明编码 器的类型，具体的参数指定可以参照r f c 3 5 5 i 。 s e q u e n c en u m b e r ：指明每个r t p 报文的序列号。这个序列号按r t p 报文的先后次序逐一递增，它可以用于检测报文丢失以及用于恢复丢失的 报文。为了避免网络攻击，这个序列号初始值应是随机选择的。 t i m e s t a m p ；指明每个r t p 报文的时间戳。会话时闻戳的初始值是随 机选择的，r f c 协议指定时间戳连续增加，甚至在网络阻塞，断路的情况 下也是如此。但是协议不指定准确的时间间隔，而是由有效载荷类型确定 时间间隔。 s s r c ：指明同步源的标识符，每个流有唯一的标识号。这个值应该随 机选择地，以保证两个同步源在同一会话中会有两个不同的值，防止数值 上的冲突。如果在播放过程中一个源改变了地址，则s s r c 应该选择一个 新的值。 c s r c ：指明贡献源地标识符。当一个数据流是由多个数据流混合而 成时，c s r c 字段确定了最初的发送者。 负载数据：包含r t p 报文携带的数据信息。 2 2r t c p 协议 r t c p 协议是r t p 协议的伴生协议，用于网络拥塞控制和流控制。它 提供了种有效的保证数据流质量的方法，并且可以在会话期间监视底层 网络以及提供端点之外的带外通信。r t c p 协议允许发送方和接收方传输 一系列报告，这些报告包含有关正在传输的数据的辅助信息以及网络性能 的额外信息。一般地，r t c p 报文封装在u d p 报文中，以便进行传输。发 送r t c p 报文时使用端口号一般比它对应的r t p 报文端口号大1 。r t c p 报文主要携带5 种控制信息： s r ：发送方报告，用于活动的发送方发送和接收来自其它活动发送方 4 互联网中实时流媒体播放技术的研究 发送的统计数据。 r r ：接收方报告，用于非活动方发送分组丢失和抖动的报告，以及定 时和往返时间估计的统计信息。 义。 s d e s ：包含源描述信息的报告，如c n a m e 信息等等。 b y e ：标志一个活动端结束发送的报文。 a p p ：应用程序报文。各个应用程序可以根据自身不同的需求自行定 借助于r t c p 协议的控制功能，应用程序可以实现网络中的诸多控制 功能： ( 1 ) r t c p 主要功能是提供数据的q o s 保证，它是作为r t p 传送协 议的一部分，并且与其它传送协议的控制功能紧密相关。它对于有可变码 率的发送端特别有用，对于与各个接收端位置特别敏感的i p 组播也能使用 r t c p 报文来侦测各个接收端的位置。各发送端的发送方报文可以使得各 个接收端用来判断当出现问题时，这个问题是全局问题还是局部问题。对 于组播而言，网络监控人员也能向组播组添加一个接收端用于专门接收发 送方报文来检测网络故障。 ( 2 ) 用于区分各个r t p 报文的发送源。由于r t c p 报文包含了应用 层级别的标识c n a m e ，因此当s s r c 在播放的过程中因改变而出现冲突 时，可以用c n a m e 来唯一的标识各个源。此外，视频和音频可以用r t c p 报文中的n t p 时间和r t p 报文的时间戳来同步。 ( 3 ) 用于各个发送端估计各自的发送码率。在同一网络中有可能有大 量的发送端，因此如果所有发送端同时发送数据，很有可能造成网络阻塞。 此时，各个发送可以通过接收r t c p 报文来判断网络中发送端的数据量， 调节各自的发送速率，从而平衡网络流量。 ( 4 ) 在小规模的r t p 会话中传送控制信息。小规模的r t p 会话一般 不使用r t s p 协议来进行会话控制。由于r t c p 协议是r t p 协议的一部分， 且便于控制，因此很适合在松散控制的小规模会话中使用。 5 互联网中实时流媒体播放技术的研究 2 。3r t s p 协议 实时流控制协议r t s p 负责建立和操作一个r t p 会话中的视频，音频 数据流，它由i e t f 组织的r f c 2 3 2 6 协议规定。r t s p 协议也是应用层协 议，它既可以采用t c p 协议传输也可以采用u d p 协议传输，但为了保证 控制的可靠性，一般将r t s p 协议构建于t c p 协议之上。r t s p 报文一般 用于发送控制信息，但在特殊情况下，如用户所在的网络中有进行了n a t 转换的网络防火墙，就必须用t c p 协议传送媒体数据。这时一般将r t p 报文构建于r t s p 报文中，然后采用t c p 协议穿越这类防火墙。此外，r t s p 协议具有高可扩充性，新的方法和参数很容易加入r t s p 协议中。r t s p 协 议的工作模式中有以下几种： ( 1 ) u n i c a s t ：媒体数据在有r t s p 请求后进行传送，端口号由客户端 选择，或者媒体数据由类似于r t s p 协议的可靠数据通道进行传送。 ( 2 ) m u l t i c a s t s e r v e rc h o o s e sa d d r e s s ：由流媒体服务器选择地址和端 口，这种情况适用于实时多媒体服务。 ( 3 ) m u l t i c a s t ，c l i e n tc h o o s e sa d d r e s s ：当流媒体服务器加入的是个 组播会议时，那么组播地址和端口都应由其他协议标准指定。 r t s p 协议可以采用一个不同于被控数据流的协议通过一个独立控制 通道来传送数据流，如r t s p 协议采用t c p 协议传输而数据流通u d p 协 议传输。这样即便流媒体服务器在没有收到r t s p 报文的情况下也可以传 送数据，与此同时，流媒体服务器可以采用不同于客户端的t c p 连接来传 送r t s p 控制信息。正常情况下，流媒体服务器必须维护每一客户端的工 作状态。客户机向流媒体服务器发出以下5 种基本r t s p 请求： d e s c r i b e ：对一个流媒体点播进行描述，用于获取媒体的格式。在 一个描述后一般有两个s e t u p 请求，分别对应视频流和音频流。 s e t u p ：客户端请求流媒体服务器分配资源并准备进行点播，开始一 个r t p 会话流。 p l a ya n dr e c o r d ：客户端在发送s e t u p 信息后，通知流媒体服务器 开始进行服务，发送流媒体数据。 p a u s e ：客户端通知流媒体服务器暂停流媒体服务，但是并不关闭这 个会话。 6 互联网中实时流媒体播放技术的研究 t e a r d o w n ：客户端通知流媒体服务器关闭这个会话，并且释放相 关资源。t e a r d o w n 请求标志这一个r t s p 会话的结束。 2 4s d p 协议 在进行实时播放时，须有一种统一的格式来对会话进行描述，为此 i e t f 组织规定了的r f c 2 3 2 7 协议。通过该协议流媒体服务器将产生一个 s d p 报文，这个报文用于描述服务器端媒体文件的编码信息以及所在的服 务器的链接等信息，客户端通过该报文来配置播放软件的相关参数内容， 比方说客户端的音视频解码器，接收音频视频数据的端口等。 s d p 协议的一个重要功能就是用于描述多媒体会议，以便实现会议宣 布、会议邀请和其它形式多媒体会议的激活。研发s d p 协议就是为了传达 有关多媒体会议中媒体流的信息以使某个会议描述的接收方能够参加该会 议，但是s d p 协议不用于媒体编码方式的协商。虽然s d p 协议十分通用， 可以描述其它网络环境中的会议，但它目前主要用于i n t e r n e t 中。在i n t e r n e t 环境下，多媒体会议被定义为一组存在于一段时间内的媒体流，这些媒体 流可以是多对多的媒体流，但会议活动的时间不需要连续。i n t e r n e t 中基于 组播的会议与许多其它会议形式的不同之处在于：除非该会议的数据信息 是加密的，用户只需知道该会议的组播地址和用于该会议数据流的u d p 端口，就能够接收该会议的媒体数据信息并加入该会议。 s d p 协议能够传达的信息包括：会议名称和目的，该会议活动的时间， 组成该会议的媒体种类，接收这些媒体的控制信息。s d p 纯粹是一种会话 描述的格式( 它不包括传输协议) ，它可以使用不同的传输协议，如包括会 话宣布协议s a p 、会话激活协议s i p 、实时流协议r t s p 、使用m i m e 扩展 的电子邮件信息s m t p 和超文本传输协议h t t p 。在实时播放系统中，本 文使用r t s p 协议传送s d p 报文。 2 5m p e g 4 技术介绍 由于多媒体信息数字化后的数据量很大，因此必须将这些数据压缩后 才能在目前带宽有限的网络中传输。m p e g 一4 编解码标准由m p e g 组织于 1 9 9 8 年1 1 月公布，它不仅是针对低比特率下的视频、音频编码标准，更 加侧重于多媒体系统的交互性和灵活性。这个标准主要应用于多媒体会议、 视频电话、视频电子邮件等。m p e g 一4 标准对传输速率要求较低，可以工 作于在4 8 0 0 6 4 0 0 0 b i t s s 的带宽条件下。m p e g 一4 可以利用很窄的带宽， 7 互联网中实时流媒体播放技术的研究 通过帧重建技术、数据压缩，以求用最少的数据获得最佳的图像质量。 m p e g - 4 标准的编码是基于对象的，这样便于操作和控制对象，而传统的 压缩方法是基于帧的，显然无法对对象进行操作。在过去，由于传输带宽 的限制且多媒体压缩是基于桢的，当比特率很低时，整个帧的质量都受到 影响，直接影响到图像的质量，没有灵活性，而m p e g 4 标准能够以对象 为基准对比特率进行控制。即便在低带宽时，也可以利用码率分配方案， 对于用户感兴趣的对象可以多分配一些比特率，对于用户不感兴趣的对象 少分配一些比特率，从而保证图像的质量。m p e g 一4 除采用第一代视频编 码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还 提出了一些新的有创见性的关键技术，充分利用了人眼视觉特性，抓住了 图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互 功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及 操作的发展趋势。相比于m p e g 1 和m p e g 2 技术，m p e g 一4 技术有以下 突出特点： ( 1 ) v o p 视频编码技术：视频对象平面( v o p ，v i d e oo b j e c tp l a n e ) 是视频对象( v o ) 在某一时刻的采样，v o p 是m p e g 4 视频编码的核心 概念。m p e g 4 在编码过程中针对不同v o 采用不同的编码策略，即对前 景v o 的压缩编码尽可能保留细节和平滑，对背景v o 则采用高压缩率的 编码策略，甚至不予传输而在解码端由其它背景拼接而成。这种基于对象 的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效 应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容 的交互，为视频编码提供了广阔的发展空间。 ( 2 ) 视频编码可伸缩性技术：视频编码的可伸缩性( s c a l a b i l i t y ) 是 指码率的可调整性，即视频数据只压缩一次，却能以多个帧率、空间分辨 率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。 m p e g 一4 通过视频对象层( v o l ，v i d e oo b j e c tl a y e r ) 数据结构来实现分 级编码。m p e g 一4 提供了两种基本分级工具，即时域分级( t e m p o r a l s c a l a b i l i t y ) 和空域分级( s p a t i a ls c a l a b i l i t y ) ，此外还支持时域和空域的混 合分级。每一种分级编码都至少有两层v o l ，低层称为基本层，高层称为 增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更高 的分辨率和细节。 ( 3 ) 运动估计与运动补偿技术；m p e g 一4 采用i - v o p 、p v o p 、b - v o p 三种帧格式来表征不同的运动补偿类型。它采用了h 2 6 3 中的半像素搜索 8 互联网中实时流媒体播放技术的研究 ( h a l f p i x e ls e a r c h i n g ) 技术和重叠运动孙偿( o v e r l a p p e d m o t i o n c o m p e n s a t i o n ) 技术，同时又引入重复填充( r e p e t i t i v ep a d d i n g ) 技术和修 改的块( 多边形) 匹配( m o d i f i e db l o c km a t c h i n g ) 技术以支持任意形状 v o p 区域压缩。 ( 4 ) 视频对象提取技术：m p e g 一4 实现基于内容交互的首要任务就是 把视频图像分割成不同对象或者把运动对象从背景中分离出来，然后针则 不同对象采用相应编码方法，以实现高效压缩率。因此视频对象提取即视 频对象分割，是m p e g 一4 视频编码的一项关键技术，也是新一代视频编码 研究的热点和难点。视频对象分割涉及对视频内容的分析和理解，这与人 工智能、图像理解、模式识别和神经网络等学科有着密切的联系。目前人 工智能的发展还不够完善，计算机还不具备观察、识别、理解图像的能力， 同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次 上对视频内容进行理解。因此，尽管m p e g 一4 框架已经制定，但至今仍没 有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是 一个具有挑战性的难题，基于语义的分割则更加困难。 以上m p e g 一4 技术的诸多特点无疑会加速多媒体应用的发展，从中受 益的将有诸多领域。 2 6m p e g 4 视频编码帧类型 理解m p e g 4 视频编码帧的类型对于视频播放及其重要，当用户拖动 定位影片时，对流媒体服务器发出的是一个时间上的随机请求，如果服务 器发送的第一个视频帧不是i 帧，则解码播回后就会花屏。因此在拖动定 位影片后就须先判断帧类型，对i 帧前面的b 帧或者p 帧进行过滤。 ( 1 ) 帧内编码图( i 帧) 1 图为利用图像自身的相关性压缩的图像，称为帧内编码图( i c p i n t r a c o d e d p i c t u r e s ) 。i 图的特点是：数据量最大；帧内中等程度压缩；无运动 预测，采用自相关性，即帧内相邻像素、相邻行的亮度、色度信号都具有 渐变的空间相关性，可作静止图像处理，无条件传送；图像可随机进入压 缩图像数据序列，进行编码。 ( 2 ) 预测编码图( p 帧) p 图是以最近的上一个i 图或p 图为基准进行运动补偿预测所产生的 图像，称为预测编码图( p c p p r e d i c t i v ec o d e dp i c t u r e s ) 。p 图的特点是： 9 互联网中实时流媒体播放技术的研究 本身是前i 图或p 图的前向预测( f p f o r w a r d p r e d i c t i o n ) 结果，也是产生 下一个p 图的基准图像；高编码效率，与i 图相比较，可提供更大的压缩 比；前一个p 图是下一个p 图补偿预测的基准，如果前者存在误码，则后 者会将编码误差积累起来、传播下去。 ( 3 ) 双向预测编码图( b 帧) b 图是同时以前面的i 图或p 图和后面的p 图或i 图为基准进行运动 补偿预测所产生的图像，称为双向预测编码图( b p c p b i d i r e c t i o n a l p r e d i c t i v ec o d e dp i c t u r e ) 。前面的i 图或p 图代表“过去信息”，后面的p 图或i 图代表“未来信息”，由于同时使用了“过去”和“未来”两种信息， 所以称为双向预测。只需要用前面最近时刻的i 图或p 图及代表运动的位 移信息，便可预测出当前图像，称为前向预测( f p ) 。根据某时刻的图像 及反映位移信息的运动矢量，以便预测出前一帧中没有显露而现在出现的 信息，称为后向预测( b p b a c k w a r d p r e d i c t i o n ) 。b 图是将前向预测( f p ) 与后向预测( b p ) 同时使用并取其平均值后所产生的图像，称为双向预测 图或平均值预测图。 2 7m p e g 4 技术的应用前景 m p e g 一4 在多媒体数据传输，多媒体数据存储，多媒体数据服务等方 面有着广阔的运用前景： ( 1 ) 低比特率的多媒体通信，如：多媒体数据通信，第三代数据数据 通信，视频电话等窄带数据传输方面。 ( 2 ) 互联网上的多媒体流与可视游戏，如网络游戏等方面。 ( 3 ) 网络实时监控，网络实时视频会议，数字电视，动态图像，万维 网等方面。 1 0 互联网中实时流媒体播放技术的研究 第三章实时流媒体播放系统的设计与实现 基于以上对网络实时传输协议、m p e g 一4 编解码技术的分析与研究， 本文提出了一种实时播放系统的设计方案，它的视音频使用的都是 m p e g 一4 编解码技术。 本系统所具有的优点： 采用m p e g 一4 编码的视频使得播放质量大大提高，并且可以在较低 码率下实现很高清晰度的图像，从而让有限的网络带宽资源的使用率 大大提高。 采用m p e g 一4 编码的音频使得本系统音频只须使用2 k b i t s 到 6 4 k b i t s 低带宽就能够提供高保真的声音效果。 对分布式并行流媒体服务器做出了独特的针对性的开发，使得本系 统能够充分利用分布式并行平台的独有特点，相比于一般的播放系统 具有更广泛的使用范围。 本系统的应用范围： 由于本系统使用了m p e g 4 最新编解码技术，以及标准的r f c 协议， 因此本系统可以广泛运用在需要实时视音频服务的场合。 小区视频服务 实时监控系统的客户端 远程教育和多媒体教室 实时在线直播系统 虽然目前播放系统工作于w i n d o w 平台下，但为了迸一步增强软件的 可移植性，本系统使用了一个跨平台库s d l 。s d l 库是一套跨平台的多媒 体底层存取库，适用于游戏、游戏s d k 、演示软件、模拟器、m p e g 播放 器和其他应用软件等的开发。它主要目的是提供一个统一的跨平台编程接 口，为应用程序开发特别是代码移植提供便利。s d l 在多种操作系统上提 供了一个统一的存取底层音频、视频、键盘、鼠标、游戏杆、c d r o m 等 设备的方法，s d l 还支持多线程编程。目前s d l 库支持l i n u x ，w i n d o w s b e o s 等操作系统，s o l a r i s ，i r i x ，f r e e b s d ，m a c o s 等操作系统的移植工作 正在进行中。本系统使用s d l 库来实现多线程、视音频回放、线程间的同 互联网中实时流媒体播放技术的研究 步与互斥等功能。 3 1 播放系统的总体构架 3 1 1 流媒体实时播放的播放方式选择 在流媒体播放的过程中，播放系统有点播、组播、广播三种播放方式 可用选择，它们分别对应于不同的应用场合： ( 1 ) 点播( 单播) ：这种播放方式适合一般的用户根据各自的需求欣 赏不同的影片。点播时每个用户独自占用一路带宽，向流媒体服务器发出 点播请求。 ( 2 ) 广播：这种播放方式发起方不是客户端，而是服务器端。服务器 定时地向网络中每个目的站交付一个实时传送的媒体数据包副本，所有交 换机和点到点连接构成的网络中都可以收到该网络数据包。 ( 3 ) 组播：广播的主要缺点是消耗网络资源，基于i p 的组播是对硬 件组播的互连网抽象，它允许各组播成员可以跨越互联网上的任意物理网 络。组播的发起方也是视频服务器，并且节约了网络带宽资源，使得网络 上各个节点能够同时欣赏一部影片。 3 1 2 播放系统概述 播放系统的总体构架的逻辑示意图如图3 - 1 所示： 广叫! ! 旦! ! ! ! ! 塑塑煎| l r t s p 控制流k _ j 图3 1 流媒体播放系统的总体构架 在一个播放过程中，播放器共有5 个端口与服务器交互，它们分别是 视频流r t p 端口，视频流r t c p 端口；音频流r t p 端口，音频流r t c p 端 口；播放器与服务器进行交互控制的r t s p 端口。播放器通过r t p 端口获 得实时视频流音频流信息；通过r t c p 端口获得会话期间底层网络状况信 息，从而保证网络的q o s ；通过r t s p 端口，播放器可以实现与服务器的 交互功能，如开始播放，暂停播放，继续播放，拖动时间进度条。在播放 1 2 互联网中实时流媒体播放技术的研究 过程中，播放器由一个名为c m e d i a p l a y e r 的类的实例进行控制，它负责执 行用户界砸操作命令、记录当前播放时间等工作，其接口的主要伪代码如 下： c l a s sc m e d i a p l a y e r ( s t a r t p l a y 0 ； 开始播放 s t o p p l a y 0 ； 停止播放 p a u s e p l a y 0 ； 暂停播放 r e s u m e p l a y 0 ； 继续播放 s e t m o v i e p a t h o ； 设置播放路径 s e t p r o g r e s s o ； 设置播放时间 g e t p r o g r e s s 0 ； 获取当前播放时间 i m i l lc u r r e n ts t a t e ；当前播放器的工作状态，如暂停，播放等等。 i n tm c u r r e n t t i m e ；n 前播放时间 在设计开发的过程中，本系统完全采用面向对象( o o ) 的思想和模块 化的开发思想，采用c c + + 语言开用。采用面向对象和模块化的思想，可 以很大程度地增强代码的可读性，并且便于调试。模块化的开发使得开发 人员畿够根据不同的模块开发出不同的测试端，先将各自模块调试运行成 功，然后组装模块，形成一个完整的播放系统。同时当用户有新的需求时， 只需编写相应模块，联入系统即可实现播放，从而克服了传统播放器增加 新功能困难这一缺陷。 1 3 互联网中实时流媒体播放技术的研究 3 1 3 播放系统的线程模型 在点播的过程中，播放系统运行着6 个线程用于与流媒体服务器进行 交互，分别是：主控制线程，视频接收线程，音频接收线程，视音频同步 线程，视频解码绘屏线程，音频解码回放线程。其模型示意图如图3 2 所 不： 视频流r t p g r t c