（电路与系统专业论文）基于RTP协议的视频流媒体实时传输[电路与系统专业优秀论文].pdf

硕士学位论文 m a s t e r st h e 秘s 摘要 多媒体技术和计算机网络技术的不断进步使网络多媒体应用日益普及和快速 发展。视频会议，视频点播，远程教育，口t 、，等多媒体应用在人们的日常生活中 发挥着越来越重要的作用。 本文正是在这样的前提下，对多媒体技术和网络协议进行深入研究的基础上， 提出了基于r t p 协议的视频流媒体实时传输系统的设计与实现。论文首先在对各个 视频压缩技术进行比较后，选择m p e g _ 4 运动图像压缩编码标准作为本系统的视频 压缩技术，并详细研究了m p e g 4 标准的内容和优势，它广泛应用于低码率传输。 如何在网络上实时传输m e ( “码流是当前的一个研究热门，也是未来网络多媒体 的一个重要的研究方向。接着对网络传输协议进行分析比较，选用r t p r t c p 协议 作为本系统传输层协议，并深入分析了r 1 驯r ：r c p 的特点、内容。最后给出了本系 统的总体结构和系统各个模块的解决方案，包括网络传输模块，网络接收模块，视 频编码控制模块和视频播放模块等。 本系统具有视频采集、播放、网络传输、网络接收、解压等功能，达到了m p e g - 4 网络组播的基本要求，能实时传输视频图像。除视频采集功能外均采用软件实现， 有较强的可移植性和易于升级，同时硬件投资也不高。 关键词：实时传输与控制协议；m p e g 4 ；流媒体；组播 a b s t r a c t t h es t e a d ya d v a n c e m e n to ft e c h n o l o g yi nt h ef i e l do fm u l 吐m e d i aa n dc o m p u t e r n e t w o r k sh a sb e c o m eas t r o n gi m p e t u st ot h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no ft h e n e t w o r k e dm u l t i m e d i a a p p ) i c a t i o n d i s t r i b u t e dm u l t i m e d i aa p p l i c a t i o n s s u c ha s v i d e o c o n f e r o n c e , v i d e oo nd e m a n d ，l o n g - d i s t a n c ee d u c a t i o n , i p t ve t c a r em o r ea n d m o r ei m p o r t a n tt op e o p l e sl i f e a c c o r d i o n gt ot h e s e ，a n db a s e do nt h ei n - d e p t hr e s e a r c ho ft h eb a s i ct h e o r yo f m u l t i m e d i at e c h n o l o g ya n dn e t w o r k sp r o t o c o l ，t h er e s e a r c hp r o j e c to ft h et h e s i si st o r e s e a r c h 鼢r t p - b a s e ds t r e a m i n gm e d i ar e a l - t i m et r a n s m i s s i o ns y a t 锄d e s i g na n d i m p l e m e n t a t i o n t h et h e s i si n c l u d e st h ef o l l o w i n gp a r t s ：f i r s t l y , a f t e rc o m p a r i s o n so f t h e v a r i o u sv i d e oc o m p r e s s i o nt e c h n o l o g y , m p e g - 4v i d e oc o d i n gs t a n d a r d si sc h o s e n , a n d c o n t e n ta n da d v a n t a g e so ft h em p e g - 4i sd e t a i l e d l ys t u d i e d i ti sav e r yp o p u l a r m u l t i m e d i ac o d e e w h i c hu s e di nt h el o wb i t - r a t et r a n s p o r ti nt h en e t w o r k , h o wt o t r a n s p o r tm p e g 4 b i t s t r e a mi nt h en e t w o r kr e a l t i m ei sah o t s p o to fr e s e a r c h a n dt h e n t h i st h e s i sl u c u b m t e st h ec o m e n t sa n dc h a r a c t e r so f 册a n db e l i e v e st h a tr t pi sw e i i s u i t a b l ef o rt h ev i d e ot r a n s m i s s i o n f i n a l l y ，t h et h e s i si n t r o d u c e st h ew h o l ed e s i g n p r o j c c to ft h i ss y s t e ma n dd e t a i l sr e s e a r c hp r o c e s so fe v e r yp r o g r a ms o u r c ep r o d u c e m o d u l e ，w h i c hi n c l u d i n gn e t w o r kt r a n s m i s s i o nm o d u l e , n e t w o r kr e c e i v e rm o d u l e ，v i d e o e u d i n gc o n t r o lm o d u l e ，p l a y i n gb a c km o d u l ef o rv i d e oa n ds oo n t h es y s t e mc o m p r i s e sf u n c t i o n so fv i d e od a t ac o l l e c t i n g ，p l a y b a c k , n e t w o k t r a n s m i s s i o n , n e t w o r kr e c e i v e r , d e c o d i n g t h et e s tr e s u l ts h o w st h a tt h es y s t e mc r i l r c a l - t i m et r a n s p o r tm p e g 4v i d e om u l t i c a s ta n dp l a y b a c kt h ev i d e ow e l l t 五em o s to f t h e f u n c t i o n sa r ea r c h i v e db ys o r w a r e ，e x c e p tv i d e od a t ac o l l e c t i n g t h es y s t e mc o s t sl o wi n h a r d w a r ei n v e s t m e n ta n dc a nb eu p d a t e de a s i l y k e y w o r d s ：r t p r t c p ；s t r e a m i n gm e d i a ；m p e g - 4 , m u l t i c a s t n 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：撒 日m - 加7 年石月6 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 作者签名：蔼锰 日期砷年6 月_ 6 日 导师 日期 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交4 c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程”中的 规定享受相关权益。旦重途塞量銮奄溢卮! 旦圭生i 旦= 生；旦三至蕴查! 作者签名：就作者签名：问气压 日期：御年b6 日 z 导师签 日期： 第一章绪论 1 1 流媒体实时传输的现状 随着人类经济、政治及文化活动的不断发展和科学技术的进步，人与人之间的 信息交流越来越频繁。为此人们对通信方式提出了越来越多的需求。声音和图像具 有直观性强。信息内容丰富的特点。在人类日常生活中，大部分信息是通过听觉和 视觉来取得的。因此，通信中引入了音频和视频信息的传输，大大丰富了通信的内 容，而且也更适合人们获取外部信息的特点。为了解决音视频文件下载时间过长的 衄题，适应瞬络化的发展趋势，一种新兴技术孕育而生，这就是遵守特定网络协议 的流媒体技术。流媒体( s t r e a m i n gm e d i a ) 作为一个完美的、真正的“第四媒体”， 将是未来互联网发展的个方向，它将彻底改变传统互联两只能表现文字和图片的 缺陷，而可集音频、视频及图文于一体，成为未来互联蹰应用的主流，并将推动互 联网整体架构的革新。也正因为如此以音视频为基础的流媒体传输成为近年来发展 较快的一项新业务。流媒体的实时传输技术已经在各行业中显示出其强大的功能， 在远程教育、视频监控l ”、视频会议、娱乐多媒体点播以及i p t v 等领域得到了广 泛的应用 2 1 。 互联网的发展，决定了流媒体市场的广闼前景。流媒体的巨大市场吸弓i 了全球 众多各大宽带运营商、电信运营商的目光，它们都希望在这一新兴的网络媒体市场 争取更大的份额。传统的多媒体文件需要从服务器上下载之后才能播放，而流媒体 与常规多媒体不同，可边下载边播放【3 1 。流媒体是运用可变带宽技术，以“流”的 传输方式在因特网上播放的媒体格式，如音频、视频或多媒体文件，使人们可以在 2 8 k b i t s 到1 2 0 0 k b i t s 的带宽环境下在线连续地欣赏高品质音频和视频节目。 流媒体实时传输是计算机技术，网络通信技术和多媒体技术共同发展的结果， 语音、图像、视频等多媒体信息如何能够得到比较好的采样和传输是流媒体应用的 关键，采用何种编码形式以及如何在因特网带宽下能够合乎应用的需求进行传输【4 j ， 也就是数字图像压缩编码技术和网络传输技术，是设计一个流媒体系统必须要认真 考虑的问题。 信源的压缩始终是流媒体实时传输的核心问题之一。多媒体数据的量很大，目 前的网络带宽相对原始多媒体数据巨大的量来说还是远远不够。若不对视频数据进 行压缩处理，实时性根本无法达到。如一张2 4 位的7 2 0 5 7 6 分辨率的数字视频图 项士学位论文 m a s t e r st 1 - 1 e s i $ 像，其数据量约为9 9 5 m b i t s 帧，假设帧速为2 5 帧，秒( p a l 制式) ，则要使该类型 视频信号能够流畅传送到终端解码，网络传输速率大约应为2 4 8 7 5 m b i t s s ，一分钟 的视频则需要服务器端提供至少约l 。9 6 5 m b y t e s 的硬盘空间来存储，同时加重网络 的负担及终端解码的效率。如果不压缩基本上不可能在网络上实时传输多媒体数 据，必须采取高效的压缩方式，把原始音视频数据转化为适合流式传输的文件格式。 因此提高多媒体数据的压缩效率对流媒体实时传输尤为重要。国际上有两个负责音 视频编码的标准化组织 5 - 6 1 ，一个是国际标准化组织( i s o ) 和国际电工委员会0 e c ) 下 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) ；另一个是国际电信联盟 ( r r t o 下的视频编码专家v c e g ( v i d e pc o d ee x p e r tg r o u p ) 。m p e g 制订的标准有 m p e g - 1 ，m p e g - 2 ，m p e g - 4 ，m p e g 7 ，m p e g - 2 l 。m p e g 1 主要为v c d 采用， m p e g 2 则为d v d 所用，m p e g - 4 是为交互式多媒体通信制订的压缩标准 7 - s j ， m p e g - 7 是为互联网视频检索制订的压缩标准。m p e g - 2 1 的正式名称是多媒体框 架，是一个在交互通信中的多媒体框架、综合应用标准。国际电信联盟制订的标准 有h 2 6 1 ，h 2 6 2 ，h 2 6 3 ，h ，2 6 4 。 与单纯的下载方式相比，对多媒体文件边下载边播放的流式传输方式使启动延 时大幅度地缩短，而且对系统缓存容量的需求也大大降低。尽管流式传输对于系统 缓存容量的要求大大降低，但仍需要缓冲【外。通过使用缓存系统来弥补延迟和抖动 的影响，并保证数据包传输顺序的正确，使媒体数据能连续输出，不会因网络暂时 拥堵而使搔放出现停顿。流媒体传输的实现需要合适的传输协议，如实时传输协议 r t p ( r e a l t i m et r a n s f e rp r o t o c 0 1 ) 1 1 0 实时传输控制协议r t c p ( r e a l t i m et r a x a s f e r c o n t r o i ) 1 1 1 j 。在互联网中发展流媒体传输系统对推广互联网的运用有着重要的意义。 实时传输协议实时传输控制协议r t p r t c p 是由i n t e m e t 专家任务组i e t f ( i n t e m e te x p e r tt a s kf o l c e ) 制定的协议族。该协议族是流媒体的应用层协议，早 在1 9 9 6 年就成为i n t e r a c t 的国际标准。针对具体应用，i e t f 还制定了r t p 与 特定媒体相结合的标准( r f c ) ，如r f c 4 1 8 4 ( r t p p a y l o a d f o r m a t f o r a c - 3 a u d i o ) t 1 2 1 。 r f c3 9 8 4 ( r t pp a y l o a df o r m a tf o rh - 2 6 4v i d e o ) t 1 3 1 ，r f c3 6 4 0 ( r t pp a y l o a df o r m a t f o rt r a n s p o r to f m p e g 4e l e m e n t a r ys t r e a m s ) t 1 町等。r pp a y l o a df o r m a tf o rm p e g - 4 a u d i o v i s u a ls t r e a m s 的标准为r f c 3 0 1 6 t o ，该协议在r t p 对m p e g 的封装过 程中，将m p e g 码流特征信息如时间戳、编码层次结构等拷贝到r t p 包头 ( h e a d e r ) 中，将m p e g - 4 音视频码流直接映射到r t p 净荷中，从而使r t p 分组 有很强的q o s 保证，终端系统可以根据r t p 包头分析传输中的差错( 拥塞、时 延、丢包等) ，再通过一定的缓冲和补偿算法，修复相当程度的网络差错。 2 1 2 论文研究的主要内容 本文研究的初衷正是在于目前流媒体网络传输的应用得到了越来越广泛的重 视，论文对流媒体尤其是视频流的编码方式以及如何在网络环境下传输进行了探讨 和研究。在建立该系统的过程中，对多媒体流的网络实时传输机制的各个方面有了 比较深刻盼认识和理解，各个应用模块设计的均建立在软件工程面向对象的程序设 计思想上，可以在具体的工程项目中使用，并为将来的进一步研究开发打下了坚实 的基础。结合实际需求，本文核心研究方向主要集中在以下几个方面： ( 1 ) 视频压缩编码技术 由于在网络环境下，网络的传输速率有限，要实现实时的视频数据传输，视频 压缩设计是决定系统成功与否的关键。在对各个视频压缩技术进行比较后，选择 m p e g - 4 运动图像压缩编码标准作为本系统的视频压缩技术，并对该标准进行深入 细致的研究，在此基础上对运动图像压缩编码中几个关键的技术环节进行了深入的 研究。 ( 2 ) 实时网络传输技术 目前的因特网不能提供任何的q o s 保障，所以m p e g - 4 视频的实时传输面临 很多困难。总结起来主要有：带宽限制，延迟和传输数据包的丢失及差错。因此实 时传输视频必须跟踪当前网络的可用带宽，调整输出码率，才可能避免网络过度拥 塞，有效地利用带宽资源。实时视频传输口6 j 对延迟有很高的要求，而目前的网络并 不能保证这一点，视频数据包的丢失会严重影响视频质量，而在误码率较高的无线 网络环境中，视频码流的传输错误也会降低视频质量。通过对传输层协议t c p 和 u d p 的研究比较分析，采用了基于r t p r t c p 的u d p 协议作为传输层协议，比 较好地解决了如何获得网络信息的问题，并能够对网络服务质量进行监控，使发送 端和接收端能够动态的调整发送和接收策略，使数据的实时传输更为有效。 ( 3 软件平台 系统搭建于m i e r o s o t tw i n d o w s 下，采用可视化编程语言v i s u a lc h6 0 开发。 整个系统按照面向对象的软件思想，把系统的各个部件分解成各个模块，可以为今 后的多媒体软件工程进行进一步的开发。 其它说明：视频采集设备为日本k o n i d ak n - 2 0 3 8 摄像头。服务器端计算机配 置为c p ui n t e l1 8 g ，内存2 5 6 m ，硬盘8 0 ( 2 ；另外还有几台同等配置的计算机作为客 户机。系统目前能够在局域网上顺利进行实时视频流的传输。 3 硕士学位论文 m a s t e r st h f s i s 第二章视频压缩及流媒体技术 2 1 视频压缩技术 图像压缩编码技术已经有5 0 多年的历史。而近1 0 年来图像编码技术更是得到了 迅速的发展和广泛应用。并且日臻成熟，其标志是多个关于图像编码的国际标准的 制定i “】，既国际标准化组织( t s o ) 和国际电工委员会g e c ) 关于静止图像的编码标准 j p e g j p e g 2 0 0 0 ，关于运动图像的编码标准m p e ( 3 - 1 ，m p e g 一2 ，m p e g - - 4 等，以 及国际电信联盟( r r u ) 下的视频编码专家组制定的视频编码标准h 2 6 x 系列。 m p e g - 1 ，m p e g - 2 ，h 2 6 3 ，m p e g - - 4 ，h 2 6 4 等都是目前比较常用的视频压缩技 术。m p e g 一1 是由i s o 的m p e g 组织( 运动图像专家组) 于1 9 9 2 年底审口定并颁布 的标准。m p e g - 1 采用了基于帧间信息压缩编码的技术，在运动图像的压缩上具有 较好的效果，该标准是为c d r o m ，光盘的视频存储和藏像而制定的。编码图像的 分辨率为s m 格式( 3 5 2 * 2 8 8 ) ，帧率为2 4 2 5 3 0 帧秒，编码后的标准视频码率在 1 5 m b i t s 左右。由于该标准制订较早，应用广泛成熟，码率适中，比较适合监控行 业的应用。并成为监控行业的主要标准【l - q 。 m p e g - 2 是由i s o 的m p e g 组织于1 9 9 4 年制定的视频编码标准。该标准针对 高清晰数字电视制订，其基本原理与m p e g - 1 类似。编码图像的分辨率较高( 7 2 0 * 5 7 6 或更高) ，视频码率为4 m b i t s 一8 0 m b i t s ，但编码器成本较高，码率较大。应用不如 m p e g - 1 广泛，m p e g - 2 标准主要被d v d 、h d t v 、数字电视和卫星电视采纳【1 s - 2 0 ! 。 h 2 6 3 是由u 组织于1 9 9 6 年制定的一种视频会议系统标准。该标准针对远程 视频传输应用而制定，因此在低带宽，低码率条件下具有较好的适应性和性能。但 是h 2 6 3 的标准框架较大，在实现上具有不确定性因素。同时，没有产业链的良好 支持，在编码硬件上不是很成熟，在国内应用领域不多。为了解决这些问题，i s o m c 和u 两大国际化标准组织联手制定了视频新标准h 2 6 4 。 m p e g 于1 9 9 8 年底制定了第二阶段解码方案m p e g 一4 ，它具有开放的编码 系统，可随时扩展丰富的基于内容的编码算法，采用了包括小波变换等多种交换， 高压缩率占用更小的存储空间，有更高的清晰度。特别是其对象分离的控制，交互 性、重用性更强，基于内容的分级扩展，保证了同时在低高带宽下的最佳画面质量。 4 硕士擘位论文 m a s t e r s t h e $ 1 5 2 2m p e f f - 4 视频压缩技术 m p e g - 4 在多媒体传输、多媒体存储等领域具有广泛应用【2 l 埘l ； ( 1 ) 低比特率下的多媒体通信，如视频电话、视频电子邮件、移动多媒体通 信、电子新闻等。这些应用对传输速率要求较低，在4 8 6 4 k b i t s 之间，分辨率为 1 7 6 x 1 4 4 。m p e g - 4 利用很窄的带宽，通过帧重建技术压缩和传输数据，以最少的 数据量获得最佳的图像质量。 ( 2 ) 互联网上的视频流与可视游戏，如网上电影。 ( 3 ) 数字电视、动态图像、万维网( w w w ) 。 ( 4 ) 实时多媒体监控。 ( 5 ) 基于内容存储和检索的多媒体系统。 ( 6 ) 基于面部表情模拟的虚拟会议。 ( 7 ) d v d 上的交互多媒体应用。 2 2 ，1m p e g - 4 视频压缩的优势 在m p e g - 4 制定之前，m p e g - 1 ，m p e g - 2 ，h 2 6 1 ，h 2 6 3 都是采用第一代压缩编 码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代 压缩编码方案把视频序列按时间先后分为一系列帧。每一帧图像又分成宏块以进行 运动补偿和编码，这种编码方案存在以下缺陷： ( 1 ) 将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块 效应，即马赛克效应； ( 2 ) 不能对图像内容进行访问、编辑和回放等操作； ( 3 )未充分利用人类视觉系统( h v s ，h u m a n v i s u a ls y s t e m ) 的特性。 由i s o i e c 于1 9 9 8 年推出并于1 9 9 9 年正式成为国际音视频压缩标准的 m p e g - 4 ，其压缩方法不再局限于某种算法，可以根据不同的应用进行系统剪裁和 选择，还提出了一些新的有创见性的关键技术，充分利用了人眼视觉特性【抛4 】，抓 住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能， 这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋 势。 i v i p e g - 4 标准提供了一系歹 j 技术以满足作者、服务提供者和终潺用户酌不同需 求，例如： ( 1 )对于作者，其作品的内容具有更大的可重复使用性，并能更好地保护作 5 者的知识产权； ( 2 )对于网络服务的提供者，提供了透明的信息，该信息可以被转换为每一 网络的本她的信息形式，铡如把语言转换为本地的语言； ( 3 ) 对于终端用户，在作者的限制范围内有着更高程度的交互性。 较之m p e g 的前两个图像压缩标准而言，m p e g - 4 为多媒体数据压缩提供了一 个更为广阔的平台，它更多定义的是一种格式和框架，而不是具体的算法。采用了 基于对象( o b j - b a s e d ) 的编码、基于模型( m o d e l - b a s e d ) 的编码等第二代编码技术是 m p e g - 4 标准的主要特征。在m p e g 4 中把连续活动的画面及伴音内整体称之为一 个场景( s e e r i e ) 。在场景内部按内容及相关性分割为多个媒体对象( m e a i ao b j e c t ) 。 因为媒体对象自身并不包含其在场景中的时回与空间信息，因此为了在重建时 能准确恢复出原始的场景，在传输媒体对象自身的信息之外，我们还需要传输对象 在场景中的时空信息及对象相互之间的关系，这些被称为场景描述信息。基于对象 的分级功能是m p e g - 4 提供的又一个新功能，同时兼容了m p e g - 2 标准中的图像分 级功能，分级工具主要用于互联两和无线网等窄带的视频通信、多质量视频服务和 多媒体数据库预览等服务。m p e g - 4 提供了两种基本的分级工具：时域分级和空域分 级，时域分级是降低原视频序列的帧频，空域分级是降低原视频序列的分辨率。在 每类分级工具中，视频序列都可以分为两层：基层和增强层，基层提供了视频序列的 基本信息，增强层提供了视频序列更高的分辨率和细节，基层可以单独传输和解码。 m p e g 4 也支持时域秘空域的混合分级。 2 2 2i l o e g - - 4 的核心思想 相比以前的编码技术，m p e g - 4 标准还支持一些新的功能，这些功能可以粗略 的被划分为三类：基于内容的交互性、高压缩率和灵活多样的存取模式。 ( 1 ) 基于内容的交互性 基于内容的操作与比特流编辑：支持无需编码就可进行基于内容的操作与比特 流编辑。例如，使用者可在图像或比特流中选择一具体的对象( 例如匿 像中的某个人、 某个建筑等) ，然后改变它的某些特性。 自然与合成数据混合编码：提供将自然视频图像同合成数据( 如文本、图形等) 有效结合的方式，同时支持交互性操作。 增强的时问域随机存取：m p e g - 4 将提供有效的随机存取方式。在有限的时问闯 隔内可按帧或任意形状的对象，对音、视频序列进行随机存取。例如以一序列中的 某个音、视频对象为目标进行“快进”搜索。 6 ( 2 1 高压缩率 提高编码效率。与现有的或正在制定的标准相比，在可比拟速率上，m p e g - 4 标准将提供更好的主观视觉质量的图像。这一功麓可望在迅速发展的移动通信网中 获得应用，但值得注意的是提高编码效率不是m p e g - 4 的唯一的主要目标。 对多个并发数据流的编码：m p e g - 4 提供对同一景物的有效多视角编码，加上 多伴音声道编码及有效的视听同步。在立体视频应用方面，m p e g - 4 将利用对同一 景物的多视点观察所造成的信息冗余，这功能在足够的观察视点条件下，将有效 地描述三维自然景物。 ( 3 ) 灵活多样的存取 错误易发环境中的抗错性：“灵活多样”是指允许采用各种有线、无线网和各 种存储媒体，在这些媒体中m p e g - 4 具有更高的抗错误能力，尤其是在易发生严重 错误的环境下的低比特应用中。同时，m p e g - 4 是第一个在其音视频表示规范中考 虑信道特性的标准，其目的不是取代己有通信网提供的错误控制技术，而是提供一 种对抗残留错误的坚韧性。倒如：选择前向纠错( s e l e c t i v e f o r w a r d e r r o r c o r r e c t i o n ) 、 错误遏常i ( e r r o rc o n t a i n m e n t ) ，或错误掩盖( e r r o rc o n c e a l m e n t ) 。 基于内容的尺度可变性：内容尺度可变性意味着给图像中的各个对象分配优先 级。其中，比较重要的对象用较高的空间或时间分辨率表示。基于内容的尺度可变 性是m p e g - 4 的核心，因为一旦图像中所含对象的目录及相应的优先级确定后，其 他的基于内容的功能就比较容易实现了。对于甚低比特率应用来说，尺度可变性是 一个关键的因素，因为它提供了自适应可用资源的能力。例如，这个功能允许使用 者规定：对具有最高优先级的对象以可接收的质量显示，第二优先级的对象则以较 低的质量显示，而其余内容( 对象) 则不予显示。可见，这种方式可最有效地利用有 限的资源。 m p e g - 4 的编码还具有鲁棒性和纠错功能，提供在易错环境下实现安全的低码 速率编码和传输。它采用3 个策略来达到此目的：再同步( r e s y n c h r o n i z a t i o n ) 、数据 恢复( d a t ar e c o v e r y ) 、错误隐藏( e r r o rc o n c e a l m e n t ) 。再同步工具在检测到误码时重 新在解码器和码流间建立同步点，前一个同步点和新建立的同步点间的码流就是发 生误码的数据；数据恢复是通过标准中提供的一种可逆变长编码技术来恢复两个同 步点之间的数据：错误隐藏通过空间的纹理相关性和视频前后帧的相关性对错误的 图像区域进行隐藏。 从上面的分析我们可以看到，与前面的m p e g 标准相比较，m p e g - 4 标准非常 适合在现代网络通信中应用。 7 2 2 3 咿e g - 4 标准的构成 m p e g - 4 标准主要由如下6 个部分构成 ( i ) 多媒体传送整体框架( d m i f , t h ed e l i v e r ym u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ) z s l 它主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题。 通过传输多路合成比特信息来建立客户端和服务器端的握手和传输。m p e g - 4 的应 用可以从d m i f 请求而建立具有特定服务质量( q o s ) 的频道，以及用于每个基本数 据流的带宽。 ( 2 ) 数据平面 m p e g - 4 中的数据平面可以分为两部分：传输关系部分和媒体关系部分。为了 使基本流和音视频对象( a v o ) 在同一场景中出现，m p e g - 4 引用了对象描述符( o d l 和流图表( s m t ) 的概念。0 d 传输与某个a v o 相关的基本数据流的数目和特性的信 息。s m t 把每个数据流链接到一个信道联系标记上，用于管理携带此数据流的信道， 以实现该数据流的顺利传输。 ( 3 ) 缓冲区管理和实时识别 m p e g - 4 定义了一个系统解码模式( s d m ) 。该解码模式描述了一种理想的处理 比特流语法和语义的解码装置。它没有对设施的各种细节作不必要盼各种假定，目 的是使实施者可以自由地以各种方式设计各种m p e g - 4 终端和解码设备。通过有效 地管理，可以更好地利用有限的缓冲区空间。 ( 4 ) 音频编码 m p e g - 4 不仅对自然声音的编码标准化，而且支持语音合成和音乐合成。 ( 5 ) 视频编码 与音频编码类似，m p e g - 4 也支持对自然和合成的视觉对象的编码。合成的视 觉对象包括2 d 、3 d 动画和人面部表情动画等。 ( 6 ) 场景描述 m p e g - 4 提供了一系列工具，用于组成场景中的一组对象。一些必要的合成信 息就组成了场景描述，这些场景描述以二进制格式b i f s ( b i n a f yf o r m a tf o r s c e n d e s c r i p t i o n ) 表示，b i f s 与a v 对象一同传输、编码。场景描述主要用于描述各 a v 对象在一具体a v 场景坐标下，如何组织与同步等问题。同时还有a v 对象与 a v 场景的知识产权保护等问题。m p e g - 4 为我们提供了丰富的a v 场景。 8 硕士学位论文 m a s t e r st h e s i s 2 2 4 咿e g - 4 分层描述语法结构 m p e g - 4 标准中引入了视频对象f v o ，v i s u a l o h j e t 0 的概念来实现基于内容的表 示。在这一概念中，根据入眼感兴趣的一些特征，如形状、纹理、运动等，将图像 序列中每一帧中的场景，看成是不同视频对象面( v o p ) 所组成。v o 可以是视频 序列中的人物或具体景物。m p e g - 4 视频码流提供了对视频场景的分层描述。层次 结构中的每一层都可以通过被称为起始码的特殊码字从视频流中识别出来。对场景 最直接的分层描述如图2 1 所示( 这里主要考虑自然视频对象的编码问题) 。 视频序列_ 一_ 一 v s l ( 1 ) 视频序列( v s ) ：完整的m p e g - 4 场景，可以包括任何二维和三维自然或合 成对象以及它们的增强层。 ( 2 ) 视频对象( v o ) ：一个视频对象对应着场景中的一个特定2 - d 对象。在大多 数情况下视频对象都是一个矩形帧，当然也可以是任意形状的对象或是场景中的背 景【2 睨g 】。 ( 3 ) 视频对象层w o e ) ：根据应用的具体要求，每一个视频对象都可以用分级或 不分级的方式进行编码，用视频对象层来表征。视频层提供了对分级编码的支持。 一个视频对象可利用空间或时间可伸缩性进行编码使分辨率从粗糙到精确。 ( 4 ) 视频对象平面组( g o v ) ：可以提供码流中独立编码的视频对象平面参考点， 因此可以支持对码流的随机访问点，是任选的。 ( 5 ) 视频对象面w o e ) ：一个v o p 是对一个视频对象的时间采样，包括视频对 象的运动参数、形状信息和纹理数据。v o p 可以是相互独立编码，也可以是通过运 动补偿依靠其它v o p 编码。对v o p 编码就是针对某一时刻该帧画面v o 的形状、 运动、纹理等信息进行编码。 9 2 2 5i i p e 6 - - 4 基于v o p 的视频编码 在基于对象的视频编码中，编码的基本单元是对象，主要针对纹理、形状、运 动这三种信息的编码技术。视频编码框架中主要包括三个关键模块，如图2 2 ，即 纹理、形状和运动信息编码模块。 图2 2m p e g - 4 视频编码基本结构 ( 1 ) 形状编码 m p e g - 4 引入了形状信息编码，尽管形状编码在计算机图形学、计算机视觉和 图像压缩领域不是什么新技术，但将其纳入完整的视频编码标准内，这还是第一次。 v o 的形状信息有两类；二值形状信息和灰度形状信息。二值形状信息用o 。l 来表 示v o p 的形状，0 表示非v o p 区域，1 表示v o p 区域。二值形状信息编码采用基 于运动补偿块技术，可以是无损或有损编码。灰度形状信息用0 - 2 5 5 之间的数值来 表示v o p 的透明度，其中0 表示完全透明( 相当于二值形状信息中的o ) ，2 5 5 表示完 全不透明( 相当于二值形状信息中的1 ) 。灰度形状信息的编码采用基于块的运动补 偿d c t 方法( 同纹理编码相似) ，属于有损编码。目前标准中采用矩阵的形式来表示 二值或灰度形状信息。 ( 2 ) 运动信息编码 类似于现有的视频编码标准，m p e g - 4 采用运动预测和运动补偿技术去除图像 信息中的时间冗余度，而这些运动信息的编码技术可视为现有标准向任意形状的 v o p 延伸。v o p 编码有3 种模式，即帧g q ( i n f r a - f r a m e ) 编码模式( i - v o p ) ，帧闻 ( i n t e r - f r a m e ) 预测编码模式( p - v o p ) 和帧间双向预测圆i d i r e c t i o n a l y ) 编码模式 ( b - v o p ) 在m p e g - 4 中运动估计和运动补偿可以是基于1 6 x1 6 象素宏块，或是8 x 8 象 l o 素块。为了能适应任意形状的v o p , m p e g - 4 引入了图像填充( i m a g ep a d d i n g ) 技术和 多边形匹配( p o l y g o nm a t c h i n g ) 技术。图像填充技术利用v o p 内部的象素值来外推 v o p 外的象素值，以此获得运动估计的参考值。多边形匹配技术则将v o p 的轮廓 宏块的活跃部分包含在多边形之内，以此来增加运动估计的有效性， ( 3 ) 纹理编码 纹理编码的对象可以是帧内编码模式i - v o p ，也可以是帧间编模式b - v o p 或 p - v o p 。编码方法基本上仍采用基于8 8 象素块的d c t 方法。在帧内编码模式中， 对于完全位于v o p 内的象素块，财采用经典的d c t 方法：对于部分在v o p 内，部 分在v o p 外的象素块则首先采用图像填充技术来获取v o p 之外的象素值，之后再 进行d c t 编码。帧内编码模式中还将对d c t 变换的d c 及a c 系数进行有效的预 测。在帧间编码模式中，为了对b - v o p 和p v o p 运动补偿后的预测误差进行编码， 可将那些位于v o p 活跃区域之外的象素值设为1 2 8 。变换之后的d c t 系数还需经 过量化、扫描及变长编码，这与现有标准基本相同。 ( 4 ) 分级编码 在远程多媒体数据库检索及视频内容重放等应用中，引入分级编码可使得接收 机可依据具体的信道带宽、系统处理能力、显示能力及用户需求进行多分辨率的解 码及重放。m p e g - - 4 通过视频对象层v o l 的数据结构来实现分级编码。每一种分 级编码都至少有两层v o l ，低层称为基本层，高层称为增强层。空间伸缩性可通过 增强层强化基本层的空间分辨率来实现，因此，在对增强层中的v o p 进行编码之 前，必须先对基本层中相应的v o p 进行编码。同样对于时域伸缩性，可通过增强 层来增加视频序列中某个v o p 特别是运动的v o p 的帧率，使其与其余区域相比更 为平滑。 可见，纹理编码、运动预测和运动补偿部分在原理上同现有标准是一致的。值 得注意的是形状编码，它是图像编码标准中第一次引入的技术。为了支持基于内容 的功能，编码器可对图像序列中具有任意形状的v o p 进行编码。尽管如此，从编 码方案上说，m p e g - 4 仍然是以子块为基础的混合编码。因为m p e g - 4 的编码机制 都是基于1 6 x1 6 象素宏块来设计的，不仅可以与现有的标准兼容，还便于对编码 进行更好的扩展。标准的矩形帧可以认为是v o p 的特例，在编码过程中其形状编 码模块可以被屏蔽。 2 2 6m p f 6 - 4 的系统体系结构 m p e g - 4 系统流指定了根据编码的视听信息和相关的场景描述信息来产生交互 方式的方法。这样的实体称为“视听终端”，它能复合发送并能接收和显示经过编 码表示的一个交互的视听场景。系统的终端模型是对满足m p e g - 4 标准的终端行为 的描述，是一种解码器模型，包括系统定时模型和系统缓冲区模型。 m p e g - 4 码流中的基本码流包括音频、视频和场景描述的编码表示。系统流和 基本流表示用于识别码流、描述逻辑相关性和内容描述的信息，每种基本码流都只 包含一种数据类型。基本码流将用各自的解码器进行解码，视听对象根据场景描述 信息复合并由终端设备显示出来，这些过程都是根据系统解码模型中同步层所提供 的同步信息同步的。m p e g - 4 系结构如图2 3 。 传输层 传输，存储媒体 图2 3m p e g - 4 体系结构图 系统终端模型是对满足m p e g - 4 标准的终端行为的抽象描述，是一种解码器模 型。定义该模型的目的是使发送端能够知道接收端在重构视听场景时是如何根据缓 冲区管理和同步信息进行处理的。 传输层是对已经存在的各种传输协议的一般描述，m p e g - 4 系统没有定义传输 层的功能，而是定义了和传输层有关的接口，这个接口就是传输媒体集成框架 硕士掌位论文 m a s t e r + st h e s i s ( d m i f ) 应用接口。d m i f 应用接口不仅仅定义了传输接口，而且定义了信道建立 和断开的信号。 各种数据源经过压缩碍到的数据主要是基本码流数据，它们包含内容信息，同 步层将这些数据和同步信息封装成同步数据包流，再将它们送到传输层( d m i f ) ， 这些数据中不仅包含有定时和同步数据，而且还有随机访问信息。另一方面同步层 从传输层接收数据流，从流中提取同步数据，为以后同步解码和基本流解码的合成 做准备。 压缩层接收从同步层传来的压缩数据，并完成解码操作，这些解码后的信息用 于终端的视听对象的合成及显示等。压缩层包括对象描述框架、场景描述码流、视 听码流以及上载码流等对象。 2 3 流媒体技术 在流格式媒体出现之前，人们若想从网络上双看影片或收听音乐，必须先将影 音档案下载至计算机储存后，才可以点选播放，不但浪费下载时间、硬盘空间，也 无法满足消费者使用方便及确切的需要