（通信与信息系统专业论文）mpeg4视频传输关键技术研究.pdf

摘要 随着i n t e m e t 技术的迅猛发展及带宽资源的日益增长，人们对于丰富的网络多 媒体信息，尤其是高质量的视频通信应用的需求日益强烈。与此同时，随着新的 多媒体标准m p e g 4 的出现，基于i n t e m e t 的m p e g 一4 视频网络流媒体技术必然 成为一个重要的应用研究领域。但是，由于m p e g 4 视频编码算法的高复杂性， 设计出一个既能最大限度的保证视频质量同时又能高效的利用网络信道资源，尤 其是多通道应用的高效m p e g - 4 视频传输系统成为一个很大的挑战。 本论文针对这一应用需求，研究及设计实现了一个基于i n t e r n e t 的高效 m p e g - 4 视频传输体系结构。首先，对m p e g 4 视频编解码算法简化及优化，以 实现多平台应用；接着，对优化后的m p e g - 4 视频编解码器进行d i r e c t s h o wf i l t e r 开发，以应用于w i n d o w s 平台；最后，利用优化后的m p e g - 4 视频编解码器设计 基于w i n d o w $ 平台的视频传输系统，实现视频的多路实时传输。验证结果显示， 该系统实现了高质量的传输多路视频信息，可应用于包括视频监控系统在内的多 种视频应用系统。 关键词：m p e g - 4 视频编码d ir e c t s h o w f ii t e r 多媒体通信w i n d o w s 平台优化 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r a c ta n dt h eg r e a ti n c r e a s i n go fc h a n n e l b a n d w i d t h s ，r i c hm u l t i m e d i ac o n t e n t ，s u c ha sh i g h q u a l i t yv i d e oc o m m u n i c a t i o n s ，a r e h i g h l ye x p e c t e di no u rd a i l yl i f e h a v i n gt h em p e g 一4m u l t i m e d i as t a n d a r da n d f r a m e w o r k , m p e g - 4v i d e os t r e a m i n go v e rt h ei n t e r n e tw i l lu n d o u b t e d l yb e c o m ea l l i m p o r t a n ta p p l i c a t i o n h o w e v e r , b e c a u s eo ft h eh i 曲c o m p l e x i t yo ft h em p e g - 4v i d e o c o d i n ga l g o r i t h m ，i tw i l lb eac h a l l e n g i n gt a s kt oi m p l e m e n ta ne f f i c i e n tm p e g 一4 v i d e ot r a n s m i s s i o ns y s t e mt h a ta b l et om a x i m i z et h ep e r c e p t u a lq u a l i t yo fv i d e ow h i l e a c h i e v i n gh i 曲c h a n n e lr e s o u r c eu t i l i z a t i o n , e s p e c i a l l yi nm u l t i - c h a n n e lc a s e s i nt h i sp a p e r , a ne f f i c i e n tm p e g - 4v i d e os t r e a m i n ga n dt r a n s m i s s i o na r c h i t e c t u r e b a s e do ni n t e r n e tw a ss t u d i e da n dd e s i g n e d f i r s t ，t h em p e g - 4v i d e oc o d e ca l g o r i t h m s w e r es i m p l i f i e da n do p t i m i z e df o rc r o s sp l a t f o r m sa p p l i c a t i o n s s c c o n d ，m p e g 一4 v i d e oe o d e cf i l t e r sf o rw i n d o w sp l a t f o r m sw e r ed e v e l o p e db yu s i n gd i r e e t s h o w t e c h n i q u e s a tl a s t ，am u l t i c h a n n e lr e a l t i m ev i d e ot r a n s m i s s i o ns y s t e mf o rw i n d o w s p l a t f o r mw a sd e s i g n e db a s e do nt h eo p t i m i z e dm p e g - 4v i d e oc o d i n ga l g o r i t h m s e v a l u a t i o nr e s u l t sh a v es h o w nt l l 矾t h ed e s i g n e ds y s t e mi sa b l et ot r a n s m i t m u l t i c h a n n e lv i d e os t r e a m sw i mh i 班q u a l i t y , a n dc a l lb eu s e di n m a n yv i d e o a p p l i c a t i o ns y s t e m s ，s u c ha ss u r v e i l l a n c es y s t e m s k e yw o r d ：m p e g - 4v i d e oc o d e c d i r e c t s h o wf i l t e r m u l t i m e d i ac o m m u n i c a t i o nw i n d o w sp l a t f o r mo p t i m i z e 创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：叠里日期丝1 21 1 呈! ! 兰 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本人签名： 导师签名： 日期! ! ! 业兰 第章引言 第一章引言 1 1 背景介绍 当今社会，多媒体信息己经广泛地渗透到人们的通信与交流中。特别是，随 着i n t e r n e t 的飞速发展，越来越多的固定的或移动的、有线的或无线的设备正在通 过i n t e m e t 主干网、窄带及宽带的本地接入、高速局域网以及日趋成熟的无线网等 来分享和交换多媒体信息。面对如此广泛的不同种类的而且动态变化着的网络及 其多样化的用户终端设备，出现了一个新的研究领域，即网络多媒体。它的使命 是提供高效、自扩展、鲁棒的和随手可及的多媒体通信，赋予人们在任何时间、 任何地点、使用任何设备，获取所需的各种形式多媒体信息的能力。 新一代视频压缩技术m p e g 4 【1 】的出现适应了多媒体应用的广泛需求，事实上 正在逐渐成为多媒体通信的标准，它建立在几种成功的技术上如数字视频、计算 机图形以及w w w 2 上，旨在提供一个制作、发布和播放多媒体内容的综合平台。 m p e g - 4 第一次提出了视频对象的概念，相对于传统的块压缩技术，它具有前所未 有的灵活性和高效性，不仅可以用于未来的交互式视频服务需求，同时也兼容于 传统方式视频的存储和传输，它无疑是网络视频压缩技术的优先选择，己经引起 了学术界和工业界极大的兴趣。 但是，多媒体数据要求实时性高，延迟小，误码率低，而当前i n t e r n e t 并不提 供服务质量保证，如果用户希望在网上观看一段电影，由于网络带宽时好时坏， 这段电影视频在传输过程中的质量无法得到保证。带宽低时，所传输的码流无法 自适应：带宽高时，又无法传输更多码流来及时有效地改善视频的质量，严重影响 这段电影的可观赏程度，因此，如何在现有的网络环境下，提供实时的，稳定的， 高质量的流媒体数据，即成为当前研究的热点。 网络多媒体的研究主要包含以下两个方面： 、( 1 ) 自适应性媒体编码技术，主要研究自扩展的、高效的、鲁棒的音视频描 述，它将作为面向不同种类且动态变化的有线无线信道或网络，以及多样化的用 户设备的媒体在线播放和视频会议的基础。不仅追求高效的压缩性能，而且致力 于提供普遍适用的可扩展性能( 空域扩展，时域扩展以及码率扩展) 、错误恢复能 力和鲁棒性。 ( 2 ) 媒体在线播放技术，在线播放主要是高效的以及鲁棒的传输机制和系统格 式，以便使音视频内容在宽带广域网进行传输。包括：快速媒体存取、音视频信 息打包、信道和网络特性估计和监测、自适应的丢包及错误保护和处理、自适应 码率分配、自适应功耗控制及多媒体同步等。当前研究侧重于音视频压缩码流和 m p e g - 4 视频传输关键技术研究 网络的联合效应，而非网络本身的一般问题。 1 2 视频传输关键技术介绍 网络多媒体包括几个关键组成部分：信源的压缩编码、打包算法、端对端反馈 控制和错误控制及通信系统的模型设计。其中，信源的压缩编码及通信系统的模 型设计是多媒体通信所必须得模块设计，而打包算法、端对端反馈控制和错误控 制也是多媒体通信的关键技术。因为当前的i n t e r n e t 环境只能最大限度的( b e s t - e f f o r t ) 提供服务，网络不提供q o s 支持，因此传输能力受网络条件的影响很大，所以端系 统( 发送端和接收端) 必须要有一个反馈控制机制，使得发送端可以动态的调整传 输速率以适应动态变化的网络环境，因此，反馈控制协议是网络多媒体不可缺少 的部分。另外，由于大多数流的语义是面向比特的，而i n t e m e t 的传输机制是分组 交换，因此，必须要有一个合适的打包算法才能有效的传输比特流。最后，由于 i n t e m e t 拥塞情况下的丢包不可避免，为了更好的保证视听质量，必须要有一个有 效的错误隐藏机制来保证当在少量丢包情况下尽量少的损害观赏的效果。 近年来，多媒体信源压缩编码技术已经得到广泛研究，如视频会议标准h 2 6 3 和h 2 6 1 ，影碟视频数据压缩标准m p e g - l 2 ，m p e g 4 正是基于以上的成果发展而 来的。l v i p e g 4 是代表多媒体发展方向的前沿技术，它采用面向对象的分层分级编 码传输方式。l v i p e g - 4 正式编号是i s o m c 国际标准1 4 4 9 6 ，它是一种新型的多媒体 标准，它与l v i p e g 2 标准的一个重要区别就在于它是一个基于对象的编码压缩标 准，它所定义的码率控制的目标就是获得在给定码率下的最优质量，同时体现了 根据网络带宽以及发送、接收能力的实际状况进行智能化选择、分层分级编码传 输的设计思想，它为互联网上传输高质量的多媒体数据提供了很好的技术平台。 而关于网络流打包算法的己有标准有h 2 6 1 ，h 2 6 3 、h 2 6 3 + 和m p e g1 2 ，但 是已有的标准大多是基于块的，对e g 4 来说并不适用，或者不是最优的。所以 当前针对m p e g - 4 视频的传输的框架模型设计并不成熟，本文针对i v i p e g 4 基本流， 提出了包括最简单的点对点的r t p 打包通信，视频会议系统及主流的基于c s ( c l i e n t s e r v e r ) 的m p e g - 4 视频通信和的模型及实现。 网络多媒体流的反馈控制机制也非常重要，由于大多采用倍数速率递增机制， 导致速率变化过于剧烈，从而引起较高的丢包率。如果充分利用与r t p 协议对应的 控制协议r t c p ( 实时传输控制协议) 对网络状态进行监控，则多媒体的网络传输 性厶匕t 厶匕r i g , 够得到很好的改善。 到目前为止，关于i v i p e g 一4 流的研究开展的很少，由于视频数据量很大，所以 传输的关键是如何保证视频数据的传输，本文的目的即在于建立一个体系结构模 型，通过它可以有效地在i n t e m e t 上传输m p e g 一4 视频流，同时，该架构不仅可以适 第一章引言 应多变的网络环境，还可以有效的利用网络资源。 1 3 本文研究的内容和主要研究成果 本论文主要是研究基于w i n d o w s 平台的m p e g 4 视频【2 】的i n t e m e t 网络传输系 统，并将结论应用于多路实时的视频监控系统。针对视频监控的应用，本研究首 先将整个系统分为视频编解码，w i n d o w s 平台应用及i n t e m e t 视频通信系统三个模 块，并逐一的进行研究及实现，最后在综合各步的模块以实现整个视频监控系统 的设计。 论文所涉及的主要研究工作有： ( 1 ) m p e g - 4 视频编解码的研究。具体包括m p e g - 4 视频编解码框架【2 】的选择， 对选定的编解码框架的各个模块的研究，及对视频编解码框架的简化与优化； ( 2 ) 基于w i n d o w s 平台对视频编解码应用的研究及实现。这里主要对m i c r o s o f t d i r e c t s h o w 技术及相应的f i l t e r 技术进行了深入的理解； ( 3 ) 视频基于i n t c r n e t 通信的研究。具体包括对主要通信协议，如r t p r t c p 、 r t s p 等的研究，还有对多媒体通信框架结构包括点对点视频通信、服务器客户端 视频通信，视频会议系统等框架结构的研究。 针对上述研究，论文涉及的研究成果有： ( 1 ) 对m p e g - 4a s p ( a d v a n c es i m p l ep r o f i l e ) 视频编码器的优化及简化，使该 编解码系统可以流畅的对四路甚至十六路的并行采集原始视频进行编解码，并对 优化结果进行了全面准确的测试； ( 2 ) 在w i n d o w s 平台，分别开发出m p e g 4 视频的编码及解码器的d i r e c t s h o w f i l t e r ，并利用g r a p h e d i t 对开发出的f i l t e r 进行了单路、四路及十六路视频编解码的 测试； ( 3 ) 全面测试各种基于i n t e r n e t 的视频传输系统，并总结其优缺点及特点，选出 适合于本研究的视频通信框架，并利用该框架对前两步的结果进行测试。 1 4 论文的结构安排 在接下来的内容里，第二章介绍了视频传输中涉及的各种技术，首先介绍了 m p e g 4 视频标准的情况，其中重点介绍了有关m p e g 4 视频的编解码情况；接 着介绍了m p e g - 4 视频在网络传输方面的知识，主要包括r t p r t c p 协议介绍， r t s p 协议介绍及流媒体的传输框架等内容；第三章详细的介绍了m p e g 4 视频 基于w i n d o w s 平台的一些简化及优化的原因及过程，并对优化结构进行了测试及 分析；第四章详细说明了m p e g 一4 视频编解码器基于w i n d o w s 平台的封装过程， 4 m p e g - 4 视频传输关键技术研究 具体包括m i c r o s o f td i r e c t s h o w 及f i l t e r 技术介绍及视频编解码器的f i l t e r 封装得 详细过程，并对结果进行测试；第五章则详细介绍了m p e g - 4 视频的远程传输系 统设计方案，其中重点介绍了服务器客户端框架的视频传输，并简单介绍了点对 点的视频传输及视频会议系统；第六章为全篇论文的总结。 第一二章视频编码及传输技术 第二章视频编码及传输技术 2 1m p e g 4 视频编码介绍 2 1 1 多媒体应用技术的系列标准 在过去的十年里，在多媒体和数字视频领域出现了一系列国际标准。这些标 准主要包括三个方面，i s o 方面的p e g 标准，m p e g 标准和r r u t 的 h 2 6 1 h 2 6 3 ，h 2 6 4 系列标准。 h 2 6 1 ，h 2 6 3 ，h 2 6 4 系列标准是u t 国际电信联盟针对视频会议系统提出的 一系列的视频编解码解决方案。当前使用最为广泛的h 2 6 3 是在h 2 6 1 的基础上 发展起来的，是为低码流通信而设计的( 低于6 4 k b s ) ，但随后出现的第二版 口2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。其标准输入图 像格式可以是s q c m 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取样图 像。h 2 6 3 与h 2 6 1 相比采用了半象素的运动补偿，并增加了4 种有效的压缩编 码模式。h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( t ) 制定的新一代视 频压缩编码标准。对信道时延的适应性较强，既可工作于低时延模式以满足实时 业务，如会议电视等；又可工作于无时延限制的场合，如视频存储等。相对于先 期的视频压缩标准，h 2 6 4 引入了很多先进的技术，包括4 x 4 整数变换、空域内 的帧内预测、1 4 象素精度的运动估计、多参考帧及多种大小块的帧间预测技术 等。新技术带来了较高的压缩比，同时大大提高了算法的复杂度。 m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 运动图像专家组，隶属于i s o i e c 的一个 专家工作组，专门从事于多媒体中的图像和语音数据压缩和传输技术，1 9 9 2 年制 定出m p e g 1 标准，随后于1 9 9 4 年，制定出m p e g 2 标准，随着研究工作的深入发 展，i s o 又公布了“超低比特率活动图像和语音压缩标准”，排序为m p e g - 4 ，1 9 9 8 年1 0 月批准第一版，1 9 9 9 年4 月又公布了第二版及其校验模型( v l v l ) 。 m p e g - 1 是针对v h s 、普通电视质量的视频信号的压缩，用于传输1 5m b p s 数 据传输率的数字存储媒体运动图像及其伴音的编码，有着广泛的应用，如v c d 的 制作。 m p e g 一2 是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系 统层的详细规定，压缩后传输速率为2 8 0 m b p s ，广泛地应用在d v d 带i j 作、数字电 视等方面。 m p e g 4 是代表多媒体发展方向的前沿技术，它采用面向对象的分层分级编码 传输方式。m p e g 4 正式编号是i s o i e c 国际标准1 4 4 9 6 ，它是一种新型的多媒体标 6m p e g - 4 视频传输关键技术研究 准，它与m p e g 2 标准的一个重要区别就在于它是一个基于对象的编码压缩标准， 它所定义的码率控制的目标就是获得在给定码率下的最优质量，同时体现了根据 网络带宽以及发送、接收方能力的实际状况进行智能化选择、分层分级编码传输 的设计思想，它为互联网上传输高质量的多媒体数据提供了很好的技术平台。 2 1 2m p e g - 4 视频编码系列标准介绍 m p e g 一4 为m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 工作组制定的一个标准。 m p e g 是活动图像专家组的英文缩写。它是标准化组织( i s o ) 和国际电工委员 会( c ) 联合技术委员会( j t c i ) 的第2 9 委员会( s c 2 9 ) 的第1 1 工作组( w g l1 ) 。 m p e g 的任务是开发运动图像及其声音的数字编码标准，成立于1 9 8 8 年。 专家组最初的任务有三个：实现1 5 m b s 、1 0 m b s 、4 0 m b s 的压缩编码标准， 即m p e g 1 、m p e g 2 和m p e g 一3 但因为m p e g 2 的功能以使m p e g 3 为多余，所以 m p e g 3 于1 9 9 2 年撤销。 m p e g 4 项目是1 9 9 1 年5 月建议并于1 9 9 3 年7 f l 确认，其项目启动时的初衷是 针对视频通信和多媒体应用制定的一个超低比特率运动图像和音频的压缩标准。 然而随着研究工作的深入，m p e g 组织发现，人们对多媒体信息的需求将由单纯播 放型转向基于内容的访问、检索和操作。同时，通用处理芯片的性能大大提高， 使得以软件方式处理较复杂算法成为可能，基于对象的压缩编码研究掀起了热潮 并取得进展。于是，m p e g - 4 改变了研究方向，从单纯的提高压缩效率转向通用的 多媒体压缩标准。以实现低码率作为基本核心的同时，以面向对象的交互性作为 研究重点。m p e g - 4 标准正式将多种新的多媒体技术充分应用于编码中，除包括压 缩效率本身的工具、算法外，还汲取了图像分析与合成、计算机视觉、计算机图 形、虚拟现实与语音合成等技术，是第一个基于内容的通用的多媒体编码标准。 m p e g 4 为多媒体信息提供了基于对象的表述与压缩方法，不仅包括自然的视 频、音频、静态图像等对象，还包括合成的文本、2 d 3 d 图形、人脸、人体、语音、 音乐等对象，并提供了基于对象的交互性和可分层性。同时，m p e g 4 提供了更好 的开放性，在低码率下具有良好的视听质量，具有更高的编码效率、更强的纠错 能力和更好的网络无关性。 m p e g 一4 视频在m p e g 一4 标准的第二部分【2 1 。与以往的视频标准不同的是 m p e g 4 视频编码更加的强调编码的灵活性或者称为可变性。主要体现在它不仅仅 可以更高效的处理传统的矩形视频编码，还能处理任意形状的对象编码、静态图 像编码、混和自然及计算机合成信息视频的编码等多种多样的视频对象，而且其 实现了编码的可分级操作以及解码的互交性操作，可以适应不同的网络传输需求 及应用需求。 第二章视频编码及传输技术 m p e g - 4 视频采用的主要技术有： ( 1 ) 用于提高压缩效率的算法技术： 单宏块4 运动向量( f o u rm o t i o nv e c t o r sp e rm a c r o b l o c k ) ； 无界限运动向量( u n r e s t r i c t e dm o t i o nv e c t o r s ) ； 帧内预测( i n t r ap r e d i c t i o n ) ； 四分之一像素搜索( q u a r t e r - p i x e lm o t i o nc o m p e n s a t i o n ) ； 全局运动补偿( g l o b a lm o t i o nc o m p e n s a t i o n ) 等。 ( 2 ) 用于提高传输效率及实时性的算法技术： 视频打包( v i d e op a c k e t s ) ； 数据分割( d a t ap a r t i t i o n i n g ) ； 可逆的变长编码( r e v e r s i b l ev a f f a b l el e n g t hc o d e s ) ； 多预测参考帧( n e w p r e d ) ； 动态分辨率转换( d y n a m i cr e s o l u t i o nc o n v e r s i o n ) 等。 ( 3 ) 用于任意形状编码的技术： 二进制形状编码( b i n a r ys h a p ec o d i n g ) ； 任意形状的运动补偿技术( m o t i o nc o m p e n s a t e dc o d i n go fa r b i t r a r y - s h a p e d v o p s ) ： 边界宏块的文本编码( t e x t u r ec o d i n gi nb o u n d a r ym a c r o b l o c k s ) ： 灰度形状编码( g r e ys h a p ec o d i n g ) ； 静态背景编码( s t m i cs p r i t ec o d i n g ) 等。 ( 4 ) 用于可分级编码的空间可分级编码技术、时间可分级编码技术等。 ( 5 ) 其他技术如帧交织支持( i n t e r l a c e ) 等。 2 1 3m p e g - 4 视频编码标准的新特征 与以往的编码标准相比，m p e g 4 有了重大的改进和突破。其中最重要的是 编码理念得改变，m p e g 4 标准与以往得标准最显著得差别是它采用了基于对象 得编码理念，即在编码前将一幅景物分成若干个在时间和空间上相互联系的视频、 音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解 码，从而组合成所需要的视频和音频。以下为一些m p e g - 4 标准的具体的功能特 点： ( 1 ) 基于内容的交互功能。m p e g 4 提供了全新的交互方式，根据制作者的具 体自由度设计，在有限的时间内可以方便的从多媒体数据库中有选择的获取自己 所需的与对象有关的内容，并能实现对对象的快速搜素、改变场景的视角、随机 存取，或对该对象进行置换甚至清除。 8 l p e g 一4 视频传输关键技术研究 ( 2 ) 支持自然及合成信息的混合编码。m p e g - 4 提供了高效的自然或合成的多 媒体数据的编码方法，它可以把自然场景或对象组合起来成为合成的多媒体数据。 ( 3 ) 高效的压缩性。m p e g 一4 基于更高的编码效率，同以往的标准相比，在相 同的比特率下，它基于更高得视觉和听觉质量，这就使得在低带宽的信道上传送 视频、音频数据成为可能。并且它可以实现多个并发数据得有效同步编码。 ( 4 ) 基于内容得伸缩性。指分级编码后，纹理、图像和视频基于内容的伸缩性， 视频序列中时域、空间及质量的伸缩性。 ( 5 ) 通用的访问性。m p e g 4 提供了易于出错环境得鲁棒性，来保证其在许多 无线和有线网络以及存储介质中的应用。另外，它还支持基于内容得可分级性， 即把内容、质量、复杂性分成若干个小块来满足不同用户的不同需求，支持具有 不同带宽、不同存储容量的传输信道和接收端。 2 1 4m p e g - 4 视频编码流的主要概念 图2 1 显示了m p e g 4 视频编码流的基本结构【2 】【3 1 。m p e g - 4 的语义流中有几个主 要概念分别陈述如下： 一一一一一一一一一一一一一一一一r 。= 一二二i 二二! ! ；三：i ：三三置 三三；泠；= = ；一 v i d e oo b j e c t v i d e o o b j e e t s t i l l t e x t u r e o b j e e tm e s h o b j e c tf a c e o b j e e t 一一一一一一一一一一一一一一一一一一一；_ 一一一一一一一一一一一一一一一一一一一一一一一一 一一videoobjectlayer一一一一一一篓一二二二-一一一一一一一一一一一一一一一一一一 g r o u po f o b j e c tp l a n e g o v 0g o v l 一一一一一一一一一一一一一一一一一a 一一一一一一一一一一一一一一一一一一一一一一一一一一一一 v i d e oo b j e c tp l a n e v o p 0 v o p n 图2 1m p e g - 4 视频的基本结构 视频对象序列( v i d e oo b j e e ts e q u e n c e ) 一个视频对象序列处于层次结构中的最高层，它是一个或多个视频对象流的集 厶 口o 视频对象( v i d e oo b j e c t ) 视频对象v o 是可视场景中景物的抽象描述。从用户的角度看，它代表画面中 的任何有意义得物理实体，如人、物体、甚至可能是背景。视频对象是m p e g - 4 中 第二章视频编码及传输技术 9 编码的基本单位。m p e g 一4 可视场景由一个或多个视频对象组成，每个视频对象的 形状，运动和纹理用其相关的时间和空间信息给出。 视频对象层( v i d e oo b j e c tl a y e r ) 为了实现可伸缩性，视频对象采用了分层的结构，即空间可分级性。这种可伸 缩性语法使我们能从一个单独的基础层开始，用增加一些增强层的方法，以分层 的方式重建视频。这样对于不同的带宽和计算复杂性需求，不必针对每种情况分 别编码，可以使用同一个视频比特流，而采用不同的参数以选择不同的层，以获 得灵活性。 视频对象平面v o p ( v i d e oo b je c tp l a n e ) 与视频对象v o 有关的另一个重要的概念是视频对象平面。如果把输入视频序 列的每一帧分割为若干任意形状的图形区域，每一个区域对应于一个特定的物理 对象，这个区域就是视频对象平面v o p 。v o p 既有空间的概念也有时间的概念。 从另一个角度，v o p 是视频对象v o 在某一时刻的采样。因此，属于场景中同一个 物理对象得连续的v o p 就代表了一个视频对象v o 。从编码角度看，v o 实际上是由 一组同一实体得任意形状和位置的v o p 序列组成的。 v o p 是m p e g - 4 中编码的基本单位。每个v o p 可以独立的编码，也可以使用运 动补偿技术相互依赖的编码。传统的视频帧可以用矩形v o p 表示。v o p 包含了视 频对象的即时视频数据，包括运动参数、形状信息和纹理。 2 1 5m p e g - 4 视频的编解码过程 2 1 5 1m p e g - 4 框架与级别【2 】 m p e g - 4 提供了大量的、丰富的音视频对象的编码工具，能够满足各种各样 的应用需要。对于某一个特定的应用，只有一部分系统、视频和音频的编码工具 被采用，框架( p r o f i l e ) 就是针对特定的应用确定要采用的编码工具，它是m p e g 一4 提供的工具集的一个子集。每一个框架又有个或多个级别( l e v e l ) 来限制计算 的复杂度。m p e g 4 共有4 类框架：视频框架、音频框架、图形框架和场景描述 框架。m p e g 4 视频现在的框架，包括1 2 个自然视觉框架和7 个合成视觉或混合 视觉框架。自然视觉框架可以分为：矩形帧编码类、任意形状帧编码类、可分层 编码类、演播室类。自然视觉的框架分类如表2 1 所示【2 1 。矩形帧编码类有简单 框架( s p ) 、高级简单框架( a s p ) 、高级实时简单框架( j 6 衄s p ) 三种。 1 0i d p e g - 4 视频传输关键技术研究 表2 1 自然视觉的框架分类表 类型框架级别使用工具集主要特性 i - v o p , p - v o p , 简单框架4 级 4 m v , 无限制运低复杂度的矩形 s i m p l ep r o f i l e l 0 l 3 动补偿，帧内预 视频编码 矩 测，r v l c 形 简单框架， 编 高级简单框架 7 级 b - v o p ，可选量更高效率的矩形 码 a d v a n c es i m p l e l 0 l 6 化方法，1 4 运动视频编码，支持 p r o f i l e 补偿，全局运动 隔行扫描 类 补偿，隔行扫描 高级实时简单框 架a d v a n c e4 级 简单框架，动态矩形视频编码， r e a l - t i m es i m p l el 1 l 4 分辨率转换 支持实时流 p r o f i l e 简单框架， 核心框架2 级 b v o p ，二值形 状，p - v o p 时间 基本功能的任意 c o r ep r o f i l el 1 l 2 形状对象编码 可分层，可选量 化方法 任 核心框架，灰度 意主要框架3 级 形状，隔行扫描，功能丰富的视频 形 m a i np r o f i l el 2 - 1 4 s p r i t e ，分层景致对象编码 状纹理 编 高级编码效率框核心框架，1 4 码 架a d v a n c e 4 级 精度运动补偿， 类 c o d i n g l 1 “ 全局运动补偿， 极高效率的视频 e f f i c i e n c ys a - d c t ，灰度 对象编码 p r o f i l e 形状，隔行扫描 n 比特框架l 级 核心框架，n - b i t ( 不同像素深 非8 比特像素的 n - b i tp r o f i l el 2 视频对象编码 度) 编码 简单框架， 简单可分层框架 4 级b v o p ，时间可 矩形视频的分层 s i m p l es c a l a b l e l o l 3 分层、空间可分编码 可 p r o f i l e 分 层( 矩形) 核心框架，简单 层核心可分层框架 3 级可分层框架，基视频对象的分层 编 c o r es e a l a b l e l 1 l 3 于对象的空间可编码 码p r o f i l e 类 分层 精细可分层编码 6 级 高级简单框架，矩形视频的高级 f i n eg r a n u l a r i t y l 0 l 5 f g s 时间可分层精细分层编码 s c a l a b l ep r o f i l e 第二章视频编码及传输技术 i v o p ，s t u d i o 简单演播室框架 4 级 切片，s t u d i o 高质量视频的基 演 s i m p l es t u d i o l 1 i a d p c m ，s t u d i o 于对象的编码 播 p r o f i l e 二值形状和灰度 室编码，隔行扫描 类 核心演播室框架 4 级 简单演播室，高质量，基于对 c o r es t u d i o l 1 l 4 p - v o p ，s t u d i o 象，高效率的编 p r o f i l e s p r i t e 码 本论文研究是针对视频监控系统设计的，在所要求的视频质量与传输速率之 间进行权衡后选择矩形编码类的高级简单框架( a d v a n c es i m p l ep r o f i l e ) 中的 l e v e l 4 作为视频信源编码的基础，在进行一定的简化及优化后作为整个系统的编 解码模块使用。2 1 5 2 及2 1 5 3 会对视频编解码分别进行详细的论述。 2 1 5 2m p e g 4 视频编码过程【4 】 图2 2 为m p e g - 4s p ( s i m p l ep r o f i l e ) 级的视频编码器的原理图 图2 2m p e g - 4s p 级编码器原理图 由原理图可以看出，m p e g 4s p 级视频编码是采用运动估计补偿( m e c ) + 离散余弦变换( d c t ) + 标量量化( q ) + 游程编码( r l c ) + 可变长编码( v l c ) m p e g - 4 视频传输关键技术研究 的混合编码方式进行的。m p e g 4s p 视频编码采用基于矩形帧自然视频编码，此 时不包括形状编码过程，采用帧内d c t 和帧间运动补偿预测实现码流压缩，其具 体编码过程主要包括运动估计、d c t 变换和量化、运动补偿、反d c t 变换和反 量化、系数的变长编码以及帧重构等几个主要部分。 本论文采用的m p e g 4a s p ( a d v a n c es i m p l ep r o f i l e ) 是在s p 级的基础上增 加了一些工具构成的，增加的新的算法功能包括：增加了b 帧的操作，增加了可 选的量化方法( h 2 6 3 m p e g ) ，将原有的1 2 精度运动补偿提高为1 4 精度，增 加全局运动补偿和隔行扫描技术等。 - 运动估计和补偿( m e 府讧c ) 运动估计和补偿技术通过对已知图像的一块相应像素值的重新定位，来预测 当前图像中一块像素的值。m p e g - 4 标准中的运动估计方法与其他视频标准中使 用的方法相似。主要差别在于其他标准中的基于帧的技术在改造后用于m p e g - 4 的v o p 结构。有三种形式的v o p 编码方法：( 1 ) 帧内v o p ，即i - v o p ，v o p 被 独立编码与任何其他v o p 无关；( 2 ) 前向预测v o p ，即p v o p ，v o p 可以基于 另一个先被解码的v o p 做出预测；( 3 ) 双向插值v o p ，即b v o p ，v o p 可以基 于过去的以及未来的v o p 作出预测。运动估计仅对v o p 得定界框中的宏块进行， 并且仅在编码p v o p 和b v o p 时才有必要使用。运动估计算法的研究主要从快 速搜索算法和块匹配准则两方面进行。 运动补偿是指利用参考帧和以求得的运动矢量重构当前帧，根据参考帧值对 原视频数据进行预测，得到预测误差值，然后对预测误差值进行压缩编码，与运 动估计两者相互配合，共同实现压缩效果。 变换和量化 v o p 内部纹理块和填充边界用8 * 8 块d c t 编码。d c t 变换后接着是量化过 程。d c t 系数需要量化，有两种可能的量化类型：l v l p e g 量化方式和h 2 6 3 量化， 两者基本上都是用系数去除量化步长。第一种是用两个可能的量化矩阵中的一个， 根据系数的空间频率去除量化步长。第二种是对所有的系数使用相同的量化步长。 系数预测 由于相邻的8 * 8 块之间d c 和a c 系数具有相关性，因此量化系数的平均量 值可以使用邻块预测来进一步减少。预测可以从上块左块或左上块进行，它的选 择要根据对周围块的水平和垂直梯度的比较决定。系数预测分为d c 预测和a c 预测，d c 预测仅对d c 系数处理，a c 预测是指当前块的第一行或第一列的系数 是从所选块的系数是从所选块的相对位置的系数预测而来的。 系数的扫描和行程编码 在d c t 变换和量化之后，要进一步对系数进行行程编码，在此之前，用一个 扫描过程把两维数据转换为一维数据，扫描方式有三种：( 1 ) 之字型扫描；( 2 ) 水 第二章视频编码及传输技术 平交替扫描；( 3 ) 垂直交替扫描。d c 预测的类型决定了扫描的类型。没有d c 预 测使用第种，水平方向和垂直方向分别使用第二和第三种。行程编码可使用两 个v l c 表，选择哪个决定于量化器的值。 2 1 5 3m p e g 一4 视频解码过程【2 】【5 】 图2 3 为m p e g 一4s p ( s i m p l ep r o f i l e ) 级的视频解码器的原理图 图2 3m p e g - 4s p 级视频解码原理图 解码器主要由三部分组成：形状解码器、运动解码器和纹理解码器。重建的 v o p 通过合并解码的形状、运动和纹理信息而得。m p e g - 4s p 解码器是由运动解 码器和纹理解码器组成。 i - v o p 是以帧内( i n t r a ) 编码模式对矩形v o p 进行编码，不依赖于其它帧， 因此没有形状解码和运动解码部分，只有纹理信息解码。 p - v o p 是以帧间( i n t e r ) 编码模式对前面的i - v o p 或p v o p 进行预测编码。 除了具有纹理编码模块外，还有运动补偿部分。p v o p 中的宏块可以是i n t e r 模 式也可以是i n t r a 模式，如果是后者，则与i - v o p 的解码过程相同。 ( 1 ) 纹理解码( i 帧解码) 可变长解码 可变长编码( v l c ) 器把每个输入符号映射为一系列码字，每个码字的码长 是不固定，但必须有完整的比特。发生频率高的符号用短v l c 码表示，频率低得 m p e g 一4 视频传输关键技术研究 则用长v l c 码表示。对足够多的符号编码可以压缩数据。 l v i p e g 一4 采用预先计算v l c 表，它基于一般视频序列的频率分布预先计算出 码字表。变换系数所采用的预先计算v l c 表编码之一。m p e g - 4 视觉量化系数进 行3 d 编码，即表示成( r u