（农业电气化与自动化专业论文）基于vc的mpeg4解码算法的研究与实现.pdf

中国农业大学硕士学位论文 摘要 摘要 随着网络和通信系统的高速发展。交互式计算机和电视技术的普遍应用。以及现代远程教育 技术的迫切需要，人们对多媒体数据的编码、解码技术提出了更高的要求。近几年来，视频压缩 技术发展迅速，新的视频标准不断推出。m p e g - 4 是国际运动图像专家组( m p e g ) 在继m p e g l 和m p e g - 2 之后，制订的又一个i s o i e c 标准， 1 p l s o i e c1 4 4 9 6 。它能够获得更高的音视频压缩 率，且具有基于内容的交互能力目前m p e g - 4 也正在不断的修订，以提出更好的压缩及解压算 法，在质量有损最小的前提下，获得更好的压缩效果。本文结合目前视频标准的发展情况，对基 于对象的视频编码标准m p e g - 4 进行了深入的研究，对m p e g - 4 的编解码结构及视频层次化的数据 结构进行了分析。并对编解码的关键技术，如：形状编解码、运动估计和运动补偿以及纹理编解 码进行了研究，对其中的核心技术d c t i d c t 变换、逆量化、变长编解码、半像素精度搜索、d c 和a c 系数的预测等进行了详细的分析。针对m p e g - 4s v p 模型，本文介绍了它的解码的详细过程， 并结合实际要求，对解码算法进行了优化，给出了解码的软件实现，最后给出了系统的实现情况 和测试结果。 关键词：m p e g - 4 标准。研究，解码，优化 中国农业大学硕士学位论文 a b s t r a c t a b s t r a c t a st h eh i g h s p e e dp r o g r e s so fn e t w o r ka n dt h es y s t e mo fc o m m u n i c a t i o n , t h ew i d eu s eo f a | t e m a t e dc o m p u t e ra n dv i d e o st e c h n o l o g y , a n dt h en e c e s s a r yn e e df o rt h et e c h n o l o g yo fm o d e r n l o n g - d i s l a n c e se d u c a t i o n , t h et e c h n o l o g yo fm u l t i m e d i ac l a r a se n c o d i n ga n dd e c o d i n ga n e e d e df o r h i 曲q u a l i t y r e c e n t l y , m o r ea n dm o r ev i d e os t a n d a r d sa mp u tf o r w a r d m p e g 4i st h es t a n d a r do f i s o i e c1 4 4 9 6w h i c hi se s t a b l i s h e da f t e rm p e g - la n dm p e g - 2b ym o v i n gp i c t u r ee x p e r tg r o u p i t c a l lo b t a i nf i n e ra r i t h m e t i co fc o m p r e s s i o no rd e c o m p r e s s i o n , a n dhi s p r o v i d e dw i t ht h ea b i l i t yo f a l t e r n a t i o nw h i c hb a s e do nc o n t o n t n o wm p e g - 4i ss t u d i e dc o n t i n u o u s l yf o rb e t t e ra r i t h r a e t i ci no r d e r t oa c q u i r ef i n e re f f e c tu n d e rt h ec o n d i t i o no f t h el e a s tl o s i n gq u a l i t y t h i sp a p e rc o m b i n et h ee v o l u t i v e s i t u a t i o no f v i d e os t a n d a r d s ，w i t hi n - d e p t hr e s e a r c ho fm p e g - 4w h i c hb a s eo no b j e c t , t h e na n a l y s et h e f r a m eo fm p e g - 4a n dh i b e r a r c h yo fm p e g - 4 sd a t as m j c t u r e ，a n dt h e ns t u d yt h ek e yl e c h n o l o g ys u c h a se n c o d i n ga n dd e c o d i n go fs h a p ea n dt e x t u r e , m o v i n ge s t i m a t e , m o v i n gc o m p e n s a t i o na n ds oe 1 1 a l s oa n a l y s et h ec o r et e c h n i q u e ，f o re x a m p l e ，d o t , i d c t , v l c ，v l d , h a l f s a m p l ei n t e r p o l a t i o n ，d c a n da cc o e f f i c i e mp r e d i c t i o n t h i sp a p e ri n t r o d u c et h ec o l l r s co fd e c o d i n gi nd e t a i lf o rt h em o d e lo f m p e g - 4s v p , a n do p t i m i z et h ea r i t h m e t i ci nd e c o d i n gf o rt h ep u r p o s eo f p r a c t i c a la p p l i c a t i o n s a tl a s t d e l i v e rt h er e a l i z a b l es o f t w a r ef o rd e c o d i n ga n do f f e rt h et e s t i n gr e s u l t k e y w o r d s ：m p e g - 4s t a n d a r d ，s t u d y ，d e c o d i n g ，o p t i m i z i n g 中国农业大学硕士学位论文插图和附表清单 i i i i 插图和附表清单 图2 1 流媒体系统组成3 图3 1m p e g - 4 视频编码器结构图1 3 图3 - 2m p e g _ 4 视频数据流的逻辑结构图1 4 图3 - 34 ：2 ：0 宏块结构1 5 图3 4 基于对象平面的m p e g - - 4 编解码过程1 9 图3 - 5 基于v o p 的编码框图t 1 9 图3 - 6 形状编码结构图2 0 图3 7 纹理编码过程2 1 图4 - l 系统解码器模型流程“2 2 图4 2 简化的视频解码过程“2 3 图4 3 视频纹理解码过程”2 4 图4 4 三种扫描方式2 5 图4 5d c 预测中使用的邻居块2 6 图4 - 6a c 预测示意图- 2 7 图4 7 逆量化过程2 9 图4 8 帧内宏块使用的量化矩阵2 9 图4 - 9 非帧内宏块使用的量化矩阵- 2 9 图4 1 0 蝶形算法示意图3 2 图4 - l l 上下文环境数模板3 5 图4 1 2 包围外部宏块的边界宏块的优先级“3 8 图4 1 3 半像素的插值3 8 图4 1 4 宏块中每个候选运动向量预测器m v i 、m v 2 、m v 3 的定义3 9 图5 1m p e g - 4s v p 的解码过程4 2 图5 2 码流的分层组织4 5 图5 3 主程序流程图”4 8 图5 4m b 解码流程图“5 0 图5 。5 ( a ) 帧内块纹理解码“5 3 图5 5 c o ) 帧间块纹理解码“5 3 中国农业大学硕士学位论文插图和附表清单 图5 - 6 三种逆扫描方式查找表5 7 图5 7 应用程序测试结果”6 0 表3 1 填补码字1 6 表3 - 2 开始特征码1 6 表4 1 d c t 块的d c 系数的非线性标度和用q u a n t i s e r的关系表示_scale 2 7 表4 2b a b 类型表3 3 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示了谢意。 十 研究生签名。弼 时间：乙刀7年易月曲 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、 传播学位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名 导师签名： 时间：力伽7 年占月上 扫 洲。7 “w 丽珲 衰智 ： 厂 中国农业大学硕士学位论文第一章绪论 1 1 研究目的和意义 第一章绪论 近年来，市场对于视频会议、视频监控、交互电视、智能语音识别等多媒体应用的需求不断 增加。并且用户对于多媒体服务质量的期望也越来越高。但这些数字化信号的信息量极大，尽管 海量存储技术、处理器的速度和数字通信系统的性能有了迅猛发展，但对数据的存储能力和数据 传输带宽的需求仍然超出了现有技术的能力所及。原有的多媒体数据压缩编码标准已经很难满足 新的要求。无论是从经济还是技术角度上来说，光靠硬件的支持并不能满足人们的需求，因此需 要对多媒体文件进行预处理才能适合流式传输。这种预处理包括：在保证质量的前提下，丢弃大 量对质量影响较小的信息；采用先进，高效的压缩算法对多媒体文件进行压缩。因此，人们对多 媒体数据的编码、解码技术提出了更高的要求。另外，以前的多媒体方面的应用。比如广播、电 影等，大多数缺乏交互性，观众只能被动地接收，没有主动参与的机会。现在，仅有这些单纯的 服务，已经不能满足要求，人们要想与多媒体信息进行生动、丰富和有效的交流，这一切也要求 新的压缩标准的支持。 m p e g - 4 正是在此背景下产生的。m p e o - 4 为视频、音频对象的编码提供了大量功能强大的 工具，它基于内容的特点支持对v o ( 视频对象) 的单独编码和解码，为交互性提供了最基本的 机制。在m p e g - 4 中，系统除涉及整体框架，同步、解码、多路复用和显示功能外，还涉及到场 景描述、交互性、内容描述和可编程性等功能。m p e g - 4 系统中指定了根据编码的视、音频信息 和相关的场景描述信息来产生可交互性的有效表达工具，为人们提供了一种对视、音频信息理解 的新方式。其基本码流包括视频、音频和场景描述的编码( b i f s ) 表示，并用各自相应的解码器 进行解码，视、音频对象根据场景描述信息复合并由终端显示设备显示出来，其时间上的同步由 系统解码模型中的同步层提供同步信息，其空间上的复合则由b i f s 码流协调。 为了使发送端能够知道接收端在重构现场时是如何根据缓冲区管理和同步信息进行处理，必 须对基本码流进行解码。由此可见解码技术也是流媒体技术中一个必不可少的重要环节之一， 它的发展和方法的创新必将推动流媒体技术的发展。 1 2 国内外研究现状 由于表示图像和视频信息所需的大量的数据往往是高度相关的，这些相关性会引起信息的冗 余因此可以通过去除这些冗余信息来实现对视频数据的压缩。传统的基于统计特性的运动补偿 和变换编码的混合编码框架在数据压缩方面取得了很大的成果，国内外的通用视频压缩标准均基 于此框架比如h 2 6 l 系列、m p e g 系列以及我国的a v s p 2 标准。但是随着计算机网络的不 断发展和应用需求的多样化。对于视频编码技术的研究不再仅仅局限于压缩特性，而渐渐开始向 网络适应性、用户交互性等方面转移。因此。视频编解码技术一方面继续以混合编解码为框架研 究如何进一步提高压缩特性，另一方面不断的向可伸缩、多视点编解码技术等分支方向发展。 中国农业大学硕士学位论文第一章绪论 ( 1 ) 混合编解码技术 混合编码框架的技术主要包括：运动补偿、预测编码、变换编码以及熵编码等。近年来混合 编解码的研究主要集中于如何在技术细节方面进行进一步完善，使编码效率得到进一步的提高。 ( 2 ) 可伸缩编解码技术 可伸缩技术将视频编解码技术从传统的压缩技术转变为了更多考虑网络适应性和灵活性的 编解码框架具有时域、空域和质量等多方面的灵活性。 到目前为止，实现可伸缩技术的方法大致上可以划分为两种：基于小波变换的可伸缩技术和 基于传统的混合编码结构的可伸缩技术。 ( 3 ) 多视点编解码技术 多视点视频( m u l t i v i e wv i d e o ) 是一种新型的具有立体感知和交互操作功能的视频技术，它 由一组平行、会聚相机阵列拍摄得到的视频信号。 ( 4 ) 无线视频编解码技术 在无线网络环境下的多媒体应用越来越多，其中无线视频监控因为具有更好的机动性，能够 应付各种突发事件，而成为未来视频监控的趋势之一。可是视频流对于网络的要求比较高，如何 在新的无线环境下保证视频流的质量、提高编码效率和容错性能。有很多值得研究的问题。 1 3 课题简介 视频图像是对客观事物形象，生动的描述，是人类最重要和最有效的信息获取形式。除了直 观、具体生动和效率高以外，视频信号还有信息容量大的特点，这就给视频图像的存储、传输等 带来了很大的困难。因此高效的视频编解码技术迅速发展起来。并且基于内容的编解码方法成为 主流。本论文在对新代视频标准m p e g 4 详细分析的基础上，对m p e g - 4 的解码过程和算法进 行了深入的研究和探讨。 论文的具体章节安排如下： 第一章是绪论，介绍了课题研究的目的和意义以及目前国内外研究的现状；第二章介绍了流 媒体技术和视频压缩标准；第三章介绍了m p e g - 4 标准，并详细分析了m p e g - 4 视频流的码流组 织结构、语法和编码算法；第四章对m p e g - 4 的视频解码过程和部分算法进行了详细的阐述与分 析；第五章针对m p e g - 4 s v p 模型提出了实现方案：第六章总结了论文取得的结果与不足，并指 出了需要进一步改进的问题。最后是参考文献、致谢和个人简历。 2 中国农业大学硕士学位论文第二章流媒体技术与标准 第二章流媒体技术与标准 2 1 流媒体技术原理 2 1 1 流媒体技术 当今多媒体信息已成为网络信息的主要组成部分之一。目前在网络上传播多媒体信息主要有 两种方式：下载和流式传输。下载方式是传统的传输方式，指在播放之前用户下载多媒体文件至 本地，通常这类文件容量较大，所以需要的存储容量也较大，同时由于网络带宽的限制，不仅需 要较长时间，而且传输的质量也不稳定流式传输则把多媒体信息通过服务器向用户实时地提供， 采用这种方式时，用户不必等到整个文件全部下载完毕，而只需经过几秒或几十秒的启动延时即 可播放。之后，客户端边接收数据边擂放。这种利用流式技术传输文件、适应网络多媒体化发展 趋势的新兴技术就叫做流媒体( s t r e a m i n gm e d i a ) 技术。 相对于传统的文件下载方式，流媒体技术具有三大特点：能够实时播放视、音频和多媒体内 容，也可对其进行点播，具有交互性；可以边下载，边播放；客户端接收、处理和回放一个流媒 体文件，但该文件不在客户端驻留，不占用客户端的存储空间。流媒体处理和播放完随即被清除。 一个完整的流媒体系统一般由以下三个部分组成：转档转码工具( e n c o d e r s ) ，用于压缩转档； 流媒体服务器( s e r v e r s ) ，管理并传送大量多媒体文件；播放器( p l a y e r s ) ，在用户端呈现流的内 容。此三部分分别完成流媒体文件的制作、传输和接收。流媒体系统组成框图如图2 一l 所示。 鲴2 - 1流媒体系统组成 流媒体技术是一种新兴的网络传输技术，包括流媒体数据采集、视膺频编解码、存储、传输、 播放等。它的应用范围相当广泛，如远程教育、宽带网视频点播、互联网直播、数字图书馆、多 媒体新闻发布、网上演示、网络广告、电子商务、实时视频会议等互联网的信息服务。互联网的 发展决定了流媒体市场的广阔前景，流媒体技术的应用将为网络信息交流带来革命性的变化，对人 们的工作和生活产生深远的影响。 目前i n t e r n e t i n t r a n e t 上使用较多的流媒体技术主要有r e a l n e t w o r k s 公司的r e a ls y s t e m ， m i c r o s o f t 公司的w i n d o w s m e d i a t e c h n o l o g y 和a p p l e 公司的q u i e k t i m e ，它们是流媒体传输系统 的主流技术： r e a ls y s t e m 由媒体内容制作工具r e a lp r o d u c a ：i 、服务器端r e a ls e r v e r 、客户端软件( c l i e n t s o i t w a r e ) 三部分组成，其流媒体文件包括r e a l a u d i o 、r e a l v i d e o 、r e a lp r e s e n t a t i o n 和r e a l f l a s h , 分 别用于传送不同的文件。由于r e a ls y s t e m 的技术成熟、性能稳定。a o l ( 美国在线) 、a b c ，a t & t 、 s o n y 等公司和网上主要电台都使用r e a ls y s t e m 向世界各地传送实时影音媒体信息及音乐广播。 w i n d o w sm e d i at e c h n o l o g y 是微软公司提出的信息流式播放方案。旨在i n t e m e t 和i n t r a n e t 上 3 中国农业大学硕士学位论文第二章流媒体技术与标准 实现包括音频、视频信息在内的多媒体流信息的传输。其核心是a s f ( a d v a n c e d s t r e a m i n g f o r m a t ) 文件。a s f 是一种开放标准，用于排列、组织、同步多媒体数据以通过网络传输。支持任意的压 缩、解压缩编码方式。并可以使用任何一种底层网络传输协议，具有很大的灵活性。 a p p l e 公司的q u i e k t i m e 出现于1 9 9 1 年，是a p p l e 公司面向专业视频编辑、w e b 网站创建和 c d - r o m 内容制作领域开发的多媒体技术平台。q u i e k t i m e 可以通过i n t e m e t 提供实时的数字化 信息流、工作流与文件回放功能。是创建3 d 动画、实时效果、虚拟现实、音视频和其他数字流 媒体的重要基础 2 1 2 流式传输的基础 流媒体的数据流由网络中音视频服务器向用户终端( 如p c 、p d a 等) 连续、实时传送。支 持多媒体广播连续接收，不经转换就可以显示收听。保证视频流、音频流和数据流不间断的提取 和传输的技术。实现流式传输有两种方法：实时流式传输和顺序流式传输。一般来说，如视频为 实时广播，或使用流式传输媒体服务器，或使用如r t s p 的实时协议，即为实时流式传输。如使 用h 1 r p 服务器，文件即通过顺序流发送。采用哪种传输方法依赖个人的需求。当然流式文件也 支持在播放前完全下载到硬盘。 ( 1 ) 顺序流式传输 顺序流式传输是顺序下载在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能 观看已经下载的部分，而不能跳转到还未下载的部分。顺序流式传输不象实时流式传输在传输期 间根据用户连续的速度做调整。由于该文件在播放前观看的部分是无损下载的，因此，此方法保 证电影播放的最终质量。这意味着用户在观看前。必须经历延迟，对较慢的连接尤其如此。 顺序流式文件是放在标准h r r p 或f t p 服务器上，易于管理。顺序流式传输不适合长片段和 有随机访问要求的视频。如讲座、演说等，也不支持现场广播。严格来说，它是一种点播技术。 ( 2 ) 实时流式传输 实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退观看 前面或后面的内容。理论上，实时流一旦播放就不可停止，但实际上可能发生周期暂停。 实时流式传输指保证媒体信号带宽与网络连接匹配，使媒体可被实时观看到。实时流与h t l 甲 流式传输不同，它需要专用的流媒体服务器。如q u i c k t i m es t r e a m i n g s e r v e r 、r e a l s e r v e r 与w i n d o w s m e d i as e r v e r ，这些服务器允许用户对媒体发送更多级别的控制，因而系统的设置和管理比标准 h t r p 服务器更复杂。还需要特殊的网络协议，如r t s p ( r e a l - t i m es t r e a m i n gp r o t o c 0 1 ) 或m m s ( m i c r o s o f tm e d i as e r v e r ) 等。 2 1 3 流媒体技术原理 流媒体技术的基本原理是先通过采用高效的压缩算法对多媒体信息进行编码，在降低文件大 小的同时伴随文件质量的适度损失，让原有的庞大的多媒体数据适合流式传输。然后利用流媒体 4 中国农业大学硕士学位论文第二章流媒体技术与标准 服务器修改m i m e ( 通用因特网邮件扩展) 标识，并通过各种实时协议传输流数据。最后在客户端 用特定的播放器还原播放多媒体信息。流媒体的播放方式有：单播、组播、点播与广播等。 流式传输的实现需要缓存。因为i n t e m e t 是以包传输为基础进行断续的异步传输，实时a v 源或存储的a v 文件在传输中被分解为许多包。由于网络是动态变化的各个包选择的路由可能 不同，因此到达客户端的时间也就不等，甚至先发的数据包可能后到。为此，可以使用缓存系统 来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会出现 因为网络暂时拥塞使播放出现停顿的现象。 流媒体的具体传输流程如下i lj ： ( 1 ) w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传输的实时 数据从原始信息中检索出来； ( 2 ) 用h r r p 从w e b 服务器检索相关数据，对a ，v 播放器进行初始化； ( 3 ) 从w e b 服务器检索出来的相关服务器的地址定位a ，v 服务器； ( 4 ) a v 播放器与a n 服务器之间交换a ，v 传输所需要的实时控制协议； ( 5 ) 一旦a 数据抵达客户端，a ，v 播放器就可以播放。 2 1 4 支持流媒体传输的网络协议 流式传输的实现需要合适的传输协议。t c p 需要较多的开销，故不太适合传输实时数据。在 流式传输的实现方案中，一般采用h t t p f f c p 来传输控制信息，用r t p u d p 来传输实时多媒体 数据。 ( 1 ) 实时传输协议r t p 与实时传输控制协议r t c p r t p ( r e a l - t i m et r a n s p o r tp r o t o c 0 1 ) 是用于i n t e r n e t ，i n t r a n e t 针对多媒体数据流的一种传输协 议。r t p 被定义为在一对一或一对多传输的情况下工作，其目的是提供时间信息和实现流同步 r t p 通常使用u d p 来传送数据，但r t p 也可以在t c p 或a t m 等其他协议上工作 ( 2 ) 实时流协议r t s p 实时流协议r t s p ( r e a l - t i m e s t r e a m i n g p r o t o c 0 1 ) 是由r e a l n e t w o r k s 和n e t s c a p e 共同提出的， 该协议定义了一对多应用程序如何有效地通过l p 网络传送多媒体数据。在体系结构上位于r t p 和r t c p 之上，它使用t c p 或r t p 完成数据传送。h 丁r p 传送h t m l ，而r t p 传送的是多媒体 数据。使用r t s p 时。客户机和服务器都可以发出请求。即r t s p 可以是双向的。 ( 3 ) 资源预定协议r s v p 由于音频和视频数据流比传统数据对网络的延时更敏感，因此要在网络中传输高质量的音 频、视频信息，除带宽要求之外，还需其他更多条件。r s v p ( r e s o u r c e r e s e r v e p r o t o c 0 1 ) 是i n t e m e t 上的资源预定协议，使用r s v p 预留一部分网络资源( 即带宽) ，能在一定程度上为流媒体的传 输提供q o s ( q u a l i t yo f s e r v i c e ) 1 1 1 5 中国农业大学硕士学位论文第二章流媒体技术与标准 2 2 多媒体系列标准简介 目前。许多实验性的高速宽带网络都把视频传输技术和应用作为研究的重点课题。在i n t e r n c t 上传输视频有许多困难其根本原因就在于i n t e r n c t 的无连接每包转发机制主要为突发性的数据 传输设计，不适用于对连续媒体流的传输。为了在i n t c m c t 上有效、高质量的传输视频流需要 多种技术的支持。其中数字视频的压缩编解码技术是i n t e r a c t 视频传输中的最为关键的技术之一 视频流传输中最为重要的编解码标准有国际电联的h 2 6 1 、h 2 6 3 。运动静止图像专家组的 m - j p e g 和国际标准化组织运动图像专家组的m p e g 系列标准，此外在互联网上被广泛应用的还 有r e a l - n e t w o r k s 的r e a l v i d e o 、微软公司的w m t 以及a p p l e 公司的q u i c k t i m e 等。 2 2 1 c c l r ( 国际无线电咨询委员会，现i t u r ) 建议 图像数字化概念是1 9 4 8 年提出的，1 9 5 8 年首次报道了预测法研究的计算机模拟实验结果。 1 9 6 9 年召开首届国际图像编码会议( p i c t u r ec o d i n gs y m p o s i u m ) 。 为了便于国际间的节目交换，消除数字电视设备之间的制式差别，使6 2 5 行电视系统与5 2 5 行电视系统之间兼容，1 9 8 2 年2 月c c l r 第1 5 次全会上，通过了6 0 1 号建议，确定以分量为基 础，即以亮度分量y 和两个色差分量r - y 、b - y 为基础进行编码，作为电视演播室数字编码的国 际标准。 2 2 2 国际电联的h 2 6 1 和h 2 6 3 标准 h 2 6 1 最初是针对在i s d n 上实现电信会议应用，特别是面对面的可视电话和视频会议而设 计的，是对图像编码近四十年研究成果的总结，它所采用的编码方法成了其它图像压缩编码标准 的核心。此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就 是说。剧烈运动的图像比相对静止的图像质量要差。它统一了图像格式，解决了编码算法问题。 h 2 6 3 是国际电联i t u - t 的一个标准草案，是为低码流通信而设计的。但是实际上这个标准 可用在很宽的码流范围内，而非只限于低码流，它在许多应用中可以取代h 2 6 1 。h 2 6 3 的编码 算法和h 。2 6 1 一样，但做了一些改善，以提高性能、运动补偿的精度和纠错能力。 2 2 3m - j p e g m - j p e g ( m o t i o n - j o i n p h o t o g r a p h i c e x p e r t s g r o u p ) 即运动静止睦i 像( 或逐帧) 压缩技术，广 泛应用于非线性编辑领域，可精确到帧编辑和多层图像处理。这种压缩方式可单独完整地压缩每 一帧，在编辑过程中可随机存储每一帧，进行精确到帧的编辑，此外，m - j p e g 的压缩和解压缩 是对称的，可由相同的硬件和软件实现。但m - j p e g 只对帧内的空间冗余进行压缩，不对帧间的 时间冗余进行压缩。故压缩率不高。 j p e g 是数字图像压缩的国际标准。它用于连续变化的静止图像，包括灰度等级和颜色两方 6 中国农业大学硕士学位论文第二章流媒体技术与标准 面的连续变化j p e g 标准所根据的算法是基于d c t ( 离散余弦变换) 和可变长编码。它的关键 技术有变换编码、量化、差分编码、运动补偿、霍夫曼编码和游程编码等。 2 2 4m p e g 系列标准 m p e g 是活动图像专家组( m o v i n g p i c t u r ee x p e f t g r o u p ) 的英文缩写。实际上它是标准化 组织( i s o ) 和国际电工委员会( i e c ) 联合技术委员会( j t c i ) 的第2 9 分委员会( s c 2 9 ) 的第 l l 工作组( w g l l ) ，其全称是w g l lo f s c 2 9 0 f i s o f l e cj t c l 。m p e g 的任务是开发运动图像及 其声音的数字编码标准，成立于1 9 9 8 年。 m p e g 一1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率的数字存储媒体运动图像 及其伴音的编码。v c d 和m p 3 的大量使用标志着它的成功。 m p e g 2 于1 9 9 4 推出，以实现视、音频服务与应用互操作的可能性。它是针对标准数字电 视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定。特别适用于广播级的数字电视 的编码和传送。 m p e g 4 于2 0 0 0 年年初正式成为国际标准。它不只是具体压缩算法，它还是针对数字电视、 交互式绘图应用、交互式多媒体等整合及压缩技术的需求而制定的国际标准。m p e g - 4 与以前标 准晟显著的差别在于它是采用基于对象的编码理念。 m p e g - 7 标准，为各类多媒体信息提供一种标准化的描述，这种描述将与内容本身有关。允 许快速和有效的查询用户感兴趣的资料。它将扩展现有内容识别专用解决方案的有限的能力，包 括了更多的数据类型。目标是支持数据管理的灵活性、数据资源的全球化和互操作性。 m p e g 2 i 标准实质是一些关键技术的集成。通过这种集成环境对全球数字媒体资源进行透 明和增强管理，实现内容描述、创建、发布、使用、产权保护、用户隐私权保护、终端和网络资 源抽取、时间报告等功能。它的制定的目的是将不同的协议、标准和技术等有机地融合在一起。 2 2 5h 2 “标准 v i d c o t c a m 于2 0 0 1 年1 2 月在泰国成立。它由1 1 1 j - t 和i s o 两个国际标准化组织的有关视频 编码的专家联合组成。n 叩的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、 高图像质量、良好的网络适应性等目标，是m p e g 4 的第l o 部分 采用d c t 变换编码加d p c m 的差分编码，即混合编码结构。同时，h 2 “在混合编码的框 架下引入了新的编码方式，提高了编码效率，更贴近实际应用。它在很多环节做了改进，如：多 种更好的运动估计：小尺寸4 “的整数变换；更精确的帧内预测：统一的v l c 等。 h 2 “的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好的抗误码和 抗丢包的处理能力。能很好地适应i p 和无线网络的使用，这对目前因特网传输多媒体信息、移 动网中传输宽带信息等都具有重要意义。 7 2 2 6 超高清晰度成像( h r i ) 建议( i t u - rb t 1 2 0 1 ) i t u r b t 1 2 0 1 建议书提出了超高清晰度成像( h r i ) 格式和规范建议，主要考虑到如下因素： 超高清晰度图像能够在诸如计算机图形、印刷、医疗和电影及电视等领域里作为未来的图像系统 使用：世界各国正在进行有关超高清晰度图像的研究和应用试验；为了经济地实现超高清晰度图 像系统，应该建立世界通用标准；超高清晰度图像信号传送时，数据压缩技术起着重要的作用等。 2 2 7 a v s 一中国自主知识产权的数字音视频编解码技术标准 ：v s 是中国自主制定的音视频编码技术标准。a v s 工作组成立于2 0 0 2 年6 月当前，a v s 视频主要面向高清晰度电视、高密度光存储媒体等应用中的视频压缩。特征性的核心技术包括： 8 x 8 整数变换、量化、帧内预测、l 4 精度像素插值、特殊的帧间预测运动补偿、二维熵编码去 块效应环内滤波等。 a v s 视频的主要特点是应用目标明确，技术有针对性。因此在高分辨率应用中其压缩效率 明显比现在在数字电视、光存储媒体中常用的m p e g - 2 视频提高一个层次。在压缩效率相当的前 提下，又较m p e o - 4 a v c h 2 6 4 的m a i n p r o f i l e 的实现复杂度大为降低。目前的a v s 视频技术可 实现标准清晰度( c c i r6 0 1 或相当清晰度) 、低清晰度( c i f 、s i f ) 等不周格式视频的压缩，但 针对此类应用的压缩效率还有待提高，这是a v s 视频下一步的工作重点。 2 3 本章小结 本章开头通过比较传统的下载方式和流式传输方式的不同，展开了对流媒体技术原理和特点 的简要介绍，并列举了目前国内外的数字视频压缩编解码标准。 8 中国农业大学硕士学位论文第三章m i e g - 4 标准及其编解码概述 第三章m p e g 。4 标准及其编解码概述 3 1 m p e g 4 标准简介 3 1 1 m p e g - 4 标准的内容和特点 人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据 冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技 术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。 视频编码的研究课题主要有数据压缩比、压缩懈压速度及快速实现算法等三方面内容。以压 缩，解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩 ( 郄可逆压缩) 和有失真压缩( 即不可逆压缩) 鼯类， 传统压缩编码建立在仙农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述 信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。伴随着视 频编码相关学科的迅速发展，新一代数据压缩技术诞生，其编码思想由基于像素和像素块转变为 基于内容，充分考虑了人服视觉特性及信源特性。通过去除内容冗余来实现数据压缩。 在m p e g - 4 制定之前，m p e g 一1 、m p e g - 2 、h 2 6 1 和h 2 6 3 都是采用第一代压缩编码技术， 把视频序列按时问先后分为一系列帧，每一帧图像又分成宏块进行运动补偿和编码，这种编码方 案存在以下缺陷：将图像固定地分成相同大小的块。在高压缩比的情况下会出现严重的马赛克效 应：不能对图像内容进行访问、编辑和回放等操作；未充分利用人类视觉系统的特性。 m p e g - 4 代表了基于对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像 信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，适应了多媒体信息的 应用由播放型转向基于内容的访问、检索及操作的发展趋势。在视频编码发展史上第一次把编码 对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基 于对象和内容的现代编码的转变，引领着新一代智能图像编码的发展潮流。 a v 对象( a u d i ov i s u a lo b j e c t ) 是m p e g - 4 为支持基于内容编码而提出的重要概念。对象是 指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和 高层语义为依据。在m p e g - 4 中所见的视音频是一个个视听场景( a v 场景) 。这些不同的a v 场 景由不同的a v 对象组成。a v 对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原 始a v 对象，它可以是自然的或合成的声音、图像。原始a v 对象具有高效编码、高效存储与传 输以及可交互操作的特性，它又可进一步组成复合a v 对象。因此m p e g - 4 标准的基本内容就是 对a v 对象进行高效编码、组织、存储与传输。 由于m p e g 4 只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合 成多媒体文件的体积应用m p e g - 4 技术的影音文件最显著特点就是压缩率高且成像清晰，般 来说。一小时的影像可以被压缩为3 5 0 m 左右的数据，而一部高清晰度的d v d 电影，可以压缩 成两张甚至一张6 5 0 mc d 光碟来存储。 9 中国农业大学硕士学位论文第三章n p e g 一4 标准及其编解码概述 3 1 2m p e g - 4 的关键技术 m p e g - 4 除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵 编码外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成 效的完善和改进。下面重点介绍其中的一些关键技术： ( 1 ) 视频对象提取技术 m p e g - 4 实现基于内容交互的首要任务就是把视频图像分割成不同对象或者把运动对象从 背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即 视频对象分割，是m p e g - 4 视频编码的关键技术，也是新一代视频编码的研究热点和难点。 视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理解、模式识别和神经网 络等学科有密切联系目前人工智能的发展还不够完善。计算机还不具有观察、识别、理解图像 的能力：同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容 进行理解。因此，尽管m p e g - 4 框架已经制定，但至今仍没有通用的有效方法去根本解决视频对 象分割问题。视频对象分割被认为是一个具有挑战性的难题，基于语义的分割则更加困难。 目前进行视频对象分割的一般步骤是：先对原始视频，图像数据进行简化以利于分割，这可通 过低通滤波、中值滤波、形态滤波来完成：然后对视频图像数据进行特征提取，可以是颜色、纹 理、运动，帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提 取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。 ( 2 ) v o p 视频编码技术 视频对象平面( v o p ，v i d e oo b j e c tp l a n e ) 是视频对象( v o ) 在某一时刻的采样，v o p 是 m p e g - 4 视频编码的核心概念。m p e g - 4 在编码过程中针对不同v o 采用不同的编码策略，即对 前景v o 的压缩编码尽可能保留细节和平滑；对背景v o 则采用高压缩率的编码策略，甚至不予 传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高 压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提