（信号与信息处理专业论文）基于h264avc的精细可分级编码fgs的研究.pdf

摘要 视频图像编码技术是近年来视频处理领域的一个研究热点，对视频技术的应 用也加速了各种编码技术的发展。m p e g 系列和h 2 6 1 到h 2 6 4 系列的各种编码 标准也都在各个领域得到了应用。尤其是最新的编码标准h 2 6 4 更是目前应用研 究的重点。面对网络视频的大数据量、带宽变化和丢包等问题，分级编码思想的 提出和实现是一个行之有效的方法。 本文首先介绍了视频图像的编码原理和各种编码标准的发展及特点，并着重 介绍了h 2 6 4 中的整数变换和算术编码。也介绍了各种分级编码的方法和改进策 略，尤其是f g s 的方法和改进。在此基础上本文将整数变换和算术编码与f g s 增强层的编码相结合提出了一种新的f g s 增强层编码的改进方法，并在h 2 6 4 的基础上实现这样的一个编码器。从实验的结果来看，这种改进方法不但可以提 高编码效率，还可以获得更加稳定的视频编码流。 关键词：h 2 6 4 ，整数变换，算术编码，f g s abstract t h ev i d e oc o d i n gt e c h n o l o g yh a sb e e nah o ts p o ti nv i d e op r o c e s s i n gf i e l df o r r e c e n ty e a r s t h ea p p l i c a t i o no f v i d e os t r e a m i n gh a sa l s oa c c e l e r a t e dt h ev i d e oc o d i n g d e v e l o p m e n t t h em p e g s e r i e sa n dh 2 6 1t oh 2 6 4s e r i e so fv i d e oc o d i n gs t a n d a r d s h a v ea l s ob e e nu s e di nm a n yd o m a i n s e s p e c i a l l yt h el a t e s ts t a n d a r dh 2 6 4h a sb e e n t h ek e yp o i n to f r e s e a r c h f a c i n gt h ep r o b l e m so f v i d e os t r e a m i n go nn e t w o r k ，s u c ha s g r e a td a t aq u a n t 地c h a n g eo f b a n dw i d t ha n dl o s eo f p a c k a g e s ，t h es c a l a b l ec o d i n gi s ag o o da n de f f e c t i v em e t h o dt os o l v et h e s ep r o b l e m s t h i sp a p e rn r s t l yi n t r o d u c e dt h ep r i n c i p l eo f v i d e oc o d i n g ，e a c hc o d i n gs t a n d a r d a n dt h e j re s s e n t i a lc h a r a c t e r s t h ei n t r o d u c t i o no fi n t e g e rt r a n s f o r m a t i o na n d a r i t h m e t i cc o d i n gi nh 2 6 4i si np a r t i c u l a r t h i sp a p e ra l s oi n t r o d u c e de a c hs c a l a b l e c o d i n gm e t h o d ，e s p e c i a l l yi n t r o d u c e df g sa n di t si m p r o v e m e n t s i nt h i sf o u n d a t i o n ， t h i sp a p e ru n i f i e dt h ei n t e g e rt r a n s f o r m a t i o n , t h ea r i t h m e t i cc o d i n ga n dt h ec o d i n g m e t h o do ft h ee n h a n c e m e n tl a y e ri nf g s ，a n dp r o p o s e dah e wf g se n h a n c e m e n t l a y e rc o d i n gm e t h o d i th a sr e a l m e ds u c ha ne n c o d e rb a s e do nt h ee n c o d e ro f h 2 6 4 j u d g e df i o mt h ee x p e r i m e n t a lr e s u l t s ，t h i sn e w m e t h o dn o to n l yi m p r o v e dt h ec o d i n g e f f i c i e n c y , b u ta l s oo b t a i n e dam o r es t a b l eb i ts t r e a m k e yw o r d s ：h 2 6 4 ，i n t e g e rt r a n s f o r m a t i o n ，c a b a c ，f g s 河海大学硕士学位论文 第一章绪论 随着信息时代的发展，人们对信息的需求也越来越多。常言道“百闻不如一 见”，这就是说，图像是人们最为熟悉、最乐于接受的信息传输媒体。据统计， 人类约有7 0 的信息是通过视觉系统获取的。然而与文字信息不同，图像信息需 要大的存储容量和宽的传输信道，尤其是在需要实现大规模图像数据库或传输高 分辨率实时图像序列的场合。随着信息技术的发展，对静止图像和视频序列图像 的压缩编码技术的应用也越来越广泛，从家庭娱乐到专业的通信设备、从廉价的 消费电子产品到昂贵的专业级专用设备，应用的例子不胜枚举，如v c d 、d v d 、 可视电话、视频会议、i p 上的视频服务、数字图书馆、数字电视、高清晰电视、 电视演播室设备等。近几年来，随着i n t e r n e t 和无线通讯的飞速发展，人们又能 够从网络上获取丰富的图像和视频数据。当前的网络时代，视频编码的目的已经 由面向存储转向了面向传输。传统的视频编码都是针对固定的带宽来优化视频编 码质量，而近来编码已经从为了产生固定尺寸的码流转向产生适合一定的传输码 率的可伸缩性码流，因为在许多应用中如视频点播、流媒体等，这些应用中网络 的带宽是未知的。在3 g 网络中，移动视频更是成为发展的重点，然而针对精巧 的终端和无线传输环境，视频编码的技术更是发展的重中之重。 1 1 引言 i n t e r n e t 白六十年代以来得到了迅猛的发展，联网主机和w e b 站点的数目每 年都在向新的台阶迈进。同时随着音频、视频等相关多媒体技术的发展，计算机 处理能力的迅速提高，基于i n t e m e t 的多媒体业务的应用层出不穷，如交互式视 频服务，视频电话，远程教学和远程医疗等。而且现今的i n t e m e t 网已经是一个 融合数据、语音、图像等多媒体信息的综合业务的传输网。视频流式传输( v i d e o s t r e a m i n g ) 也正是其中一项正在迅速发展并逐步走进寻常百姓的技术。这项技术 就是服务端通过网络连续发送视频数据到达用户端，而用户不需要下载全部码流 就可以开始解码播放，而且码流的到达是连续无间断的。视频流式传播在视频点 播，视频会议，实况转播以及现在已经使用的3 g 视频通信中都有很广阔的应用 前景。但是这些业务都有连续实时传输，数据量大的特点，而i n t e r n e t 网络是一 个与时间和空间的变化都密切相关的共享通信信道，它的信道带宽随所处位置的 不同和时间的变化而变化，由网络拥塞而导致的丢包和延时都是不可预见的，今 后将要实现的三网合一中，网络中的数据量就会更大程度地提升，在这样的情况 下服务质量( o o s ) 也就不能够得到可靠的保证。另外网络通信的各个终端也会 基于h 2 6 4 a v c 的精细可分级编码f g s 研究 因机器类型、操作系统、外部设备、c p u 的处理能力等存在较大的差异，连接各 用户的网络区段也会在带宽、延时和误码率上有所不同“”，而这些都是基于网 络的视频流式传输的挑战。 针对上述问题，目前已经有了很多的解决方案。但主要是从以下两个角度来 考虑的： 1 从信号处理的角度考虑，即根据用户终端设备的能力和网络异构特性 ( h e t e r o g e n e i t y ) ，在信源端改进编码方法，如采用分级( s c a l a b l e ) 编码、多速率 编码、速率匹配或在网络传输节点中采用转换编码器( t r a n s c o d e r ) ”和多描述编 码( m u l t i p l ed e s c r i p t i o nc o d i n g ) ”1 等。 2 从网络层的角度考虑，即在原有网络的基础上进行改进，如增加带宽，采用组 播( m u l t i c a s t ) 业务，增强路由器和服务器的功能，使用数据缓存( d a t ac a c h i n g ) 和边缘服务器( e d g es g i v e t ) 等”“”。 上述的第二种方案需要增加设备的成本，在现实生活中如果大规模投入使用 代价是相当可观的；在第一种方案中提到的转换编码器是在传输的过程中将码流 解码后再根据新的要求进行重新编码，这样一个过程不仅增加了流媒体服务器的 复杂度，而且还是一种影响图像质量的有损编码。综合以上几点，可以看出在实 际应用中，分级编码是一种很好的解决问题的方法。 1 2 研究背景及国内外的研究趋势 槐频信号 盟! ：! 垒壅鱼堡垂垂盟 窒熊壁垒 分级编码的基本思想是将视频信息分成多个重要性不等的层，一般包括基本 层和增强层，其中基本层包含了视频最重要的基本信息，可以保证最基本的图像 质量；增强层的作用则是在基本层的基础上进一步提高图像质量。 2 河海大学硕士学位论文 在传输的过程中，基本层一般被赋予更高的传输优先级或是更多的纠错保 护，而增强层则被赋予较低的传输优先级。这样在网络发生拥塞或丢包时，可以 先丢弃优先级较低的增强层；或者因基本层和增强层的不同保护机制使得基本层 发生误码或是丢包的几率比增强层小，从而保证在误码或是丢包的情况下仍然有 一个可以令人接受的图像质量。除此之外，分级编码还可以应用于事先无法知道 信道带宽及接收端处理能力的情况，通过分层传输信息以达到适合于多种传输速 率的信道和多种处理能力的接收端的目的。 最早的分级编码的思想是在m p e g 一2 中提出的，经过近几年的发展已经有了 多种不同的形式和改进。根据对视频信息的不同分割和编码方式，分级编码一般 可以分为四种形式：空域分级( s p a t i a ls c a l a b i l i t y ) ，时域分级( t e m p o r a l s c a l a b i l i t y ) ，s n r 分级( s n rs c a l a b i l i t y ) 干df g s 分级( f i n eg r a n u l a r i t ys c a l a b i l 时) 。 在m p e g - 2 和h 2 6 3 + 中的可分级编码技术我们称为传统的可分级编码技术。它们 是基于d c t 变换的，主要包括其中前三种分级方法：f g s 分级编码的思想是在 m p e g - 4 中提出了一种全新的分级编码方案。相对于传统的分级编码，f g s 在图 像质量的改进上迈上了一个新的台阶。 盟! ：呈垒壁坌堡垒堡丝筵整些叁 在文献【7 】中有证明到：对信源x ，先以失真为d 1 、码率为r l 的粗描述 x i ，再以失真为d 2 、码率为r 2 的细插述x 2 来逐次精细描述，那么当且仅当x 、 x 1 、x 2 为马尔可夫链时，才有r i + r 2 = r ( d 2 ) ，其中r ( ) 指得是率失真函数。在 实际的编码过程中，这个马尔可夫链的条件是很难或者是得不到满足的，从理论 上来讲即传统分级编码的编码效率会有所下降。从另一个方面来讲，传统分级编 码的技术也不能很好地适用于视频信号在网络中的传输。( 参看图1 2 ) 由图1 2 可见，传统分级编码对于网络的变化来说显得太粗糙了，而且这个步长 3 镧蜒纛霎鞲 基于 l 2 6 4 a v c 的精细可分级编码f g s 研究 通常是整个增强层的比特数，这样导致的结果就是用户端的图像质量是阶跃性变 化的，因为只有当接收端接收到一整层增强层数据的时候，图像质量才会有个 明显的提高；另一方面，一旦因信道的变化使得接收到的数据有微小的缺失都会 让图像的质量下降一个台阶。这样的结果显然不能让用户满意。另外就是传统的 分级编码在传输中浪费了网络的资源，网络的状况应该是要求视频服务器能够根 据网络的真实带宽来实施有效的速率调整。 为了达到上述目的，m p e g - 4 的第四版本中针对视频流式传输的应用，定义 了视频图像编码的精细可分级性f g s ( f i n eg r a n u l a r i t ys c a l a b i l i t y ) 以及其实现工 具”。这是一个全新的编码体系，f g s 编码提出了一个由网络或接收端来控制所 接收码流的概念，从而使视频服务器可以同时面向各种网络和更多的用户，为视 频流在异构( h e t e r o g e n e i t y ) 网络上同时向大量用户传输提供了理想的码流结构。 f g s 的分级特性具有以下特征： 服务器资源的共享 带宽共享性能好 具有无线物理链接控制能力 c p u 处理能力的适配性 防止拥塞 只有一个编码过程，产生多速率的码流，符合实际应用的复杂度 和传统分级编码的最基本区别是：虽然f g s 也把视频序列分成多层进行编 码，但增强层的码流可以被任意地截断，并且解码图像的质量和增强层的比特数 成正比，因此f g s 能够提供连续的分级编码，这样在用户端就可以得到质量连续 变化的图像，图像质量的变化是平滑的渐进的，这就去除了传统分级编码带来的 跳跃感。从另一个方面来讲，f g s 分级编码时的网络带宽也可以被充分利用。 f g s 的出现受到了众多从事流视频应用的公司和研究所的广泛关注。近年来， 许多有关f g s 的各种算法在m p e g 4 的会议上涌现出来，包括w e i p i n g l i 提出的 基于d c t 的f g s 编码算法“”，微软中国研究院的渐进精细分级编码( p f g s ) ”“， p h i l i p 公司提出的基于小波的f g s 编码算法眇1 ，基于运动补偿的f g s “”等等。f g s 的发展虽然只是近几年的事情，但是它已经成为流视频编码的重要方法之一，它 的潜力亟待挖掘和利用。 另一方面为了适应网络视频的发展，各种先进的视频编码标准相继产生；与 此同时，f g s 的编码方案和结构也都有新的改进。h 2 6 4 是2 0 0 3 年由联合视频专 家组j v t ( j o i n tv i d e ot e a m ) 颁布的，也是m p e g 一4 的第1 0 部分。h 2 6 4 在原有的 视频编码标准的基础上进行了很大的改进和深化，4 4 整数变换的思想便是其中 之一。新标准提供了更高的编码效率。 4 河海大学硕士学位论文 1 3 论文的研究重点 在m p e g 一4 中，f g s 增强层编码的过程是将原始信号与基本层本地解码得到 的图像进行比较，之后对差值信号进行残差变换，搜索出这些系数中的晟大值， 然后以8 8 的块为单位对残差系数进行d c t 变换并使用基于位平面的v l c 编 码( 参看图1 3 ) 。而实质上f g s 的增强层编码方法只是把用于基本层的变长编码 引入到位平面编码方法中，所以编码效率并不高。 本文在h 2 6 4 视频编码标准的启示下，结合4 4 小尺寸d c t 整数变换的性 质和优点，提出在f g s 分级编码的增强层编码中与其相结合的方法，并考虑变换 之后使用_ 进制自适应算术编码，以达到提高编码效率的目的。 本文将分析这种改进方法的优点及理论结果，在此基础上实现这一编解码过 程，并用多种图像序列进行测试。从实验结果可以看出，这一改进方法获得了预 期的结果，也得到了很好的压缩效率。这个过程涉及到诸如对图像重新划分大小， 进行4 4 d c t 变换之后，根据变换之后系数的特点进行有针对性的编码等问题。 总之，本文从理论分析和实验结果两个角度得出了结论：将h 2 6 4 和f g s 的算法 结合将会得到更好的编码效果和编码效率。 1 4 论文的组织结构 本文结构安排如下： 第一章绪论 璺! ：! 堕! 盟堡壅鲤 5 基于h 2 6 4 a v c 的精细可分级编码f g s 研究 第二章国际视频编码标准简介 本章主要介绍了图像压缩编码的基本思想和关键技术，并在此基础上介绍了 国际标准的发展历程和各种标准的编码方法等，特别是h 2 6 4 中的某些关键技术。 第三章传统分级编码技术 本章主要是介绍了传统的视频分层编码技术，包括空域分级、时域分级和 s n r 分级的思想和结构，以及各种模型优缺点和改进。 第四章f g s 分级编码及改进 本章主要是介绍f g s 编码的方法、结构及其改进策略。并详细介绍了本文提 出的新方法及其实现过程和结论。 第五章总结和展望 本章概括总结论文本文所做的工作，展望了视频通信的应用前景，并提出了 尚待改进的方向。 6 河海大学硕士学位论文 第二章国际视频编码标准简介 视频编码的一个主要目的是在保证一定重构质量的前提下，以尽量少的比特 数来表征视频信息。传统的压缩编码是以香农( s h a n n o n ) 信息论为出发点，用 统计概率模型来描述信源的1 1 1 2 1 。香农的编码定理告诉我们，在不产生任何失 真的前提下，通过合理的编码，对于每一个信源符号分配不等长的码字，平均码 长可以任意接近于信源的熵。在这个理论的框架下，出现了几种不同的信源编码 方法，如h u f f m a n 编码、算术编码、词典编码等。这些方法可以应用于一幅数字 图像，也能获得一定的码率压缩。然而无失真信源编码的压缩率的限制使其难以 满足大多数图像存储和传输的需要。根据应用的需求，人们对有失真压绵进行了 广泛的研究。其目的是去除图像数据中的冗余信息和对视觉不重要的细节分量， 编码实体是象素或象素块，这种基于数据统计的，以消除视频数据相关冗余为目 的的编码技术有一系列相应的标准，如：以m p e g 1 和m p e g 一2 为代表的中高码 率多媒体数据编码标准，其中视频图像压缩标准是其主要内容；以h 2 6 1 ，h 2 6 3 ， h 2 6 3 + ，h 2 6 3 + + 等为代表的低码率、甚低码率运动图像压缩标准；以及覆盖范 围更宽面向对象应用的m p e g 一4 ；而最新的视频编码标准是h 2 6 4 。这些标准之 间在码率、图像质量、实现复杂度、差错控制能力、延时特性及可编辑性上有着 很大的差别，从而满足了各种数字图像应用的不同需要。 本章主要介绍这些视频编码标准，在此之前先简要介绍一下视频压缩的基本 思想和关键技术。 2 1 概述n 幻 虽然表示图像和视频信息需要大量的数据，但是这些信息往往是高度相关 的，这些相关性会引起信息的冗余，如：空间冗余、时间冗余等，因此可以通过 去除这些冗余信息来实现对图像视频数据的压缩。对于静止图像主要是去除空间 冗余，对于视频信号，则可以同时去除空间冗余和时间冗余以达到更高的压缩比。 1 空间冗余度的压缩：一幅视频图像相邻各点的取值往往相近或相同，具有 空间相关性，这就是空间冗余度。图像的空间相关性表示相邻象素点取值变化缓 慢，从频域的角度来看，就是图像信号的能量主要集中在低频附近，高频信号的 能量随着频率的增加而迅速衰减。通过频域变换，可以将原图像信号用直流分量 和少数低频交流分量的系数来表示，这就是变换编码中的正交余弦变换d c t 的 方法。 7 基于h 2 6 4 a v c 盼精细可分级编码f g s 研究 2 时间冗余度的压缩：时间冗余度表现在电视画面中相继各帧对应象素点的 值往往相近或相同，具有时间相关性。在知道了一个象素点的值后，利用此象素 点的值及其与后一一象素点的差值就可以求出后一象素点的值。因此，不传送象素 点本身的值两是传送其与前一帧对应象素点的差值，也能有效地压缩，这就是差 分编码d p c m 。由差分编码进一步发展起来的预测编码，是根据一定的规则先预 测出下象素点或图像子块的值，然后将此预测值与实际值的差值传送给接收端。 目前图像压缩中的预测编码主要用于帧间压缩编码，方法是先根据一个子块的运 动矢量求出下一帧对应块的预测值及其与实际值之间的差值，接收端根据运动矢 量及差值恢复出原图像。由于运动矢量及差值的数据量低于原图像的数据量，因 而也能达到图像数据压缩的目的。 3 视觉冗余度的压缩：视觉冗余度是相对于人眼的视觉特性而言的。人眼对 于图像的视觉特性包括：对亮度信号比对色度信号敏感，对低频信号比对高频信 号敏感，对静止图像比对运动图像敏感，以及对图像水平线条和垂直线条比对斜 线敏感等。因此包含在色度信号，图像高频信号和运动图像中的一些数据并不能 对增强图像相对于人眼的清晰度做出贡献，而被认为是多余的，这就是视觉冗余 度。压缩视觉冗余度的核心思想是去掉那些相对人眼而言是看不到的或是可有可 无的图像数据。对视觉冗余度的压缩通常已经反映在各种具体的压缩编码过程当 中。例如对于d c t 系数的直流与低频部分采取细量化，而对高频部分采取粗量 化，所以d c t 变换能借此压缩码率，并能有效地进行游程编码。在帧问预测编 码中，大码率压缩的预测帧及双向预测帧的采用，也是利用了人眼对运动图像细 节的不敏感特性。 4 结构和知识冗余度的压缩：上述三种冗余度和可采用的编码方式，是把图 像看作随机信号来消减其冗余度的，现在的高效编码方式几乎全都基于这种思 路。与此相反还有一种思路，它是依据“被摄物体本来是具有三维结构的实际 物体，而图像是被摄物体在二维平面上的投影”这一事实的。从这观点出发， 就可以着眼于图像结构进行编码，以此来提高压缩冗余度的效果。这方面的研究 之一是把图像看作多个区域的集合，对其区域轮廓和轮廓内部的图像进行编码。 这就是成为轮廓编码或区域分割编码的方式。另外如可视电话图像中，编码仅限 于人物像。在这种限制下进行图像编码时，收发端关于编码对象的共有知识可以 看作是一种冗余度。要消除这种知识性的冗余度，就需要识别和理解图像的含义 和内容。这种编码的研究还刚刚开始，总称为智能编码。 图像压缩编码的具体方法虽然还有多种，但大多是建立在上述前三种基本思 想之上的。其中，d c t 变换，游程编码，帧问预测编码和h u f f m a n 编码等，因技 术上的成熟已经被有关国际组织定为压缩编码的主要方法。近年来还涌现了许 多新的算法，引进了一些图像处理的方法和思想，比较有代表性的有基于小波 8 河海大学硕士学位论文 ( w a v e l e t ) 的编码压缩方法，使用人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 的编码方法和基于分形( f r a c t i o n a l ) 的编码压缩方法等。 2 2 视频压缩的关键技术 2 2 1 离散余弦变换d c t h d c t 是一种空间变换，在h 2 6 4 ( 见下一章) 之前的视频压缩编码标准中， d c t 是以8 x8 的象素快为单位进行的，生成的是8 8 的d c t 系数数据块。d c t 变换的最大特点是对于一般的图像都能够将象素块的能量集中于少数低频d c t 系数上，即在生成的8 x8 d c t 系数块中，仅左上角的少量低频系数数值较大， 其余系数的数值很小，这样就可能只编码和传输少数系数而不严重影响图像质 量。d c t 不能直接对图像产生作用，但对图像的能量具有很好的集中效果，为压 缩打下了基础。 2 2 2 量化器1 3 1 1 量化是针对d c t 变换系数进行的，量化过程就是以某个量化步长去除d c t 系数。量化步长的大小称为量化精度，量化步长越小，量化精度就越细，包含的 信息越多，但所需的传输频带越高。不同的d c t 变换系数对人类视觉感应的重 要性是不同的，因此编码器根据视觉感应准则，对一个8 8 的d c t 变换块中的 6 4 个d c t 变换系数采用不同的量化精度，以保证尽可能多地包含特定的d c t 空 间频率信息，又使量化精度不超过需要。d c t 变换系数中，低频系数对视觉感应 的重要性较高，因此分配的量化精度较细；高频系数对视觉感应的重要性较低， 分配的量化精度较粗，通常情况下，一个d c t 变换块中的大多数高频系数量化 后都会变为零。 2 2 3 之型扫描和游程编码m l m l d c t 变换产生的是一个8 8 的二维数组，为进行传输，还需将其转换为一 维排列方式。有两种二维到一维的转换方式( 或称扫描方式) ：之型扫描( z 蟾z a g ) 和交替扫描，其中之型扫描是最常用的一一种。由于经量化后，大多数非零d c t 系数集中于8 8 二维矩阵的左上角，即低频分量区，之型扫描后，这些非零d c t 系数就集中于一维排列数组的前部，后面跟着长串的量化为零的d c t 系数，这 些就为游程编码创造了条件。 游程编码中，只有非零系数被编码。一个非零系数的编码由两部分组成：前 一部分表示非零系数前的连续零系数的数量( 称为游程) ，后一部分是那个非零 9 基于h 2 6 4 a v c 的精细可分级编码f g s 研究 系数。这样就把之型扫描的优点体现出来了，因为之型扫描在大多数情况下出现 连零的机会比较多，游程编码的效率就比较高。当一维序列中的后面剩余的d c t 系数都为零的时候，可以直接用一个“块结束”( e o b ) 来指示，就可以结束这 一个8 8 的块的编码，产生的压缩效果是很明显的。 2 2 4 熵编码“3 1 1 1 量化仅生成了d c t 系数的一种有效的离散表示，实际传输前，还需对其进 行比特流编码，产生用于传输的数字比特流。最简单的方法是采用固定长度编码。 即每个量化值采用相同数目的比特表示。如粜所有量化值发生的频率都相等，则 采用固定长度编码是合适的，但是在发生频率不相等的情况下，熵编码则可以提 高编码效率。熵编码基于编码信号的统计特性，使得平均比特率下降。熵编码中 使用的较多的一种是霍夫曼编码( h u f f m a nc o d i n g ) 。这种编码中，在确定了所有 编码信号的概率后产生一个码表，对经常发生的大概率信号分配较少的比特，而 对不常发生的小概率信号则分配较多的比特，使得整个码流的平均长度趋于最 短。霍夫曼编码是按组分配代码的，近一两年来，作为不按组分配代码的方法， 算术编码也受到了很_ 人的重视。 2 2 5 信道缓存h m 4 由于采用了熵编码，产生的比特流的速率随着视频图像的统计特性变化是变 化的。为了用一定速率的传输线路传送这种非平稳信息，编码器末级需要备有缓 存器。也就是说，先把非平稳编码器的输出暂时存放在缓存器中，从而使编码器 发出的信息量在时问上得到平滑而变成平稳的。 增大缓存器的容量能提高平滑能力，但编码延时的问题就会变得不可忽视， 缓存器容量自身也又一定的限度。缓存器容量有限的情况下，来自编码器的信息 越多，就有溢出的危险。因而就要在溢出快要发生的时候，通过编码参数的自适 应控制来减小编码器发出的信息量。或者通过减采样和剪辑来减少待编码象素的 数目也是有效的。缓存器对压缩算法的控制是通过控制量化器的量化步长实现 的，当编码器的瞬时输出速率过高，缓存器将要上溢时，就要使量化步长增大以 降低编码数据速率，当然也相应增大图像的损失：当编码器的瞬时输出速率过低， 缓存器将要下溢时，就要减小量化步长以提高编码数据速率。 2 2 6 运动估计”“ 1 0 运动估计使用于帧间编码方式时，通过参考帧图像产生对被压缩图像的估 河海大学硕士学位论文 计。运动估计的准确程度对帧间编码的压缩效果非常重要，如果估计做的好，那 么被压缩图像与估计图像相减后只留下很小的值用于传输。运动估计以宏块为单 位进行，计算被压缩图像与参考图像的对应位置上的宏块间的位置偏移。这种位 置偏移是以运动矢量来描述的，一个运动矢量代表水平和垂直两个方向上的位 移。运动估计时，p 帧和b 帧图像所使用的参考帧图像是不同的。p 帧图像使用 前面最近解码的i 帧或p 帧作为参考图像，称为前向预测：而b 帧图像使用两帧 图像作为预测参考，称为双向预测，其中一个参考帧在显示顺序上先于编码帧， 另一个在显示顺序上晚于编码帧，b 帧的参考帧在任何情况下都是i 帧或是p 帧。 2 2 7 运动补偿“3 1 利用运动估计计算出的运动矢量，将参考帧图像中的宏块移至水平和垂直方 向上的相对应位置，即可生成对被压缩图像的预测。在大多数的自然场景中，运 动都是有序的，因此这种运动补偿生成的预测图像与被压缩图像的差分值是很小 的。 2 3 视频压缩编码常用国际标准简介 数字视频技术广泛应用于通信，计算机，广播电视等领域，带来了视频会议、 可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。 i t u - t 与i s o i e c 是制定视频编码标准的两大组织，i t u t 的标准包括h 2 6 1 、 h 2 6 3 和h 2 6 4 ，主要应用于实时视频通信领域，如视频会议；m p e g 系列标准 是由i s o i e c 制定的，主要应用于视频存储、广播电视、i m e m c t 或无线网络上的 流媒体等。两个组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g 2 的视频 编码标准，最新的h 2 6 4 标准则被纳入m p e g - 4 的第l o 部分。这些国际标准保 证了多媒体通信系统在全球范围内的互通性。本节将简单介绍各种编码标准。 i n 4l 翻l 瓣髑钓伯雠 荆l 蟾6 伯犍蜘舶如啦i l 璺星：! ! ! 型：工查幽曼塞壅垒堡垒堡堑生兰 基于i - l 2 6 4 a v c 的精细可分级编码f g s 研究 2 3 1h 2 6 l 1 9 8 0 年，国际电报电话咨询委员会c c i t t 所属的视频编码专家组的h 2 6 1 建议被通过，成为可视电话和视频会议的国际标准。h 2 6 1 首次使用了运动补偿 预测编码和d c t 变换的方法，其传输码率为p 6 4 k b p s ，其中p = 1 3 1 可变， 根据图像传输清晰度的不同，码率变化的范围在6 4 k b p s 至1 9 2 m b p s 之间。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，每帧图像分为图像层，宏块组( g o b ) 层，宏块( ) 层，块( b l o c k ) 层来处理。 h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包 括运动补偿的帧问预测、d c t 变换、量化、熵编码以及与固定速率的信道相匹配 的速率控制等部分。主要是针对i s d n 的会议电视和可视电话等应用制定的，通 过缓冲器控制产生恒定的输出码率。h 2 6 1 是之后j p e g 和m p e g 编码方法的重 要基础。 与h 2 6 1 不同，m p e g 一1 标准不是针对通信领域的双向应用，而是为了满足 视频存储媒体( 如v c d ) 的应用。该标准在电信的运动补偿预测编码( m c p c ) 框架的基础上，应用了半象素的双向预测技术，可提供更好的编码质量和更高的 压缩比，其主要的应用目标为在l m b p s 1 5 m b p s 的隋况下，提供2 5 帧c i f ( 3 5 2 2 8 8 ) v h s 质量的图像。 2 3 2h 2 6 2 标准m p e g - 2 1 9 9 3 年i s o i e c 提出的m p e g 2 成为继h 2 6 1 之后更具权威性的标准。i s o 把m p e g 2 标准提交给i t u 并纳入i t u 的h 系列建议作为i t u h 2 6 2 建议，两 个标准的合而为一也是这个标准得到广泛应用的原因之一。 m p e g 一2 也是为数字视听信号提出的压缩标准，它保留了m p e g - 1 的基础技 术，并针对分场的图像格式，使用了帧、场联合的编码结构，能够更好地支持高 分辨率的图像和高质量的音频编码。目标码率在3 m b p s 3 5 m b p s 的传输速率条 件下，提供广播级t v 直到h d t v ( 高清晰度电视) 的图像编码，同时提供质量、 时间、空间等多种可伸缩性的分级编码模式。m p e g 一2 最主要的应用是通过卫星、 电缆和地面频道进行视频数字传输。m p e g 一2 支持固定，可变比特率传送、随机访 问、信道跨越、分级解码、比特流编辑以及一些特殊功能，如快进、快退、慢动 作、暂停和画面凝固等。这是一个关于活动图像编码较完善的标准。 2 3 3i i 2 6 3 系列1 5 “” 由于h 2 6 1 标准的码率较高，为了能在普通公用电话网或移动电话网上传输 视频信息，i t u ts g l 5 于1 9 9 2 年3 月正式发布了h 2 6 3 建议。h 2 6 3 是为了支 1 2 河海大学硕士学位论文 持低速率的通信而制定的标准，但也能够适应较大的动态范围，不仅仅限于低码 率。 h 2 6 3 编码算法仍以h 2 6 1 为基础( 二者的原理图十分相似) ，以混合编码为 核心，原始视频数据和码流组织也很类似，但h 2 6 3 支持更多的原始图像格式， 并且没有限定的帧率，因此可以通过减少帧数来限制最大编码速率。h 2 6 3 吸收 了m p e g 等标准中的有效、合理的内容，相对于h 2 6 1 做了不少的改进和补充： ( i ) 运动补偿采用半象素精度。 ( 2 ) 可选择自由运动矢量模式( u m v ：u n r e s t r i c t e dm o t i o nv e c t o r s ) 。在缺 省状态下，运动矢量对应的参考块必须定义在参考帧内，而自由运动矢量算法则 无此约束，并且还可以将运动矢量范围扩大至一3 1 5 + 3 1 5 ，以利于摄像机遥扫的 情况。 ( 3 ) 可选择基于语法( s y n t a x - b a s e d ) 的算术编码模式取代了霍夫曼编码， 在不损失信噪比的前提下可大量减少数据量，显著降低码率。 ( 4 ) 可选择高级预测模式( a p m ：a d v a n c e dp r e d i c t i o nm o d e ) ，但必须与 u m v 算法结合使用。此时在某些宏块中编码器可以用4 个8 8 的子块的运动矢 量取代1 个1 6 1 6 的运动矢量，两个色度块的运动矢量由这四个亮度块矢量相 加除以8 得到。 ( 5 ) 可选择的p b 帧( p b f r a m e s ) 模式，h 2 6 3 把两帧待编码图像作为一个 整体联合编码，即一个宏块由6 个p 块和6 个b 块共1 2 个象素块组成，可在不 过多增加码率的前提下显著提高解码图像的帧率。 由于公用电话网( p s t n ) 和无线网络上的传输速率仍然有限，而且误码率较 高，因此人们又提出了h 2 6 3 的改进版本，以满足高压缩效率和强信道容错能力 的应用要求。h 2 6 3 + t 1 6 1 1 以及后来的h 2 6 3 + + 能很好地解决低码率视频应用问 题，它们在提高压缩编码效率的同时，提高了码流对有误码信道的容错能力。这 些标准的容错能力都是通过选项( o p t i o n ) 的形式实现的，方便灵活，并且能够 兼容本标准以前的版本。和h 2 6 3 编码协议相比，h 2 6 3 + 增加了1 2 个新的选项， 主要体现在：能够支持更多的图像格式，也支持用户自定义的格式：产生了许多 新的编码模式，如可分级模式中的b 帧，e i 帧和e p 帧等；扩展了自由运动矢量， h 2 6 3 + 的u m v 支持可逆变长码( r v l c ：r e v e r s i b l ev l c ) 表，r v l c 支持码流 的双向解码，如果检测到误码，就能从码流的另一端从后往前解码，从而增加了 对信道误码的适应能力：去块效应滤波( d f ：d e b l o c k i n gf i r e r ) 模式，d f 模式 对于8 8 块在编码器循环中引入边缘滤波器，滤波后的图像将作为后续图像预 测的基础；时域、s n r 、空域分层编码等模式在i m e r n e t 这样的复杂网络环境和 无线网络等误码率较高的信道非常有用。 h 2 6 3 + + 标准是在h 2 6 3 + 标准的基础之上，对h 2 6 3 标准的进一步扩充。在 1 3 基于i - i 2 6 4 a v c 的精细可分级编码f g s 研究 h 2 6 3 + + 中又增加了3 种可选的编码模式，分别是：增强的参考帧选择模式，数 据分割片层模式和附加增强信息模式。 h 2 6 3 的制定，原本就是为了视频通信的有效应用，对它的不断完善主要目 标是使h 2 6 3 不但使用于固定的有线信道，也能够适用于无线和打包网络环境。 2 3 4 基于对象的视频编码标准- - m p e g 4 为了适应多媒体通信的快速发展，i s o 于1 9 9 4 年开始制定m p e g - 4 标准， m p e g 一4 最初是为了满足视频会议的需要来制定的可以对音频、视频对象进行高 效压缩的算法和工具，仅限于极低比特率的应用。后来经过不断的发展成为一个 可以适应于各种多媒体应用，提供各种编码比特率的标准 18 1 m p e g 4 视频编码的目的在于提供种通用的编码标准，以适应不同的传输 带宽、不同的图像尺寸和分辨率、不同的图像质量，进而为用户提供不同的服务， 满足不同处理能力的显示终端和用户个性化的需求。 与传统的基于象素的视频压缩标准( 如m p e g i 、m p e g - 2 、h 2 6 1 、i - i 2 6 3 等) 不同，m p e g 4 采用基于对象的视频编码方法，不仅可以实现对视频图像数 据的高效压缩，还可以提供基于内容的交互功能。除此之外，为了使压缩后的码 流具有对于信道传输的鲁棒性，m p e g - 4 提供了用于误码检测和误码恢复的一系 列工具，这样采用m p e g - 4 标准压缩后的视频数据可以应用于带宽受限、易发生 误码的网络环境中，如：无线网络、i n t e r n e t 和p s t n 网等。 1 m p e g - 4 视频编码基本原理 在基于对象的视频编码中，编码的基本单元是视频对象。为了实现基于对象 的表示，m p e g - 4 定义了视频对象v o ( v i d e oo b j e c t ) 和视频对象平面v o p ( v i d e o o b j e c tp l a n e ) 等概念。根据人眼感兴趣的一些特性，如纹理、运动、形状等，将 视频序列的每一帧通过人工、半自动或全自动等方式分割为一些任意形状的图像 区域，这些区域被称为视频对象平面，同一对象连续的v o p 称为视频对象。 1 4 i7 r l 翌引t _ 纠 r i j 随 复 降熟吲 l 对霉分割l 。( 与 用 隔菊 + _ r 稠 编 运动信段 码 。广；百石五 彤状信置 堕呈：星丝些蔓壅塑垒堡壅盟 河海大学硕士学位论文 从图2 2 中可以看出，m p e g 4 的视频编码就是针对视频运动信息、形状信 息和纹理信息等3 种信息的编码技术，其编码过程主要分为三步： 1 ) 从原始视频流中采用自动、半自动或人工等方法分割出v o ： 2 ) 对v o 进行编码，对不同v o 的运动信息、形状信息和纹理信息分配不同 的码字； 3 ) 将各个v o 的码流复合成符合m p e g 一4 标准的比特流。 2 m p e g - 4 视频编码技术 m p e g - 4 编码器可以对图像序列中具有任意形状的v o p 进行编码，对v o p 的编码就是针对某一时刻该帧画面v o 的形状、运动、纹理等信息进行编码。 a ) 形状编码 在m p e g - 4 标准中，v o 的形状信息有两类：二值形状信息和灰度形状信息， 两种信息都可以采用位图法来表示，位图表示法具有较高的编码效率和较低的运 算复杂度。 二值形状信息用0 、1 表示v o p 的形状，0 和1 分别表示该象素在v o p 区域 之外或之内。对二值形状信息进行编码时可以采用基于块的运动补偿技术，可以 是无损编码，也可以是有损编码。基于块的运动补偿的d c t 方法属于有损编码。 b ) 运动信息编码 m p e g 4 利用运动估计和补偿技术来去除帧问的时间冗余度，主要区别在于 其他标准是采用基于块的技术，而m p e g 一4 采用的是v o p 结构。v o p 有3 种编 码模式：帧内编码模式( i v o p ) 、帧间编码模式( p v o p ) 和帧问双向预测编码 模式( b v o p ) 。很显然，只有对p v o p 和b v o p 编码才需要运动估计。 如果一个宏块完全位于一个v o p 内，就采用一般的基于1 6 1 6 象素块或8 8 象素块运动估计，运动矢量以半象素点精度进行计算。如果一个宏块只有一 部分位于v o p 内，则采用修正的块匹配技术估计运动矢量。当参考块位于v o