（控制理论与控制工程专业论文）视频编码标准h264关键技术的研究.pdf

( s u p p o r t e db yt h en a t u r a ls c i e n c e f o u n d a t i o no fc h i n a ， g r a n tn o 6 0 6 7 4 0 7 0 ) s c h o o l d e p a r t m e n t ：s c h o o l o fe l e c t r o n i c sa n d i n t o r m a t l o ne n r l n e e r m g 一一 d i s c i p l i n e ：c o n t r o ls c i e n c ea n de n g i n e e r i n g m a j o r ：c o n t r o lt h e o r ya n dc o n t r o le n g i n e e r i n g c a n d i d a t e ：z h um i n g s u p e r v i s o r ：p r o f l i h o n gx u f e b 2 0 0 8 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位做作者签名身、 加矿年2 ，月z 日 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 身，明 孑年2 ，月砷 摘要 摘要 数字视频技术是当今视频技术发展的主流，近年来陆续出现了一些新 的视频编码标准，其中由国际电信联盟下属的视频编码专家组( v c e g ) 和国 际标准化组织下属的活动图像专家组( m p e g ) 共同成立的联合视频小组所开 发的h 2 6 4 a v c 是目前最新的视频编码标准。h 2 6 4 引进了多种新的编码技 术，使得它在图像质量相同的情况下，编码效率大幅提高。同时由于在网 络方面良好的适应能力，使得它在未来网络流媒体和无线视频方面有着广 阔的应用前景。h 2 6 4 本身的算法复杂性导致编解码速度缓慢，不利于其应 用和推广。本文以视频监控系统应用为背景，在深入研究h 2 6 4 编码算法 的基础上，对去块滤波以及解码器进行了优化。 本论文主要包括以下几个部分： 1 首先简要介绍了选题的意义及发展现状。 2 简要地阐述了视频编码的原理以及主要的编码方法，并对主要视频 编码标准进行了扼要的分析。 3 对h 2 6 4 编码器结构和流程进行了解析，对分层结构、帧内和帧间预 测、运动估计与运动补偿、整数变换和量化、熵编码等关键模块和算法进 行了分析和研究。 4 分析了视频编码中块效应产生的原因，介绍并分析了主要的两大类 去块滤波技术，并对他们的性能进行了比较。然后着重研究了h 2 6 4 的整个 去块滤波过程，并在此基础上针对视频监控的应用提出了快速算法。最后 对改进后的结果进行了分析。 5 首先对解码器结构流程及原理进行了解析。接着对参考模型进行了复 杂度分析，依据结果确定优化对象。本文这部分主要是针对熵解码以及运 动补偿进行了优化。其中对于运动补偿采用t m m x 技术。其次在代码层次对 参考模型进行了优化。然后从初始化，选用正确的数据类型等几个方面进 行了进一步的优化。最后通过分析数据，相对于优化前，优化后的解码器 解码速度有了大幅提高，完全符合本文所基于监控系统的需求。 关键词：h 2 6 4 ，去块滤波，解码器，优化，熵编码，运动补偿，m m x a b s t r a c t a b s t r a c t d i g i t a lv i d e ot e c h n o l o g yi st h et r e n do ft h ev i d e ot e c h n o l o g yd e v e l o p m e n t n o w i nr e c e n ty e a r s ，h 2 6 4 a v cw h i c hi s d e v e l o p e db yi t u n c e ga n d i s o m p e gi st h en e w e s to n ec o m p a r e dt os o m eo t h e rn e wv i d e oc o d i n g s t a n d a r d s m a n yn e wc o d i n gt e c h n o l o g i e sa r ei n v o l v e di nh 2 6 4 t h e ym a k e h 2 6 4i m p r o v ei t sc o d i n ge f f i c i e n c yg r e a t l yw i t h o u tl o s si nv i d e oq u a l i t y g o o d a d a p t a b i l i t yi nn e t w o r km e a n st h a th 2 6 4h a sag o o df u t u r ei nt h ea p p l i c a t i o no f n e t w o r ks t r e a mm e d i aa n dw i r e l e s sv i d e o t h ec o m p l e x i t yo fh 2 6 4r e s u l t si n i t ss l o wc o d i n ga n dd e c o d i n gs p e e dw h i c hi sar o a d b l o c ki nt h ep r o c e s so ft h e a p p l i c a t i o na n ds p r e a d t h i sp a p e ro p t i m i z e sd e b l o c k i n gf i l t e ra n dt h ed e c o d e r b a s e db ys t u d y i n gh 2 6 4 c o d i n ga l g o r i t h mo n t h ea p p l i c a t i o no ft h ev i d e o m o n i t o r i n gs y s t e m t h em a i nc o n t e n t so ft h et h e s i sa r ea sf o l l o w ： 1 f i r s t l y ，w eb r i e f l yi n t r o d u c et h es e n s eo ft h et h e s i sa n dd e v e l o p m e n ts i t u a t i o n i nt h i sf i e l d 2 s e c o n d l y ，w eb r i e f l yp r e s e n tt h ep r i n c i p l e so ft h ev i d e oc o d i n ga n dt h em a i n m e t h o d so fc o d i n g m e a n w h i l e ，w ea l s ob r i e f l ya n a l y z et h ep r i m a r yv i d e o c o d i n gs t a n d a r d s 3 t h i r d l y ，w ep a r s et h es t r u c t u r ea n dt h ef l o wo fh 2 6 4e n c o d e r t h e nw e a n a l y z ea n ds t u d i e sk e ym o d u l e sa n da l g o r i t h m ss u c ha ss t r u c t u r eo fn a la n d v c l , i n t e rp r e d i c t i o n ，i n t r ap r e d i c t i o n ，i n t e rt r a n s f o r ma n dq u a n t i z a t i o n ，e n t r o p y c o d i n ga n ds oo n 4 f o u r t h l y ，w ea n a l y z et h er e a s o n sw h yb l o c k i n ga r t i f a c t i si n d u c e d ，p r e s e n t t w op r i m a r yk i n d so ft e c h n o l o g yo fd e b l o c k i n gf i l t e r i n ga n dc o m p a r et h e mw i t h e a c ho t h e rt oh a v et h e i ra d v a n t a g ea n dd i s a d v a n t a g e t h e nw ed e e p l ys t u d yt h e w h o l ep r o c e s so fh 2 6 4 sd e b l o c k i n g a f t e rt h a tw ep r o p o s eaf a s td e b l o c k i n g f i l t e ra l g o r i t h mf o c u s e do nt h ea p p l i c a t i o no ft h ev i d e om o n i t o r i n gs y s t e m f i n a l l y ，w ea n a l y z e dt h ed a t ap r o d u c e db yt h eo p t i m i z a t i o np r o c e s s 5 f i f t h l y , w ep a r s et h es t r u c t u r ea n dt h ef l o wo fh 2 6 4d e c o d e ra tt h eb e g i n n i n g t 1 1 e nw ea n a l y z e t h ec 。m p l e x i t y0 f d e c 。d e rr e f e r e n c e m o d e lm a ? 1 y 8 1 s 掣 d e c i d e sw h i c hp a n s 。ft h e m 。d e ls h 。u l db e 。p t i m i z e d i n t h i s p a r t ，t h e o p t i m i z a t i o n i sm a i n l ya p p l i e dt o m o 。t i o n m c i o z m em p e o t i o n s a t n i o c n 。, 一e n t r o p y ：。c o n d i t n h g e d s e u c o r i n n g d t h a t ，w ea p p l ym m x t e c h n o l o g yt oo p t i m l z en l o 【l u n 。u i l l p u l l 3 t l u u l ：，。 i ， s t e ；i st 。p t i m i z et h em 。d e l i nc 。d el e v e l w ea l s 。f u n h e r 。p 1 m l z ? h e ! 。：l e l f r 二i n i t i a ：i n 舀c h 。o s i n gt h et i g h tt y p e 。f d a t ea n ds o o n - 1 1 1 m u 譬a n a ：了殂擘 d a t ap r o d u c e d b yt h e 。p t i m i z 舭n p r o c e s s ，d e c o d i n g s p e e m 髓叩警盈：1 1 8 m u c ：f a s t e f i i lc o m p a r i s 。nw i t ht h es p e e d b e f o 北。p t i m 忆撕o n n m 帅e c o m o l e t e l vu s e di nt h ev i d e om o n i t o r i n gs y s t e m k e y lw o r 。d s ：h 2 6 4 ，d e b l 。c k i n g f i l t e r ，d e c o d e r 。p t i m i z i n g ，e n t r o p y c o d l n g m n t j o nc o m p e n s a t i o n ，m m x n i 2 2 2 新型图像编码技术1 0 2 3 视频压缩编码技术的发展历程1 3 2 4h 2 6 1 1 4 2 5m p e g 一1 1 4 2 6m p e g - 2 ( h 2 6 2 ) 1 5 2 7h 2 6 3 1 6 2 8m p e g 一4 1 8 2 9a v s 1 9 2 i 0 总结2 0 i v 目录 第3 章h 2 6 4 视频压缩编码技术2 1 3 1h 2 6 4 的发展历史2 1 3 2h 2 6 4 分层结构2 1 3 3 编码器方框图2 2 3 4 帧内预测2 4 3 5 帧间预测2 6 3 61 4 像素精度的运动估计和运动补偿2 7 3 7 多参考帧2 8 3 8 整数( d c t ) 变换2 8 3 9 量化3 0 3 1 0 扫描顺序3 l 3 1 1 熵编码3 2 3 1 2 去块滤波器3 4 第4 章h 2 6 4 的快速去块滤波算法3 5 4 1 视频编码中块效应产生的原因3 5 4 2 去块滤波技术3 6 4 2 1 后处理去块滤波3 6 4 2 2 环路去块滤波3 8 4 3h 2 6 4 中环路去块滤波的边界分析4 0 4 3 1 边界级自适应滤波器4 1 4 3 2 样点级自适应滤波器4 2 4 3 3 片级自适应滤波器4 3 4 4 滤波器的实现4 4 4 4 1 滤波顺序4 4 v 目录 4 4 2b s 值为1 - - 3 的边界滤波4 5 4 4 3b s 值为4 的边界滤波4 6 4 5 快速方法的提出4 7 4 6 实验结果分析4 8 4 7 实验总结4 9 第5 章解码器的分析优化5 0 5 1 引言5 0 5 2 解码器的原理5 0 5 3 解码器性能及热点分析5 3 5 3 1 解码器的性能5 3 5 3 2 解码器的热点5 3 5 4 解码器部分模块优化5 4 5 4 1c a v l c ( 基于上下文自适应的可变长编码) 的分析与优化5 4 5 4 2 删x 技术介绍6 3 5 4 3 运动补偿的分析与优化6 5 5 5 代码优化6 8 5 5 1 循环分支优化6 8 5 5 2 尽量使用低代价代码6 9 5 5 3 判断和分支优化7 0 5 6 其他优化7 0 5 6 1 初始化7 0 5 6 2 减少函数调用7 0 5 6 3 选用正确的数据类型7 1 5 7 优化结果分析7 1 v 第1 章引言 第1 章引言 1 1 选题的意义 随着计算机技术以及多媒体网络通讯技术的兴起和快速发展，数字视频编 码技术在人们日常生活中起到的作用也越来越重要。纵观数字电视、新一代移 动通信、宽带网络通信、家庭电子消费这些蓬勃发展的高技术产业群，其共性 技术集中在以音视频为主要内容的多媒体信息处理技术，特别是编解码压缩技 术，其不仅在视听工业、多媒体计算机等方面有广泛应用，而且在广播电视以 及未来的信息高速公路等各个方面都有着诱人的应用前景。随着h 2 6 4 a v c 标准 的制定出台，视频编解码技术作为计算机多媒体技术的一个分支，己经成为国 际上研究的热点。因此本课题的研究不仅关系到视频编码技术本身的发展，而 且关系到国计民生的前途与未来，将对未来生活质量有着深远的影响与意义。 1 2h 2 6 4 的发展现状 h 2 6 4 是在世界各国的视频处理专家不断地对视频压缩编码各个模块中提 出各种新算法的基础上，由联合视频组( j v t ) 制定的新一代视频压缩编码标准， 是当今世界视频压缩技术领域的集大成者。h 2 6 4 标准提供了进一步的压缩性 能，提高了存储空间的利用率。h 2 6 4 a v c 标准的开发目标是实现多媒体业务在 各个领域的应用，涉及面非常广泛，不同的应用对应的码率、分辨率、质量和 服务也不同。h 2 6 4 a v c 标准使运动图像压缩技术上升到了一个更高的阶段，在 较低带宽上提供高质量的图像传输是h 2 6 4 a v c 的应用亮点，因此，h 2 6 4 a v c 将对诸如数字卫星广播、数字视频存储以及互联网传播等一系列技术进行改进， 以提高视频质量，扩展多媒体业务的应用范围。 1 2 1 档次的划分 目前，j v t z i z 作组己经完成了三个应用档次的标准化工作n 2 j ，它们分别是： 1 ) 基本规范( b a s e l i n ep r o f i l e ) ，无需使用版权，具有开放的性质。它对i p 和 无线网络传输具有更好的支持功能，引入了面向i p 包的编码机制，有利于网络中 第1 章引言 的分组传输，支持网络中视频的流媒体传输。这对目前因特网传输多媒体信息、 移动网中传输宽带信息等都具有重要意义。 2 ) 主要规范( m a i np r o f i l e ) ，采用了多项提高图像质量和增加压缩比的技术 措施，可用于s d t v 、h d t v 和d v d 等： 3 ) 扩展规范( e x t e n d e dp r o f i l e ) ，可用于各种网络的视频流传输。 目前一个新的扩展档次的标准化工作正在进行，即专业扩展档次( e x t e n d e d p r o f e s s i o n a lp r o f i l e ) ，其主要应用为超高质量的视频图像、数字影院等。目前正 在对高精度4 ：4 ：4 变换编码技术，高精度的像素描述，是否采用其它分量描述等 技术问题展开讨论。 1 2 2h 2 6 4 在移动通信中的应用 当前，国际上的移动视频标准正处在评估阶段，移动视频标准主要由3 g p p 、 i t u 提出。h 2 6 4 是由i t u 提出的标准，目前3 g p p 正在对它进行评估，很可能将成 为移动通信的一个新标准。h 2 6 4 在抗误码、抗干扰和抑制噪声等方面，采用了 原来没有使用的新技术，非常适合移动方面的需求。在音频标准方面，采用 i t u - g 7 2 2 国际化标准。 1 2 3h 2 6 4 在l p 网络中的应用 h 2 6 4 适用于i p 网络具有三大优势： 1 压缩率和图像质量方面 对传统的帧内预测、帧间预测、变换编码和熵编码等算法的改进，使h 2 6 4 的编码效率和图像质量在以往标准的基础上进一步提高。 2 抗丢包和抗误码方面 参数集、片的使用、f m o 、冗余片等关键技术的使用可以大大提高系统的抗 丢包和抗误码性能。 3 网络适应性方面 为适应各种网络环境和应用场合，h 2 6 4 定义了视频编码层( v c l ) 和网络提取 层( n a l ) 。其中v c l 功能是进行视频编解码，包括运动补偿预测，变换编码和熵编 码等功能；n a l 用于采用适当的格式对v c l 视频数据进行封装打包。支持不同网络 资源下的分级编码传输，在所有码率下都能持续提供较高的视频质量。h 2 6 4 a v c 既能工作在低延时模式以适应实时通信的应用( 如视频会议) ，又能很好地工作在 2 第l 章引言 没有延时限制的应用，如视频存储和以服务器为基础的视频流式应用。在相同的 重建图像质量下，h 2 6 4 能够i h 2 6 3 节约5 0 左右的码率。h 2 6 4 因其更高的压缩 比、更好的i p 和无线网络信道适应性，必将在数字视频通信或存储领域得到越来 越广泛的应用。同时也要注意，h 2 6 4 获得优越性能的代价是计算复杂度的增加， 据估计，编码的计算复杂度大约相当于h 2 6 3 的三倍，解码复杂度大约相当于 h 2 6 3 的两倍3 1 。 1 3 本文的研究工作 鉴于h 2 6 4 a v c 视频编解码标准的种种新的特色及其广泛的应用前景，不言 而喻，对它的研究是具有重要意义的。本文以实际的视频监控为应用背景，对 这一标准做了深入分析和探讨，并以h 2 6 4 标准的视频编码算法t 2 6 4 为基础，通 过对其分析，采取了相应的优化措施。在不致过分影响画质的前提下，使其更 加符合视频监控快速性的需求，结果证明经优化改良后可基本实现实时编解码， 画质也基本上能满足用户的需求。而与t 2 6 4 参考代码相比，本文有如下几点创 新和改进： 1 针对计算量大、复杂度高的去块滤波，提出了快速算法，简化计算过程 和减少计算量，提高运算效率； 2 针对解码过程中计算量大的熵解码，从比较繁琐的查表程序入手，对表 格进行分组了优化，从而大大提高了熵解码的效率。 3 针对解码过程中计算量大、频繁调用，但是规则性强的运动补偿、像素 插值使用了删x 等c p u 的扩展指令集取代c 代码进行优化，通过这些扩展指令集的 单指令多数据及内存对齐等特征进行计算可以进一步提高运算速度。 1 4 论文的章节安排 第1 章总结了论文选题的意义及h 2 6 4 的发展现状以及简要地阐述了本文 所做的研究工作及创新点。 第2 章详细地介绍了视频编码原理以及编码的主要方法，然后简要阐述了 视频编码技术的发展历程，并对各个主要的编码标准的原理进行了简要地叙述。 第3 章简要地叙述了h 2 6 4 的发展史，对h 2 6 4 编码器结构和流程进行了解 析，并对分层结构、帧内和帧间预测、运动估计与运动补偿、整数变换和量化、 3 第1 章引言 熵编码等关键模块和算法进行了详细地分析和研究。 第4 章深入地分析了视频编码中块效应产生的原因，介绍并分析了主要的 两大类去块滤波技术后处理去块滤波技术和环路去块滤波技术，并对他们的性 能进行了比较，得出环路去块滤波技术从整体上优于后处理去块滤波技术。然 后着重研究了h 2 6 4 的整个去块滤波过程，并在此基础上针对视频监控的实际应 用提出了快速算法。最后对改进后的结果进行了分析。得出优化后的画质在不 过分损失的情况下完全符合视频监控系统快速性的需求 第5 章首先对解码器结构流程及原理进行了解析。接着对参考模型进行了 复杂度分析，依据结果确定优化对象。本文这部分主要是针对熵解码以及运动 补偿进行了优化。对于熵解码采用了基于分组的快速熵解码的方法，对于运动 补偿则采用了m m x 技术。其次在代码层次，主要从循环分支优化，尽量使用低 代价代码，以及判断和分支优化三个方面对参考模型进行了优化。然后从其它 方面如初始化，选用正确的数据类型等几个方面进行了进一步的优化。最后通 过分析数据，相对于优化前，优化后的解码器解码速度有了大幅提高，完全适 合本文所基于的监控系统的需求。 第6 章简要总结了论文工作所取得的成果和进一步工作的展望。 4 第2 章主要视频压缩标准介绍 第2 章主要视频压缩标准介绍 2 1 视频编码原理 视频编码的目的是实现对视频的压缩，其核心思想是去相关。通过减少视 频序列间的相关性，降低视频内容中的冗余，用较少的比特数来表示视频内容， 从而实现对视频的压缩。视频序列中的冗余主要有以下几个方面h 5 6 1 。 空间冗余 空间冗余是指在同一帧画面中，相邻的像素间存在的相关性，特别是当这 些相邻像素位于同一个视频对象中时，相关性极强。例如在图像的背景区域。 时间冗余 通常对视频序列而言，除非发生场景切换，否则相继帧在时间上都是连续 的。在前后两帧中往往包含与当前帧相同的背景和对象。只是由于镜头的转动 或对象的移动使得空间位置发生变化。运动越缓慢，位置的变换越小。因此视 频序列在时域存在极强的相关性。 编码冗余 对于编码符号，其平均码长高于所表示信息的信息熵，这个差值就形成了 编码冗余。编码冗余、空间冗余和时间冗余都依赖于图像数据的统计特性，可 以统称为统计冗余。 人眼视觉冗余 由于人眼视觉的非均匀性，使得人眼视觉对某些空间频率感觉迟钝。因此 视频中不同频率成分的内容对于人眼系统而言其重要性是不同的。也就是说存 在频域冗余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。 因此可以对色度分量进行降采样，同时保持主观视觉质量不变。y u v 4 ：2 ：0 色差 格式就是对色度分量在水平和竖直两个方向进行2 ：l 的降采样。另一方面对信号 频域的各个分量可以采取不同的量化步距，将人眼视觉不敏感的分量去除，而 不会引起主观质量的下降。 结构冗余和知识冗余 图像的某些区域存在非常强的纹理结构，图像像素值有明显的分布模式， 5 3 ) 着眼于图像的内容特征，主要有分形编码、基于内容的编码方法等等。 下面将介绍几种常用的编码。 2 2 图像编码的主要方法 6 第2 章主要视频压缩标准介绍 2 2 1 传统视频编码技术 预测编码 预测编码可以在一幅图像内进行( 帧内预测编码) ，也可以在多幅图像之间 进( 帧间预测编码) 。预测编码基于图像数据的空间和时间冗余特性，用相邻 的已知像素( 或图像块) 来预测当前像素( 或图像块) 的取值，然后再对预测误差 进行量化和编码，这些相邻像素( 或图像块) 可以是同行扫描的，也可以是前几 行或前几帧的，相应的预测编码分别称为一维、二维和三维预测，其中一维和 二维预测是帧内预测，三维预测是帧间预测。预测编码的关键在于预测算法的 选取，这需要考虑到图像信号的概率分布，实际中常根据大量的统计结果采用 简化的概率分布形式来设计最佳的预测器，有时还使用自适应预测器以较好地 刻画图像信号的局部特性，提高预测效率。 预测编码有线性预测和非线性预测两类。线性预测编码又称为差分脉冲编 码调制( d p c m d i f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 。帧内预测编码一般采用像素 预测形式的d p c m ，算法简单且易于实现，缺点是对信道噪声及误码很敏感。而 帧间预测编码主要利用图像数据的时间冗余来达到压缩的目的，可以获得比帧 内预测编码高得多的压缩比。为了降低预测算法的复杂度、提高预测精度，帧 间预测编码一般针对图像块，采用的技术包括帧重复法，域值法、帧内插法、 运动补偿法和自适应交替帧内帧间编码法等，其中运动补偿法现已被各种视频 图像标准采用。帧间预测编码的主要缺点在于对于图像序列的不同区域预测性 能不一样，特别是在剧烈运动的区域，预测效率很差，而且基于块的处理势必 造成分块边缘的不连续。 变换编码 与预测编码技术相比，消除图像数据空间相关性的一种更有效的方法是进 行信号变换，使图像数据在变换域上最大限度地不相关。尽管变换本身并不能 压缩数据，但由于变换后系数之间相关性明显降低，图像的大部分能量只集中 到少数几个变换系数上，采用适当的量化和熵编码就可以有效地压缩图像的数 据量。而且图像经某些变换后，系统的空间分布和频率特性有可能与人眼的视 觉特性匹配，因此可以利用人类视觉系统的生理和心理特点来得到较好的编码 系统。 变换编码通常是将空1 1 自j 域相关的像素点通过正交变换映射到另一个频域 7 第2 章主要视频乐缩标准介绍 上，使变换后的系数之间的相关性降低。就数据压缩而言，所选择的变换方法 最好能与图像信号的特征匹配，此外还应从失真要求、实现的复杂度以及编码 比特率等多方面来综合考虑。k - l 变换是均方误差准则下的最佳线性变换方案， 但在实际编码工作中，更常用的是离散余弦变换( d c t ，d i s c r e t ec o s i n e t r a n s f o r m ) 。对大多数图像信源来说，d c t 是最接近k l 变换的线性变换编码方 法。 对变换系数的编码一般采用门限编码加区域编码的形式。以d c t 为例，变换 后幅值较大的系数大多集中于图像块的左上角，根据变换系数能量分布的这一 特点，可以将图像划分为不同的区域，然后按能量分布对不同区域采用不同的 量化编码技术。另一方面，由于许多变换系数的幅度很小，只具有原图像中很 小比例的能量，对图像质量的影响很小，因此一般采用设定域值的方法，置小 于域值的变换系数为零，从而大大提高编码效率。 在一般图像中，轮廓边缘附近含有大量的高频信息，它们相对于原图像是 非常局部的，代表了图像数据的精细结构。但由于传统的正交变换时频局域性 很差，变换后的系数失去了对原图像精细结构的描述，因此从变换图像中得不 到图像边缘轮廓等局部信息，在量化时无法对精细结构采用特殊的方法。而且 在传统的变换编码中，大多是靠丢弃高频系数来提高压缩比的，从而导致图像 的边缘轮廓模糊，严重影响重建图像的主观质量。同时为了降低变换算法的复 杂度和提高编码效率，传统变换采用了分块技术。图像块大，相关性就高，压 缩比也就大，但块尺寸太大又会丢失数据的平稳性，从而引入误差，包括失去 高频细节、引入沿物体边界的噪声和可见的块边界。传统的变换编码的这些缺 点使得它们不适合需要较高压缩比的应用场合。究其根本原因在于变换的方法 不具有很好的时频局域性和全局变换的特点。 熵编码 预测编码与变换编码是基于去除样值问的相关性从而达到数据压缩的目 的。如果信源已经是无记忆的，即各样值之间已没有相关性，那么根据信息论 的相关理论可知，只要各事件出现的概率各不相等，该信源就仍然有冗余度存 在，还有进一步进行数据压缩的可能性，这就是熵编码的理论依据。熵编码是 纯粹基于信号统计特性的编码技术，它是一种无损编码，解码后能无失真地恢 复原有信号。 常用的熵编码方法有游程编码，霍夫曼编码和算术编码三种。其中，游程 8 第2 章主要视频压缩标准介绍 长度编码是将符号值相同的连续符号串用一个游程长度( 符号数) 和一个代表值 ( 值) 描述。这样可以用更紧密的序列代替原有的相同值符号串。在视频压缩中， 量化后的数据常常出现大量的连零系数，利用游程长度编码可以有效的降低表 示零码的比特数。 霍夫曼编码的基本思想是，对出现概率较大的符号分配较短的码长，而对 概率较小的符号分配较长的码长。对于给定的符号集和概率模型，霍夫曼编码 是最优的编码方式。由于信源的概率分布一般是无法准确预知的，因此人们通 常采用对大量数据进行统计后得到的近似分布来代替实际的分布。由于不同的 图像类型其系数分布总有差异，所以霍夫曼编码在实际应用时无法达到其最佳 性能。如果根据输入数据序列自适应的匹配信源概率分布，可以较好地改进其 性能，但这种方法运算复杂且不合适硬件实现。 算术编码是八十年代发展起来的一种熵编码方法，己渐渐受到人们的注意。 它的基本原理是任何一个数据序列均可表示成0 和1 之间的一个间隔，该间隔的 位置与输入数据的概率分布有关。可以根据信源的统计特性来设计具体的编码 器，也可以针对未知概率模型的信源设计能够自适应适配其分布的算术编码， 并且这两种形式的编码器均可用硬件实现。有关的实验数据表明，在未知信源 概率分布的大部分情形下，算术编码要优于霍夫曼编码。 上述三种墒编码方法均已被各种图像编码标准采纳，以游程编码+ 霍夫曼编 码或者游程编码+ 算术编码的形式用于对变换、预测之后的图像系数的进一步编 码。 矢量量化 香农率失真理论指出，即使对于无记忆信源，矢量编码( v q ，v e c t o r q u a n t i z a t i o n ) , 营, 是优于标量编码。基于v q 的图像压缩方法是利用相邻图像数据之 间的高度相关性，将输入的图像数据序列分组。每一组m 个数据被描述为一个有 m 个元素的矢量。实际的矢量量化图像系统中编码器和解码器内置有相同的码 本，码本由所有可能矢量集合的有序子集组成。编码器根据特定的距离准则在 码本中对输入图像进行矢量匹配，然后对匹配码的码本序号进行编码，从而实 现了一个矢量所需要的比特数到一个码字序号所需比特数的压缩。 显然，矢量量化是一种信息有损失的压缩方法。为了减少失真，需要增加 码本的数目，必然使得矢量匹配的搜索时间增长。另外，由于对原数据分块， 在高压缩比时，与d c t 一样会出现方块效应和边缘突起。矢量量化中最关键的技 9 第2 章主要视频压缩标准介绍 术是最佳v q 码本的设计和快速的搜索算法。 v q 一般用在低比特率的场合，分为随机型v q 和格型v q 两种。随机型v q 是一 种很有效的数据压缩技术，可以大大降低比特率，广泛用于语音和图像压缩编 码中，但它的主要缺点是编码复杂，码本的适用性差，这是因为实际图像变化 复杂，图像信源不平稳，从而在一定程度上降低t v q 的性能。与随机型v q 相比， 格型v q 具有许多优点，它无须存储庞大的码本，编码复杂度低，具有快速算法， 失真小，而且码本具有较好的鲁棒性。因此，格型v q 是当前比较重要的一个研 究方向，但它的压缩比不如随机型v q 。 子带编码 在进行子带编码时，图像信号首先通过若干个带通滤波器，从而将原始图 像的频谱分成几个频率段，然后再对不同的频率段采取不同的后续编码方法， 实现对原图像的压缩。 子带编码有许多优点，可以针对各子带的统计特性及其对人眼视觉的不同 重要性，进行适当的比特分配，选择最优的编码方案，对各个子带可以实现并 行处理，误差不会在子带间扩散。子带编码的运算复杂度低，就质量和压缩比 而言，它与变换编码相接近，但它消除了变换编码中的块效应。但当压缩比提 高时，r i n g 效应变得明显。 2 2 2 新型图像编码技术 8 0 年代中后期，相关学科的迅速发展和新兴学科的不断出现为图像编码的 发展注入了新的活力。人们对图像信息需求的剧增也有力地促进了图像压缩编 码技术的进步。许多学者结合模式识别、计算机图形学、计算机视觉、神经网 络、小波分析和分形集合等理论开始探索图像信号压缩编码的新途径。同时， 关于人类的视觉生理、心理特性的研究成果也打开了人们的新视野，许多新型 的图像压缩编码方法相继提出。如1 9 8 8 年m b a r n s l e y 提出了基于迭代函数系统 的分形图像编码技术，1 9 8 9 年s m a l l a t 、i d a u b e c h e 将小波分析理论应用于图 像编码，以及9 0 年代初发展起来的基于模型的图像编码方法等。 分形编码 分形图像编码是在b b m a n d e l b r o t 分形集合理论的基础上发展起来的一种 编码方法。分形理论是欧式几何相关理论的扩展，是研究不规则图形和混沌运 动的一门新学科。这种方法利用了自然界物体的自相似性，而图像数据的自相 1 0 第2 章主要视频压缩标准介绍 似性可以理解为，它的所有部分都可以用图像中的某个部分通过旋转、缩放、 移位和镜象等运算近似求得。自相似性可以是确定的，也可以是统计意思上的。 所以分形图像编码的基本思想可以简单描述为：用一种变换来代替图像，如果 这种变换的复杂度低于原图像，就可能实现压缩。m b a r n s l e y 弓l 入了迭代函数 系统( i f s ，i t e r a t e df u n c t i o ns y s t e m ) 来刻画自相似性，并将其用于图像编码， 在某些特定图像上获得了1 0 0 0 0 ：1 的压缩比。但b a r n s l e y 的方法需要在人工干 预下进行，为此他的学生a e j a c q u i n 提出了基于块的全自动分形图像编码方 法，将分形在图像编码上的应用推进了一大步。 分形图像编码的关键在于寻找图像的i f s 码，也即迭代运算算子w 。目前已 有专利指出，对某些图像分形图像编码可得n 3 0 - 7 0 的压缩比。然而分形图像的 理论基础决定了它只有对具备明显自相似性或统计自相似性的图像才有较高的 编码效率，但一般图像并不都具有这一特性，因此编码效率不是很高。而且分 形图像编码方法实质上是通过消除图像的几何冗余度来压缩数据的，根本没有 考虑人眼视觉特性的作用。另一方面，分形图像编码是一种不对称的编码技术， 编码器建立图像i f s 码的算法十分复杂，而对应的解码过程却十分简单，用软件 就可以实时完成。分形图像编码技术的这一特点，使其难以适合可视电话这类 需实时完成压缩、解压缩的多媒体业务。分形编码通常用于对图像编码一次， 而需译码多次的信息传播应用中。 小波编码 1 9 8 5 年，m k u n t 提出了利用人眼视觉特性的第二代图像编码技术，并且给 出了两类新算法：一类基于图像分割，取出闭合的轮廓和灰度起伏相对平坦的 区域分别编码；另一类基于边缘的方向分解，用一组方向滤波器对图像滤波， 检测出低频部分和不同方向的边缘分别编码。这类技术表达的思想是先进的， 而且找出了视觉的生理和心理依据，即人眼对边缘的方向具有选择性，对不同 方向的边缘具有不同的敏感程度。但受限于图像的分割和边缘检测技术，编码 效果不如j p e g 标准。 由于小波变换的时频局部表示优于单纯的频域表示，小波变换系数恰好反 映了信号的边缘特征，倍频程的频带划分又与视觉特性相吻合，因而受到了广 泛的重视。j f r o m e n t 和s g m a ll a t 沿着第二代图像编码的思路，提出先编码小 波变换数据的多尺度边缘轮廓，再编码其与原始图像的差，即纹理图像。而更 多的研究人员则结合经典手段，尝试了小波变换数据的标量量化、矢量量化、 第2 章主要视频压缩标准介绍 最佳熵编码、模极值编码和最佳小波包编码等方法，但要么在编码效率方面， 要么在实现复杂度上总是不尽如人意。实践中人们发现，就图像编码和双正交 小波族而言，在很大程度上，压缩效率的提高不是来自于小波系统的选择，而 在于对变换系数的处理策略。因为尽管从数学角度看，图像经变换后得到的小 波系数是稀疏的，有利于码率压缩，可在实际上，正是这些特点要求比特分配 的更高技巧。 从多分辨率分析的观点看，小波变换图像分解产生的各级子图像分别对应 于原始图像中不同尺度下的边缘信息，原始图像中的突变信号在小波变换域中 没有扩散。小波变换不仅具有频率域能量紧缩特性，而且同时具有空间域能量 紧缩特性。这些特性一方面表现为大部分的图像能量总是集中在最低频率的子 图像中，并从低频到高频呈递减分布趋势；另一方面，各子图像对应相同空间 位置的像素问存在着较强的空间相关性，并且相应系数从低频到高频呈现很好 的尺度级顺序递减。这一独特的数据特性导致了一种新型的数据结构一零树的 产生，并且j m s h a p i r 提出的基于比特连续逼近的嵌入零树小波编码方法，使 得零树方法成为基于小波的静止图像压缩的一个有意义的突破。正因为如此， 基于小波的编码方法在静止图像压缩新标准j p e g 2 0 0 0 中被采用，并迅速走向实 用化。1 9 9 7 年，b j k i m 和w a p e r l m a n 还将这种算法推广到三维，用于视频信 号的压缩，结果在相同码率下，信噪比l 匕m p e g 一2 视频标准高l c l b 。 模型编码 基于模型的图像编码技术是近几年发展起来的一种很有前途的低比特率编 码方法。它利用了计算机视觉和计算机图形学中的方