（信号与信息处理专业论文）avs视频编码器优化及算法研究.pdf

山东大学硕士学位论文 摘要 数字音视频编解码标准( a u d i oa n dv i d e oc o d i n gs t a n d a r d ，a v s ) 是我国自主 制定的、具有自主知识产权的第二代信源压缩编码技术标准，它具有性能高、 计算复杂度低、专利授权费用低等优点。它的实施不仅标志着我国在多媒体处 理等领域的研究处于国际领先地位，而且还将创造可观的经济效益和社会效益。 但目前a v s 的编解码芯片与软件还不太成熟，制约了a v s 产业化的推广，不 利于a v s 在新一代数字音视频产业的应用。因此，对a v s 编码器的研究具有 极为重要的意义。 本课题研究的目的就是对a v s p 2 视频编码器进行优化，研究核心模块的 快速算法，提高编码速度，为以后在d s p 等硬件平台上达到实时编码、用于视 频监控等领域打下坚实的基础。 论文的主要工作包括： 介绍常用视频压缩技术中的熵编码、预测编码和变换编码的特点以及国际 主要视频压缩标准m p e g 系列和h 2 6 x 系列的发展历史及特点，并将a v s 与 h 2 6 4 、m p e g 2 、m p e g 4 标准的性能进行了分析与对比，以突出a v s 的优越 性；深入研究a v s 视频标准的系统结构，着重介绍a v s 的核心模块，包括整 数变换与量化、帧内预测、帧间预测、1 4 像素插值、熵编码及环路滤波，这些 都为编码器的优化奠定了基础。 对a v s 视频编码器进行优化。首先是调整编码器的整体结构，去除冗余， 使各模块清晰明了，便于以后对各模块做独立研究。然后采用各种优化策略对 结构调整后的编码器进行代码优化，提高运算能力。模块优化主要是对插值模 块、环路滤波模块、帧内预测模块和熵编码模块进行优化。插值模块的优化是 从插值函数的调用、插值图像的边界单独处理、代码优化等方面进行的，而环 路滤波模块的优化主要是从边界滤波强度的获取方面进行的。实验证明优化后 的a v s 编码器编码时间平均减少2 7 3 4 。 研究了a v s 编码器算法，主要是对运动估计算法和环路滤波算法进行了研 究。针对a v s 中的运动估计算法，提出了两种快速优化方法：一种利用偶数二 次抽样计算绝对误差之和( s u mo fa b s o l u t ed i f f e r e n c e ，s a d ) 来减少运算量；另一 山东大学硕士学位论文 种是根据全零块提前判定跳过大量的计算和提前退出搜索来节省编码时间。而 最终目的是把这两种方法结合起来应用。实验结果表明，把这两种方法结合起 来取得的效果比单独的任何一种方法都好。然后通过对大量运动搜索算法的研 究，提出了一种新的搜索算法，即把二次抽样、菱形搜索和矩形搜索结合起来。 实验结果证明，这些算法在保证图像质量的前提下，可节省总的编码时间 5 2 2 。对a v s 环路滤波算法进行研究后，根据图像之间的相关性，提出了 一种快速的像素级a v s 环路滤波算法。实验证明在保证图像主客观质量基本不 变的前提下，该算法可减少环路滤波的时间达4 0 6 0 ，有利于提高整个编码 器的速度。 2 关键词：a v s 视频标准；编码器优化 运动估计；环路滤波 山东大学硕士学位论文 a b s t r a c t a v si sc h i n a ss e c o n dg e n e r a t i o ns o u r c ec o d i n gt e c h n o l o g ys t a n d a r d ，w h i c hi s d e v e l o p e dw i t hi n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t s i t h a sa d v a n t a g e so f 1 1 i g h p e r f o r m a n c e ，l o wc o m p u t a t i o n a lc o m p l e x i t y , a n dl o wl i c e n s i n gc o s t ，e t c i t s i m p l e m e n t a t i o nn o to n l yi n d i c a t e st h a tc h i n ai sp r e s e n t l ya tt h el e a d i n gp o s i t i o ni n t h ef i e l d so fm u l t i m e d i ar e s e a r c hi nt h ew o r l d ，b u ta l s o w i l lc r e a t ec o n s i d e r a b l e e c o n o m i ca n ds o c i a lb e n e f i t s h o w e v e r , t h ea v sc o d e cc h i pa n ds o t h v a r ea r en o ty e t m a t u r e ，w h i c hr e s t r i c tt h ep r o m o t i o no ft h ei n d u s t r i a l i z a t i o no fa v s t h e r e f o r e ， r e s e a r c ho nt h ea v sc o d e ci so fv i t a ls i g n i f i c a n c e t h i sd i s s e r t a t i o na i m sa ta v s - p 2v i d e oe n c o d e ro p t i m i z a t i o na n df a s t a l g o r i t h md e v e l o p m e n tf o r t h ec o r em o d u l e ，i no r d e r t oi m p r o v ee n c o d i n gs p e e d i t m a i n l yp r o v i d e sa s o l i df o u n d a t i o nf o rf u t h e ra p p l i c a t i o n sw h i c hd e m a n dr e a l - t i m e e n c o d i n g , s u c ha sd s pt r a n s p l a n t i n gf o rs u r v e i l l a n c e ，e t c t h em a i nw o r ko ft h i sd i s s e r t a t i o ni n c l u d e s ： i t i n v e s t a g e s c h a r a c t e r i s t i c so fs o m ec o m m o n l yu s e dv i d e oc o m p e s s i o n t e c h n o l o g i e s ，s u c ha se n t r o y c o d i n g ，p r e d i c t i v ec o d i n ga n dt r a n s f o r mc o d i n g h i s t o r i c a l d e v e l o p m e n t a n dc h a r a c t e r i s t i c so ft h ep r e v a l e n ti n t e r n a t i o n a lv i d e o c o m p r e s s i o ns t a n d a r d s ，i n c l u d i n gt h em p e gs e r i e sa n dh 2 6 4s e r i e s ，a r ei n t r o d u c e d t h e n ，w ec a r r yo u tc o m p a r i s o na n a l y s i sb e t w e e na v sa n do t h e rs t a n d e r d st o h i g h l i g h ti t ss u p e r i o r i t yo v e rh 2 6 4 ，m p e g 一2a n dm p e g - 4 a f t e ri n d e e ps t u d yo f t h ea v s s y s t e ma r c h i t e c t u r e ，t h ea v s a r er e v i e w e d ，i n c l u d i n gt h ei n t e g e rt r a n s f o r m a n dq u a n t i z a t i o n , i n t r ap r e d i c t i o n ，i n t e rp r e d i c t i o n , 1 4p i x e li n t e r p o l a t i o n ，e n t r o p y c o d i n g a n dt h e l o o p - f i l t e r i n g ，w h i c hl a yt h e f o u n d a t i o nf o ra v se n c o d e r o p t i m i z a t i o n w e o p t i m i z et h ea v s v i d e oe n c o d e r f i r s t t h eo v e r a l le n c o d e rs t r u c t u r ei s a d j u s t e dt or e m o v er e d u n d a n c y , s ot h a tt h ee a c hm o d u l ei sd i s t i n c ta n dc o n v e n i e n t f o rf u t h e ri n d e p e n d e n ts t u d y t h e n ，w ec a l t yo u tv a r i o u so p t i m i z a t i o ns t r a t e g i e st o d oc o d eo p t i m i z a t i o nf o rc o m p u t i n gp o w e r , e n h a n c e m e n t m o d u l eo p t i m i z a t i o ni s m a i n l yf o ri n t e r p o l a t i o n ，l o o p f i l t e r i n g ，i n t r ap r e d i c t i o na n de n t r p yc o d i n gm o d u l e s i n t e r p o l a t i o ni so p t i m i z e dt h r o u g hi n t e r p o l a t i o nf u n c t i o nc a l l i n g , s e p a r a t ep r o c e s s i n g o ft h ei n t e r p o l a t e di m a g eb o r d e r sa n dc o d eo p t i m i z a t i o n l o o p f i l t e r i n go p t i m i z a t i o n i si m p l e m e n t e db ya c q u i r i n gb o u n d a r ys t r e n g t h e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e o p t i m i z e da v se n c o d e r r e d u c e st h ee n c o d i n gt i m eb ya b o u t2 7 一3 4 3 山东大学硕士学位论文 b a s e do ns t u d yo ft h ea v se n c o d e ra l g o r i t h m s ，t w of a s tm o t i o ne s t i m a t i o n a l g o r i t h e m sa rep r o p o s e d i nt h ef i r s ta l g o r i t h e m ，t h ee v e r ls u b s a m p l i n gm e t h o di s a d o p t e df o rc o m p u t a t i o no fs a dt or e d u c et h ec o m p u t a t i o n a lc o m p l e x i t y t h e s e c o n da l g o r i t h e mu s e sa l l - z e r ob l o c kt os k i pm u c hc o m p u t i n ga n dt oe x i ti na d v a n c e t os a v ec o d i n gt i m e t h eu l t i m a t ea i mi st oc o m b i n et h e s et w om e t h o d s e x p e r i m e n t a lr e s u l t ss h o wt h a tb e t t e rr e s u l t sa r eo b t a i n e db yc o m b i n i n go ft h e s et w o m e t h o d st h a na n ys i n g l em e t h o d t h e n ，b a s e do ns u b s t a n t i a lr e s e a r c ho nm o t i o n s e a r c ha l g o r i t h m s ，an e wm e t h o di sp u tf o r w a r di nw h i c hd o u b l es a m p l i n ga n d d i a m o n d r e c t a n g l es e a r c ha r ec o m b i n e dt o g e t h e r e x p e r i m e n t a lr e s u l t sp r o v et h a t t h e s ea l g o r i t h m sc a nr e d u c ee n c o d i n gt i m eb y5 一2 2 u n d e rg u a r a n t e e dp i c t u r e q u a l i t y a f t e rr e s e a r c ho na v sl o o pf i l t e r , af a s ta v sl o o p - f i l t e r i n ga l g o r i t h ma tp i x e l l e v e lw h i c ht a k e sa d v a n t a g eo ft h ec o r r e l a t i o nb e t w e e np i c t u r e si s p r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a t ，t h ep r o p o s e dm e t h o dc a ne f f i c i e n t l yr e d u c et h e d e b l o c k i n gt i m eu pt o4 0 - 6 0 a n dr a i s et h ec o d i n gs p e e dw h i l em a i n t a i n i n g a l m o s tt h es a m es u b j e c t i v ea n do b j e c t i v eq u a l i t y 一 4 k e yw o r d s ：a v sv i d e os t a n d a r d ，e n c o d e ro p t i m i z a t i o n ，m o t i o ne s t i m a t i o n ， 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 童主、丝 日 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名： 壅：整 导师签名： 山东大学硕士学位论文 1 1 课题研究的背景和意义 第一章绪论 随着信息技术的发展和社会的不断进步，人类对信息的要求越来越丰富， 无论是工作、生活、学习还是娱乐都离不来信息，单纯的文本、语音已经不能 满足人们的需要。人们希望无论在何时何地都能够方便快捷的获得文字、语音、 图象及视频等多媒体信息。 据相关研究表明，一般人每天通过视觉获取的信息大约占获取信息总量的 7 0 左右，而且视频信息同其它方式相比，还具有确定、直观、高效等诸多优 点。视频信息的开发、利用具有重要的理论意义和应用价值，通信业务也已经 有音频为主发展到以视频为主。 然而，未经压缩数字视频的数据量大得异常惊人，几乎到了不可以实际应 用的地步。例如，一幅分辨率d 1 ( 7 0 4 x 4 8 0 ) 的彩色图象( y u v 用8 b i t 表示，4 ：2 ： o ) ，其数据量约为0 5 m 字节，如果以每秒3 0 帧的速度播放，则需要传输的比 特率为1 2 0 m b i t s 。若用容量为6 5 0 m 字节光盘存储该视频信息，则仅仅能够播 放4 3 秒钟。显然，这么庞大的数据量对现有的存储与传输技术都是不能够接受 的，必须对视频数据进行大幅度的压缩。因此，视频压缩技术逐渐成为信息领 域的研究热点。 再综观数字电视、新一代移动通信、宽带网络通信、家庭消费电子这些蓬 勃发展的高技术产业群，其共性技术集中在以音视频为主要内容的多媒体信息 处理技术 1 】，特别是视频编码压缩技术。 编解码软件在视频产业链上占据特殊地位：它们是任何视频应用必需的。 现阶段国际两大组织( i s o 和i t u t ) 分别制订了m p e g 系列标准和h 2 6 x 系列 标准，伴随着新标准的提出，新产品、新应用也随之发展。m p e g 1 标准带来 了v c d 的兴起，m p e g 2 标准带来了d v d 和h d t v 的商机，而h 2 6 1 应用在 i s t n ，h 2 6 3 应用在p s t n 成为可视电话标准的一部分，也将视频标准推向网 络化应用的新时代，而m p e g - - 4 和h 。2 6 4 使视频压缩技术发展到了一个更高的 阶段，能够在较低带宽上带来更高质量的传输，为移动视频及视频通信领域带 来了新的解决方案 2 】。 但是，上述国际标准在应用时都要缴付巨大的专利费用。m p e g l a 规定： 使用h 2 6 4 a v c ，每个编码器、解码器或编解码器的费率为0 2 0 美元台。中国 5 山东大学硕士学位论文 通信产业选择h 2 6 4 a v c 将面临巨大负担。因此，国家信息产业部科学技术司 于2 0 0 2 年6 月批准成立a v s 工作组。它的任务包括：制订数字音视频的压缩、 解压缩标准，服务于无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业 应用。 a v s 标准是“信息技术一先进音视频编码”( i n f o r m a t i o nt e c h n o l o g y a d v a n c e dc o d i n go f a u d i oa n dv i d e o ) 系列标准的简称，包括系统、视频、音频等 三个主要标准和一致性测试等支撑标准 3 】，这是基于我国创新技术和公开技术 制定的开放标准，旨在为中国r 渐强大的音视频产业提供完整的信源编码技术 方案。a v s 对我国数字化音视频产业的发展具有基础意义，。大力发展音视频编 解码技术并将其标准化，不仅标志着我国在多媒体处理等领域的研究处于国际 领先地位，还将创造可观的经济效益和社会效益。 但是，a v s 产业还处于起步阶段，不确定因素比较多，相应的芯片产业还 不够成熟，不利于向新一代数字音视频产业的应用。 本课题正是在这种背景下提出的，通过本课题的研究，可以更全面地了解 a v s 编码的关键技术和算法，能够从结构调整、模块和代码优化及新算法研究 等方面对a v s 编码器进行优化，提高a v s 编码器的编码速度，使其更适于实 际应用。另外优化过程中考虑到了d s p 等硬件平台的特点，这主要是为以后向 硬件平台的移植打下基础。 1 2 本文主要研究工作 本课题针对a v s 目前的情况及特点，着力于a v s 的实际应用，对a v s 编 码器进行系统地优化，提高编码速度，进而可把优化后的编码器移植到d s p 等 硬件平台上，以用于视频监控领域。本课题首先对a v s 的编码结构流程进行了 调整，使得各个模块的功能更清晰。然后进行了代码优化和模块优化。代码优 化主要是为了提高运算能力减少不必要的计算耗时。模块优化主要是为了减少 循环次数，去除冗余等。最后重点对整像素运动估计模块和环路滤波模块进行 了研究，并分别提出了新的算法，能更快的提高编码的速度。 本课题在理论和实现上主要工作有： 1 、了解常用的视频压缩技术和国内外的压缩标准，对各编码方法和主要的 技术模块深入理解，为a v s 编码器优化打下坚实的基础。 6 山东大学硕士学位论文 2 、熟练掌握工作组提供的参考模型r m 5 2 j ，在此基础上，对整个编码器进 行结构调整，使各个关键技术模块化，清晰化。同时，对参考模型进行底层的 代码优化和关键模块的优化，代码优化主要是去除结构冗余、提高运算能力和 合理分配计算量，模块优化主要包括插值、帧内模式选择、熵编码和环路滤波 这几个主要模块的优化实现。 3 、对编码非常耗时的整像素运动估计算法进行研究，提出了几种优化方法 和一种新的搜索算法。 4 、对环路滤波算法进行研究，提出了一种快速的像素级a v s 环路滤波算 法。 1 3 论文安排 本文内容共分为七章，安排如下： 第一章：绪论。阐明了本课题提出的背景、意义及本文的研究工作和论文 安排。 第二章：视频压缩技术与标准。介绍了常用的视频压缩技术熵编码、预测 编码和变换编码的特点以及国际主要视频压缩标准m p e g 系列和h 2 6 x 系列的 发展历史及特点，并将a v s 标准与h 2 6 4 、m p e g 2 、m p e g 4 标准的性能进行 了分析与对比。 第三章：a v s 视频标准关键技术。首先介绍了a v s 视频标准的系统结构， 然后详细介绍了其中的关键技术，包括整数变换与量化、帧内预测、帧问预测、 1 4 像素插值、熵编码及环路滤波。 第四章：a v s 视频编码器优化。在参考模型r m 5 2 j 的基础上，对整个编码 器进行结构调整，把各个关键技术模块化，清晰化。同时，对参考模型进行底 层的代码优化和关键模块优化。优化实现的关键模块主要有插值、帧内模式选 择、熵编码和环路滤波。这里主要介绍本人完成的两个模块：插值和环路滤波。 第五章：快速运动估计算法研究。主要针对a v s 中的运动估计算法，提出 了两种优化算法，一种利用偶数二次抽样计算s a d 来减少运算量，另一种是根 据全零块提前判定跳过大量的计算和提前退出搜索来节省编码时间。把这两种 方法结合起来效果更好。然后提出一种新的搜索算法，即把二次抽样、菱形搜 索和矩形搜索结合起来。实验结果证明，这些算法都在保证图像质量的前提下， 7 山东大学硕士学位论文 显著减少了编码时间。 第六章：环路滤波技术研究。通过对a v s 环路滤波算法的研究，根据图像 之间的相关性，提出了一种快速的像素级a v s 环路滤波算法。实验证明在保证 图像主客观质量基本不变的l i f 提下，该算法可减少环路滤波的时间达 4 0 6 0 ，提高了编码的速度。 第七章：总结与展望。对己完成的工作进行了总结，并且展望后续的研究 工作。 8 山东大学硕士学位论文 第二章视频压缩技术与标准 2 1 常用的视频压缩技术 视频压缩技术一直是多媒体领域的研究热点。视频压缩技术繁多，但主要 有消除信息冗余的熵编码、消除时间相关的帧间预测编码以及消除空间相关的 帧内预测编码和变换编码。 2 1 1 熵编码 熵编码是建立在随机过程的统计特性基础上。在多媒体视频压缩中常用的 熵编码方法为：赫夫曼编码、指数哥伦布编码、算术编码、游程编码。 1 、赫夫曼编码 1 9 5 2 年赫夫曼提出一种新的编码方法一赫夫曼编码【4 ，5 】，它的理论依据是 变长编码理论。基本思想是在变长编码中以输入信息符号出现的统计概率为依 据，对出现概率大的信息符号赋以短字长的码字，对于出现概率小的信息符号 赋以长字长的码字。如果码字长度严格按照符号出现概率大小排列，则平均码 字长度一定小于按任何其它符号顺序排列得到的平均码字长度。 在所有的对输出码字分配不同码字长度的变字长编码方法中，该编码方法 输出码字的平均码长最短，与信源熵值最接近。但此方法的缺点在于：一是编 码前必须确定要编码符号的个数；二是在编码前必复对每一个符号进行概率统 计；三是每一个符号的概率是1 2 的整数幂，平均码字才能达到信息熵；四是 解码时需要查表，不能进行闭合公式解析。这些缺点使得传统的赫夫曼编码在 视频压缩应用中受到了限制。 2 、指数哥伦布编码 s w g o l o m b 是最早开始对非负整数的无限字母表进行编码研究工作的 6 】。它的基本模型对于非负整数出现的概率是随整数的增大而减少的。由于它 所表示的符号数量与哥伦布码的长度成指数关系，因此称为指数哥伦布码。 由于指数哥伦布码是标志前缀码，因此其编码效率要劣于赫夫曼编码。但 是，它却克服了赫夫曼码的三个缺点，即指数哥伦布码可以对无限个符号进行 9 山东大学硕士学位论文 编码；不用精确统计每个符号的概率，只需要符号的概率有递减趋势；最为重 要的是指数哥伦布编码可以利用闭合公式进行解析，不用传输码表，并且指数 哥伦布编码可以有0 阶，1 阶，2 阶等等，只要阶数选取的得当，也可以逼近信 息熵。在a v s 、h 2 6 4 中指数哥伦布编码得到了广泛的应用。 3 、算术编码 算术编码是一种按照符号序列的出现概率对概率数直线进行区间分割，并 把表示己分割区间的二进n d , 数作为相应符号码字的编码方式 5 ，7 】，其比特数 接近符号串所需的最优比特的和 8 】。 这种编码方法的最大优点是比较容易实现动态自适应，且编码效率很高。 它的最大缺点是计算复杂度很高，从而阻碍它被广泛使用的。在h 2 6 4 中，基 于上下文的自适应二进制算术编码技术得到了应用。 4 游程编码 游程编码的基本思路是用一个符号代表值和用另一个符号来代替一个相同 值的连续串。其中代表值和代表串的符号组合构成信息符号，进行编码时按其 出现的概率分配不同码长的码字 5 】。大概率符号赋以短码字，小概率符号赋以 长码字。 这种编码方法对于同一行或相邻行的像素之间具有强相关性的图像有很好 的压缩效果，对于纯粹随机的“沙土型”图像效果很差。这种方法由于其效率高， 使用简单，在视频压缩标准中得到了广泛的应用。 2 1 2 预测编码 预测编码是按某一模型利用己经解码的样本值预测随后要编码的样本，然 后将实际样本值与其预测值相减得到一个误差值，并对该误差值进行编码。由 于误差值要远远小于实际值，所以达到了压缩数据的目的。预测编码主要是要 削减空间冗余度和时间冗余度。 l 、帧内预测 一般来说，在一幅图像中空间相邻的像素点，其狄度值、颜色值都很接近， 具有很强的相关性。因此，可以用已知的前面的像素值对当前像素值进行预测， 然后对实际值与预测值之间的残差进行编码。由于这些差值往往分布在零附近， 与实际值相比，差值的绝对值小了很多，所以可以用较短的码长来编码，从而 1 0 山东大学硕士学位论文 达到压缩数据的目的。 帧内预测编码在视频压缩标准中是根据左块或上块边界的像素值按照一定 的模型进行预测的，即帧内预测模式。帧内预测模式的选择取决于图象的纹理 分布，编码端通过遍历所有模式后，根据s a d ( s u mo f a b s o l u t ed i f f e r e n c e ) 的大 小进行选择。帧内预测编码实现技术简单有效，可以消除空间冗余。 2 、帧间预测 与帧内预测编码消除空间不同，帧问预测编码主要消除时间冗余。帧间预 测编码的基本思想是把前面一帧或前几帧的图像存储起来作为参考帧，用来预 测当前帧的像素值，消除图像时间冗余，提高压缩比，降低传输比特率。视频 信号相邻帧之间的时间间隔很小f 例如，每秒2 5 帧的电视信号，其帧间间隔时 间为0 0 4 秒) ，通常相邻帧之间细节的变化很少，存在极强的相关性。利用这种 相关性来进行帧间预测编码，可以消除视频信号的时间冗余，获得比帧内预测 编码更高效率的压缩。 帧间预测中，为了提高压缩效率，需要在参考帧中寻找一宏块与当前帧宏 块的参差最小，即寻找匹配块。寻找匹配块的方法即运动搜索技术。当前常用 的有全搜索算法、三步搜索法、交叉搜索法、二维对数搜索法、四步搜索法、 预测搜索法、非线性预测搜索算法等等 9 ，1 0 】。 预测编码方式的思路比较简单，但它有一个致命的弱点，就是误码扩散问 题。当传输途中或解码过程中发生误码时，其影响并不是只停留在最初发生误 码的地方，。而是会在以后解码过程中参考本误码处的各像素都会出现误码，并 且不断往下扩散。为了防止帧间编码中误码在时间方向上的不断积累，可采用 周期性地插入帧内编码之类的刷新操作等方法。 2 i 3 变换编码 变换编码的基本思想是将时空域的原始图像值( 像素的灰度值或色度值) 变 换到频域，然后对频域信号进行量化和编码。通过正交变换，可以最大限度地 去除原始图像的空间冗余，使图像能量集中在低频系数部分，这部分系数就可 以表示原来需要大量单个像素值才能表示的图像。然后通过对这些系数进行量 化，从而达到压缩的目的。量化时可根据需要对不同频域范围的系数进行粗量 化或细量化，也可以通过选择量化的粗细程度来获得不同的压缩比。 山东大学硕士学位论文 常见的正交变换编码方法有：k - l 变换、d c t 变换、w a l s h h a d a m a r d 变换 等。 l 、k l 变换 在理论上，基于特征向量变换的k - l 变换是最优的正交变换 1 l 】，它能完 全消除像素间的线性相关性。但由于k l 变换核是由图像阵列的特征值和特征 向量决定的，使得k l 变换的变换核不确定，这种不确定性使得k l 变换使用 起来非常不方便，所以k l 变换一般只是作为理论上的比较标准。 2 、离散余弦变换 离散余弦变换是离散傅立叶变换的一种特殊形式，离散傅立叶变换产生的 变换系数是复数，而离散余弦变换产生的变换系数是实数【1 l 】。已证明，对于 具有一阶马尔科夫过程特点的随机信号，d c t 变换的性能与k l 变换没有实 质的区别，是次最优正交变换。对于相关性很强的图像像素，d c t 变换具有较 高的压缩效率。由于二维d c t 变换可以分解成两次一维d c t 变换，而一维d c t 变换的快速算法，使得d c t 变换在图像压缩中得到了广泛应用。 3 、w a l s h h a d a m a r d 变换 离散傅立叶变换和离散余弦变换都是以余弦三角函数为基本正交函数，而 w a l s h h a d a m a r d 变换的的基函数是方波函数【1 l 】。w a l s h 函数系是由w a l s h 在 1 9 2 3 年提出的，它是一组完备正交函数系，函数值只取两种值，在规一化条件 下为+ 1 ，一1 。w a l s h h a d a m a r d 变换是具有h a d a m a r d 编号的w a l s h 变换。由 于其函数值简单，都为整数，计算效率高，更利于硬件实现，使用越来越广泛。 但是w a l s h - h a d a m a r d 变换有一个非常明显的缺点，即能量集中能力差，去相关 能力差。 2 2 常用的视频压缩标准 视频压缩标准是随着视频数字化的提出而提出的，并且在近年来随着视讯 业务的发展而迅猛发展。国际上音视频编解码标准主要是两大系列：i s o i e c 制定的m p e g 系列标准，i t u 针对多媒体通信制定的h 2 6 x 系列视频编码标准。 而在我国，2 0 0 2 年6 月成立了“数字音视频编解码技术标准工作组”，提出了我 国自主的数字音视频编解码技术标准a v s 。下面对视频压缩标准做一下简单的 介绍，有关上述几个主要标准的发展进程见图2 1 。 1 2 山东大学硕士学位论文 1 对g e n e r a t i o n 2 n dg e n e r a t i o n 仟u t 慵， b 拶 h 2 e 3h 2 6 3 + 托z ? s t a n d a r d s l 嗽j o 燃i n t g h 2 一嘲z l j 簪 缀f m 勰锚a 翻i c 渺 矽貉l 渺 钨一? 协，豫。”、f j 蝣t 纛瓿：。? 。x 。 l 漱 7 ” ? 。 。，岁 i m p e g 。t 1。蚧 1 9 8 4 1 9 8 6 1 9 8 81 9 9 01 9 9 21 9 9 419 9 61 9 9 82 0 0 02 0 0 2 2 0 0 4 e 鼍 奠m p e g - 铺? 。，。二 2 2 1m p e g 系列 图2 1国际主要视频压缩标准发展历程 m p e g 是m o v i n g p i c t u r e se x p e r t sg r o u p ( 动态图像专家组) 的缩写。 1 9 9 2 年1 1 月，该组织提出m p e g 1 1 2 ，以v c d 和m p 3 为代表产品，在 c d r o m 上的音视频存储可达到1 5 2 m b i t s 。1 9 9 4 年又推出m p e g 2 1 3 ，它 的系统部分是多媒体计算机、多媒体通信、h d t v 、交互电视中的关键技术， 是目前包括数字电视在内的数字音视频产业广泛采用的信源编码标准。1 9 9 9 钜 又推出了m p e g 4 1 4 ，它是一种甚低码率的压缩编码标准。m p e g - 4 不只是具 体的压缩算法，它是针对数字电视、交互式绘图应用、交互式多媒体等整合及 压缩技术的需求而制定的国际标准。m p e g 4 标准将众多的多媒体应用集成于 一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从 而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数掘格 式。比m p e g 2 在保证画面质量的情况下有着惊人的数据压缩比，多用于手机 等消费电子产品，也开始应用在监控设备上。在m p e g - 4 中首次提出一种基于 内容的视频编码形式 1 5 ，有别于m p e g 1 中基于矩形块的帧结构，在需要超 低比特率的时候使用基于块的结构，在有比较高要求的场合使用基于内容的结 构。m p e g 系列的平均压缩率为1 ：5 0 ，最高可达1 ：2 0 0 1 6 。 山东大学硕士学位论文 2 2 2h 2 6 x 系列 h 2 6 x 系列是由国际电信联盟( i t u t ) 提出的，i t u t 是国际电信联盟标准 化部门。 i t u 于1 9 9 0 年1 2 月提出h 2 6 1 1 7 ，是为在综合业务数字网( i s d n ) 上开展 双向声像业务( 可视电话、视频会议) 而制定的，速率为6 4 k b i t s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理。1 9 9 6 年提出h 2 6 3 ，h 2 6 3 是i t u t 为低码流视频编码而设计的一个标准草案，用于低于6 4 k b i t s 的低码率视频传 输 1 8 ，1 9 ，但实际上这个标准可用在很宽的码流范围，它在许多应用中可以取 代h 2 6 1 ，随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 + + 2 0 增加了许多选项，使其具 有更广泛的适用性。h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 铝i j 定 的新一代视频压缩编码标准 2 l 】，已经被纳入m p e g 4 的第十部分，它具有相当 高的数据压缩比，在同等的图像质量条件下，h 2 6 4 的数据压缩比要比m p e g 2 高2 3 倍，比m p e g 4 高1 5 2 倍 2 2 】。正因为如此，经过h 2 6 4 压缩的视频数 据，在网络传输过程中所需要的带宽更少。在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g 4 减小5 0 的码率 2 3 】，但是h 2 6 4 有着较高的计算复杂度。 2 2 3a v s a v s 是“信息技术一先进音视频编码”系列标准的简称，是我国自主制定的 第二代音视频编码技术标准。它是基于我国创新技术和公开技术制定的开放标 准，旨在为中国日渐强大的音视频产业提供完整的信源编码技术方案。 a v s 视频标准的特点是高效，复杂度低，和m p e g 2 兼容，许可费比较低。 它是第二代信源编码技术，它的效率和h 2 6 4 a v c 效率相当，比第一代的 m p e g 2 效率高两倍。a v s 比h 2 6 4 复杂度低，在解码端复杂度只相当于它的 7 0 ，编码端复杂度只相当于它的3 0 2 4 。由于这两个复杂度，使得系统在实 现的时候，无论软件实现还是芯片设计都比h 2 6 4 简单。a v s 与h 2 6 4 a v c 复 杂性分析见表2 1 1 2 5 】。a v s 与h 2 6 4 、m p e g 2 、m p e g 4 的性能比较见图2 2 、 2 3 、2 4 。 对视频编码标准进行客观评价的常用方法是峰值信噪比p s n r 2 6 】。图2 2 、 2 3 、2 4 给出了a v s 与h 2 6 4 、m p e g 一2 、m p e g - 4 标准在相同码率条件下的 1 4 当蛮奋主罂主兰簦兰耋 p s n r 曲线。 表2 - ia v s 与h2 6 4 a v c 使用的技术对比和复杂性分析 视频编码标 a v s 视频标准h 2 6 4 a v c 视频标准 复杂性分析 准吾模块 帧内预涮 麓冀馨淫鬻裂篙麓嚣笛嚣嚣嚣 降低约5 0 参考帧预测最多2 帧最多1 6 桢存储节省5 0 以上 变块大小运 1 6 0 1 6 、1 6 x 8 、1 6 x 1 6 、1 6 x 8 8 x l6 降低3 0 4 0 动补偿8 x 1 6 、8 x 8 b 帧宏块取 篇器鎏蒜虢 编码前后两个运动矢量最大降低5 0 向预涮模式 1 4 像素运 1 2 像素位置采用4 拍滤波， 降低1 3 存储器的 1 4 像素位置采用4 拍滤波、 1 像素位置采用线性插值访目量动补偿 线性插值 上下文自适应2 d - v l c 编c a v l c ：与周围块相关性 相比c a b a c # 晰 熵编码码块系数过程中进行多码高，实现较复杂 3 0 以上 表切换c a b a c ：计算较复杂 环路滤波的滤波强度分类，计算复杂 基于4 4 块边缘进行，滤波 降低5 0 度低 强度分类繁多，计算复杂 8 x 8 整数变换，编码端进行 4 “整驾鸶紫码端都 变换与量化解码器复杂度降低 归一化 数据分割、复杂的 f m o a s o 等宏块、条带组 嚣潜编码 满足广播应片j 中的错误隐 织机制、强制i n t r a 块刷新复杂度人人降低 藏、恢复需求 编码，约束性帧内预测等， 实现特别复杂 3 8 苗3 5 = 3 2 焉2 9 l 2 6 2 3 4 0 0 09 0 0 0 b a s k e t b a l l v l r1 4 0 0 01 9 0 0 0 2 4 0 0 02 9 0 0 0 3 4 0 0 0 0 l t r a t e ( k b i t s s ) 图2 - 2 b a s k c t b a l l ( 7 2 0 x 5 7 6 ) 序列试验结累 当耋奎兰! l 圭兰篁竺兰 f l o w e r g u a r d e n 3 8 3 0 3 2 2 9 2 0 f2 6 4m a ln a v s m p e g2 1 9 0 04 9 0 07 9 0 0 1 0 9 0 01 3 9 0 0 ! 竖堂s s ) 图2 - 3 f l o w e r g u a r d e