（通信与信息系统专业论文）h264视频编码中的错误掩盖技术研究.pdf

山东大学硕士学位论文 摘要 随着多媒体、网络技术及移动通信技术的迅速发展，视频通信的应用成了必 然的趋势。但无论在i p 网络还是在无线移动网络信道中，误码的产生、数据的 丢失总是难以避免。而且压缩后的视频数据对码元错误非常敏感，少量码元的错 误就可能导致大批码元无法正确解码。由于传输效率和实时性等要求，在许多应 用场合，过强的纠错编码和重传机制等差错控制方法并不适于视频传输，因而必 须寻找更适于视频传输的差错控制方法。因此，视频传输中的差错控制技术和错 误掩盖技术显得越来越重要。由于视频数据在时间和空间上具有相关性，传输错 误的视频数据有可能利用其时间和空问上邻近的数据来恢复，这也就是所谓错误 掩盖技术。在实时通信中，基于解码器端的错误掩盖方法因其无网络开销和不增 加码字冗余的性质，比其他的差错控制方法更适合于实时视频通信中的应用。 本文首先介绍了数字视频压缩编码的基本原理和流行的视频编码标准。然后 以i n 卜t 的视频标准h 2 6 4 a v c 为例，介绍了视频编码标准中的错误恢复以及错 误掩盖等错误控制技术。接着详细讨论了h 2 6 4 视频编码标准中的各种时域、频 域和空域错误掩盖算法，分析并指出了各类错误掩盖算法的优缺点和适用环境。 然后针对现有空域错误掩盖算法的不足，提出了一种自适应的空域错误掩盖算 法。在该算法中，作者首先改进了现有的方向插值算法，提出了一种使用。双圈 法”精确定位插值方向的多方向插值算法；然后引入方向熵，提出了一种基于方 向熵的自适应选择算法，可以根据丢失宏块周围的边缘信息自适应地选择加权像 素值平均插值算法或者本文提出的方向插值算法进行空域掩盖。 本文还以i i 2 6 4 的测试模型软件j | 1 8 6 为实验平台，对本文提出的自适应空 域错误掩盖算法进行了实现、测试和分析，并将改进的算法与单一错误掩盖算法 进行了比较。实验结果表明，本文提出的算法不仅提高了方向插值的精确性，也 避免了虚假边缘的产生，使掩盖图像的主客观质量有较大的提高。 关键词。视频编码；错误掩盖；方向插值；h 2 6 4 ；方向熵 v 山东大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to f m u l t i m e d i aa n dc o m p u t e rn e t w o r k , a n de s p e c i a l l y t h ed e v e l o p m e n to fm o b i l ec o m m u n i c a t i o n s ，v i d e oe o m m t m i e a t i o na p p l i c a t i o n sh a v e b e c o m e 趾i n e v i t a b l et r e n d h o w o v e l ) i r a n s m i s s i o ne 1 t o i sa n dd a t al o s si sa l w a y s d i 伍e u l tt oa v o i di ni pn e t w o r ko l rw i r e l e 船n e t w o r kc h a n n e l s c o m p r e s s e dv i d e od a t ai sv e r ys e u s i t i v et ot r a n s m i s s i o na t - r o l - s ，s m a l la m o u n to f c o r r u p td a t ac o u l dl e a dt oaf a i l u r eo ft h ed e c o d i n go f t i l ew h o l e p i c t u r e s ow e m u s t f i n dam o i ce f f e c t i v e l yw a yt oc o m b a tt r a n s m i s s i o ne l t o i s ，b e c a u s ei nm a n y n p p f i e a t i o m h e a v ye r r o r - c o r r e c t i n gc o d e sa n dr e t r a m m i s s i o nm a yn o ts u i t a b l ea st h o c o n s t r a i n to f t r a n s m i s s i o ne f f i c i e n c ya n dr e a l - t i m en e e d s t h e r e f o r e ，a r l l o l fc o n t r o la n d c o n c e a l m e n tt e e l m i q u e so f v i d e ol z a n s m i s s i o na b e c o m i n gi n c r e a s i n g l yi m p o r t a n t e r r o rc o n c e a l m e n ti sat e e l m i q u et h a tt r i e st oc o n c e a le l t o l m a e r o b l o e k sb y e x p l o r i n gs p a c ea n dt i m er e d u n d a n c yo ft l a cv i d e od a t a ；i ti sm o l r l ，s u i t a b l ef o r r e a l - t i m ea p p l i c a t i o n s i nt h i st h e s i s , w cf i r s ti n t r o d u c eb a s i cp l f j n e i p l e so fd i g i t a lv i d e oc o m p r e s s i o n e o d i n g a n d p o p u l a r v i d e oc o d i n gs t a n d a r d , f o l l o w e d b y t h e d e s c r i p t i o n o f e r r o r e o n l x o l t e e l m i q u e ss t e l 鹊e l t o l c o n c e a l m e n ta n de l t o rr e s i l i e n c ee o d i a g t h e nw ea n a l y z e s o i l l ce r r o l c o n c e a l m e n ta l g o r i t h m so fh 2 6 4v i d e oc o d i n gs t a n d a r d si nd e t a i l sa n d p o i n t so u t p r o b l e m so f e a e ha l g o r i t h m a t t e rt h a t , w ep r o p o s e da na d a p t i v es p a t i a li n t e r p o l a t i o na l g o r i t h mt os o l v et h e s e p r o b l e m s t h ea l g o r i t h mc o u l da d a p t i v e l ys w i t c hb c t w e c l lw p v aa n d 龇i m p r o v e d d i r e e t i o m li l l t e r l ，o l a ( i o na l g o r i t h mt h a ta l s op r o p o s e db yt h ea u t h o rh e r ea c c o r d i n gt o e d g ei n f o r m a t i o na r o u n dt t a c l o s ta r e ai na 丘砌e t h ei m p r o v e dd i r e c t i o n a l i n t e r p o l a t i o na l g o r i t h ma b o v e u s ea t w ol o o pm e t h o d ”t og i v em o l ep r e c i s ee s t i m a t e o f e d g e s i nt h el o s ta 嘲c o m p a r et oo t h e rd i r e c t i o n a li n t e r p o l a t i o na l g o r i t h m i nt l a ee x p e r i m e n t , w ei m p l e m e n t e dt h ea l g o r i t h mi nj m 8 6 ( t h et e s tm o d e lo f h 2 6 4v i d e oc o d i n gs t a n d a r d ) e x p e r i m e n t a lr e s u l t ss h o w e dt h a to u ra l g o r i t h mc a l ln o t o n l ya c h i e v eg o o dd i r e c t i o n a li n t e r p o l a t i o nc o n c e a l m e n tr e s u l t si nb o t hv i s u a le f f e c t a n dp s n rv a l u eb u ta l s oc 蛆a v o i df a k ee d g e s 山东大学硕士学位论文 k e yw o r d s ：v i d e oc o d n g ；e r r o rc o n c e a l m e n t ；h 2 6 4 ；d i r e c t i o n a li n t e r p o l a t i o n ； d i r e c t i o n a le n t r o p y x 山东大学硕士学位论文 缩略语 a l t e r n a t i n gc u r r e n t a u t o m a t i cr e w a n s m i s s i o nr e q u e s t c o n t e x t - a d a p t i v e b i n a r ya r i t h m e t i cc o d i n g c a b l e t v c h a r g ec o u p l e dd e v i c e i n t e r n a t i o n a l t e l e p h o n e a n d t e l e g r a p h c o n s u l t a t i v ec o m m i t t e o d i r e c tc u r r e n t d i s c r e t ec o s i n et r a n s f o r m d i r e c t i o n a li n t e r p o l a t i o n d i g i t a ls i g n a lp r o c e s s i n g p r o c e s s o r e r r o rc o n c e a l m e n t f o r w a r de r r o r - c o r r e c t i o nc o d i n g f l e x i b l em a c r o b l o c ko r d e r i n g c r o u po f p i c t u r e s h i g hd e f i n i t i o nt v i n t e r n a t i o n a le l e c l z o t e c l m i c a lc o m m i s s i o n i n t e m e tp r o t o c o l i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k j 0 i n ts o u r c ea n dc h a n n e lc o d i n g j o i n tv i d e ot e 锄 i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n l a y e r e dc o d i n g m u l t i p l ed e s c r i p t i o nc o d i n g 交流( 电) 自动重输请求 内容自适应的二进制算 术编码 有线电视 电荷耦合装置 国际电话与电报顾问委 员会 直流( 电) 离散余弦变换 方向插值 数字信号处理( 器) 错误掩盖 前向纠错编码 灵活的宏块次序 图像组 高清晰度电视 国际电工技术委员会 网际协议 综合服务数字网 信源信道联合编码 联合视频组 国际标准化组织 国际电信同盟 分层编码 多重描述编码 虬域 一 一咖 一 鲫m哪比眦胁鲫一观m一麟m啪哪一 山东大学硕士学位论文 m p e g m o v i n gp i c t u r ec o d i n ge x p e r t sg r o u p 运动图像专家组 m t u m a x i m u mt r a n s f e ru n i t最大传输单元 m vm o t i o nv e c t o r 运动矢量 n a ln e t w o r ka b s t r a c t i o nl a y e r 网络抽象层 p o c s p r o j e c t i o no n t oc o n v e xs e t 凸集投影 p p sp i c t u r ep a r a m e t o rs e t 图像参数集 p s n r p e a ks i g n a l - t o - n o i s er a t i o峰值信噪比 q o s q u a u t yo f s e r v i c e 服务质量 r e c r o b u s te n t r o p yc o d i n g鲁棒的熵编码 r s r e d u n d a n c ys l i c e s 冗余片 r t p r e a lt i m et r a n s p o r tp r o t o c o l实时传输协议 r w cr o b u s tw a v c f o r mc o d i n g鲁棒的波形编码 s d t vs t a n d a r dd e f i n i t i o nt v 标准清晰度电视 s p s s e q u e n c ep a r a m e t e rs e t ( 图像) 序列参数集 u d pu s e rd a t a g r a mp r o t o c 0 1 用户数据报协议 u v l cu n i v e r s a lv a r i a b l el e n g t hc o d i n g通用变长编码 v c e g v i d e oc o d i n ge x p e r t sg r o u p视频编码专家组 v c lv i d e oc o d i n gl a y e r 视频编码层 v l cv a r i a b l el e n g t hc o d i n g 变长编码 w p v a w e i g h t e dp i x e lv a l u ea v e r a g i n g 加权像素值平均 w w w w o r l dw i d ew e b万维网 原刨性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：感颦 日 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：超导师签名：考避日期：延丑量互竺 山东大学硕士学位论文 第一章绪论 本章首先简要回顾多媒体视频通信技术和视频压缩编码技术的现状，阐述视 频多媒体通信的发展趋势和面临的挑战，指出对错误掩盖技术进行研究的意义 接着提出本文的研究目标与主要工作最后，对本文的主要内容、章节安排和研 究成果作概述和总结 ll 引言 当今社会已经进入信息时代，信息的无限膨胀和全面蔓延导致传统的语音通 信已经远远满足不了人们对信息的需求。实验表明，人类接受的信息约有7 0 来自视觉，图像和视频所携带的信息量远远大于语音和数据，它具有直观、具体、 生动、高效等特点，这就决定了视频通信技术将成为未来人类最重要的通信手段 之一 由于视频( 图像序列1 ) 的数据量巨大，存储和传输所需的带宽资源较宽， 使得视频通信的发展面临严唆的挑战。比如，一路p a l 制式的标准分辨率电视信 号( s i y i v ) ，其图像分辨率为7 2 0 x 5 7 6 ，2 4 比特的色深，每一帧图像的数据量约 为1 2 m b ，帧率为2 5 f p s 的每秒活动图像序列将占据3 0 m b 的存储空间，6 5 0 m b 的 c i ) - r o m 只能存储大约2 2 秒的数据。此外，在未经压缩的情况下，实现视频和语 音的实时处理，需要的计算量也是巨大的。正是因为需要对海量的数据进行实时 传输、处理，多媒体视频通信系统的发展面临着巨大的挑战。因此，不对视频进 行数据压缩，视频通信技术就不可能实用化。 近十年来，随着科学技术的迅速发展，特别是以计算机技术为代表的现在信 息技术和通信技术的进步，视频通信技术发展较快，一些新业务如视频电话、视 频点播、远程医疗等逐渐成熟并实用化。“需求是生产和研究的动力”，视频通信 的巨大市场需求促使了视频压缩编码技术的发展 1 视频的每帧就是一副图像。如无特殊说明下文中的图像序列郾指税频，图像就是莱一帧，在不会引起误 解的场合，视频，图像序列、图像可能混用 1 山东大学硕士学位论文 1 2 研究背景与选题意义 1 2 1 视频压缩编码技术 视频压缩编码技术是视频通信中的关键技术。人们研究发现，视频、图像数 据表示中存在着大量的信息冗余，通过去除冗余，可以使视频、图像的数据量极 大减少，从而解决存储和处理难的问题。视频压缩编码技术就是研究如何利用视 频数据的冗余性来减少图像数据量的方法。 传统压缩编码技术是建立在仙农信息论基础之上的，以经典集合论为工具， 用概率统计模型来描述信源，其压缩思想基于数据统计，能够去除数据冗余。1 9 8 8 年i t u - t 颁布了h 2 6 1 建议草梨”，该建议以。基于块的混合编码”为核心，以 后制定出一系列的视频编码标准，如1 1 1 j t 的h 2 6 3 、h 2 6 4 t 2 4 】，i s o 的m p e c - - 1 、 m p e c ：- 2 6 - 9 1 等都是由这个核心发展而来的。 h 2 6 4 a v c 是i s o 的肝e g 专家组与i t u t 的v c e 6 视频编码专家组联合推出 的新一代视频压缩编码标准，它的编码效率相对以往的视频编码标准是最高的。 1 2 2 视频通信系统 典型的视频通信系统模型如图必示1 1 0 。它主要包括视频信源、视频编码、 信道编码、传输信道、信道解码、视频解码和视频信宿几个部分。 图1 1 典型的视频通信系统框图 视频从信源采集以后，经过视频编码去除或减少图像信息中的冗余信息以实 现经济地传输和存储。此时的图像信号抗干扰性较差，为了增强其抗干扰能力， 通常需要适当增加必要的保护码纠错码，图像信号在送入信道前还要经过调制把 2 山东大学硕士学位论文 信号变换成适于在信道中传输的形式，然后送入信道传输。接收端收到编码后的 视频信号后，首先经过信道解码还原成压缩视频信号，然后通过视频解码还原成 原始视频信号，完成整个视频传输的过程。 1 2 3 视频通信面临的挑战 视频通信系统中的传输信道可以是多种多样的，不同的信道类型会有不同的 传输质量和q o s 策略，比如光纤信道传输错误率较低，但无线信道传输错误率就 可能很高，因此视频编码标准需要考虑多种传输环境，使之具有良好的适应性。 虽然视频通信技术已得到巨大的发展，但目前还面临带宽不足、传输错误影 响、图像失真等问题。为进一步拓展视频通信的应用领域和提高接收端的视频质 量，视频编码技术当今是、将来还将是最热门的研究内容之一 1 2 4 选题意义 如前文所述，目前的视频压缩编码标准对信息的处理都采用了帧间预测和变 长编码的方式，压缩后的视频对传输错误十分敏感，码流的任何一位的错误都可 能导致大批码元无法正确解码，同时错误的图像还会扩散影响后续数帧。另外， 视频数据流在信道上传输会不可避免的产生错误，尤其是无线信道因此，视频 错误掩盖机制的研究已经成为目前多媒体通信领域的研究热点。 根据错误掩盖机制在视频通信系统中所处的位置，错误掩盖可以分为编码端 的错误掩盖、解码端的错误掩盖和编解码端交互的错误掩盖三类。根据掩盖时利 用的冗余信息是空域还是时域，错误掩盖技术又可以分为空域错误掩盖、对域错 误掩盖和频域错误掩盖 解码端的错误掩盖只针对解码过程，不需要对编码器端进行修改，因此不会 改变视频码流结构，具有较好的适应性。同一视频在不同的信道上传输，不需要 针对不同的信道调整编码器以适应信道。另外，解码端的错误掩盖技术不需要反 向信道，也不会增加传输开销。 在现有的错误掩盖算法中。g h a n - b a r i i “】和a i g n ”1 等分别提出了以错误块相 邻角上的4 个像素和相邻边缘像素进行内插的错误掩盖方法，但这些算法因参考 像素太少而导致重建的错误块丢失全部或大部分的边界信息。k w o k 1 3 】和张荣福等 3 山东大学硕士学位论文 【1 4 埂出的方向插值算法丢失宏块周围各宏块内的像素作为参考，并根据这些像素 点的边界信息选择内插方向，再进行方向内插的错误掩盖方法。后两种方法和前 两种方法相比，由于内插时参考了周围宏块的边缘方向信息，所以重建的图像质 量有明显的提高，但可能会导致：内插方向的误选择；丢失区域周围宏块内 边缘杂乱时进行方向插值会导致虚假边缘。 本文针对上述问题，选择视频错误掩盖算法作为研究课题，有利于促进视频 通信，特别是无线视频通信如移动电视、多媒体广播和图像传输等业务的开 展与普及，在多媒体通信领域具有重要的理论意义和实际应用价值。 1 3 研究目标与主要工作 本文的研究目标是针对h 2 6 4 中现有错误掩盖算法的不足，提出一种新的错 误掩盖算法，并进行仿真测试。 论文首先介绍了数字视频压缩编码的基本甄理和典型的视频编码标准，研究 了i t u t 的视频标准h 2 6 4 a v c 中的错误恢复技术；接着详细讨论了h 2 6 4 视频 编码标准中的各种时域、频域和空域错误掩盖算法，分析了各类算法的优缺点和 适用环境；然后针对h 2 6 4 中现有空域错误掩盖算法的不足，提出了一种自适应 的空域错误掩盖算法。在该算法中，首先对现有的方向插值算法进行了改进，提 出了一种使用“双豳法”精确定位插值方向的多方向插值算法；然后引入方向熵， 提出了一种基于方向熵的自适应选择算法，可以根据丢失宏块周围的边缘信息自 适应地选择加权像素值平均插值算法或者本文提出的多方向插值算法进行空域 掩盖。 本文还以h 2 6 4 的测试模型软件j 1 8 6 为实验平台，对本文提出的自适应空 域错误掩盖算法进行了实现、测试和分析，并将改进的算法与单一掩盖算法进行 了比较。 1 4 本文的主要内容和创新点 1 4 1 主要内容 第一章本章首先简要回顾了视频压缩编码技术的多媒体视频通信技术的 现状，阐述了视频多媒体通信的发展趋势和面临的挑战，指出了对错误掩盖技术 4 山东大学硕士学位论文 进行研究的意义接着提出了本文的研究目标与主要工作。最后，对本文的主要 内容、章节安排和研究成果作了概述和总结。 第二章本章首先了介绍数字视频的基本原理，然后详细讲解了h 2 6 4 数字 视频压缩编码的原理和相关算法，最后对当前流行的数字视频压缩编码标准做了 介绍和比较。 第三章本章介绍了1 1 2 6 4 视频编码标准的抗误码技术，然后详细讨论了 i i 2 6 4 中的错误恢复技术，特别是h 2 6 4 标准中提出的三种新的抗误码技术：参 数集、灵活的宏块次序( 肿) 和冗余片。最后指出错误恢复技术是在编码端预 防传输错误的手段，需要配合解码端的错误掩盖技术一起使用，才能更有效的对 抗误码影响。 第四章本章首先简单总结了错误掩盖技术的基本原理和分类，然后详细讨 论了h 2 6 4 视频编码标准中典型的空域、时域和频域错误掩盖处理算法，并指出 了这些算法存在的问题。 第五章针对上一章提出的现有错误掩盖算法的不足，本章提出了一种改进 的自适应空域错误掩盖算法。该算法可以根据丢失宏块周围的边缘信息自适应地 选择加权像素值平均插值算法或者方向插值算法进行空域掩盖，既可以恢复图像 的边缘信息，又可以避免虚假边缘。此外，作者提出的多方向插值算法可以通过 双圈法精确估计丢失宏块内的边缘方向，提高了方向插值的精确性。 第六章本章是实验。针对第五章作者提出算法的各方面，对空域多方向插 值算法、自适应切换算法进行了实验，验证了算法的性能；然后对整个f o m a n 序列实验，用来说明整个的白适应空域错误掩盖算法的优越性能。 第五章本章给出了全文的总结和今后研究的展望。 1 4 2 主要研究创新点 本文的主要研究创新点有： ( 1 ) 提出了一种估计错误宏块内边缘方向的。双圈法”该方法利用错误宏块邻 域内的内外两圈上的边缘信息估计错误宏块内的边缘方向。采用该方法， 可以大大提高错误宏块内图像边缘方向的估计精确度 ( 2 ) 提出了一种多方向插值的算法，利用估计出的图像边缘的方向和强度，把 错误宏块划分成不同的区域，区域内按照其中主要边缘的方向进行方向插 5 山东大学硕士学位论文 值，提高了插值的精确度。 ( 3 ) 利用方向熵提出了一种自适应的插值切换算法，可以依据图像边缘的多寡 自适应的选择不同的空域插值算法进行空域插值。 ( 4 ) 提出了一种自适应空域插值错误掩盖算法。该算法在保证方向插值效果的 前提下有效的避免了边缘杂乱区域的虚假边缘的产生，使得重建图像的视 觉效果较其他算法有明显的提高。 6 山东大学硕士学位论文 第二章数字视频压缩编码原理 数字视频压缩编解码技术就是对数字视频信号进行压缩和解压缩的技术，它 是视频通信中的关键技术之一本章首先介绍数字视频的基本原理，然后详细讲 解h 2 6 4 数字视频压缩编码的原理和相关算法，最后对当前流行的数字视频压缩 编码标准做了介绍扣比较 2 1 数字视频压缩编码的基本原理 数字视频压缩编码技术是由数字图像压缩编码技术发展而来的，它们的发展 初期，由于诸多客观条件的限制，如理论不成熟和计算能力低等，导致发展缓慢， 但从七八十年代开始数字图像压缩编码技术取得引入注目的进展，各种图像压缩 算法不断涌现，至此数字视频压缩编码技术才发展起来。 2 1 1 数字视频 当前，以模拟电视为代表的模拟视频已经相当普及，在一定程度上满足了人 们的生活需要。但是随着技术的不断进步和人们需求的不断提高，模拟视频的缺 陷也日益暴露出来，为此，以数字电视为代表的数字视频压缩和处理技术应运而 生与模拟视频相比，数字视频具有以下许多突出的特点1 5 l ： ( 1 ) 失真小、噪声低、质量高 数字技术与模拟技术相比在抗噪声性能上更胜一筹。数字信号噪声容易去 除，信号可以再生，因此可以做到长距离传输不失真，传输质量高。 ( 2 ) 容易处理、容易校正 数字视频便于使用计算机或者i ) s p 处理，可以方便的进行压缩编码、加密、 解密等；数字图像处理技术的发展也使数字视频更容易进行校正处理。 ( 3 ) 便于压缩，节约带宽，容易传输存储 数字视频可以方便的进行压缩，节约传输带宽，可以在有限的带宽上传输比 模拟视频多数倍的视频信号；数字化了的视频相对模拟磁带等模拟存储技术更加 便于存储，长时间存储也不会失真。 7 山东大学硕士学位论文 数字视频可以通过模数转换由模拟视频转换获得，也可以直接从数字感光 器件如c c d 得到。压缩编码是数字视频处理的关键技术之一 2 1 2 视频压缩的可能性 理论和实践都表明：视频或图像是可以被压缩的，原因是视频数据或者图像 数据中存在大量的冗余信息临。大多数视频编码的方法都是利用去除这些冗余 信息，实现信息压缩。一般说来，视频信息的冗余主要有以下三种： 空间冗余由于图像普遍存在空间平滑性，所以在空间上相邻像素的特征如颜 色和亮度等都存在很强的相关性，可通过改变这些特征的描述方式 以减少冗余信息。 时间冗余对于序列图像( 视频) 数据，由于时域相邻帧的采样间隔很小，图 像变化很小，存在很强的相似性，因此可以通过只记录相邻帧的变 化来压缩信息。 统计冗余信息的统计冗余。 视频数据在压缩后应该保持一定的质量，衡量质量的好坏主要有两个标准： 一是主观质量，从人的视觉上对重建的视频质量进行评定；二是客观质量，通常 用信噪比( s n ) 衡量。视频压缩的目标是在满足一定质量要求的前提下尽可能 的提高压缩比，但压缩比和质量是一对矛盾。如果不考虑质量，一味地压缩，虽 然压缩比很高，但压缩后的信息严重失真，显然不能满足要求；反之只关心质量， 压缩比太小，存储、传输都不方便，就会制约使用。 2 1 3 预测编码 预测编码是最简单实用的视频压缩编码方法，它的特点是经过压缩编码后传 输的并不是像素值本身，而是该像素的预测值与实际值之差。预测编码是基于视 频数据的帧内和帧间存在冗余信息，当前帧的某像素值的大小可以通过同一帧内 其周围像素的值估计出来，也可以通过相邻帧其同一位置及周围像素的值估计出 来，这分别对应了预测编码的两种形式：帧内预测编码和帧间预测编码。 帧内预涮编码 二维帧内预测编、解码器的框图如图2 i 所示： 8 山东大学硕士学位论文 ( a ) 二维预测编码器 c ( x y ) ( b ) 二维预测解码器 图2 ，1 二维预测编、解码器图 图中，似力是当前像素值，( x ，力为其所在水平和垂直位置的石，y 坐标 值。则二维预测值为： 氘y ) = q j f ( x k , y - o ( o 1 ) ( k j 】e z 其中，q 是二维预测系数，z 为预测区域，o ，) 分别为对当前点进行预测的像 素值的水平和垂直位置坐标值。为了便于数字电路实现，往往取为1 2 、1 4 、 1 8 之类的分数表示。 较问预灏编码 一般而言，帧间预测编码的效率比帧内预测编码的效率高，因为时域内相邻 帧之间存在更多的冗余信息。视频编码中用的较多的帧闻预测编码技术有单向预 测和双向预测。 单向预测是利用前一帧的图像经过运动矢量位移作为预测值的预测方法。如 图釜兰垃，这时： z ( 工，力= 允o + 吃，) ，+ 匕) 其中0 化力是f 一1 时刻的帧内像素，也、q 是运动矢量。 双向预测不仅利用前一帧的像素进行预测，还需利用后一帧像素，如图 9 山东大学硕士学位论文 互丛垃，即预测值为： z ( 力= q i z i o + k ，_ ) ，+ b ) + q 卅z “o + v 乙，+ v 0 ) 其中，丘。( x , y ) 莆i l f q o ，y ) 分别是f l 和h 1 时刻的帧内像素；匕、是f 到，一1 的运动矢量，y ：、v 乙是f 到f + l 的运动矢量。 ( a ) 单向帧间预测 ( b ) 双向帧间预测 图2 2 帧问预测示意图 视频编码时，为了进一步提高编码效率，可以引入多帧预测( 包括单向和双 向预测) ，如h 2 6 4 标准的参考顿数可达5 1 5 帧。 2 , 1 4 变换编码 绝大多数图像都有一个共同点：平坦区域和缓慢变化区域占据着一副图像的 大部分，而细节区域和内容突变区域则占小部分。也就是所，图像中直流和低频 区占大部分，高频区占小部分。这样，如果将空间域的图像变化到频域或所谓的 变换域，就会产生相关性很小的一些变换系数，并可对其进行压缩编码，即所谓 的变换编码【2 0 2 1 。 1 0 山东大学硕士学位论文 图像以及视频编码中最常用的变换编码是离散余弦变换( d c t ) 。现有的视频 编码技术往往把图像分成固定大小的若干块，称为宏块，以宏块为单位进行离散 余弦变换。 对一个宏块进行离散余弦变换后得到的是一系列直流、低频和高频的变换系 数，其中左上角的代表频率最低的分量，往右和往下频率增高，如图呈立。由前 文所述，变换系数量化以后，在直流和低频区有少量较大的值，高频区域有少量 不大的值，系数大部分为零；通常按照图盈撕示的锯齿扫描顺序把不为零系数 保存进行下一步的熵编码处理。 2 1 5 熵编码 图2 3 离散余弦变换系数的锯齿扫描 利用信源的统计特性进行压缩编码的方式称为熵编码，也称统计编码瞄，矧。 根据香农的无干扰编码理论，在无干扰的条件下，存在一种无失真的编码方法， 使得编码的平均长度与信源的熵任意接近。利用信源概率分布的不均匀性的哈夫 曼编码和算术编码是两种典型的熵编码 啥夫曼编码 1 1 山东大学硕士学位论文 哈夫曼编码属于变字长编码【2 ”。即对于出现概率大的信息符号编以短字长的 码字，对于出现概率小的信息符号编以长字长的码字，但是哈夫曼编码的效率受 到信源概率分布的影响。当信源概率是2 的负幂时，哈夫曼码的编码效率达1 0 0 ； 当信源概率相等时其编码效率最低，这是产生的是定长码。 算术编码 算术编码是将被编码的信息表示成实数0 和1 之间的一个间隔，信息越长， 编码表示它的间隔就越小，表示这一间隔所需的二进制位就越多瞄】。信息源中连 续的符号根据某一模式生成概率的大小来减少间隔，可能出现的符号要比不太可 能出现的符号减少，范围少因此只增加了较少的比特位。算术编码的优点是，其 自适应模式可以不必预先定义概率模型，从而适用于无法进行概率统计的场合。 其缺点是实现方法较哈夫曼编码复杂，不利于硬件实现。 2 2 典型的视频编码标准简介 视音频压缩编码技术是多媒体计算机、多媒体数据库、多媒体通信、数字电 视和交互式系统中的关键技术。标准化是产业化活动成功的前提，因此各种国际 标准的制定集中地反映了视音频压缩编码技术发展的水平。当前应用广泛的视频 编码标准中，当属运动图像专家组( m p e g ：t h em o v i n gp i c t u r ee x p e r t sg r o u p ) 制定的髀e g 系列标准中的视频编码部分和国际电信联盟( i t u - t ) 制定的h 2 6 x 系列视频编码标准最典型、使用最广泛。 2 2 1m p e g 系列标准 孵e g 成立于1 9 8 8 年，是国际标准化组织i s o ( t h ei n t e r n a t i o n a l o r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 和国际电工技术委员会i e c ( i n t e r n a t i o n a l e l e c t r o t e e h n i c a lc o m i s s i o n ) 联合工作委员会在信息技术方面的下属研究小 组，其任务是研究低速率下的视频音频编码标准方案。 m p e g 于1 9 9 0 年提出和建立了m p e g 标准草案，1 9 9 3 和1 9 9 4 年分别提出m p e g - 1 和m , p e c r - 2 标准，1 9 9 9 年提出了m p e g - 4 标准，并于2 0 0 0 年初正式成为国际标准 睁9 】。 2 , z l lm p e g - i 标准 m p e g - 1 标准于1 9 9 3 年8 月公布，其目的是要建立一个适用于数字存储媒体 1 2 山东大学硕士学位论文 存储与检索的活动图像、相关声音及其组合编码的标准 该标准包括五个部分：第一部分说明了如何根据第二部分( 视频) 以及第三 部分( 音频) 的规定，对音频和视频进行复合编码。第四部分说明了检验解码器 或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的c 语 言实现的参考编码和解码器。其主要编码指标为图像质量和家用录像机所达到的 水平相当；图像和伴音总码率为1 5 m b s ；数字存储适合当时应用的几种媒体如 数字视频光盘，数字电视等 1 4 p e g - 1 标准可以处理各种类型的活动图像，其基本算法对压缩空间分辨率 为3 6 0 x 2 8 8 像素，每秒2 4 至3 0 帧的运动图像有很好的效果。在m p e g - 1 标准中， 帧内图像数据压缩和帧间图像数据压缩技术同时使用，帧内编码和j p e g 算法大 体相同，帧间压缩采用运动补偿和预测方式。 m p f x r i 使用了一系列技术以获得视频的高压缩：第一，对色差信号进行亚 采样，减少数据量；第二，采用运动补偿技术减少帧问冗余度：第三，使用二维 d c t 变换去除空间相关性；第四，对d c t 变换系数分量进行量化，将量化后d c t 分量按照颇率重新捧序，舍去对人眼不敏感高频信息：第五，将d c t 分量进行变 字长编码以去除冗余；第六，对个每数据块d c t 变换系数的直流分量进行预测差 分编码 p e g - 1 压缩算法中不仅包括i 帧( 帧内编码帧) 和p 帧( 预测编码帧) ，还 引入图像组( g o p ) 的概念，便于随机读取、进退搜索和反向重放。 2 2 1 2m p e g - 2j 需准 j l p e g - 2 标准1 9 9 4 年1 1 月公布，它主要针对的应用是标准清晰度数字电视 ( s d t v ) 和高清晰度数字电视( 唧v ) 所需要的视频及伴音信号压缩方案和系统 与传输规定。肝b g - 2 标准分为9 个部分，统称为i s o i e c l 3 8 1 8 国际标准，其中 第二部分描述视频编码方法，是s d t v 和h d t v 的编码标准。 m p e g - 2 在编码策略上和m p e g 一1 基本相同，但在m p f 弘i 基础上进行了进一 步的的扩展和改进，进一步提高了视频编码效率。它创立了二元码流结构：节目 流( p r o g r a ms t r e a m ) 和传送流( t r a n s p o r ts t r e a m ) 。传送流的运行环境有可 能出现严重的差错，而节目流的运行环境则很少出现差错。由于对信头作了很多 详细的规定，使用起来较为方便灵活。m p f f u - 2 针对隔行扫描的常规电视图像 专门设置了“按帧编码”和“按场编码”，并相应地对运动补偿作了扩充， 编码效率显著提高。 1 3 山东大学硕士学位论文 由视频编码应用的场合不同，将各类应用划分为不同的档次( p r o f i l e ) ，其 中每个档次都是m p e g - 2 语法的一个子集；再由图像格式的简单还是复杂。每种 档次又划分为不同的等级( l e v e l ) ，而每种等级都是对有关参数及其约束条件的 规定。档次等级的概念简单巧妙地解决了比特流的可交换性和国际性。m p e g - 2 增加了可分级性( s c a l a b i l i t y ) ，允许从一个编码数据流中得到不同质量等级或 不同时空分辨率的视频信号。已定义的可分级性有空间域的、信噪比的、时 间域的、数据划分等。 2 2 l 3m p e g - 4 券翟 1 9 9 9 年公布的m p e g - 4 标准与m p e g - i 和好b 争2 有很大的不同，m p e 6 - 4 不只 是具体压缩算法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互 式多媒体( w w 、资料获取与分散) 等整合及压缩技术的需求而制定的国际标准。 i p e 6 - 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信 及应用环境提供标准的算法及工具。 m p e g - 4 提出了基于内容的压缩编码概念，突破了已往那些以方块为单位的 图像处理办法，对一幅图像按内容划分成如场景、物体等不同子块，然后围绕基 本单元一视音对象( a u d i o - v i s u a lo b j e c t ) 进行编码，即分别对所分割出来的对 象编码后作为基本码流。由于基于内容或物体的子块内信息的相关性很强，因此 可产生更高的压缩比。 与此同时，m p e g - 4 不再是一个标准化的固定算法，而是建立一个可扩展的 编码工具集，由工具集构造各种算法。对于a v o ，可以是自然或合成的两维或三 维的声音和图像及其他数据。与以往的标准相比， 4 p e t , - 4 视频方面的特色可以 归纳为四大方面： 基于内容的可交互性。在不作孵码的情况下，支持基于内容的处理和码流的 编辑：支持人工图像声音与自然图像声音的合成；支持基于内