（电路与系统专业论文）跳帧视频转换编码中的运动估值与修正[电路与系统专业优秀论文].pdf

安徽大学烦 学位论立 摘要 摘要 随着i n t e m e t 和移动通信技术的高速发展，出现了各种具有不同性能的客 户机，如手机、掌上电脑( p d a ，p e r s o n a ld i g i t a la s s i s t 跹t ) 、手提电脑等等， 这些客户机迫切要求能够无线接入i n t e m e t ，共享i n t e m e t 上的资源。由于 i n t e m e t 和无线网络具有不同的带宽，因而也就对应着不同的传输码率。如果 将已压缩的视频信号流由互联网直接通过无线网络传送给客户机，将会出现视 频编码流与传输信道失配的情况。此时，就需要在i n t e m e t 和客户机之间设置 代理转换器，对已压缩编码的视频信号流进行码率转换，将已压缩的高速视频 码流转换成低速率的视频码流，以保证视频信号流在移动无线网络中的正确传 输，为移动用户提供不同服务质量的视频服务。 本文所做的工作主要有： ( 1 ) 介绍了视频转换编码中的各种转换模型。视频转换编码既可以在像素域 中进行，也町以在压缩域( d c t 域) 中进行。具体的转换方式有三种：码率转 换、分辨率转换、语法转换。码率转换一般是降低视频的码率，提高不同网络 的兼容性；分辨率转换一般足降低视频的空间分辨率和时间分辨率：语法转换 是对已用一种标准编码后的视频流用另外一种标准来编码。本文分析了这二种 转换方式的过程，指m 了其优点和缺点。 ( 2 ) 在跳帧视频转换编码中，研究了运动矢量重用的问题。给出了三种运动 矢量估值方法即线性内插法、前向主向量选择法( f d v s ，f o n v a r dd o m i n a m v e c t o rs e l e c t i o n ) 和前向向量法的理论分析结果和实验结果。仿真结果表明， 前向向量法与其它两种方法相比，不仅提高了视频的转换质量，而且提高了转 换速度。 ( 3 ) 研究了转换编码中的运动矢量修诈问题。指出由于重建误差的存在，输 入运动矢量并不是最佳的，需要在转换编码中进行新的运动估值。重点研究了 跳帧转换编码中的运动矢量修t f 问题，提出了用正交搜索( h a v s ，h o r i z o n t a l a 1 1 dv e r t i c a ls e a r c h ) 算法对基本运动矢量进行修正，同时给出了一个用于修证 的最佳搜索窗口。仿真结果表明，仅需增加较少的计算量，修正后的图像信噪 安徽大学硕l 学位论文 跳帧视频转换编码中的运动估值与修正 比相对于未修正时有着明显的提高。 关键词：视频编码；转换编码：运动估值：块匹配；降低帧率；运动矢量修正 2 安徽大学硕士学应论文 a b 时m c t a b s t r a c t w i t hi n t e m e ta i l dm o b i l ec o m m u n i c a t i o n sh i 曲d e v e l o p m e n t ，v a r i o u sc l i e m d e v i c e sh a v i n gd i 腩r e n p e r f o r n l a n c ea p p e 甄s u c ha s ：m o b i l ep h o n e ，p d a ，h a i l d h e l dc o m p u t e r ，e t c t h e s ec l i e md e v i c e sh o p et oh a v ea c c e s st oi m e m e ti nw i r e l e s s w a y a 1 1 ds h a r ci m e m e t sc o m e m a si m e m e ta n dw i r e l e s sn e t w o t kh a v ed i 珏b r e n t b a l l d 州d t h ，t h e yh a v ed i 雎r e n tb i t r a t ea c c o r d i n g l yi f c o m p r e s s e dv i d e ob i ts t r e a mi s 仃a n s m i t t e di nw i r e l e s sc h a n n e lf b mi n t e m e tt oc l i e n td e v i c e s c o d e d “d e ob “ s 艇a mw i l ln o tm a t c bt h e 州r e l e s sc h 籼e l ，t h u s ，p r 【i e sn e e dt ob es e tb e t w e e n g e n e r i cw w ws e n ，e r sa n dc l i e md e 们c e s ，t 啪s c o d i n gv i d e ob i ts 仃e a mw h i c hh a s b c e nc o d e da i l dc o m p r e s s e d p r o x yc a nt 眦s f o m lm 曲b i t r a t ei n t oi o w e rb i 仃a t et o m a k ev i d e ob i ts 仃c 锄岫s m i t t e d ，a c c u r a t e l yi nm o b i l ew i r e l e s sn c t 、o r k ，a n d p m v i d ec l i e n td e v i c e sw i t hd i 髓r e n tq u a l 时o fs e n ，i c e t h i st h e s i sr e s e a r c h e sf o l l o w i n gs e v e r a la s p e c t s ： ( 1 ) v a r i o u sn a i l s c o d i n gm o d e l si nv i d e ot 啪s c o d i n ga r ea n a l y s e d v i d e o 仃a n s c o d i n gc a l lb ec a r r i e do u tn o to n l yi np i x e ld o m a i nb u ta l s oi n 廿| m s f o n nd o m a i n ， n a m e l yd c t d o m a i n d e on a l l s c o d m gh “et l r e em e a n s ：c o d er a c et r a n s f b 肌a t i o n ， r c s o l u t i o nt r a n s f b 肌a t i o n ，t r a l l s f b 舯a t i o nb c t 、v e e nc o d i n gs t a l l d a r d c o d er a t e t r a n s f o 丌n a t i o nc o m m o n l yi sr e d u c i n gv i d e o sc o d er a t e r e s o l u t i o nt r a n s f 0 肌a t i o n c o m m o n l y i s r e d u c i n g v i d e o st e m p o r a lr e s o l u t i o na i l d s p a t i a l r e s o l u t i o n t t a n s f o r m a t i o no fc o d i n gs t a l l d a r di st ot r a l l s c o d ec o d c dv i d e ow i t has t a n d a r di n t o a l l o t h e rc o d i n gs 锄d a r d ( 2 ) mt r a i l s c o d i n g ，r e u s i n gm o t i o nv e c t o r se x 仃a c t c d 的ma ni n c o m i n gv i d e ob i t s t r e 锄i ss t u d i e di nt h i st l l e s i s t h r e ec o m p o s e dm e t l l o d st oc o m p o s eam o t i o nv e c t o r 行o m 山ei n c o m i n gm o t i o nv e c t o r si n 行a m e s k i p p i n g s c o d i n 舀s u c ha sb i l i n e a r i m e r d o l a t i o nm e t l l o d ，f d v sa n df o n a r dv e c t o rm e t h o da r ea l s os n l d i e di nd e t a i l e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ef o n v a r dv e c t o rm e m o di sc o m p m a t i o n a l l ym o r e e 伍c i e n ta n di m p r o v e si m a g eq u a l i t yb e t t e rc o m p a f e dw i t ho t h e rm e t h o d s ( 3 ) m o t i o nv e c t o rr e 6 n e r n e n tf o rh 谵h l p e r f o m l a n c e 能m s c o d i n gi ss t u d i e di nt l l e 安徽大学硕i ：学位论文跳帧视频转换编码中的运动估值与修正 l a s tc h 印把lw 毫s h o wt h a tt h ei n c o m j n gm o t i o nv e c t o r sb e c o m en o n o p t i m a ld u et o t h er e c o n s t n j c t i o ne r r o r s t ba c h i e v et l l eb e s tv i d e oq u a l i t yp o s s i b l e ，an e wm o t i o n e s t i m a t i o ns h o u l db ep e r f o m e di nm et r a n s c o d e lm o t i o nv e c t o rr e f i n e m e n tf o rh i g h - p e r f 0 瑚a n c ef 锄e - s k i p p i n gt r a l l s c o d i n g ，e s p e c i a l l y ，i ss t u d i e d w ep r o p o s eaf a s t - s e a r c hm o t i o nv e c t o rr e f i n e m e n ts c h e m ea 1 1 da n o p t i m a ls e a r c h 、i n d o wf o r r e n n e m e n ti n 厅跚e 喝k i p p i n g t r 趾s c o d i n g e x p e r i m e n t a 】r e s u l 乜s h o wt 1 a t t 1 1 e p r o p o s e df 缸t s e a r c hm e t h o do fh a 、，sc a l li t n p r o v ep s n ro fp i c t u r eg r c a t l y 谢t h 1 e s sa d d i t i o n a lc o m d u t a t i o n k e y w o r d s ：d e o c o d i n g ；t r a i l s c o d i n g ； m o t i o ne s t i m a t i o n ； b l o c k m a t c h i n g ： f r a m e - s k i p p i n g ； m o t i o nv e c t o rr c n n e m e m 4 独创性声明 v7 6 5 7 本人声明所里交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得苷 粥沃孑或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：参吾、雩 签字日期：似，年户月口日 学位论文版权使用授权书 本学位论文作者完全了解够缘u 有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阕。本人授援步缮积髻可以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印，缩印或扫描等复制手段保存，汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：在众彳 签字日期：川年 岁月o 日 学位论文作者毕业去向 工作单位： 通讯地址： 珲叫 导师签名： 签字日期： 电话： 邮编： 警 安徽大学硪l 。学位论文第一章绪论 1 1 研究背景 第一章绪论 随着多媒体通信技术的发展，视频会议、i n t e m e t 视频点播、数字电视等 已经开始服务于社会。由于数据网络种类( i n t e m e t 网、电信网和蜂窝无线网 等) 、终端器件的性能( 如显示器格式、处理能力、存储能力等) 和视频压缩 编码格式( m p e g l 、m p e g 2 、m p e g 4 等) 的不同 1 】，不同系统和网络之间的 兼容变得越来越重要。不同的网络具有不同的带宽，对应着不同的传输速率 口o j 。转换编码又简称转码，就是将已经编码的视频码流进行再处理以适应在 不同网络上传输，最终符合不同的终端设备接收要求【3 1 。转换编码与编码和解 码过程的区别在于，转换编码的输入和输出都是压缩编码后的码流。转换编码 应用涉及视频服务器、通用多媒体访问设备( u m a ) 、监控系统、机顶盒、 d v d 录像机等诸多多媒体设备和系统。 信号处理技术和网络传输技术的发展，推动了p c 机、p d a 和移动电话等 视频通信的应用。这些终端可能支持多种不同的格式，而且它们所连接的网络 通常有不同的带宽限制，终端设备本身也具有不同的显示、处理和存储能力。 因此，需要根据相应的网络和终端设备特性，对压缩视频流进行转码，同时保 持特定的服务质量( q o s ，q u a l 时o f s e r v i c e ) 要求叽如图1 1 所示。 图l l视频转换编码系统图 1 2 视频转码的主要方法 综合国内外文献，目前视频转换编码大致可以分为两种方法，即空域( 像 素域) 转码和压缩域( d c t 域) 转码。如图1 2 所示。 安徽人学硕学位论文 跳帧视频转换编码中的运动估值与修正 囤12 阿种视频转码方法 最直观的转码方法是完全解码器和完全编码器级联式空域转码器。如图 1 2 中上方虚线框所示。这种转码方法的基本概念是，首先将输入压缩视频流 完全解码到像素域，然后对像素域( 空域) 视频流进行适当的处理，如将解码后 的视频重新编码成所需的码率或格式，最后将处理后的视频流重新编码成新的 m p e g 压缩视频流。这种转码器非常灵活，因为它的解码回路和编码回路相互 完全独立。例如，它们可以对不同的码率、帧率、图像分辨率、编码模式，甚 至不同的编码标准的码流进行编解码。因此，可以实现很多附加的功能，例如 标识插入等等【”。级联式像素域转码器是无漂移的，得到的视频质量也很高。 但是这种方法非常复杂，需要全部编码和解码过程，所需计算量和所需缓存都 为最大，是一般应用系统中无法接受的。另外，压缩视频流的质量会随着每个 重新编解码过程而下降u 1 运动估值和d c t i d c t 是视频编码器中两个运算量最大的部分。然而，利 用可得的信息( 通常是输入码流中的各种头信息) ，转码器中的运动估值和 d c 唧d c t 过程都可以在很大程度上得到简化。基于这种方法，可以得到更有 效的转码方法，是仅仅对视频流进行部分解码，直接在压缩域进行视频数据处 理j 。也就是直接在d c t 域实现转码器，如图1 2 中下方点划线方框中所 不。 由于省略了不必要的解码和编码过程，这种压缩域转码方法非常有利于降 低计算复杂性，解码的程度越小，转码器的运算复杂性也越小。因此压缩域转 2 簧徽人学颂仁学位论_ 文第一章绪论 码方法被广泛采用，是国内外学者研究的重点。根据解码的程度不同，许多学 者提出了多种压缩域转码方法7 _ 9 】，但是d c t 域转码器可以实现的功能有限， 例如码率的变换只能通过重量化或截取d c t 系数的方式来获得【1 0 1 。这种转码 器还有其他缺陷，例如只在d c t 域进行重量化而不进行运动补偿的转码器有 图像漂移问题川，而且压缩域转码器的附加功能有限f 1 1 】。 另外文献中还提出一些方法可以进一步降低转码器的运算复杂性。在所 有基于d c t 的视频编码系统中，d c t 系数都被量化、z 扫描，然后进行游程 编码和熵编码。大多数非零系数都集中在d c t 频谱的左上角( 低频带1 。因为 在转码器中进行i d c t 时已知所有非零d c t 系数的位置，这些信息尤其是 e o b ( e n d - o f - b l o c k ) 信息、可用柬减少t d c 丁的运算量1 1 2 1 。更进一步，转码器 中的量化器通常比原编码器中的量化器量化更粗，在转码后量化d c t 系数会 出现更多零值。基于这一结果，根据输入码流的统计特性，可以得出一些预 测。如果根据预测，某一d c t 系数将被量化为零值，那么该系数的运算可以 被跳过。 1 3 视频转码的主要技术 视频转码广泛应用于多媒体技术领域中，已成为国内外学者的研究热点问 题。研究的转码技术主要包括：比特率转换和分辨率转换( 如高清晰度电视到标 准清晰度电视) 、帧率转换( 如视频监控) 、语法转换( 如当支持m p e g 一4 的手机 接收m p e g 2 数字电视节目时需要转换) 以及视频摘要、颜色空间变换、多模 式交互等需要的转换等。这些视频转码可以分为同类视频转码技术和不同种类 视频转码技术，下面分别对这两大类转码技术的研究现状进行综述。 1 3 1 同类视频转码 把同一种编码标准的视频数据流从适合某一传输环境的压缩形式转换成适 合于另一传输环境的压缩形式。此时转码技术用于动态调整视频流码率来适应 不同的网络带宽要求。同类视频转码研究的一些主要问题包括： ( 1 ) 格式转码 錾墼查鲎婴生兰堡堕苎 ! ! 塑塑堡堑堡塑塑! 塑兰垫堕堕兰堡! ! 许多数字视频系统，例如高清晰度电视和可视电话侩议等，都有不同的时 空分辨率标准和比特率要求。不同应用环境的视频信号有多种商业格式，如 q c l f ，n t s c ，p a l 和h d t v 等。为了实现它们之间的兼容性，需要研究开发格 式转码方法，包括图像尺寸( 空间分辨率) 转码，提高或降低帧率或场率转码， 以及隔行扫描与逐行扫描变换。 ( 2 ) 运动矢量重用 直接利用输入码流中的运动矢量来推导新运动矢量的算法，本文称之为运 动矢量重用算法。这种算法避免了运动估值过程，大大降低了转码运算的复杂 性是转码器的关键技术之一1 3 _ 1 引。 ( 3 ) d c t 域转码处理技术 通常的视频处理操作包括合成、重叠( 不透明或半透明) 、平移、缩放、线 性滤波和旋转等。例如在多点视频会议中，多个压缩视频数据源可能需要在网 络中进行合成处理。这就需要视频转码来消除压缩数据流中的时间相关性，将 视频流转码成易于进行编辑功能的码流。而直接在d c t 域进行转码由于避 免d c m d c t 过程也是研究的热点技术，它包括d c t 域图像下采样和d c t 域 反运动补偿等。 ( 4 ) 比特率降低 对视频数据进行压缩编码时，信道特性需要作为编码器的编码参数给定 因此，不论压缩视频流是定比特率或是变比特率，在传输这些压缩视频流时会 大大缺乏灵活性。例如，在i m e m e t 上传送视频流的视频服务器可能受到苛刻 的带宽要求的限制，在这种情况下，高质量的压缩码流可能需要在传输前被转 码成较低码率的压缩码流，也就是降码率转码，以适应新的信道带宽限制或网 络要求。 对于上述同类视频转码的关键技术，许多学者对此做了大量深入的研究， 提出了许多算法，大多数是压缩域转码方法。通过对国内外研究现状分析，压 缩域视频流转码的困难包括几个方面。最主要的困难是通过消除视频序列中的 时空冗余度而实现的高压缩率，这造成了压缩视频流中存在了大量的时空相关 性i 瑚。例如，在解码一个由帧间预测编码产生的视频帧时，需要首先解码出生 成预测的基准帧。另一个困难来自于运动补偿预测和块d c t 运算而造成的人 4 安徽大学钡 。学位论文第一章缝论 为块结构口】。而d c t 域反运动补偿可以直接在压缩域从经过运动补偿的帧问 编码帧重建帧内编码帧，因此d c t 域反运动补偿算法是压缩域转码处理的一 个重要技术，不少学者对此进行研究并提出了一些优化算法。 1 3 2 不同种类视频转码 针对不同应用环境，国际标准化组织己经制订出许多国际视频压缩编码标 准，如m p e g 1 ，m p e g 一2 ，m p e g 4 和h ，2 6 3 等。为提供不同压缩编码标准视 频系统间的互操作性，需要将压缩视频码流从某一种压缩编码标准转码成为另 一种视频编码标准的码流。这种转码可以为不同网络技术间提供透明连接，一 股用于具有相似压缩算法的标准间的转换，如均为基于帧间运动补偿、帧内 d c t 变换、量化的多种编码标准之间的转码，包括m j p e gh 2 6 1 ，2 6 3 m p e g - 】，m p e g 2 m p e g _ 4 等。 1 4 本文主要工作 本文主要研究了跳帧转换编码中的运动估值及转码中的运动矢量修正问 题。详细分析了跳帧转码中已有的运动估值方法，并提出一种新的运动估值法 即前向向量法。大量仿真结果表明前向向量法是几种方法中最佳的一种运动估 值方法。提出了用h a v s 快速搜索算法对跳帧转码中的运动矢量修正，同时基 于仿真结果给出运动矢量修币时需要的最佳搜索窗口，仿真结果表明，用 h a v s 搜索法和给出的最佳搜索窗口对提高图像的信噪比有着巨大的优越性。 第二章介绍了与视频转换编码相关的视频压缩编码技术。详细介绍了视频 压缩技术，视频压缩的国际标准及应用，以及块匹配准则和块匹配快速搜索算 法 第三章分析了视频码率转换必要性，介绍了编码转换的分类和各种编码转 换模型的特点。视频编码转换既可以在像素域中进行，也可以在压缩域( d c t 域) 中进行。具体的转换方式有三种：码率转换、分辨率转换、语法转换。本 章分析了这三种转换方式的结构，指出了各自的优点和缺点。 第四章研究了跳帧转码时的运动估值方法：线性内插法、f d v s 方法和前 安徽大学颁卜学位论文跳帧视频转换编码申的运动估值与修正 向向量法，给出了它们的理论分析结果和实验结果。仿真结果证明了前向向量 法在转换质量和计算量上优于其它两种算法，同时指出各自优缺点。 第血章研究了转换编码中的运动矢量修f 问题，从理论上推导出由于量化 误差的存在，转码中简单重复使用输入运动矢量会导致转码后图像退化，故需 要对基本运动矢量修正。同时重点研究了跳帧转码中的运动矢量修正问题，提 出了用 l w s 算法对基本运动矢量修征问题和给出用于修正时的一个最佳搜索 窗口。 参考文献： 1 】蔡安妮，孙景鳌。多媒体通信技术基础，北京电子工业出版社，2 0 0 0 年a 2 】诎a i k iw a r a b i n oe ta i ，d e ot r a n s c o d i n gp r o x yf o r3 g 晰r e l e s s m o b i l e i n t e m e ta c c o s s i e e ec o 咖n l u l i c a t i o nm a g a z i n e ，o c t o b e r2 0 0 0 ，p a g e ：6 6 7 1 【3 1 a n m o n yv e t r o ，c h 撕l a o sc h r i s t o p o u l o s ，a n dh u i 胁gs u i l ，v i d e ot r a n s c o d i n g c h i t e c t i l r e sa j l dt e c h n i q u e s ：a no v e r v i e wi e e es l g n a lp r o c e s s 州g m a g e z n 叮e m a r c h2 0 0 3 【4 y u n h e ec h o i ，t a e s u nc h o i f 蜮m o t i o ne s t i m a t i o nt e c h n i q u e sw i t ha d a p t i v e v 撕a b l es e a r c hr a n g e i e i c en a t l s o nf u n d a m e n t a le l e c 廿0 n i c s ，c o m m l u l i c a t i o n s a n dc o m p u t e r 19 9 9 ，v 0 1 e 8 2 a ，p a g e ：9 0 5 9 10 【5 】y r l e e ，c 一wl j n ，a n dy wc h c n ，c o m p m a i j o nr e d u c n o nj n c 骶c a d e dd c t d o 眦i nv i d e od 0 w n s c a l 恤gt r a n s c o d i n g ，i np r o c i e e ei n t s y m p c i r c u 如a 1 1 d s y s t c m s ，2 0 0 3 ，p a g e ：8 6 0 _ 8 6 3 6 】s h i h f uc h a n ga 1 1 dd a v i dgm e s s e r s e h m i t t ，m a n i p u l a t i o na t l dc o m p o s i t i n go f m c d c tc o m p t 蟹s s e dv i d e o ，i e e ej o u n l a lo ns e l e c t e da r e a si nc o m n l u n i c a t i o n s ， j a n 1 9 9 5 、，0 1 1 3 n o1 7 】 k a i 一i 乱 f u n g 锄dv ，m c h i s i u ， d c r - b a s e dv i d e o f r a l t l e s k i p p i n g t r a n s c o d e r p r o c e e d i n g s ，i e e ei n t e m a t i o n “s y m p o s i u mo nc i r c u i t sa n ds y s t e m s ( i s c a s 0 3 ) ，m a y2 0 0 3 ，v b l i ip p 6 5 6 9 【8 】t s h a i l a b l e ha n dm g h a n b 撕，t r a n s c o d i n ga r c h i t e c t u r e sf o rd c t d o m a i n 6 安街丈学醐1 。学位论文 第一章绪论 h e t e r o g e n e o u s “d e ot r 趾s c o d i n g ，i n 尸，o c 舾e e 如tc d 巧加昭p 厅。c p 鼯f t h e s s a l o n i k i ，g r e e c e ，s 印t 2 0 0l ，v 0 1 2 ， p p 4 3 3 4 3 6 9 h s u n ，a v e t r o ，j b a o ，a n dt p o o n ，an e wa p p r o a c hf o rm e m o r y - e f f i c i e n t a t v d e c o d i n g ，以：既7 ，d 甩s c b 玎占“肌p ，e k c 护d 聆，a u g 1 9 9 7 ，v 0 1 4 3 ，p p5 1 7 5 2 5 ， f l o n m e r h a v ，m u l t i p l i c a t i o n - 丘ea p p m x i m a t ea 】g o r i t h m sf o rc o m p r e s s e d d o m a j n 1 i n e a ro p e r a t i o n so ni m a g e s ，忸e e 什d 玎s 砌孵p m c p 盯呱f e b 1 9 9 9 ，v 0 1 8 ，p p 2 4 7 2 5 4 1 l 】e f e i g ，s w i n o 乒a d f a s ta l g o r i m m sf o rd i s c r c t ec o s i n et r a i l s f 0 珊i e e et r a i l s s j g n a jp r o c e s s j n j9 9 2 ，p a g e ：2l7 4 也j9 3 1 2 c w “na n dy r l e e ，f a s ta l g o r i t h m sf o rd c t d o m a mv i d c ot r a l l s c o d i n 如i n m c 伍疆讹c o 酊慨竹o c 哪嘛n e s s a l o n 斌g r c e c e ，s 印t 2 0 0 1 ，v o ，p p 4 2 1 4 2 4 【1 3 】k a i 一1 乱f u l l 岛- l a f nc h a n ，a 1 1 d w 抽- c h is i u ，s e l l i o r m e m b e n e w 觚k t e c t l i r ef o rd y n 锄i cf r 锄e s k i p p i n gt r a l l s c o d e li e e et o pr e f e r e n c e ，a u g u s t 2 0 0 2 ，n o 8 ，p p 8 8 6 - 9 0 0 【1 4 】b o s h e n ，i s h w a rk s e t h i ，v 如u d e vb h a s k a r a l l ，a d a p t i v em o t i o nv e c t o r r c s 锄p l i n gf o rc o m p r e s s e d d e od o w n - s c a l i n g ，i 髓e ，m u l t i m e d i as y s t 1 9 9 7 4 ， 6 ( 2 ) ：11 3 - 1 2 4 ( 1 9 9 8 ) 【1 5 】y 0 u nj s u l lmt ，a n dl i ncw ， m o t i o nv e c t o rr e f l n e m e mf o rh i g h p e r f o 廿n a t l c et r a l l s c o d i n g i e e et t a n s a c t i o n so nm u l t i m e d j a ，】9 9 9 ，1 ( 1 ) ：3 0 4 0 、 【16 】h u 忸n gjn ，w utd ，a i l dl i ncwd y n a m i c 厅a m e s k i p p i n gi n 、7 i d e o 订a i l s c o d i n g i np r o c e e d i n g so ft l l ei e e es e c o n dw b r k s h o po nm u i t i m e d i as 堙n a l p r o c c s s i n g ，d e c e m b c r1 9 9 8 ，p a g e ：6 1 6 “2 1 【17 】w 西j e nl e ea n dw e n j e nh o ，a d a p t i v ef t a m e s k i p p i n gf o r d e ot r a n s c o d i n i m a g ep r o c e s s i n g ，2 0 0 3 p r o c e e d i n g s v 0 1 1 ，p a g e ( s ) ：i 1 6 5 - 8 【l8 】y 却p e n gt h ，y o n g q i n gl i a i l g a 1 1 dj u ny u ，v i d e ot r a n s c o d i n gf o rf a s t f o 唧a r d r e v e r s ev i e d o p l a y b a c k ， 【e e e【n t e m a t i o n a 【 c o n f e r e n c eo ni m a 证e p r o c e s s i n g ( i c i p 0 2 ) ，s 印2 0 0 2 v 0 1 1 ，p a g e ( s ) ：i - 7 1 3 7 1 6 【1 9 】a l a na n dj n h w a n gc o n t e x td e p e n d e n cf e f e r e n c ef 渤n ep l a c e m e n tf o f 7 安徽大学彤l 【：学位论丘=跳帧视频转换编码中的运动估值弓修币 m p e g l d e oc o m n g ，l np r o c j e e em c o 西a c 伽s l ：i c s ，印e e 曲，s i 翻翻p r o c e s s 憾， m u i l i c h ，g e m a ny a p r 19 9 7 ，p a g e ：2 9 9 7 - 3 0 0 0 【2 0 s h 锄l i uk u o ，c 一c j ，j o i mt e m p o 删- s p a t i a l r a t ec o n 仃0 1f o ra d 印t i v ev i d e o t r a n s c o d i n g ，m u l t i h l e d i aa r l de x p o ，2 0 0 3 i c m e 0 3 p r o c e e d i n g s 8 安徽人学硕l 学位论文 第一章视频压缩编码 2 1 引言 2 1 1 概述 第二章视频压缩编码 转变编码器处理的对象是已经压缩的视频流，所以本章将介绍视频图像压 缩的相关知识。在介绍视频图像压缩前，先回顾一些对这些技术有显著影响的 电视工业中的关键发展。关于下一代娱乐电视质量标准的讨论，开始集中在 模拟高清晰度电视( h d l v ，h i g h d e f i n i t i o nt v ) 上，但随着数字h d t v 的出 现，这争论焦点很快就转移了。新的讨论使数字视频标准的议题成为焦点， 这种标准既可以应用在娱乐用途，同时也可用于商业用途。这方面的工作主要 是由国际标准化组织( i s o ) 和国际电信联盟( i t u ) 来迸行的。 视频压缩算法的标准化是国际电话电报咨询委员会( c c i t t ，是i t u 的前 身) 为电视会议和可视电话首先提出的。国际无线电通信咨询委员会( c c i r ) 的 任务是对传送电视信号的视频压缩技术进行标准化。随着计算机和民用电子工 业开始共事同一技术，标准化的努力也走到了起。c c i r 与c c i t t 起工 作，同时i s o 已经在努力开发一种用于数字存储媒体上的视频和相关音频的标 准。用于这种标准的数字存储媒体包括：数字音频带( d a t ) 、c d r o m 、可写光盘 ( 包括w 0 r m ) 、磁带和磁盘以及局域网和广域通信，如【s d n 的通信通道。这一 努力被称作运动图片专家组( m p e g ) 并且现在是i s 0 一t e c j t c l s c 2 w g l l 的 一部分。与静止图像压缩不同，全运动图像压缩有时问因子与它相关。压缩水 平由某一特定分辨率的压缩速度( 如6 4 ，1 2 8 或1 9 2 k b s ) 表示。关键目标是能 以1 5 m b s 或更高速度压缩可按受的视频和音频质量。这里假设网络( 如a t m 和f 叩i ) 能管理这一速度。 2 1 2 视频压缩的目的和必要性 信息与数据是两个完全不同的概念。信息是对发生事件的抽象描述，而数 9 窒堂盔兰塑：| 二堂堡堡兰 ! ! 塑塑塑鲎垫垄型主堕堡垄堡望皇竺垩 据是在确定了描述方法后对事件的具体描述记录。显然，对同一个信息，若使 用的描述方法不同，则形成记录的数据量可能完全不同。我们总是希望用最小 数据量的方法对给定信息进行描述和表达。 视频压缩的目的是在保证一定图像( 或声音) 质量的条件下，以最小的数据 率来表达和传送图像( 或声音) 信息，从而节省传输和存储的开销。 视频数据能够得到压缩的町能性在于： ( 1 ) 原始视频数据中存在着大量的冗余信息( 空间冗余和时间冗余) ： ( 2 ) 视频和音频信息的最终接收者是人，人的视觉和听觉器官都具有某种 不敏感性，舍去人的感官所不敏感的信息对图像或声音质量的影响很小，在有 些情况下，甚至可以忽略不计( 视觉冗余) 。 正是由于视频数据中存在着大量的冗余，所以必须压缩后再进行存储和传 输。其实数字影像的出现，得益于两项技术的发展：光碟存储技术和影像数字 压缩技术。例如，n t s c 制式的电视图像以大约6 4 0 x 4 8 0 的分辨率、2 4 b i t s 像 素、每秒3 0 帧的质量传输时，其数据传输率达2 8 m b i t s ，2 0 秒的末压缩视频 图像将占用5 6 0 m b i t 的存储空间，相当于一张c d r 0 f 光盘只能储存2 0 秒钟的 未压缩电视节目。显然这样的要求对普通个人用户来讲是难以接受的。在实现 上成本也是非常商昂。所以，视频图像的压缩编码方法就应运而生了。 2 2 视频压缩的国际标准及应用 1 9 8 0 年以来，国际标准化组织( i s o ) 、国际电工委员会i e c 和国际电信 联盟( i t u ) 下属的国际电报电话咨询委员会( c c i t t ) 陆续完成了各种数据压缩与 通信的标准和建议，如面向静止图像压缩的j p e g 和j p e g 2 0 0 0 标准，在运动图 像方面用f 视频会议的h 2 6 l ( p 6 4 ) 标准、用于可视电话的h 2 6 3 标准，数 字声像存储压缩编码标准m p e g 系列。m p e g 是m o v i n gp i c t u r ee x p e r t g r o u p ( 运动图像专家组) 的缩写。该专家组通过的有3 个版本的m p e g ：m p e g l m p e g 一2 ，m p e g 一4 。下面我们分别作简单的介绍。 j o 安徽入学硕 学位论立 第一章视频他缩编码 2 2 1h 2 6 x 系列标准 ( 1 ) 视听会议压缩编码标准l 2 6 l h 2 6 1 是由i t u t 第2 5 研究组为在窄带综合业务数字网( n i s d n ) 上丌展速 率为p 6 4 k b s 的双向声像业务( 可视电话、会议) 而制定的，其中p = 卜3 0 。 因此，f f 2 6 i 也称为p 6 4 标准“。 h 2 6 1 只对c i f ( c o r m o ni n t e r m e d i a t ef o r m a t ) 和q c i f ( q u a r t e rc i f ) 两种 图像格式进行处理。由于世界各国采用的电视制式不同( 如p a l ，n t s c ， s e c a m ) ，所规定的图像扫描格式采用电视所规定的格式，所以必须统一到一个 公共图像格式上来，这也是c i f 这个名称的出来。c i f 和q c i f 的亮度信号分 辨率分别为3 5 2 2 8 8 和l7 6 1 4 4 ，色差信号c r 和c b 的水平和垂寅分辨率均 为亮度信号的1 2 ，即分别为1 7 6 x 1 4 4 和8 8 7 2 。图像帧率最高为2 9 9 7 帧 秒。在信道速率较低时，帧率可以降到l o 帧秒左右。 h 2 6 l 压缩编码算法由运动补偿的帧间预测、块d c t 和霍夫曼编码组成。 由于该标准用于实时业务，希望编解码延时尽可能小，所以只利用前一帧作 参考帧进行前向预测。除初始帧为i 帧外，后续帧一般为p 帧。为了防止信道 误码产生的差错经预测编码而累积