（计算数学专业论文）视频序列去隔行算法的研究.pdf

原创性声明 川| 1 1 | i i l | 1 1 l l | l f l | | | 1 1 1 | | i | | | 1 1 i | 1 1 | y 17 4 15 19 本人声明：所呈交的论文是本人在导师指导下进行的研 究工作除了文中特别加以标注和致谢的地方外，论文中不 包含其他人已发表和撰写过的研究成果。参与同一工作的其 他同志对本研究所做的任何贡献均已在论文中作了说明并表 示了谢意。 签名：日期： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定， 即：学校有权保留论文及送交论文复印件，允许论文被查阅 和借阅；学校可以公布论文的全部或部分内容 上海大学理学硕士学位论文 视频序列去隔行算法的研究 作者：杜金凤 导师：胡海平 专业：计算数学 上海大学理学院 二零壹零年五月 ad i s s e r t a t i o ns u b m i t t e d t os h a n g h a iu n i v e r s i t yf o rt h ed e g r e e o fm a s t e ri ns c i e n c e r e s e a r c ho fv i e d od e - - i n t e r l a c i n g m d c a n d i d a t e ：d uj i n f e n g s u p e r v i s o r ：p r o f h uh a i p i n g m a j o r ：c o m p u t a t i o n a lm a t h e m a t i c s c o l l e g eo fs c i e n c e s ， s h a n g h a iu n i v e r s i t y m a y 2 0 1 0 摘要 对于高清晰度数字电视来说，视频后处理技术中最为重要的部分就是视频信 号的去隔行处理功能，但已有的去隔行算法已经无法满足高清视频图像处理高性 能、低成本的要求最近两年，提出了很多新颖的去隔行算法，最先进的去隔行 算法是采用运动补偿技术，它是利用视频中的运动信息，沿着图像运动轨迹进行 补偿插值但是这种算法的成功在很大程度上依赖于运动估计的准确性，而且算 法复杂度较高，不易于硬件实现但是随着v l s i 的发展，运动补偿算法得到越 来越广泛的应用 本文首先介绍了传统的去隔行算法，包括经典的非运动补偿算法和基于运动 补偿的算法，并分析了各算法的优缺点在此基础上本文提出了两种引入小波变 换的去隔行算法，将小波分解和重构应用到图像处理中，通过加权小波系数和对 不同频段信息的分析以及利用中值滤波的处理后得到最后的去隔行图像，这两种 算法充分利用了视频信号在空间和时间上的相关信息，结合了小波和形态学对图 像处理的优点，克服了原来算法去隔行时的不足实验结果表明，这两种处理方 法分别在局部图像边缘处和富含纹理信息的图像处理效果不错，降低了由于隔行 扫描带来的边缘锯齿效应和行间闪烁问题，提高了视觉效果 本文共分为六章，具体内容安排如下；第一章首先介绍了隔行扫描的优缺点 和研究去隔行问题的重要性，并解释了去隔行问题以及阐述了去隔行技术技术与 超分辨率的关系第二章介绍了经典的非运动补偿去隔行算法，给出了不同算法 的公式描述并对分析各种算法的优缺点以及带来的问题第三章介绍了传统的运 动估计和运动补偿技术，分析了视频序列对运动估计和运动补偿的要求以及各种 方法可能产生的缺陷，重点介绍了运动估计中常用的搜索算法第四章介绍了基 于运动补偿的去隔行算法，通过前一章介绍的运动估计和运动补偿的方法，发展 了各种各样的去隔行算法，并分析了各种算法的优缺点第五章首先阐述了小波 变换的基本理论，然后提出了本文的去隔行算法并给出了算法的详细步骤和仿真 实验结果第六章是全文的总结 关键词：去隔行，中值滤波，运动补偿，运动估计，小波变换，信噪比 a b s t r a c t f o rh i g h d e f i n i t i o nd i g i t a lt e l e v i s i o n ，t h ev i d e os i g n a lp r o c e s s i n gd e - i n t e r l a c i n gi s t h em o s ti m p o r t a n tp a r to ft h ev i d e op o s t p r o c e s s i n gt e c h n o l o g y i nt h er e c e n ty e a r s ， al o to fn o v e ld e - i n t e r l a c i n ga l g o r i t h m sh a v eb e e np r o p o s e d p a r t i c u l y , t h em o s ta d - v a n c e dd e - i n t e r l a c i n ga l g o r i t h m su s i n gm o t i o nc o m p e n s a t i o nt e c h n o l o g y , w h i c ha p p l y t h em o t i o ni n f o r m a t i o na l o n gt h et r a j e c t o r y f i r s t l y , t h i sp a p e ri n t r o d u c e st h et r a d i t i o n a ld e - i n t e r l a c i n ga l g o r i t h m s ，i n c l u d i n g t h ec l a s s i cn o n - m o t i o nc o m p e n s a t i o na l g o r i t h ma n dt h ea l g o r i t h mb a s e do i lm o t i o n c o m p e n s a t i o na n da n a l y s i st h ea d v a n t a g e sa n dd i s a d v a n t a g e so fe a c hm e t h o ds i m o p l y a c c o r d i n gt ot h e s e ，a n dt h e nw ep r e s e n tt w on e wd e - i n t e r l a c i n ga l g o r i t h m sw h i c h e m p l o yt h ew a v e l e tt r a n s f o r m i n g t a k i n gi n t oa c c o u n tt h ec h a r a c t e r i s t i c so fw a v e l e t d e c o m p o s i t i o n ，w ea p p l yt h ew a v e l e td e c o m p o s i t i o na n dr e c o n s t r u c t i o ni n t oi m a g ep r o - c e s s i n g t h r o u g hw e i g h t i n gt h ew a v e l e tc o e f f i c i e n t sa n dc o n s i d e r i n gt h em e d i a nf i l t e r ， w eg e tt h ed e - i n t e r l a c i n gi m a g ef i n a l l y , w h i c hc a nm a k ef u l lu s eo fs p a t i o - t e m p r o a li n - f o r m a t i o no ft h ev i d e os i g n a l ，b e c a u s et h e s em e t h o d sc o m b i n et h ew a v e l e ta n a l y s ea n d m o r p h o l o g y , a n dt h e yo v e r c o m et h es h o r t a g eo fo r i g i n a ld e - i n t e r l a c i n g e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o d sg i v eb e t t e rq u a n t i t a t i v ea n dab e t t e rv i s u a l p e r f o r m a n c et h a nt h et r a d i t i o n a lm e d i a nf i l t e rm e t h o d t h i sp a p e rc o n t a i n ss i xc h a p t e r s i nc h a p t e r1 ，w ef o c u so nt h ea d v a n t a g ea n d d i s a d v a n t a g ea b o u tt h ei n t e r l a c eb r i e f l y , t h e np r e s e n t st h er e l a t i o nw i t hd e i n t e r l a c i n g a n ds u p e r r e s o l i t i o n c h a p t e r2i n t r o d u c e sa no v e r v i e wo fd e i n t e r l a c i n gt e c h n i q u e sr a n g e f r o mn o n - m o t i o nc o m p e n s a t e d h i g hq u a l i t yd e i n t e r l a c i n gd e p e n d so na c c u r a t em o t i o n v e c t o r s ，w h i c hn e e dt ob ee s t i m a t e d t h e r e f o r e ，w ep r e s e n ts o m et r u e - m o t i o ne s t i m a t i o n a n dm a n ym o t i o n - c o m p e n s a t e db a s e do nt h et r u e - m i t o ne s t i m a t i o ni nc h a p t e r3a n d 4 i nc h a p t e r5 ，f i r s t l yw ei n t r o d u c et h ew a v e l e tt r a n s f o r m ，t h e np r o p o s eo u rm e t h o d s a n d t h i sc h a p t e ri n c l u d e st w oe v a l u a t i o ns e c t i o n so fc o n v e n t i o n a ld e i n t e r l c i n ga l g o - r i t h m sa n dp r o p o s e da l g o r i t h m s f i n a l l y , t h ec o n c l u s i o n sa r ef o r m u l a t e di nc h a p t e r6 k e y w o r d s ：d e - i n t e r l a c i n g ，m e d i a nf i l t e r ，m o t i o nc o m p e n s a t i o n ，m o t i o ne s t i m a - t i o n ，w a v e l e tt r a n s f o r m ，p s n r 第二章非运动补偿的去隔行算法 2 1 线性技术去隔行算法 2 1 1 场内插值法 2 1 2 场间插值法 2 1 3 双倍线性法 2 2 非线性技术去隔行算法 2 2 1 运动自适应去隔行。 2 2 2 边缘方向相关插值 2 2 3 隐式自适应算法 2 3 小结 第三章运动估计和运动补偿算法 3 1 基于光流的运动估计 3 2 基于像素的运动估计 3 3 块匹配算法的运动估计 3 3 1 块匹配准则 3 3 2 有效的搜索策略。 3 4 运动补偿 3 4 1 概述 3 4 2 时空傅里叶频谱 3 5 运动补偿方式。 ； = l 2 3 4 4 5 5 5 5 6 6 6 7 8 9 m m n 心 m m 蝎坞 坞姐 4 6a m m c 算法3 0 4 7 小结3 3 第五章运动自适应去隔行算法 3 4 5 1小波变换的基本理论3 4 5 1 1 小波变换3 4 5 1 2离散小波变换3 5 5 1 3小波的多分辨率分析的分解重构3 6 5 2运动自适应去隔行算法3 8 5 2 1基于小波的改进的a m m c 去隔行算法3 8 5 2 2 基于中值滤波的去隔行算法4 7 5 3小结5 2 第六章结论 5 3 参考文献 5 4 作者在攻读硕士学位期间已完成的论文 5 8 致谢 5 9 第一章概述 传统的模拟电视系统已有5 0 年历史，由于发展中的不断完善，以及图像质 量、设备成本等方面的日趋成熟，已被广大用户接受但是随着科学技术的不断 发展和人们对视听产品质量要求的不断提高，高质量的去隔行技术变得极其重 要因此，去隔行技术的研究顺应趋势成为了当今视频领域的研究重点高质量 的去隔行技术是实现视频信号从隔行到逐行扫描格式转换的关键技术，简单来讲 就是利用图像信号之间的相关信息插值由于隔行扫描丢失的行，其目的是消除隔 行扫描带来的行问闪烁、行蠕动等缺点，提高图像的垂直分辨率，从而更好地满 足人类的视觉需要 传统模拟电视系统由于隔行扫描带来的优缺点是显而易见的，主要表现在以 下几个方面： ( 1 ) 隔行扫描的优点 在保证基本不影响图像分辨率和画面无大面积闪烁的情况下，将图像信号带 宽减小到了原来的一半，即在图像质量下降不多的情况下，信道利用率提高了一 倍由于信道带宽的减小，使系统及设备的复杂性与成本也相应减少，这也是为 什么国际上早期的电视制式均采用隔行扫描的原因 ( 2 ) 隔行扫描的缺点 1 ) 行间闪烁：靠近电视显示器看画面的时候，能看到画面的光栅线条，且各 扫描线在闪烁，尤其是用数码相机观看的时候，光栅效应尤为明显这是因为每 条扫描线的重复频率为2 5 h z ，低于临界闪烁频率4 5 8 i - i z ，且隔行比越大，行间 闪烁就更明显行间闪烁影响图像垂直清晰度，大面积图像闪烁也容易造成视觉 疲劳 2 ) 并行现象。传统模拟电视系统采用隔行扫描方式，理想情况下奇数场扫描 线与偶数场扫描线均匀镶嵌但当场同步电路产生同步误差时，有可能使奇数场 图像与偶数场图像重合或镶嵌不均匀，造成并行当奇数场图像与偶数场图像完 全重合时，垂直方向图像清晰度下降了一半，使图像清晰度降低，影响图像的分 解力 4 ) 爬行效应。爬行是一种隔行产生的虚像，它出现在没有运动和细节较少的 图像中，当你离显示器比较近的时候，这种现象更明显因为每条扫描线每帧只 更新一次，人眼有时会盯牢一组扫描线在下一场，新的扫描线会出现在旧的扫 描线之间，看起来好像这一组扫描线向上或向下移动到了个新的位置上在下 一场，这一组扫描线又出现在原来的位置整个的效果就是一组扫描线很快地向 上或向下移动，引起了爬行【1 】1 1 1去隔行问题的描述 尽管这些传统的隔行扫描显示器由于成本低较受欢迎，然而在高清电视越 来越被人们接受的今天，隔行扫描所带来的缺点也越来越引起研究者的关注因 此。去隔行技术研究的重要性也就变得尤为突出 去隔行技术简单来讲就是将隔行扫描的图像信息转换成逐行的，来满足人类 视觉需要具体的描述过程如图1 2 视频序列中的一幅图片叫一帧，一帧包括两场在扫描的过程中是分为两场 来扫描，即奇数场和偶数场在去隔行技术中，输入场只包括图像的奇数场或偶 数场，去隔行就是把”场”转换为”帧”，最后的输出就是一幅完整的图片用 公式表示如下。 输入场，r ( ；，n ) 表示插值得到的场信息，j k ( 茁，礼) 表示最后的去隔行输出场 【2 】 1 2 与超分辨率的关系 超分辨率( s u p e r - r e s o l u t i o n ) 通俗点说就是通过硬件或软件的方法提高原有图 像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超 分辨率重建超分辨率重建的核心思想就是用时间带宽换取空间分辨率，实现时 间分辨率向空间分辨率的转换根据定义，我们可以看到去隔行算法是超分辨率 算法的一部分，但是超分辨率追求的是空间方向上的分辨率 对于单一的低分辨率图片，利用超分辨率或去隔行技术的时候，都会产生一 些不适定问题但是，当有一系列具有些许相互不同点的低分辨率图片时，这种 不适定问题就会解决在视频处理中，超分辨率是采用3 维( 水平、垂直和时域) 相关性对输入图片进行上变频来解决图像的混叠问题的同样，和去隔行技术一 样，要想获得高分辨率的图片都要借助于合适的运动估计和运动补偿技术 尽管去隔行技术和超分辨率算法之间有着许多共同点，但是，其两者之间的 不同点也是显而易见的去隔行算法会受到实时的限制，而超分辨率一般来说却 连太堂亟堂焦途塞生 是可以离线处理的一项技术，超分辨率的算法大都是利用的迭代，即从幅较高 分辨率图片的估计开始迭代，每次都要用多幅相邻的图片来更新这幅图片基于 实时的限制和用户价格的需求，利用迭代的方法在去隔行技术中基本是不可行 的此外，去隔行技术可以利用减少相邻图片的数目( 一般用幅或两幅即可) 来 降低系统成本，然而超分辨率却最少要用十几幅图片才能达到想要的结果 超分辨率算法可以应用到高质量的视频捕获过程中、军事领域的小目标检测 或者民用监视图像，还有一些医学领域的肿瘤检测等这些应用重点是对于单一 或是受限制的一系列图片的改进，其在视频中的应用也是为了在超分辨率算法的 研究过程中引起更多的关注，但是在视频领域的应用将来也可能会和去隔行技术 一样被广泛接受，从而得到更高的发展 1 3 与本文的内容 去隔行实质上是对视频信号的采样结构进行上变换( u p - c o n v e r s i o n ) 去隔行 的过程中，人们不仅需要视频信息能在各种视频系统中得以交换，还希望能够消 除隔行电视中的种种问题但是对于传统的模拟电视信号是不满足奈奎斯特采样 定理的因此，我们不能利用采样定理来简单的重构信号，并且也不能解决所有 的情况下去隔行带来的问题 鉴于去隔行技术在近几年的发展，以及分析已有的去隔行算法的优缺点和带 来的问题，本文提出了两种新的去隔行算法，创新点就是引入了小波变换，充分 利用了小波的优点，使得去隔行后的图像质量有了更好的视觉效果 文章内容安排如下： 第一章概述了隔行扫描的缺点和去隔行与超分辨率的关系 第二章介绍了传统的非运动补偿去隔行算法，并对其进行了优缺点分析 第三章和第四章介绍了运动估计与运动补偿技术和运动补偿的去隔行算法 第五章首先阐述了小波变换的基本理论，提出了本文的去隔行算法以及给出 了算法的详细过程和仿真实验结果第六章是全文的总结 1 4 小结 本章是概述性内容首先阐述了隔行图像存在的不足和去隔行的基本概念以 及介绍了去隔行技术与超分辨率的关系；最后介绍了本篇文章的内容安排 上海大学硕士学位论文 5 第二章非运动补偿的去隔行算法 传统的去隔行算法大致可分为非运动补偿和运动补偿两大类其中非运动补 偿又可分为线性和非线性两类，线性技术主要场内插值算法、场间插值算法以及 双倍线性法等；非线性技术包括运动自适应算法、边缘方向相关插值算法和隐式 自适应算法等这些方法操作简单、成本低以下简单介绍几种传统的去隔行算 法 2 1 线性技术去隔行算法 在电视应用领域中，时空滤波器很少被采用然而在p c 应用领域，时空滤 波器近年来被重新提起，这就是通常所称的b o b 滤波器和w e a v e 滤波器这 些滤波器很快和时空线性滤波器一起被应用于商业电子领域，也引起了该领域研 究人员的重视 3 】 2 1 1 场内插值法 场内插值法是根据像素之间垂直方向的相关性，是有一定智能地分析上、下 相邻行的像素特征，按一定的权重计算出相邻的像素值，形成新的图像行，插入 到两个图像行之间，这也就是所谓的b o b 算法用公式可以表示如下： l e n p t ( 丘n ) yr o o d2 = n r o o d2 f o u r ( z , n ) = i 盟出型出 幽e ( 2 1 1 ) 上述公式中，晟删t ( ；，n ) 表示输入帧，t ( 荟，n ) 表示处理后的输出帧量 表示矢量位置， f o 1 矢量表示在方向一个像素的位移，n 表示视频信号的场 l 数，y 表示当前位置的行序列数 这种方法成本低，既可以有效去隔行，改善了锯齿效应，同时在一定程度上 改善了垂直清晰度，但对于动态画面中具有丰富细节的部分，很容易出现上下抖 动现象 2 1 2 场间插值法 场间插值法也叫场复制法，是将属于同一帧的奇、偶两场直接合并为一个逐 e 眦tc ；，n ，= _ 叫o - ：卜 x ( 卜：卜- - ( ：卜一h 二卜 de， ( ) n “l ，“l i n t m k p a z l 囝2 1e l a 算法示意图 如图2 1 所示，像素点a 、b 、c 、d 、e 和f 为待插僵点x 周围邻域 内的原始像素点，x 的值由它相邻像素点之间的相互关系来决定z i 她 ( ( 1 a f i i c d i ) ( i a f l i b e i ) ) x = 托( ( 1 c d l b 2 ，显而易 见，s 。( z 1 ，x 2 ，t ) 是有限的时间变量，也就是说，对i r l b t ，& ( f 1 ，毋，f t ) = 0 ，其 中b t = b l 1 + b 2 v 2 为了使符号和插图的简单化，随后讨论的都是基于( f 1 ，f 1 ) 平面内& ( f l ，局，忍) 支撑面上的投影，f l y l + f t = 0 ，如图3 4 ! ，t p i ，- r 入 一 - i k 囝3 4 在( r ，n ) 平面内支撑面投影 2 加速运动的全局模型 就匀速运动而言，轨迹函数c ( t ；x l , z 2 ，t o ) 可以用个二阶多项式来逼近考 虑全局运动，我们有； 其中，v l , 3 2 ，口，a 2 分别表示瞬时速度和加速度 八v 本 撑 眈 眈 1 2 l 一2 一 一 t 也 也 一 一 勉 勉 p 水 1 1 a 0 l 一2 l 一2 一 一 t t 叽 m 一 一 l 1 l r l r c 0 8 s = = d2 z 土盘太堂亟堂笪诠塞 窒! 与匀速运动模型不同的是，加速运动的视频序列在时域内有一个无限的支撑 面，这是因为速度会随着时间无限延长而增加的在加速运动的视频序列中，可 以采用短时频谱分析技术，通过在时域上将个小窗口引入到视频信号中定义 短时频谱为： s l ：( z 1 ，z 2 ，) = s 。( z l ，3 ：2 ，t ) h ( t t o ) e - - j 2 r ( f 1 l + 尼2 + r 。) d x l d x 2 d t 其中，h ( t ) 表示时间分析的窗口因此我们可以得到。 礤( f 1 ，f 2 ，r ) = s b ( e l ，f 2 ) h ( 尻+ f l y l + f 2 v ：) e - j 2 霄( r + f 1 ”l + f 2 v 2 ) t o , f t q ( f 1 ，f 2 ，f t ) 其中，q ( f 1 ，f 2 ，鼠) ：凡e - j 2 1 r ( n 譬+ 尼! ) ，车r 是变量r 的一维卷积，瓦 是一维傅里叶变换 p a t t i 【2 1 】等人证明了短时视频频谱的支撑面是集中在一条线周围，这条 线的方向是会随着瞬时速度矢量变化而变化的 3 5 运动补偿方式 在去隔行算法中，沿着运动轨迹进行运动补偿插值，有效的消除闪烁效应和 锯齿效应，假设运动估计后得到下一场七十1 场中位于像素点( z ，y ) 处的块c k + 1 的位移矢量为( 如，如) ，那么可以简单的利用位移矢量来重建丢失行的信息具 体操作是假设当前k 场中像素点( z ，y ) 对应的块取的位移矢量为( 如2 ，如2 ) ， 方向指向前一场七一1 中块b k 一1 ，因此可以利用前一场和下一场中的块线性平 均得到当前场的信息，这种方法简单易行，但是准确度不够高如图3 5 所示。 囝3 5 运动补偿方式示意囝 具体的公式如下： 棚，；型生旦娑丛型慨， 土连太堂亟堂焦迨塞 丝 根据这个思想也可以考虑另一种补偿插值方式，即考虑位于的块，其公式 为： 髭( z + 鲁肿虿d y ) = 丛吐业掣划( 3 5 2 ) 这种方法是由鼠+ 1 块的信息得到的，估计这个块在当前场出现的位置 由于块的大小取值问题，在当前场中的有些像素点可能由多个块生成，有些像素 可能找不到对应的块，这样就会造成部分信息不能补偿，但是可以采用取平均值 或是用运动补偿来预测非整数点的像素值，这样的话就会造成大量的计算过程， 使得复杂度不利于硬件的实现 3 5 1 多假设运动补偿 考虑到上面两种方法不能给予更高精度的补偿插值，b g i ：r o d 2 2 】提出了多 假设运动的补偿方法，是把上面两种方法作为假设，然后取这两种运动补偿得到 的场的平均值这样得到的结果会更精确一些，图像效果也更能好，通过多假设 运动补偿预测的非整数像素点的也更准确 多假设运动补偿不仅可以对一个预测信号进行补偿插值，还可以同时对几个 线性重叠的预测图像进行运动补偿插值，这样可以增加补偿的准确度，在编码上 也可以提高编码效率假定通过上面两种补偿方法得到的补偿插值为以和髭， 那么根据多假设运动补偿的思想，对当前场的预测就可以利用以和髭的线性平 均来表示，公式如下： ：盘虹凄丛幽( 3 5 3 ) 以上是对两种方法的加权平均，也可以扩展到多个假设的情况下，那么多假 设运动补偿就可以用下式来表示。 m 筇= ：h ( t ) 木咒( 3 5 4 ) 其中，? 表示多假设运动补偿后的预测图像，l 为第i 种假设得到的预测 图像，h ( ) 为加权系数，其值可以根据视频序列的运动形式的不同选择合适的 加权因子，共有m 种假设特别地，b g i r o d 证明多个运动补偿预测信号的线 性组合更接近于实际要预测的信号 3 5 2 重叠块运动补偿 在视频序列中，图像中物体的形状和其运动形式是不规则的，因此，在运动 补偿选定的块中的像素点有时也不一定是做相同的运动，这样前提假设块内的像 囝3 83 2 3 2 像素重叠窗区域示意图 将第七帧中的块用第七一1 帧的块通过重叠运动补偿方法进行预测，其公式 为： ，似，以七) = u ( n ，m ) + 乃+ 如，u + d u ，k 一1 ) ( 3 5 5 ) 其中，u ( 佗，m ) = “，( n ) 幸u ( m ) 是窗函数，可以采用双线性函数或上升余弦 函数窗 当采用双线性函数时， u ( n ) 和u ( m ) 的关系是。 u ( 1 ) ：u ( n ) ；u ( i ) ： 南g + ) = o ，1 ，2 1 5 ( 3 5 6 ) 【u 3 1 - i 汪1 6 ，1 7 3 1 当采用上升余弦函数时，u ( n ) 和u ( m ) 的关系是： “州= ( 卜c o s 5 箸翻 ( 3 5 7 ) 叩i - - ，= 主l f - l c o s ( 巫1 6 丌) ) 哪= 0 1 3 1 r ”“ 连太堂亟堂焦途塞丝 重叠块运动补偿对当前块中每一个象素的运动矢量考虑成当前块的运动矢 量与相邻块的运动矢量的加权和，其加权值与当前象素点到块中心的距离和到各 个相邻块的距离有关经过重叠块运动补偿插值后的图像改善了块效应，能更好 的满足人类视觉的需要 3 5 3 重叠可变块运动补偿 为了更好的保持块内像素点运动的一致性，把帧分成更少的块，a m h c h a r t 等人提出了可变块大小的运动补偿算法，其思想是根据像素点的运动形态自适应 的把帧分成不同大小的块，利用块的大小不同来分别处理运动形态一致性强的像 素和包括复杂运动的像素点这样通过自适应就可以避免由同一大小的块带来的 不匹配问题，在进行视频编码时，使用大的分块可以减少表征运动向量所需的比 特数，使用小的分块则可以在编码时产生更少的预测冗余信息【2 3 】 3 6 小结 本章主要概述了传统的运动估计算法和运动补偿方法，分析了视频序列对运 动估计和运动补偿的要求以及各种方法可能产生的缺陷，重点介绍了运动估计中 常用的搜索算法，根据运动估计进而得到一些基本的运动补偿算法，并对其进行 了优缺点分析 上海大学硕士学位论文 第四章基于运动补偿的去隔行算法 第二章已经简单介绍了传统的去隔行算法，这些算法尽管在一定的程度和应 用上体现了其优势，但是随着高科技的发展，人类对视觉系统的要求也越来越苛 刻，相应的也就发展了更高精度的基于运动补偿的去隔行算法，这类方法也是最 先进的去隔行算法，始于1 9 世纪中期，是随着运动估计在实际应用中的推广发 展起来的算法运动估计算法广泛应用于视频扫描转换和高清电视等，其思想是 利用视频序列中的运动信息，沿着图像运动轨迹进行补偿插值，运动补偿准许我 们将运动的图像虚拟的转化为静止的图像，便于补偿插值 视频序列中的图像并不是所有在时间上的变化都可以用运动矢量来描述，比 如场景变化、场景淡化和背景模糊等会在运动矢量的估计上存在问题然而，物 体的运动模型有着强大的物理意义，物体在运动的时候由于惯性的原因，在运动 完全消失或是物体要变形之前还会保留一段时间的运动形式，这也是区别于空间 插值算法的不同之处 本节我们将讨论从一般的非运动补偿算法推导出的运动补偿算法，其可以解 决运动补偿子采样数据带来的基本问题，即在隔行扫描时，如果用来修正像素点 坐标的运动矢量不是指向相邻域网格上的问题，在水平域内对补偿插值不会带来 多少影响，但在垂直域上，采用网格理论的需求就不能满足，因此也就得不到精 确地插值结果 4 1 直接法 基于运动补偿的去隔行算法对静止的图像要比运动的图像获得更好的效果 用f ( 茁+ m 吾( 奎，t 1 ) ，n + m ) 来代替f ( ；，n + m ) 将非运动补偿算法转化为运动 补偿算法，以下将要涉及到的运动补偿算法都称为“直接法。【2 】 4 1 1 运动补偿时间插值 最简单的从非运动补偿演绎出的运动补偿的算法就是运动补偿场插入方法， 也就是零阶的运动补偿时间插值，其前一场的原始采样会在个场内内由下式来 转化； f o t ( 互，扎) = f ( 荟一d ( 荟，扎) ，孔一1 ) ( 4 1 i ) 这种简单的补偿方法由于隔行扫描或受子像素运动矢量的影响，导致取样位 瀣太堂亟堂焦诠塞 踅 置不符合取样所采用的网格，因此会在垂直方向上出现问题但是通常是可以忽 略并且在一些期望的像素点还是会采用采样定理来计算的这种去隔行技术是假 设所有丢失行的信息都可以通过前一场的信息来重构，然而未覆盖的背景却不能 利用前一场的信息来重构由于不准确的运动矢量会导致错误的插值采样，因此 运动补偿时间插值算法还要假定运动矢量是准确的 鉴于此，可以在前一场和下一场考虑高阶时域滤波插值方法，其中一阶时域 滤波定义为。 胁) ：尘二堕尘二婆尘堕尘! h m ) 通过取平均值的方法可以对上面出现的问题予以部分解决，但是对于由错 误的运动矢量导致的结果还是不能处理的显然这种方法蕴含着插值行的去噪过 程，这是一个不利条件，因为原始的信息是没有去噪的在这种情况下，可以应 用更高阶的时域滤波，但是运动矢量的准确性会随着时间长度的增加而降低此 外，成本的增加也会影响用户产品的需求 4 1 2 运动补偿的时空插值方法 由非运动补偿的时空滤波推广为运动补偿滤波的形式如下： f o u ( 茁，n ) = m 七f ( 茁+ 七面v + m d ( ；，n ) ，n + m ) h ( 七，? ( 4 1 3 ) 七，m z ，( k + m ) m o d2 = l 其中，h ( k ，m ) 是在垂直时间滤波的脉冲响应时间域的滤波技术可以看做 是时空滤波的一部分。因为这些时空滤波算法是受益于时间的相关性，并且也和 空间的相关性有着密切的联系，然而能比单纯的时间滤波得到更好的效果和性 能 4 1 3 运动补偿的中值滤波方法 与前面提到的运动补偿算法比较，在某种程度上，基于运动补偿的中值滤波 算法可以解决不准确的运动矢量如果运动矢量不准确，那么很可能是由于在当 前场内的运动补偿的取样有一个不在垂直相邻域内的值，这样就导致了行重复 运动补偿的中值滤波方法的具体公式如下： t ( 茅，钆) = m e d f ( - ；一声y ，n ) ，f ( ；+ 芦，n ) ，f ( ；一吾( ；，n ) ，n 1 ) ) ( 4 1 4 ) 颤川= 删 n 6 c d e m f ( 茁一左( 如) 加- ) ，z 掣卜r ， 其中，k 和1 是加权因子根据h a a v i s t o 【3 2 】的文章可以得知最佳的加 权因子的值取为k = 2 ，f = 1 4 2 混合算法 考虑到基于运动补偿的去隔行算法和非运动补偿算法两类方法的优缺点， n g u y e n 和k o v a c e v i c 3 3 3 4 】描述了由四种方法混合的去隔行算法，这四种算法 分别为线性平均法( f l ( 茁，扎) ) 、基于边缘的插值算法( 玛( 奎，n ) ) 、场平均算法 ( 风( 芴，n ) ) 和运动补偿的场平均算法( 只( 茁，n ) ) ，然后对这四种方法加权求和 4 ( ；，n ) = 乏：b f j ( ；，n ) ( 4 2 1 ) j = l 加权因子岛可以通过在当前位置周围的一个小区域内利用相应的去隔行算 法的绝对差来计算 k w o n 3 5 】等人主张用转换的方法来代替消退并且在块混叠处提出了新的论 断它们包括没有边缘的自适应性，但是通过区分前向后向的场插值和基于运动 补偿的场甲均，可以将这些方法推广为大量的运动补偿插值这种混合算法的基 本问题就是在对不同方法求平均的时候会引入模糊，因为转换是需要这些方法的 一个可靠的质量排名。然而这样的排名在很多情况下是很难得到的 4 3 时域反向投影算法 w o o , 1 s 3 6 等人提出了一种新的方法，当运动矢量在前一场上没有指向已有 的采样上时，即采样定理不适用时就将运动矢量投影到前前一场上去，这种利 用运动矢量将其反向投影到前一场上的方法就是时域反向投影算法 如果第一次投影位置处在两个已知点的中间时，就继续沿着运动矢量向前 前一场投影经过两次投影，投影点落在已知点附近的概率就会大一些如果两 次投影后仍然找不到已知点与其对应，那么这时就只用场内的边缘自适应算法 或其他算法来求具体公式如下： f ( i ，扎) 可r o o d2 = nr o o d2 f ( 茁一j ( ；，n ) 一；，n 一1 ) ( 妙一d y 一勺) r o o d2 = ( n 1 ) m o d 2 f ( 茁一2 d ( 荟，n ) 一苔，礼一2 ) ( ! ，一2 d 掣一e v ) r o o d2 = 竹r o o d2 f ( ；一d ( ；，n ) ，n 1 ) e l s e 其中，苫= ( o ，勺) t ，勺( 勺 d m e d + 饰 i 生型剑2 e j s e c p 是常数，通过中值滤波或线性甲均法的输出决定初始去隔行算法的输出 值 = k 撕仁n ) 一) 一( 生业笋型) | d m e d = l t ( 茁一左( 茁，n ) ，n 一1 ) 一m e d ( f ( ；一面。) ，f ( ；，仃- 1 ) ，f ( ；+ 五，n ) ) i 然而，由于上面的差值依赖于初始去隔行算法的精确度，p ( 茁，n ) 就不是很 明显，为了推导出p ( 奎，礼) 的表达式，可以假定沿着运动轨迹方向选择的非平稳 的像素点等同于垂直邻域的原始像素，具体公式如下； 胁( ；一掘n ) ，n 一- ) 一。( ；，n ) i = 半 其中， a = i f ( ；一屯，n ) 一t ( 奎一左( 奎，n ) - - 。d y , r $ - 1 ) i 土瀣太堂亟堂焦诠塞 圣q b = i f ( ；+ 声p ，n ) 一t ( 茁一i ( 茁，礼) + 。t l t , n 一1 ) i 这样就可以导出p ( 暑，n ) 的表达式t p(奎，n)=cl，p(。，1，jf云：_ii：了=_i三舌兰毛而) 式中6 是个常数，是为了避免分母为零的情况和由于分子分母很小的时候 在相邻像素之间引入的混叠 总之，时问递归算法会存在误差传播的风险性，但是通过七( ；，n ) 的表达式 可以看出误差能够在f k 。和f 之间计算，因此这个误差最后也就会随之消失 4 6a m m c 算法 a m m o ( a d a p t