（信号与信息处理专业论文）视频图像降噪算法研究.pdf

重庆大学硕士学位论文 中文摘要 摘要 近年来，数字视频的应用表现出迅猛的发展趋势。在数字视频系统中，数字 视频的采集、编码、传输、解码等过程中会不可避免地引入各种噪声，噪声的存 在不但严重影响了视频的主观视觉质量，而且会影响数字视频后处理，例如编码、 目标识别和跟踪等。因此，伴随着数字视频的广泛应用，就迫切需要有高效的视 频降噪算法。 在视频图像降噪中，时域滤波比空域滤波在保护视频图像边缘和细节方面更 具优势，但需要借助运动估计来更好地利用时域上的相关性。目前基于运动估计 视频降噪时域滤波算法受运算量的限制较大，容易产生由于匹配块搜索不准确引 起的块效应。 在系统地阐述了视频图像降噪的基本理论与发展现状的基础上，对运动估计 进行了深入学习和探讨，提出了一种基于运动估计的视频图像3 d ( 时空联合) 降噪 算法。首先，对当前帧和参考帧进行下采样；然后，在时域上以块为单位对当前 帧进行运动估计，在当前帧的前一帧和后一帧中同时搜索匹配块；对搜索到的匹 配块与当前块进行运动强度检测，通过设计的噪声标准差估计单元、实时确定出 当前帧运动强度检测的阈值，以准确判断块的运动强度；若匹配块运动强度较小， 就对当前块进行时域滤波；若匹配块运动强度过大，就对当前块进行空域滤波， 另外，噪声标准差估计单元测定的噪声标准差也用作空域滤波器的参数。 该视频图像3 d 降噪算法，分别结合了基于下采样的三步法、基于下采样的菱 形搜索算法进行了仿真分析，并与一种时域滤波算法的仿真结果进行了比较。通 过对多个视频测试序列在不同噪声强度下进行降噪测试，对该算法与时域滤波算 法的降噪结果从客观质量评价参数p s n r ( 峰一峰信噪比) 、主观质量、运行速度三 个方面进行比较分析，结果表明：该视频图像3 d 降噪算法既可以有效抑制视频图 像中的噪声，又较好地保护了图像细节，没有产生明显的块效应等视觉降质，同 时算法运算速度较快，能更好地满足视频处理的实时性要求。 关键词：视频图像，降噪，时域滤波，空域滤波，下采样 重庆大学硕士学位论文英文摘要 a b s t r a c t i nr e c e n ty e a r s ，d i g i t a lv i d e oh a sb e e nd e v e l o p i n gf a s ta n dw i d e l y i nd i g i t a lv i d e o s y s t e m s ，t h ea c q u i s i t i o n , e n c o d i n g ，t r a n s m i s s i o na n dd e c o d i n g o fd i g i t a lv i d e o i n e v i t a b l yi n t r o d u c ev a r i o u sk i n d so fn o i s e ，w h i c hw i l ls e r i o u s l ya f f e c tn o to n l yt h e s u b j e c t i v ev i s u a lq u a l i t yo fv i d e ob u ta l s ot h ed i g i t a lv i d e op o s t - p r o c e s s i n gs u c ha s c o d i n g ，o b j e c tr e c o g n i t i o na n dt r a c k i n g t h e r e f o r e ，a l o n g 丽t l la 埘d er a n g eo fd i g i t a l v i d e oa p p l i c a t i o n s ，t h e r ei sa nu r g e n tn e e df o re f f i c i e n tn o i s er e d u c t i o na l g o r i t h m t h et e m p o r a lf i l t e rh a st h ea d v a n t a g eo v e rs p a t i a lf i l t e ri nt h ep r o t e c t i o no fe d g e a n dd e t a i li nt h ev i d e oi m a g en o i s er e d u c t i o n , b u tt h em o t i o ne s t i m a t i o ni sr e q u i r e dt o m a k eb e t t e ru s eo ft i m ed o m a i nc o r r e l a t i o n 1 1 1 ep r e s e n tt e m p o r a lf i l t e rb a s e do nt h e m o v e m e n te s t i m a t ei sl i m i t e db yc o m p u t a t i o nc o m p l e x i t ya n dv u l n e r a b l et os e r i o u s b l o c ke f f e c t sw h e nb l o c km a t c hi si n a c c u r a t e a f t e rt h es y s t e m a t i ci n t r o d u c t i o no ft h et h e o r ya n dd e v e l o p m e n to fv i d e ot h e m o v e m e n te s t i m a t i o ni ss t u d i e d av i d e oi m a g e3 d ( c o m b i n e dw i t hs p a t i a la n dt e m p o r a l f i l t e r s ) n o i s er e d u c t i o ns y s t e mb a s e do nt h em o v e m e n te s t i m a t ei sp r o p o s e d f i r s t , c u r r e n tf r a m ea n dt h er e f e r e n c ef t i m ea r ed o w n s a m p l e d ；t h eb l o c ki st a k e na st h eu n i t t oc a r r ym o t i o ne s t i m a t eo fc u r r e n tf r a m e ，a n dt os e a r c hf o rt h em a t c hb l o c ki nt h e f o r m e ra n dn e x tf l a m e t h e n , m o v e m e n ti n t e n s i t yb e t w e e nc u r r e n tb l o c ka n dm a t c h b l o c ki sd e t e c t e d t h et h r e s h o l do fm o v e m e n ti n t e n s i t yd e t e c t i o ni so b t a i n e df r o mn o i s e s t a n d a r dd e v i a t i o ne s t i m a t eu n i tt od e t e r m i n et h em o v e m e n ti n t e n s i t ya c c u r a t e l y i ft h e m o v e m e n ti ss m a l l ，at e m p o r a lf i l t e rw i l lb eu s e d i ft h em o v e m e n ti sl a r g e ，as p a t i a l f i l t e rw i l lb eu s e d b e s i d e s ，t h en o i s es t a n d a r dd e v i a t i o ni sa l s ou s e da st h ep a r a m e t e ro f a i rz o n ef i l t e r 1 1 1 e3 dv i d e on o i s er e d u c t i o na l g o r i t h mi sc o m b i n e ds e p a r a t e l yw i t ht h et h r e e s t e p s e a r c hm e t h o db a s e do nd o w n s a m p l ea n dt h ed i a m o n ds e a r c hm e t h o db a s e do n d o w n s a m p l e m o r e o v e r ，t h es i m u l a t i o nr e s u l t so fat i m ed o m a i nn o i s er e d u c t i o n a l g o r i t h ma g ec o m p a r e d an u m b e ro ft e s ts e q u e n c e s 、析md i f f e r e n tn o i s el e v e la r et e s t e d u n d e rt h ea l g o r i t h mp r o p o s e da n dt h et i m ed o m a i nn o i s er e d u c t i o na l g o r i t h m 1 1 1 e o b j e c t i v eq u a l i t y , s u b j e c t i v eq u a l i t ya n dt h er u n n i n gr a t ei sc o m p a r e da n da n a l y z e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mp r o p o s e dc a ne f f e c t i v e l ys u p p r e s st h e n o i s e ，p r o t e c ti m a g ed e t a i l ，a n da v o i dt h ed e g r a d a t i o no fv i d e oi m a g e ，s u c ha sb l o c k e f f e c t i t sc o m p u t a t i o ns p e e di sf a s t e ra n db e t t e rs a t i s f i e st h et i m er e q u i r e m e n to fv i d e o n 重庆大学硕士学位论文 英文摘要 p r o c e s s i n g d o w n - s a m p l e n o i s er e d u c t i o n , t e m p o r a lf i l t e r i n g ，s p a t i a l f i l t e r i n g ， h i 学位论文独创性声明 本 人 声明 所 呈 交 的盟 士学位论文 帆鳋圈侮鳖噻笪! 蠢蚕1 1 花： 是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名：钇；1 专萄 导师签名： 签字日期： 2 巧df ，多7 签字e t 鞋i 2 0 d f 6 。 学位论文使用授权书 本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意 中 国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库出版章程( 以 下简称“章程”) ，愿意将本人的盈士学位论文盔堕邀壁煺盛嗟篝茎蓟盎提 交中国学术期刊( 光盘版) 电子杂志社( 咖) 在中国博士学位论文全文数据 库、：中国优秀硕士学位论文全文数据库以及 重庆大学博硕学位论文全文数 据库中全文发表。中国博士学位论文全文数据库、 a ，灰度值b 在图像中将显示为一个亮点，a 的值将显示为一个暗点。 若只或只为零，则脉冲噪声称为单极脉冲。如果和只均不可能为零，尤其是它 们近似相等时，脉冲噪声将类似于随机分布在图像上的胡椒和盐粉微粒。由于这 个原因，双极脉冲噪声也称为椒盐噪声。 1 2 3 根据噪声和信号之间关系的分类 按噪声和信号之间关系可分为加性噪声和乘性噪声：假定信号为j ( ，) ，噪声为 ，l ( r ) ，如果混合迭加波形是s ( f ) + ”( f ) 形式，则称此类噪声为加性噪声；如果迭加 波形为s ( f ) 【1 + 刀( f ) 】形式，则称其为乘性噪声。前者如放大器噪声等，每一个像素 的噪声不管输入信号大小，噪声总是分别加到信号上。后者如光量子噪声，胶片 颗粒噪声等，由于载送每一个像素信息的载体的变化而产生的噪声受信息本身调 制，在某些情况下，如信号变化很小，噪声也不大。为了分析处理方便，常常将 乘性噪声近似认为是加性噪声，而且总是假定信号和噪声是互相统计独立的。 1 2 4 根据噪声频谱形状的分类 当然也有按噪声频谱形状来命名的，如：频谱均匀分布的噪声称为白噪声； 频谱与频率成反比的称为1 厂噪声；而与频率平方成正比的称为三角噪声等等。 1 3 视频图像降噪算法的国内外研究现状 随着多媒体技术的发展，视频处理技术变得越来越重要，在各种视频处理技 4 重庆大学硕士学位论文1 绪论 术中，降噪技术是非常重要的一项。在视频的获取、存储、传输和复制过程中， 视频图像会不可避免的被破坏【3 】。受噪的视频图像不但会产生不良的视觉感受，也 会限制用户获取真实信息。视频图像降噪的目的是在尽可能保留信号特征的情况 下，降低噪声，从而提高视频的视觉感受质量。视频图像降噪也是视频图像压缩 编码、增强和目标识别的预处理阶段，因此，开发和研究一个好的视频降噪方案 非常有必要。 由于视频图像的相邻帧之间运动较小，所以视频图像帧间存在高相关性。通 过在帧间引入时域滤波器，视频图像降噪可以认为是图像降噪的扩展。 现行的视频图像降噪算法，主要有三种分类方法； ( 1 ) 可以分为像素域降噪算法和转换域降噪算法两大类。像素域降噪算法是直 接对像素值进行操作，这类方法计算量小，效果较好。转换域降噪算法的将视频 图像的像素值转换到另一个域如小波域，然后再进行降噪1 4 【1 0 】，这类算法效果比 像素域的降噪效果好，但是计算量较大，往往满足不了视频处理的实时性要求。 ( 2 ) 按照滤波器支持的滤波范围来划分，主要可以分为时域滤波( 即1 d 滤波) 和 空时滤波( 即3 d 滤波) ，由于单独的二维空域滤波器没有利用到视频序列时域上 的信息，所以在本文中不以考虑。3 d 滤波利用像素在相邻帧中有限大小的空间邻 域内所有像素间的相关性；1 d 滤波只利用了图像序列在时间维上的相关性。在降 噪效果方面3 d 滤波比1 d 滤波更具优势1 1 1 】【1 2 1 。 在3 d 滤波中，空域滤波器和时域滤波器主要有两种不同的组合方式【1 3 】- 1 1 6 】： 第一种，根据图像分析结果在空域滤波和时域滤波上切换，噪声水平检测的结果 和图像分析的结果一起被用于估计滤波器的滤波强度，根据滤波器的滤波强度来 控制时域和空域上的滤波；第二种，空域滤波在时域滤波之前，先进行空域滤波 然后进行时域滤波。 ( 3 ) 按照有无运动估计，可以分为基于运动估计和运动自适应的滤波方法。二 维灰度图像的滤波估计利用图像中存在的空间相关性，而图像中存在的边缘、纹 理以及不同区域使得这种相关性随空间位置不同而变化，表现出高度非平稳的特 点。视频灰度图像序列中的相关性则同时存在于空间域( 2 d ) 和时间域( 1 d ) ， 不但每一帧中的边缘、纹理等区域使得这种相关性具有空变特点，而且图像序列 中的运动也使得各帧相同空间位置处的相关性随时间改变。如何克服这种空时域 非平稳性、提高滤波效率，一直是视频灰度图像像素域降噪滤波研究的核心内容 之一。 为克服运动带来的时域非平稳特性，还可进一步划分为运动估计方法和运动 自适应的滤波方法：运动估计的降噪方法直接利用运动估计过程找到当前像素在 参考帧中的对应像素，通过维持时间维的平稳性以保证滤波效果，实际上是沿着 重庆大学硕士学位论文1 绪论 像素在图像序列中的运动轨迹进行滤波；运动自适应的滤波方法则直接沿着时间 轴进行滤波，但采用某种自适应机制抵消运动引起的时域非平稳【l ”1 1 1 9 1 。 基于运动估计的滤波器，是为了充分利用视频图像时域上的相关性，在视频 滤波之前，首先进行运动估计，增强了视频图像序列在时域上的平稳性，此类方 法已被证明在多数情况下能够提高滤波器抑制噪声的能力。基于运动估计的平滑 滤波器与非运动估计滤波器类似，只是在滤波之前增加了运动估计【2 0 】- 【2 5 】； 另外，一些专利方法都是以有限冲击响应( f i n i t ei m p u l s er e s p o n s ef i r ) 滤波 器形式出现的，而递归滤波器( r e c u r s i v eo ri n f i n i t ei m p u l s er e s p o n s ef i l t e ri i r f i l t e r ) 则在计算量和内存方面都具有明显的优势，更适合实时视频系统【2 6 1 1 2 7 1 。在 视频降噪中，i i r 滤波器用当前帧和处理过的前一帧进行降噪即递归滤波器，f i r 只使用了当前帧，前一帧，后一帧或者更多的几帧进行降噪【2 8 】。 基于像素级的降噪算法1 2 9 对时域上和空域上的相关像素进行筛选，被选中的 像素将用于对当前像素进行滤波，这种降噪算法能在保留图像细节的同时对像素 进行恰当的降噪。但算法运算复杂度比基于帧级或者宏块级的降噪算法的运算复 杂度要大。还有算法 3 0 1 同时处理加性噪声、乘性噪声和加性噪声和乘性噪声相互 组合情况下的噪声，这种算法的思想是先求出这几种噪声的等价加性噪声模型， 然后用处理加性噪声的方法进行降噪处理。 在国内，华为公司的视频降噪专利中【3 1 1 ，在进行滤波之前判断平坦区域和静 止区域。对于平坦区域的像素点进行低通滤波，对静止区域的像素点进行多图像 平均处理，对边界区域的像素点不进行低通滤波、以保护边缘，对运动区域像素 点不进行处理，避免了运动剧烈的画面出现拖尾的现象。张文涔3 2 】提出了一个类 似的非运动估计的自适应时域滤波方法，通过对滤波像素进行运动检测来判断是 否参与滤波、自适应调整滤波参数。这类方法主要是对视频图像中的静止区域进 行时域滤波，而不对运动区域处理、保护了视频图像中的细节，因此其缺点就是 视频中运动物体部分没有进行降噪；杨维维和陈生谭等【3 3 j 提出了一种改进的自适 应时域滤波算法，通过一个滤波模版进行噪声判断，根据视频中噪声级别自适应 确定平滑滤波参数，该算法对视频中不同级别的噪声均进行了时域滤波，且从一 定程度上消除了传统方法带来的拖尾现象。这类降噪算法会引入噪声标准差或噪 声方差估计单元，利用估计出的噪声标准差或者噪声方差作为判断是否进行滤波 的阈值，从而减小滤波对边缘的影响 3 4 1 1 3 5 1 。 综上所述，在现行视频图像像素域3 d 降噪算法中：利用了运动估计的空时滤 波和时域滤波都进一步提高了这类滤波器抑制噪声的能力、提高了处理后视频序 列的峰值信噪比，其相应的不足就是由运动估计引入的计算开销较大，且运动估 计的精度在一定程度上决定了抑制噪声的效果；采用递归算法的空时滤波在内存 6 重庆大学硕士学位论文1 绪论 和计算量方面比非递归滤波有明显优势，使得这类滤波器能较好地适用于实时视 频系统【3 6 l 【3 7 1 。 1 4 论文的意义和主要研究内容 现有的基于运动估计的降噪算法能一定程度上克服视频图像序列在时域上的 非平稳特性，能更好地滤除噪声。但是运动估计的精确度受噪声影响较大，也容 易出现块效应等问题，这样反而容易降低视频图像的主观质量。 本文的算法的特点在于在运动估计之前对视频图像进行下采样，减少了处理 和数据量，一定程度上降低了噪声对运动估计的影响；在运动估计中采用快速搜 索算法，提高了处理的速度；将时域的运动估计和空域滤波结合，当在时域上无 法准确滤波时，采样空域滤波，保证降噪的质量。 主要研究内容： ( 1 ) 采用3 d 降噪方法( 时空联合) ，首先，在时域上以块为单位对当前帧进行 运动估计，在当前帧的前一帧和后一帧中同时搜索匹配块；对搜索到的匹配块与 当前块进行运动强度检测，若运动强度较小，就进行时域滤波，若运动强度过大， 就为对当前块进行空域滤波；同时，设计了噪声标准差估计单元，用作运动强度 检测的阈值，准确判断块的运动强度。另外，估计出的噪声标准差也用作空域滤 波器的参数。 ( 2 ) 基于下采样的运动估计：首先，对当前帧和参考帧进行下采样，生成采样 帧；然后，在时域上以块为单位对当前帧的采样帧进行运动估计，利用经典的三 步法或菱形搜索算法在参考帧的采样帧中搜索匹配块；通过对搜索到的匹配块进 行上采样恢复，得到实际的匹配块。通过下采样，减少了处理的数据量，同时相 当于进行了一次低通滤波，在一定程度上克服了噪声对运动估计精度的影响。 ( 3 ) 结合了运动估计中的三步搜索算法和菱形搜索算法，对该视频图像3 d 降 噪算法进行仿真，证明该算法有效的抑制视频图像中的噪声，又较好地保护了图 像细节。同时算法运算速度较快，能更好地满足视频处理的实时性要求。 1 5 论文章节安排 本论文的章节安排如下： 第一章：简单介绍视频图像噪声产生的原因以及噪声的分类，对国内外视频 图像降噪算法的研究现状进行分析，阐述了本课题的研究意义和本论文的贡献。 第二章：介绍视频图像降噪的相关理论，其中包括视频图像的质量评价标准， 视频图像的时域和空域滤波，以及时域滤波中用到的运动估计方面的理论。 第三章：介绍了一种基于运动估计的时域降噪算法，并对其进行仿真实验、 7 重庆大学硕士学位论文1 绪论 分析实验结果。 第四章：本章是论文的核心研究的部分。从本论文的降噪系统的六个单元开 始介绍和分析。提出了基于下采样菱形搜索算法的3 d 降噪、基于下采样三步搜索 法的3 d 降噪，并将这两种方法在多个测试序列、多个噪声级别下的降噪结果与第 三章介绍的参考算法的结果进行比较分析。 第五章：全文总结，并阐明进一步需要解决的问题及需要努力的方向。 8 重庆大学硕七学位论文 2 视频图像的降噪理论 2 视频图像的降噪理论 2 1 视频图像的质量评价标准 对图像质量评价的研究是图像信息学科的基础研究之一。对于图像处理或图 像通信系统，其信息的主体是图像，衡量这个系统的重要指标就是图像的质量。 例如在图像编码中，就是在保持被编码图像一定质量的前提下，以尽量少的码字 来代表图像，以便节省信道和存储容量。而图像增强就是为了改善图像的主观视 觉质量。再如图像复原，则用于补偿图像的降质，使复原后的图像尽可能接近原 始图像质量。所有这些，都要求有一个合理的图像质量评价方法。视频图像的质 量评价标准与普通图像质量评价的理论基本相同，可以主要分为主观评价和客观 评价两大类。 视频图像质量的含义包括两方面：一个是视频图像的逼真度，即被评价视频 图像与原标准视频图像的偏离程度；另一个是视频图像的可懂度，是指视频图像 能向人或机器提供信息的能力。最理想的情况是能够找出视频图像逼真度和视频 图像可懂度的定量描述方法，以作为评价视频图像和设计视频图像系统的依据。 2 1 1 视频图像主观评价 主观评价是利用观看者对被测系统输出的图像质量的直接反应来确定系统性 能的一种测量方法，是目前公认的最可靠的评价图像质量的方法。在多年应用中， 主观评价形成了系列的国际标准，如用于标清电视主观评价的i t u rb t 5 0 0 1 1 标 准和用于高清电视主观评价的i t u rb t 7 1 0 2 标准等。i t u rb t 1 2 1 0 2 标准提 出了在选择用于主观评价的测试序列时应考虑的主要因素，以及如何分析测试序 列的各项特征参数。 图像的主观评价就是通过人来观察图像，对图像的优劣做出主观评定，然后 对评分进行统计平均，就得出评价的结果。这时，评价出的图像质量与观察者的 特性及观察条件等因素有关。为保证主观评价在统计上有意义，选择观察者时既 要考虑有未受过训练的“外行”观察者，又要考虑有对图像技术有一定经验的“内行” 观察者。另外，参加评分的观察者至少要有2 0 名，测试条件应尽可能与使用条件 相匹配。我国g y j t l 3 4 1 9 9 8 行业标准规定采用双刺激法。其中双刺激连续质量 标度法适用于最佳条件下对电视系统的评价，它是在测试图像的基准状态( 即直 接来自信号源的图像) 和被测状态( 经被测系统处理输出的图像) 以伪随机方式 先后变动次序的情况下，由观看员对每个图像的总体质量进行评价并记分的方法： 双刺激损伤标度法适用于非最佳条件下对系统保持质量性能的评价，它是观看员 根据基准图像( 无损伤图像) 对被测图像( 有损伤图像) 做出评价的方法，并使用 9 重庆大学硕七学位论文2 视频图像的降噪理论 五级损伤标度。由于人的心理和生理等状况的千差万别，观看者对同一图像的质量 评分也有所差异，只有依靠统计理论，进行大量人次的评价及大量的数据处理，才 能得到按一定概率分布的数据。表2 1 中给出了几个国家和地区所采用过的对电视 图像评价的观察条件。 表2 1 图像质量主观评价的观察条件 t a b l e 2 1c o n d i t i o no fi m a g es u b j e c t i v ee v a l u a t i o n 在图像质量的主观评价方法中又分两种评价计分方法，即国际上通行的5 级 评分的质量尺度和妨碍尺度，它是由观察者根据自己的经验，对被评价图像做出 质量判断。在有些情况下，也可以提供一组标准图像作为参考，帮助观察者对图 像质量做出合适的评价。一般来说，对非专业人员多采用质量尺度，对专业人员 则使用妨碍尺度为宜。 表2 2 两种尺度的5 级评分 t a b l e 2 2t h ef i v el e v e ls c o r eo ft w o s c a l e 主观评价的优点是质量等级标准建立容易，实旌方便，而且符合人眼视觉特 性，缺点是受观测者背景知识、观测动机、观测环境等因素的影响，因此结果稳定 性差，可移植性差，而且此种方法太过于费时费力，一般不能满足图像质量评价的 要求。但是，由于目前对人的视觉系统性质还没有充分理解，对人的心理因素还找 1 0 重庆大学硕十学位论文2 视频图像的降噪理论 不出定量描述方法，因而用得较多的还是主观评价方法。 2 1 2 视频图像客观评价 尽管主观质量的评价是最权威的方式，但是在一些研究场合，或者由于实验 条件的限制，也希望对图像质量有一个定量的客观描述。图像的客观评价利用数 学模型测量图像质量，与主观评价相比具有速度快、费用低和可以嵌入到数字系统 等优点，因此比较实用。常用的数字图像质量客观评价方法源于数据传输过程中均 方信噪比的思想，代表性的方法有m s e ( 均方误差) 、p s n r ( 峰值信噪比) 、w m s e ( j 3 i 权均方误差) 等。m s e 定义为原视频图像序列f l ( m ，刀，七) 与处理后的视频图像序列 a ( m ，七) 之间的均方误差。即： 1km 2 m s e = 熹【彳( 加，刀，七) 一f 2 ( m , n , 七) 】 ( 2 1 ) 胁州- k = l - m = l 鲁v ”一7 q 、7 式中，k 为视频图像序列帧数，m n 为视频图像的大小，k m n 为视频图像序列 的总像素。 另一种更常用的视频图像客观评价方法是p s n r ，定义为 删= 1 0 l g 急 ( 2 2 ) 式中，丘为视频信号的峰值，通常取厂懈= 2 5 5 。对于峰值信噪比准则，通 常p s n r 高于4 0 d b 时，就意味着视频图像非常好( 即与原始视频图像很接近) ； 3 0 - - 4 0 d b ，意味着有比较好的视频图像质量( 即失真可察觉，但可以接受) ；2 0 - - - 3 0 d b 的视频图像质量较差；而p s n r 低于2 0 d b 则是不可接受的。 2 2 时域滤波 2 2 1 时域滤波的基本思想 图像平均处理是图像处理理论中非常重要的一部分，它可以在滤除噪声的同 时较好地保留图像的细节。 考虑将噪声v ( x ，y ) 加入原始图像f ( x ，y ) 形成带有噪声的图像占 ，少) ，即 g ( x ，) ，) = f ( x ，y ) + r l ( x ，y )( 2 3 ) 假设每个坐标点0 ，力上的噪声都不相关且均值为零。通过人为加入随机噪声 得到一系列噪声图像 ( x ，y ) 。 由于r t ( x ，y ) 是0 均值的随机噪声，所以每个坐标点( x ，y ) 上的噪声都不相关且 均值为零。如果对k 幅图像取平均，会得到： g ，y ) = 蜀 ，y ) ( 2 4 ) i = l 则： 重庆大学硕士学位论文2 视频图像的降噪理论 e l g ( x ，j ，) = f ( x ，y ) 艿? ：之： 亿5 ， 片2：二片2 。氘y ) k 。叮( 。，y ) 在平均图像中任何一点的标准差为莎，、= 去磊( ，力。当k 增加时，各个位 置( 毛y ) 上像素值的噪声变化率将减小，由于e g ( x ，y ) _ f ( x ，y ) ，这就意味着随着 j 在图像平均处理中噪声图像使用量的增加，g ( x ，y ) 越来越趋近于f ( x ，j ，) 。 需要注意的是，图像平均处理中要求每一幅图像的信号要尽可能相同，否则 会产生模糊【3 8 】。在实际视频应用中，要求岛( x ，y ) 必须匹配准确，也就是要求视频 序列必须是静止的，否则会产生运动拖尾。 视频图像的时域滤波就建立在多帧图像平均处理的基础上，对静态的视频图 像，利用各帧信号的相关性和噪声的不相关性，采用对视频图像多帧直接平均技 术，可以大大提高图像的信噪比，改善图像质量。这种方法只适合于静态图像序 列，而对于运动图像序列，由于帧间的相对运动不能忽略，采用帧间平均技术会 使运动目标边缘模糊，有时处理后的视觉效果让人难以接受。 如上所述，对运动部分的平均处理容易产生便于模糊，运动拖尾等不良影响。 目前的有些算法对运动部分不做滤波，或者做低强度的滤波，这就是基于运动自 适应的降噪思想。这种思想的算法的主要问题是运动部分的降噪强度和效果不够。 为了充分利用视频图像时域上的相关性，更大程度的滤除噪声的同时不产生运动 拖尾等现象，运动估计的思想被越来越多的应用在的视频图像降噪中。 总的来说，对于静止的受噪图像序列，帧间降噪( 时域滤波) 方法优于帧内 降噪( 空域滤波) 。尤其是在静止图像的边缘区域，帧内降噪容易造成滤波后的图 像边缘模糊，而帧间降噪能很好的克服这一缺点；对于受噪图像序列中的运动部 分，帧内降噪则优于帧间降噪，除了运动估计帧间降噪方法外，其他帧间降噪算 法对受噪图像序列的运动部分无能为力。 2 2 2 运动估计 视频编码中的运动估计 运动估计和运动补偿技术是视频编码和视频处理中非常重要的技术，它们对 降低视频序列时间冗余度、提高编码效率起着非常关键的作用。它们能极大地消 除帧间的相关性，明显降低了对存储空间和传输比特率的要求。 在视频图像序列中，相邻帧间的主要变化是由于构成景物的各物体的运动引 起的，检测物体的运动参数，并通过这些运动参数由前一帧预测当前帧，这就是 运动补偿( m o t i o nc o m p e n s a t i o n ，m c ) ，运动补偿中主要的任务是检测物体的运动参 1 2 重庆大学硕士学位论文2 视频图像的降噪理论 数，称为运动估计( m o t i o ne s t i m a t i o n ，m e ) 。运动估计过程的目的在于获得序列图像 的运动矢量，它的实质是对序列图像的位移场进行估计。而运动补偿过程则根据 所得到的运动矢量来对当前帧进行预测【3 9 j - 4 2 1 。 运动估计技术受到人们的广泛关注，出现了多种研究方案，主要有光流方程 法、贝叶斯估计法、像素递归法和块匹配法四种。综合考虑计算复杂度和编码效 率等因素，块匹配法由于算法简单，便于实现，已经成为运动估计算法的主流， 各个视频压缩国际标准也都采用块匹配法作为运动估计的解决方案。 块匹配运动估计的基本原理 块匹配法( b l o c km a t c h i n ga l g o r i t h mb m a ) 以宏块为单位进行运动估计，将图 像划分为互不重叠的子块，并认为子块内所有像素的位移量是相同的，这意味着 将每个子块视为一个“运动物体”。每一帧图像所划分的子块称为宏块 ( m a c r o b l o c k ) ，宏块的大小和形状并没有特别规定，一般为m x n ( 可取8 像素8 像素，8 像素x 1 6 像素或1 6 像素x 1 6 像素) 。然后根据一定的匹配准则，对于当前 帧中的每一宏块在参考帧中的某一给定搜索范围内找出与当前宏块块最相似的块 即匹配块，由匹配块与当前块的相对位置计算出运动位移，所得运动位移即为当 前块的运动矢量。参考帧为当前帧的相邻帧。如2 1 图所示。 图2 1 运动估计 f i g 2 1m o t i o ne s t i m a t i o n 五为当前帧，五一。和左+ ，分别为当前帧的前一帧和后一帧。最一，和反+ 。分别为 当前帧中的当前块反以前一帧和后一帧为参考帧，在参考帧中搜索出的匹配块。 常用的块匹配准则 块匹配准则是判断块相似程度的依据，因此匹配准则的好坏直接影响了运动 1 3 重庆大学硕士学位论文 2 视频图像的降噪理论 估计的精度；另一方面，匹配运算复杂度、数据读取复杂度在很大程度上取决于 所采用的块匹配准则。 目前，运动估计算法中常用的块匹配准则有三种，即平均绝对差( m a d ) 准则、 最小均方误差( m s e ) 准则和归一化互相关函数( n c c f ) 准则【4 3 l 。它们的定义分别 如下： 1 ) 平均绝对误差( m a d ) 准则 m a d ( i ，p 2 m 三萎酗( m , n ) 五- ( 聊“肘j ) l ( 2 6 ) 式中，g 力为位移矢量，以，以4 分别是当前帧和参考帧像素的亮度值，m 为宏块的尺寸，若在某个位移矢量( 而，知) 处的m a d ( o ，知) 达到最小，则该点即为要 找的最优匹配点。 2 ) 最小均方误差( m s e ) 准则 m s e ( i ，j ) = 未一【以( 加，刀) 五。( m + f ，刀+ ，) 】2 (27)mn - m = l - n = l l 。 、7 。 i 、 7 。7j、7 m s e 值最小的点为最优匹配点。 3 ) 归一化互相关函数( n c c f ) 准则 l ( m ，刀) 五。沏+ f ，刀+ ，) c 凹( f ，p2 瓦了丝业下瓦万1 ( 2 8 ) i 彳( 所，刀) ii 尼( 聊+ f ，一+ 圳 l m = ln = l j l m = ln = lj n c c f 的最大点即为最优匹配点。 由于m a d 准则不需要乘法运算，实现简单、方便，利于实现的实时性，所以 使用最多。实际中通常使用绝对误差之和( s u mo f a b s o l u t ed i f f e r e n c e ，s a d ) 准则代 替m a d 准则，其定义如下： s a l x i ，户= l l ( m ，刀) - 五。( 朋+ f ，刀+ 州 ( 2 9 ) m = ln = l 常用的运动估计搜索算法 1 ) 全搜索法 全搜索法( f u l ls e a r c hm e t h o d ，f s ) ，也称为穷尽搜索法，是一种搜索策略最简 单的搜索算法。它对整个搜索窗范围内所有可能的候选位置计算该位置的匹配值， 从中找出具有最小匹配准则值的块即为最佳匹配块，其对应的偏移量即为运动矢 量】- 4 6 1 。 具体步骤如下： 第一步：从搜索窗中心开始，按螺旋方式逐个像素点位置计算匹配准则，直 到遍历搜索窗范围内的每一个像素点。 1 4 重庆大学硕士学位论文2 视频图像的降噪理论 第二步：找出最小块误差( m i n i m u mb l o c kd i s t o r t i o n , m b d ) 点，该点所对应的 块即为最佳匹配块，其相对位移即是所求的运动矢量。 图2 2 为全搜索法的示意图。它在整个搜索窗范围内按螺旋搜索方式逐点搜索 计算各位置的匹配准则，从中找出具有匹配准则最小的块即为最佳匹配块。 图2 2 全搜索 f i g 2 2f u l lm a r c h f s 算法是最简单、最原始的块匹配算法，由于遍历全局，因此找到的匹配点 必是全局最佳的，可靠度高，通常是其他算法性能比较的标准，但是它的计算量 非常大，搜索时间很长，因此限制了它在需要实时压缩场合的应用，所以有必要 进一步研究其他快速搜索算法。 2 ) 三步搜索法 三步搜索法( t h r e es t e p ss e a r c h , t s s ) 是一种简单有效的运动估计搜索算法，被 广泛使用在低比特率视频压缩场合中。若最大搜索长度为7 ，搜索精度取1 个像素， 则步长为4 ，2 ，1 ，共需要三步即可结束搜索，因此而得名为三步法。 具体步骤如下： 第一步：从原点开始，选取最大搜索长度的一半为步长，在周围的8 个点处 进行块匹配计算并比较。找出m b d 点。 第二步：将步长减半，中心