（微电子学与固体电子学专业论文）视频图像增强算法研究与电路设计.pdf

摘要 视频信号处理芯片作为数字电视的核心芯片，其主要功能是通过数字信号处 理的方法把众多的输入视频格式转换成特定的视频格式输出，包括帧频提升、去 隔行、尺寸缩放和图像增强等处理过程。 图像增强单元的主要作用是改善视频图像的观赏效果，包括画质增强，亮度 调节，对比度调节，伽马校正，色度空间转换和色温调节六个部分。本文重点研 究并讨论了图像增强单元中画质增强模块和色温调节模块的设计与实现。 对于画质增强模块，本文首先对现有视频图像去噪算法进行研究和分析，提 出了一种基于极值的自适应保边缘加权均值滤波算法。该算法在有效去除椒盐噪 声的基础上，能够最大限度的保持图像的边缘和细节。随后通过对各种边缘检测 算子的分析和比较，在传统反锐化掩模算法的基础上，提出了一种带高斯噪声抑 制的反锐化掩模算法。该算法与传统反锐化掩模算法相比，去除了非边缘平坦区 域的高斯噪声，并且有效避免了强边缘区域过冲现象的出现。综合上述两种算法 后，本文提出了图像增强单元所用的画质增强算法，并进行了硬件电路的分析与 设计。该算法在锐化图像边缘的基础上，可以同时对椒盐噪声和高斯噪声进行去 除，使得图像的质量得到了很大的改善。 对于色温调节模块，本文在研究色彩空间转换和色温基本概念的基础上，提 出了一种色温调节的算法，并对该算法进行了硬件实现。 本文的最后对画质增强模块和色温调节模块进行了功能仿真与验证，并给出 了仿真结果和实现效果图。 关键词：图像增强噪声去除自适应滤波反锐化掩模色彩空间色温 a b s t r a c t a so n eo ft h ec o r ec h i p si nd i g i t a lt v , v i d e os i g n a lp r o c e s s i n gc h i pc a l lc o n v e r t d i f f e r e n ti n p u tv i d e of o r m a t si n t ot a r g e tf o r m a t s ，w h i c hh a st h ef u n c t i o no ff l a m er a t e u p ，d e - i n t e r l a c i n g ，s c a l i n g ，a n di m a g ee n h a n c e m e n t e t c t h em a i nr o l eo ft h ei m a g ee n h a n c e m e n tu n i ti ni m a g ep r o c e s s i n gi st oi m p r o v e v i s u a le f f e c t i ti sc o m p o s e do fi m a g eq u a l i t yi m p r o v e m e n t ，b r i g h t n e s sa d j u s t m e n t , c o n t r a s ta d j u s t m e n t ，g a m m ac o r r e c t i o n ，c o l o rs p a c ec o n v e r s i o na n dc o l o rt e m p e r a t u r e a d j u s t m e n t t h et h e s i sf o c u s e so nt h ed e s i g na n di m p l e m e n to fi m a g ee n h a n c e m e n t u n i t i n c l u d i n gi m a g eq u a l i t yi m p r o v e m e n tm o d u l ea n dc o l o rt e m p e r a t u r ea 由u s t m e n t m o d u l e f o rt h ei m a g eq u a l i t yi m p r o v e m e n tm o d u l e ，t h et h e s i sf i r s t l yb r i n g sf o r w a r d sa n a d a p t i v ee d g ep r e s e r v i n gw e i g h t e dm e a nf i l t e rb a s e d o ne x t r e m et h r o u g hr e s e a r c h i n g a n da n a b , z i n gt h ec u r r e n tv i d e oi m a g ed e n o i s i n ga l g o r i t h m s t h i sa l g o r i t h mc a l lk e e p e d g e sa n dd e t a i l so f t h ei m a g eo nt h eb a s i so fr e m o v i n gp e p p e rn o i s e t h e n ，t h et h e s i s p r o p o s e sa l lu n s h a r pm a s k i n gt e c h n i q u ew i t hg a u s s i a nn o i s es u p p r e s s i o nt h r o u g h a n a l y z i n ga n dc o m p a r i n g v a r i o u se d g ed e t e c t i o no p e r a t o r s t h i st e c h n i q u ec a l lr e m o v e g a u s s i a nn o i s ei nt h eu n i f c i r i l la r e a sa n da v o i de x c e s s i v eo v e r s h o o ti nt h ed e t a i la r e a s a f t e rt h a t ，t h et h e s i sp r e s e n t sa ni m a g eq u a l i t yi m p r o v e m e n tm e t h o db a s e do nt h e s e t w oa l g o r i t h m sa b o v e t h i sm e t h o dc a nr e m o v eb o t hp e p p e rn o i s ea n dg a u s s i a nn o i s e a tt h es a m et i m eo nt h eb a s i so fe d g es h a r p e n i n g ，a n dt h eq u a l i t yo ft h ei m a g ec a nb e i m p r o v e do b v i o u s l y t h eh a r d w a r ec i r c u i to f t h i sa l g o r i t h mi sa n a l y z e da n dd e s i g n e d f o rt h ec o l o rt e m p e r a t u r ea d j u s t m e n tm o d u l e ，t h et h e s i sp r o p o s e s ac o l o r t e m p e r a t u r ea d j u s t m e n ta l g o r i t h m o nt h eb a s i so fr e s e a r c h i n go nc o l o rs p a c e c o n v e r s i o na n dd e f i n i t i o no fc o l o rt e m p e r a t u r e t h i sa l g o r i t h mi sa l s oi m p l e m e n t e di n t h e p a p e r f i n a l l y , t h i sp a p e rc o n d u c t st h ef u n c t i o ns i m u l a t i o na n dv e r i f i c a t i o nf o rb o t h i m a g eq u a l i t yi m p r o v e m e n tm o d u l ea n d c o l o rt e m p e r a t u r ea d j u s t m e n tm o d u l e s o m e s i m u l a t i o nr e s u l t sa n di m p l e m e n tp i c t u r e sa r eg i v e n k e yw o r d s ： i m a g ee n h a n c e m e n t ，d e n o i s i n g ，a d a p t i v ef i l t e r , u n s h a r pm a s k , c o l o rs p a c e ，c o l o rt e m p e r a t u r e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：嚼1 ；尉 签字日期： 细节年石月j 日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。 特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：哼p 历 签字日期：知刁年6 月岁日 导师签名： 萎斌精 签字日期：厶研年多月 日 第一章绪论 第一章绪论 随着数字电视技术和移动多媒体技术的高速发展，作为数字电视核心芯片的 数字视频信号处理芯片有着广阔的发展前景。数字视频信号处理芯片通过数字信 号处理的方法把输入的电视信号转换为高质量的图像信号输出显示，包括帧频提 升、去隔行、尺寸缩放和图像增强等处理过程【l 】。图像增强单元是视频信号处理 芯片中的重要组成部分，负责提升图像的清晰度、改善图像的亮度和颜色，对视 频图像的显示效果有着直接的影响，所以对图像增强单元的研究有着至关重要的 意义。 1 1 课题背景 随着科学技术的不断进步，电视行业经历了从黑白电视到模拟彩色电视，再 到高清数字电视的发展 2 】。数字电视( d i g i t a lt e l e v i s i o n ，简称d t v ) 是数字电视 系统的简称，是从电视节目录制、播出到发射、接收全部采用数字编码与数字传 输技术的新一代电视【3 】。其具体传输的过程是：由电视台送出的图像及声音信号， 经过数字压缩和调制后，形成数字电视信号，经过卫星、地面无线广播或有线电 缆等方式传送，由数字电视接收后，通过数字解调和视音频解码处理还原出原来 的图像及伴音。数字电视传输质量高，易于存储，便于数字处理和计算机处理， 充分利用频谱资源可大量增加节目套数，可以实现设备的自动化操作，服务多样 化等，具有模拟电视无法比拟的优点【4 】。 目前，数字电视正风靡全球。美国从1 9 9 8 年正式开始数字电视的广播，并 于2 0 0 6 年全面实现数字电视广播并全部停止播放n t s c 模拟电视。英国计划于 2 0 1 0 年转为全数字播出。法国选定了3 0 个频道作为法国国家地面数字电视开播 的基础，到2 0 0 8 年用户覆盖率已达到8 0 。我国是1 9 9 9 年起试播高清晰度电 视的。按照国家广播电影电视总局规划要求，我国有线电视向数字化过渡，将按 照东部、中部和西部三个区域推进，分2 0 0 5 年、2 0 0 8 年、2 0 1 0 年和2 0 1 5 年四 个阶段全面实现有线电视数字化。到2 0 1 5 年，我国将停止模拟电视播出。截至 2 0 0 8 年一季度，我国已经拥有了3 1 9 5 万数字电视用户，有线电视数字化程度达 到3 1 9 6 。据权威预测，从2 0 0 2 年到2 0 1 5 年，我国数字电视市场规模将由4 0 0 亿元扩张到5 0 0 0 亿元，其中蕴藏的市场机会超过万亿元。而这些涉及到电子信 第一章绪论 息产业的各个环节，其中仅视频信号处理芯片就将创造数百亿元的产值，这将带 来巨大的社会效益和经济效益【5 】。 视频信号处理芯片是数字处理电视及数字电视系统中的核心芯片，其具有帧 频提升、去隔行、尺寸缩放和图像增强等功能，将各种格式的输入视频信号转换 成特定格式的视频输出。目前视频信号处理芯片多为美国和台湾公司所垄断，其 产品占据了大部分高端到低端领域的市场份额。厂家主要有g e n e s i s m i c r o e l e c t r o n i c s ，g e n n u mc o r p o r a t i o n ，t r i d e n t ，t r u m p i o n ，e t r o nt e c h n o l o g y ， m a c r o n i xi n t e r n a t i o n a l ，p h i l i p ss e m i c o n d u c t o r ，s u n p l u st e c h n o l o g y 等。国内在此 方面起步较晚，但随着国内数字i c 的兴起和数字电视改革步伐的加快，诸如西 安交通大学【6 】，杭州国杉7 1 ，成都威思达【8 】，浙江大掣9 1 ，上海交通大学，海信集 团等院校及芯片设计公司已先后开发出拥有自主产权的视频信号处理芯片，但技 术水平仍较国外有很大差距。 1 2 本文研究的内容和发展趋势 作为视频信号处理芯片的核心单元之一，图像增强部分的研究有着深远的意 义，图像增强算法的好坏直接影响视频图像的观赏效果。本视频信号处理芯片中 的图像增强单元主要由以下六种算法构成：画质增强算法，亮度调节算法，对比 度调节算法，伽马校正算法，色度空间转换算法和色温调节算法。其中，本文主 要研究了其中的画质增强算法和色温调节算法。画质增强算法是指按特定的需要 突出一幅图像中的某些信息，同时削弱或去除某些不需要的信息的处理方法。其 主要目的是使处理后的图像比原始图像更适合于某种特定的应用，处理的结果使 图像更适合于人的视觉特性或机器的识别系统【l 0 1 。 画质增强算法的目的可归纳为以下两方面：( 1 ) 去除噪声；( 2 ) 边缘锐化和 细节信息的保护【1 1 1 。 画质增强的过程往往是一个矛盾的过程，画质增强希望既去除噪声又锐化边 缘。但是，锐化边缘的同时会增强噪声，而去除噪声又会使边缘在一定程度上模 糊。因此，在画质增强的时候，往往是将这两部分进行折衷，找到一个好的代价 函数达到需要的增强目的。传统的画质增强算法在确定转换函数时常是基于整个 图像的统计量，如s t 转换，直方图均衡，中值滤波，微分锐化，高通滤波等等。 这样在计算整幅图的变换时，某些局部区域的细节由于其值较小而常常被忽略 掉，从而局部区域的增强效果常常不够理想，噪声去除和边缘锐化这两者的矛盾 较难得到解决i l 引。 当前，很多画质增强算法利用图像邻域的统计特性对图像的灰度值进行调 第一章绪论 整，主要包括以下三大类自适应增强算法【l3 】：( 1 ) 既能平滑又能保护边缘的自适 应滤波算法。自适应滤波的基本思想是滤波器的参数可根据像素所在的邻域情况 进行自适应的选取，也可描述为加权平均滤波算法。自适应滤波可以较好的平滑 噪声区域，并能保护较显著的边缘，但对图像细节的保护较差。( 2 ) 基于图像建 模和估计理论的增强算法。这类算法的基本思想是提出一个图像的模型，模型的 参数由估计理论估计出来，进而窗口中心像素的灰度值可由估计出来的参数计算 得到。这类算法由于是以估计理论为基础，所采用的估计方法的鲁棒性对算法的 性能有很大的影响。此外，估计方法过于复杂，硬件实现难度较大。( 3 ) 基于模 糊集合理论的增强算法。这类算法采用模糊规则对传统的画质增强算子进行改 进，滤波窗口的大小由邻域的一致性程度决定，该一致性程度是由模糊逻辑规则 导出。这类算法可以较好的保护图像细节和去除高斯噪声，但对椒盐噪声的去除 效果较差。 另外，还有一些其它的画质增强算法，如数学形态学【1 4 】、小波变换【l5 】等。 其中小波是近年来发展起来的一种新的时频分析工具，它具有时频局部化的能力 和多分辨率分析的能力，使得它很适合于信号处理领域。对图像进行多尺度小波 变换后，不同频率的信号出现在不同尺度的子带图像上，有了这些特性就能很好 的对感兴趣的部分进行增强。 本人在视频信号处理芯片课题组的主要工作包括：( 1 ) 设计完成了o s d 2 0 单元的全部前端设计开发工作。( 2 ) 对图像增强单元中的画质增强算法和色温调 节算法进行了算法研究、结构设计和硬件实现。 1 3 本文章节安排 第一章为绪论，简要介绍了数字电视的发展前景，数字信号处理芯片的意义、 市场前景和发展趋势，同时提出了本文的研究内容和目标。 第二章为视频图像增强算法的研究，对画质增强算法和色温调节算法进行了 研究和分析，提出了一种基于极值的自适应保边缘加权均值滤波算法和一种带高 斯噪声抑制的反锐化掩模算法，并进行了算法原型设计和效果评价。 第三章为视频图像增强单元的电路设计，包括画质增强模块和色温调节模块 的电路设计，以及对视频图像增强单元可配置设计的研究。 第四章为视频图像增强单元的仿真与验证，包括了画质增强模块和色温调节 模块的功能仿真验证。 第五章为总结与展望，结合本文算法的优缺点，提出了后续设计的思路和方 向。 第二章视频图像增强算法的研究与设计 第二章视频图像增强算法 本章共由五部分组成。第一部分简要阐述了视频图像增强算法；第二部分是 椒盐噪声去除算法的研究，第三部分是边缘锐化算法的研究，这两部分均是在对 多种传统的算法进行介绍、比较和优缺点分析的基础上，提出新的算法并进行性 能评价；第四部分提出了本文所采用的画质增强算法；第五部分对色温调节算法 进行了研究。 2 1 视频图像增强算法综述 本项目研发的是一款数字视频信号处理芯片，其主要功能是将低分辨率的、 隔行扫描的、场频为5 0 h z 的p a l 制式或者场频为6 0 h z 的n t s c 制式的、1 6 位 y u v 格式的模拟电视信号统一转化为标准v g a 分辨率的、逐行扫描的、帧频为 6 0 h z 的、2 4 位r g b 格式的数字电视信号，并实时的显示在l c d 液晶屏上【16 1 。 图2 - 1 视频信号处理芯片框架图 第_ _ 章视频图像增强算法的研究与设计 数字视频信号处理芯片处理的对象是数字视频图像，首先需要对图像进行视 频处理运算，其中包括帧频提升、去隔行和尺寸缩放。经过视频处理运算的图像 具有符合输出规范的数据参数，但图像的画质和色度并不满足视频输出显示的要 求。因此图像在经过视频处理运算单元后不能立即作为输出图像在终端上显示， 而是再经过一系列的图像增强处理过程。 图像增强是图像处理中用于改善图像质量以及图像视觉效果的一种方法，目 的是提高图像的观赏性 1 7 1 。视频图像增强单元是视频信号处理芯片的重要组成部 分之一，主要包含以下六个步骤：画质增强、亮度调节、对比度调节、伽马校正、 色度空间转换及色温调节。图像增强单元的结构如图2 2 所示 1 引。 图2 - 2 图像增强单元结构图 画质增强：数字图像经过帧频提升、去隔行、尺寸缩放以后进入图像增强单 元，首先进入的是画质增强模块。画质增强模块采用自适应组合滤波算法对视频 图像的亮度信号y 进行调整，实现图像噪声去除和边缘锐化，从而提高视频图 像的画质。画质增强模块的输入是v 格式的数字图像信号，输出也为 格式信号。 亮度调节：亮度调节模块根据1 2 c 总线对“亮度寄存器”的配置，对视频图 像的亮度信号y 值进行实时的调节，使得用户可以根据自身的喜好，通过修改 o s d 菜单中“亮度”的数值对图像进行实时的亮度控制，即将o s d 菜单中“亮 度”的数值调低时视频图像的整体亮度降低，反之，将“亮度”的数值调高时视 频图像的整体亮度升高。亮度调节模块的输入是画质增强后的y u v 格式数字图 像信号，输出仍然为格式信号。 对比度调节：对比度调节模块根据1 2 c 总线对“对比度寄存器”的配置，对 视频图像的对比度进行实时的调节，使得用户可以根据自身的喜好，通过修改 o s d 菜单中“对比度”的数值对图像进行实时的对比度控制，即将o s d 菜单中 第二章视频图像增强算法的研究与设计 的“对比度”的数值调低时视频图像的对比度下降，反之，将“对比度”的数值 调高时视频图像的对比度提升。对比度调节模块的输入是亮度调节后的y u v 格 式数字图像信号，输出仍然为y u v 格式信号。 伽马校正：伽马校正模块是采用查找表的方式，对视频图像的亮度信号y 进行自动的线性补偿，防止显示设备硬件的原因导致图像失真，保证用户看到与 真实图像相接近的图像。伽马校正模块的输入是对比度调节后的格式数字 图像信号，输出仍然为格式信号。 色度空间转换：色度空间转换模块将经过伽马校正处理后的格式信号 根据色度转换公式转换成r g b 格式信号，以便后续的色温调节及最终的显示设 备输出。所用的色度转换公式为： 冗= y + i 4 3 6 ( v - 1 2 8 1 g = y - 0 7 3 1 ( v - 1 2 8 ) - 0 3 5 2 ( u - 1 2 8 1 公式( 2 1 ) b = y + 1 8 1 5 ( u - 1 2 8 1 色温调节：色温调节模块根据1 2 c 总线对“色温寄存器”的配置，根据色温 调节公式对视频图像的r g b 信号进行实时的调节，使得用户可以根据自身的喜 好，通过改变o s d 菜单中色温控制的选项，对图像的色温进行实时控制。色温 调节模块的输入是色度空间转换后的r g b 格式数字图像信号，其输出即整个图 像增强单元的输出，与o s d 菜单显示单元相连，输出信号的格式为r g b 信号。 2 2 自适应椒盐噪声去除算法 视频图像中的噪声会导致视频模糊、视频质量退化，严重影响了视频的观看 效果。为了改善视频图像的质量，必须对视频图像进行噪声去除。 2 2 1 图像噪声的特点和模型 视频图像通常会受到各种因素的影响而引入噪声，其主要来源是图像的获 取、传输以及存储的过程。图像传感器采集图像数据时，由于光照、温度等环境 条件以及传感器件自身质量等问题而引入噪声。图像数据在传输过程中所使用的 传输信道可能会受到光或者大气的干扰而受到噪声污染，此外数据的存储介质以 及用于视频压缩编码的方法也都会引入噪声【l9 】。现实中图像噪声的类型多种多 样，以下列出了两种最为常见的噪声：高斯噪声和椒盐噪声。 第二章视频图像增强算法的研究与设计 2 2 1 1 高斯噪声 高斯噪声的概率密度函数( d p f ) 由公式( 2 - 2 ) 给山 e 0 ) = 了南一”。 = 的值有7 0 落在 ( 一一计，( 一十计 范围内，有9 5 落在【( 一2 d ) ，( p + 2 0 - ) 范 围内。高斯噪声的概率密度函数分布图和效果图如图2 - 3 所示。 妻艮口 a ) 概率密度函数分布( b ) 噪声效果闺 图2 - 3 高斯噪声的概率密度函数分布图和效果图 2 2 1 2 椒盐噪声 椒盐噪声的概率密度函数( d p f ) 由公式( 2 - 3 ) 给出 p a z ；a p ( z 、= p bz = b 0 其他 椒盐噪声的概率密度函数分布图和效果图如图2 _ 4 所示 ( a ) 概率密度函数分布( b ) 噪声效果图 图2 - 4 椒盐噪声的概率密度函数分布图和效果图 第二章视频图像增强算法的研究与设计 2 2 2 噪声去除算法综述 常见的噪声去除方法大体上可以分为空间域滤波法、频域滤波法和时间域滤 波法三大类。空间域滤波法不需要对图像进行任何变换，而是通过一定算法直接 修改图像的像素值从而达到噪声去除的效果。频域滤波法是对图像变换域内的系 数进行操作，然后再进行反变换以达到噪声去除的目的。时间域滤波法是利用视 频图像帧与帧之间的相关性对图像的像素值进行操作，以达到噪声去除的效果 【2 0 】。由于频域滤波法和时间域滤波法的算法较为复杂，不易于硬件实现，故本文 选择对空间域内的噪声去除算法进行研究。 2 2 2 1 高斯噪声去除方法 目前常使用的高斯噪声去除方法主要有以下两种：均值滤波算法和加权均值 滤波算法【2 1 1 。 1 均值滤波算法( m e a nf i l t e r ，m f ) 均值滤波的原理是用一个像素邻域内各像素灰度的平均值来代替该像素的 灰度。对于一幅分辨率为m n 的图像f ( x ，y ) ，可以用下式表示处理后的图像 g ( x ，y ) ： g ( 工，y ) = 了1 y ( i ，) 公式( 2 - 4 ) a ( f ，j ) e s 式中，x = o ，1 ，2 ，m - 1 ，y = o ，1 ，2 ，n - 1 ，s 是以( x ，y ) 点为中心的邻域 的集合，m 是s 内坐标点的总数。均值滤波算法是线性的，图2 5 为几种常见的 均值滤波算法的卷积模板。 图2 5 均值滤波器卷积模板 2 加权均值滤波算法( w e i g h t e dm e a nf i l t e r ，w m f ) 加权均值滤波的原理与均值滤波的原理相似，是对像素邻域内各像素灰度值 进行加权平均来代替该像素的灰度值，则处理后的图像g ( x ，y ) 可以表示为： 第- 章视频图像增强算法的研究与设计 m ( ) ，( i ，) 8 ( 一) 2 f 而厂 公式。5 1 ， t j 式中，m ( l ，) 为加权均值滤波器的卷积值。 高斯滤波算法( g a u s s i a nf i l t e r g f ) 是一种加权均值滤波算法，其卷积模 板如图2 6 所示， s 圈 罔2 - 6 高斯滤波算法卷积模板 根据上面所述两种算法，使用v c + r 语言进行编程后对被高斯噪声污染 口= 00 0 5 ) 的l e n a 图像进行处理，得到的结果如图27 所示。 ( c ) 均值滤波处理结果( d ) 高斯滤波处理结果 圈27 两种高斯噪声去除算法对高斯噪声图像( o - = o0 0 5 ) 的处理结果 从图2 - 7 中可以看出，这两种算法均可以有效的抑制高斯噪声，高斯滤波弊 艺一瑟一藩=hhh叫，jii琶一譬一瑟n啊hhm|h旧啊h，dl 第二章视频图像增强算法的研究与设计 法与均值滤波算法相比，能够更好的保持图像的边缘和细节，处理的效果更理想。 2 2 2 2 椒盐噪声去除方法 下面分别对各种椒盐噪声去除方法进行分析和比较。 1 中值滤波算法( m e d i a nf i l t e r ，m f ) 2 2 1 ： 中值滤波的原理是用一个含有奇数个点的滑动窗口，将窗口正中那个点的值 用窗口内各点的中值代替。假设f ( i ，j ) 为滑动窗口s 内各点的灰度值，贝, t j o e 值滤 波的输出g ( x ，y ) 可以表示为： g ( 工，j ，) = m ( u e 芦d 加，硝 公式( 2 - 6 ) 特别地，当滑动窗口的大小为3 3 时，图2 8 为中值滤波的示意图，每个 像素的灰度值也在图中标示出来。如果对滑动窗口中心的像素点进行中值滤波， 首先将窗口内的9 个像素点的灰度值进行排序，排序的结果为( 4 2 ，4 5 ，5 3 ，5 4 ， 5 7 ，6 0 ，6 0 ，6 3 ，6 4 ) ，那么中心像素点的中值滤波结果为5 7 。 圜 图2 83 3 中值滤波示意图 2 加权中值滤波算法( w e i g h t e dm e d i a nf i l t e r ，w m f ) 【2 3 】： 加权中值滤波的原理与中值滤波相似，但其滑动窗口中心像素点的权值最 大，其他像素点的权值随着和中心像素点距离的增加而减小。假设滑动窗口s 内 各点的灰度值为z ，五，z ，则加权中值滤波的输出g ( x ，y ) 可以表示为： g ( x ，y ) = 施d w 1 圆z ，w 2 圆正，固z ) 公式( 2 7 ) 式中，“p ”表示加权，即w f = f ，f ，厂( w 个) 。对于图3 3 所示的滑 动窗口，像素点的灰度值分别为( 4 2 ，5 3 ，6 3 ，5 4 ，6 4 ，5 7 ，6 0 ，6 0 ，4 5 ) 。假 设这些像素点的权值分别为( 1 ，1 ，1 ，1 ，3 ，1 ，1 ，1 ，1 ) ，则要排列的点为( 4 2 ， 5 3 ，6 3 ，5 4 ，6 4 ，6 4 ，6 4 ，5 7 ，6 0 ，6 0 ，4 5 ) ，对这1 1 个点的排序结果为( 4 2 ， 4 5 ，5 3 ，5 4 ，5 7 ，6 0 ，6 0 ，6 3 ，6 4 ，6 4 ，6 4 ) ，那么中心像素点的加权中值滤波 结果为6 0 。 第二章视频图像增强算法的研究与设计 中值滤波算法和加权中值滤波算法的作用是使与周围像素灰度值相差较大 的像素点经过处理后能够与周围像素的灰度值比较接近，因此可以有效的消除椒 盐噪声，并且在一定程度上保护了图像的细节和边缘。但是由于中值滤波和加权 中值滤波的模板形状比较单一，对于包含点、线、尖角较多的复杂图像，滤波的 效果比较差。 3 多级中值滤波算法( m u l t i l e v e lm e d i a nf i l t e r ，m m f ) 【2 4 ： 多级中值滤波的具体算法如下： 鸭( x , y ) ：m e d f ( x + k ，y ) ；- - n k 力 呼y ) = m 甜 ( 五y + 七) ；一”七聊、公式( 2 8 ) m 3 ( x ，j ) y = m e d f ( x + k ，y + k ) ；- n k 胛 m 4 ( 工，y ) ：m e d f ( x + k ，y - k ) ；- n 七，z ) 式中，( x ，少) 表示图像中点( x ，y ) 的灰度值，m 。( x ，y ) 、m ：( x ，y ) 、m ，( x ，y ) 、 m 4 ( 工，y ) 分别代表水平方向、垂直方向和两对角线方向的邻域灰度值的中值，如 图2 - 9 所示。 八一 与，咖 八 l 一 厂、 囤一圆 黼勰洲 八 x , y - n 图2 - 9 多级中值滤波各邻域示意图 则多级中值滤波的输出g ( x ，y ) 可以表示为： g ( 工，y ) ：m e d g 嘶( 工，y ) ，g 一( x ，y ) ，( x ，少) ) 公式( 2 - 9 ) 1 i 第二章视频图像增强算法的研究与设计 式中，g 一( 工，y ) 和g 曲( 工，y ) 分别为： (x,y卜一hmlgmy ) = m i n m 鼢m ：鼢m 3 嬲竺嚣2 舶，( 工，y ) ，：( x ，y ) ，( 工，y ) ，z 。( 工，y ) 多级中值滤波算法同中值滤波算法和加权中值滤波算法相比，能够较好的保 持图像的边缘和细节，但同时也加大了计算的复杂度。此外，上述三种算法均是 对所有的像素点进行统一的滤波处理，在滤除椒盐噪声的同时也改变了一些非噪 声像素点的灰度值，容易造成图像的失真。从图2 - 4 ( b ) 中可以看出，椒盐噪声 点和原图像像素点之间存在明显的不同，因此在滤波之前，可以先将椒盐噪声点 和非椒盐噪声点区分开，只对椒盐噪声点进行滤波处理。 4 开关中值滤波算法( s w i t c hm e d i a nf i l t e r ，s m f ) 【2 5 】： 开关中值滤波的原理是通过一个椒盐噪声检测器来控制开关，并有选择的处 理图像，如图2 1 0 所示。 图2 1 0 开关中值滤波算法的示意图 假设f ( i ，j ) 为滑动窗口内各点的灰度值，其中f ( x ，y ) 为中心像素点的灰度 值，则开关中值滤波的输出g ( x ，y ) 可以用下式表示： ， 、f 厂( 工，y ) ， g ( x ，y j2 ， 、 【m ( x ，y ) ， l f ( x , y ) 一朋( 圳甜公式( 2 - 1 1 ) i f ( x ，y ) - m ( x ，y ) l - - t 式中，m ( x ，y ) 为当前窗口内各像素点f ( i ，) 的中值，丁为预先确定的阈值。 开关中值滤波并不是对所有的像素点都进行滤波处理，而是在传统中值滤波 的基础上加了一个椒盐噪声检测过程。如果阈值丁选取适当，开关中值滤波与传 统的中值滤波相比，在不影响图像椒盐噪声去除效果的基础上可以保留更多的细 节和边缘。但是如果阈值丁选择过大，会将一部分椒盐噪声点误判为非椒盐噪声 点，导致处理的效果不明显；同理如果阈值r 选择过小，会将一部分非椒盐噪声 第二章视频图像增强算法的研究与设计 点误判为椒盐噪声点，处理的效果接近传统中值滤波的效果。而且对不同类型的 图像进行处理时的最佳阈值并不是固定的，因此开关中值滤波算法仍然具有很大 的局限性。 5 极值中值滤波算法( e x t r e m em e d i a nf i l t e r ，e m f ) 【2 6 】： 极值中值滤波的原理是通过判断移动窗口中心像素点灰度值是否为该窗口 内所有像素点灰度值的最值，并有选择的处理图像，如图2 1 1 所示。 图2 1 1 极值中值滤波算法的示意图 则极值中值滤波的输出g ( x ，y ) 可以用下式表示： g ( 工，y ) = 二：三：；：f m i ( n x , y 厂) ( = n ) f t ) n f 厂( ( i x , ，j y ) ) 或 m m 觚a x 厂f ( ( i , j ) ) ) 馘( 2 - 1 2 ) 式中，m i n f ( i ，) 和m a x 厂( f ，) 分别为移动窗口内所有像素点灰度值的 最小值和最大值。 极值中值滤波与开关中值滤波类似，也多了一个椒盐噪声检测的过程。极值 中值滤波算法在处理密度比较小、幅度比较大的椒盐噪声时，去噪的效果比较好。 但是如果图像中存在类似细线般很窄的边缘和细节，其在窗口内可能会以最值的 形式存在，此时极值中值滤波算法会将这样的像素点误判为椒盐噪声点，导致图 像丢失了一些边缘和细节。此外，当图像中椒盐噪声密度较大时，在窗口内可能 会出现多个椒盐噪声点，导致一些椒盐噪声点没有被检测出来，影响处理的效果。 6 自适应中值滤波算法( a d a p t i v em e d i a nf i l t e r ，a m f ) 【2 7 j ： 自适应中值滤波的原理是使用一个可变滤波窗口检测椒盐噪声并处理图像。 其算法总体上可以分为三步：( 1 ) 对图像各区域进行椒盐噪声检测；( 2 ) 根据各 区域所受椒盐噪声的污染情况确定滤波窗口的尺寸；( 3 ) 对检测出的噪声点进行 滤波处理。图2 1 2 即为自适应中值滤波算法的流程图。 自适应中值滤波可分为两个层次，a 层和b 层。图中z m 如表示矩形窗口s 。内 灰度值m r ：j , 值，z 一表示内灰度值的最大值，z 利表示& 内灰度值的中值， 第二章视频图像增强算法的研究与设计 瓦表示窗口中心点( x ，y ) 的灰度值，表示岛所允许的最大尺寸。a 层的目 的是判断中值滤波器的输出z 删是否为椒盐噪声，如果z 血 乙 z 一，则说 明z 删不是椒盐噪声，转到b 层；否则，增加矩形窗口的尺寸。如果s ， 则重复执行a 层，否则算法输出乙。b 层的目的是判断窗口中心点本身是否为 椒盐噪声，如果z 曲 毛 确定灰度 值的方差最小的窗口位置。( 3 ) 判断最小方差和窗口b 的方差的差值是否在指 定阈值范围内。如果是，则以正方形窗口b 为平滑窗口，转( 6 ) ；如果否，转 ( 4 ) 。( 4 ) 判断最小方差和正方形窗口a 的方差的差值是否在指定阈值范围内。 第_ 章视频图像增强算法的研究与设计 如果是，则以正方形窗口a 为平滑窗口，转( 6 ) ；如果否，转( 5 ) 。( 5 ) 取最 小方差对应的窗口为平滑窗口；( 6 ) 平滑窗口内像素点灰度值的中值替代中心像 素的灰度值。 醚央* 澎 八k v 濯 八 x - 2 , y + l然 x + 2 ，矿l 必 厂、 读鬣 户弋 x - 2 , y - ix + 2 , y - i 、一 鼷*荚，狐 ， 、r x b a 图2 1 3 八个一维窗口方向以及两个不同尺度二维窗口示意图 自适应保细节中值滤波算法与自适应中值滤波算法相比，采用了多尺寸多方 向的矩形窗口对图像进行滤波处理，进一步保护了图像的边缘和细节，是一种非 常理想的椒盐噪声去除算法。 8 基于中值的加权平均滤波算法( w e i g h t e dm e a nf i l t e rb a s e do i lm e d i a n ， m w m f ) 【2 9 】： 基于中值的加权平均滤波是一种基于窗口顺序统计的加权平均滤波算法。其 基本步骤为：( 1 ) 将矩形窗口s 内像素点的灰度值f ( x ，y 1 从小到大排成一列， 得到五，石，五，六，厶，六，以，石，五；其中厶为最小值，五为最大值。( 2 ) 除去丘和五， 对剩余的7 个灰度值从d , n 大依次与权值w 1 ，w 2 ，w 3 ，w 4 ，w 3 ，w 2 ，w l 相乘后相加得 六；将六除以2w l + 2 w 2 + 2 w 3 + w 4 所得到的值g ( x ，y ) 赋给对应模板中心位置的 像素。其中权值w 4 对应着这些灰度值的中值，其系数最大；w 3 ，w 2 ，w x 的值逐渐 减小。特别的，可以取w l = 0 0 5 ，w 2 = o 1 ，w 3 = 0 2 ，w 4 = 0 3 ，则处g ( x ，y ) 可 以表示为： g ( x ，y ) = o 0 5 z + o 1 五十o 2 六+ o 3 a + o 2 六十o 1 以+ o 0 5 石公式( 2 - 1 3 ) 基于中值的加权平均滤波算法是一种集中值滤波和均值滤波为一体的组合 滤波算法，在有效的去除椒盐噪声的同时很够较好的保持图像的细节。但和开关 第二章视频图像增强算法的研究与设计 中值滤波算法类似，这种算法处理的效果受权值w l ，w 2 ，嵋，w 4 的具体取值影响较 大，因此其具有一定的局限性。 2 2 3 基于极值的自适应保边缘加权均值滤波算法 本节在2 2 2 2 节详细分析各种椒盐噪声去除算法的基础上，利用上述算法 各自的优点，提出了一种基于极值的自适应保边缘加权均值滤波算法( a d a p t i v e e d g ep r e s e r v i n gw e i g h t e dm e a nf i l t e rb a s e do ne x t r e m e ) 。本算法使用次大次小值椒 盐噪声检测器对所有的像素点进行判断，对椒盐噪声点使用保边缘自适应加权均 值滤波器进行处理，而对非椒盐噪声点保持原灰度值不变。具体的步骤如图2 1 4 所示。 图2 1 4 基于极值的自适应保边缘加权均值滤波算法的流程图 2 2 3 1 次大次小值椒盐噪声检测器 1 计算3 3 滑动窗口邻域内八个像素点灰度值的次大次小值。 假设s 为中心点在坐标( x ，y ) 的3 x3 滑动窗口，则可以计算s 中心点邻域内 八个像素点灰度值厂( f ，j ) 的次大值和次小值，分别记为f 一( x ，少) 和工曲( 工，y ) 。 z 一( 工，y ) = s e c m a x f ( i ，) ) ，f 。m ( x ，y ) = s e c m i n f ( i ，) ) 公式( 2 1 4 ) 2 确定椒盐噪声判断的阈值范围。 假设【口，纠为窗口s 内中心像素点( x ，y ) 的椒盐噪声判断阂值范围，其可由下 式计算得出： 仨裳高：臣曷瓷墨y 器小罔公北小，i = z 一( 工，y ) + 7 iz 一( 工，y ) 一z 曲( x ，) l 。 第二章视频图像增强算法的研究与设计 式中t 系数y 的经验取值为0 2 5 。 3 判断宙口中心像素点是否为椒盐噪声点。 如果窗口中心像素点的灰度值，( y ) 落在闽值范围【a ，纠内，则判定该像素 点为非椒躲声点。若，( y ) 落在阐值范围【口，芦】之外则判定该像素点为椒盐 噤声点。 2 2 3 2 保边缘自适应加权均值滤波器 1 确定八个子窗口的规格和方向。 在3 x 3 窗1 ：3 s 内确定八个子窗i ；3 ，分别记为：品。、品，、品： 品；、品。和s ，。其分别对应着八个方向：w o 、w 1 、w 2 、w 3 w 6 和矿7 ，每个方向的夹角为4 5 。，如图2 - 1 5 所示。 图2 - 1 5 八个子窗口的规格和方向 s r 3 矿4 2 分别计算八个子窗口的灰度差值。 假设一个子宙口的中心点灰度值为，其余两点的灰度值分别为 和 。 定义这个子窗口的灰度差值d = 一f o l + l f , 一正l 。所以窗口5 内的八个子窗口的 灰度差值分别为： 巩o = l f ( x ，y + 1 ) 一f x 一1