（通信与信息系统专业论文）基于asic的camera图像预处理系统的研究与实现.pdf

摘要 摘要 随着手机多媒体技术的发展，实时图像处理要求越来越高，由于手机基带芯片 的低功耗使得c p u 主频较低，即c p u 完成一些图像处理功显现出一定的困难，为 了迸一步提高图像处理的实时性，减轻c p u 的负担，需要在手机基带芯片中完成一 些图像的预处理功能，从而可以使c p u 不再承担具体的图像处理任务，而只需要发 出处理命令来控制预处理系统完成相应的功能。 本文以图像预处理中基本功能实现算法为出发点，在简单介绍图像预处理系统 和该系统所采用的a x i 和a h b 总线的基础上，给出摄像头( c a m e r a ) 图像预处理 系统的整体框架。由于图像预处理系统集成于手机基带芯片中，考虑芯片面积以及 功耗问题，采用“图像预处理系统+ a 总线+ 片外帧缓存”的架构来实现图像的采 集接收、传输存储、预处理以及图片显示控制整个预处理系统，并在此基础上实现 图像压缩中算法比较固定的d c t 变换，从而进一步地提高了图像处理的实时性并 减轻了微处理器的负担。 本文除了完成摄像头图像预处理系统的设计和实现，另一重点便是采用a s i c 验证方法学对整个系统进行完整的验证，大量缩短了芯片开发的周期时间。本文中 根据基于v m m 验证方法学对c a m e r a 接收控制器进行随机验证，以及基于手机芯 片的系统验证对数据搬移器i m a g e 进行系统验证，最终通过图像处理效果图dma 来说明本文所设计的c a m e r a 图像预处理系统的正确性及可实现性。 本文为手机基带芯片中图像处理平台( a r m + a x i ) 的组合做了有益的尝试， 对今后基于该平台的实时图像处理系统的设计有着积极的意义。 关键字： 专业集成电路，图像预处理，离散余弦变换，验证方法学 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to f m o b i l em u l t i m e d i at e c h n o l o g y , t h e r ew e r eg r e a t e rd e m a n d s f o rr e a l - t i m ei m a g ep r o c e s s i n g h o w e v e r , t h ec u r r e n tm o b i l ep h o n eb a s e b a n dc h i p sm a d e t h ec p u sf r e q u e n c yl o w e rt h a nr e q u e s t , s oi ti sd i f f i c u l tf o rt h ec p ut oa c c o m p l i s hs o m e i m a g e sp r o c e s s i n gw o r k i no r d e rt oi m p r o v et h er e a l - t i m ei m a g ep r o c e s s i n ga n dt or e d u c e t h eb u r d e no f m o b i l ep h o n e s c p u , p a r to f t h ei m a g ep r e p r o c e s s i n gw o r kn e e d st ob ed o n e b e f o r et h em o b i l ep h o n eb a s e b a n dc h i p m o r e o v e r , i tc a nr e l i e v et h ec p uf o r mi m a g e p r o c e s s i n gt a s k s ，b u to n l yf o c u so nc o m m a n d st oc o n t r o lt h ep r e p r o c e s s i n gs y s t e ma n d f i n i s ht h ec o r r e s p o n d i n gf u n c t i o n s t h ep a p e ri sb a s e do nt h eb a s i ca l g o r i t h mo f i m a g ep r e p r o c e s s i n g f i r s to fa l l ，ag r i e f i n t r o d u c t i o no fi m a g ep r e p r o c e s s i n gs y s t e m ，t h ea x ia n da h bb u su s e di nt h es y s t e ma r e g i v e n t h e n , t h eo v e r a l lf r a m e w o r ko ft h ec a m e r ai m a g ep r e - p r o e e s s i n gs y s t e mi s i n t r o d u c e d t h ei m a g ep r e p r o c e s s i n gs y s t e mi si n t e g r a t e di nt h em o b i l ep h o n eb a s e b a n d c h i p ，s oi ti sn e c e s s a r y t ot a k et h ea r e aa n dp o w e r c o n s u m p t i o ni n t oc o n s i d e r a t i o n a tl a s t , t h ef i a m e w o r ko f i m a g ep r e p r o c e s s i n gs y s t e m ，a x ib u sa n do f f - c h i pf l a m eb u f f e ra r eu s e d t oa c h i e v et h ef u n c t i o no fi m a g ec o l l e c t i o n , r e c e i v i n g ，t r a n s p o r t i n g , s t o r i n g , p r e - p r o c e s s i n g a n dt h ef i n a li m a g es h o w i n g b a s e do nw h i c ht oc o m p l e t er e l a t i v e l y 丘) ( e dd c tt r a n s f o r m o fi m a g ec o m p r e s s i o na l g o r i t h m , t h ee f f e c t i v e n e s so fr e a l - t i m ei sf u r t h e re n h a n c e d , w h i l e t h eb u r d e no ft h em i c r o p r o c e s s o ri sr e d u c e d i na d d i t i o nt oc o m p l e t i n gt h ed e s i g na n d i m p l e m e n t a t i o no f t h ec a m e r ai m a g ep r e - p r o c e s s i n gs y s t e m , t h ep a p e re m p h a s i z e d o nt h e u s eo fa s i cv e r i f i c a t i o nm e t h o d o l o g yt ov 甜母t h ew h o l es y s t e mi nd e t a i l ，w h i c hc a l l d e c r e a s et h ec y c l et i m eo fc h i pd e v e l o p m e n t b a s e do nt h ev m mv e r i f i c a t i o n m e t h o d o l o g y , t h ec a m e r ar e c e i v i n gc o n t r o l l e ri sr a n d o m l yv e r i f i e d b a s e do nt h es y s t e m v e r i f i c a t i o n , t h ed i r e c tm e m o r ya c c e s s ( i m a g e - d m a ) i sa l s ov e r i f i e d t h ef i n a l p r o c e s s i n gi m a g ei su s e dt oi l l u s t r a t et h ec o r r e c t n e s sa n d r e a l i z a t i o no ft h ec a m e r ai m a g e p r o c e s s i n gs y s t e m t h i sp a p e rm a k e sau s e f u lt r yo fi m a g ep r o c e s s i n gp l a t f o r mi nm o b i l ep h o n e b a s e b a n dc h i pb yc o m b i n i n gb o ma r ma n da 甩w h i c hh a sap o s i t i v em e a n i n go f d e s i g n i n gt h er e a l - t i m ei m a g ep r o c e s s i n gs y s t e mb a s e do nt h ep l a t f o r mm e n t i o n e da b o v e k e yw o r d s ：a s i c ，i s ed c t , v m m i i i i v 图目录 图目录 图2 1 不同去噪算法p s n r 曲线1 0 图2 2b a y e r 阵列图1 l 图2 3 经过b a y e r 阵列滤波图1 1 图2 4l o e f f l e r 算法蝶形图2 2 图3 1 摄像头多媒体子系统框架图2 5 图3 2c a m e r a 接口控制器结构图2 7 图3 3c a m e r a 同步输出控制图2 9 图3 4i m a g ed m a 结构图3 0 图3 5i m a g ed m a 握手状态图3 1 图3 6i m a g ed m a 读时序图31 图3 7 双线性插值算法3 2 图3 8r a t i o = 2 的情况3 3 图3 9r a t i o = 1 4 的情况3 3 图3 1 0r a t i o - = 0 5 的情况3 3 图3 11r a t i o = 0 7 的情况3 3 图3 1 2 行插值处理流程3 4 图3 1 3 帧插值处理流程3 5 图3 1 4 插值结构图3 6 图3 1 5 _ l t ) 控制器结构图3 8 图3 1 6l c d 控制器数据流3 9 图3 1 7p a n n i n g 示意图4 0 图3 1 8 双触发器法处理数据亚稳态问题4 1 图3 1 9 不同频率时钟域之间数据传输可能出现的问题4 2 图3 2 0 采用反馈信号的办法保证信号在不同频率时钟域之间正确传输4 2 图3 2 1a x i 连续地址读取数据方式4 3 图3 2 2a x i 以b u r s t 方式读取数据在存储器中的存储方式4 3 图3 2 3a x i 行读取数据4 4 图3 2 4a x i 列读取数据4 4 图3 2 5a x i 写入数据缓器方式4 4 图3 2 6a x i 从数据缓存起中读取数据4 5 图3 2 7 边界处像素填充4 5 i x 重庆邮电大学学位论文 图3 2 8i s p 处理器结构图4 6 图3 2 9 中值比较算法4 7 图3 3 03 数比较器结果仿真图4 7 图3 3 19 数比较器结果仿真图4 8 图3 3 2 插值示意图4 8 图3 3 3 插值算法流程图4 9 图3 3 4 二维d c t 实现结构图5 3 图3 3 5 图像转置示意图5 4 图4 1 v m m 验证平台构架5 7 图4 2c a m e r a 验证逻辑5 8 图4 3s e n s o r 端驱动框架5 9 图4 4h o s t 端驱动框架6 0 图4 5h o s t 端处理流程6 0 图4 6s e n s o r 端处理流程图- 6 1 图4 7 基于a r m 处理中断处理的c c i r 6 0 1 时序图。6 2 图4 8c c i r 6 5 6 起始命令字仿真时序图。6 2 图4 9 基于d m a 处理中断的c c i r 6 5 6 时序图6 2 图4 1 0c a m e r a 代码覆盖率统计图6 3 图4 1 1a r mr v d s 测试例转换图6 4 图4 1 2i m a g ed m a 数据流程图6 4 图4 1 3i m a g e _ d m a 将c i f 数据搬移至m e m o r y 6 5 图4 1 4i m a g e _ d m a 在m e m o r y 之间进行数据搬移6 5 图4 1 5i m a g ed m a 将m e m o r y 数据搬移至i _ l t ) 6 5 图4 1 6 二维d c t 输入输出图6 7 图4 1 7 二维d c t 转换仿真图6 7 图4 1 8 系统时钟控制图6 8 图4 1 9 图形转换为1 6 进制的显示数据6 8 图4 2 0 显示数据转换为对应的图形6 9 图4 2 1 噪声密度为o 2 去噪效果图6 9 图4 2 2 噪声密度为o 8 去噪效果图7 0 图4 2 3 黑白条文b a y e r 插值效果图7 0 图4 2 4 真彩b a y e r 插值效果图。7 0 图4 2 5 白平衡处理效果图7 1 x 第一章绪论 1 1 课题背景及意义 第一章绪论 伴随着电子技术的不断进步和数字化信息化时代的到来，图像处理技术已经发 展到今天各个领域如工程、医学、通信、军事工业生产以及科学研究中，与此同时 消费类电子产品也急速发展，已经进入了普通消费者的家庭1 1 。手机已经成为一般 家庭成员的必需品。目前消费者已不再认为手机仅仅是用来打电话的，而是将更多 的焦点放在了手机的其他功能业务上，手机的拍照功能以及摄像功能自然成为手机 中不可缺少的功能。但是图像从摄像头感光之后，在采集以及传输过程中，由于获 取图像的工具或者手段的影响，使得获取的图像存在噪声或者变形等缺陷，而不能 正常现实我们所拍摄的物体，或者我们为了要进行图像后期处理，我们需要对原始 数据进行一些改变以及压缩，为此对图像进行预处理是非常重要而有必要的。 由于多媒体技术在各个领域不断普及，用户对图像处理系统的实时性要求越来 越高，提高图像处理系统的实时性的关键是提高图像处理的速度，一般情况提高图 像处理的速度主要有两种做法【2 】：一，对图像处理的算法进行优化和改进，来提高 算法的运算速度，但是最为合适的图像预处理算法已经相当成熟，其运算的复杂性 也相对固定，所以对算法进行优化的同时又要保证精度是非常困难的；二，是改变 现实算法的方式，图像处理算法一般可用软件或者硬件来实现，考虑到简便和成本 因素，利用软件来实现大多的操作，但是在多媒体业务日益成为3 g 业务的热点的 今天，对于速度比较高、实时性比较强的系统，为减轻软件对通话业务处理的负担 和满足系统的实时性我们必须用硬件去实现预处理功能。 在硬件实现图像处理系统中，图片预处理的发展总体有两个主流趋势：图像预 处理集成在s e l l s o r 中，或者单独为一个m 。随着智能化要求的不断提高，消费类产 品等要求更高的灵活性和专业性，那么我们有必要将图像预处理功能在不同的应用 场景中用于不同的实现，即在3 g 手机基带芯片中嵌入图像预处理器已经成为刻不 容缓的工作。 1 2 图像预处理以及图像压缩概述 由于数字图像在人们生活中有着很重要的作用，因此图像质量的好坏对于图像 处理尤为重要。图像预处理的好坏直接影响到图像后续处理，其中图像预处理【3 】包 括图像增强与图像复原，主要有去噪、插值、边缘加强、自平衡、自动曝光、g a m m a 重庆邮电大学学位论文 矫正等处理。其中图像去噪是图像处理中基本技术，也一直是图像处理领域的一个 难题，目前常采用的去噪算法有均值滤波、中值滤波、中点滤波以及基于这些传统 算法的改进算法；由于在不同的应用场景，图像处理是对不同色彩空间域上的全色 图进行处理与现实，而针对采集到的灰度原始数据，需将其进行插值而得到全色图 也是图像处理中不可缺少的部分，目前对于b a y e r 型原始数据进行全色插值算法主 要有两大类，第一类忽略色域之间的相关性，具有代表性的有双线性插值；第二类 考虑了色域之间的相关性，具有代表性的有梯度插值等。 在与模拟信号相比，信号用数字去表示有很多优势，但是它需要大量的数据去 表示，这就使得大数据量的图像信息会给存储器的储存容量、光通信信道的带宽以 及计算机处理速度方面带来很大的压力。尽管在过去的几十年中，由于微电子和存 储工艺的重大进步，存储费用已经迅速降低，但对数据存储和数据处理应用的要求 而言还是远远不够的，如果不考虑信息的压缩，而单纯的提高存储器的容量和带宽 是不现实的，所以在图像处理系统中图像压缩是必不可少【4 】。 图像压缩的压缩机制通常分为两种：有损压缩和无损压缩。无损压缩也称为冗 余压缩或者熵编码压缩，主要包括：h u f f m a n 编码、算数编码、r l c 游程编码等， 它不允许丢弃任何有效信息，从而压缩率比较低，一般在2 ：1 5 ：1 之间，通常压缩 方案不采用无损压缩，而有损压缩，顾名思义是在压缩的过程中丢弃了一些信息， 主要有：预测编码、混合编码、变换编码等，其中变换编码是一种经典的压缩编码 方法，它不直接对空间域图像信号进行编码，而是将空间域描述的图像转换到另外 一个域中进行描述，达到能量分布的重新分配，它本身没有压缩的功能，只会消除 变换之后系数之间的相关度，对重要系数进行量化以及编码之后便可达到压缩的效 果。 图像压缩技术的发展，经历的一个很长的历史时期： 1 8 4 3 年莫尔斯( m o r s e ) 的电报码是最原始的变长码数据压缩实例。1 9 3 8 年里夫 斯( r e e v e s ) 、1 9 4 6 年德劳雷恩( e r n d e l o r a i n ) 以及贝尔公司的卡特勒( c c c u t l e r ) 分别发明了脉冲编码调i i l j ( p u l s ec o d em o d u l a t i o n ，p c m ) 、增量调制( d e l t am o d u l a t i o n ) 以及差分脉冲编码调带l j ( d i f f e r e n t i a lp c m ，d p c m ) 。 1 9 4 8 年香农( c e s h a n n o n ) 在其经典论文“通信的数学原型5 】”中首次提到信 息率失真函数概念，1 9 5 9 年又进一步确立了率失真理论，从而奠定了信源编码 的理论基础。1 9 4 8 年提出电视信号数字化后，就开始了图像压缩编码的研究工作。 19 5 2 年霍夫曼( d a h u f f m a n ) 给出最优变长码的构造方法1 6 1 。同年贝尔实验 室的奥利弗m o l i v e r ) 等人开始研究线性预测编码理论；1 9 5 8 年格雷哈姆( g r a h a m ) 用计算机模拟法研究图像的d p c m 编码方法；1 9 6 6 年奥尼尔( j b o n e a l ) 对比 分析了d p c m 和p c m ，对电视信号传输进行了理论分析和计算机模拟，并提出了 2 第一章绪论 用于电视的实验数据，又于1 9 6 9 年进行了线性预测的实验。 2 0 世纪6 0 年代，科学家们也开始探索比预测编码效率更高的编码方法。人们 首先讨论了包括k l 变换、傅立叶变换等正交变换。1 9 6 8 年安德鲁斯饵c a n d r e w s ) 等人采用二维离散傅立叶变换( 2 d d f t ) 提出了变换编码。此后相继出现了沃尔 什哈达玛( w a l s h h a d a m a r d ) 变换、斜变换( s l a n t 变换，由e n o m o t o 和s h i b a t a 引 入) 、k l 变换、离散余弦变换( o c t ) 等。 1 9 7 6 年美国贝尔系统的克劳切限e c r o c h j i e r e ) 等人引入了语音的子带编码， 1 9 8 5 年奥尼尔( s d o n e i l ) 将子带编码推广到对图像的编码。1 9 8 3 年瑞典的 f o r c h h e i m e r 和f a h l a n d e r 提出了基于模型图像编码【7 】。 1 9 8 6 年，m e y e r 在理论上证明了一维小波函数的存在【8 】，创造性地构造出具有 一定衰减特性的小波函数。1 9 8 9 年，小波变换开始用于多分辨率图像描述。 1 9 8 8 年在图像压缩编码的发展历史中是极为重要的一年。几十年研究的成果集 中表现在确定了h 2 6 1 和j - p e g 两个建议的原理框架，奠定了2 0 世纪9 0 年初相继 提出的m p e g 、h 2 6 3 等标准的基础。 目前，视频流传输中最为重要的编解码标准有国际电联的h 2 6 x 等，联合图 像专家组的j p e g 、j p e g 2 0 0 0 ，国际标准化组织运动图像专家组的m p e g 系列标准 等。 1 3 目前国内外图像处理实现现状 目前在现实生活中，我们对图像处理或者是压缩一般采用电脑去处理，但是对 于特殊情况需要设备小型化或者需要很高的实时性时，主要采用方案有数字信号处 理器d s p 、现场可编程门阵列f p g a 、专用集成电路a s i c 去实现。以下对具体方 案进行分析： 基于x 8 6 构架的计算机指令特点是顺序执行指令，一般使用c ，c + + 等高级语 言进行开发，现在计算机的发展速度非常快，性能也很高，但是由于其指令是一条 条去执行的，对于预处理的大量数据而言，不能够满足实时高速的要求； d s p 作为信号处理的主流芯片【9 】，是在通用c p u 的基础上，专门为快速实现各 种数字信号处理算法而设计的，具有特殊结构的处理器，内部采用专用硬件实现一 些数字信号处理常用的运算，所以用d s p 进行这些运算速度非常快，要比最快的 c p u 还快1 0 5 0 倍。例如t i 公司在2 0 0 8 年2 月发布的面向手机的通用处理器 o m a p 3 5 x 系列，其中图像预处理完全由内嵌辅助处理器去实现，它不会占用整个 通信系统的软件资源。 重庆邮电大学学位论文 f p g a 近期以低成本，高性能的特点在许多领域得到广泛的应用，它可以在设 计上实现硬件并行和流水线操作，而这些却不能在d s p 中实现，可以用硬件设计完 成一些复杂的图像处理算法，尤其是对于结构简单，数据量大而有存在并行处理特 性的算法，可以提高图像处理算法，满足系统实时性的要求【1 0 1 ，就此而言其速度比 一个1 0 0 m h z 的d s p 处理器强1 7 倍，在一些图像处理系统中得到了广泛的应用。 a s i c t l l - 1 2 】即专业集成电路，它是针对某一种固定算法或者功能而专门设计的硬 件，其速度是最快的，功耗相对来说也是最低的，很多视频处理的场合当使用计算 机或者d s p 无法达到要求时需要使用a s i c 来实现功能。再者a s i c 具有大规模、 高集成度、高可靠性的优点，手机多媒体功能的实现选择a s i c 实现是最好不过的 选择。比如s a m s y n g 公司基于a r m l l 7 6 的高性能、低功耗的r s i c 通用微处理 器$ 3 c 6 4 1 0 ，它适用于手持、移动等终端设备，它将图像的接收直至最终的显示完 全由a s i c 去实现。 1 4 本文主要任务以及安排 基于图像预处理在手机业务中的重要性，且需满足手机系统图像处理的实时性， 选用软件方式控制和运算的速度显然无法与纯硬件相比，而在手机业务中，采用高功 耗、高成本的f p g a 芯片也不符合实际，为此，本文针对此情况，选用a s i c 方式去实 现图像的预处理功能来减轻c p u 的负荷，实现图像处理系统的实时性。 本文主要完成基于删内核的摄像头( c a m e r a ) 图像预处理系统的设计，其中 包括图像的采集接收到图像的存储、处理，以及图像的压缩和显示控制进行整个数据 流和控制流的研究和设计，最终对图像预处理系统进行a s i c 前端实现和验证，使的手 机多媒体图像预处理系统具备以下特点： ( 1 ) 完成采样数据的彩色差值、噪声去除、白平衡调整等功能； ( 2 ) 完成图像压缩中算法相对比较固定的d c t 变换； ( 3 ) 完成图像的缩放以及色彩空间域转换 ( 4 ) 由于面积上的限制，采用片外帧缓存； ( 5 ) 采用a m b a 架构的片上a x i 和a h b 总线； ( 6 ) 根据功能需要，采用多时钟域设计； 本文针对摄像头图像预处理基础算法，对其算法进行简单分析并提出了基于 a s i c 的手机摄像头图像预处理系统的硬件实现方案，全文共分5 章，各章的内容 安排如下： 第二章，对图像预处理概念以及图像压缩进行简要介绍，并对部分预处理算法 4 第一章绪论 和图像压缩中算法相对固定的d c t 变换进行简要分析，为后续硬件实现给予铺垫； 第三章，对整个摄像头图像预处理系统进行硬件实现设计。主要对s o c 片上总 线进行简要介绍，然后基于s o c 片上总线提出多媒体子系统中各个模块功能的实现 方案，完成数据的接收，存储、搬移、显示控制、d c t 变换、预处理等功能的硬件 设计； 第四章，搭建模块随机验证平台以及系统验证平台，对图像与处理系统中的功 能点进行验证，并最终给出硬件图像预处理效果图。 第五章，总结了全文并展望后续的研究工作。 重庆邮电大学学位论文 6 第二章图像预处理算法的分析对比 第二章图像预处理算法的分析对比 图像预处理的目的是改善我们感兴趣的图像的质量，“改善”是指针对给定图 像的模糊状况甚至是原始状况，有目的的强调图像的整体或者局部特性，主要包括 线性纠正、清除噪声、原始数据内插、边缘加强、白平衡、g a m m a 矫正等。 由于数字图像在人们生活中有着很重要的作用，因此，图像质量的好坏对于图 像处理尤为重要，彩色图像还原、图像去噪是图像处理中的基本而又关键的技术， 一直是图像处理领域的一个难题。现实景物经过感光得到三基色原始数据，只有还 原成彩色图片我们才可以看到现实景物的“真相 ，而在图像的获取、传输和存储的 过程中，又不可避免的收到各种噪声的干扰，从而影响图像的质量，故图像去噪预 处理的好坏成为后续处理的关键。 针对图像预处理，我们可以进行空间域的处理，也可以进行频域的处理。对于 频域处理，我们需要进行傅立叶变换、傅立叶反变换，甚至有可能用到小波变换， 对于硬件实现，这就需要大量的硬件资源，耗费较长的时间，对硬件实现图像的预 处理并不是一个比较好的选择，而对于空间域上的图像预处理，不需要进行复杂的 变换，将图像数据直接进行处理，从而能达到图像处理的实时性。 2 1 空间域噪声滤除算法分析及对比 由于数字图像从获得到接收过程容易受到干扰，也就是我们所说的图像中参杂 了噪声，这就使得我们得到的图像效果不是很理想。去噪则属于图像处理中非常基 本也是最重要的一类问题。我们可以将这些噪声大体上归为两类：高斯白噪声以及 椒盐噪声。高斯白噪声经常可以采取线性滤波过程将其滤除，而椒盐噪声是一种双 极脉冲噪声，在图片中往往表现出一个个白点或者黑点，在一个像素被量化为8 b i t 时候时，黑点我们则认为其数值等于0 ，白点则为2 5 5 。本节以椒盐噪声为例，实现 了空间域去噪的均值滤波和中值滤波两大经典算法，并基于中值滤波进行算法改进。 最后通过p s n r 值对它们进行性能分析。 2 1 1 均值滤波 均值滤波也被称为“邻域平均法 ，是图像增强算法中经常用到的基本算法之 7 重庆邮电大学学位论文 一。由于图像中相邻像素之间有极大的相关性，彼此之间基本都是平滑过渡，因此 灰度和色彩也是连续地、缓慢变化。而椒盐噪声表现为明显的黑色点和白色点，这 些点与周边像素进行一个均值处理，便可达到平滑噪声的效果，均值滤波的公式可 表示为： g ( x , y ) 2 吉善厂妙) 式( 2 - 1 ) 公式中m 表示模板窗口中的像素个数。在此我们取3 * 3 的矩阵窗口，f ( x ，y ) 是 矩形窗口中各个像素点的值，g ( x ，y ) 是均值滤波后中心像素的灰度值。均值滤波是一 种线性滤波器，它将噪声点数值平摊到周边各个像素中，从而使椒盐不是很明显， 但此过程造成了比较严重的模糊效应，去噪的同时还会引起细节信息的丢失。 2 1 2 中值滤波 中值滤波【1 3 1 在处理椒盐噪声密度不高的情况下可以达到比较理想的结果，它选 取一卞窗口边数为奇数的窗口对图片进行滤波，在此我们仍然选取3 * 3 的窗口矩阵， 将以中心像素点为中心的9 个像素进行数值上的排序，选取中间值去替换中心像素 值的大小，中值滤波的公式可以表示为： y ，2 m e d f 驴) 式( 2 2 ) 公式中m e d 表示取中间值，矗表示窗口矩阵中各像素的灰度值，y i 是中值滤波 后中心像素的灰度值，由于噪声点的强度值一般在两个极点，而在排序过程中，取 中间值作为中心像素的强度值，这样，就不会将噪声数值平摊到其它像素中，而噪 声像素可以用中值像素值代替，从而达到了滤除噪声的效果。但是由于在中值滤波 中，我们对所有像素进行了统一的处理，对有效像素数值进行了改变，从而也存在 图片的模糊效应，为此，我将提出基于中值滤波算法的一个改进算法。 2 1 3 中值滤波改进算法 针对椒盐噪声的处理，已有很多文章提出算法处理的改进，比如自适应中值滤 波，开关加权滤波，多级中值滤波法，他们都是基于对中值滤波算法的改进，因为 在中值算法中，像素的处理没有任何的针对性，对所有像素都进行了处理，而使得 图片具有一定的模糊效应，鉴于以前中值滤波算法的改进，本节提出一种新型的基 于中值算法的椒盐噪声滤除改进算法，大体思路就是有针对性的对噪声点进行处理， 而对非噪声点不做任何的处理。具体操作如下： ( 1 ) 首先逐个判断像素灰度值是否在【o ，咖 和 2 5 5 - - a ，2 5 5 范围内，若不在这个 第二章图像预处理算法的分析对比 范围内则说明该像素为非噪声像素，则不进行滤波处理，保持原先的灰度值。若属 于这个范围，则说明可能是椒盐噪声，需要滤波处理。 ( 2 ) 对于可能是椒盐噪声的像素点提取其3x3 邻域范围九个像素的灰度值， 分别判断统计是否属于 0 ，帆】和 2 5 5 - 0 【，2 5 5 两个范围内，若属于这个范围，则去除 这个像素，若不在这个范围则保留。 ( 3 ) 将3 3 邻域范围内不在噪声区域范围的像素予以保留，并组成一个新序 列，其表示形式为一个i * n ( 1 n 9 ) 序列，然后对这个所有元素都不属于噪声区 域的序列进行排序，选取中值取代中心位置原先像素的灰度。 ( 4 ) 若图像某个区域原先就是很亮，或者很暗的区域，则会出现3x3 邻域范 围九个像素的灰度值都在噪声区域内，此时若去掉属于噪声灰度范围的像素后，序 列为空序列。那么加入一个序列长度的判断，若序列为空，长度为0 ，则此像素点 也不做滤波处理，保持原先的灰度值。 此方法不仅更有针对性的对可能的噪声点直接滤波，避免对非噪声区域因为滤 波引起的模糊效应，而且对中值滤波本身的序列进行了改进，避免了高密度噪声情 况排序序列中过多噪声点存在引起的滤波失效。下文将有详细具体的实验结果和对 比分析。 2 1 4 实验结果及结论 在对不同算法进行性能分析的时候，我们采用随机的加入不同的椒盐噪声密 度，经过不同算法处理后与原始图片进行信噪比数值分析，现对原始图片加入不同 的噪声密度，采用不同的滤波方法对噪声图片进行处理，用p s n r 值来表示处理后 的图片与原始图片的相似度，如表2 1 及图2 1 。 表2 1 不同噪声密度下采用不同算法的p s n r 值对比 噪卢 o 1 o 2 o 3 o 40 50 6o 7o 80 9 强度 均值 2 2 1 61 9 5 41 8 0 7 1 6 6 2 1 5 6 2 1 4 8 71 4 3 l1 3 6 9 1 3 1 7 滤波 中值 2 7 4 8 2 5 7 6 2 3 3 42 0 1 51 7 9 81 5 9 31 4 5 91 2 9 71 1 8 3 滤波 改进 2 8 6 92 6 2 02 4 6 72 3 8 5 2 3 1 12 2 5 l2 2 0 02 1 5 32 0 4 l 算法 9 重庆邮电大学学位论文 图2 1 不同去噪算法p s n r 曲线 ( 备注：因为噪声位置是随机加入的，噪声强度相同的情况下，加入噪声的位 置会不同，所以每次的实验结果不一定相同，p s n r 结果也不完全一样，但差异并 不大，也不影响结果对比，曲线的大致走向是一样的。) 上面的实验结果图和表的数据是对应的，从以上的实验可以得出以下结论： ( 1 ) 随着噪声强度的不断增加，每种算法的p s n r 值都呈现下降趋势。因为 噪声密度越大，去噪的难度越大，和原始图像的差异就越大。 ( 2 ) 椒盐噪声中，中值滤波通常效果比均值滤波效果好。但如果噪声密度太 大，例如到o 8 时，大部分的数据已经是噪声点，此时均值滤波的p s n r 值反而高 于中值滤波，但两种算法都不能很好的完成噪声的去除。 ( 3 ) 改进的中值滤波性能明显优于中值滤波和均值滤波，基本避免了模糊效 应的产生，并且噪声密度越大，这种优势越明显。随着噪声密度的增加，改进中值 滤波算法的p s n r 值下降的也最慢，因此是一种良好的去除椒盐噪声的滤波算法。 2 2 空间域基于b a y e r 型阵列插值算法分析以及对比 在数码照相机系统中，光线通过相机的镜片打在传感器上，而一个传感器一般 由上百万个像素组成，并且传感器只能识别光的强度而不能识别光的色彩，故我们 在光射在传感器之前，将光进行滤波，只能允许部分色彩光进入传感器，使得传感 1 0 第二章图像预处理算法的分析对比 器将进入光的强度转换成电压形式，以电压的大小来表征光的强弱。我们将其允许 通过部分光的阵列称为c f a ( c o l o rf i l t e ra r r a y ) 阵列，c f a 有很多形式，最为常用 的便为b a y e r 型阵 蜀1g l ： 墨，g 1 。 墨，g 1 。足，g l 。 g 2 。 岛：g 2 ，瓦g 2 ； 芝。g 2 ，岛。 r 。g 3 ：r ，g 3 。恐，g 3 。恐，g 3 。 g 4 。只：g 4 ，b 蚺g 4 ，色。g 4 ，目。 足。g 5 ：民， g 。r 5g 5 。恐7 g 5 。 g 6 。优：g 6 ， b 6 4g 6 ，民g 6 ，瓯。 r 7 1g 7 ：马， g 7 。马，g 7 。r 7 7g 7 。 g 8 。最：g 8 ，最。g 8 ，最。 g 8 ，最。 图2 2 b a y e r 阵列图 其中r ( r e x l ) 代表红色，g ( g r e e n ) 代表绿色，b ( b l u e ) 代表蓝色。当光线通过c f a 阵列之后，每个像素都为单色光，从而理想的b a y e r 图是一个较为昏暗的马赛克图， 如果靠的足够近，能够清楚的看到红、绿、蓝色的点，如图2 3 所示( 左：原始图， 中：经过c f a 滤波之后的图，右：经过c f a 滤波之后的放大图) 。为此必须采用 插值的方法将每个像素中只有一种基色的马赛克图变换成每个像素包括红、绿、蓝 色的全色图，这个过程通常被叫做d e m o s a i c i n g 。本节将针对插值进行一些算法的分 析 1 4 1 6 】和改进。 2 2 1 临近插值法 图2 3 经过b a y e r 阵列滤波图 在b a y e r 阵列中，将三基色图片插值成彩色图片最为简单的便为临近插值法。 由于各个基色在整个图片中，大部分是缓慢均匀的变化，则我们将某个像素中缺少 的基色用其周边对应此基色的像素值代替从而达到插值效果，如式( 2 3 ) ： a ( i ，j ) = a ( m ，n ) ( 聊= f l j m = i + 1 ，n = j - 1 u n = j + 1 ) 式( 2 3 ) 重庆邮电大学学位论文 临近插值只是一个简单的赋值过程，没有考虑各个像素之间的相关性，故在插 值处理过重中，会使图片马赛克化，尤其是图片中存在一些非平滑度过区域时，更 为严重。 2 2 2 双线型插值法 双线型( b i l i n e a r ) 插值算法针对r g b 三基色不同通道单独进行插值运算，它 作为插值算法的最基本算法，是以后改进插值算法的提出以及性能分析的一个参考， 其算法原理为对于某个像素的某一个色彩通道而言，其采用周边同通道的平均值， 如式( 2 4 ) ： 、军五( 聊，刀) 式( 2 4 ) 觚胪午 “。 其中n 为滤波窗口中同通道像素个数，五( 聊，刀) 为滤波窗口中不同与五( f ，j ) 的 同通道像素，以b a y e r 阵列部分像素为例： 在b 点插值g 、r 通道值，正如在坐标( 2 ，2 ) 点处： g 2 2 = 坠燮4，耻坠半 式( 2 5 ) 在r 点插值g 、b 通道值，正如在坐标( 3 ，3 ) 点处： 肾坠半，b 3 3 - 坠半 式( 2 在g 点插值r 、b 通道值，正如在坐标( 2 ，3 ) 点处： 岛，：掣粤，马，：掣粤 式( 2 7 ) 由于双线型插值是在独立通道中进行的，它只考虑了同种基色之间的相关性而 没有考虑全色图中所有通道的相关性，从而双线性插值不能得到很让人满意的插值 效果，其在边缘会出现一些锯齿现象。 2 2 3 梯度插值法 自然世界中的彩色图，它的r g b 三通道具有相当强的相关性，对于每一个通 道都能表示相同的内容，因为人眼对绿色比较敏感，则在b a y e r 阵列中，绿色分量 占据了5 0 ，而r 、b 分量各占了2 5 。由于r g b 三通道相邻像素具有很强的相 关性，并且g 分量已知数据又比较多，那么我们需要准确有效的得到全图的g 分量， 再根据相关性估算出未知的r 、b 分量。 1 2 第二章图像预处理算法的分析对比 本节出提出一种基于梯度的插值算法，为保证插值是沿着边界进行而不是跨越 边界