（通信与信息系统专业论文）全景视觉图像去噪与增强方法的研究.pdf

l y c l a s s i f i e di n d e x ： u d c ： ad i s s e r t a t i o nf o rt h ed e g r e eo fm e n g t h er e s e a r c ho ni m a g e d e n o i s i n ga n d e n h a n c e m e n to fp a n o r a m i cv i s i o n c a n d i d a t e ： j i nj i a s u p e r v is o r ：p r o f x iz h i h o n g a c a d e m i cd e g r e ea p p li e df o r ： s p e c i a l t y ： d a t eo fs u b m i s s i o n ： d a t eo fo r a le x a m i n a ti o n ： u n i v e r s i t y ： m a s t e ro fe n g i n e e r i n g s i g n a la n di n f o r m a t i o np r o c e s s i n g j a n u a r y ，2 0 1 0 m a r c h ，2 0 1 0 h a r b i ne n g i n e e r i n gu n i v e r s i t y ，ilfl【 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：座甲 日期：20 ，p 年3 月6 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数 据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编 本学位论文，可以公布论文的全部内容。同时本人保证毕业后结 合学位论文研究课题再撰写的论文一律注明作者第一署名单位 为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 留在授予学位后即可口在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：金甲 日期：2d f9 年3 月膳日 导师( 签字) ：御鳓 zol 口年弓月比日 哈尔滨丁程大学硕+ 学位论文 摘要 近年来，随着大规模c c d 阵列成像技术与多d s p 阵列图像并行处理技术 高速发展，视觉感知系统作为最基本的三维空间感知方式在众多领域都有所 应用。全景视觉图像是由基于成像镜头得到的大于半球视场( 3 6 0 。1 8 0 。) 的视 觉信息图像，由于其开阔的视域，对民用、军用、太空航天等领域具有极其 重要的意义。本文采用目前被重点关注的基于鱼眼镜头和反射镜两种方法来 获取全景视觉图像，由于图像在采集传输的过程中，常常会受到周围环境噪 声影响，导致图像成像质量的下降，并且在特定环境下由于光线亮度等因素 导致图像模糊清晰度不够的情况，针对全视觉图像去噪与增强技术的研究事 在必行并且尤为重要。 由于全景视觉图像尺寸大包含的细节信息非常丰富，普通的图像去噪方 法难以达到同时满足良好的去噪效果与较高的运算效率，提出一种改进的基 于小波分解和四阶偏微分方程相结合的方法用于图像去噪，利用小波良好的 时频局域化特性和偏微分方程能够很好的保留图像的边缘和细节的特点对图 像噪声进行消除。 全景视觉图像去噪后，为得到更好的视觉效果本文重点研究基于偏微分 方程( p d e ) 与脉冲耦合神经网络( p c n n ) 的图像增强方法。从整幅图像灰 度级分布的拉伸与细节信息的强化两个方面着手，本文提出一种改进的基于 偏微分方程冲击滤波器模型与局部直方图均衡化相结合的方法对灰度图像进 行处理并应用到彩色图像处理之中。最后，由于此算法中一些重要参数的选 取直接影响到增强图像的视觉效果，本文采用粒子群算法进行优化选取，得 到最优参数。 关键词：全景视觉；图像去噪；图像增强；优化算法 哈尔滨下程大学硕十学付论文 a b s t r a c t i nr e c e n ty e a r s ，w i t hr a p i dd e v e l o p m e n to ft h el a r g ec c da r r a yi m a g i n g t e c h n o l o g ya n dm u l t i d s pp a r a l l e lp r o c e s s i n gt e c h n o l o g y , v i s u a lp e r c e p t i o n s y s t e mi sw i d e l ya p p l i e di nm a n yo t h e rf i e l d s 嬲t h eb a s i ct h r e e d i m e n s i o n a ls p a c e p e r c e p t i o na p p r o a c h p a n o r a m i cv i s u a li m a g e sa r er e c e i v e db yt h el e n s b a s e d i m a g i n gf i e l do fv i e wl a r g e rt h a nt h eh e m i s p h e r e ( 3 6 0 。18 0 。) v i s u a li n f o r m a t i o n i m a g e s ，b e c a u s eo fi t so p e ns i g h t , f o rc i v i l i a n , m i l i t a r y , s p a c ea n da e r o s p a c e a p p l i c a t i o n si nt h ef i e l do fp a r a m o u n ti m p o r t a n c e i nt h i sp a p e r , w ea d o p t e dt h e m e t h o r d so f f i s h e y el e n sa n dm i r r o rw h i c hh a v eb e e nw i d e l yc o n c e r n e dc u r r e n t l y t oo b t a i nt h ep a n o r a m i cv i s u a li m a g e s t h ei m a g ei so f t e ni m p a c t e db yt h en o i s eo f s u r r o u n d i n ge n v i r o n m e n ta st h ei m a g ec o l l e c t i o na n dt r a n s m i s s i o np r o c e s s r e s u l t i n gi nad e c l i n ei nq u a l i t y , a n di nc e r t a i nc i r c u m s t a n c e sb yt h el i g h t b r i g h t n e s sa n do t h e rf a c t o r sh a v el e dt ol a c ko fc l a r i t y , t h er e s e a r c ho ni m a g e d e n o i s i n ga n de n h a n c e m e n tt e c h n o l o g yi sp a r t i c u l a r l yi m p o r t a n t 舡t h er i c hd e t a i l so fl a r g e p a n o r a m i cv i s u a li m a g e ，t h eo r d i n a r yi m a g e d e n o i s i n gm e t h o di sd i f f i c u l tt oa c h i e v ew h i l em e e t i n gag o o dd e n o i s i n ge f f e c ta n d ah i g hc o m p u t i n ge f f i c i e n c y , an e wp r o v e dm e t h o r dw h i c hi s b a s e do nt h e c o m b i n i n go fw a v e l e tt h a th a sw e l lt i m e - f r e q u e n c yl o c a l i z e dc h a r a c t e r i s t i c sa n d f o u r t h - o r d e rp a r t i a ld i f f e r e n t i a le q u a t i o n st h a td o sw e l li nr e t a i n i n gt h ei n a g ee d g e s a n dd e t a i l s ，i sp r o p o s e di nt h i sp a p e rf o ri m a g ed e n o i s i n g a f t e rt h ed e n o i s i n go fp a n o r a m i cv i s u a li m a g e ，i no r d e rt og e tb e t t e rv i s u a l t h es t u d yb a s e do np a r t i a ld i f f e r e n t i a le q u a t i o n s ( p d e ) a n d p u l s ec o u p l e dn e u r a l n e t w o r k ( p c n n ) i ni m a g ee n h a n c e m e n ti sf o c u s e dr e s e a r c h e di nt h i sp a p e r g r a y s c a l ei m a g e sf r o mt h ee n t i r es t r e t c hw i t ht h ed e t a i l so ft h ed i s t r i b u t i o no ft h e e n h a n c e dt w o - p r o n g e d ，t h i sp a p e rp r e s e n t st h e i m p a c to fp a r t i a ld i f f e r e n t i a l e q u a t i o n sb a s e do nt h ef i l t e ri m a g em o d e la n dt h el o c a lh i s t o g r a me q u a l i z a t i o n m e t h o do fc o m b i n i n gp a i r so fg r a y - s c a l ei m a g e sp r o c e s s e da n da p p l i e dt oc o l o r 哈尔滨t 程大学硕+ 学位论文 i m a g ep r o c e s s e d f i n a l l yf o rt h i sa l g o r i t h m ，a st h es e l e c t i o no fs o m ei m p o r t a n t p a r a m e t e r sd i r e c t l ya f f e c t i n gt h ef i n a lp i c t u r eo ft h ee f f e c to fu s i n gp a r t i c l es w a r m o p t i m i z a t i o na l g o r i t h mt oo p t i m i z et h es e l e c t i o n , t oa c h i e v eo p t i m a lp a r a m e t e r k e y w o r d s ：p a n o r a m i ci m a g e ；i m a g ed e n o i s i n g ；i m a g ee n h a n c e m e n t ；o p t i m i z a t i o n a l g o r i t h m 哈尔滨丁程大学硕十学位论文 目录 第l 章绪论1 1 1 全景视觉l 1 2 成像装置5 1 3 图像去噪及增强8 1 4 优化参数的算法j 9 1 5 论文研究的主要内容1 0 第2 章图像预处理理论基础1 1 2 1 图像预处理12 2 1 1 灰度化处理1 3 2 1 2 平滑处理l3 2 1 3 锐化。l6 2 1 4 对比度扩展l7 2 2 小波变换理论基础18 2 2 1 小波分析理论18 2 2 2 基于阈值的小波去噪2 l 2 3 本章小结2l 第3 章全景视觉图像去噪方法的研究2 2 3 1 基于脉冲耦合神经网络的图像去噪方法2 2 3 1 1 生物视神经模型2 2 3 1 2 基于简化p c n n 的去噪模型2 4 3 2 基于偏微分方程的图像去噪方法2 8 3 3 基于小波变换与偏微分方程相结合的去噪方法3 0 3 4 实验结果与分析3 2 3 5 本章小结一3 6 第4 章全景视觉图像增强方法的研究3 7 4 1 直方图均衡化3 7 哈尔滨下稗大学硕十学位论文 4 2 基于p c n n 图像增强3 9 4 2 1 整体对比度增强4 0 4 2 2 局部对比度增强4 2 4 3 基于偏微分方程图像增强4 3 4 3 1 基于冲击滤波的图像增强模型4 3 4 3 2 基于直方图均衡的p d e 增强模型4 4 4 3 3 基于冲击滤波与局部直方图均衡相结合的图像增强模型4 8 4 3 4 实验结果与分析4 9 4 4 彩色图像增强5 1 4 4 1 彩色图像的色彩空间变换5 2 4 4 2 彩色图像增强模型5 5 4 4 3 实验结果与分析5 8 4 5 图像增强与粒子群优化算法相结合6 l 4 6 本章小结6 5 结论6 7 参考文献6 9 攻读硕士学位期间发表的论文和取得的科研成果7 4 致谢7 5 哈尔滨丁稗大学硕十学位论文 1 1 全景视觉 第1 章绪论 视觉理论的研究开始于2 0 世纪7 0 年代中期，以m a r r 等人为代表的一些 研究者提出了一整套视觉计算理论来描述视觉过程。早期主要是对二维图像 进行处理研究。随着计算机的普及和更新，视觉图像处理技术迅速发展，被 广泛应用于工业、农业、军事、医学等各行业。 全景视觉图像是基于成像镜头得到的大于半球视场( 3 6 0 。1 8 0 。) 的视觉 信息图像，由于其开阔的视域，对民用、军用、太空航天等需要关键的图像 信息的领域具有极其重要的意义【- 吲。 传统的视觉感知系统视场较小，以人眼为例，双眼可以观察的范围大约 水平9 0 。，垂直7 0 。，依靠双眼余光观察范围可以达到水平大约1 8 0 。，垂直9 0 。 而能够分辨清物体的外观特征时的有效观察范围更小，眼球不转动的观察范 围只有3 0 。一4 0 。一般的视觉感知装置均是为满足人眼的视觉效果而设计的。 为了得到线性度较好的视觉效果，普通摄像机的成像视场角只有4 0 。一5 0 。， 加装广角镜头视场可达6 0 。一1 3 0 。，而三维空间具有3 6 0 。x 3 6 0 。的视场，所以 传统的视觉感知系统不能一次获得三维空间的全部信息t 刀。 与传统视觉感知系统不同，全景视觉是指一次获得大于半球视场 ( 3 6 0 。x 1 8 0 。) 的三维空间的全部视觉信息。获得全景视觉需要特殊的视觉 传感器系统。全景视觉作为三维空间信息获取最直接的方式在许多领域都有 广泛的应用，尤其对于民用、军事还有宇航空间等通过视觉信息做出决策的 领域和行业具有非常重要的意义。 全景视觉环境感知系统的早期研究开始于2 0 世纪6 0 年代末7 0 年代初。 1 9 7 0 年美国宾夕法尼亚大学( u n i v e r s i t yo f p e n n s y l v a n i a ) d o n a l dw r e e s 设 计了一套双曲面反射镜成像系统。在电视荧光屏上观测到了通过镜面反射的 哈尔滨t 程大学硕十学何论文 全视场图像，成功应用于塔楼士兵监测周围目标。美国国家航空航天局在9 0 年代末期对这种全景成像方式产生极大兴趣，资助了美国多所大学和研究所 对其开展研究，目前己经实际应用子火星探测机器人，取得了很好的效果【7 l 。 从二十一世纪开始，在世界范围内掀起了一股研究全景视觉的热潮。 2 0 0 4 年1 月3 日美国探测机器人勇气号( m a r ss p i r i tl a n d e r ) 及2 0 0 4 年 1 月2 4 号随后登陆的机器人机遇号( m a r so p p o r t u n i t yl a n d e r ) 在登陆火星时 分别装备了全景视觉环境感知系鲥引。 2 0 0 9 年1 月2 0 日，美国总统奥巴马举行就职典礼，其中一张就职典礼 的全景大视场图片总像素达到1 4 7 4 亿的数码照片( 5 9 7 8 3 2 4 6 5 8 ) ，它完全 展示了相片上千余人的脸孔，引发了全球研究全景视觉技术的狂潮。 全景视觉环境感知系统在民用领域应用也十分广泛。日本尼康和佳能公 司开发了反射镜成像、鱼眼透镜等多种全景视觉系统，并对图像处理算法进 行了研究。欧洲和北美国家研究院等研究机构将全景视觉环境感知系统用于 视频会议、远程教育，等通信网络之中【8 1 。 国内有关全景视觉技术的研究于2 0 0 3 年才开始，目前已处于实际应用性 阶段。根据调研，四川大学光电系苏显渝教授2 0 0 3 年得到国家自然科学基金 资助，开展了折反射光学全景成像理论及双目立体视觉的研究，中国科学院 沈阳自动化研究所机器人研究室董再励研究员2 0 0 4 年利用国家自然科学基 金资助条件开展了全景图像恢复及在移动机器人定位应用的研究，哈尔滨工 程大学自动化学院朱齐丹教授研究了一种双曲面反射镜的全景视觉感知器， 并展开其在移动机器人定位中的研究，大连海事大学自动化研究中心的马孜 教授针对海上搜救的背景展开了全景视觉及其在移动机器人进行海上救助的 研究f 8 】。自2 0 0 5 年至今随着科技的高速发展，尤其是d s p ( d i g i t a ls i g n a l p r o c e s s o r ) ，f p g a ( f i e l d - - p r o g r a m m a b l eg a t ea r r a y ) ，嵌入式等领域的高 速发展促使很多原本只能处在理论研究阶段的全景视觉方法逐渐进入实用化 阶段。 目前获取全景视觉大图像的方法有：( 1 ) 普通视觉传感器+ 旋转云台的方 2 哈尔滨t 程大学硕十学位论文 法，普通视觉传感器视场有限，依靠云台旋转增大视场；( 2 ) 复眼技术+ 图像 拼接的方法，利用多台视觉传感器同时获取视场不同角度的视觉图像，然后 实现图像的无缝拼接；( 3 ) 利用鱼眼成像技术，鱼的眼睛可以一次观察到接 近半球的视场范围，根据鱼眼成像的原理特殊制造的鱼眼镜头是利用多组透 镜组合而成，成像原理复杂，价格也相对昂贵；( 4 ) 利用凸面反射镜+ 普通视 觉传感器的方法 9 1 。 ( a ) 普通视觉图像( b ) 1 8 0 。1 2 0 。鱼眼全景视觉图像 图1 1 普通视觉图像与鱼眼全景视觉图像 目前被广泛关注的全景视觉感知技术主要采用反射镜的全景视觉技术和 鱼眼技术。其中前者通常是由一个c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像机和 正对着摄像机的双曲面反光镜组成，其中反光镜负责将水平一周的图像反射 给摄像机成像，这种成像系统的优点是视场特别大，成像原理相对简单，理 想系统的理论建模相对容易，装置价格相对低廉，但是由于光线经过两次反 射，所以这种成像系统的成像像素会有一定程度的损失，成像质量会受到影 响。由于鱼眼镜头具有大视场的特点，一帧图像就包含非常丰富的信息，且 它以凝视方式工作，不需要旋转和扫描，具有体积小，隐蔽性强的优点，但 其成像原理相对较复杂。所以反射镜和鱼眼镜头两种成像方法各有其独特的 应用价值，对由此获得全景图像的研究具有非常重要的意义 2 0 - 2 2 】。 哈尔滨丁程大学硕十学位论文 ( a ) 鱼日艮幽像( b ) 凸面反射镜图像 图1 2 基于鱼眼镜头与凸面反射镜拍摄的全景视觉图像 相比于传统的全景图的生成方法，全景视觉图像拥有以下优点【2 3 1 ： ( 1 ) 信息量大 一张全景视觉图片上可以集中以前需要4 5 台摄像机同时拍摄才能拥有 的内容，可以拥有水平3 6 0 。的图像信息。在自然界生物的进化中，人类的视 觉范围不超过1 8 0 。，但有些动物却拥有近乎3 6 0 。视觉的能力。通过对全景视 觉系统所获得的图像或视频的处理，人也能同时观察到3 6 0 。的场景。 ( 2 ) 实现成本低 在某些场合的应用中，传统的方法是通过多台摄像机的组合来获得大视 野，而采用全景视觉系统只需要一台摄像机，其实现大视野的成本大大降低。 ( 3 ) 观察方便 在室内监控的应用中，通过软件处理，可使全景视觉图像展开成柱面全 景图，即可在一幅图上观察3 6 0 。环幕场景，改变了以往需多个场景同时观看 才能获得总体信息的情况，减少了监控人员的工作量。 全景视觉系统拥有以上几个优点，使得它在某些领域应用比较广泛，但 是也存着以下几个缺点： ( 1 ) 图像失真 全景视觉图像在成像时有扭曲现象，属于非线性失真，不符合人们的观 察习惯，必须进行转换，才能得到符合人们观察习惯的图像内容。 4 哈尔滨t 稗大学硕十学f c 7 ：论文 ( 2 ) 成像密度不均匀 空间中的信息在全景视觉系统上成像时，其成像密度存在着很大的差别。 在双曲面全景视觉系统中，当双曲面离心率为1 2 5 时，空间中靠近下方近一 半的信息在全景视觉图像中仅占画面信息的五分之一，而在其他曲率的双曲 面镜头中，不均匀性可能会更加严重。 ( 3 ) 图像细节的损失 一是因为在图像中容纳了更多的信息，必然会导致图像部分细节信息的 丢失。二是因为在转换成适合人们理解的柱面全景视觉图时，也会丢失部分 的图像信息。所以将全景视觉图像应用到实际工程中时，需要提供较高的分 辨率。 ( 4 ) 图像的分辨率较高 图像的分辨率较高不仅能减少图像细节的损失而且可以更适合用于目标 监测，目标定位等特殊用途上，但是在处理过程中由于数据量巨大，所以很 难达到实时性要求，因此在图像处理时如何选取简洁快速的处理算法成为实 时处理的关键1 1 0 - 1 4 。 1 2 成像装置 目前被广泛关注的全景视觉感知技术主要是基于鱼眼镜头和利用反射镜 成像的全景视觉技术。鱼眼镜头是一种短焦距( f = 6 1 6 m m l 大视场( 视场角 约为1 8 0 0 甚至2 7 0 0 ) 摄像镜头，其前面的透镜似鼓起的鱼眼，鱼眼镜头之名 由此得来。图1 3 为人眼结构图和鱼眼结构图【1 5 1 的区别。人眼的水晶体是扁 圆形的，因此可以看到更远处的东西，而鱼的眼睛水晶体是圆球形，因此虽 然只能看到比较近的物体，却拥有更大的视角，也就是看得更加广阔。 5 哈尔滨t 稃大学硕+ 学位论文 ( a ) 人眼结构( b ) 鱼眼结构 图1 3 人眼结构图和鱼眼结构图 鱼眼镜头经历了从水下鱼眼的简单模仿到现在的2 7 0 0 和红外式鱼眼镜 头，大约分为四个阶段：第一阶段为对水下鱼眼的简单模仿，第二阶段为鱼 眼镜头的雏形，第三阶段为希尔镜头的改进，第四阶段为鱼眼镜头的发展【1 8 】。 图1 4 为奥林巴斯出产的焦距8 m m ，最大光圈f 3 5 的鱼眼镜头。 图1 4 鱼眼镜头 基于反射镜成像原理相对简单，理想系统的理论建模相对容易，装置价 格相对低廉，通常是由一个c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像机和正对着 摄像机的双曲面反光镜组成，其中反光镜负责将水平一周的图像反射给摄像 机成像，其成像器材如图1 5 所示，是目前研究的主要对象，通过它所获取 的全景视觉图像具有宽广视野的显著特性，使之非常适合某些特定场合的应 6 哈尔滨t 程大学硕十学位论文 用。但是全景视觉系统由于其特殊的光学成像机制，所生成的图像存在一定 的扭曲而且往往是俯视或仰视的图像，见图1 6 。所以需要将这类图像转化为 立体空间图像即柱面全景图。 图1 5 全方位视觉系统摄影器材 图1 6 基于反射镜的全景视觉图像 基于反射镜头全景图像的获取是将三维空间视场的景物处理到一幅圆形 的全景图像当中，而柱面全景图是将所得到的全景视觉图像映射到一个圆柱 面上。将水平环绕场景的柱面展开成图像比较符合人眼的视觉特性，所以以 原始图像圆心为中心将全景图像做柱面展开。柱面全景图适合人类视觉特征， 将圆柱面沿轴向切开，展开在一个平面上，就像处理二维平面图像一样，可 以实现水平3 6 0 。浏览，直接生成方式效果见图1 7 。该图为图1 6 经过一次柱面 展开法还原后所获得的柱面全景图像。 7 哈尔滨t 程大学硕十学位论文 1 3 图像去噪及增强 图1 7 还原后的柱面全景图 近年来，数字图像处理技术已成为数学技术和计算机技术交叉邻域的一 个研究热点，而图像去噪又是图像处理领域中一项十分基本而又关键的技术。 全景视觉图像在生成和传输的过程中受各种不利因素的影响，容易引起质量 退化。全景图像具有视角广、容量大等特点，为了从中获取我们更为感兴趣 的细节信息，全景图像去噪预处理算法的研究成为关注的焦点，为其图像的 后续处理打好基础。 随着各类数字图像获取仪器和数码产品的普及及计算机技术的迅速发 展，全景视觉图像呈现出大分辨率、高信息量的发展趋势，这无疑对于作为 前期处理的图像去噪算法在去噪能力、保留图像边缘细节的效果以及运算效 率等方面的要求越来越高。基于小波分析和偏微分方程( p d e ) 的变分理论的图 像处理方法是近十年来研究的热点n 引。 域同时具有良好的局部化特性的特点， 小波分析具有快速变换和在时域和频 可以把图像的结构和纹理表现在不同 分辨率层次上。而偏微分方程( p d e ) 去噪方法利用图像是分片光滑的二元 函数这一信息，以图像的边缘为边界，采用分片连续的函数逼近图像中的真 实信号，其各向异性扩散能够很好地保留边缘和细节。本文提出一种基于小 波变换和四阶偏微分方程相结合的改进方法，充分发挥这两种方法各自的优 点。 全景视觉广泛应用于广阔视域里的目标识别和监测，目标较小时图像不 够清晰，增强处理后图像细节突出，有利于识别和观察。图像增强的目的是 8 哈尔滨t 程大学硕十学位论文 改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体 或局部特性，扩大图像中不同物体特征之间的差别，满足某些特殊分析的需 要。其方法是通过一定手段对原图像附加一些信息或变换数据，有选择地突 出图像中感兴趣的特征或者抑制( 掩盖) 图像中某些不需要的特征，使图像 与视觉响应特性相匹配。在图像增强过程中，不分析图像降质的原因，处理 后的图像不一定逼近原始图像。图像增强技术根据增强处理过程所在的空间 不同，可分为基于空域的算法和基于频域的算法两大类。基于空域的算法处 理时直接对图像灰度级做运算，基于频域的算法是在图像的某种变换域内对 图像的变换系数值进行某种修正，是一种间接增强的算法。其中图像增强的 具体方法有很多，例如利用直方图变化进行图像增强，还有基于脉冲耦合神 经网络( p c n n ) 对图像进行增强处理和基于偏微分方程的图像增强方法。 其中基于偏微分方程图像增强处理的效果好，本文提出一种基于偏微分方程 冲击滤波器的图像模型与局部直方图均衡化相结合的方法对灰度图像进行处 理并应用到彩色图像处理之中。应用基本文提出的算法进行处理后，图像中 的目标景物更加突出，轮廓更明晰，色彩更鲜明，视觉效果得到了明显的改 善。 1 4 优化参数的算法 全景视觉图像增强过程中，为得到更好的视觉效果，本文提出一种基于 偏微分方程冲击滤波器的图像模型与局部直方图均衡化相结合的方法对灰度 图像进行处理，针对此算法中一些重要参数的选取直接影响到最终图像整体 的视觉效果，这里采用粒子群优化参数算法对重要参数进行选取。 以人工智能( a r t i f i c i a li n t e l l i g e n c e ) 理论为基础的智能算法有很多，具 有代表性的有模糊控制理论、神经网络理论、蚁群算法、粒子群算法等，其 中粒子群算法是被广泛关注的优化算法。 粒子群优化算法( p a r t i c l es w a r mo p t i m i z a t i o n ，以下简称p s o 算法) ，是 9 哈尔滨t 程大学硕十学位论文 由k e m e d y 和e b e r h a r t 于1 9 9 5 年首次提出的一种基于迭代的寻优算法。算法 模拟鸟群飞行觅食的行为，通过鸟之间的集体协作使群体达到最优。p s 0 算 法通过个体间的信息交换来调整进化方向，这些微小的粒子个体能够调整自 身的运动轨迹，同时能够朝着自己以前经历过的最佳位置和整个群体粒子曾 经经历过的最佳位置飞行n 7 1 ，更重要的是p s o 算法采用不同于其他优化算法 的随机搜索策略，操作起来要简便得多，因此在解决全景视觉大图像问题时 显示出其独特的优越性能和优势陋伸】。 1 5 论文研究的主要内容 本论文研究的主要内容包括： 1 针对全景视觉图像信息量大、分辨率高、内容丰富的特点，现有的图 像去噪手段难以在去噪效果和运行效率上同时达到较好的效果这一问题，本 文在研究几种主流图像去噪算法的基础上提出一种改进的基于小波分解和四 阶偏微分方程相结合的方法应用于全景图像去噪，利用小波良好的时频局域 化特性和偏微分方程能够很好的保留图像的边缘和细节的特点对图像噪声进 行消除。 2 由于一幅全景视觉图像所包含的内容非常丰富，我们特别关注的一些 细节信息在图像中所占的比例很小，为得到更好的视觉效果本文重点研究基 于偏微分方程( p d e ) 与脉冲耦合神经网络( p c n n ) 的图像增强方法。本文 提出一种改进的基于偏微分方程冲击滤波器的图像模型与局部直方图均衡化 相结合的方法，从整幅图像灰度级分布的拉伸与细节信息的强化两个方面着 手对灰度图像进行处理，并将本方法应用到彩色图像处理之中。 3 针对本文提出的图像增强算法中的参数较多，其中一些重要参数的选 取直接影响到最终图像出来的效果，采用粒子群优化算法对其进行优化处理。 论文内容分为四章： 第1 章：绪论部分。介绍全景视觉图像及其研究现状，基于反射镜与鱼 1 0 哈尔滨丁程大学硕十学何论文 眼镜头的全景视觉图像成像装置，讨论图像去噪与增强算法、粒子群优化算 法以及课题研究的主要工作。 第2 章：图像预处理理论基础。重点对图像预处理理论做了了详细介绍， 包括灰度化处理、平滑处理、锐化以及对比度拉伸。主要阐述了小波变换理 论应用于图像处理领域的原理及处理步骤，研究了基于阈值的小波去噪方法， 给出了软阈值与硬阈值去噪模型。 第3 章：全景视觉图像去噪方法的研究。本章重点研究了几种适合于全 景视觉图像的去噪方法，首先概述了脉冲耦合神经网络的基本理论及应用， 原理包括：生物视神经模型，p c n n 基本模型及简化的p c n n 去噪模型。其 次重点分析了基于偏微分方程的去噪模型，针对高斯噪声p d e 模型表现出很 好的去噪性能，但缺点是计算复杂、运算量大在处理全景视觉大容量图像时 不能表现出很好的实时性能，本文提出一种改进的结合小波变换和改进的四 阶偏微分方程的去噪模型，充分发挥了两种算法的优势。 第4 章：全景视觉图像增强方法的研究。本章首先概述了几种图像增强 方法的基本理论及应用，原理包括：直方图均衡化理论，p c n n 图像增强模 型和基于偏微分方程理论的图像增强方法，其中重点分析了两种具有代表性 的p d e 模型：冲击滤波模型和局部直方图均衡模型，并提出改进的两种方法 相结合的图像增强模型。第二部分重点介绍了彩色图像增强原理，将灰度图 像去噪模型应用于彩色图像处理之中。最后采用粒子群算法对本文一些重要 的参数进行优化，而且经过优化处理后，最大程度的消减了“散斑的影响， 使得图像的视觉效果得到了明显的改善。 哈尔滨t 稃大学硕士学位论文 第2 章图像预处理理论基础 近年来，数字图像处理技术已成为数学技术和计算机技术交叉邻域的一 个研究热点，图像在生成和传输的过程中受各种不利因素的影响，容易引起 质量退化，使获取图像无法完全体现原始图像的全部信息。因此，为了从图 像中获取我们更为感兴趣的细节信息，对图像进行预处理就显得非常重要。 图像预处理的目的是为了改良图像数据，抑制不需要的干扰或者增强某些对 于后续处理来说比较重要的图像特征。 2 1 图像预处理 一幅数字图像处理系统的流程，一般可以分成三个阶段。得到原始数字 图像之后，第一步是图像预处理阶段，第二步是特征抽取阶段，最后是识别 分析阶段。在实际情况中，由于周围环境的影响，拍摄图像时受到光照、噪 声、温度、湿度、摄像器材的不稳定性等原因，所获得的数字图像并不十分 理想。因此需要对整幅图像进行一定的处理，使之达到较好的视觉效果，为 后续的特征抽取与监控识别打下基础。即前面所说的第一步进行图像预处理 阶段，改善图像数据，消除影响视觉效果的变形或增强一些比较重要的细节 特征。 图像的预处理内容包括灰度化处理、平滑处理、锐化、对比度扩展等内 容。图像预处理方法主要包括两类：空间域增强方法和变换域增强方法。本 节主要是针对空间域内对图像数据中的点进行改良 2 4 - 2 6 】。 从改善符合人眼视觉效果特性和便于计算机系统识别分析图像两个角度 出发。针对具体图像的某些特点和所存在的具体问题采用相应的改良手段或 者加强特征的方法称之为图像增强。在数字图像处理领域中，使用图像增强 的目的一是改善图像的视觉效果，二是突出其整体或者局部的细节特征，使 1 2 哈尔滨t 稃大学硕十学何论文 之更有利于计算机系统的处理。一般来说，常见的数字图像增强方法有直方 图均衡化、去噪、锐化、同态滤波和彩色图像增强等。 对于基于人眼视觉系统特性所摄取的数字图像进行容量和质量的调整， 此调整过程属于图像处理的预处理阶段。图像的预处理过程包括灰度化，平 滑，锐化，对比度拉伸等等。 2 1 1 灰度化处理 从图像采集卡或数码相机所得到的数字图像通常为彩色图像，需要将它 们转化成灰度图像来进行下一步的图像处理工作。灰度图像是指包含图像的 亮度信息，不包含色彩信息分量的图像。灰度化处理是将彩色图像变换成灰 度图像，与其像素点所在的位置和它周围像素点的灰度值无关。灰度化处理 是计算机图像处理系统很重要的一步，其结果往往是后期处理步骤的重要基 础。 灰度化处理过程中首先将亮度值进行量化，通常划分为0 - 2 5 5 ，即2 5 6 个量化级，其中o 为最暗( 纯黑) ，2 5 5 为最亮( 纯白) 。所以在灰度化处理 过程中，系统先读取调色板中的r ，g ，b 所对应的数值，代入下面的公式： i = 0 5 9 x r + 0 1 l x g + o 3 x b ( 2 - 1 ) 得到灰度图像的亮度值。 2 1 2 平滑处理 图像平滑处理是图像预处理阶段非常重要的一种手段。它主要的目的是 消除噪声。几种常见的干扰噪声如椒盐噪声、脉冲噪声和高斯噪声等都是一 种随机过程。椒盐噪声在整幅图像中随机出现一些黑白( 灰度值为0 和2 5 5 ) 干扰点。脉冲噪声在图像中随机出现一些自强度值或黑强度值的点。与前两 种噪声不同，高斯噪声在整幅图像中造成的干扰点具有其亮度服从高斯或正 态分布的特性。这里高斯噪声是在众多传感器中所采用的很好的噪声模型， 比如摄像机中常见的电子干扰噪声。 在实际应用中，我们根据数字图像所受干扰噪声的类型来选择适当的图 哈尔滨t 程大学硕十学位论文 像平滑处理方法。前面所讲的两类图像预处理方法：空间域增强方法和变换 域增强方法，这里先介绍空间域采用的一些措施。其中空域滤波是在图像空 间中借助模板对每一个像素点进行邻域操作完成的。根据其特点可分成线性 和非线性两类滤波。其中在高斯噪声干扰下，使用线性平滑滤波器具有很好 的效果，而且在大多数情况下，对另外几种类型的噪声也表现出很好的去噪 能力。其中局部均值运算是最简单的一种线性滤波器。它将图像中所有像素 点的灰度值f ( k ，) 用其周围局部邻域内各点灰度值的均值办( f ，) 来替换。均 值计算公式【2 7 1 如下： 1 地，) = 古( 七，z ) ( 2 - 2 ) 1 h ( i 。i ) e n 式中，n 为像素点的邻域，m 为内的像素点总数，f ( k ，) 是在邻域 内位置( 七，) 处的像素点的灰度值。 、 通常来说，邻域的大小控制着滤波效果的程度。从单方面来看，大尺 度邻域可以加大其滤波的程度，但消除大噪声的同时也付出了一定的代价， 它会导致图像许多细节部分的损失和计算量的明显增加。所以使用均值滤波 的缺点是可能将图像中的一些独立的尖锐不连续部分造成模糊，而这部分往 往是图像中最重要的细节。这里非线性滤波可以同时满足既消除噪声又要保 持图像细节的要求。 中值滤波是最简单的非线性滤波器，与均值滤波不同的是，它用像素点 邻域灰度值的中值来替换其像素点的灰度值。使用中值滤波器对脉冲噪声和 椒盐噪声进行处理，在去噪的同时可以很好的保持图像的边缘细节。因为中 值滤波不是取邻域中的均值，一些像素点的灰度值与其它差距很大，将作为 噪声点直接被滤掉，所以产生的模糊效果要少一些。实际操作是将固定尺寸 的模板放在图中每一个像素点位，读取模板下各对应像素的灰度值，将这些 灰度值按大小顺序排列，取该序列的中值代替模板中心像素点。中值滤波的 关键问题是模板尺寸的选用，如果模板尺寸过大有可能造成边缘信息的丢失， 相应的增加计算量的负担。相反地如果尺寸选的太小，则会影响去噪的效果。 1 4 哈尔滨丁稃大学硕士学位论文 还有一种去噪效果很好的平滑方法即高斯平滑滤波器，其模板眇j 为： 土| 三4 2 三 协3 ) 1 6 l1 2li 模板操作思想的提出真正实现了一种邻域范围内的运算。在这里每一个 个像素点处理的结果不仅与原像素点灰度值有关，还与其周围点的值有关。 平滑模板的思想是通过一点和周围8 个点的平均来去除像素变化较大的点， 进行去噪处理，代价是造成了图像一定程度的模糊。从式( 2 3 ) 看出，距离 中心点越近的点对其所造成的影响越大，相对应的其加权系数也越大。 下面以采用鱼眼镜头拍摄的全景视觉图像为例，加入椒盐噪声并采用中 值滤波进行去噪处理。选取尺寸为3 x 3 、5 x 5 、7 x 7 模板，比较各自滤波效果。 从图2 1 中可看出，滤波后图像中的噪声被消除，保持了一定的边界信息。 ( a ) 鱼眼图像 ( c ) 模板3 x 3 ( b ) 加入椒盐噪声 ( d ) 模板5 x 5 哈尔滨下程大学硕十学何论文 2 1 3 锐化 ， 哈尔滨t 程大学硕十学位论文 (a)灰度图(”锐化图 图2 2 经拉氏模板处理的鱼眼图像 2 1 4 对比度扩展 一幅图像在成像过程中如果光照不足，会使得整幅图偏暗，( 例如，灰度 范围从0 到6 3 ) ；或者