（应用数学专业论文）基于多幅图像数据的三维形貌恢复方法研究.pdf

摘要 随着人们对产品个性化的追求和科技进步，使产品制造的形貌特征趋于多 样化和复杂化，传统的以工件上规定检测点近似评价工件全貌的测量方法，已 不能满足评价工件形貌的要求，三维形貌的全面测量已经成为测量领域一个新 的目标。随着计算机视觉技术的普及与发展，基于图像的三维重构技术成为c a d c a m 领域的研究热点。 本文在单幅图像数据的基础上，以图像融合技术为工具，研究利用多幅图 像的数据恢复物体形貌，提出一种新的三维恢复方法基于多幅图像融合技 术的三维形貌恢复方法。论文主要成果与创新之处如下： 1 多幅图像的融合：把多幅源图像的信息作小波变换后，对得到的低频系 数和高频系数分别采用取平均和取绝对值大的融合规则进行融合，得到包含物 体信息更全面的图像，提高了源图像的质量，这样就克服了传统的基于阴影恢 复形状方法( s h a p ef r o ms h a d i n g ，s f s ) 因源图像质量低使恢复结果失真的局 限性，为后面的恢复奠定了条件。 2 复合反射模型：假设反射模型是包含漫反射和镜面反射的复合反射模型， 来替代单纯的朗伯体反射模型，建立反射方程，使之能够适用于更加复杂的物 体，得到更好的效果。 3 快速恢复三维形貌：将反射方程离散化，利用一种快速的代数方法通过 迭代求解反射方程得到物体的相对高度，再利用s f s 方法来恢复物体的三维形 貌。 通过对人工合成图像和实物图像的分析，实验结果表明：基于多幅图像融合 技术的三维形貌恢复方法对恢复结果有了很大的改善，获得的效果更加逼真， 和实物的误差更小，并且能够实现对物体的各个部分进行分析，对有缺陷的物 体或者图像上有自阴影的地方，通过几幅图像融合，能够消除由它们导致恢复 结果的严重失真，这为基于图像的三维形貌恢复技术在工业测量和逆向工程中 的应用提供了条件。 关键字：小波变换，图像融合，阴影恢复形状方法 a b s t r a c t t h es h a p ec h a r a c t e ro fp r o d u c ti sm o r ed i v e r s ea n dm o r ec o m p l i c a t e dw i t h p u r s u i t o f i n d i v i d u a l i t y a n d d e v e l o p m e n t o fs c i e n c ea n d t e c h n o l o g y t h e m e a s u r e m e n tt h a tu s i n gt h ep r e s c r i p t i v ep o i n ta p p r o x i m a t e l ye s t i m a t e st h ew h o l e s h a p eo fp r o d u c td i s s a t i s f i e st h ed e s i r eo fe s t i m a t i n gt h ew h o l es h a p eo fp r o d u c t t h e w h o l em e a s u r e m e n to f3 ds h a p ei st h ea i mi nt h ed o m a i no fm e a s u r e m e n t 3 d r e c o n s t r u c t i o nb a s e di m a g ei st h ei m p o r t a n ts u b je c ti nt h ed o m a i no fc a d c a m w i t ht h ep o p u l a r i z a t i o na n dd e v e l o p m e n to fc o m p u t e rv i s i o n t h i sp a p e rr e s e a r c h e s3 dr e c o n s t r u c t i o nu s i n gt h ed a t ao fs e v e r a li m a g e sw i t h i m a g ef u s i o na n dp r o p o s ean e wm e t h o do f3 dr e c o n s t r u c t i o n r e s e a r c ho n3 d r e c o n s t r u c t i o nm e t h o db a s e do ns e v e r a li m a g e sf u s i o nt e c h n o l o g y t h em a i n i n n o v a t o r yw o r k s a lel i s t e da sf o l l o w ： 1 s e v e r a li m a g ef u s i o n ：t h es e v e r a lo r i g i n a li m a g e sa r ew a v e l e t t r a n s f o r m e da n d l o wf r e q u e n c yc o e f f i c i e n ta n dh i g h f r e q u e n c yc o e f f i c i e n ta d o p t st h ea v e r a g ea n d m a x i m u mr u l e sr e s p e c t i v e l yt of u s e ，w h i c hc a ni m p r o v et h eq u a l i t yo fo r i g n a li m a g e a n do v e r c o m et h el i m i t a t i o nb e c a u s eo ft h ep o o rq u a l i t yo fo r i g i n a li m a g e 2 h y b r i dr e f l e c t i o nm o d e l ：s u p p o s et h a tr e f l e c t i o nm o d e li sh y b r i dr e f l e c t i o n m o d e lt h a tc o n t a i nb o t hd i f f u s er e f l e c t a n c ea n ds p e c u l a rr e f l e c t a n c ei n s t e a do f l a m b e r tm o d e l l i k et h i s ，t h er e f l e c t i o n e q u a t i o ni s m o r es u i t a b l ef o rm o r e c o m p l i c a t e do b j e c t 3 3 ds h a p eo ff a s tr e c o n s t r u c t i o n ：d i s p e r s er e f l e c t i o ne q u a t i o na n du s ef a s t a l g e b r aa l g o r i t h mt os o l v et h er e f l e c t i o ne q u a t i o n ，a n dt h e ng e tt h ed e p t ho fo b j e c t a t l a s t ，w eu s es f s ( s h a p ef r o ms h a d i n g ) m e t h o dt or e c o n s t r u c tt h es h a p eo fo b j e c t t h ee x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a t t h i sm e t h o d - - m r e s e a r c ho n3 d r e c o n s t r u c t i o nm e t h o db a s e do ns e v e r a li m a g e sf u s i o nt e c h n o l o g yc o u l di m p r o v e t h er e s u l tg r e a t l ya n dc a l la n a l y z et h ed i f f e r e n tp a r to fo b j e c t b e s i d e si tc a ne l i m i n a t e t h es h a d o w a l lo ft h i sp r o v i d e sc o n d i t i o nf o ri n d u s t r i a lm e a s u r e m e n t sa n dc o n v e r s e e n g i n e e r i n g k e yw o r d s ：w a v e l e tt r a n s f o r m ，i m a g ef u s i o n ，s h a p ef r o ms h a d i n g i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 、 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：嵫导师签名：日期：印可，2 武汉理：大学硕士学位论文 1 1 引言 第1 章绪论 随着计算机技术的普及和发展，几何造型技术已广泛用于新产品的开发与 制造过程中，它不仅缩短了新产品的开发和制造周期，而且提高了产品的设计 精度和设计质量。传统的计算机辅助几何造型技术，必须根据设计要求构造产 品的c a d 模型，然而，在很多情况下产品的初始设计信息却无法直接用文字和 数字表达，使得产品的建模十分困难。逆向工程( r e v e r s ee n g i n e e r i n g ，r e ) 技术的 出现很好地解决了基于样件或实物重构几何模型这一难题。目前，研究最多的 是基于实物的反求工程，即以实物样件为目标，通过一定途径，将实物转化为 c a d 模型，再利用c a d c a m 技术进行进一步处理，进而开发出同类的新产品。 形状表面的数字化是其关键技术，通常采用下列两种方法：采用三坐标测量机 ( c m m ) 的接触式测量和利用激光、超声波、电磁或工业c t 等的非接触式测量【l 训。 尽管逆向工程技术很好地解决了基于实物的几何模型重构问题，但是对于那些 实物不便测量或无法得到实物( 尤其是那些高科技新产品) 或仅已知产品的照 片或图片信息，要求根据图像信息进行产品创新设计或开发的情况，这种传统 的基于实物的设计方法就无能为力了。 作为计算机视觉中三维数据被动获取的重要手段，基于图像的三维重构技 术能够根据二维图像中的灰度信息，获得物体的三维形状信息。该项技术为实 现基于图像的产品创新设计提供了条件。其中的关键技术就是阴影恢复形状方 法( s h a p ef r o ms h a d i n g ，s f s ) ，它能够根据单幅灰度图像的阴影线索，获得 物体的三维形貌信息。该方法操作简单、成本低、效率高，因而备受关注。s f s 是由h o r n 等【5 j 最先提出来的，其求解是基于如下的假设：( 1 ) 光源为无限远处 点光源；( 2 ) 反射模型为朗伯体表面反射模型( l a m b e r t i a ns u r f a c em o d e l l ；( 3 ) 成像几何关系为正交投影，这样物体表面点图像的狄度，仅由该点光源入射角醴 的余弦来决定，即i = c o s 岔。 然而这种技术与源图像的质量有很大的关系，对同一个物体，源图像的分 辨率越低，恢复出来的图像分辨率就越低，反之亦然。这样提高源图像的质量 武汉理工大学硕十学位论文 也就成为三维形貌信息恢复的重要的基础。 1 2 研究的意义 基于图像灰度信息的三维恢复技术，是将计算机视觉理论、计算机辅助几 何设计方法、图像插值技术高度融合，是实现基于图像数据的数字化设计与制 造的基础和关键环节。该项技术能够根据输入图像中的灰度信息，实现物体表 面三维模型的重建，具有操作简单、成本低、适用范围广等优点。输入的图像 既可以是实时采集的图像，也可以是历史图像( 如照片、图片等) ，因此，本文 所研究的技术具有广阔的应用前景。其应用前景如下： ( 1 ) 产品制造将基于图像灰度信息的三维恢复技术用于逆向工程领域， 可以根据产品的照片或图片信息，实现产品的加工制造； ( 2 ) 产品外形设计利用已知产品的图片或照片，实现产品外形的快速设 计，可以有效缩短产品开发周期，降低成本，提高企业的快速反应能力； ( 3 ) 产品检测将基于图像灰度信息的三维恢复技术用于工业测量领域， 对产品的缺陷进行在线检测与测量，能够有效地提高产品质量和检测效率，降 低测量成本。 ( 4 ) 非接触测量将基于图像灰度信息的三维恢复技术用于物体的非接触 测量，可以实现大型物体的三维形貌恢复，如，地形地貌恢复、遥感图像恢复 等；在某些不适合仪器进行接触测量的特殊场合，如水下工作的大型工件的测 量，可以透过水面对水下物体进行拍摄，根据图像灰度信息恢复其三维形貌。 ( 5 ) 医学领域将基于图像灰度信息的三维恢复技术用于医学领域，实现 基于视觉的诊断及手术，能够有效地提高肿瘤等疾病的诊断与治疗效果。 ( 6 ) 考古及文物保护将基于图像灰度的三维恢复技术应用于文物复原与 保护，利用古代文物的照片，复原或复制出文物，对于历史资源的重现和保护 具有重要的价值。 1 3s f s 研究的历史及现状 武汉理t 大学硕士学位论文 在马尔的计算机视觉理论指导下，基于视觉的三维重构技术，特别是 s h a p ef r o mx 技术得到了极大的进展1 6 】。这里的x 是指二维图像中的阴影 ( s h a d i n g ) 、轮廓( c o n t o u r ) 、光度立体( s t e r e o ) 、纹理( t e x t u r e ) 、运动( m o t i o n ) 等三维线索。s h a p ef r o ms h a d i n g ( 简称s f s ) 即由阴影恢复形状的方法， 利用图像中留下的阴影线索，获得物体的三维形状信息。这一问题源7 0 年代， 由m i t 的h o r n 卜9 】等人首先提出的，其任务就是利用图像中物体表面的明 暗变化来恢复其表面各点的相对高度或表面法方向等参数值，为进一步对物 体进行三维重构奠定基础。该方法仅通过一幅图像来重构物体三维形状，不 仅适用于实时采集的图像，还适用于历史图像，因此，s f s 方法在工业过程 监测、医学图像处理、遥感图像、自然景物模拟等领域中得到了广泛的应用， 并逐渐向其他领域渗透【l m j 。 随着s f s 方法研究的深入，世晃各国的研究人员在s f s 方法的理论与 应用方面的研究工作又取得了一些新的进展。在s f s 方法的应用方面，约克 大学将s f s 方法应用于物体的识别【l8 1 ，并取得了很好的效果。美国马里兰大 学【1 9 】通过对梯度场进行代数逼近的方法求解s f s 问题，提高了求解速度。在 理论方面，东京大学对s f s 方法的鲁棒性【2 0 】进行了研究，采用雅可比迭代方 法改善了s f s 算法的稳定性。日本b u n k y o 大学将s f s 方法与先验知识相 结合【2 ，实现了多面体的三维重构。 近年来，国内在s f s 方法的研究及应用方面同样取得一些成果。西北工 业大学在s f s 方法的理论研究及应用方面取得了一定的成绩，赵歆波【2 2 】等人 将分形理论与s f s 方法相结合，对遥感图像取得了很好的恢复效果；朱皓1 2 3 】 等人把s f s 技术应用于反求工程中，在汽车外形设计的三维数模重构中取得 了较好的效果；须咧2 4 】等人对s f s 最小化方法进行了分析。 1 4s f s 存在的问题 s f s 问题可以看成是图像生成的逆过程，因此，要获得问题的精确解，首 先必须了解图像的形成机理，同时，为构造合适的重建模型，又必须了解人 眼从图像恢复形状的机理。这就决定了s f s 问题必须解决以下几个难题。 ( 1 ) 确定合适的反射模型 武汉理工大学硕十学位论文 根据物体表面物理特性的不同，曲面反射可以分为漫反射( 即朗伯体反 射) 、镜面反射、复合反射或更复杂的反射形式。为简化问题，传统的s f s 算 法均假设反射模型为朗伯体反射模型，这样，朗伯体表面的亮度与入射光强 成f 比。实际上，真实物体表面的反射介于漫反射和镜面反射之间，这样， 为提高模型的精度，应该考虑复合反射模型在s f s 中的应用。另一方面，目 前所有的s f s 算法均未考虑曲面片间互反射的情况。 ( 2 ) 源图像的质量 由于重构物体的形状与源图像的质量有密切的关系，源图像的质量高， 分辨率高，重构得到的物体形状就越精确，反之亦然。为此，提高源图像的 质量就成为物体三维重构的基础，本文以图像融合为手段，把多副图像的数 据融合在一起，以此来提高源图像的质量。 ( 3 ) 给出合适的约束条件 即使我们假设物体表面反射为朗伯体反射并知道光源方向，即使图像亮 度可以描述成曲面形状和光源方向的方程，s f s 本质上还是病态问题。这是因 为，如果用法矢表示曲面的形状，则我们得到一个有三个未知量的线性方程。 如果用曲面梯度描述曲面形状，则我们得到一个有两个未知量的非线性方程。 而从图像中我们只可以获得图像亮度一个已知量，于是，寻找s f s 问题唯一 解必须加入额外的约束条件。 1 5 研究的主要内容 本文首先介绍了课题研究的意义和s f s 研究的历史及现状，还有s f s 存在 的问题，然后介绍了图像融合的相关内容，最后是s f s 技术的相关问题和本文 的算法以及实验结果的分析。其主要内容包括： ( 1 ) 对源图像进行小波变换，分别对分解所得的低频小波系数和高频小波 系数分别利用取平均和取绝对值大的融合规则进行融合，以便得到更好的融合 效果，为后面进行恢复做基础。 ( 2 ) 对源图像进行多小波分解，对分解所得的低频多小波系数和高频多小 波系数分别利用取平均和梯度对比的融合规则进行融合。 4 武汉理_ t 大学硕十学位论文 ( 3 ) 在汲取已有的研究精华，在图像融合的基础上，假设反射模型是包含 镜面反射和漫反射的复合反射模型，然后把反射方程离散化，最后利用一科l 快 速的代数方法通过迭代求解反射方程得到物体的相对高度，再利用s f s 方法来 恢复物体的三维形貌。 武汉理t 大学硕士学位论文 第2 章图像融合 2 1 图像融合技术的概述 随着光学、电子学、数学、摄影技术、计算机技术等学科的发展，以及处 理器、存储器和显示设备性能的提高，且价格不断下降，使得数字图像处理迅 速发展。图像融合是二十世纪七十年代后期提出的新概念，它是一门综合了传 感器、图像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。 由于图像融合系统具有突出的探测优越性( 时空覆盖宽、目标分辨力与测量维数 高、重构能力好、冗余性、互补性、时间优越性以及相对低成本等) ，在国际上 技术先进国家受到高度重视并已取得相当的进展。 图像融合是指综合两个或多个多源图像的信息，图像融合的目的是综合同 一个场景的多个图像的信息，其结果是更适合人的视觉和计算机视觉的一幅图 像，或更适合进一步图像处理需要的图像。融合图像更符合人或机器的视觉 特性，以利于对该图像的进一步分析、理解以及目标的检测、识别或跟踪。对 图像融合来说，融合源图像可能是在同一个时间段，来自多个传感器的图像， 也可能是单个传感器在不同时间提供的图像序列。一般来说，图像是对客观实 际的一种反映，是一个不完全、不精确的描述。图像融合充分利用多幅图像资 源，通过对观测信息合理支配和使用，把多幅图像在空间或时间上的互补信息 依据某种准则融合，获得对场景的一致性解释或描述，使融合后的图像具有比 参加融合的任意一副图像更优越的性质，更精确地反映客观实际l z 川。 图像融合技术应用广泛。在医学上，图像融合技术可以用于各种类型的医 学图像融合，如c t 、m r i 和p e t 图像的融合提高了计算机辅助诊断的能力；在 制造业，图像融合技术可以用于产品的检验、材料探伤、复杂设备诊断、制造 过程监视、生产线上复杂设备和工件的安装等；在图像和信息加密方面，通过 图像融合可实现数字图像的隐藏以及数字水印的图像植入。 2 2 图像融合的层次 图像融合一般分为以下三个层浏2 6 】：( 1 ) 像素级融合；( 2 ) 特征级融合；( 3 ) 决策级融合。 6 武汉理t 大学硕士学位论文 2 2 1 像素级融合 像素级融合是图像在已经配准条件下，对各传感器输出的信号直接进行信 息的综合分析。像素级图像融合是在基础层上进行的信息融合，是最低层次的 图像融合，该层次的融合准确性最高，能够提供其他层次上的融合处理所不具 有的细节信息。像素级图像融合可以使得人们对图像的观察更为容易，更适合 计算机检测处理。像素级图像融合的优点就是信息丢失最少，但是处理的信息 量最大、处理速度最慢、对设备要求较高。像素级图像融合一般包括三个过程： 首先是图像的配准，对于图像融合来说，最基础的一步就是要对不同的图像源 实现高精度配准，它的精确与否直接关系到图像融合的质量；其次是图像融合 算法的实现，根据不同传感器得到的图像特征可采用不同的融合算子；最后是 融合结果的质量评估，在实际应用中，可以根据不同的目的和不同的图像源来 选择不同的方法。像素级融合结构如图2 1 所示。 2 2 2 特征级融合 预 处 理 图 像 配 准 像 素后 级 处 融理 厶 口 图2 1 像素级融合过程 特征级融合即从多幅原始图像中提取有用的特征，如边缘、形状、轮廓和 区域等信息进行综合处理。特征融合是在中间层次上进行的信息融合，它既保 留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。特征级融 合与像素级融合相比，缺点是信息丢失较多，优点是计算量较小。特征级融合 结构如图2 2 所示。 7 武汉理工大学硕七学位论文 预 处 理 2 2 3 决策级融合 特 图 特 征像 征后 提配 级处 取 准 融 理 合 图2 - 2 特征级融合过程 决策级融合即是根据一定的准则以及每个决策的可信度作出最优决策。决 策级融合是高层次的信息融合。在每个传感器已经完成了目标提取与分类之后， 融合系统根据一定的准则以及每个决策的可信度作出决策融合处理。决策级融 合实时性好并且具有一定的容错能力。决策级融合结构如图2 3 所示。 预 处 理 2 3 融合算法 特 特 决 征 征 策 后 提 分 级 处 取类 融理 合 图2 3 决策级融合过程 2 3 1 传统的图像融合算法 图像融合是将两个或者两个以上的传感器在同一时间( 或不同时间) 获取 的关于某个具体场景的图像或者图像序列信息加以综合，以生成一个新的有关 此场景的解释，而这个解释是从单一传感器获取的信息中无法得到的。图像融 合的可以提高图像信息量。图像融合在医学、测量、地理信息系统、工业、智 ； 武汉理1 ：大学硕士学位论文 能机器人以及军事领域都起着重要作用，并日益为众多研究者所关注。 图像融合是以图像为主要研究内容的数据融合技术，是把多个不同模式的 图像传感器获得的同一场景的多幅图像或是同一传感器在不同时刻获得的同一 场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像原 理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅 图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以 更全面、更精确地描述所研究的对象。图像融合的目的也是为了减少不确定性。 图像融合在医学、测量、地理信息系统、工业、智能机器入以及军事领域都起 着重要作用，并日益为众多研究者所关注。 传统图像融合中的像素级图像融合是最基本、最重要的图像融合方法，同 时也是获取信息最多、检测性能最好、适用范围最广、实施难度最大的一种融 合方法。一般说，像素级图像融合是特征级图像融合以及决策级图像融合的基 础。传统的融合算法在图像融合技术发展初期是使用比较多的，但是由于这些 方法具有较大的局限性，实现效果不是十分理想，现在慢慢的被新的融合技术 所替代。 2 3 1 1 加权平均法 加权平均法是最简单的多幅图像的融合方法，也就是对多幅图像的应像素 点进行加权处理。其中最简单的就是平均值法。 2 3 1 2i h s ( i n t e n s i t yh u es a t u r a t i o n ) 融合法 h i s t 2 6 】融合算法是将图像的r g b 模型转换成i h s 模型，对其中三个相互独 立且意义分明的分量i 、h 、s 进行特定的图像融合运算，然后再将融合图像反 变换回r g b 空间进行显示。 2 3 1 3p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 融合方法 p c a 2 6 】变换也称为k l 变换，就是主成分分析法。它是将一个图像由内部 相关变量表示的数据集转换为一个由初始变量线性组合的非相关的数据集，然 后对其主成分进行融合置换处理。从数学角度看，这是一种降维技术，用较少 的几个综合而且又是相互独立的指标来代替原来较多的变量指标。 2 3 2 基于小波变换的图像融合算法 对于图像融合而言，在频率域进行比在时间域进行更为有效，融合算法的 9 武汉理1 = 大学硕十学位论文 设计必须要把融合的目的和图像的频率域表现结合起来考虑。传统的融合方法 多是在时间域对图像进行考虑，不同的方法在频率域有不同的表现，这种表现 是否合适有理，在一定程度上说明了融合方法是否有效。由于小波变换的聚焦 功能，因而能实现时间域和频率域的步调统一，而且能把频率域进行正交分解， 因此，小波变换在图像融合中的作用越来越大。小波变换作为一种新的数学工 具，是介于函数的时间域( 空间域) 表示和频率域表示之间的一种方法。它在 时间域和频率域上同时具有良好的局部化性质，对高频成分采用逐步精细的时 间域( 空问域) 取样步长，可以“聚焦”到对象的任意细节。它能够将一个信 号分解成信号对空间和时间的独立部分，同时又不丢失原信号所包含的信息， 并且可以找到正交基，实现无冗余的信号分解。 2 3 2 1 小波变换 如果函数矽( x ) r ( r ) 满足工矽 ) d x = 0 ，则称函数矽( x ) 是基本小( b a s i c 咖p 彪，) 或者是母小( m o t h e r w a v e l e t ) 。对其经平移和伸缩变换可得到一个函 数族敞。( x ) ) ， 九“加小矽( 孚) 其中，a 为伸缩因子，b 为平移因子。 波，简称小波。 函数厂( x ) 关于( 工) 的小波变换定义为 n ，b r ，a 0 ( 2 一1 ) 吮。( x ) 称为连续依赖于参数a , b 的小 ，( 口，6 ) = ，厂( x ) 无，。( x ) d x ( 2 2 ) 其中，无。( 工) 是九。( z ) 的共轭函数，口为尺度参数，b 为平移参数2 7 1 。这是 连续小波变换，如果假设尺度参数a = a 。“，平移参数b = n a o b o ，其中a 。 1 ，b o 1 ， 则丸。= a o 刚2 孕k ( a o ”x - n b o ) 。那么我们得到了厂( x ) 的离散小波变换 q 。( 厂) = ，厂( x ) 无，。( x ) d x ( 2 3 ) 2 3 2 2 算法设计与实验结果 基于小波变换图像融合的基本思想是先对参加融合的多幅源图像进行二维 小波分解，然后针对不同子图像的变换域特性采用不同的融合策略，提取重要 的小波系数，最后进行小波逆变换，便可得到数据融合之后的图像28 1 。具体的算 法步骤如下： 1 0 武攫删1 人砸十学侍论卫 ( 1 ) 对已经酣准的源罔像，2 、，。分刖进 j _ 二维的小波分解，改分解层 数为，。 ( 2 ) 埘低频分解系数，采j d 墩、p 均值的融俞法则，= 殳爿，a ：。，。，为待 融合h 像，。，。矾讣波分艏! j t 度，上的低频分量，则融合后的低频分销 “，= - ( a 1 ，+ 2 ，+ + a ，) t24 j ( 3 ) 肘高频分解系数，我们取对应位簧j ：绝剥值人的小波系数作为艘台历 目像在对应位置上的小波系数叩 d ，= m a x ( d , ，b ，见从l5 ，) ( 2 5 ) 鳗- hn ( f = 1 ，2 ，”) 足源吲像，在第，层上的岛频分解系数。 ( 4 ) 对融合后的小波系数进行小波逆变换，就可得到融合后的图像。 分别取阿组寅验图像，一组星人工合成半球( i5 0 1 5 0 ) 如图2 - 4 ( a ) 和( b ) 。 把它往2 个不同的位置处的肌度值改变得到了有缺【； 的源图像i 和源图像2 ， 如图24 ( n ) 和( b ) ，而图24 ( ) 足利片js y m 4 小波对这2 幅源图像进行2 层分解 后融合的结果，可见经过融合后缺陷已经小明显了。另组实验图像足聚焦点 小闸的两幅图像，如图25 ( a ) 和( b ) ，而图25 ( c ) 是利用s y m 4 小波对这2 蚓像 进行2 层分解后融合的结果，可见鼬合后的图像远景和近景都比较清晰。 口口口 ( a ) 游图像 ( i ) ) 源幽像2( c j 融台后盯臼像 嘲24 源幽像及融台后的蚓像 ( a ) 远景清晰钟表目像( b ) 近景清晰钟表酬像 ( c ) 融合的斟像 幽2 - 5 渊图像及融含斤的h 慷 233 基于多小波变换的图像融合算法 多小波呵以h 叫删有计多良好的性质，如对称性、短支撑性、f 交性、和 武汉理1 ：大学硕士学位论文 高阶消失矩等。这些性质对于图像分析和处理是非常重要的，但是实系数单小波 则不能同时具有这些性质，所以多小波在图像分析和处理方面具有单小波所不 具有的优点，它能够为图像提供更加精确的分析方法，也更适合运用到图像融合 中去。 2 3 3 1 多小波变换 多小波变换也是在多分辨率分析的基础上建立起来的，不l 司之处是：多小 波基是由多个小波母函数经过伸缩平移生成的，相应地有多个尺度函数2 9 1 。在多 分辨分析中，设 c 巧+ ，( z ) ，n = o ，u 圪= l 2 ( r 7 ) ， j e zj e z 在多分辨分析中，k 是由厂个尺度函数的平移确( x - k ) ，破( x - k ) ， 方( x 一七) 生成的，记k = v oo ，与硝( x ) ，破( z ) ，办( x ) 对应的，个小波函数 仍( x ) ，仍( x ) ，纺( x ) 构成了子空间w o 的基。记 甲( x ) = 编( x ) ，仍( x ) ，体( x ) 7 ，( x ) = 西( x ) ，欢( x ) ，办( x ) 2 ，则 甲( x ) ，m ( x ) 满足矩阵两尺度方程： ( x ) = h k d p ( 2 x - k ) ( 2 6 ) 甲( x ) = q ( 2 x 一七) ( 2 7 ) 七 式中，吼，q ：是r xr 的矩阵，称为矩阵滤波器的系数。 将单小波中的分解与重构m a l l a t 算法推广至多小波，得到多小波分解： q 1 。= 压见m q d j 。= 压q 埘c j ，。 ( 2 8 ) c ，- l 。是低通部分，称为尺度系数，d _ l 。是高通部分，称为小波系数。 多小波重构： q ，。= 日三：。q 吐。+ 嚷：。q 吐。 n e z n e z 2 3 3 2 算法设计与实验结果 ( 2 - 9 ) 基于多小波分解的图像融合框架( 见图1 ) 。图中图像a ，b 表示同一场景 不同焦点的2 幅图像。首先将原图像进行预处理，然后分别进行多小波分解，在 多小波变换域对所得到的各个子图像，按照一定的规则进行融合，将融合后的 结果进行多小波重构，最后经过与预处理对应的后处理，得到融合图像。 1 2 武汉理j 大学硕十学位论文 蛩一园 图2 6 融合框架 变换域融合规则是图像融合的关键。采用变换域低频、高频分解图像分别 进行融合处理的方法，具体如下： ( 1 ) 关于变换域低频分量图像融合：变换域低频分量的分解图像包含了原 图像中较为“粗大 的结构信息。为此对两幅图像多小波分解后的低频系数取 平均。即 q = 生2 监 ( 2 - 1 0 ) 其中，c ，为融合后图像的在第，级的低频系数，c ? ，c ? 分别是图像a 与图像b 的 在第，级的低频系数。 ( 2 ) 对于高频分量的图像，由于高频分量对应图像的细节和突变的地方， 边缘是图像的重要特征，包含有价值的目标信息，因此本文采用一种基于区域特 性的融合方法边缘梯度对比f 3 0 j 来选取高频系数。即融合规则如下： q c x ，y ，= 兰； 二：二；：霉：二：二要三：善 二：；荽 c 2 - ， 式中，d j ( x ，y ) 为融合后图像的在第级的高频系数，蟛( x ，y ) ，硝( 而y ) 分别 是图像a 与图像b 在第级高频系数。s ：( x ，y ) 是在第级以( x ，y ) 为中心大小为 ( 2 d + 1 ) ( 2 d + 1 ) 的窗内边缘检测算子与所在局部区域每个像素点的多小波变换 高频系数的乘积的代数和，它可用如下公式来表示： ( x ，y ) = d 【朋，行】彰( 聊+ x ，n + y ) ( ，= 彳，b ) ( 2 1 2 ) 其中，d 的大小取决于窗口的大小或所包含像素的个数，例如：当d = 1 时，窗 1 3 的大小为3 3 ，像素个数为9 ；当d = 2 时，窗口的大小为5 5 ，像素个数为 2 5 ；依次类推d i m ，刀1 为边缘检测算子。常用的边缘检测算子有梯度算子、r o b e r t 算子、l a p l a c e 算子、s o b e l 算子、p r e w i t t 算子等。文中采用l a p l a c e 算子和窗口 大小为3 3 的窗口。 j i 螗h j 图还j25 。 j 们( a ) 和l ( b ) ，川g h m 多小波埘这鹏削像作2 层分解后 融合的 玳女l 劁2 - 7 所不， 剐27g h m 多小波融合的结果 24 融合性能的评价方法 对罔像融合处理过程的摹本要求是：在处理过程中，必须保留所有来于原 图像的有用信息，处理过程小得引入新的噪声信息。对于融合图像质量的评价 曰前还没有个伞面、客观和统的标准，通常采用观察哲的丰艇判断为主，客 观定嚣分析为辅的原则。客观评价标为准清晰度和标准差。 ( 1 ) 清晰度( 或平均梯度) 可以反映图像微4 、细节反差及纹p h 变化特征，用 来计价图像的清晰程度，清晰度越大，细节保持越完整融台图像越清晰。评 价公式为： 9 石2 斋善善( 6 “w ) + “；( ) ) 2 1 3 其中，( z ，) 足图像的灰度，( r ，) ，( u ) 分别是r ( i ，) 沿x 和y 方向 的差分，图像大小为吖x n 。 ( 2 ) 标准差用于评价图像反薹的大4 、，若标准差大，j _ | 图像的反差大，携 带的信息更多。融合结果越好。评价公式为： 厅f _ = j 善善( 砸，小_ ) l 其中，丁足图像扶度的均值 25 本章小结 ( 21 4 ) 本母捎迷r 图像融台的州天概念和图像融合的层次，介绍了图像融的算 法，重点介绍，基卜小波变换和基了：多小波变换两种融合算法。最后简单地阐 述了融台性能的评价。 一 武汉理j ：大学硕士学位论文 第3 章光照模型与s f s 技术的分析 3 1 光照模型的介绍和分析 光照明模型即根据光学物理的有关定律，计算景物表面上任一点投向观察 者眼中的光亮度的大小和色彩组成的公式。当光照射到物体表面时，一部分被 物体吸收，而另一部分被物体表面反射，对于透明物体还有一部分光穿过透明 体，产生透射光。被物体吸收的光能转化为热，只有反射光和透射光能够进入 眼睛，产生视觉效果，使我们能看到物体。这种反射和透射的光决定了物体呈 现的亮度和颜色，即反射和透射光的强度决定了物体表面的亮度，而反射和透 射中含有的不同波长光的比例决定了物体表面的色彩。一个完整的光照明模型 应该包括八个分量，分别表示由光源和环境引起的漫反射分量、镜面反射分量、 规则透射分量以及漫透射分量。利用公式表达即式( 3 1 ) i = i 娃+ i l s + id 七ie s + i l l d + in s 七ie | d 七ie t s b q 因为对于入射光线来说，其组成部分有以下三种： ( 1 ) 来自各个光源的光亮度，( 包括无穷远处的平行光) ； ( 2 ) 来自子周围环境的光亮度t ； ( 3 ) 若被照明物体是透明的，则还有来自于从光源到达表面的透射光亮度 j ，、和从环境到达表面的透射光亮度l ，所以通过物体表面进入观察者眼睛的 光亮度值就由式( 3 1 ) 。所列八大项组成，每一项的具体含义如下： k 光源引起的漫反射光亮度； 五。光源引起的镜面反射光亮度； l 环境引起的漫发射光亮度； l 。环境起的镜面反射光亮度； 乇光源引起的漫透射光亮度； l 。光源引起的规则透射光亮度； l “环境引起的漫透射光亮度； l ，。环境引起的规则透射光亮度； 式( 3 1 ) 是光照明模型的一般表达式，由此可以推导出目前常用的所有光照 明模型。 3 1 1 局部光照模型 1 5 武汉理t 大学硕十学位论文 根据考虑的因素不同，光照明模型分为局部光照明模型和整体光照明模型 两大类。局部光照明模型仅考虑光源直接照射在景物表面所产生的光照效果， 景物表面通常被假定为不透明，且具有均匀的反射率。局部光照明模型能表现 由光源直接照射在漫射表面上形成的连续明暗色调、镜面上的高光以及由于景 物相互遮挡而形成的阴影等，具有一定的真实感效果。常用的局部光照明模型 有：l a m b e r t 漫反射模型【3 l 】、p h o n g 模型 3 2 j ，t o r r a n c e s p a r r o w 模型f 3 习， c o o k t o r r a n c e 模型3 4 】等，下面把文中涉及的前两种方法作具体的介绍。 ( 1 ) l a m b e r t 漫反射模型 l a m b e r t 余弦定理总结了一个理想漫反射物体在点光源照射下的光的反射 定律。根据l a m b e r t 定律【3 5 】，一个理想漫反射物体表面上反射出来的漫反射光 的强度同入射光与物体表面法向之间央角的余弦成正比，即 l = k d c o s ( 3 - 2 ) 式中，厶为物体表面在被照射点处的漫反射光的光亮度， ，为光源垂直入射时漫反射有效光亮度， 为物体表面的漫反射系数，是0 1 之间的一个常数， f 为入射光与表面法线之i 日j 的夹角。 若记物体表面在被照射点p 处的单位法向量为，p 到点光源的单位向量 为，则式( 3 2 ) 可表示为如下的向量形式： 厶= k d i ( n )( 3 3 ) 显然，当点光源离被照射表面很远时，式( 3 3 ) 中的向量变化很小，因而可 将看作为一常向量。我们称此时的点光源发出的光为平行光，由向量完全确 定。 在数学上，两个矢量的点积等于它们模与夹角余弦的乘积，即 = 1 + p 2 + 9 2 1 + + q jc o s i ( x ，y ) ( 3 - 4 ) 而两个矢量的点积又可表示为： l = 1 + p p o + q q (35ak , i ) u 所以联立( 3 4 ) 和( 3 5 ) 式可得： c o s f 化y ) ：下兰丝嘻丝一 ( 3 6 ) 1 + p 2 + q 2x 1 + + q j 上式中，( 一风，一9 0 ，1 ) 为入射光线的矢量，( 一p ，一g ，1 ) 为物体表面各点的法向 矢量。 当光源方向己知时，入射矢量是一个定值。而对于物体的表面法线矢量， 我们可以根据高等数学知识，若物体的表面由函数z = z ( x ，y ) 确定，则 1 6 武汉理t 大学硕十学位论文 砣a z p 2 _ o x g2 万d v 从以上讨论中，可以做出如下假设：对于物体表面上任一点( x ，y 1 ，反 射函数i ( x ，y ) 是该点的表面斜率和反射率的函数，也就是说，反射系数砧和 入射光的漫反射有效光亮度，对整个图像来说均是己知的。 由此，总结式( 3 4 ) ( 3 6 ) ，可以建立以p 、q 为自变量的非线性函数 r ( p ，q ) ，( z ，y ) = r ( p ，g ) = ，了亍i i 晕笔精 ( 3 7 ) 其中，i ( x ，y ) 为物体表面上任一点( x ，y ) 的反射函数， r ( p ，q ) 为对应物体表面方向( p ，q ) 的反射图。 实际上，朗伯体表面只是一种理想的漫反射表面，在自然界中只有极少数 物体表面( 如墙纸、屋顶) 呈现出这种反射特性。根据光学物理有关定律，实际投 射到物体表面上任意一点的反射光还包括环境反射光和镜面反射光，常用的局 部光照模型也主要由这三种类型的反射光分量组成。各种不同复杂程度的光照 模型己由p h o n g ，b l i