（信号与信息处理专业论文）基于小波变换的医学图像融合研究.pdf

独创性申明 秉承祖国优良道德传统和学校的严谨学风郑重申明 本人所呈交的学 位论文是我个人在导师指导下进行的研究工作及取得的成果 尽我所知 除特别加以标注和致谢的地方外 论文 卜不包含其他人的研究成果 与我 一同工作的同志对本文所论述的工作的任何贡献均已在论文 l 作了明确的 说明并已致谢 本论文及其相关资料若有不实之处 由本人承担 切相关责任 论文作者签名 童 焘聋 斗年弓月心日 保护知识产权申明 本人完今j r 解西安理工人学有关保护知识产权的规定 即 研究生在 校攻读学偷期间所取得的所有研究成果的知识产权属西安理 i 大学所有 本人保证 发表或使用与本论文相关的成果时署名单位仍然为两安理工大 学 无论何时何地 未经学校i 午町 决不转移或扩散与之相关的任何技术 或成果 学校有权保留本人所提交论文的原什或复印件 允许论文被查阅 或借阅 学校可以公布本论文的全部或部分内容 叮以采用影印 缩印或 其他手段复制保存本论文 加密学位论文解密之前后 以上中明同样适用 论文作者签名 耋卫j 盏聋导师签名 b 仔 月步口 论文题目 基于小波变换的论文题目 基于小 圾父抉阴 医学图像融合研究 学科名称 信号与信息处理答辩日期 吐 i 生 作者姓名 郭春华 导师姓名 张二虎副教授 签名 签名 害l 盔华 牲 摘要 近年来 图像融合已成为图像理解和计算机视觉领域中一项重要而有用的新技 术 尤其是在医学领域中 由于医学仪器的成像机理及应用环境的不同 得到的医 学图像具有不同的细节 利用多源医学图像的互补或冗余信息 图像融合可使获得 的融合结果包含更丰富的细节及更全面的信息 比任何单一源图像都更全面 更精 确 本课题研究的重点足图像融合技术 对图像融合的二个层次 像素级融合 特 征级融合和决策级融合 进行了深入的研究 分别研究了较简单的图像融合方法 多尺度塔形分解的融合方法和基于小波分解的图像融合方法 本文主要是应用小波 变换的图像融合 对于小波变换后的图像 在考虑了最大值选择法 区域能量融合 以及区域方差融合的基础上 有针对性的提出了频带方向最大值法 频带方向一致 性法以及模糊融合算法等几种融合方法 均采用双正交小波变换实现了上述图像融 合方法 这些融合方法已被成功地应用于图像融合 本课题的另一个重要研究成果是图像融合性能的客观评价 定量的评价图像融 合性能是一项重要而复杂的工作 建立了信息熵 交叉熵 峰值信噪比 均方差以 及清晰度这几种评价方法和准则 利用这些评价准则 研究不同的融台规则对融合 性能的影响 还利用这些评价规则对多种图像融合方法的性能进行了比较研究 文中给出了一系列的图像融合结果图 实验和计算结果表明 采用的这些融合 方法和融合评价准则是十分有效的 关键词 图像融合 医学图像 小波分解 评价准则 a b s t r a c t t h e m e r e s e a r c ho nm e d i c a li m a g ef u s i o nb a s e do nw a v e l e t t r a n s f o p d v l s p e c i a l i t y s i g n a la n di n f o r m a t i o np r o c e s s i n g a u t h o r g u oc h u n h u a s i g n a t u r e 压丝 k 乜盔 t u t o r z h a n ge r h u s i g n a t u r e a b s t r a c t i nr e c e n ty e a r s i m a g ef u s i o nh a sb e c o m ea ni m p o r t a n ta n du s e f u l t e c h n i q u ef o ri m a g ea n a l y s i sa n dc o m p u t e rv i s i o n e s p e c i a l l yi nm e d i c a l d o m a i n d u et ot h ed i f f e r e n c eb e t w e e n i m a g i n gm e c h a n i s mo fm e d i c a l i n s t r u m e n ta n da p p l i c a t i o ne n v i r o n m e n t t h em e d i c a li m a g o so b t a i n e dh a v e d i f f e r e n td e t a i ls u s i n gt h ec o m p l e m e n t a r yo rr e d u n d a n c yi n f o r m a t i o no f s e v e r a ls o u r c e sm e d i c a li m a g e s m ec a nm a k et h ef u s i o ni m a g ec o n t a i nm o r e a b u n d a n td e t a i l sa n dm o r ec o m p l e t ei n f o r m a t i o n t h ef u s e di m a g ei sm o r e c o m p l e t ea n da c c u r a t et h a nt h es i n g l es o u r c ei m a g e i nt h j sd i s s e r t a t i o n w ef o c u so nt h ep r o b l e mo fi m a g ef u s i o n t h et h r e e l e v e l so fi m a g ef u s i o ni n c l u d i n gp i x e l l e v e lf u s i o n f e a t u r e l e v e lf u s i o n a n dd e c i s i o n l e v e lf u s i o na r ed i s c u s s e di nd e t a i l t h es i m p l ei m a g ef u s i o n m e t h o d t h ei m a g ef u s i o nt e c h n i q u e sb a s e do nm u l t i s c a l e p y r a m i d d e c o m p o s i t i o n a n dt h ei m a g ef u s i o nm e t h o db a s e do nw a v e l e tt r a n s f o r ma r e s t u d i e dr e s p e c t i v e l y t h i sd i s s e r t a t i o ni sm a i n l yf o c u so ni m a g ef u s i o n b a s e do nw a v e l e tt r a n s f o r m f o rt h ei m a g et r a n s f o r m e d a f t e rc o n s i d e r i n g s e v e r a lm e t h o d ss u c ha sm a x v a l u e s e l e c t i o n a r e ae n e r g yf u s i o na n da r e a s q u a r ed i f f e r e n c ef u s i o n w eb r i n gf o r w a r do t h e rf u s i o nm e t h o d so fm a x v a l u e o ff r e q u e n c yd o m a i n c o n s i s t e n c yi nf r e q u e n c yd o m a i na n df u z z yf u s i o n t h e 垦圭墨三垄兰堡主堂竺垒查 i m a g ef u s i o nm e t h o d su s i n gb i o r t h o g o n a lw a v e l e tt r a n s f o r ma r eg i v e n t h e s e f u s i o na p p r o a c h e sh a v e b e e ns u c c e s s f u l l yu s e di ni m a g ef u s i o n a n o t h e rm a i nc o n t r i b u t i o no ft h et h e s i si st h eo b j e c t i r ee v a l u a t i o no f i m a g ef u s i o np e r f o r m a n c e q u a n t i t a t i v e l ya s s e s s m e n to f t h ei m a g ef u s i o n p e r f o r m a n c ei sa ni m p o r t a n ta n de o m p l i c a t e di s s u e s e v e r a l e v a l u a t i o n c r i t e r i ao fi n f o r m a t i o ne n t r o p y a c r o s se n t r o p y p s n r a v e r a g es q u a r e d i f f e r e n c ea n dd e f i n i t i o na r ep r e s e n t e di nt h i sd i s s e r t a t i o n u s i n gt h e s e e v a l u a t i o nc r i t e r i a w es t u d yt h a td i f f e r e n t f u s i o nr u l e si n f u e n c et h e i m a g ef u s i o np e r f o r m a n c e t h e s ee v a l u a t i o nc r i t e r i aa r ea l s oa p p l i e dt o c o m p a r et h ep e r f o r m a n c eo fv a r i o u si m a g ef u s i o nm e t h o d s as e r i e so fe x p e r i m e n t so ni m a g ef u s i o na r eg i v e ni nt h i sd i s s e r t a t i o n t h ee x p e r i m e n t a la n dc a l c u l a t i o nr e s u l t ss h o wt h a t t h ef u s i o ns c h e m e sa n d e v a l u a t i o nc r i t e r i aa r ee f f e c t u a l k e y w o r d s i m a g ef u s i o n m e d i c a li m a g e w a v e l e tt r a n s f o r m e v a l u a t i o n c r i t e r j a 绪论 1 绪论 1 1 选题背景及研究意义 图像融合 是在采集多源信息的基础上 通过协同利用原始的多源信 息 获得同一事物或目标的更客观 更本质认识的综合处理技术 与单 一 孤立的原始多源信息相比 经过融合技术处理的信息更简洁 更少 冗余 因此更有效 更有前途 1 换言之 图像融合是建立在多源图像系 统之上的横向信息综合应用技术 图像融合技术支持信息共享 着力于 合理利用信息资源 弥补信息不完整 部分图像信息不精确或不确定造 成的缺陷 使系统的性能指标 可靠性 稳定性 容错能力都得以提高 医学影像技术通过不同形式的探测器提供了不同模态形态和功能的 医学图像信息 s p e c t p e t m r i x c t 等 例如 x c t 具有高空 间分辨率 骨骼成像非常清晰 对病灶的定位提供了良好的参照 但对 病灶本身的显示就较差 m r i 图像的空间分辨率比不上x c t 图像 但 是它对软组织成像清晰 有利于病灶范围的确定 可是它又缺乏刚性的 骨组织作为定位参照 s p e c t 和p e t 实现功能成像时具有高灵敏度 提 供了功能信息 但对解剖结构的描画却很差 1 又比如 视网膜影像技术 主要提供的f a 视网膜血管荧光造影 r f 视网膜无赤光图像 等不 同模态的眼底图像信息 由于成像机理的不同 所得到的f a 和r f 图像 的清晰部位不同 医学图像融合就是将这些医学图像综合在一起 实现 多信息可视化 对各种医学影像起到取长补短的作用 医学图像融合越 来越受到医学界和工程界的重视 成为近几年来在计算机图像处理 医 学影像和放射医学领域的研究热点之一 本课题就是利用计算机图像处理技术 深入研究数字图像融合技术 进一步以医学图像为应用背景 实现不同模态的医学图像信息的完全白 西安理工太举硕士学位论爻 动 渣骥鹣融会 1 2 医学图像融合的分类及方法 l 2 1 簇学蚕像融合麓分类 按照成像设备的组成 可将融含系统分为同炎多源融合系统与异类多 源融合系统 同类多源融合系统楚撵来鸯疑一炎成像系绞的多个图像我 融合系统 如豫i 融食系统等 羚类多源融合系统是指来自不同成像系 统的多个图像的融合系统 如s p e c t 和m r i 融宙系统等 按照融合对象分 鸯单样本时闽融合 单样本空间融合以及模板融合 单样本辩闯融合是措辩菜个病入在一段露阈肉对弱一脏器掰激的同释梭 查图像进行融合 有制于跟踪病理发展和研究梭查对该疾瘸诊断的特异 性 单样本空间融合怒指将某病人在同一时期内对同一脏嚣所作的几种 检查煞强像进 亍敲舍 馘镬综合糕擐这几静检焱提供豹绩意 对瘸祷骰 出更准确的诊断 模板融合是指从许多健康人的研究中建立一系列模板 作为一个诊断标准 将病人的图像与该模板融会 有助于研究菜疾病的 病理窝诊凝标疆 按照处理方法 则肖数值融合法和智能融合i 去 数值融合法是指将来 源于不阎成像设备的腻像预处理聪 直接融合 智能融和是搬将来源于 不国藏缀设备魏图豫骰羟一证憝瀵蘑 摄据磺突熬嚣要 巍矮模式识鬟 选择不问图像的所需信息进行融合 1 2 2 医学图像融会的方法 对于暇学图像来说 由于存在不同模态图像所表现的性质截然不同 再加上融含的要求较商 使得医学图像融合成为一项相当困难的任务 远几年夔整图豫融会豹深入磅变 涎鼠3 令屡次疆出 f3 癸黧儇敲会方 法 分测怒像素级图像融合 特征级图像融合和决策级图像融合 2 像素级图像融合是作用于图像像素点最底层的融合 也是目前应用最 广泛的一种融合方法 它是直接在获取的原始像素数据上进行处理 但 对于数据传输带宽和图像间配准的精度要求较高 计算处理量较大 特征级融合首先对各成像仪器的信号进行特征提取和分析后再进行 融合 特征级图像融合对图像配准的要求没有像素级严格 但图像特征 的提取仍尚有难度 决策级图像融合基于一些认识模块 模拟人的识别 分析 推理的思 维过程 可采用一些新的处理技术 如人工智能 专家系统 模糊技术 和神经网络 来进行融合处理 各层次上的融合并不是截然分开的 三个层次的融合往往可交错进 行 因此 融合策略一般从低到高 即先对同一层次的信息进行融合 获得可供更高层次融合处理的信息后 再汇入相应级进行高层次的融合 1 3 图像融合的特点 图像融合相对于单一图像可在更短的时问内 用更小的代价 获得更 多的目标信息 即系统具有 1 信息冗余性 仪器对同一场景中目标 信息的置信度可能各不相同 融合可提高整体对目标认识的置信度 且 在部分仪器不正常或损坏时 可提高系统的鲁棒性 可信赖性 2 信 息的互补性 融合从多个仪器所获得的互补性信息可使系统获取单一仪 器所无法得到的图像特征 扩大空间覆盖 3 高性能价格比 随着仪 器数目的增加 系统成本的增加小于系统得到的信息量增加 通常地 图像融合是指将来自不同探测器 的图像进行合并 以得到一个更为完整的图片 或场景 图像融合的主要目的是通过对多幅图 像间的冗余数据的处理来提高图像的可靠性 通过对多幅图像间的互补信息的处理来提高 图像的清晰度 图像融合示意图如图卜l 冗余信息 互补信息 图卜l 剖像融合示意圈 西安理工大学硕士学位论文 1 4 课题的主要内容 由于不同医学成像设备的成像机理不同 其图像质量 空间及时间特 性有很大的差别 因此 要实现医学图像的融合 图像的预处理及配准 都是要解决的关键技术m 1 针对医学图像中对比度及病灶信息的干扰 在预处理时需要利用中值 滤波 图像均衡等方法来增强图像中的信息 图像数据的配准 也称图 像的对位 在理想情况下要求实验所研究的图像精确到点对点对应 然 而在实际应用中 图像分辨率越高 图像细节越多 实现点到点的一一 对应也就越困难 并且由于各种客观或人为因素 要获得1 0 0 配准的医 学图像几乎是不可能的 图像的配准是图像融合的前提 本课题中用到 的图像是已经基本配准好的 在进行医学图像信息融合之前 一般要根据医学专家的意见 对已配 准的图像进行预处理 分别从两幅图像中提取所需信息而融合到一幅新 图像 本课题对于医学图像的可视性 融合效果 融合算子的评价等展 开了研究 并在实验中验证文中的方法具有一定的可靠性 本文选取了 视网膜图像及其他一些图像作为例子来分别进行说明 课题研究的主要 内容有 1 研究了基于小波变换的图像融合理论及其方法 2 通过分析图像的纹理信息 在多种目前常用的融合方法的前提 下 提出 频带方向最大值法 频带方向一致性法 以及应 用模糊数学的方法来融合相应的医学图像 3 对图像融合的效果进行了评价研究 在融合方法的评价方面 通过主观上的判断及信息熵统计 交叉熵 峰值信噪比 p s n r 均方差和清晰度等客观数据来验证各方法 初步证 明所提出的方法不论从视觉上还是从统计意义上都是有效可 行的 同时这些方法也可应用于其他图像融合中 4 4 开发了图像融合软件 本课题得到了教育部图像信息处理与智能控制重点实验室基金项目 资助 常用的图像融合方法 2 常用的图像融合方法 数攘融合是8 0 霉代形成和发展起来的一蕈申自动化信患综合处理技术 它将来鸯多俦惑器竣多源兹倍惑和数据送行综合处理 从褥得凄雯两濮 确可倍的结论 它宽分利用多源数据的互补能和计算机的商速运算与锶 能来提高结果信息的质量 图像融合是数据融合技术在数字图像处理方 瑟瓣一个应爱0 1 2 1 图像融台的三个层次 一般认秀圈豫融合分鸯3 个瀑次 帮豫鬣缀融合 将髹级融合秘凌策 级融合 1 像素级融合是作用于阑像像素点最底层的融合 本课题主要鼹 基于像索级的图像融合 豫綮级疆会据在嶷接获取静添始 豫素 数器上遗学鲶溪 获取统一 的合成图像的过程 也称为数据级融合 其融合的基本结构如图2 一l 所 示 像素级图像融食在某些情况下可获得较好的视觉效果 融合时主璎 是鼹黼像豫素壹拨璨终 实凌怒来铰为蔫擎 毽对于数攒簧竣謦竟羁黼 像闻粼准的要求较离 计算处遐量较大 且往往是人限戡攘观察输出结 果 澍融合效果的定量评价还没有统一的方法 另外 不同场景的融含 方法不同 具鸯 燕盲曩缝 6 配 准 蹑2 1 数据缓 像素级 融台结构示意匿 稼铤级融合蓄免对各成像仪器静信号进行特征提取帮分橱再进行融 西安理工大学硕士学位论文 合 具有模式识别的特征 其融合的基本结构如图2 2 所示 特征级图 像融合对图像配准的要求没有像素级严格 综合处理各通道图像特征融 合产生的新特征具有比各输入图像特征更高的置信度 模式识别技术的 应用还可消除一些虚假特征 优点较为突出 但图像特征的提高仍尚有 难度 特 联 关 口 征 识 融 联 别 合 结 果 图2 2 特征级融合结构1 恿圈 决策级图像融合基于一些认识模块 模拟人的识别 分析 推理的思 维过程 可采用一些新的处理技术 如人工智能 专家系统 模糊技术 和神经网络 来进行融合处理 也称为符号级或判决级融合 其基本结 构如图2 3 所示 决策级融合能使多数据在较高的抽象层次上得到有效 的应用 当图像仪器类型差别较大 或者多图像信息是关于环境的不同 区域时 这种融合可能是唯一的选择 决 i 苎竺 h 查竺竺兰卜 关 镱 融 卜i l f 计 联 合 图2 3 决策级融合结构不葱倒 各层次上的融合并不是截然分开的 三个层次的融合往往可交错进行 最佳的融合方式需要根据具体情况判断 由于一个图像系统接收到的最初 信息是数据级的信息 因此 融合策略一般从低到高 即先对同一层次的 信息进行融合 获得可供更高层次融合处理的信息后 再汇入相应级进行 高层次的融合 常用的图像融合方法 2 2 目前常用的图像融合方法 目前 图像融合方法大致可分为三大类 简单的图像融合方法 基于 塔形分解 如拉普拉斯塔形分解 比率塔等 的图像融合方法和基于小波 交换的图像融合方法 简单的图像融合方法不对参加融合的源图像进行 任何变换或分解 而是直接对其取出像素进行选择 平均或加权平均等 简单处理后合成一幅融合图像 在许多情况下 这种简单的融合方法得 不到满意的结果 目前常用的图像融合方法主要有 加权平均 t o e t 算 法 1 l a p l a c i a n 金字塔法 图像对比度金字塔法以及基于小波变换 的融合等 下面分各个小结来分别介绍这些融合方法 2 2 1 加权平均融合方法 设输入图像a i 表示二维数字图像a 的某一点灰度值 输入图像 b i 表示二维图像口的相应同一点灰度函数 输出图像c i j 表示融合 图像 其中i 为图像中这一像素的坐标 图像大小为m 则 i e o m 一1 o n 一1 加权平均图像融合算法表示为 c i 4 a i 1 4 曰 f d 2 1 其中a 为权重系数 且0s 口s 1 可根据需要调节口的大小 经过这种方法融合后的图像根据权重选择不同 要么模糊了a 图像 要么模糊了曰图像 而且权重也不能很好的确定 2 2 2t o e t 融合图像算法 同样设输入图像爿 f 表示二维数字图像a 的灰度值 输入图像 b i j 表示二维图像b 的灰度函数 输出图像c f 表示融合图像 其中 i 为图像中某一像素的坐标 图像大小为m n 则i e o m 一1 1 e o n 一1 似o n 口 f f o 2 5 5 t o e t 图像融合算法 1 表示为 1 首先确定图像a 和图像8 的共同成份 共同成份可以通过求两 西安理工大学硕士学位论文 幅图像中各相应像素灰度的较小值来实现 表达式即 a n b l m i n 似 f n b i 2 2 2 从图像爿上扣除共同成份得到图像a 的特征成份爿 即 a 4 t a 一爿n b 2 3 从图像b 上扣除共同成份得到图像曰的特征成份口 即 b b a n b 2 4 这项操作是为了得到各图像的特征成分 3 从图像a 中扣除图像口的特征成份b 得到 a b 一 爿一占 a n b 2 5 从图像b 中扣除图像a 的特征成份a 得到 b a b a a n b 2 6 这项操作是为了改善融合图像的效果 4 确定图像日和图像爿的不同部分 b a a b a 2 7 当l b l t i a i 时 定义口 一a 0 2 8 此操作的目的是将两幅图像的不同部分作为背景 突出图像b 的特征 以便准确判断a 的位置 反之也行 该成份在融合图像中的比重由权重 系数决定 这里到底突出哪个图像的特征以及判断哪个图像的位置要根 据实际情况决定 5 将步骤3 和步骤4 中得到的结果按不同权重计算融合图像的灰 度值 c n 爿一b b b a c 口 a 2 9 a b c 为权重系数 权重系数的选取可根据观察需要确定 a b c 1 为使融合图像视觉效果更佳 还可对其进行对比度增强 经过t o e t 算法融合的图像虽然比加权平均融合图像有所改善 但仍然 跟加权平均相似 融合后的图像并没有突出原有图像的特征 其融合规 则是基于像素的简单加权选择 加权选择灰度对比度值大的像素 因此 常用的图像融合方法 其融合效果不够理想 2 2 3l a p l a c i a n 金字塔融合算法 对于l a p l a c i a n 金字塔融合算法 首先要构造图像的高斯金字塔 下 面便是构造待融合图像的高斯金字塔 2 1 设g 0 表示源图像 输入图像 则g 作为高斯金字塔的零级 或底 层 高斯金字塔的第f 级图像q 是这样构造的 先将g 和一个低通特 性的窗口函数w m n 卷积 再把卷积结果作隔行隔列降采样 即 g t f 加 w m 1 g f l 五机2 j n o zs 0 如c f o s 蜀 2 一l0 其中 为金字塔的总层数 c 和兄分别为金字塔第f 层图像的列和 行数 w m n 为低通特性的窗口函数 其必须满足以下约束条件 w 厅 i 沏 孑o 孑函数是对称且归一化的 且莎咖 一1 贝0 w 研 t w 一m h 0 工2 0 一口 w o w o b 0 2 5 2 w 一2 一b a 2 我们把这种级与级间的运算用r e d u c e 函数表示 g r e d u c e g t 一1 定义e x p a n d 函数为r e d u c e 函数的逆运算 其作用是利用插值法在 给定数值间插补新的样本值 使得金字塔结构中某一级图像能扩展成其 前一级图像的尺寸 设g 表示对g j行e x p a n d 运算七次后得到的图 像 重构图像即 卜 一 g 1 k 1 4 z 錾 譬 譬 o t t 量 1 1 lg 加 g f k t0 1 0 西安理工大学硕士学位论文 以上便是高斯金字塔的构造和重构算法 由于e x p a n d 函数为r e d u c e 函数的逆运算 e x p a n d g j 的尺寸 与g f 相同 但e x p a n d g 并不等于g 从上面重构可以看出 在原有 像素间内插的新像素的灰度值是通过对原有像素灰度值的加权平均确定 的 由于g 是对g 进行低通滤波得到的 即g j 是模糊化 降采样的g 所以 e x p a n d g 所包含的细节信息少于g l a p l a c i a n 塔型结构的 思路便是来自于此 构造图像的l a p l a c i a n 金字塔融合算法步骤如下 在 级高斯塔式结构中第i 级l a p l a c i a n 塔式结构分解算法为 严1 q 一脚 g w o s 2 1 2 g i n l a p l a cj a n 塔式结构的重构算法为 严 l i e x p a n d g 0 5 2 13 ig t l f 在融合图像时 首先把两幅已配准好的图像先进行高斯金字塔分解 再把得到的高斯金字塔图像按照l a p l a c i a n 塔式结构算法来得到 l a p l a c i a n 金字塔 在l a p l a c i a n 金字塔中 在对应的厶中 取相应的较 大值 或者取加权平均等按照一定的融合规则选取对应值 得到融合图 像的塔式结构 最后再按照重构算法重构融合后的分层结构图像 得到 融合图像 2 2 4 图像的对比度金字塔融合算法 基于对比度金字塔塔式分解的分层图像融合方法 首先还是要构造图 像的金字塔塔式结构 金字塔结构构造方法如上文2 2 3 所示 然后再 构造图像的对比度塔式结构 构造图像的对比度塔式结构如下 图像的对比度 通常定义为 常用的图像融合方法 c g 9 6 1 9 6 g 9 6 一i 3 5 舡 上述剖分方式显然保证了空间 与空间 正交 且各 之间也正 交 上 3 6 m 上影 3 7 进一步要求剖分还具有以下两项特性 1 位移不变性 函数的时移不改变其所属空间 即 如z f 矿 则 工o 一七 仍 v j 3 8 2 二尺度伸缩性 女l i x t e v j 则 工 1 x 丑 e v j l 3 9 3 1 3 二维m a l l a t 算法 记a 其中 d d d 是从工2 僻2 分别到子空间蚂 孵 o 的投影算子 则有 a j 1 x 一三c j l 中 1 j 一 川 坍岫 加 a f d d j 厂 d 3 一l0 c l 上 一 一卜1 妒 l o 妒 l 也 y 爿 1o a i f y i y jd j f y i 固w j 西安理工大学硕士学位论文 因为 d j f e w 固yjd j w i 固w i 爿 t c 胁 m m 2 c 妒m o 妇胁 y 3 1 1 d 妒帅e e m 川l 3 3 12 故将式 3 1 1 5 1 2 3 1 2 代入 3 一i 0 得 a m f a i f d j f d j f d j f 2 o y z 妒m o 挑 艺d k l f 椭o 舻 y 罕2 芝d k o 坳 y m l 2 3 13 其系数由下面的迭代公式确定 c j mz m t 芝 一z t 一 c j d n h h 一2 g 也一2 cj 1 t d 矗 芝即 k 一 c 川 b d 3 一芝g 2 g t 一2 c t 3 1 4 引入无穷矩阵h h k h t h t g g k h g k 其中甘 g g 下标 r c i 分别表示对 矩阵的行操作和列操作 于是式 3 1 4 简化为 c 2 h h c 川 眨州 g 夕 j 地一1 2 j 3 15 1 d g h c 1 一 旧 g 肛c j 1 设f x y 曙 则经由 3 1 5 j 步 j o 为正整数 分解后有 f x y t a f 堇善d 3 一1 6 对应于式 3 1 5 的重构算法为 c t h h c i h g d j g h d j g g d j 3 17 j j j 1 一1 1 9 基于小波变换的图像融合 其中h 和g 分别是 和g 的对偶算子 在f 2 中 或被分别理解为日 和g 的共轭转置矩阵 3 1 4 图像的小波分解 令 o x 表示一个二维信号 毛 工 分别是横坐标与纵坐标 妒o 工 代表二维的基本小波 则二维连续d 波变换可定义如下 令 1 f a 似 工 表示妒o 屯 的尺度伸缩与二维位移乜伽 即 妒哪 x 1 x 2 昙妒 华 巫 3 1 8 1 4 4口 则降t 4 b 2 t 2 扫地 枷 量 挚地办 3 1 9 式 3 1 9 中的因子三是为了保证小波伸缩前后其能量不变而引入的a 归一因子 式 3 1 9 的相应反演小波变换是 地 l 占翱鸣 咖 量手 学 动 3 2 0 式中 铲嘉错帆 设 o x l 2 r 2 二维实空间曙2 内的二维函数 现把尺度口按2 的幂级数 n 一2 j z 作函数空间的二剖分 要求剖分满足以下条件 1 逐级包含 吁o 聋 吆 x 2 逐级替换 曙0 聋 t 吆 z o h 儡 工 3 完备性 翘弩 屯 一0 也就是0 矿2 一t 0 熟吁0 t 工 一 2 c r 2 也就是n v2 一l 2 僻2 西安理工大学硕士学位论文 4 二尺度特性 i 最f x 吁 则 x 2 z e v 2 5 位移不变性 设f x 1 c 咋 则f x 1 一n l x 2 一月2 仍 叫 疗i 订2 z2 假设二维空间呼0 x 是可分离的 也就是说它可以分解成两个一维 空间吖 工 和吖o 的张量乘积 呀 置 x f 0 0 如果低通 的尺度函数妒o x 是曙 z 空间内的整数位移正交归一基 则 9 0 工 必可分解成 妒0 x 9 冲o 同理 如果小波函数妒o x 是补空间孵x 工 中的整数位移正交归 一基 则妒0 x 必可分解成 妒o x 一妒 即0 如果把v 7x x 的补空闻汜作 x w z f 1 1 2 的补空间记 作叫 一 则有 矿三 z 茗 呼 z o w z z 味 x t 吖x o 町 x 3 2 i 由此可得 畦 g x 味 x o y o 吖o o 叫 昨0 町x 展开后得 v 0 工 一0 o 巧0 o 叫o 吖o o 吖o w 1x o 叫0 町0 3 2 2 由式y 町 x 一吁o x 则它的正交归一基是 妒加 0 1 妒 x 2 2 一 妒 2 一 石1 一一 q 7 2 一 工2 一n 2 由于妒 0 1 和妒 0 2 都 是低通的尺度函数 因此呼0 工 是平滑逼近的低通空间 对比式 3 2 1 与 3 2 2 便可见 略0 x t 啊x 叫 o 科x o 吖o o 町0 叫o 由上式可知 补空间睬 t 由三部分组成 一心 叫0 町 吖0 町x t x 这三部分的正交归一基中都至少包含 一个带通的妒o 或t f 因此它们都是带通的 也就是说这三部分反 2 1 基于小波变换的图像融合 映的都是高通细节 总之 如果蜉0 工 j e z 是 僻2 的一个可分离 的多分辨率剖分 其基本尺度函数是妒k 工 妒q 汩 又妒o i 是与 妒 对应的一维小波函数 则由以下三个 基本小波 妒1 0 工2 一妒0 l 渺0 2 妒2 0 工 妒0 徊o 妒3x l 工2 妒0 0 2 作位移和伸缩便组成孵 x 的正交归一基 2 一 妒1 2 7 工1 一n 1 2 7 2 2 一n 2 j 2 j 妒2 2 t n l 2 i x 2 一再2 2 j 妒3 2 j 工t n l 2 一 石2 一n 2 1 打1 n 2e z 2 根据m a l l a t 快速算法 小波的分解与重构示于图3 3 列变换 a j f a t d a 图像豹小波分解算法 行变换 a t f b 图像的小波分解算法 图3 3 盟像的小波分解与重构 图中 h 表示与低通滤波器卷积 g 表示与高通滤波器卷积 l2 表示 二抽取 t2 表示二插值 由以上分析可知 在可分离情况下 二维多分辨率可分两步进行 先 西安理工大学硕士学位论文 沿z 方向分别用q j x 和l f r o 作分析 把 膏 分解成平滑逼近和细节 这两部分 然后对这两部分再沿工 方向分别用妒 和妒 作类似分析 这样得到的四路输出中经妒瓴砌 岛 处理所得的一路是 x 工 的第一 级平滑逼近a o y 其余三路输出o x 工 d x 工 和 d f f x 工 都是细节函数 也就是 对 t 0 即a 1 级分析有 a l f x 1 工2 一 f x 1 工2 妒0 l n 1 妒0 2 一弹2 d f x l x 2 d 0 1 工2 0 1 z 2 妒 一n 1 妒0 2 一1 1 2 d f x l 工2 对第j 级分析有 j 0 1 工2 i o f x l 上2 d 0 1 工2 d f x 1 x 2 量 f x 1 工2 2 j 妒 2 叫工l 一 l t t f 2 叫x 2 一n 2 其中 a f x 工 反映的是而 屯两个方向上的 低频成分 用l l 表示 d f x x 反映的是水平 方向的低频成分和垂直方向的高频成分 用l h 表 示 d f x 工 反映的是水平方向的高频成分和垂 直方向的低频成分 用h l 表示 而d 屯 反 映的是x x 两个方向上的高频成分 用h h 表示 如下图3 4 的示意表示 l h lh h l h 2 l 肌 地ih l 2 h i 1 图3 4 可分离情况 下的多分辨率分析 其中低频图像反映原图像的近似和平均特性 集中原图像的大部分信 息 三个高频子图像反映原图像的亮度突变特性 像素值在零值左右波 动 绝对值较大的像素对应于原图像的边缘 区域边界等 所以也称边 缘子图像 图3 5 用一幅二值矩形图形及其三级小波变换结果清楚地 表明了这一情况 基于小波变换的图像融合 a 二值矩形圈形b 二佰矩彤翻彤的三绒小叛砭 雯结粜 圉3 5 二值矩形图形的处理及其结果 图像经过小波分解后的子图像具有如下特性 在原图像中数据有较大变化幅度的区域 在子图像中相应区域的数值 也有较大变化 反之 在原图像中数据有较小变化幅度的区域 在于图 像中相应区域的数值变化也较小 对同一目标或物体的两个信源图像来 说 其低频图像相应区域的数据值相同或相近 而高频子图像却有显著 差别 小波变换具有的上述特性 为我们选择有效的融合方法提供了理论根 据 3 2 基于小波变换的图像融合 视觉心理和生理试验表明 信号多通道分解处理存在于人眼视觉的底 层信号处理过程中 由于图像多分辨率分解就是图像的多通道分解 故 小波变换具有与人眼视觉类似的性能 对图像而言 小波变换是将图像分 解成频域上各个频率段的子图像 以代表源图的各个特征分量 这对后续 的融合处理极为重要 使得融合处理可以根据不同的特征分量而采用 不同的融合方法以达到最佳融合效果 图像的融合策略 方法 是图像融合的核心 方法与规则的优劣直接影 西安理工大学硕士学位论文 响融合的速度与质量 融合规则在融合处理中扮演了一个极其重要的角 色 基于小波变换的图像融合结构如下图3 6 所示 融合的基本步骤为 1 对参加融合的每一幅源图像进行小波分解 形成小波金字塔图 像 2 对各分解层的小波系数 按照融合规则及算子进行融合处理 形成融合后的小波分解金字塔图像 3 进行小波重构 形成融合后的图像 图3 6 摹于小波变换的图像融台结构 当我们在建立融合图像的每个小波系数时 我们必须确定哪幅源图的 小波系数对融合有利 则这个信息将保留在融合决策图中 融合决策图的 大小是和源图像的大小一致的 融合决策图的每个值是源图像的索引 那 么就有可能为相应的小波系数提供较多的信息啪 这样我们就可以确 定每个小波系数 下面介绍几种常用的融合算子 3 2 1 小波系数最大值选择法 两幅待融合的图像经过小波变换后 形成高低频t h d 波系数矩阵 在 对应的低频系数l l 方向上 采用加权平均或取较大值的方法来得到融合 图像的低频系数矩阵 在对应的各个高频系数 l h h l h h 上 则采 用选取较大值的方法 得到的小波系数矩阵经过逆变换后即可得到融合 后的图像 州 基于小波变换的图像融合 3 2 2 基于区域能量的图像融合 实验中对两个已配准的待融合的图像经过小波变换后 形成各自的小 波系数矩阵 高频区域计算中心像素及其近邻区域的能量e 见式 3 2 3 并且用m 来表示两图像在该区域的匹配度 其值用 3 2 4 计算 当m 大于某给定阔值a 时 则进行加权运算来融合各原始图像的特征 权值矽由 3 2 5 确定 否则 直接选取区域能量较大的区域的中心像素 融合时按照式 3 2 6 计算 3 f 肌 n f p 2 m 厅 3 2 3 肘 舳 川 赢荔 n m 川 扫a 仰 川 3 2 4 若旧胂i 苫a 若弦 御1 t n 若以 e b 三 等 若l b a b c 0 b a 6 c 相应的对于图像b 对于相应的点a b 和 对应原始图像 上的同一点 c 取其中的最大的点m a x 2 即 图3 1 2 频带方向选取晟大值法 m a x 2 口 b 口 6 c 7 a b 口 b c 在两个对应的最大值中 选一个大值 即m a x l m 强1 m a x 2 7 m a x l m a x 2 如果m a x m a x l 则融合图像的对应的同一尺度上的三个高频相应位置上的三个点取a 图像 的相应三个点 否则取b 的相应三个点 确定好融合图像的小波系数矩阵 后 经过小波反变换即可得到融合后的图像 1 3 2 5 频带方向一致性融合法 对于融合图像的低频部分 采用取两原始图像相应位置上的较大值作 为融合后的图像的小波低频系数 对于高频上的系数的取法 如上图3 1 2 所示 待融合的图a 中 在 同一尺度上的三个高频相应位置上的三个点a b 和c 取其中的最大的点 m a x l 一 0 67 口 b c 口 b 口 b c 相应的对于图像b 对于相应的 点 a b 和c 取其中的最大的点 m a x 2 口 b 口 6 c 7 a b 口 6 c 融合后的图像相应的三 个高频的点a b 1 和c 的取法为 i m a x l 一一a m a x 2 1 1 4 0 m a x l 一b m a x 2 一 扫 0 m a x l c m a x 2 一一c t h e n 按照频带方向最大值法处理 e l s e i m a x a 一一a m a x 2 一 b 1 a a b b c c c c c e l s e i m a x l t a m a x 2 一一c 基于小波变换的图像融合 a 一a c 一c b 6 b 6 6 e s e i m a x l 一一b m a x 2 一一口 a 一a b 1 b c c c c c e l s e 旷 m a x i 一一b m a x 2 一一c b 一b c c a 一 a a 口 a e l s e f m a x l i c m a x 2 i l a1 a a c c b b 6 6 e l s e i f m a x l 一一c m a x 2 一一b b 一b c 一e a a a 口 a 以上两种方法的提出 主要是由于小波分解后的三个高频具有一定的 方向性 分别代表水平方向的细节部分 垂直方向的细节部分和对角线 方向的细节部分 在同一尺度上 三个高频子图像上对应同一位曼处 的小波系数 如果哪个方向上的小波系数较大 说明图像的细节部分主 要集中在该方向上 那么在图像融合时就要利用该方向上的小波系数 这就是频带方向最大值融合方法的思路 频带方向一致性融合方法的思 路主要是考虑了两个待融合图像较大的高频系数一致性时 取其中一个 待融合图像的高频系数 不一致时 取其中较大值 两种融合方法稍有 不同 3 2 6 图像的模糊融合算法 在信息处理中经常要对一类特殊的不确定信息进行综合处理 其不确 定性的产生主要不在于信息载体的本身 而是由于信息的 认识者 或 利用者 不能完全把握信息所反映事物的真实状态和数量关系 从而 造成了其在主观认识上的不确定性 对于这类不精确的知识表达事件 人们提出了模糊的概念 模糊理论能较好的描述人类视觉中的模糊性和 随机性 3 1 1 下面主要从模糊理论的角度来解决图像处理中的融合问题 图像模糊融合算法应用于图像融合的基本原理是利用模糊隶属度函 西安理工大学硕士学位论文 数量化不同目标类型和相应像素值之间的关系 删 本课题采用的模糊 融合算法如下 设图像x 共有k 个像素 表示像素 f j 的3 3 邻域 p f d 表示 像素o j 的灰度 在小波变换后的对应三个高频方向上 1 从工中依次