（生物医学工程专业论文）图像拼接算法的改进及其生物医学应用.pdf

上海大学硕士学位论文 a b s t r a c t i m a g em o s a i c i n gi sak i n do ft e c h n o l o g yt h a ts t i t c h e ss e q u e n ti m a g e si n t oo d e b i g g e ri m a g e i nt h ef i e l do fb i o m e d i c i n e ，e s p e c i a l l yf o ri m a g ei n t r o d u c t o r ys u r g i c a l ， t h i st e c h n o l o g yh a sg r e a t l yc l i n i c a la p p l i c a b l ev a l u e t h i sp a p e rd e s c r i b e so n ei m p r o v e d i m a g em o s a i c i n gs y s t e ma n di t sa p p l i c a t i o ni nb i o l o g i ci m a g e s ，w h i c hi sb a s e do n r e a l t i m ei m a g em o s a i c i n g f o rm u l t i p l el i v ev i d e os t r e a m s 【1 t h a tw eh a d t h e i m p r o v e ds y s t e mh a sn o to n l ys t i n t e d2 5p e r c e n tr u n t i m e ，b u ta l s om e n d e df o r m e r b u g st oe n h a n c ei m a g eq u a l i t y , i tf i t sf o rm i c r o g r a p h ，x r a yi m a g ee t c t h ep a p e rf o c u s e so nt h ef o l l o w i n gt h r e ea s p e c t s ： 1 t h i sp a p e rg i v e st h eh o l i s f i cr e s o l v i n gb a s e do nap r o f o u n du n d e r s t a n d i n go f r e a l 一7 7 m el m a g em o s a i e i n gf o rm u l t i p l el i v el 矗d e os t r e a m s 1 】s y s t e m a f t e r a n a l y z i n gs t a t i s t i cd a t a ，w ef o u n dt h a tt h i ss y s t e mi sn o ta b l et ob eu s e di nt h e b i o l o g i ci m a g e sw i t l lg r e a tb u g 2 w ec o m p l e m e n t e dm a t c hp o i n t st h a tw en e e d e d ，w o r k e di nt h ec o n d i t i o no f c o n s i s t e n c y , a n dr e s t r i c t e dp r o g r a m ss e a r c h i n gb o u n d a f t e rw ed o n ea l lo ft h e s e w o r k ，t h ei m p r o v e ds y s t e mc a ns t i t c hb i o m e d i c a li m a g e sv e r yw e l l 3 b yl a r g en u m b e r so ft e s t sa n da n a l y z e ，a l lt h ed a t aa n dr e s u l t sh a v ep r o v e d t h a tt h i sn e ws y s t e mi sr e a l l yv a l i da n df e a s i b l e k e y w o r d ：i m a g em o s a i c i n g ，b i o m e d i c a li m a g e 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名： 本论文使用授权说明 日期2 型，! ：! 。 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送 交论文复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：超垫盛导师签名：翌! ! ：坌日期 i i 弘面 i o 上海大学硕士学位论文 第一章绪论 1 1 图像拼接的意义 随着数字影像的广泛使用，随之而来的相关图像处理也飞速发展。通过具 有重叠区域的序列图像的拼接而获取更大视野图像的全景成像技术，作为数字 图像处理中的神重要技术，在图像监控 1 1 2 、宇航探索、虚拟现实 3 、手 术导航 4 、环境智能等领域都具有广泛的应用前景。在生物医学领域中，特别 是在图像导引的骨科诊断和治疗中具有重要的临床应用价值，而新近热门的人 体三维图像的研究更是基于图像的无缝拼接技术。 在生物领域，尤其是显微学科，高倍率显微图片只能观察物体微小区域一 直是困扰研究人员的难题。而通过利用图像拼接技术，研究人员则可以获得观 察物体的整体图像。这使得研究员能够从大量琐碎的局部信息中解放出来，得 以从全局的角度来观察和研究事物，有利于生物试验的事后研究、分析。近年 来，显微图像的拼接方法越来越多，但都是针对特定的仪器设备或者只适用于 一类图片，这样一来原有的仪器不能被充分利用。所以很需要一种软件系统能 够从一系列透视图像中重构出完整结构的全景图像，而无需依赖特定硬件设备。 同时在医学领域，影像导引下的外科手术是在医学影像无缝连接的环境下 实现的。如在人体脊椎和长骨等的骨科诊断和手术治疗中，获取完整的解剖结 构图像，对于术前诊断、术中监控和术后评价都具有十分重要的意义。而目前 骨科临床常用的x 线透视设备仅能提供视野局限的图像，因此医师需要在诊断 和治疗过程中对一系列透视图像重构出完整结构的全景图像。 由此可见，传统的生物医学图像采集系统都受到其自身硬件条件的限制， 不能一次性高分辨率、无变形地将医学对象全部拍摄下来。虽然现在有大型设 备能够进行一次性全景拍摄，但是这些设备引进费用极高、普及程度不高，并 且不能有效地利用医院原有设备。所以有必要开发一套软件，在充分利用现有 设备的基础上，快速廉价地完成拼接功能。本课题的目的就是在现有系统 1 的 基础上对原算法进行改进，使其能够实现生物医学图像的拼接任务。 上海大学硕士学位论文 1 2 国内外研究概况 近些年来，图像拼接技术在各个领域都有了长足的发展。航空摄影术和卫 星摄影术是最先得益于图像拼接技术的两大应用领域，如q u i c k t i m ev r ( 虚拟 现实) 3 1 就是这些年来最流行的应用软件。另外在图像监控【5 】【6 、图像压缩【7 、 图像检索 8 】 9 、宇航探索、手术导航、虚拟现实 1 0 】、环境智能等领域都提出 了各种新的图像拼接方案。 图像拼接技术已经成为图像处理中的主要研究领域，公众对于它的热情也 逐年上升。如今，已有几个成功的商业产品如苹果公司的q u i c k t i m ev r 、i b m 公司的p a n o r a m l x 。、飞利浦公司的p a n o a p i 、i n t e r a c t i v ep i c t u r e 公司的i p i x m u l t i m e d i ab u i l d e r 、l i v ep i c t u r e 公司的p h o t o v i s t a 、p a n a v u e 公司的v i s u a l s t i c h e r 和u l e a ds y s t e m 公司的c o o l3 d 等。我们在l i n u x 环境下研制了基于多 分辨率特征图像生成算法的多组视频流的图像拼接系统 1 ，实现了实时视频采 集，实时图像拼接以及自动更新。该系统运用了基于多分辨率特征的方法，这 较之传统的基于亮度的方法有着更多优点。 在医学领域，y a n i v 和j o s k o w i c z 提出了一种x 线图像拼接方法 4 】。该方 法要求x 线摄影时添加标尺并根据图像中的标尺刻度和数值进行拼接，影响图 像质量和临床操作性。韩丽萍，杨永红和陈礼民提出了一种改进的病理切片图 片拼接算法 1 1 ，该方法利用差值数据中最大包与次大包之间的距离来配准相邻 图像，是针对病理切片图片特定情况得来的。谢风英、姜志国提出的基于互相 关的星微医学图像配准 1 2 ，该方法是针对显微医学图像的拼接方法且需要事 先选取基准图并对重叠区域提出先验要求，这就影响了医师的l 临床操作。本文 提出的方案，是基于特征点匹配的方法，无需特定硬件配套和特定操作，系统 能够全自动地进行输入图像的拼接任务，适用于诸如显微图片和x 光图片等生 物医学图像。 1 3 论文的主要研究内容和结果 本文描述了图像拼接技术在生物医学上的应用，它是作者在拥有多组视频 上海火学硕士学位论文 流的实时拼接系统 1 】的基础上进一步开发完成的。新系统不仅使处理速度提高 了近2 5 ，而且矫正了因匹配点不唯一所导致的缺陷，大大提高了图像拼接的 质量，并能很好地适用于诸如显微图片和x 光图片等生物医学图像的应用。 本文主要在以下三个方面进行了研究和探索： 1 通过对拥有多组视频流的实时拼接系统的认真研究和耗时统计分析，发 现该系统存在的缺陷； 2 根据生物医学图像的特点，对原系统进行了改进，不仅补足了系统拼接 所需的特征点，还通过一致性条件的引进，约束了匹配程序搜索的范围，使得 该系统能够实现生物医学图像的全景成像； 3 对新系统进行大量典型图像数据反复测试、统计分析，根据实验数据以 及对浙大医学院实习生的调查问卷结果表明，该系统具有良好的图像精度以及 较高的可行性。 本论文是以作者攻读硕士学位期间承担课题的工作为基础，在第一章中阐 述了图像拼接的意义、国内外研究概况和生物医学应用的需要。第二章阐述了 我们开发的多组视频流的实时图像拼接系统的概述及其分析。第三章阐述了对 多组视频流的实时图像拼接系统的改进方案。第四章阐述了算法改进后在生物 医学方面的应用。第五章阐述了结论和后续工作建议。 卜海大学硕士学位诒文 第二章多组视频流的实时图像拼接系统分析 2 1 原系统介绍 我们在l i n u x 环境下研制了基于多分辨率特征图像生成算法的多组视频流 的图像拼接系统【1 】，实现了实时视频采集，实时图像拼接以及自动更新，但在 c p u 为p e n t i u m n20 g h z 、输入两帻图像( 像素：1 2 8 9 6 ) 的情况下，只能 完成每秒拼接刷新一帧。其算法流程图2 1 所示。 图嚣捌像2 多分辨率分解li 多分辨率分解 特征点提取i特征点提取 寻找匹配点 去除错配点 四参量租估计 八参量估计 小波分解重构lii 小波分解重构 精炼八参量 拼接成一张图片 图2 1 算法流程图。 如图2 、l 所示。首先是对两幅输入图像使用多分辨率4 、波分解，提取一系列 的特征点；紧接着将所有特征点进行相似性计算( 归一化互相关值) ，得到匹配 特征点：然后这些匹配特征点被用来确定刚体变换参数( 缩放比例s 、旋转角度 特征点：然后这些匹配特征点被用来确定刚体变换参数( 缩放比例s 、旋转角度 4 上海火学硕士学位论文 第二章多组视频流的实时图像拼接系统分析 2 1 原系统介绍 我们在l i n u x 环境下研制了基于多分辨率特征图像生成算法的多组视频流 的图像拼接系统【1 】，实现了实时视频采集，实时图像拼接以及自动更新，但在 c p u 为p e n t i u m i v2 0 g h z 、输入两帧图像( 像素：1 2 8 x 9 6 ) 的情况下，只能 完成每秒拼接刷新一帧。其算法流程图2 ，1 所示。 图像1 图像2 多分辨率分解ll 多分辨率分解 特征点提取i 特征点提取 寻找匹配点 去除错配点 四参量粗估计 八参量估计 小波分解重构i 小波分解重构 精炼八参量 拼接成一张图片 图2 1 算法流程图。 如图2 。1 所示。首先是对两幅输入图像使用多分辨率小波分解，提取一系列 的特征点；紧接着将所有特征点进行相似性计算( 归一化互相关值) ，得到匹配 特征点：然后这些匹配特征点被用来确定刚体变换参数( 缩放比例s 、旋转角度 4 上海大学硕士学位论文 目和平移血，母) ，使用的是s v d 方法求解；接着在刚体变换参数这四参量的基 础上估计投射变换矩阵m 。，k 0 7 ：最后进行小波反分解，重叠区域图像融合， 合成拼接图像。 2 2 原程序运行耗时分析 为了分析原系统各功能段的耗时情况我们选择了一组涵盖程序所要解决 的典型问题( 如平移、光线强弱变化、拍摄者旋转等) 的图像数据五幅的 “校园”图像( 如图2 2a ，b ，c ，d ，e 所示) ，在操作系统为w i n d o w sx p , c p u p e n t i u m i v1 7 g 的台式机上运行测试。 图2 2 “校园”五幅图像。图2 2a ，b ，c ，d ，e 为五帧连续子图像。 测时程序流程图如图2 3 所示。虚线框和虚线代表的是添加的测时程序流 程。当程序开始的时候，我们插在那里的计时函数被调用；随后在程序结果的 时候，计时函数被释放。计时函数调用和释放之间的差值就是我们所要求的运 行时间。 上海大学硕士学位论文 程序开始 i j r 程序结束 图2 3 测时程序流程图 图2 4 是原程序对“校园”连续五帧图像进行拼接后，两个最主要函数段 运行耗时的统计( 具体各段数据记录可见表2 1 ) 。其中实线代表的是“寻找 匹配点”函数段的耗时轨迹：虚线代表的是“精炼匹配点”函数段的耗时轨迹。 在输入图像空间分辨率为3 2 0 2 4 0 的时候，这两个函数段耗时共占整个算法耗 时的五分之四多，可见优化这两个函数段有助于减少程序运行耗时。 备程序段运行耗时统计 餐 揪 趟 粤 重 玺 w 蒺 靶 蚓 图2 4 原程序主要耗时函数段的耗时统计( w i n d o w sxp c p up e n t i u m n1 t g ) 。 上海大学硕士学位论文 表2 1 原程序各函数在不同分辨率情况下的耗时分析。 霉 鬻霉蓊囊蓉墨呈墨曼 善 i n 箜 墨 蒸弱霪 ；兮 礴 | 寸 黯璺箸譬 篓疆 囊n鬓“ 鬟 ng f 、 鑫 警 霪 ； 囊 3 e - q 一 ，_ _ 蓦 星 鎏囊 瓮 每 n c n墨呈曼莹翌 搿黝 臻 蒸甍鬻 娶零8 器跨 ； 寸 - _ 錾 馨 豢 捻 囊 誉窖2 n 一 墨 鞯 骠 鬟萋誉 承s n 暴 盏 蕤毳璧三曼鐾曼 ” 基 套 蘩 翟 霉 篙写袅 篓 口 一 鑫 星 鬻黉 h 爱 n 瓮 蟥 孥 囊g溱 导 f - q 萋 羹 鼋 蔓 专 ，_ 毫 毫 菪 耄 董量 g z耄量撩撼荸i 拣拣旧 篓 挑 l 萋 嚣 霭 专翼 亳 瞪 譬瓯3羞 蕊毫 荽 一 烈 _ 甚 - 趔_彝 ：j 筮 薹鼍 鼍s 量 鲁 垂 _ 主： 一 智毒 巅 瞄蛞： 酬蛰 辽 糕 恻 g 琏 二畦 目 鲻 尊 七娶 蓬 吨i热y i i 琴卜鞘 喜奏 文 鬟 酝烈 电i 七 妊甚：l翟 羹董 舞 鲎删到 篷 z 番器邻 nt - n 7 蜷焱笛耀姆矬窨k，熬霉搽焱匣培燃赣匿谁逝磷釜 上海大学硕士学位论文 表2 1 列出了程序运行时，原程序各段函数的耗时和提取特征点数的情况， 总共经历七个运行时间段：图像输入后经小波分解提取特征点、寻找匹配点、 删除错误匹配点、确定匹配参量、( 当匹配点不够时) 添加特征点、精炼匹配点、 小波分解重构。其中灰色字符底纹绘制的是图2 2 中所示的“寻找匹配点”、“精 炼匹配点”这两个主要耗时段，为了便于分析和耗时统计我们把它们归类为特 征匹配模块，该模块总是占整个算法运行耗时的一半以上且与特征点的数量成 诈比。 2 3 原系统的缺陷 一一对应的匹配点为图像拼接提供了有力的数据保障。如何确定两点之间 的唯一对应关系，一般的方法是通过计算两点的归一化互相关，取极大值( 大 于域值o 7 ) 为确定依据。但是在实际情况下，仍存在一些情况无法解决。如同 一栋楼房中的几扇一样相近或形式的窗、两个穿着同样或相近服式的人等等。 由于这些相似特征点的出现导致了对应位置出现错误，不但会发生匹配错误， 严重的可使拼接无法进行。原系统就存在这种情况，尤其是针对生物医学图像 的拼接。由于在医学图像中，因其图像特点致使各个边缘特征点( 如骨骼的边 缘) 存在相近情况，导致利用归一化互相关计算得出的值非常相近，从而出现 一个特征点对应多个特征点的情况，最终拼接失败。这种情况在生物医学图像 中出现的概率远远高于景物图像。譬如血红细胞显微图像、脊椎和长骨等x 线 图像等，在这些图像中背景色调较均匀、内容也较单一，这就使得利用归一化 互相关计算得出的值非常相近且大量存在，致使原系统 1 无法完成拼接任务。 为此，需要增加条件来进行约束，完成特征点之间正确的一一对应关系。详细 内容我们将在第三章第二节中进行讨论和解决。 上海大学硕士学位论文 第三章多组视频流的实时图像拼接系统改进方案 3 1 系统改进的总体思路 为了便于功能分析和耗时统计，将原系统对照划分为四大模块。如图3 1 所示。首先对各个模块进行功能分析，找出缺陷；然后展开各个模块闻的运行 耗时统计比较，列出各模块的耗时比重：最后制定相应改进方案。 图3 1 系统流程框架划分。 在第二章中，我们已经分析得到特征匹配模块是系统运行耗时比重最大的 部分且匹配点不唯一对应的缺陷也存在于此，因此如何改进该模块便成了首要 问题。这里我们将引进新的条件约束的思想来作为改进特征匹配模块的指导思 想。 上海大学硕士学位论文 3 1 1一致性条件 为了克服特征匹配模块中程序存在的匹配点不唯一对应的缺陷并减少运行 耗时，我们用匹配点与匹配点之间的位置关系来制约特征点搜索的范围，这个 约束条件我们称之为：一致性条件。 如图3 2 所示。如果扫，吼l 和扫：铮g ：) 是正确的匹配点，那么它们之 间的距离r - = g 。- p 。和丁2 = 9 2 一p 2 应该相差较小，满足一致性条件，即 | 1 手i 一1 手z l f ，向，p s 。z d ， c 3 t ， 臼( 云分腩枷喊 z ， 图3 2 一致性检测( 去除错误的匹配点) 。 如图3 3 所示。假设伽。g 。 和扫：铮g ：) 是正确的匹配点，n 为图像1 中的特征点；那么根据一致性检测原理，如果n 要在图像2 中找到对应的匹配 点吼，则它们必须满足一致性检测条件。因此只要在满足条件的区域内( 图像 2 中方框内表示) 寻找相似性极大值点，当它大于闽值( 0 7 ) 的时候就认为图 像l 中的见在图像2 中找到了对应的匹配点g ，。 l o 上海大学硕士学位论文 圈3 3 慢索区域不惹圈。 图3 4 所示是改进前后的程序段流程框图。假设图像1 的特征点为n 1 个， 图像2 的特征点为n 2 个。 原程序为n 2 x n l 次调用归一化互相关，只与参量 n 1 、n 2 有关与其他参量无关。 改进后系统的最理想状态( 即耗时最短的情况) ，就是图像2 中最前面的 1 5 个特征点直接在图像l 中找到对应的特征点并在找到的这1 5 组匹配对中搜 索到至少与另4 组匹配对满足一致性条件的匹配对，将该组匹配点对作为参照 点与余下的特征点进行一致性条件的计算，符合条件的特征点对方被允许调用 归一化互相关进行计算。它的计算量为：( 1 5 + m ) x n l t + 盖，x l o o m s 。 改进后系统的最差状态( 即耗时最长的情况) ，就是图像2 中最后面的1 5 个点在图像1 中找到对应的特征点。它的计算量为：n i x n 2 x t + 工a 此时归 化互相关的有效率为1 弧1 。2 。 表3 2 算法复杂性分析表( x 茎1 0 0 m s ) a 最佳情况 最差情况 其余情况t 表示每次调用归一化互 修改前l n 2 t 相关所需要的时间；n i l 1 5 2 1 5 表示图像l 中的特征点， 修改后 1 5 x n l t1 x n 2 t “5 + m ) x ，1 丁 n 2 表示图像2 中的特征 + x 斗x斗x点；m 表示找到的所有满 足相似条件的特征对 圭塑查堂塑主兰垡堡苎 输入图像2 特征点n 2 个 输入图像1 特征点n 1 个 图像2 中的特征点分别与 图像1 中所有特征点进行 归一让互相关计算 记录大于阈值的特征点 去除匹配对中一点对应多 点的情况 结束 3 原程序流程框图 否 输入图像2 特征点n 2 个 输入图像1 特征点n 1 个 图像2 中的特征点分别与 图像1 中所有特征点进行 归一化互相关计算 记录大于闽值的特征点 否 去除匹配对中一点对应多 点的情况 任一匹配对与其他匹配对 进行一致性条件计算 至少与三对同 时满足条件 记录此匹配对坐标 此坐标与剩下的其它特征 点进行一致性条件比较 是否满足条件 是 进行归一化互相关计算 记录大于阀值的特征点 去除匹配对中一点对应多 点的情况 结束 改进后程序流程框图 图3 4 改进前后的程序段流程框图。 1 2 上海大学硕士学位论文 3 2 系统改进前后结果比较分析 3 2 1 运行速度 为了验证改进后的效果，选择一组涵盖程序所要解决的典型问题( 如平移、 光线强弱变化、拍摄者旋转等) 的图像数据“校园”图像五帧，在w i n d o w s x p 系统c p up e n t i u m l v1 7 g h z 环境中进行了拼接实验并在不同分辨率情况下 对程序改进前后作了运行耗时统计和比较。拼接结果如下图，耗时比较见表 3 3 。 表3 3 改进前后函数段运行耗时( w i n d o w sx p s y s t e m ) 。 函数功能说明( 时间单位：毫秒)输入图像分辨率：3 2 0 * 2 4 0 p e n t i u m i v1 7 g h z 2 帧 3 帧4 帧 5 帧 “寻找匹配点”函数 原程序段运行耗时 1 2 3 52 3 9 23 5 0 l4 5 8 0 z t 十 改进后程序段耗时 瓣蠹l 斓粼3 鳓l 输入图像分辨率：6 4 0 * 4 8 0 2 帧 3l 帧 4 帧5 帧 原程序段运行耗时 1 2 9 72 4 6 93 6 4 44 8 0 0 l = 改进后程序段耗时 獯i | l 囊黪褐囊 毫l 熬 输入图像分辨率：1 0 2 4 7 6 8 2 l 喷3 帧4 帧5 帧 原程序段运行耗时 1 9 2 13 5 1 54 8 9 06 0 9 3 改进后程序段耗时 1 2 孵 2 1 7 3 3 q 鹱 3 8 鹎 表3 3 显示了算法改进前后“寻找匹配点”函数段的运行耗时比较，其中 灰色字符底纹绘制的地方为改进后该程序段的耗时统计。很明显相比原程序段 耗时，改进后节省原耗时的三分之一多。 上海大学硕士学位论文 表3 4 改进前后函数段运行耗时( w i n d o w sx ps y s t e m ) 。 函数功能说明( 时间单位：毫秒)输入图像分辨率：3 2 0 * 2 4 0 p e n t i u m i v1 7 g h z 2 帧3 帧4 帧 5 帧 “精炼匹配点”函数原程序段运行耗时 5 7 98 9 015 9 2 2 2 9 5 改进后程序段耗时 篷醛韵瀚l 篱龋 输入图像分辨率：6 4 0 * 4 8 0 2 帧3 帧4 帧5 帧 原程序段运行耗时 1 3 8 92 2 3 43 9 8 55 4 5 4 改进后程序段耗时凝酾 l 戮 i 桶4 霭g 输入图像分辨率：1 0 2 4 7 6 8 2 帧3 帧4 帧5 帧 原程序段运行耗时 1 2 5 l1 8 6 03 4 6 94 7 1 9 改进后程序段耗时瀚 i 鹬i 鳓 3 纛 一 表3 4 显示了算法改进前后“精炼匹配点”函数段的运行耗时比较，其中 灰色字符底纹绘制的地方为改进后该程序段的耗时统计。很明显相比原程序段 耗时，改进后节省原耗时的四分之一。 图3 5 输入像素为：3 2 0 x 2 4 0 的“校园”。 图3 6 输入像素为：6 4 0 x 4 8 0 的“校园”。 上海大学硕士学位论文 图3 7 输入像素为：1 0 2 4 7 6 8 的“校园”。 图3 5 、图3 6 、图3 7 分别是连续五帧图像拼接合成的“校园”效果图。 它们的空间分辨率分别为3 2 0 2 4 0 、6 4 0 x 4 8 0 、1 0 2 4 x 7 6 8 。 图3 8 不同图像分辨率情况下系统运行耗时比较。 如图3 8 所示，实线表示为算法优化前系统运行耗时情况，虚线表示为算 法优化改进后系统运行耗时隋况，从图中我们可以看出优化后的算法比优化前 运行更有效，更节省时间。平均节约2 5 的原有运算时间。 3 2 2 图像质量 为了验证改进后的效果，在w i n d o w sx p 系统c p up e n t i u m i v1 7 g h z 环境 念懈 上海大学硕士学位论文 中，我们将一些在原系统拼接下失败的图像( 由【1 作者n r w a n i g a s e k a r a 提 供) 再次用改进后的系统进行拼接，得出结果比较分析。首先我们用图3 9 来 说明错误匹配导致拼接失败的原因，改进后算法不仅可以自动找到 p ，譬1 ) ， 而且能够抑制搜索范围，避免近似点的干扰。 图3 9 一点对应多点的情况- p 。g f 作为匹配点，必须是一一对应关系。图3 9 中假设对应图像2 中 p ：点的分别有g ：，g ：“，q ：，在原程序中将取相似性值最大的一点，但根据“去 除错配点”函数只有满足一致性条件的g ：才可能被保留下来。因此当q 2 或g ： 与p ：的相似性值大于g ：1 时， p ：营g ：口这对正确的匹配点就被删除了。 为此我们引进了一致性条件，约束了匹配时的搜索范围，成功地解决这个 问题。基本原理如图3 3 所示。经过约束后( 如图3 9 中阴影部分) ，q ：”和q ： 此类的相似点被虑除，留下正确的匹配点对 p ：。q ： 。下面，我们将改进前 后的拼接结果展示出来。 图3 1 0 原程序拼接失败的“l a g od ic o m o ”湖( 相关图片由1 作者n r w a n i g a s e k a r a 提供) 。 上海大学硕士学位论文 图3 1 0 就显示了由于一点对应多点情况发生后原程序错配导致的生硬叠 加。白色线框包围的部分就是错配后生成的结果。框内错误拼接明显，由于湖 岸一片树林颜色较深，在计算特征点相似性时出现多个相似匹配点，最终选择 错误导致这种情况发生。 图3 1 1 改进后拼接成功的“l a g od ic o m o ”湖 图3 1 1 是改进后程序正确抑制一点对应多点情况时拼接成功的“l a g od i c o m o ”湖效果图。我们可以明显看出，改进后拼接完整，结果清晰，反映了照 片中的真实场景。 图3 1 2 原程序拼接失败的“上海外滩”( 相关图片m 1 l 作者n r w a n i g a s e k a r a 提供) 。 图3 1 2 显示了由于一点对应多点情况发生后原程序错配导致的生硬叠加。 黑色线框包围的部分就是错配后生成的结果。东方明珠电视塔的基座球体与旁 边的一栋高楼被粘在了一起，江岸和货船被重叠了段。 上海人学硕士学位论文 图3 1 3 改进后拼接成功的“上海外滩”。 图3 1 3 是改进后程序正确抑制一点对应多点情况后拼接成功的“上海外 滩”效果图。我们可以明显看出，改进后拼接完整、结果清晰，东方明珠电视 塔基座球体没有再和其左侧的一栋建筑粘在一起，江岸和货船都完整地保留了 下来，反映了照片中的真实场景。 综上所述，可以明显地看出，改进后系统能更加精确地完成拼接任务，有 效地改善了拼接的质量。 上海大学硕士学位论文 第四章生物医学应用 由于生物医学图像与景物图像存在一定的差异，这就注定需要算法在原来 基础上做出改进。为了便于功能分析和耗时统计，我们先将系统划分为：特征 检测、特征匹配、空间坐标转换和图像融合这四大模块。算法流程如图4 1 所 示( 不失一般性，这里仅讨论两幅图像拼接) 。首先，将我们所需要的两幅以上 的待拼接图像输入特征检测模块，使用h a a r 小波算子对图像进行特征检测，并 将一系列检测到的明显特征点取出。然后进入特征匹配模块，使用归一化互相 关计算对应特征点之间的相似性程度。为减少错配和提高效率，本文通过一致 性条件检测来选出正确的匹配点，并输入到空间坐标转换模块，用来估计空间 坐标变换模型中比例变换，旋转和x 、y 轴方向上的平移等四个变量。最后， 通过加权和实现重叠区域像素值的混合。 特征检测 士 特征匹配 + 空间坐标转换 v l图像融合 图4 i 算法流程图。 生物医学图像，尤其是脊椎和长骨等x 线图像，图像内容单一、背景均匀。 经过多分辨率分解技术的快速提取后，医学图像的特征点明显要比景物图像少 得多，过少的特征点使得拼接无法进行。为此，我们需要在原有基础上增加候 补特征点，当快速提取后特征点不够时迅速调用以完成拼接任务。 上海大学硕士学位论文 图像 一一 小波分解n 次 + 提取特征点 ，工、否 点数足够、一 l 是 0 输出卜 1 i l 1 j 1 l j 图4 2 特征检测模块流程框图 图4 2 就描述了改进后特征检测模块的流程框图。图中实线和实线框代表 原来程序的流程，黑色粗的虚线和虚线框代表新增的流程。我们将图像输入并 对它进行h a a r 分解来增强特征点，当发现特征点不够时将前一次分解后存储的 图像取出重新提取特征点，倘若特征点数仍然不够则使用s o b e l 算子检测补充， 结合这两者的得到的低频轮廓结构确定明显的边缘特征点坐标，然后在重叠区 域均匀地选取这些坐标。这个方法要比只用s o b e l 算子计算时间快并且精确， 同时也解决了原程序分解后特征点不足的问题。 特征匹配模块的改进是生物医学应用得以实现的关键步骤。因为在生物医 学图像中，其图像特点致使某些边缘特征点( 如骨骼的边缘、细胞壁) 存在相 近情况，导致利用归一化互相关计算得出的值非常相近，从而出现一个特征点 对应多个特征点的情况，最终拼接失败。为此，需要增加条件来进行约束，完 成特征点之间正确的一一对应关系。 这里，我们成功地引进了一致性条件，并利用匹配点之间的位置关系来确 定搜索范围。如图3 3 所示。如果 p ，q ， 和 p ：q ： 是正确的匹配点， 那么它们之间的距离t i = q 。一p 。和t 2 = q ，一p ：应该相差较小，即应满足一致 性条件：式( 3 1 ) 和式( 3 2 ) 上海大学硕士学位论文 因为不满足一致性条件的特征点为错误匹配，因此如果p 铮q 。) 和 p2 q ：) 是正确的匹配点，而且p ，。为图像1 中的特征点，那么其匹配点q ，的 ；：筹- s x s i n 0 硼：， 于是，可以简化成玑= s r o l p ，+ 丁( 4 3 ) 。其中r 吲= l c 。o n s ；- 。s i 。n 目o j 。 n c l ，定义其均方误差：( n n 匹n e ) 盯= 陋p b + t - q ， 2 ( 4 4 ) 那么令- 。y 盯f = o ，詈= o 。分别求得： 丁= i 一艘p f ( 4 5 ) n q r s = 一1( 4 6 ) 这里；= 万1 善n 只，百= 专善弘五= 见一万，玩= 吼一百，两为歹，的转 置矩阵。所以又可以把( 4 4 ) 式表示为： 上海大学硕士学位论文 ：。一幽n2eo- ， 。 l嚣r p p j l = 彰玩一生与上 ( 4 7 ) 5 1 多；多， 由于仃m m 反比于f 羔彰r e l 1 2 ，则需求羔矿r p p l 2 的最大值，于是使由于仃m m 反比于5 彰r1 ，则需求i 矿r p p 1 的最大值，于是使 lj = ljl i = la 用s v d 方法就能够有效地求出r p ，然后t 和s 也随之求得。 最后，假设待拼接图像为2 幅而且在重叠区取域g ，y ) 中它们分别取值为 ，0 ，y ) 和1 2x ，y ) ，那么混合后 如力= 如力+ 4 + 厶k 力 4 ( 4 _ 8 ) 其中a 。、a ：为相应的加权系数。为使重叠区两端像素值缓慢过渡，在这里我们 取a l = a 2 = 0 5 a 4 1 图像数据来源 为验证本文方法的有效性和有用性，实验分为两个部分。 对于生物显微图像，我们利用s o n y 公司生产的l e i c ad m e 光学显微镜进 行图像数据采集，以此来获得实际工作中的原始数据。 对于医学图像，我们分别利用开放式x 线图像数据库c a s eo f t h ed a y , t h eo p e ns o u r c ex r a yg a l l e r y ( c o x ，网址：h t t p ：w w w c o x a t e ) 的图像数据和 同济大学附属同济医院临床骨科x 光图像数据进行了验证实验。这是因为针对 开放式x 线图像数据库中下载的图像数据，我们还将人为地增减图像原有的对 比度和亮度，以模拟现实情况下由于人为或非人为因素导致的图像对比度和亮 度变化，并进行多次反复测试。最后对拼接结果进行了客观、主观评定。 4 2 生物应用 显微图像拼接是将多张分次获取的相邻图像无缝拼接成一幅大图像，解决 上海人学硕士学位论文 了高倍率显微图片只能观察物体微小区域的难题。在重叠面积5 0 的前提下( 重 叠区域内存在足够特征点的时候，即正确的特征匹配对数量大于等于4 个) ，本 系统就能将输入的显微镜图片自动进行拼接，无需新添任何硬件设备，大大降 低了成本，利用了现有资源。 图4 3 和图4 4 是不同植物气孔的显微照片，其中图43 背景色彩深、线条 细而短( 这种情况要比背景均一，物体结构鲜明的场景更难处理) ，图4 4 背景 色彩浅、线条粗而长。这是两种典型的生物显微图片，选择它们有助于测试系 统在不同图像特征情况下的执行能力。 图4 - 3 为植物气孔显微照片拼接实验。图4 3a ，b ，c ，d ，e 是五张显微镜下拍 摄的植物气孔照片( 1 0 2 4 1 0 2 4 像素) ，图4 3f 是拼接结果( 2 0 2 6 1 0 3 4 像素) 。 图4 3 为植物气孔显微照片拼接实验。图4 3a ，b ，c ，d ，e 是五张显微镜下拍摄的植物气 孔照片，图4 3f 是拼接结果。 图4 4 为植物气孔及周边组织显微照片拼接实验。图4 4a ，b ，a ，d ，e 是五张 显微镜下拍摄的植物气孔照片( 8 0 0 6 0 0 像素) ，图4 4f 是拼接结果( 8 1 6 9 6 4 像素) 。 上海大学硕士学位论文 图4 4 为植物气孔及周边组织显徽照片拼接实验。图4 4a b ，c ，d ，e 是五张显微镜下 拍摄的植物气孔照片 图4 4f 为拼接结果。 拼接结果显示，没有任何缝隙、错位、变形、图像模糊、图像重影等错误， 系统能够自动完成针对输入图像的拼接任务。 4 3 医学应用 医学图像拼接，尤其是在人体脊椎和长骨等的骨科诊断和手术治疗中，获 取完整的解剖结构图像，对于术前诊断、术中监控和术后评价都具有十分重要 的意义。实现无需标尺的全自动的x 线图像拼接有助于提高临床的操作性。下 面，我们将针对人体脊椎和长骨等x 线图像进行全自动拼接测试。 图4 5 是源自c o x 的脊椎x 光图片的拼接实验。图4 5a 是取自c o x 的 大小为6 8 0 1 5 1 7 的x 光片。在要求重叠区域不小于5 0 的前提下，随机地将 该图片切分成若干子图片，例如图4 5b ，c 和d 是6 8 0 8 2 3 像素的子图片。 图4 5e 是使用本系统产生的拼接图像结果( 6 8 6 1 5 5 2 ) 。 2 4 上海大学硕士学位论文 图4 5 脊椎图像拼接实验。图4 5b ，c ，d 是三张子图片；g 是拼接结果。 图4 6 显示了腿部x 光片的拼接实验结果。图像来自于上海同济大学附属 同济医院的一例骨折病例的x 光胶片，在这里我们使用大恒c g 2 0 0 图像卡进行 采集，如图4 6a ，b ，c ，d ( 7 8 4 5 6 2 像素) 所示。图4 6e 是使用本系统产生的拼 接图像( 1 0 8 8 7 0 4 像素) 。 图4 6 腿部x 光片的拼接实验图。图4 6a ，b ，c ，d 是四张予图像；图4 , 6e 是拼接结果。 拼接结果显示，没有任何缝隙、错位、变形、图像模糊、图像重影等错误， 系统能够自动完成针对输入图像的拼接任务。 上海大学硕士学位论文 4 4 实验结果与讨论 为了进一步证实系统能够产生令人满意的结果，我们将模拟现实情况下由 于人为或非人为因素导致的图像对比度和亮度变化，按表4 1 所示范围对图4 5 的三幅子图片( b ，c ，d ) 进行对比度和亮度的调整，并且计算均方误差来进行客 观评价分析和问卷调查进行主观评价，反复多次以便统计。 表4 1 不同条件下的结果统计。 重叠面积对比度亮度结果 6 0 6 3 至3 至 6 8 6 1 5 5 2 8 2 3 1 2 1 2 6 8 6 x 1 5 4 2 9 4 1 6 8 2 1 5 3 0 表4 2 显示不同重叠条件下输出结果图中6 个明显特征点之间的距离与原 始图像中的相应6 点之间距离的比较结果。i 是各输出结果图中6 点相互距离 与原始图像中对应点相互距离之间的均方误差，其计算公式为 i ：t 黪叫么c 盹。一问叭一 点间距离) 。 表4 2 六个明显特征点在图像中的相对坐标。 拼接图像中的六点坐标( x ，y ) 原图像中 6 0 6 重叠面积8 2 3 重叠面积9 4 1 重叠面积 六点坐标( z ，y ) n o 1 ( 3 2 2 ，1 6 1 ) ( 3 2 0 ，1 6 2 ) ( 3 1 8 ，1 6 5 )( 3 1 5 ，1 6 8 ) n o 2 ( 2 3 2 ，2 6 3 )( 2 3 3 ，2 6 8 )( 2 3 0 ，2 6 6 )( 2 3 0 ，2 6 6 ) n o 3 ( 4 1 3 ，6 4 4 )( 4 1 2 ，6 4 0 )( 4 0 8 ，6 3 3 ) ( 4 0 4 ，6 3 3 ) n o 4 ( 2 3 5 ，8 4 4 ) ( 2 3 4 ，8 4 1 ) ( 2 3 4 ，8 3 0 )( 2 3 4 ，8 2 8 ) n o 5 ( 4 7 8 ，i 0 6 6 )( 4 7 6 ，1 0 5 8 )( 4 7 4 ，1 0 5 0 )( 4 7 4 ，1 0 4 0 ) n o 6 ( 3 7 5 ，1 4 0 0 )( 3 7 6 ，1 3 9 5 )( 3 7 4 ，1 3 8 2 )( 3 7 4 ，1 3 7 2 ) e 3 9 9 62 l l ，65 1 5 从表4 2 的结果可以看出，随着重叠面积的增加，误差i 单调下降，逐步 上海大学硕士学位论文 逼近原始图像中的距离。上述结果说明本文方法，即使存在亮度和对比度失真 的条件下，都能够准确地进行拼接。 图4 7 脊椎图像比较实验。 图4 7 为脊椎图像比较实验。图4 7a 是取自c o x 的x 光片，图像中各方 框包含的六个明显特征点自上而下分别是n o 1 7 0 6 ：图4 7b 是实验( 三幅子 图像重叠面积为6 0 6 ) 的拼接结果。 同时为对本文方法进行主观评价，根据几幅不同的人体脊椎拼接图( 重叠 面积在6 0 6 至9 4 1 之间) 与其对应情况下的整张的x 光图片，对浙江大学 医学院1 5 名临床医学的实习生，进行了问卷调查。分析调查结果可知( 如表 4 3 ) ：1 0 0 的被访者认为拼接结果没有任何明显缺陷；1 3 3 的被访者认为仍 存在隐约模糊，6 7 的被访者认为存在局部隐约拼接缝隙；6 0 的被访者对拼 接结果非常满意，2 6 7 的被访者感觉满意，1 3 3 的被访者感觉一般；6 6 7 的被访者认为本系统能够减少重复劳动，间接减低放射剂量和增加技师工作效 率。 上海大学硕士学位论文 表4 3 问卷调查袁 拼接缝隙、错重叠区域出现拼接图像的主观质量评 是否会减少重 位、变形图像模糊、重影价复劳动，间接减 低放射剂量和 增加技师工作 效率 明隐无明隐约无非满意一般 不是 可能 否 显约显常满 满意 意 被 n ol 访n o2 者 n o3 n o4 n o5 n o6 n o7 n o 8 n o