（生物医学工程专业论文）基于多尺度特征相位相关的x线图像拼接方法研究.pdf

a b s t r a c t t os o l v et h ep r o b l e mt h a tt h es i z eo ft h ep a r tt ob ee x a m i n e dl s m u c hl a r g e rt h a nt h ea r e ao fd e t e c t o ro fi m a g i n g ( s u c ha st h es p i n ea n d t h ee n t i r el o w e rl i m b ，e t c ) ，t h ep a r to f t e nc a nb ed i v i d e di n t os e v e r a l s u b p a r t st oi m a g e ，a n dt h e nm o s a i ct h e s ei m a g e sf r o mt h o s es u b p a r t s t o g e t h e ra c c o r d i n gt oc e r t a i nr u l e s ，t os a t i s f yt h ec l i n i c a ld i a g n o s i sa n d t h es u r g e r yp l a n n i n g i m a g em o s a i ct e c h n i q u ep l a y sa ni m p o r t a n tr o l ei n s c o l i o s i sa n dl o w e rl i m bd e f o r m i t i e sa n do t h e rd i s e a s e s p h a s ec o r r e l a t i o ni ss e n s i t i v et o l i g h ti n t e n s i t y , s o a ni m a g e s t i t c h i n ga l g o r i t h mb a s e do nm u l t i s c a l ep h a s ec o r r e l a t i o ni sp r e s e n t e di n t h i sp a p e r , w h i c hs o l v e st h es p l i c i n gp r o b l e m so ft h ex r a yi m a g e sw h e n n o i s ea n di n t e n s i t yi n h o m o g e n e i t ye x i s t f i r s t l y , t h ei m a g et ob es t i t c h e d i st r a n s f o r m e dt or o u g hs c a l es p a c e ，a n dp r o c e s s e du s i n gc o n t o u r e x t r a c t i o n s e c o n d l y ，t r a n s l a t i o n a lp a r a m e t e r sf o r i n i t i a l s p l i c i n g a r e a c q u i r e dw i t hp h a s ec o r r e l a t i o n ，w h i c hw i l lb eu s e dt od e t e r m i n et h e p o t e n t i a lo v e r l a p p e dr e g i o n s t h e nt h e t r a n s l a t i o n a lp a r a m e t e r sa r e u p d a t e d w i t hp h a s ec o r r e l a t i o ni ns m a l ls c a l es p a c e t h i r d l y , t h e a f f e c t i o no ft h es p l i c ei se v a l u a t e du s i n gt h el o c a lm a x i m ao fm u l t i p l e p u l s ef u n c t i o n s f i n a l l y , t h es t i t c h i n ga l g o r i t h mb a s e do nm u l t i r e s o l u t i o ni su s e dt o c o m p l e t et h ep r o c e s s w h e nu s e dt os p l i c e s t a t i cm o s a i cp a n o r a m a i m a g e ，t h ea l g o r i t h mi sp r o v e dt ob ee f f e c t i v e c o m p a r e dw i t hc l a s s i c a l p h a s ec o r r e l a t i o n ，t h ea l g o r i t h mi n t r o d u c e di nt h i sp a p e ri si n d e p e n d e n t o fs c e n e ，i n s e n s i t i v et on o i s e ，r o b u s ta n da l s oe f f e c t i v ew h e nt h e r ea r e s e v e r ei n t e n s i t yi n h o m o g e n e i t ya n dg e o m e t r i cd i s t o r t i o n k e yw o r d sx - r a yi m a g e ，m u l t i - s c a l es p a c e ，f e a t u r e ，p h a s e c o r r e l a t i o n ，i m a g em o s a i c i l 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：啦 日期：砗年血堑日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文并根据国家或湖南省有关部门规定送交学位论文，允 许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 日期：埠年上月堑日 硕士学位论文 第一章绪论 1 1 课题研究背景 第一章绪论 图像拼接( m o s a i c ) 技术发展始于成像器材的视野限制，不能一次获得宽视角 的图像，因此，拼接技术由此产生。它是利用计算机进行自动匹配和拼接，用 以合成宽角度的照片，因而在实际使用中有很广阔的用途。与此同时，关于拼 接技术的研究也积极推动了和图像处理有关算法的研究。 1 x 线数字图像的发展及拼接现状 在医学影像学的领域中，x 线摄影术以其操作简单、普及性高、图像动态 范围宽，现已成为大多数骨科类疾病检查的首选。在上世纪8 0 年代初，第一套 c r 系统的出现实现了将x 光平片数据化，从此，医学影像开始成为数字化、 远程医疗会诊的发展基础。 医学图像的数字化，最大程度的促进了远程医疗的飞速发展。远程医疗是 指通过计算机技术、通信技术与多媒体技术，同医疗技术相结合，旨在提高诊 断与医疗水平、降低医疗开支、满足广大人民群众保健需求的一项全新的医疗 服务。目前，远程医疗技术已经从最初的电视监护、电话远程诊断发展到利用 高速网络进行数字、图像、语音的综合传输，并且实现了实时的语音和高清晰 图像的交流，为现代医学的应用提供了更广阔的发展空间。国外在这一领域的 发展已有4 0 多年的历史，而我国只在最近几年才得到重视和发展。 远程医疗包括远程医疗会诊、远程医学教育、建立多媒体医疗保健咨询系 统等。远程医疗会诊在医学专家和病人之间建立起全新的联系，使病人在原地、 原医院即可接受远地专家的会诊并在其指导下进行治疗和护理，可以节约医生 和病人大量时间和金钱。 远程医疗运用计算机、通信、医疗技术与设备，通过数据、文字、语音和 图像资料的远距离传送，实现专家与病人、专家与医务人员之间异地“面对面 的会诊。远程医疗不仅仅是医疗或临床问题，还包括通讯网络、数据库等各方 面问题，并且需要把它们集成到网络系统中。 建立大型、自动、高分辨率的图像拼接技术目f j 在摄影测量学、计算机视 觉、计算机图形学、虚拟现实技术【l 】等领域受到广泛关注。近年来，它也成为 了计算机视觉领域罩的一个研究趋势，表现为可视景物表示研究的一部分，完 整的可视景物表示还包括深度或视差信息的恢复。在计算机图形学中，图像拼 接在基于图像绘制领域中发挥着重要作用，它的目标是由一组实际图像( 或预 硕+ 学位论文 第一章绪论 先绘制的图像) 迅速绘制具有照片真实感的新视图。图像拼接的应用范围还包 括传统的由图像集合建立大型航空和卫星照片、近来的应用如视频检索、图像 的稳定性、变化检测、视频压缩、增大相机的视野和分辨率，简单的照片编辑 以及建立虚拟现实环境。 传统的拼接手段通常采用扫帚式的相机或者是广角镜头，但是在镜头的边 缘往往出现扭曲变形失真，另一种方法是采用一些应用广泛的图像处理软件， 但是手动拼接不仅效果不理想，而且工作量大而繁琐。为了解决这些问题，近 年来的发展趋势为，通过普通的p c 机来实现自动生成大幅、无缝的高清晰的 全景拼接图像。因此，研究快速而精确的图像拼接算法具有重要意义。 2 数字图像拼接的研究现状 图像拼接技术的三个主要步骤为：图像预处理、图像配准、图像融合。其 中核心技术是图像配准。剑桥大学的l i s ag o t t e s f e l db r o w n 总结出各个领域图像 配准技术的基础理论以及主要方法【2 】。r i c h a r ds z e l i s k i 提出一种基于运动 ( m o t i o n b a s e d ) 的全景图像拼接模型【3 】，采用了l e v e n b e r g - m a r q u a r d t 迭代非线性 最小法( 简称l m 算法) ，通过求图像间的几何变换关系后再来进行图像配准。 该方法收敛速度快，可以处理具有平移、旋转、仿射等多种变换的图像的拼接， 效果较好，因此，已成为图像拼接算法中的经典算法，而r i c h a r ds z e l i s k i 也已 成为图像拼接领域的奠基人之一。s h m u e lp e l e g 等在s z e l i s k i 的基础上做出改进， 提出自适应的图像拼接模型【4 】，可自动根据相机的不同运动，进行自适应选择 拼接模型，把图像分成狭条进行多重投影来完成图像的拼接。这一研究使得自 适应问题成为拼接技术研究领域的新热点。k y u n gh o 等提出了等距匹配法【5 】， 是直接从图像的重叠区域中对应像素灰度值出发去考虑，虽然可以实现图像的 拼接，但是由于在算法中存在大量的对像素灰度数据的计算，所以普遍存在计 算量大的缺点，而且对光照的变化和镜头造成的几何畸变比较敏感。 同时，其他的拼接算法也发展迅速，除了以上的经典算法以外，还有两种 算法也被广泛运用在拼接中。一种是基于几何特征的图像拼接算法，另一种为 相位相关法。 基于几何特征的图像配准方法是图像拼接技术中的一大研究热点。1 9 9 4 年， b l a s z k at r a c h i dd e r i c h e 通过二维高斯模糊过滤得到一些低级特征模型 6 】，如 边模型、角模型和顶点模型。此后，开始不断有学者研究基于这些图像中的低 级特征进行图像拼接的方法。z o g h l a m ii ，f a u g e r a so d e r i c h er 在19 9 7 年提出 基于几何角模型的图像对齐算法【7 】，因为角模型提供了比坐标点更多的信息； 接着在1 9 9 9 年，b a op ，x ud 提出利用小波变换提取保留边( e d g e p r e s e r v i n g 、 的视觉模型进行图像对齐【8 】；而n i e l s e nf 则提出基于几何点特征优化的匹配方 硕+ 学位论文 第一章绪论 法。2 0 0 0 年，k a n ge c o h e nim e d i o n ig 提出基于图像的高级特征进行图像拼 接的方法【9 】，他是利用特征图像关系图来进行图像对齐。通过利用图像的低级 特征到后来利用其高级特征，人们对图像的分析和理解同益深入，图像拼接技 术的研究也逐渐成熟起来。 相位相关法最早在1 9 7 5 年由k u g l i n 和h i n e s 提出【l o 】，具有场景无关性， 能够将纯粹二维平移的图像精确地对齐。后来，d ec a s t r o 和m o r a n d i 发现用傅 立叶变换确定旋转对齐，就像确定平移对齐一样j ；1 9 9 6 年，r e d d y 和c h a t t e r j i 改进了d ec a s t r o 的算法【1 2 】，大大减少了需要转换的数量。两幅图像的平移矢 量可以通过它们互功率谱( c r o s sp o w e rs p e c t r u m ) 的相位直接计算出来。应用傅 立叶变换进行图像的配准是图像拼接领域的另一研究成果，而且随着快速傅立 叶变换算法的提出以及信号处理领域对傅立叶变换的成熟应用【l3 1 ，图像拼接技 术也得到了相应的发展。 图像拼接技术也被典型地用于生成全景图像，改善图像分辨率、图像压缩 及视频扩展 1 4 , 1 5 等方面。除了在静态图像进行顺序拼接，近年来也出现了一些 针对动态特征如视频等进行动态全景图的拼接研刭1 6 , 1 7 】。随着视频编码技术的 迅速发展和应用，与拼接技术的结合也紧密起来，主要是应用于m p e g - 4 编码 标准钟的s p r i t e 技术，生成的完成背景图像叫做s p r i t e 图像。 通过将具有重叠区域的序列图像的拼接而获取更大视野的全景成像技术， 在术前术后导航、图像监控等领域也具有广泛的应用前景。 1 2 问题的提出及课题意义 在临床使用中，由于人眼不能分辨出x 线影像中非常细微的灰度差别，导 致不能很好地区分灰度级接近的组织或者结构；x 线图像通常存在曝光不均匀 的现象，普通拼接方法此外由于x 线透视仪提供的视野范围的局限性，常常需 要对图像进行对比度增强以及将多幅图像进行拼接处理。 为了帮助医生克服透视图像视野范围有限的缺点，得到重要图像信息结构 完整的全景图像，有学者提出在成像过程中采用固定标志作为拼接参考，并根 据标尺刻度及位置对图像进行拼接。本文主要研究的对象是针对图像拼接的关 键技术：图像配准、融合技术的研究与实现。重点针对x 线图像存在的噪声、 曝光不均匀等问题，以及相位相关法的局限性与不足，提出了对基于多尺度特 征的相位相关的拼接算法，同时，该方法还避免了额外使用外部工具，提高临 床的操作性。 本为还针对x 线图像因为曝光过度导致的灰度级太接近，细节不明显提出 了一个基于直方图均衡( h i s t o g r a me q u a l i z a t i o n ，h e ) ，的改进算法，可以更有效 硕十学位论文第一章绪论 地增强图像对比度，保留更多细节信息。 1 3 主要研究的内容及研究工作安排 本文主要是对x 图像以及静态图像序列进行全景图像拼接研究。为了解决 x 线图像噪声影响、曝光不均匀以及相位相关自身的缺点，本文在相位相关的 基础上，提出一种基于多尺度特征的相位相关的拼接算法。首先，将参考图像 和待配准图像转换到粗尺度空间下，然后对其进行特征轮廓提取，用相位相关 法计算得到初始拼接的平移参数；再根据该参数确定可能的重叠区域，由此确 定新的参考图像和待配准图像，并在细尺度空间进行相位相关配准，得到的进 一步的平移参数，根据脉冲函数局部极大值的数目、幅值大小以及最大精度， 对图像拼接是否成功进行判断。最后采用基于多分辨率的算法对图像进行平滑 拼接和显示。 这种基于多尺度特征的相位相关拼接算法很好地降低了x 线图像的噪声影 响，在不同尺度下图像的特征提取，克服了x 线图像曝光不均匀的困难，获得 了比原始图像更为稳定的特征边缘；粗尺度下结合相位相关获得的初始平移参 数为细尺度下正确平移参数的获得提供了鲁棒条件，判断标准的提出进一步消 除了可能的误配准。 最后对试验结果进行了对比和分析，认为采用本文提出的改进算法具有场 景无关性、允许较大亮度差异存在、受几何失真影响小、噪音容忍度高、鲁棒 性较强等优点，与传统的基于相位相关算法比较，本算法效果更好。 在此期间，本文主要的研究工作有： 国内外相关论文的阅读。这个阶段，我阅读了大量与拼接技术相关的中英 文文献，了解了数字图像拼接技术的背景、研究意义及发展现状，掌握了图像 配准技术的基本理论和主要方法；了解了c r 的组成和工作原理，以及它的发 展现状。对基于灰度、特征、频谱等经典算法进行了研究和仿真。 从x 线图像本身的成像特点和不足入手，尝试在数字图像拼接的各个环节 提出改进优化算法。在研究工作的中期，成功地提出了改进的基于h e 的增强 算法，并将该算法与常规基于h e 算法进行比较和分析，证明本文提出的改进 增强算法能够很大程度上保留图像细节信息。 在研究工作的中后期，针对x 线图像的成像后的问题以及相位相关本身的 缺点，提出了基于多尺度特征相位相关的算法，对其研究并仿真，对x 线数字 图像进行了拼接对比试验，然后将该算法扩展应用到普通静态数字图像的柱面 全景图的拼接中。分析和仿真了几种常用的融合算法，并采用基于多分辨率的 融合方法对图像进行了融合。 硕士学位论文 第一章绪论 1 4 论文章节安排 论文一共七章。第一章为绪论，简单介绍了图像拼接技术的发展概况和提 出背景，分析了图像拼接领域研究的核心技术以及拼接技术在医学影像学上的 应用背景和现状；第二章，详细介绍了图像的获取以及预处理算法、过程；第 三章详细阐述了现阶段主要的图像拼接的技术，包括基于特征、灰度信息、模 型、变换域的拼接方法，以及各种方法的优缺点；第四章针对现有x 图像的灰 度级差异小、噪声、曝光不均匀等缺点，提出了一种基于多尺度特征的相位相 关拼接算法，并作了详细的阐述，性能分析及对比实验；第五章将提出的基于 多尺度特征的相位相关拼接算法进行推广，将其应用在柱面全景图的拼接中， 实验表明，拼接很成功；第六章介绍了目前主要采用的一些图像融合算法，并 采用基于多分辨率的算法对图像进行融合，第七章对本文工作的总结和图像拼 接算法的研究展望。 硕士学位论文 第二章图像的获取与预处理 第二章图像的获取与预处理 2 1 数字图像拼接的一般步骤：获取与预处理、配准、融合 图像拼接的方法很多，不同的算法步骤上会存在一定的差异，但大致过程 基本相同。一般包括以下四步：图像的获取、预处理、配准、融合。 1 图像获取和预处理 图像的采集获取方法根据获取设备的不同而不同，普通数字图像的成像分 为手持、平移、旋转；医学图像获取和设备模念相关。 图像的预处理包括数字图像处理的基本操作( 如直方图处理、平滑滤波等) 、 建立图像的匹配模板、对图像进行某种变换( 如傅立叶变换、g a b o r 变换、小 波变换等) 以及提取图像的特征集合等操作。 2 图像配准 图像配准就是采用一定的匹配策略，找出待拼接图像中的模板或特征点在 参考图像中对应的位置。根据模板或者图像特征之间的对应关系，可以计算出 数学模型中的各参量值，从而建立两幅图像的数学变换模型。 即统一坐标系的过程，根据建立的数学转换模型，将待拼接图像转换到参 考图像的坐标系中，以此来构成完整的图像。图像转换之后，往往碰到坐标是 非整数的情况，因此图像的插值理论经常会被运用到拼接算法中。 3 图像融合 这一步是实现无缝拼接过程中的“无缝”。主要是实现从一幅图向另一幅图 的平滑过渡，没有明显的光强差异或者是明显的边界线存在。塔形融合算法、 迭代松弛算法、多元回归算法、渐入渐出【1 8 2 0 】的融合方法用得比较广泛。 其中图像配准是拼接的关键步骤，图像配准是指依据一些相似性量度来决 定图像间的变换参数，使得视角、分辨率、拍摄时间、光照强度、传感器类型 等不同而得到的同一大场景的两幅或多幅图像，变换到同一坐标系下，在像素 层上得到最佳匹配的过程。图像配准的目的是找出一种最能描述待配准图像和 参考图像之间映射关系的变换模型，用以消除其的几何上的不一致，包括平移、 旋转、形变以及亮度变化，为进一步的图像处理做准备。它是图像处理和分析 的关键步骤，也是图像对比、数据融合、变化分析和目标识别等的必要前提。 2 2 普通数字图像的获取 普通图像的获取方法由照相机拍摄时的运动状态决定，一般有三种情况： 硕七学位论文 第二章图像的获取与预处理 照相机固定在三角架上，旋转照相机拍摄；照相机放置于一个滑轨上，平行移 动照相机进行拍摄；人手持照相机，站在原地拍摄四周，或者沿着照相机的光 轴垂直方向走动拍摄。 1 摄影几何学基础 假设有一个理想的成像模型：针孔相机( p i n h o l ec a m e r a ) ，针孔相机成像的 最大几何特征就是透视投影( p e r s p e c t i v ep r o j e c t i o n ) ，也称作中心投影( c e n t r a l p r o j e c t i o n ) 。在透视图像世界中的平行线不再平行，这在我们现实生活中是常见 的，如沿着铁轨望远处看，感觉它们在远处好像汇聚成一点。如图2 1 所示： 图2 - 1 透视投影示意图 考虑除原点外的( n + 1 ) 维空间鼬l + 1 ，定义如下的等价关系： k l 一，以+ ，】丁专b ：，x ：+ 。r 公式( 2 1 ) f f a o ：b l ，一，+ 。】一日k ：，x ：+ lr 公式( 2 2 ) 射影空间是p ”该等价关系熵空间。在射影空间里，点用齐次( h o m o g e n e o u s ) 坐标表示。我们更习惯用欧氏几何空间r ”来表示，从r ”到p ”的一对一的映射 关系如下： i x l ，一，x 。r 专b ：，z ：，1 t 公式( 2 3 ) 只有点【五，o 】7 没有对应的欧氏点。我们易证明它们代表了某个特别方 向上的无穷远的点。将 五，o 】7 作为h ，吒，口】7 的一个极限情况来考虑， 即对于其射影等价的点【五口，a ，盯来说，考虑的是a 趋向0 的情况。这对 应于欧式空间的r n 在辐射向量 五口，吒a ，玎r ”方向上的无穷远点。 共线( c o 1 i n e a t i o n ) 或射影变换是( n + 1 ) x ( n + 1 ) 的正则矩阵a 定义的 p p 的任意映射歹= 瓜。射影变换将超平面映射为超平面，一个特例是将 直线映射为直线。 2 旋转照相机拍摄 硕士学位论文 第二章图像的获取与预处理 在旋转拍摄的情况下放置照相机的三脚架在拍摄过程中一直处于同一位 置。拍摄的时候，照相机绕垂直轴做旋转运动，每旋转一定的角度，拍摄一张 照片，理想的情况下，照相机不绕其光轴旋转。 拍摄得到一系列照片中相邻两张必须有部分重叠，重叠区域大小是图像拼 接最重要的影响因素，一些学者建议相邻图像之间重叠比例达到5 0 。重叠比 例越大，拼接就越容易，但是需要的照片越多。旋转照相机拍摄由于照相机固 定，不需要恢复过多参数，较容易实现。但是，拍摄图像不在一个平面上，需 要投影到同一个平面上，这将会导致图像质量下降，这种情况的一个解决方法 是使用短焦距，即广角镜头。 3 平移照相机拍摄 平移照相拍摄指的是照相机平行于成像平面的方向上做直线平移。在固定 焦距的情况下，将照相机放置在一个滑轨上移动拍摄。拍摄的物体和照相机的 距离远近，或者拍摄物体的大小的变化都会影响到最后的拼接结果。这种情况 的特点是拍摄的图像均在一个平面上。 4 手持照相机拍摄 这种方法是通常采用的拍摄成像方法，手持照相机原地旋转拍摄，或按一 定的路线平行于对象拍摄。但是，拼接手持照相机拍摄的照片是很困难的，因 为在拍摄过程中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋 转拍摄，但是角度控制、旋转控制都很差。沿一定路线移动时，类似于平移拍 摄，控制距离和保持相同的成像平面很困难。为了减少这些影响，可以增加重 叠比例，使照相机旋转角度、平移减小，因而减小相邻图像之间的不连续程度。 2 3 医学图像的获取 图像拼接在医学影像的诸多领域有着非常广泛的应用价值，如可以运用于 医学超声图像、x 射线图像和高倍显微镜图像等方向。视野的扩大对医护人员 的诊断具有直接的重要意义。 2 3 1 投影式数字x 线图像的获取 从1 8 9 5 年伦琴发现x 射线以来，x 射线摄影术已经历了一百多年的应用 及发展史，为人类疾病诊断做出了巨大贡献。在此期间，随着作为其基础的化 学与物理学各分支的进步，x 线摄影尽力从最早的摄影干板到目前最新形式的 胶片增感屏组合的各阶段的进步。 影像信息的记录是用一种含有微量素铕( e u 2 + ) 的钡氟溴化合物结晶( b a f x ： e u 2 + ，x = c i b r i ) f l ；1 成的i p 代替x 线胶片，接受透过人体的x 线，使i p 感光， 形成潜影。x 线影像信息由口记录。 硕七学位论文第二章图像的获取与预处理 影像信息的读取：口上的潜影用激光扫描系统读取，并转换成数字信号。 激光束对匀速移动的i p 整体进行精确而均匀的扫描。在i p 上由激光激发出的 辉尽性荧光，由自动跟踪的集光器收集，复经光电转换器转换成电信号，放大 后，由模拟数字转换器转换成数字化影像信息。由i p 扫描完了后，则可得到 一个数字化图像。 具体在对病人进行x 线成像的时候，如双下肢全长照射，要先将输入病人 信息的i p 板插入到病人双下肢全长i p 板专用支架上( 2 3 个p 板) ，支架上独 有的插槽可自动将i p 板上下缘之间进行一定的重叠( 为了更好地拼接) 。拍摄 前需注意口板的放位，长轴的方向及p 板的大小尺寸。需拍摄的部位必须完 全包括在x 射线以及i p 板的范围内，由于拍摄的部位较长，故必须利用较长的 焦片距( 一般设定在2 m 左右) 投射【2 1 | 。 2 3 2 显微图像的获取 电子显微镜是根据电子光学原理，用电子束和电子透镜代替光束和光学透 镜，使物质的细微结构在非常高的放大倍数下成像的仪器。 显微图像的获取是通过摄像装置将显微镜下的光信息转为数字图像信息， 并存储在电子计算机内，而摄像装置的视域范围明显小于样本的实际范围，为 了反应整个样本的信息全貌，我们需要进行多次显微图像采集和处理，获得大 幅图像的全样本信息。 2 4 数字图像的预处理 2 4 1 数字图像的预处理原理 数字图像的预处理包括去除噪声( q z 滑滤波) 、图像增强、锐化、图像复原、 几何校正等内容。从上一章节我们知道，成像的方式多样，但是通常都存在一 定的问题，需要我们通过预处理达到我们所需要的较理想的效果。 其中最常见的问题之一是相邻图像之间光强的变化较大。理想情况下，相 同的区域在具有相同的光强时，处理效果最好，但是因为光源变化或者照相机 运动和光源平角的变化，导致光强的差异。 问题之二是拍摄的图像在空间关系上的失真，场景中物体移动和拍摄时透 镜引起的图像变形将给对齐拼接带来困难。这种情况下就要对图像进行几何失 真校正。现有的方法一般限制了照相机的运动，但是实际中拍摄的图像存在小 视差，不同比例的缩放和大角度旋转，这些都增加了对齐拼接的难度。因此很 多文献要求照相机以最小运动视差旋转拍摄。图像在成像过程中可能会出现噪 声和光强的不同，从而给在需要做进一步分析处理时带来难度和干扰。因此， 我们需要对图像进行去噪、增强、几何校正预处理。 硕十学竹论文第一= 章幽像的获墩与预处理 2 42 拼接前的去噪处理 任何数字原始图像在成像和获取过程中都会存在着一定的噪声，且噪声往 往与信号交织在一起。噪声的存在将会直接或者间接的影响图像处理的稳定性 和精确度。因此我们需要对其进行去噪处理，也叫做平滑滤波处理。 噪声的种类主要包括：加性噪声、乘性噪声、量化噤声和椒乩噪声。其中 加性噪声与信号强度是非相关的；乘性噪声往往随着信号的强弱而发生变化： 量化噪声是数字图像的主要噪声源，它的大小显示出数字图像和原始罔像的差 异：椒盐噪声表现为黑图像卜的白点或白图像上的黑点。 如何在不损坏图像的轮廓和边缘信息的情况下，使得滤波后的图像清晰， 是图像噪声处理的必要条件。一般使用频域法和空域法对图像进行滤波。 2 43 拼接前的增强处理 从以上可以看出获得的图像在重叠的区域出现非常明显的因为重叠而导致 的曝光不足的问题。 川川 图2 - 2 双下肢全长照射x 射线成像 在x 线成像时，由于采用了t p 板支架以及插槽固定两块相邻的i p 板日j 存在一定的重叠，因此，导致了下方的i p 板在重叠区域曝光不足，对比度低。 如图2 - 2 所示，左图下方浅色区域即为曝光不足的部位。左图与右图的重叠区 域全在这曝光不足对比度低的这个部分。 所以，为了消除图像上这种区域的影响在预处理中，需要对这一区域进 行对比度增强处理。 1 区域确定 从图像上可咀看出在曝光度不足的分界线两侧，灰度值存存明显差异。分 界线以上，扶度值低，颜色较暗，分界线以卜，扶度值高，颜色较亮。设图像 为i m a g e ，其高度和宽度为：h e i 甜n 和w i d t h ，i m a g e ( ，) 表示坐标( f ，j ) 的取度 硕十学位论文第二章图像的获取与预处理 值。利用循环，求得第i 行与第i + l 行两两灰度值差的绝对值之和s u m ( i ) ，其 表达式如公式( 2 4 ) 所示： 胁i t h t - iw i d t h s u m ( i ) = i i m a g e ( i ，) 一i m a g e ( i + 1 ，刮 公式( 2 4 ) i = l j = l 搜索在s u m 中的最大值所在的行，即对应于分界线所在的行。将分界线以 下的区域进行对比度增强处理。 2 图像的增强方法及分类 图像增强通常是指根据一定的要求，突出图像中的某些信息，削弱或消除 某些不需要的信息的方法。增强的目的是突出图像中的“有用”信息，扩大图 像中不同物体特征之间的差别，以达到改善图像的视觉效果，增强某些特点的 信息。图像增强的内容广泛，常用的图像增强方法【2 2 】包括：灰度变换，直方图 修正、噪声清除、轮廓抽取、沟边处理、图像锐化、频域滤波、同台滤波及彩 色增强等。 图像增强技术根据处理过程的空间不同，可分为基于空间域的增强方法和 基于频域的增强方法两类。分类如图2 3 所示： 图像增强 空域算法 揪 燃 模板运算 “篡 图像锐化 频域算法 梯度法 拉普拉斯算子 反锐化掩模 统计差值 低通滤波 高通滤波 同态滤波 带阻滤波 图2 3图像增强方法分类 空间域的处理直接在图像所在的二维空间进行处理，即直接对每个像素的 灰度值进行处理，基本上是以灰度映射变换为基础的，所用的映射变换取决于 图像的特点和增强的目的。具体来说，空域法包括点运算和模板处理两种。点 运算是逐个对每个像素进行运算，与周围的像素无关，而模板运算是在每个像 素点的领域内进行。这一类方法通常在图像需要进行边缘检测或者滤波时使用， 硕+ 学位论文第二章图像的获取与预处理 算法的普适性较差。 频域处理则是首先将图像从空间域按照某种变换模型变换到频率域，然后 在频率域空间对图像进行处理，增强感兴趣的频率分量，再将其反变换到空间 域，得到增强后的图像。利用频域法时，通常计算量较大，且受人工干预的一 些变换参数的影响。如，首先对图像进行傅罩叶变换，再对图像的频域进行滤 波处理，最后将滤波处理后的图像变换值反变换到空间域中，从而获得了增强 后的图像。对于一幅图像来说，高频部分大致对应着图像中的边缘细节，低频 部分对应着图像中过度比较平缓的部分。常用的图像变换有：傅罩叶变换、小 波变换、离散余弦变换、沃尔什变换和霍特林变换等。在这些变换域下通常应 用低通滤波、高通滤波、带阻滤波等方法处理图像。 图像增强按像素的处理方式可分为：全局处理方法和自适应处理方法。全 局处理就是对图像的每一个像素点实施相同的映射处理，以灰度变换或灰阶窗 口和直方图均衡( h i s t o g r a me q u a l i z a t i o n ，h e ) 最常用：自适应增强处理是指各像 素的灰阶映射取决于其局部邻域的统计量，如自适应直方图均衡( a d a p t i v e h i s t o g r a me q u a l i z a t i o n ，a h e ) 和局部对比度扩展( l o c a lc o n t r a s ts t r e t c h ，l c s ) 。 图像增强技术按照高灰阶分辨能力和提高细节分辨能力又可分为对比度增 强和边缘细节增强。对比度增强分为直接对比度增强法和间接对比度增强法。 直方图拉伸和直方图均衡化是两种最常见的简介对比度增强方法。直方图拉伸 是通过对比度拉伸对直方图进行调整，从而扩大前景与背景灰度的差别，以达 到增强对比度的目的，这种方法可以利用线性或非线性的方法来实现：直方图 均衡化则通过使用累积函数对灰度值进行调整以实现对比度的增强。 3 直方图 直方图概括了一幅图的灰度级的内容。它是灰度级的函数，描述的是图像 中该具有的灰度级的像素的个数；其横坐标是灰度级别，纵坐标是该灰度出现 的频率，即为某灰度级的像素的个数。 通过映射函数f 将原始图像s ( x ，y ) 中像素的灰度s 映射成增强后的图像 g ( x ，y ) 中像素的灰度g ，是的图像灰度的动态范围得以扩展或压缩，用以改善 对比度。这就是灰度变换。 以概率论为基础，对图像灰度进行变换的直方图修正是又一种对比度增强 处理。图像s 中的某一灰度s ，的像素数目n l 所占总像素数目的份额为， 称为该灰度像素在改图中出现的概率密度p )，s(si p ，( s f ) = n f i = 0 ，1 ，2 ，l - 1 公式( 2 - 5 ) 其中，l 为灰度级总数目。它随着灰度变化的函数称为该图像的概率密度 函数，该函数是一簇梳状直线，被定义为直方图。如果s ( x ，) ，) 是连续的随机变 硕十学位论文 第二章图像的获取与预处理 量，则它的直方图为一条链接直线簇顶点的拟合曲线。直方图概括了图像中各 灰度级的含量，一副图像的明暗分配状态，可以通过直方图反映出来。为了改 善某些目标的对比度，可修改各部分灰度的比例关系，即可通过改造直方图的 方法来实现。特别是把原图像直方图两端加以扩展，而中间峰值加以压缩，使 得输出图像的概率密度p 。( 墨) 所构成的整个直方图呈现大体均匀分布，如图所 示，则，输出图像的清晰度会明显提高。 图2 _ 4 直方图均衡化 直方图修正处理可以认为是一种简单的点变换的处理，把输入灰度变量j ， 映射到输出灰度变量上，使得输出概率分布以( 蜀) 的累积等于输入概率分布 p , ( s t ) 的累积，即 砍( g ，) = 以( ) 公式( 2 _ 6 ) j = m i n i = m i n 对于连续的情况，有 l p g ( g ) a g = l p ，( j ) 凼 公式( 2 - 7 ) 4 直方图均衡化 直方图均衡化( h i s t o g r a me q u a l i z a t i o n ，h e ) 是一种最常用的直方图修正 技术，其中心思想是对原始的灰度图像进行非线性拉伸，重新分配图像像素值， 使一定灰度范围内的像素数量大致相同。 p p ( g ) = i l ( g 哪。一g m i n ) ， g m i 。g g 一 公式( 2 8 ) 代入( 2 7 ) 式中，得到 l 以( g ) 如= l 1 ( g m a xg 曲) 如= l 只( j ) 西公式( 2 9 ) = 1 ( g 一一g 。i 。) 】( g 。一g 。i l i ) = 只( s ) 此时，直方图均衡转换函数为： t = ( g 一一g 。j 。) p ，( s ) + g 。i n 公式( 2 - 1 0 ) 用信息学的理论来解释，即具有了最大熵( 信息量) 的图像为均衡画图像。 h e 的基本原理是：当图像中的所有灰度级出现的概率为一个均匀分布时，图像 硕+ 学位论文 第一章幽像的获取与预处理 所暴露出来的信息篮最大。 h e 算法的步骤：首先对原始图像的每个点的扶度情况进行统计分析，井计 算出原始直方图分布，然后根据计算出的累计直方图分布求出原始国到目标图 像的灰度映射关系。在重复上述步骤得到原始图所有从度级到目标图扶度级的 映射关系后，按照这个映射关系对源图像各点像素进行扶度转换，即可完成对 原始图的直方图均衡化。 以下是一个应用实例。原始图像、原图像的直方图、均衡化后的图像以及 均衡化后图像对应的直方图分别如图2 4 中的( 1 ) 、( 2 ) 、( 3 ) 和( 4 ) 所示，原图像中 花朵、茎叶和背景层次不太分明，对比度较低，从直方图上来看，扶度值出现 概率出现两个陡峭的峰值。经过直方图均衡他处理后，图像对比度明显增强， 拍摄对象从背景中跳脱出来细节描述清晰，从处理后的图像的直方图上看， 灰度值接近0 的区域被扩展。 璺j 7 ，宁魁像直方幽 圈2 - 5 直方匿均衡化效果 在对比度增强的实例中，如图2 - 6 ，我们在选定的区域进行对比度增强，可 以看到，原始图像的下方存在明显的曝光不足的情况这将会导致我们在进行 配准时，无匹配的几率大大增加，对比度增强后，有图中人体与背景的对比度 硕七学位论文 第二章图像的获取与预处理 拉伸效果明显。 图2 - 6 对比鹿增强实例 5 直方图均衡化在图像拼接中的缺点 从图2 4 上可以看出，经过h e 处理后，图像变得清晰，对比度增强，但是 均衡化处理后的图像扶度级只是近似均匀分布，均衡化图像的动态范围扩大了， 但其根本是扩大了量化的问题，而级别反而有所减少，凶此，h e 处理的缺点是 比较明显的，其具体表现在以下三点： 1 某些图片经过处理后，灰度缴减少，某些出现细节消失： 2 某些图片，如果其直方图有局部峰值，经过处理后对比度发生增强。 3 原来献度级不同的像素经过处理后可能变成相同，形成一片相同灰度级 的区域，各区域之间有明显的边界，从而出现伪轮廓。 追其原因，是因为h e 在由直方图推导出灰度变换函数t 后对整幅图像做 了一个相同的变换。因此，h e 又被称作全局直方图均衡( f u l lf r a m eh i s t o g r a m e q u a l i z a t i o n ，f f t t e ) 。由于图像中不同区域的扶度分布相差甚远，对它们采用同 一个变换常常导致不理想的结果。特别是当图像的某个较小且扶度分布较均匀 的区域中包含我们感兴趣的物体或某些细节时，这种方法就可能很难帮助我们 识别其中的物体或细节，甚至有时引入的噪声把原有的信息给破坏了。由于这 些细节在整个图像中所占据的比例很小，所以从信息论角度来分析，它们被认 为含有较少的信息。这就直接导致了在应用h e 过程中，这些细节被它们周围 的信息覆盖掉了。 因此本文针对h e 方法的这一缺点提出一种改进算法。算法能对h e 后某 些图像出现的局部细节消失有很大改善。 o；一ttl， 。o耋重k i i ；童重堰甏誓疆囊囊耋霪霪零。；藿鋈。l 硕士学位论文第二章图像的获取与预处理 2 4 4 图像的几何校正 对于出现几何失真的图像，处理之前我们需要对其进行几何校正。旋转照 相机拍摄后的图像存在一个平面对应( p l a n a r h o m o g r a p h y ) 1 拘几何学问题。平面对 应是由平面透视成像引起的映射问题，这是我们可以依赖几何学来求解精确的 点到点对应的两幅图像的映射关系的最简的例子。可以通过平面对应变换得到 的图像之间的映射有三种主要情况： 任意相机运动捕获的平面图像，见图2 - 7 ( 1 ) 。通过旋转r 和平移t ，场景点 x 分别投影至两幅图像中的x 和x i ，有平面对应x - _ h x ，见公式( 2 1 2 ) 。 相机绕光心旋转和或缩放的任意三维场景，见图2 - 7 ( 2 ) 。通过相机中心旋 转，场景点x 在两幅图像上的对应点x 和x 是关于平面对应x t - h x ，见公式 ( 2 1 2 ) 。 通过自由移动相机观察远距离场景得到。这种情形出现在高空摄影或卫星 遥感成像中，因为它们的场景到相机的距离远远大于视图间的运动，所以由三 维自然场景引起的视差效果可以忽略不计。 p l a nv i e w ( 2 ) 图2 - 7 绕相机中心旋转得到的两个视图 1 平面对应变换的定义 根据刚才的假设，我们的图像是通过理想透视针孔相机得到，所有物体的 光线都通过这个相机中心，所有的点都由齐次坐标来表示，因此点( x ，y ) 表示 为( x ，y 1 ) ，相反，齐次坐标点( x ，y ，z ) 对应到非齐次坐标上的点为( x z ，y z ) 。 平面对应( 也叫做平面透视、同射、投影对应) 下的点映射如下： 兰! = 差j 篷戛i 兰 或f = 胁 公式( 2 1 2 ) 因此改变换共有 硕十学位论文第二章图像的获取与预处理 不过实际的情况可能是，真实的相机模型可能显著偏离针孔相机模型，这 是因为真实透镜( 可能是廉价透镜或广角镜头) 的周边的光线会发生扭曲，这 就意味着不同视图之间的映射并不能通过同一个对应矩阵正确表示。因此，在 几何图像对准过程中可能需要校正图像的扭曲，不管是通过直接手工选取线段 的先