（生物医学工程专业论文）一种高质量的快速图像拼接方法.pdf

上海人学硕士学位论文 作，如何找到最近邻距离是该算法的关键。穷举法固然有效，但计算量大实用性 差，因此我们利用一种称为b e s t b i n f i r s t ( b b f ) 的近似最近邻算法，b b f 的 主要思想是利用一种近似的最近邻匹配方法，主要限定k - d 树叶结点数，即限定 了搜索的最大次数，同时采用一个优先级队列使搜索顺序以与被查询结点距离递 增的顺序进行搜索，从而大大提高了搜索的效率。此时对大部分图像都可以得到 准确而且快速的拼接结果，但当单幅图像中具有相似背景时，仍因存在误匹配而 导致错误的拼接结果。因此我们又引入随机抽样一致性( r a n d o ms a m p l e c o n s e n s u s ，r a n s a c ) 算法来去除误匹配对，提高了图像匹配准确性。 找出匹配点对后，下一步就是根据这些匹配点对计算图像问的坐标变换也即 变换矩阵，我们采用奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ，s v d ) 技术计算 变换矩阵，利用变换矩阵将图像重新采样到一个新的图像空间中，从而实现拼接。 但此时一些重叠处的拼痕清晰可见，因此需要一种有效的融合方法。融合方 法主要有三类：中值滤波器、加权平均法和多分辨率样条法。中值滤波器处理边 界附近的狭长地带，因此该方法速度快，但质量一般。多分辨率样条法在所有频 率域上处理边界附近区域，因此质量高，但工作量大、计算时间长，不适宜在一 般的图像拼接中使用。加权平均法直观简洁，速度较快，是比较常用的一种算法。 因此本文融合部分使用加权平均法以保证重叠部分平滑过渡。 综上所有因素，本文提出了一种高质量的快速自动拼接方法，该方法能够成 功拼接原来拼接失败的图像，大大提高了拼接准确性，拼接质量亦有所提高，而 且在正确拼接图像的同时最大限度地降低了耗时，与其它方法相比性能更优，可 以实现高质量快速的拼接系统。而且本文提出了使用信息熵作为拼接图像质量的 客观评价标准，用精确的数据证明了本文方法是一种高质量拼接。 此外本文方法除了可对普通数码相机拍摄的图像进行正确拼接外，还能应用 于遥感图像的拼接、红外图像的拼接，这极大丰富了本文方法的应用范围。 关键词：图像拼接，尺度不变特征变换，近似最近邻匹配，随机抽样一致性， 奇异值分解，加权平均法，信息熵 i i 上海大学硕士学位论文 a b s t r a c t i m a g em o s a i ci sal 【i n do ft e c h n o l o g yt h a ts t i t c h e ss e v e r a lp a r t i a l l yo v e r l a p p e d i m a g e si n t oo n es e a m l e s si m a g ew i t hw i d e rv i e w r e c e n t l yi m a g em o s a i ch a sb e c o m e i n c r e a s i n g l yc o m m o n s oi tn o wb e c o m e sa v e r yh o tr e s e a r c ht o p i c t h em a i ns t e p si n v o l v e di ni m a g em o s a i ci n c l u d ei m a g er e g i s t r a t i o na n di m a g e f u s i o n i m a g er e g i s t r a t i o n i st h em o s ti m p o r t a n t e x i s t i n gm e t h o d so fi m a g e r e g i s t r a t i o ni n c l u d ed i r e c t m e t h o da n df e a t u r e b a s e dm e t h o d d i r e c tm e t h o dc a n p r o v i d ea c c u r a t er e g i s t r a t i o ns i n c ei tm e a s u r e st h ec o n t r i b u t i o no fe v e r yp i x e li nt h e i m a g e b u ti tr e q u i r e st h eh y p o t h e s i so fi l l u m i n a t i o nc o n s i s t e n c ya n d i t e r a t i v e i n i t i a l i z a t i o ns oi ti sn o tr o b u s te n o u g hf o ri m a g e sw i t l li l l u m i n a t i o nc h a n g e sa n d n o i s e sa n di su s e di ne a r l yr e s e a r c h e s f e a t u r e - b a s e dm e t h o di sa n o t h e rh o tr e s e a r c h t o p i cw h i c he x t r a c t sd i s t i n c t i v ef e a t u r e sf r o mi m a g e ss o i tc o m p r e s s e st h ei m a g e i n f o r m a t i o na n dh a sal i g h tw o r k l o a da n dh i g hs p e e d i ti sa l s or o b u s tt oi m a g e c h a n g e s t h em a i np r o c e s s e so ff e a t u r e - b a s e dr e g i s t r a t i o na r ef e a t u r ee x t r a c t i o na n df e a t u r e m a t c h i n g f e a t u r ee x t r a c t i o nf o c u s e so nw h e t h e rt h ef e a t u r e sa r ei n v a r i a n tt od i f f e r e n t k i n d so fi m a g ec h a n g e ss u c ha si l l u m i n a t i o n ，g e o m e t r y , n o i s ea n de t c w em u s ta l s o c o n s i d e rt h ee x t r a c t i o ne f f i c i e n c ya n dc o r r e c t n e s s b e s i d e s ，t h ef e a t u r e sh a v et ob e d i s t i n c t i v ea n dw em a i n l yf o c u so nf e a t u r ep o i n t s f e a t u r em a t c h i n gi sa l s oa n o t h e r i m p o r t a n ta n dd i f f i c u l ts t e pa f t e rf e a t u r ee x t r a c t i o n f e a t u r em a t c h i n gm a i n l yf o c u s e s o nt h ec o r r e c t n e s sa n de f f i c i e n c yw h i c ha r ei nac o n f l i c t i o n t h ee f f e c to ff e a t u r e m a t c h i n g i sa l s or e l a t e dt of e a t u r ee x t r a c t i o n t h e r ea r em a n yf e a t u r ee x t r a c t i o nm e t h o d sa m o n gw h i c hs c a l ei n v a r i a n tf e a t u r e t r a n s f o r m ( s i f t ) m e t h o ds h o wt h eb e s tp e r f o r m a n c es ow ec o n s i d e ru s i n gs i f t m e t h o dt oe x t r a c ts t a b l ea n dv a l i df e a t u r e s t h ee f f i c i e n c yw i l lb et o ol o wi fm o r e f e a t u r e sa r ee x t r a c t e d b u ti tw i l lr e s u l ti ni n c o r r e c ts t i t c h i n go rf a i l u r ei ft h e r ea r en o t e n o u g hf e a t u r e s at y p i c a li m a g eo fs i z e5 0 0 x 5 0 0p i x e l sw i l lg i v er i s et oa b o u t2 0 0 0 s i f tf e a t u r e st h a ti st o om u c hf o ri m a g em o s a i ct os l o wd o w ni t sf e a t u r ee x t r a c t i o n 上海大学硕上学位论文 e f f i c i e n c y s ot h ep a p e ri m p r o v e st h es i f tm e t h o dt og e tl e s sf e a t u r e si nt h ep r e m i s e o ff e a t u r eq u a l i t y t h i si su s e f u lf o ri m a g em o s a i ca n dl a y st h ef o u n d a t i o n sf o ri t sh i g h q u a l i t ya n dh i g hs p e e d t h ef e a t u r e sa r eh i g h l yd i s t i n c t i v ea n d r o b u s ta n da r ei n v a r i a n t t oi m a g er o t a t i o n , s c a l e ，t r a n s l a t i o na n di l l u m i n a t i o nc h a n g e s e a c hk e y p o i n th a sa 12 8e l e m e n tf e a t u r ev e c t o rw h i c hg i v e se l a b o r a t ed e s c r i p t i o n so fe a c hk e y p o i n ts u c h a si t s p o s i t i o n , s c a l e ，o r i e n t a t i o na n de t c t h ek e y p o i n td e s c r i p t o r s a r eh i g h l y d i s t i n c t i v ew h i c ha l l o wu st ou s et h e mf o rf e a t u r em a t c h i n g w eu s en e a r e s tn e i g h b o r t om a t c hf e a t u r e ss oh o wt of i n dt h en e a r e s td i s t a n c ei st h ek e y i t so k t ou s e e x h a u s t i v es e a r c hb u ti tr e q u i r e sal a r g ea m o u n to fc o m p u t a t i o ns oi ti sn o ts u i t a b l ef o r p r a c t i c a lu s e t h e r e f o r e ，w eu s ea na p p r o x i m a t ea l g o r i t h m ，c a l l e dt h eb e s t - b i n f i r s t ( b b f ) a l g o r i t h m ，w h i c hl i m i t st h en u m b e ro ft h el e a fo fk - dt r e e o rt h el a r g e s t n u m b e ro fs e a r c ha n du s e sap r i o r i t ys e a r c ho r d e rw h i c hs e a r c h e sd a t ai nt h eo r d e ro f t h e i rc l o s e s td i s t a n c ef r o mt h eq u e r yl o c a t i o n t h e r e f o r eb b fi sm o r ee f f i c i e n t n o w w ec a ng e tt h eh i g hq u a l i t yr e s u l tw i t hah i g hs p e e d b u ti tw i l ls t i l lr e s u l ti ni n c o r r e c t s t i t c h i n gw h e ns i m i l a rb a c k g r o u n de x i s t si no n es i n g l ei m a g es o w eu s er a n d o m s a m p l ec o n s e n s u s ( r a n s a c ) m e t h o dt oe l i m i n a t et h ei n c o r r e c tm a t c h e ss oa st o i m p r o v et h ec o r r e c t n e s so ff e a t u r em a t c h i n g a f t e rf e a t u r em a t c h i n g ，t h en e x ts t e pi st og e tt h et r a n s f o r m a t i o nb a s e do ns u c h m a t c h e df e a t u r e s t h e nw eu s es i n g u l a rv a l u ed e c o m p o s i t i o n ( s v d ) m e t h o dt o c o m p u t et h et r a n s f o r m a t i o nm a t r i xa n dr e s a m p l et h ei m a g e s i n t oan e w p a n o r a m a b u tt h em a r k sn e a rt h eo v e r l a p p i n ga r e a sa r es t i l lv i s i b l ei nt h ep a n o r a m a s ，s ow e n e e dah i g h l ye f f i c i e n tf u s i o ns t r a t e g y t h e r ea r et h r e em e t h o d sf o ri m a g ef u s i o ns u c h a sm e d i a nf i l t e rm e t h o d ，m e t h o do fw e i g h t e da v e r a g e sa n dm u l t i - r e s o l u t i o ns p l i n e m e t h o d m e d i a nf i l t e rm e t h o dd e a l sw i t ht h en a r r o wa r e a n e a rt h ee d g es oi ti sf a s tb u t t h eq u a l i t yi sn o ts og o o d m u l t i - r e s o l u t i o ns p l i n em e t h o dd e a l sw i t ht h ee d g ea r e aa t e a c hf r e q u e n c ys oi ti so fh i g hq u a l i t yb u tr e q u i r e sah e a v yw o r k l o a da n dl o n gt i m e a n di sn o ts u i t a b l ef o rc o m m o ni m a g em o s a i c m e t h o do fw e i g h t e da v e r a g e si se a s yt o u n d e r s t a n da n di tw o r k sf a s ts oi ti sc o m m o n l yu s e d t h e r e f o r et h ep a p e ru s e sm e t h o d o f w e i g h t e da v e r a g e sf o ri m a g ef u s i o ns oa st os m o o t ht h eo v e r l a p p i n ga r e a a f t e rag o o dc o n s i d e r a t i o no fa l lt h e s ef a c t o r s ，t h ep a p e rp r o p o s e sa na u t o m a t i c ， i l 上海大学硕士学位论文 f a s ta n dh i g hq u a l i t ym e t h o df o ri m a g em o s a i c t h i sm e t h o dc a ns u c c e s s f u l l ys t i t c h t h ei m a g e sw h i c ho t h e rm e t h o d sf a i l e da n dh i g l l l yi m p r o v et h es t i t c h i n gc o r r e c t n e s s a n dt h eq u a l i t y i tc a nr e d u c et h ec o n s u m i n gt i m ew h i l ee n s u r i n gc o r r e c ts t i t c h i n g c o m p a r e dw i t ho t h e rm e t h o d s ，t h i sm e t h o di saf a s ta n dh i g hq u a l i t ym e t h o do f a u t o m a t i ci m a g em o s a i c t h ep a p e ra l s op r o p o s e su s i n gi n f o r m a t i o ne n t r o p ya s o b j e c t i v ee v a l u a t i o nc r i t e r i aw h i c hp r o v e st h i sm e t h o di so fh i g hq u a l i t yo nt h ed a t a s u p p o r t i na d d i t i o nt ot h em o s a i co fp i c t u r e st a k e nb yc o m m o nd i g i t a lc a m e r a s ，t h i s m e t h o dc a na l s os t i t c hr e m o t ei m a g e sa n di n f r a r e di m a g e s s ot h ee x t e n t so ft h e a p p l i c a t i o no ft h i sm e t h o da r eh i g h l ye x t e n d e d k e y w o r d s ：i m a g em o s a i c ，s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ( s i f t ) ，a p p r o x i m a t e n e a r e s tn e i g h b o r , r a n d o ms a m p l ec o n s e n s u s ( r a n s a c ) ，s i n g u l a rv a l u e d e c o m p o s i t i o n ( s v d ) ，m e t h o do fw e i g h t e da v e r a g e s ，i n f o r m a t i o ne n 仃o p y i i i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：瑙辱师签名：芒苎兰查，日期： i i o 时5 ，5 上海人学硕上学位论文 1 1引言 第一章绪论 图像拼接是计算机视觉领域的一个重要分支，是一种将两幅或两幅以上具有 部分重叠的图像进行无缝拼合从而获得一幅具有大场景图像的技术。图像拼接的 概念最早来源于摄影知识，当相机视野小于人类视野时，人们考虑将多张照片拼 接成一张大照片来增强相机的视野。在实际的科研和工程中，我们经常需要用到 超过人眼视角的大场景图像【1 3 】，而普通相机的视角往往不能满足需要；另外由 于距离的限制，某些超大尺寸的物体无法用一张照片拍摄下来【4 】。这时都需要用 到图像拼接，所谓的图像拼接正是解决上述问题的一种图像处理技术。 随着数字摄像技术、卫星技术和遥感技术的发展，人们获得人造卫星传回地 球的图片后，常常采用图像拼接的方法来获得大视野的全景图；在医学影像领域 里，经常利用二维平面的c t 、m 、d s a 等图像来重建三维立体结构，图像拼 接是重建和投影的基础；在虚拟现实技术中，需要经常用到数字全景图。因此自 动建立大场景的图像拼接技术一直是摄影测量学、计算机视觉、图像处理和计算 机图形学的活跃研究领域。图像拼接的应用也越来越广，现已广泛应用于航空测 绘、数字视频、运动分析、变化检测、刑侦、交通事故处理、图像稳定性分析、 遥感图像处理、图像压缩、手术导航、医学图像分析、虚拟现实技术等领域。 1 2 当前研究概况 图像拼接的关键在于图像配准。目前的配准方法主要分为：直接法【3 】和基于 图像特征的方法【5 0 】。所谓直接法是以某图像为参考图像直接移动或弯曲其它图 像，检查像素是否一致，通过将重叠区域像素不一致所生成的误差函数最小化来 估计相机参数。所谓基于特征的方法是先提取各图像的特征，然后匹配这些图像 特征建立一个全局的对应关系，估计出图像间的几何变换。 直接法使用所有像素因此配准较精确，但往往依赖光照一致性的假设，且迭 代要求初始化，对有光照变化和有噪声的图像不够强健，主要用于早期的研究中。 3 上海大学硕士学位论文 例如，1 9 9 6 年微软研究院的r i c h a r ds z e l i s k i 教授提出了基于运动模型的全景图 像拼接，采用l e v e n b e r g m a r q u a r d t ( l - m 算法) 迭代非线性最小化方法，通过 求出图像间的几何变换关系来进行图像配准。由于该方法效果较好，收敛速度快， 而且可处理具有平移，旋转等多种变换的待拼接图像，因此成为图像拼接领域的 经典算法，r i c h a r ds z e l i s k i 也因此成为图像拼接领域的奠基人。基于图像特征的 方法提取图像的显著特征，大大压缩了图像的信息量，使得计算量小，速度较快， 且对图像的变化具有鲁棒性【引。1 9 9 4 年，b l a s z k a 9 1 通过二维高斯模糊过滤得到了 一些低级特征模型，如边模型、角模型和顶点模型。1 9 9 7 年，z o g h l a m i t l 0 】提出 基于几何角模型的图像对齐算法，因为角模型提供了比坐标更多的信息。2 0 0 0 年，k a n g 【1 1 】提出基于图像的高级特征进行图像拼接的方法，利用特征图像关系 图来进行图像对齐。2 0 0 4 年d a v i dl o w e 提出了尺度不变特征变换( s c a l ei n v a r i a n t f e a t u r et r a n s f o r m ，s i f t ) 算澍1 2 】，使其对尺度、旋转、亮度、噪音等都具有不变 性。m i k o l a j c z y k 在同年提出了尺度仿射不变量的特征点检测【”】，但他在比较了 各种局部特征检测和描述符算法后，指出l o w e 的s i f t 算法取得了最好效果， 特征点性能最优【1 4 】。由于s i f t 算法复杂，时间复杂度高，因而s i f t 算法发表 以来一直有人对此研究希望能对此改进：y a nk e 在2 0 0 4 年提出用主成分分析 ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 对s i f t 的特征描述符进行降纠1 5 】，但其 算法是在s i f t 计算结果的基础上，比较适合需要建立图像检测的特征数据库情 况；l u k el e d w i c h 用精简的s i f t 算法进行室内图像的检索和定位【1 6 1 ，但只适合 于特定场景，且对计算复杂度的优化很小，没有工程意义；e l i s a b e t t ad e l p o n t e 尝试用奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ，s v d ) 匹配算法对s i f t 计算 出的特征描述符进行图像匹配【1 7 】，但其匹配计算复杂，结果也不比l o w e 的方法 优越。 我们近年来一直研究图像拼接算法，并在此基础上实现了全自动的桌面图像 拼接系统m y p a n o 1 8 1 和网上图像拼接服务系统w e b p a n o 1 9 1 。m y p a n o 系统基于小 波变换，即首先利用小波变换提取特征点然后利用相似性度量进行特征匹配。其 优点是拼接速度比较快，缺点是当图像内容单一时，特征点数不足难以成功地进 行特征点匹配，导致图像拼接失败。为此，我们研究了基于元胞自动机的方法【2 0 】。 它首先用元胞模型进行边缘检测提取特征点然后利用相似性度量进行特征匹配， 4 上海大学硕士学位论文 其优点是降低了对图像重叠度的要求，缺点是其实现依赖于边缘特征点的成功匹 配，在图像重叠区域因存在大面积的同色背景而无法有效提取边缘特征点时，会 得到错误的拼接结果甚至无法拼接，而且对大幅图像拼接时，速度相当慢。 1 3 本文的研究内容及创新 本文针对现有方法的缺点，提出了一种高质量的快速自动拼接方法，成功拼 接了原来拼接失败的图像，而且在正确拼接图像的同时最大限度地降低了耗时， 与其它方法相比性能更优，可以实现高质量快速的拼接系统。 本文研究内容概括如下： 1 、研究了图像拼接的基本流程及关键技术。 2 、在对现有算法学习和研究的基础上，提出了自己的改进算法，实现了高质量 的快速自动拼接。该算法首先利用改进的尺度不变特征变换的特征提取方法 获得图像特征点，接着利用近似最近邻匹配b e s t b i n - f i r s t ( b b f ) 进行特征 匹配并引入随机抽样一致性算法( r a n d o ms a m p l ec o n s e n s u s ，r a n s a c ) 去除 误匹配对，最后根据匹配的特征点对得到图像间的变换参数进行拼接和融合。 本文算法具有很强的鲁棒性，允许图像有缩放变换、旋转变换，不受图像噪 声、色差的影响。 3 、将本文系统与其它系统的性能进行了比较，发现本文系统性能更优，实现了 高质量的快速自动拼接。 本文创新点概括如下： 1 、本文对s i f t 特征提取算法进行了改进优化，加快了特征提取速度，引入b b f 方法提高了关键点搜索效率，加快了匹配的速度，为拼接系统的快速特点打 下基础。 2 、本文对特征匹配部分的阈值选择进行了深入研究，通过大量实验确定了最佳 阈值，为拼接系统的高质量和快速特点打下基础。 3 、本文在特征匹配后引入r a n s a c 方法去除了误匹配对，大大提高了匹配准确 性，为拼接系统的高质量特点打下基础。 4 、本文提出了使用信息熵作为拼接图像质量的客观评价标准，用精确的数据证 明了本文方法是一种高质量拼接。 5 上海大学硕士学位论文 5 、本文方法不仅可对普通数码相机拍摄的图像进行正确拼接外，还能应用于遥 感图像的拼接、红外图像的拼接，这极大丰富了本文方法的应用范围。 1 4 本文的组织结构及章节安排 本论文是以作者攻读硕士学位期间承担课题的工作为基础，共分为七章，各 章节内容安排分别如下： 第一章阐述了图像拼接的意义、当前研究现状，分析了存在的主要问题并提 出了本文研究的主要内容；第二章简要介绍了图像拼接系统、拼接的基本流程和 关键技术；第三章研究了图像特征提取的主流方法，并介绍了尺度不变特征变换 算法，并对该算法进行改进和优化；第四章研究了图像特征匹配的方法，并阐述 了本文方法的理论基础；第五章实现了图像拼接及融合处理；第六章将本文系统 与其它系统进行了比较；第七章对本文工作进行了总结并展望。 6 上海大学硕士学位论文 第二章图像拼接技术简介 2 1 图像拼接的基本流程 图像拼接技术是一个跨学科的领域，涉及到计算机视觉、计算机图形学和图 像处理等多个领域的知识。图像拼接主要由图像获取、图像配准、坐标变换和图 像融合四个步骤组成，参见图2 1 。图像配准是对图像进行几何上的对齐，而图 像融合是对图像进行光度学的配准，对曝光差异和对比度进行修正，减少光强和 色彩的不连续性。 2 2 图像拼接的关键技术 2 2 1 图像的获取 图2 1 拼接系统流程图 图像的获取是我们处理的第一步，由于获取方法的不同导致输入图像的不 同，我们使用的图像配准方法也不同，最终拼接结果就大不相同。对于普通照相 机拍摄的图像，其获取方式主要由照相机拍摄时的运动状态决定，一般有以下三 种情况： 1 、照相机固定在三角架上，旋转照相机拍摄：拍摄时照相机绕垂直轴旋转，每 旋转一定的角度拍摄一张照片。照片重叠区域大小是影响图像拼接最重要的因 素，重叠比例越大，拼接就越容易，但需要的照片越多。旋转照相机拍摄由于照 7 上海大学硕士学位论文 相机固定，因而较容易实现，但由于图像不在一个平面上需要投影到同一个平面 上，导致图像质量下降。 2 、照相机放置于滑轨上，平行移动照相机进行拍摄：物体和照相机的距离远近 或者拍摄物体的大小变化都会影响到最后的拼接结果，拍摄条件比较苛刻。 3 、人手持照相机，站在原地拍摄四周或者沿着照相机的光轴垂直方向走动拍摄： 较易实现，但照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄， 但角度控制、旋转控制都很差；沿一定路线移动类似于平移拍摄，控制距离和保 持相同的成像平面很困难。为减少这些影响，可以增加重叠比例，使照相机旋转 角度、平移减小，来减小相邻图像之间的不连续程度。 除了上述三种方法外，全景图的获取还可以通过全景照相机( 相机镜头可以 转圈达到3 6 0 。) 、鱼眼镜头( 一种短焦距、超广角摄像镜头，焦距在6 1 6 毫米之 间，视角一般可达到2 2 0 。或2 3 0 。) 、抛物柱面反射镜等设备，但这些设备都价格 昂贵且使用复杂，因此本文采用第3 种方法来获取图像。 2 2 2 图像配准 图像配准指对参考图像和待拼接图像中的匹配信息进行提取，然后寻找图像 间的变换模型，待拼接图像根据变换模型经变换向参考图像进行对齐，使得两幅 图像中的匹配特征点在变换后具有相同的坐标。图像配准从直接配准发展到基于 特征的配准。 1 、直接法：以某图像为参考图像直接移动或弯曲其它图像，检查像素是否一致， 通过将重叠区域像素不一致所生成的误差函数最小化来估计相机参数。主要方法 有： ( 1 ) 基于块的匹配：取第一幅图像的一块区域作为模板，在第二幅图像中搜索 具有相同( 或相似) 值的块区域。模板较大时算法精度比较高，但计算量随模板 增大而增大。 ( 2 ) 比值匹配：在第一幅图像重叠区域内，取相邻两列上的部分像素，用它们 的比值作为模板，在另一幅图像中也用两列的部分像素比值与模板相比较，找出 最佳匹配。该算法比基于块的匹配计算量有所减少，但由于所取像素较少，精度 也有所降低。 8 上海人学硕士学位论文 ( 3 ) 基于网格的快速匹配：是对基于块的匹配的改进。为减小运算量，在搜索 过程中，首先进行粗略匹配，每次水平或垂直移动一个步长，计算对应像素点 r g b 值( 或灰度值) 的差的平方和，记录最小值的网格位置。接着以此位置为中 心进行精确匹配。每次步长减半，搜索当前最小值，循环往复直到步长为0 ，最 后确定出最佳匹配位置。该算法虽然在运算速度上较前两种方法有所改善，但在 粗略匹配过程中，由于移动的步长较大，可能会将第一幅图像上所取的网格划分 开，这样将造成匹配中无法取出与第一幅图像网格完全匹配的最佳网格，难以达 到精确匹配。 2 、基于特征的方法：从图像中选择一系列特征，根据某种相似性原则进行图像 间的特征匹配。一般有两个过程：特征提取和特征匹配。通常我们提取特征点， 特征点可以是图像的角点、封闭轮廓线的中心、纹理特征点或其他的突出点。常 用的点特征提取方法有：基于小波变换法【1 引、h a r r i s 算子【2 1 1 、f o r s m e r 算子2 2 1 、 最小同值吸收核算法( s m a l l e s tu n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ，s u s a n ) 等。如今，很多特征点检测器能对尺度缩放和旋转保持不变性，这尤其适用 于那些待配准的图像尺度和视角不一样的情况。其中s i f t 算法性能最优，s i f t 算法是l o w e 在2 0 0 4 年总结了现有的基于不变量技术的特征检测方法而提出的， 对图像缩放、旋转都保持不变性。 直接法主要考虑两幅相邻图像的亮度一致性，但由于亮度匹配的局限性不适 合像素偏移很大的情况。此外参数初值的估计对方法的效果有很大的影响，因此 直接法主要用于早期的研究中。基于特征法提取图像特征，大大压缩了图像信息 量，计算量小，速度较快，对图像变化具有鲁棒性。 2 2 3 坐标变换 = 降- 譬s i n am 2 m s i n o ：眨10 ) = i c o s 秒( 2 ) l o 上海大学硕士学位论文 其中，0 为图像的旋转角度，m 2 和为平移量。 m = 若若车 c 2 2 ， 膨= ( 裹蒌辜 c 2 3 ， 2 2 4 图像融合 在不同时刻对图像进行采样光强会有所差异，因此在图像拼接的边界处会有 明显的拼痕。图像融合就是要平滑这种拼痕，消除图像光强或色彩的不连续性， 常用的方法有三种【2 4 】： 1 、中值滤波器：i r a n 2 5 】在边界附近区域使用中值滤波器，通过对与周围像素灰 度值相差比较大的像素取与周围像素接近的值，从而消除光强的不连续性。 2 、加权平均法：s z e l i s k i 4 】使用一个“帽状函数 来加权平均到每幅图像的对应 像素上。该方法赋予图像中心区域的像素较高的权值，图像边缘区域的像素较低 的权值，权值函数采用如下显示的帽子函数： w a x ，y ) = ( 1 一 斗- _ l 去一卦 泣4 ， 其中w i d t h ，j i l e 动表示第f 幅图像的宽和高，帽子函数w ( x ，y ) 如图2 2 所示。 图2 2 帽子函数w ( x ) 1 0 w f d t h , 上海大学硕士学位论文 更简洁的方法是s h u m1 2 6 】将平滑过渡区域放在重叠图像中央，权重为像素点 到边界的距离。 3 、多分辨率样条技术：b e a t 2 7 1 采用拉普拉斯金字塔结构，将图像分解成不同频 率域上的图像，在每个频率域上对图像重叠边界附近加权平均，最后将所有频率 上的合成图像汇总成一幅总图像。由于在每个分解的频率域上，加权函数的系数 以及颜色融合区域的大小，是由两幅图像的特征在该频率域内的差异决定的，因 而该方法可使具有不同强度的图像平滑地过渡。 中值滤波器处理边界附近的狭长地带，因此该方法速度快，但质量一般，平 滑的结果会使图像的分辨率下降，使图像细节分辨不出产生图像模糊。多分辨率 样条法在所有频率域上处理边界附近区域，因此质量高，但工作量大、计算时间 长，不适宜在一般的图像拼接中使用。加权平均法直观简洁，速度较快，是比较 常用的一种算法。因此本文融合部分使用加权平均法。 2 3 小结 本章对图像拼接的流程以及其中的关键技术做了简要介绍，包括图像的获 取、图像配准、坐标变换、图像融合等。 上海大学硕上学位论文 第三章图像特征提取 3 1 引进s i f t 特征提取方法的原因 我们已提到过一种性能较优的算法一s i f t 算法，该算法提取的特征向量 具有如下特性： 1 、s i f t 特征是图像的局部特征，对旋转、尺度缩放、亮度变化保持不变性，对 视角变化、仿射变换、噪声也保持一定程度的稳定性。 2 、独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 3 、多量性，即使少数的几个物体也可以产生大量s i f t 特征向量。 4 、高速性，经优化的s i f t 匹配算法甚至可以达到实时的要求。 5 、可扩展性，可以很方便地与其他形式的特征向量进行联合。 2 0 0 4 年m i k o l a j c z y k 比较了各种局部特征检测和描述符算法，指出s i f t 算 法取得了最好效果，特征点性能最优。尽管s i f t 算法性能优越，但它有一个最 大的缺点那就是计算太复杂导致计算量太大。一幅典型的5 0 0 x 5 0 0 的图像可得到 约2 0 0 0 个s i f t 特征点，由于提取的特征点越多，提取特征的速度则越慢，但如 果特征点不够则会导致拼接错误甚至失败，因此本文对s i f t 特征提取方法作了 优化，使得提取的特征点达到质和量的最优。 一 3 2s i f t 特征提取方法 在对s i f t 特征提取办法作优化改进前，有必要先介绍s i f t 特征提取方法， s i f t 特征提取方法主要流程如下： 3 2 1 尺度空间极值检测 s i f t 方法第一步就是找出尺度空间中的极值。k o e n d e r i n k 。和“n d e b e 适。 2 8 12 9 1 研究发现高斯函数是唯一的尺度空间内核函数。 二维高斯函数定义如下： g ( x , y , c r ) = 丽1 8 母加仃2 ( 3 1 ) 1 2 上海大学硕士学位论文 仃代表了高斯正态分布的方差。 一幅二维图像，在不同尺度下的尺度空间可表示为图像与高斯核的卷积： l ( x ，y ，盯) = g ( x ，y ，仃) pi ( x ，少) ( 3 2 ) o ，y ) 代表图像的像素位置，仃为尺度空间因子，其值越小代表该图像被平滑地 越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像 的细节特征。三代表了图像的尺度空间。 为了更有效地检测出尺度空间中的稳定特征点，我们进一步使用高斯函数之 差对图像进行卷积操作，得到高斯差分函数，参见式3 3 ，其中k 为常量。 地弘力= ( 舷弘刎一瞰弘砌 地力= 酏乃纠一如弘 ( 3 3 ) 1 9 9 4 年l i n d e b e r g 研究发现高斯差分函数( d i f f e r e n c eo f g a u s s i a n ，d o g ) 与 尺度标准化的高斯拉普拉斯盯2 v 2 g 非常近似。2 0 0 2 年m i k o l a j c z y k 发现通过求 仃2 v 2 g 的极值能得到最稳定的图像特征点，所以求高斯差分函数也可得到最稳 定的图像特征点。 d 与盯2 v 2 g 的关系可由热扩散方程得