（信号与信息处理专业论文）基于surf特征的显微镜图像拼接.pdf

， 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 盔童 e l 期：2 丝：笙主2 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：菱是导师签名： 一 l ； 羹 山 摘要 a b s t r a c t 3 第一章绪论。5 1 1 课题背景介绍。5 1 1 1 图像拼接技术简介5 1 1 2 图像拼接技术分类6 1 1 3 图像拼接的主要步骤7 1 2 图像拼接应用领域。8 1 2 1 图像拼接技术在虚拟现实的应用8 1 2 2 图像拼接技术在全方位电视转播和视频监控中的应用9 1 2 3 图像拼接技术在生物医学的应用l o 1 3 图像拼接研究现状1 1 1 4 本文的研究重点和章节安排1 2 第二章图像拼接技术l4 2 1 图像拼接流程。1 4 2 2 图像匹配15 2 2 1 基于区域的图像匹配。1 5 2 2 2 基于特征的图像匹配。1 5 2 2 3 图像特征检测基础l5 2 3 变换模型l8 2 3 1 摄像机坐标系l8 2 3 2 图像变换模型2 2 2 3 3 透视变换矩阵h 求解2 4 2 3 4 图像变换。2 7 2 4 影响图像合成清晰度几个因素2 9 2 5 本章小结3 0 第三章s u r f 特征匹配3l 山东大学硕士学位论文 3 1 积分图像3 2 3 2s u r f 特征检测一3 2 3 2 1h e s s i a n 快速检测3 2 3 2 2 构建尺度空间3 4 3 2 3 确定特征点位置。3 5 3 3s u r f 特征点描述3 6 3 3 1 主方向确定一3 6 3 3 2 建立描述向量3 7 3 4 特征点匹配3 8 3 5 特征点提纯3 8 3 6s u r f 检测实验。4 1 3 7 本章小节4 1 第四章基于s u r f 的显微镜图像拼接一4 2 4 1 特征匹配4 3 4 1 1h e s s i a n 矩阵检测显微镜图像特征4 3 4 1 2 改进特征区域分割方式4 4 4 1 3 特征点匹配和提纯一4 5 4 2 变换参数估计- 4 6 4 3 色彩亮度补偿4 7 4 4 图像平滑4 8 4 5 显微镜拼接过程框架4 9 4 6 实验结果和分析4 9 4 7 本章小结51 第五章总结与展望5 3 参考文献5 5 致谢5 9 攻读学位期问发表的论文一6 0 2 山东大学硕士学位论文 c o n t e n t s a b s t r a c t ( c h i n e s e ) 1 a b s t r a c t 。，3 c h a p t e r1i n t r o d u c t i o n 5 1 1b a c k g r o u n d 5 1 1 1i n t r o d u c t i o nt oi m a g em o s a i c i n g 5 1 1 2t e c h n i c a lc l a s s i f i c a t i o no f i m a g em o s a i c i n g 6 1 1 3m a j o rs t e p so fi m a g em o s a i c i n gs y s t e m 7 1 2a p p l i c a t i o nf i e l do fv i d e or e g i s t r a t i o n 8 1 2 1v h t u a lr e a l i t ys y s t e m 8 1 2 2o m n i d i r e c t i o n a lt vt r a n s m i s s i o na n dm o n i t o rs y s t e m 9 1 2 3m e d i c i n eo rb i o l o g y 一1 0 1 3ar e s e a r c hr e v i e wo ni m a g em o s a i c i n g ii 1 4o u rw o r ka n dl i n eo ft h i st h e s i s 12 c h a p t e r2i m a g em o s a i c i n g 1 4 2 1p r o c e s so fi m a g em o s a i c i n g 1 4 2 2i m a g em a t c h i n g 15 2 2 1a r e a - b a s e di m a g em a t c h i n g 15 2 2 2f e a t u r e - b a s e di m a g em a t c h i n g 。15 2 2 3i m a g ef e a t u r ed e t e c t i o nt e c h n i q u e 15 2 3i m a g et r a n s f o r m a t i o nm o d e l 。l8 2 3 1c a m e r ac o o r d i n a t es y s t e m 18 2 3 2i n a g et r a n s f o r m a t i o nm o d e l 2 2 2 3 3f i n d i n gp e r s p e c t i v et r a n s f o r m a t i o nh 2 4 2 3 4i m a g ew a r p i n g 2 7 2 4i n f l u e n c i n gf a c t o r so fd e f i n i t i o no fv i d e om o s a i c 2 9 2 5c o n c l u s i o n 3 0 c h a p t e r3i m a g em a t c h i n gb a s e do ns u r f 31 3 1i n t e g r a li m a g e s 3 2 3 2f e a t u r ed e t e c t i o n 3 2 3 2 1f a s t - h e s s i a nd e t e c t o r 3 2 3 山东大学硕士学位论文 3 2 2s c a l es p a c er e p r e s e n t a t i o n 3 4 3 2 3i i l t e r e s tp o 缸l o c a l i s a t i o n 3 5 3 3f e a t u r ed e s c r i p t i o n 3 6 3 3 1o r i e n t a t i o na s s i g n m e n t 3 6 3 3 2c o n s t r u c td e s c r i p t o r 3 7 3 4m a t c h i n g 3 8 3 5r e f i n i n g 3 8 3 6s u r fd e t e c t i o ne x p e r i m e n t 4 1 3 7c o n c l u s i o n 4 1 c h a p t e r4m o s a i c i n go fm i c r o s c o p ei m a g e sb a s e do ns u r f 4 2 4 1f e a t u r em a t c h i n g 4 3 4 1 1f a s t - h e s s i a nd e t e c t i o no nm i r c o s c o p ei m a g e 4 3 4 1 2an e wm e t h o dd i v i d i n gd e s c r i p t o r 、) l ，i n d o w 4 4 4 1 3m a t c h i n ga n dr e f i n i n g 4 5 4 2t r a n s f 0 1 - i n a t i o np a r a m e t e re s t i m a t i o n 4 6 4 3c o l o u ra n dl u m i n a n c ec o m p e n s a t i o n 4 7 4 4i m a g es m o o t h i n g 4 8 4 5s y s t e mf r a m e w o r k 4 9 4 6r e s u l t sa n da n a l y s i s 4 9 4 7c o n c l u s i o n 51 c h a p t e r5c o n c l u s i o n 5 3 r e f e r e n c e 5 5 t h a n k s 一5 9 p a p e r sp u b l i s h e dd u r i n gg r a d u t ep e r i o d 6 0 4 山东大学硕士学位论文 摘要 图像拼接最初是为解决摄像机局限而产生的一种技术，其利用图像的重叠区 域获得图像之间的映射关系从而将多幅图像映射到同一坐标系，重叠区域相互覆 盖，实现图像之间的拼接。该技术包含了计算机视觉的许多基础算法，如图像匹 配、图像融合等，并已应用到虚拟现实、生物医学、影视游戏娱乐等，因此一直 以来都是图像处理的研究热点问题。 在医学、生物学等领域，显微镜图像的视野随高放大倍数的增大而成倍缩小， 在低倍镜下虽然视野较大但很难观察样本细节，而在高倍镜下虽然能看到样本局 部细节，但是无法整体观察样本，因此如何在高倍放大状态下获得样本整体的高 分辨率图像是显微镜图像拍摄时的一个难点。而利用图像拼接算法可以实现多张 高分辨率局部图像的拼接，从而生成样本全景图，是解决该问题一个有效方法。 图像拼接总体可以分为两类方法：基于全像素的方法和基于特征的方法。图像 拼接算法研究的核心问题是提高拼接的速度、精度和算法的稳健度。 本文介绍了一种于基于s u r f 特征的显微镜图像拼接算法。s u r f ( s p e e d e d - u p r o b u s tf e a t u r e s ) 是一种尺度旋转不变的检测算子和描述算子，在检测斑点结构具 有很高的精确度，并且算法计算时间较以往方法快速。该算法采用积分图像和快 速h e s s i a n 矩阵检测特征点，然后用h a a r 小波提取特征点主方向，并在主方向建 立的坐标系上构造描述向量。在特征检测和描述上都大大提升了算法速度。 一般显微镜图像中存在着大量斑点结构如细胞、气泡等，因此为了利用s u r f 善于检测斑点结构的特点，本文采用了基于s u r f 特征的拼接方法。本文首先应 用快速h e s s i a n 矩阵检测不同尺度空间下的图像斑点特征并构建特征向量，然后利 用测量欧氏距离的方法找到图像间的初步匹配点，再利用r a n s a c 方法提纯匹配 点。找到准确的匹配点后，我们采用最b - - 乘算法估计图像变换模型参数实现图 像拼接，最后消除了图像颜色亮度差异并平滑拼接边缘，实验证明该方法取得良 好的效果。 在s u r f 特征描述时原方法采用了将特征点邻域平均分割成1 6 个子区域的方 山东大学硕士学位论文 法，每个子区域的响应都经过一个以特征点为中心的高斯滤波，描述向量共有1 2 8 维。为了提高描述和匹配速度，本文改进了s u r f 区域分割方法，在分割区域的 同时模拟的高斯加权的过程，并将描述向量的维数减半，降低了匹配特征点的计 算开销，并在实验阶段与s i f t 算法进行了效果对比中体现了速度上的优势。 关键词：显微镜图像；图像拼接；s u r f 特征匹配；区域分割； 2 山东大学硕士学位论文 a b s t r a c t i m a g em o s a i cw 弱o r i g i n a l l yg e n e r a t e dt oa d d r e s st h e l i m i t a t i o no fc a m e r a , m u l t i p l ei m a g e sa 坞m a p p e dt ot h es a m ec o o r d i n a t es y s t e mu s i n gt h em a p p i n go f o v e r l a pr e g i o n a n dt h e ni m a g e sa r es t i t c h i n gb yc o v e r a g eo fo v e r l a pr e g i o n t h e t e c h n o l o g yi n c l u d e sm a n yb a s i cc o m p u t e rv i s i o na l g o r i t h m s ，s u c h 勰i m a g em a t c h i n g , i m a g ef u s i o n a n di th a sb e e na p p l i e dt ov i r t u a lr e a l i t y , b i o - m e d i c i n e ，v i d e og a m e sa n d o t h e re n t e r t a i n m e n t s oi m a g em o s a i ci sah o t s p o ti nt h ef i e l do fi m a g ep r o c e s s i n g i nm e d i c i n e ，b i o l o g ya n do t h e rf i e l d s ，t h ev i e wo fm i c r o s c o p ei m a g ei sr e d u c i n g 鹤 t h em a g n i f i c a t i o ni n c r e a s i n g a tl o wm a g n i f i c a t i o nv i e w , i ti sd i f f i c u l tt oo b s e r v el a r g e s a m p l e so fd e t a i l s h o w e v e r , w h e nt h ed e t a i l s 啪b es e e na th i g hm a g n i f i c a t i o n , w e c a n to b s e r v et h ew h o l es a m p l e s oh o wt og e tt h eh i g h - r e s o l u t i o ni m a g eo ft h ew h o l e s a m p l ea th i g hm a g n i f i c a t i o ni sad i f f i c u l tp r o b l e m t h ei m a g em o s a i ca l g o r i t h mc a l lb e a c h i e v e du s i n gm u l t i p l eh i g h - r e s o l u t i o ni m a g e so ft h em o s a i co fl o c a lp r o c l u e e p a n o r a m i ci m a g e si s 锄e f f e c t i v ew a y t os o l v et h ep r o b l e m i nt h i sp a p e r w ed e s c r i b et h ed e s i g no fam o s a i e i n gt e c h n i q u ef o ri m a g e sf r o ma m i c r o s c o p es y s t e m 、 ，i t l la u t o m a t i c , a l l yc o n t r o l l e do b j e c ts t a g ea n di m a g ec a p t u r eu n i t d u et ot h el i m i t e df i e l do fv i e wi nm i c r o s c o p ei m a g e r y , l a r g e ro b j e c t st l l - es p l i tu pi n t o m a n ya d j a c e n t , b u ts l i g h t l yo v e r l a p p i n gf r d m c s i nm a n yf i e l d s ，s u c h 鹪m e d i c i n eo r b i o l o g y , i ti sv a s t l yb e n e f i c i a lt h a tt h e s ei m a g ep a t c h e sa r cr e e o m p o s e dt oas i n g l e ( p a n o r a m i c ) i m a g e w ep r o p o s eaf e a t u r em a t c h i n ga n dr e g i s i i a t i o l lm e t h o db a s e d0 1 1 s u r f ( s p e e c i e d u pr o b u s tf e a t u r e s ) t h i sm e t h o di sm o s ta c c u r a t ef o rm i c r o s c o p y i m a g e s ，w h i c hu s u a l l yh a v er e p e t i t i v e ，b l o b - l i k es t r u c t u r e s f u r t h e rs t e p si n o u r a l g o r i t h m 玳e s t i m a t i o no ft r a n s f o r m a t i o np a r a m e t e r sf o ri m a g ew a r p i n ga n db l e n d i n g f o re l i m i n a t i o no fc o l o ra n dl u m i n a n c ed i f f e r e n c e sb e t w e e n i m a g e s f o rf e a t u r e m a t c h i n g ，w ep r o p o s ean e wm e t h o do fd i v i d i n gd e s c r i p t o rw i n d o w s t h i si n c r e a s e s m a t c h i n gs p e e de o m i d e r a b l y t h ee x p e r i m e n t a lr e s u l t sp r o v i d e dd e m o n s t r a t et h e p e r f o r m a n c eo fo u rm e t h o d i nt h ea l g o r i t h mo fs u r f , t h ed e s c r i p t o rw i n d o wi sd i v i d e di n t o4 4r e g u l a r s u b r e g i o n s e a c hr e s p o n s eo ft h es u b r e g i o n si sw e i g h t e d 、i t l lag a u s s i a nc e n t e r e da tt h e 3 山东大学硕士学位论文 k e yp o i l l t t h i sd e f m e sa v e c t o ro fl e n g t h12 8 i no r d e rt or e d u c et h ec o m p u t a t i o n a lc o s t , w ep r o p o s ean e wm e t h o df o rd i v i d i n gt h ed e s c r i p t o rw i n d o w o u rr e g i o nd i v i d i n g m e t h o dc a na p p r o x i m a t et h eg a u s s i a nw e i g h t i n gm e a s u r e t h u sc o m p u t a t i o n a lc o s ti s s a v e di ng e n e r a t i n g ( ；a l u s s i a nm a s ka n dc o n v o l u t i o n t h i sa l s oi n c r e a s e st h em a t c h i n g s p e e dc o n s i d e r a b l y 雒t h el e n g t ho fv e c t o r si sr e d u c e db yh a l f a n d i tr e f l e c t ss p e e d a d v a n t a g ei nt l l ec o n t r a s tw i t hs i f t k e y w o r d s ：m i c r o s c o p ei m a g e ；i m a g em o s a i c ；s u r ff e a t u r em a t c h i n g ；r e g i o n s e g m e n t a t i o n ； - 4 山东大学硕士学位论文 第一章绪论 本章首先阐述了图像拼接的概念和图像拼接的几类方法，然后分析了图像拼接 技术的应用领域及国内外研究现状，最后对本文的研究内容、研究重点和全文章 节安排予以介绍。 1 1 课题背景介绍 图像拼接一直是计算机视觉的研究热点，包含了计算机视觉领域的一些基础 问题，图像拼接技术已经广泛应用到虚拟现实、智能监控以及生物医学等领域i l 】1 2 1 【3 l 。例如在展品图像浏览中，由于摄像机视角局限，一般单次拍摄只能获得展品的 部分内容或某一角度，图像拼接技术可以实现展品的全方位展示，使观众产生根 据自己兴趣从任意角度观看展品全貌或细节。另外在医学生物领域，图像拼接技 术也用来完成高分辨率的显微镜图像的拼接。 1 1 1 图像拼接技术简介 图像拼接是计算机图形图像学的一个重要应用，其最初源自解决摄像机视野 以及角度的局限性。一个摄像机拍摄其拍摄视野有限，为了看到更广阔的视野一 般需要多台摄像机进行拍摄，但是多台摄像机的拍摄图像无法连接在一起，因此 要实现全景浏览需要找到图像中重合部分将图像拼接在一起，即图像拼接技术。 图像拼接主要包含两个过程：图像匹配和图像融合。图像匹配即找到图像之 间的点对点映射关系，或者对某种感兴趣的特征建立关联，从而找到图像重合的 部分，将同一场景的不同图像在同一坐标系中对齐。以同一场景拍摄而成的两幅 图像为例。假如实际的三维世界点p 在两幅图像中分别对应着p l 和p 2 两个二维图 像点。图像匹配要做的就是找到p i 和p 2 的映射关系，或者p l 、p 2 跟p 的关系( 如 图1 - 1 ) 。p l 和p 2 被称为对应点( c o r r e s p o n d e n c ep o i n t s ) 、匹配点( m a t c h i n gp o i n t s ) 或控制点( c o n t r o lp o i n t s ) 。 5 山东大学硕士学位论文 图1 - 1 图像匹配 由于图像噪声、模型误差、相机晃动等因素的存在，图像重叠区域内分别处 于相邻两幅图像的两个对应点并不一定能很好的重合在真实的场景点。图像融合 利用图像重叠区域内使用两幅图像共同的贡献值作为混合图像的灰度值，利用一 定的融合算实现在重叠区域的平滑过渡处理，最终将多幅图像融合绘制成一幅图 像。其目标是消除拼接痕迹以及图像间的亮度颜色差异，最终实现图像之间的完 美拼接( 如图1 2 ) 。 1 1 2 图像拼接技术分类 图1 - 2 图像融合 当前，图像拼接技术基本分为两类，第一类是基于特征的图像拼接方法，其 主要包含三个步骤：特征检测、特征描述和特征匹配。该方法首先从两幅图像中 提取特征，特征可以包括边角点、闭轮廓的质心点和区分性良好的纹理结构等， 也包含没有明显结构但仍符合检测规则的特征，然后对检测出的特征点加以定量 6 山东大学硕士学位论文 描述，再根据一定度量标准对特征点进行匹配，得出一组对应点集，最后采用优 化算法从对应点集合计算最优空间变换，将该变换作为两幅图像之间的映射。进 行特征点匹配时，首先在第一幅图上确定一个特征点，以其为中心取一小窗口； 然后在第二幅图上的每个特征点取同样尺寸的小窗口，计算这些窗口与第一幅图 窗口的相似度，将其中相似度最高且满足判别条件的特征点作为第一幅图中特征 点的匹配点。特征相似性的度量可以是亮度分布、傅立叶频谱、小波系数、直方 图，也可以是基于所提取物体的结构信息等。基于特征的拼接方法鲁棒性强、特 征匹配速度快，可适用于视角偏移旋转、尺度变化及亮度差异较大的情况。第二 类是基于图像区域的方法，包括最小化图像灰度差异的方法、光流法等，这类方 法依赖于图片间象素亮度的一致连续性。其优点是不需要进行特征提取和特征匹 配等图像预处理，且可利用所有象素信息，得到的匹配点分布均匀连续且匹配精 度高。但该类方法对噪声以及光照造成的像素值变化较敏感，无法适用于图片间 亮度差异较大以及象素发生较大偏移的情况，且速度较慢。 图像拼接技术可以分为以下几种情况： 1 同一场景从不同角度拍摄形成的不同图像的拼接问题。其目的是通多个摄 像机拍摄的图像获得更宽视角的全景图像。 2 不同时间拍摄的不同图像的拼接问题。例如由同一卫星拍摄的遥感图像拼 接，医学图像处理中由同一传感器获得的医学图像拼接等。 3 不同传感器所拍摄图像的拼接问题，比如在c t 、s p e c t 、m r s 等医学图 像系统中的应用。 但无论我们处理的图像是哪种情况，其图像拼接思想是一致的，就是利用图 像之间稳定、共性的信息找出图像之间的映射关系完成拼接，然后再根据需要处 理拼接后的图像。 1 1 3 图像拼接的主要步骤 图像拼接过程主要包含一下几个步骤： 1 图像匹配 ( 1 ) 特征检测( f e a t u r ed e t e c t i o n ) 7 山东大学硕士学位论文 即用特征检测器( f e a t u r ed e t e c t o r ) 找到图像中的对应特征。这里的特征 指的是广义的特征，包括图像灰度、色度特征；角点、边缘、轮廓等结构性特 征；频域信息、小波系数等1 4 1 。 ( 2 ) 特征描述( f e a t u r ed e s c r i p t i o n ) 特征描述是指对检测出的图像局部特征( 比如边缘、角点、轮廓等) 根据 匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向 量，从而把图像匹配问题转化为特征的匹配问题，进而将特征的匹配问题转化 为特征空间特征向量的聚类问题【s j 。 ( 3 ) 特征匹配和提纯( f e a t u r em a t c h i n ga n dr e f i n i n g ) 特征匹配是使用优化算法和一定的判别标准找到匹配的特征点。但无论采 用何种特征描述符和相似性判定度量，误配配都难以避免，提纯即根据几何或 光度的约束消除候选匹配点中的误匹配点。 2 变换模型参数估算( t r a n s f o r mm o d e le s t i m a t i o n ) 变换模型又称映射模型( m a p p i n gm o d e l ) ，即将输入图像向参考图像映射的 坐标变换函数1 6 1 ，主要包括8 参数模型和6 参数模型。 3 图像融合( i m a g ef u s i o n ) 这一步主要涉及到重采样与插值的技术，主要作用是消除拼接痕迹、光照和 颜色差异等。 1 2 图像拼接应用领域 图像拼接技术其最基本的功能是克服单个摄像机( 或传感器) 拍摄范围过小 的缺点，形成视野范围更大的图像，使观看者能够在一幅图像中观看到整个场景。 图像拼接在国内及国外的刊物上都有多种算法论述，以此功能为基础的图像拼接 技术已经应用在虚拟现实、视频监控、生物医学领域等领域，同时在游戏娱乐领 域全景技术也得到了广泛的应用。 1 2 1 图像拼接技术在虚拟现实的应用 8 虚拟现实( v m u a lr e a l i t y ) 技术是利用计算机建模生成一个逼真的三维世界， 山东大学硕士学位论文 甚至可以给观众身临其境的感觉。随着近年来计算机图像技术发展，虚拟现实技 术已经深入到游戏开发、建筑设计展示、军事仿真等诸多应用领域1 7 1 。虚拟现实技 术主要分为传统的基于三维建模的方法和基于图像绘制的方法。 基于三维建模的方法需要首先对所有需要显示的物体建立三维几何模型和光 照模型，然后再根据透视原理计算三维模型投射到显示平面的图像。该方法便于 用户与虚拟场景中虚拟对象交互，并能直接获取虚拟对象的深度信息，但是由于 三维场景的真实感需要建立在几何物体表面材质的光照模型基础上，其阴影和纹 理要在基于某种光照模型的计算，通过硬件绘制并配以图形加速性能才能显示出 来，因此对硬件要求较高，在场景模型比较复杂的情况下虚拟场景渲染速度将会 因计算量较大受到限制，而使用户与虚拟场景无法实时交互。 基于图像的虚拟现实技术( i m a g e b a s e dv i r t u a lr e a l i t y , 简称i b v r ) 较好的克 服了基于三维建模的虚拟现实技术的不足，该方法首先在对场景已有图象集合处 理基础上应用图像拼接等技术获得场景的全景图，然后再利用插值和透视几何等 算法生成任意角度的新视点图像。它与基于三维建模图形生成算法相比，其计算 量较小，算法速度也不受场景复杂度的限制，便于用户与虚拟场景的实时交互， 且对硬件的要求也不及几何建模那样高，普通计算机即可完成计算。 当前获取全景图的方法有两种，一种方法是基于硬件实现的系统。比如使用鱼 眼镜头、扫帚式摄像机等设备直接获取全景图。这种方法设备昂贵，获取的全景 图含有较大的变形失真，且图像分辨率也受到仪器自身限制。另一种方法是利用 图像拼接技术实现，即将多幅图像进行组合、拼接。该方法首先对周边场景进行 拍摄以得到一系列的重叠图像，然后利用重叠区域的信息计算出图像间的变换模 型关系，并将其拼接起来以形成全景图陟1 2 1 。 1 2 2 图像拼接技术在全方位电视转播和视频监控中的应用 视频与图像是密切联系的，视频是由每秒若干帧( 一般2 4 帧图像) 图像按连 续显示生成的。由于人眼自身的生理局限，当每帧的图像占用的时间小于o 0 4 秒， 连续播放的图像就使人感觉如同看电影一样。当图像拼接算法速度达到该要求时， 视频拼接的算法就可借助于图像拼接的算法来研究，即可将数字图像的拼接方法 9 山东大学硕士学位论文 加以改进应用到视频图像拼接当中。 视频拼接和电视转播技术相结合，可以改善电视转播当中视频范围过小的特 点。在传统的电视转播中，由于摄像头的视野范围限制，观众看到的画面经常是 经过摄像头摄取的局部场景，这样电视中出现的部分就不能满足所有观众的喜好。 如电视台在转播体育赛事时，观众想关注的赛场部分并不相同，但在现有的电视 转播技术下，电视观众只能跟随摄像师的镜头观看比赛，无法满足所有人的观看 需求。而当全景视频拼接技术与电视转播技术集合后摄像师无需频繁跟踪球迹拍 摄，而让观众观赏到球场全景，观众可以根据自己喜好选择观察球场的整体或者 任何部分，观众就如同自己在赛场观众席左右环视一样，有一种身临其境的感觉。 这样开放自由的电视转播技术必定能够吸引电视观众的更大兴趣，从而推动电视 转播技术更好的发展。 视频拼接技术也适合应用到视频监控场合，代替带有云台的摄像头，形成全方 位的视频监控，工作人员就不用为各个摄像头所形成的多个监视画面分散精力，： 只需要观察一个画面就可以了，从而节省人力同时能够更好的完成视频监控的要 求。 1 2 3 图像拼接技术在生物医学的应用 随着多媒体技术的发展，传统的光学显微镜在教学和科研中的应用也与时俱 进，从最初通过在三目头上加装模拟摄像机来实现最初的显微镜像的可视化，到 今天数字摄像机实现显微图像的高清晰度实时输出。最近，随着网络技术及医疗 应用的发展，在远程会诊系统中要求远程专家能够实施获取到显微镜下的标本图 像，并能够远程控制显微镜的x 、y 、z 轴的移动、物镜倍数的变换等；在医疗教， 育领域，随着虚拟实验室的提出，对虚拟显微镜的需求呼声也越来越高涨，虚拟 显微镜要求使用者能够通过电脑、网络对事先已生成的显微镜标本图像进行浏览、 测量、标记等传统显微镜所能够做的工作。对于虚拟显微镜来说，如何生成显微 镜图像则是最重要的问题，一般4 0 倍下视野0 5 r a m ，通过数字摄像机获取的视野 大概有0 3 衄左右，如果只是通过降低放大倍数来扩大视野将降低样本图像的分 辨率，而在医学、生物学等领域都需要观察样本的全貌。因此需要利用图像拼接 1 0 山东大学硕士学位论文 技术生成高分辨率的显微镜图像，供观察者整体及局部研究样本。 1 3 图像拼接研究现状 当前面向图像拼接算法主要可以分为三类”l ：直接图象灰度优化的方法；基 于特征匹配的方法；基于变换域的相关法。 基于图像灰度的拼接方法，通常直接利用整幅图像的灰度信息，建立两幅图像 之间的相似性度量，然后采用某种搜索方法，寻找使相似性度量值最大或最小的 变换模型参数。常用的相似性度量有：( 1 ) 两幅图像灰度的差分和( s a d ) ；( 2 ) 序贯相似度检测( s s d a ) ；( 3 ) 互相关；c 4 ) 相位相关。基于图像灰度的拼接方 法不需要对图像做特征提取，而是直接利用全部可用的图像灰度信息，因此能提 高估计的精度和鲁棒性。但由于在基于图像灰度的算法中，一般需要把匹配区域 的灰度都考虑进来进行计算，因此其计算开销很大，速度较慢。图像匹配是图像 拼接技术的核心问题。微软研究院的r i c h a r ds z e l i s k i 在1 9 9 6 年s i g g 凡”h 上提 出了基于运动模型的全景图拼接算法1 8 1 。s z e l i s k i 采用了非线性优化的方法来最小 化像素两幅图像的亮度差以确定变换参数。该方法对全部像素进行优化处理，所 以精度较高，但是计算速度仍然较慢，且稳健性不佳。 基于图像特征的拼接方法是目前采用最多的。基于图像特征方法提取各类图 像中保持不变特征，如边缘点、闭区域的中心等，作为两幅图像拼接的参考信息。 这类方法的主要优点是它提取了图像的显著特征，大大压缩了图像的信息量，使 得计算量小，速度较快，而且它对图像灰度的变化如光照旋转等具有一定的鲁棒 性。但另一方面，正是由于只有一小部分的图像灰度信息被使用了所以这种方法 对特征提取和特征匹配的错误更敏感，需要可靠的特征提取和鲁棒特征一致性。 基于图像特征的拼接方法包括特征提取、特征匹配、选取变换模型及求取参数、 坐标变换、图像融合等几个组成部分。特征提取是指分别提取两幅图像中共有的 图像特征。点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉 点等，常用的点特征提取方法有基于小波变换的边缘点提取法、角点检测法、兴 趣算子法；线特征是图像中明显的线段特征，如道路、河流的边缘，目标的轮廓 线等；面特征是指利用图像中明显的区域信息作为特征：另外还有基于一些不变 山东大学硕士学位论文 特征描述算子，如s i f t 算子。特征检测