（电子科学与技术专业论文）面向手机平台的图像拼接技术研究与实现.pdf

摘要 如今这个时代是信息化发展剧烈的时代，人们不再满足单一的物质基础而是走向更 高层次的精神生活，出门旅游必不可少的就是相机但是相机的笨熏直接影响到了出 门旅游的心情，所以人们将视线转向了手机平台。 图像拼接技术主要是将相互有重叠区域的几幅静态图片通过一定的算法融台成为 一幅宽尺寸的大篇幅照片。手机平台的图像拼接技术分为图像获取、预处理、配准和 融合本文针对特征点的选取与匹配提出了更精细的方案，采用基于s i f t 算法的图像 特征点提取和基于k - d 树算法的特征点匹配，这个方法相对其它的方法有了飞跃性的 显著提高，可以更加精确重叠部分，同时在计算方面也大大节省了数据的计算量和公 式的复杂程度，进而加快了整个图像拼接过程。在图像融合部分通过加权平均法来解 决图像拼接当中由于光照条件和曝光时间不同而引起的图像亮度上较大差别的问题。 本文完成了a n d r o i d 平台的图像拼接。设计了相应的程序代码，在部分支持a n d r o i d 系统手机中实现了应用价值。本文还简要介绍了基于w i n d o w s m o b i l e 系统拼接技术的 移植过程。 关键字：图像拼接手机平台 图像匹配图像融台 a b s t r a c t t o d a yj st h ej n f o m r a t i o n i z a t i o nd e v e l o p m e n ts e v e r ee r a ，p e o p l en ol o n g e rs a t l s t ya s i n g l em a t e r i a lb a s eb u tm o r e t oh i g h e rl e v e lo fs p i r i t u a ll j 凫t h en e c e s s a r yt og oo u tf o rt h e t o u r i s mi st h ec 锄e r ab u tt h ec a m e r ai st o oh e a v yt oc a r r yt h a td i r e c t l ya f f e c t st h eo u to f t h e t o u r i s mm o o d ，s ot h a tp e o p l ew i l lv i e wt ot h em o b i l ep l a t f o r m i m a g em o s a i c i n gt e c h n i q u ei sm anyt om o s a i ca f e ws t a t i cp i c t u r e so f t h eo v e r l a p p i n g a r e ae a c ho t h e rt h r o u g hs o r ea l g o r i t h ma n df u s i o nt h e mt oaw i d t hs i z el a r g es p a c ep h o t o s t h em o b i l ep l a t f o r mi m a g em o s a i c i n gt e c h n o l o g yc o n t a i nl m a g ea c q u l s l h o n ，p r e t r e a t m e n t r e g i s t r a t i o na n df u s i o nt h i sp a p e rh a st h em o r em e t i c u l o u ss c h e m e t os e l e c tt h et e a t u r e d o i n t sa n d t h e m a t c h i n g f e a t u r ep o i n t sb e c a u s eo f b a s i n go n t h es i f ta l g o r i t h n lo f i m a g e f e a t u r e sp o i n te x t r a c t i o na n db a s e so nt h ek - dt r e ea l g o r i t h mo f m a t c h i n gf e a t u r ep o i n t st h i s s c h e m ei sm o r ee l a b o r a t er e l a t i v et oo t h e rm e t h o d si th a sas i g n i f i c a n tl e a p i n ge n h a n c e m e n t l tc a l lb em o r ep r e c i s eo f t h eo v e r l a pp a r t ，a n da tt h es a m et i m es o l v e st h ec a l c u l a t i o n st h a t s a v ed a t ac a l c u l a t i o na n dt h ec o m p l e x i t yo f t h ef o n n u l a s oj ts p e e d s “pe h ew h o l el m a g e m o s a i c i n gp r o c e s st h i sp a p e r u s e st h em e t h o do f w e i g h t e da v e r a g et os o l v et h ep r o b l e mo t i m a g eb i g g e rd i f f e r e n c ei nb r i g h t n e s st h a tc a u s e db yt h ed i f f e r e n tl i g h tc o n d i t i o n sa n d d i f f e r e n te x p o s u r et i m e t h i sp a p e rc o m p l e t e s t h e a n d r o i dp l a t f o r mo f i m a g e m o s a i c i n g t e c h n i q u ed e s i g n t h e c o r r e s p o n d i n gp r o g r a mc o d e a n ds u p p o f ta n d r o i dp h o n es y s t e m t or e a l i z et h ea p p l i c a t i o n v a l u et h i sp a p e ra l s ob re f l v i n t r o d u c e st h ew i n d o w sm o b i l es y s t e mb a s e do nt h e t r a n s p l a n t a t i o np r o c e s so f i m a g em o s a i c i n gt e c h n i q u e k e yw o r d ：i m a g em o s a i e i n g m o b i l ep l a t f o r m i m a g em a t c h i n gi m a g e f u s i o n 目录 摘 要 a b s t r a c t 目录 第一章绪论 11 研究背景及意义 12 国内外发展现状 l3 研究内容及方注 14 各章节安排 第二章图像获取及预处理 2l 图像获取 22 图像预处理 本章小结 第三章图像配准技术 31 几何变换模型 32 边缘和梯度 33 图像配准技术的主要分类 3 4 特征点的配准技术 本章小结 一 第四章图像融合技术 4 1 图像融合分类 42 图像融台经典方法 本章小结 第五章手机平台下的图像拼接设计与实现 5l 手机系统介绍 52 基于a n d r o id 平台的图像拼接技术 ， 5 3 基于w i n d o w sm o b il e 平台的图像拼接技术 54a n d r o i d 系统与w i n d o w sm g b i l e 系统图像拼接对比 本章小结 结论 致谢 参考文献 0 o 0 0：i 8 0m培懈埽趴毖盟弘引船舛踮盯 第一章绪论 手机携带方便，具有多用性，所以已成为国内市场不可忽视的一个重要组成部分。 现在市场上的手机像素已经可以达到和数码相机不相上下的地步，所以手机的照相功 能更是一个热门的研究课题。单一的手机拍照已经满足不了消费者的需求，在某种情 况下人们希望能够拍摄到宽画幅的大照片，这就需要为手机增添一种新的功能一手 机全景拍照功能。 11 研究背景及意义 近年来随着信息技术的革命性发展，电子科技也得到了不容忽视的迅猛发展数 码相机、数码摄像机等高端电子商品以成为人们生产生活中不可或缺的必备品，井逐 渐占领了消费市场。但是这类商品也存在一定的局限性，携带的不便性就是最大的问 题之一，而同益增长的手机产品需求以及对手机产品多用性要求的提高，j 下推动手机 系统市场的发展，最终将会取代它的必定是人们现在必不可少的通信工具一手机，因为 它不但可以沟通感情还可咀通过手机摄像头获取图片给自已的足迹留下纪念。 丌发手机全景拍照应用软件，也已经是国内手机市场不可忽视的一个重要部分。 丌发手机全景拍照应用软件，主要是通过手机自带摄像头连续获取多张图片，将这几 张图片拼接成一副宽视角的全景图片l q 。拼接后的图像要求与拍摄图像相致，不能 看出每幅图片当中有缝合的迹象，适用于出门旅游拍摄范围比较大的图像，在手机领 域属于热门研究方向。 图像拼接技术在当今社会的各个领域都已经得到了广泛的应用。普通手机的视角 往往不能够满足人们要求超长尺寸照片这一要求，而人们在旅游当中却叉希望将看到 的丈好河山全部融入到相片当中，这正好是手机拼接软件的用武之地它可以利用简 单的手机摄像头结合手机中的应用软件来完成一个以前人们只有在专业相机中j j 能得 到的全景画幅图片，这是在实际生活中的一个质的发展，这一类技术普遍存在于采集 图像的设备当中。手机图像拼接技术的研究具有极其广泛的应用前景和实际应用价值， 已经成为图形图像处理中的研究焦点，深入研究图像拼接这一学术性课题有着十分重 要的意义。 科研人员一直都致力于寻找一个稳定性好、运算量小、拼接失误率低、实际应用 性强的图像拼接技术，但是困难一直都存在其中这严重制约了图像拼接技术的良性 发展。主要难点总结如下：由于手机本身没有可固定性，所蛆很难获取一系列稳定 的连续图像，这就意味着相邻两幅图像的选取位罱可能存在根大的偏差：由于明暗 亮度的变化会使不同角度拍摄出来的图片存在明显差异，这种差异很大程度卜是自然 产生的，很难完好的解决，这就要产生大量的运算，而大量的运算必会导致程序运行 速度的减慢：可拍摄的物体并非静止不动，这就会给拼接过程带来相当大的麻烦， 运动中的人或事物是图像拼接技术中最难以解决的问题。面对如此之多的客观因素， 圈像拼接仍是一项极富挑战性的综合性研究课题，急待研究人员的丌发和推动。 12 国内外发展现状 图像拼接技术在国外兴起早比较成熟，研究和发展历史悠久。在2 0 世纪9 0 年代提 出了关于同心吲的拼接方法即柱面全景图，从此国外出现了很多此类技术的文章。柱 面拼接的技术拼接效果比较精确，且实时性能完善，得到广泛的推广。微软研究院的 s z e l i s k i 在图像拼接方面是非常具有权威性的人物，早在1 9 9 5 年期丑j ，图像拼接技术 还是一个新兴技术的时候他就已经提出不再是单一静止型的图像拼接而是可运动的全 景动态领域图像拼接模型1 2 】。在图像配准过程中将原本复杂的8 参数减低至4 参数， 并在提取图像几何变化关系方面采用了l m 迭代算法，事实证明他的这种方法可收敛 性非常完美，可进行简单的翻转、平移、尺度变化、投影等等一系列变换，是非常经 典的算法，也是图像拼接的开山鼻祖p j 。 在国内图像拼接技术方面起步相对较晚但也有了一定的发鹱，而且图像拼接在最 近几年也受到了国家的重视。我国很多院校都开展了图像拼接的研究内容。比如山东 经济学院基于特征点的图像拼接算法的研究，大大降低了噪点，并保留了大部分的正 确角点。杭州电子科技大学研究的图像拼接技术适应性强，能够充分满足人们视觉上 的要求。中国科学技术大学提出了两种算法来去除错误匹配点，分别是：统计斜率最 多法和随机抽样致法，这两种算法充分保证了所拼接出来图像的完整性。可见图像 拼接正在不断的迅速发展。 如今手机拍摄图像拼接一直是研究热点，在国外市场上已先后有许多手机公司推 出了手机拍摄全景图模式软件，而且技术相对比较成熟川。- - f 自j 以智能手机为主推群 体的诺基亚公司，其旗下的n 9 7 ，c 6 n 8 6 ，6 2 2 0 6 7 1 0 ，5 7 0 0 x m 等一系列应用s y m b i a n $ 6 0 v 3 系统操作平台的手机通过安装p a n o m a n 软件都可以轻松的实现手机拍摄全景图 模式。松下手机的x 7 0 0 型号应用p h o t o b a s e 软件获取全景图。除此之外索尼爱立信也 推出了w 7 0 0 c 、w 8 0 0 c 两款手机支持全景图模式。现在手机市场虽大的赢家a n d r o i d 平台是很多手机厂商青睐的平台之一，三星的1 9 1 0 0 、1 9 0 0 3 、$ 5 8 3 0 ，索尼爱立信x 1 0 摩托罗拉d r o i d 2 ，h t cd e s i r e 。摩托罗拉m i l e s t o n e 、x t s 0 0 ，h t cg 3 ，h t c w i l d f i r e - 摩托罗拉x t 7 0 2 、m e 6 0 0 、a 1 6 8 0 ，多普达a 8 1 8 8 谷歌n e x u so n e th t cl e g e n d ，三 星1 5 7 0 0 ，摩托罗拉x t 7 0 1 、m t 8 0 0 索尼爱立信x 1 0m i n ip r o 等等都是在a n d r o u d 操 作平台下完成图像拼接技术。在国内市场，有一部分手机生产厂家刚刚开始开发并利 用手机图像拼接技术。比如联想智能机乐p h o n e 和1 9 6 8 系列支持全景拍摄功能，其采 用的是m t k 操作平台。 从上述内容可以看出，对干国内的一些手机品牌能够宴现全景圈技术的相对比较 少，所以国内的图像拼接技术市场正急待开发，丌发价值不容忽视。 国内的手机市场在编译程序部分通常都运用o p e nc v 。o p e nc v 正逐步成为一个 通用的基础研究和产品开发平台。实际上o p e nc v 免费的丌放平台和对圈像处理的 超强能力使其在当今市场上占有一席重要的地位。它之所以能够家喻户晓、众所周知 完全取决于其源代码的免费性，而且全球均可共同分享 发程序。这些优点使得丌源 软件具备所占空阳j 资源少、功能共享性好、可参考性强、安全系数高等等再个方面的 优点。通过这些优点可以看出开放塬代码可有效提高软件开发速度而且通过全球人的 共同努力程序的效果更好，所以断定其具有十分巨大的商业前景。 计算机视觉( c o m p u t e r v i s i o n ) 是基于数字图像处理的学科技术，它是从信息处理 的角度来认知视觉信息、研究理论和算法。其中包括特征提取，视觉分析( 运动或立 体空f b j ) ，摄像机各参数划定，等等罔形图像的分析处理方法。它属于一门多角度综合 性极强学术课题，应用领域涉及到电子科学与技术、物理学、计算机工程、信号系统、 模式识别、应用数学甚至包括医学方面，在电子行业( 如数码相机、手机、平板电脑 等) 、医疗、军事等各方面领域有着广阔的应用前景和长远的发展空间。 13 研究内容及方法 13 1 研究内容 ( 1 ) 面向嵌入式系统的图像拼接算法的研究 分析现有主流图像拼接算法的工作原理、优缺点，改进或设计一种适合于手机平 台使用的低复杂度高性能的图像拼接算法。 ( 2 ) 通过p c ( v c 或v s 2 0 0 8 ) 来实现该算法，并分析该算法的性能，从硬件资 源消耗、实时性、拼接性能等几个方面来评估算法是否适合在手机平台上使用。 ( 3 ) 研究并解决图像拼接算法移植过程的工程端问题，包括算法的优化等。具体 完成下列平台的移植： a 、w i n d o w sm o b i l e 平台移植 b 、a n d r o i d 平台移植 ( 4 ) 丌发手机全景拍照的应用程序 1 3 2 研究方法 手机平台的图像拼接技术由以下几个部分组成：图像获取、图像预处理、图像配准、 图像融合和技术应用五个步骤。其中难点关键点在于图像配准和图像融合。 目前拥有全景图模式的手机不在少数，但是通过分析可以发现这些手机的共同缺点 就是当手机或被拍摄物体移动较快时，所生成的图像不能平滑连接，拍摄出来的效果 图之间存在明基的缝合线，所以针对这种缺陷在图像配准的过程中采用了基于特征的 图像拼接，这样可以更好的解决图像重叠部分缝合问题。 ( 1 ) 图像在获取方面主要是通过c c d 或c m o s 的手机进行拍摄采集。 ( 2 ) 图像预处理就是简单的折叠变化和坐标变换应用到原始图像当中，对相邻的 两幅图像粗略定位，搜寻到重台区域大致的相似点，这可以大大降低图像匹配过程中 需匹配的范围，提高拼接处理部分的速度。 ( 3 ) 图像配准是攻克图像拼接的重难点问题。为将一组图片拼接成全景图，需要 配准每对相邻图片，本研究是采用提取特征点的方法。采用提取特征点的方法是因为 在空间平面中平面是由无数条直线或曲线所组成，而这些线无疑是由无数个空删点 所组成，点是整个空间中最基本的元素，如果将所有的特征点都匹配完好，图像配准 自然不是问题，而且使用点的一些特征可以大大降低运算的复杂度，提高运算的效率。 特征点提取是以能够找到两幅图像之l 训特征的一部分点为前提，充分的体现出这些点 的些共性和基本特征。 ( 4 ) 图像融合部分是图像拼接的另个关键技术点。在不同的光照、曝光、拍摄 角度等这些外界因素下，在明亮程度上成像效果会有明显的差别，因此在多幅图像拼 接在一起后的边缘位置会看起来有不和谐的突变现象，这会直接影响到最终的图像效 果。为了不让这一现象严重影响获取图像，必须采用图像融合这一步骤合成新的图像。 ( 5 ) 技术应用方面是综合所有图像匹配和图像融合的算法进行评估，通过o p e n c v 并结合v s 2 0 0 8 在p c 上共同实现图像拼接，分析算法的性能。然后成功将这一技术 移植到手机平台当中。 1 4 各章节安排 对于本课题，主要进行以下几个方面的研究： ( 1 ) 绪论。深入细致的介绍了图像拼接对于当今市场的重要性，研究背景和意义， 国内外现状，研究内容和研究方法，以及基于手机平台中现存的需要攻克的难点a ( 2 ) 图像获取及预处理。通过手机当中拍照功能进行图像的采集，获取足够所需 图像后进行简单可行的预处理。主要是针对输入图像进行消除噪声、增强图像和几何 校正。 ( 3 ) 图像配准技术。采用基于特征的图像配准方法，在特征点提取方面介绍了与 本文有关的h a r r i s 特征点提取技术和s i f t 特征点提取技术，在特征点的匹配方面主要 介绍了k - d 树方法。 ( 4 ) 图像融合技术。在图像融合方面主要介绍直接平均法和加权平均法两种- 加 权平均法是从直接平均法演变而来的所以我们采用了以直接平均法为参考的加权法。 ( 5 ) 应用层方面。综台所有的评估数掘及分析，通过p c 实现算法的可执行性， 并分析阐述算法的性能指标，研究并解决图像拼接算法移植过程q _ l 的工程端问题- 在 手机平台上进行应用。 ( 6 ) 总结本文所做的主要工作，并指出工作中的不足及需要改进的方面，明确今 后所研究的目标。 第二章图像获取及预处理 图像拼接过程t 扣最基础的也是最不a r 或缺的首要任务就是图像的获取。图像获 取一般都是采用硬件条件( 如手机的前后置摄像头) ，手机摄像头的好坏主要取决于硬 件c c d 或c m o s 的规格。品质好的图像传感器可以使获取的图像不失真，更有利于 拼接过程。在获得图像后，要对所获取的图像进行预处理，这样可以使拼接后的图像 有很高的精准度，简化图像匹配斋 分。 21 图像获取 手机图像拼接中图像的获取与普通手机拍照不同，在手机中会伴随跟踪拍摄耿景 器，也就是说相机会有提示框提示选取的景物是否有重合部分，如果没有重台部分相 机在屏幕上会有相应的提示，比如向左或者向右的箭头提示。摄像头以每秒3 0 帧的像 素跟踪拍摄取景器内容，以便估计相机镜头移动轨迹，在图像采集过程中，屏幕上会 显示一个动态窗口表明目前取景器所处的位置，这样用户就可以决定全景图的大小。 如果当前摄像头位置与先前图像匹配超过一个阕值，相机就会在当前位置自动拍摄高 清图像。 22 图像预处理 图像的预处理部分主要是进行几何校正、增强和去噪。 2 2 1 图像几何校正 当手机摄像头拍摄同一物体刚由于拍摄的时日j 不同，摄像头的光学参数自然不能完 全保证一致性因此会出现色彩上的失真，严重影响图像的整体质量，这就要求我们 对图像进行几何校m 。一般情 兄f ，要针对不同的情况建立数学模型，根据该模型设 计一个滤波器，计算出估计值来获得与真实图像最大程度的接近。 2 2 2 图像的增强 图形拼接预处理的另一个部分是图像的增强，主要是通过增强使得处理后的图像更 加适合拼接的特定环境。从空间域和频域两个角度来划分图像增强是目前的主要思路。 空阳j 域方法是直接针对图像本身特性像素点进行处理而频域方法是通过傅里叶变 换来对图像进行处理。 采用锐化空间的方法对于空间域图像增强来说是比较可行的方案，其主要功能是使 细节部分在整个图像当中突显出来，比如将模糊不清的部分增强。由于图像的模糊一 般都是采用像素邻域平均法，它类似于高等数学中的积分处理，圈像增强可成功削弱 扶度值变化不明显的范围，为图像配准提取特征点打下了良好的基础。 2 2 3 图像噪声去除 在图像获取的环节中，干扰噪声是个避免不了的问题。以下介绍几种最常用的 滤波方法。 ( 1 ) 平滑空间滤波 在选择目标之前需要将一些多余部分或者存在缝隙部分去除出图像。减小噪声可以 通过两种滤波器的模糊处理实现，平滑滤波也叫做均值滤波，遥常这种滤波部属于低 通方式滤波。 均值滤波器是将每个像素点的值用滤波掩模确定的相邻区域内像素点的平均扶度 代替，其优点在于大大减小了扶度出现失锐化的可能性。扶度级的尖锐变化程度组成 了典型的随机噪声，可见滤波主要目的就是减噪，比较常用的平滑空问滤波就是算数 均值滤波。 图2 1 显示了一个3 x 3 的均值滤波器。把掩模系数代a 3 x3 空问滤波掩模响应表 达式胄2 w z + w 2 z ：tw g z , = w z 便可得出下式： 一= 吉毒z r 是由掩模定义的相邻区域像素点的平均扶度值。滤波器的系数全部设置为1 ，主要是 因为系数取1 这个数值时计算所得数据更有时效性，在滤波处理完成后，整个图像除以 9 。可见，一个m n 掩模有个归化常数，其值应该等于l 目2 l3 3 的均值滤波器 ( 2 ) 统计排序滤波 统计滤波对于空间而言是非线性的，这种滤波方法应用于很多领域，对于随机噪声 它的模糊程度比平滑滤波要低很多。如果处理脉冲噪声就一定要选择中值滤波，它可 以非常有效的抑制这类噪声。其函数可以表示为： 夕( x ，y ) = m e a l 2 n g o s t n 、 22 ) 其中最。表示中心在( x ，y ) 点，n 5 - n m x n 的子图像窗口坐标组；g ( s ，) 表示退化图像。 ( 3 ) 自适应滤波 自适应滤波要优于所有滤波器的性能作为提高滤波能力的代价是滤波器的复杂 度。早在概率论中我们学过均值和方差，自适应滤波器采用这两种参数，它们是各种 特性体现的重要数据。 需要计算四个方面的数值： ( a ) g ( xy ) 为噪声值： ( b ) 一是指干扰f ( x ，y ) 后形成噪声图像g ( x ，y ) 的全部噪声方差； ( e ) m ，局部均值( 这里的局部是指在区域鼠。的像素点j 2 ) ： ( d ) 口? ，局部方差( 这里的局部是指在区域s 。的像素点上) 。 此滤波器町达到的理想性能预期如下： 当一取值是零时，自适应滤波器应陵简单地返回g ( x ，y ) 的数值。 当d i 与一是高斯相关的关系时，自适应滤波器要返回一个g ( x ，y ) 对应的近似 值。通常情况下a ；与边缘特性相关联，从而要就保留这些边缘以便对a ；的计算。 当d ：= 口；时在局部面积与全部图像有相同特性的条件下，希望滤波器返回区 域、上像素的算数均值。 表达式可以写成： 2 f ( x ，) = g ( w ) 一 g ( t y ) 一竹】 ( 23 ) u 从公式中可以看出，需要估计的量只有一，其它量可以从s ，。中心化区域中任意坐 标( x ，y ) 的像素点计算出来。模型中的噪声是具有相加性和相对独立的位置，在式( 23 ) 中，假设a ：。不过在实际中很难确定，这就需要对式( 2 3 ) 进行一种测试将 自适应滤波器转化为非线性。 本章小结 本章首先简单介绍了图像获取，然后就是图像预处理部分，主要包括三个方面： 几何校正、增强和去噪。在增强部分采用了锐化空间滤波器的方法，在去噪部分详细 介绍了三种滤波，分别是平滑空日j 滤波、统计排序滤波和自适应滤波，它们各自都有 优缺点，选取任何一种都可以较好的为图像去噪。 第三章图像配准技术 图像拼接技术中，在获取了图像并进行简单的预处理之后，就是图像拼接技术中关 键环节之一_ _ 图像配准技术它起着承上启下的作用，小仪是对前面进行环节的一个 验证更是决定后面环节如何进行的重要保障。图像配准主要从四个方面分析：确定几 何变换模型、对边缘部分的检测、对特征点的提取和对特征点的匹配。 31 几何变换模型 图像配准是为了匹配所拍摄出相关联的图像，使其在空问坐标上取得个一一对 应的位置关系。与数学中所学的函数关系类似，如果用 ( x ，) 和l ( l y ) 来表示两幅相 邻图像在点( x y ) 处的扶度值，那么两幅图像的配准关系就可以用关系式表示出来， 具体表示如下： ，2 ( x ，y ) = ，l ( f ( x ，y ) ) 【3i ) 式；辛，f ( x ，y ) 代表平面空问的几何变换函数，而且找寻这种平面空间( x ，y ) 的几何变 换关系f ( x 是配准环节的关键点。 根据图像配准的实际技术要求，在确定选用何种算法进行匹配前，必须要找到一 种最佳变换，使得两幅相邻图像之间有一个变换关系，这个模型要根据实际的应用环 境来确定，常见的几种图像变换关系模型有：刚性变换、仿射变换和投影变换。 3 1 1 刚性变换型 刚性变换是指假设有两幅待配准的图像，第一幅图像两点问的位置距离与第二幅图 像两点间的位置距离是没有任何变换的，换句话也可以理解为两幅图像只有相对平移 和旋转。设变换前的空问坐标为( x ，y ) ，变换后的空间坐标为( t ，y ：) ，则用矩阵表示 为： 计瞄竺料网 慨z ， 其中，g 为旋转变换的角度， ，和k ，分别是经r 、y 轴的平移量。 3 1 2 仿射变换型 此变换具有“直线”特性，即假设两幅图像，经过变换后第一幅图像上的直线映射 到第二幅图像上依然保持为直线，并且两直线平行只是在长度的比例上有所变换， 则称这种变换形式为仿射变换。本文采用的是仿射变换模型。通常的仿射变换矩阵为： mh 也。 y = h 吩吼【| y ( 33 ) l o o j l j 3 1 3 投影变换型 投影变换是比较具有代表意义的变换模型，它可以看做是在刚性变换和仿射变换 的组合基础上又有所升华，它包古了摄像头所有的运动方式，它并不存在两直线平行 的关系。矩阵变换公式为： | _ = i = 一 i 其中，q 为水平方向上的位移，d 。为垂直方向上的位移 a ，吨为水平与垂直方向的变形量。 ( 3 4 ) q 啦，口；，如为尺度和旋转量 32 边缘和梯度 边缘检测是图像理解与分析的第一步是图像分割、图像轮廓提取领域的基础环 节，是图像特征提取的重要方法，主要应用的领域包括电子行业、兵工业、通信行业 等等领域，具有十分重要的地位。图像的边缘往往会出现特征不连续、明暗亮度变化 大、局部模糊现象，例如，扶度值、颜色、图形结构的突变等。边缘是一个矢量，是 多张待拼接图像的区域分界处，有幅度和方向两个特性。在方向性上边缘像素的灰度 变化范围不大，趋于平稳状态，而与边缘相垂直的区域像素扶度变化明显比较强烈。 可见扶度是边缘问题的关键点所在，从扶度的角度出发，图像边缘可分为阶跃型、凸 缘型和房顶型，如图31 。 匠匾区 阶跃型 凸缘型 房顶型 图31 边缘灰度变化类型 图像扶度在边缘处的变化是最剧烈的，通常的检测方法都是基于这一特点确定边 缘像素点。它是对图像中各像豢点进行一、二阶微分来确定，阶微分中的峰值和二 阶微分中的过零点对应边缘点。图像的一阶导数方向是固定的只能针对特定方向进 行检测，局限性比较大，可以采用对图像梯度值的计算来代替求导。梯度的性质就是 反应各参数的变化率，这刚好可匕l 反应图像荻度的最大变化率。 图像边缘提取常用的梯度算子有s o b e l 算子，s o b e l 算子的表达式为： g ( i , j ) = l f ( i 一1 ，j + i ) + 2 ，( ，+ 1 ) + f ( i + k j + 1 ) 一巾1 ，一1 ) 一2 f i ，卜1 ) 一邝+ 1 ，产1 l + - 1 , j 1 ) + 2 f ( i t j ) + f ( il - 1 ) ，( f + l ，1 ) 一z 厂( f + 一所+ l ，+ 叫 ( 3 5 ) s o b e l 边缘检测算子有两个模板如图32 所示，待拼接图像中的每个点都是以这两 个模版为参数作卷积，最大值就是这个点的输出所得到的图像是一幅幅度边缘图像。 s o b e l 算子对版度方面的渐变情况和拍照过程中存在很多噪声的图像处理得较好。 田盟 豳32s o b e i 弹子模板 33 图像配准技术的主要分类 目前，已经产生了不少的配准方法，各种方法都具有各自应用的特点，也在一定 范围的应用领域起到了举足轻重的影响。现在应用最广泛的主要有时域范围内基于特 征的配准技术和频域范围内相位相关的配准技术。 ( 1 ) 基于特征的配准技术 基于特征的配准方法主要是针对像素来提取图像的特征信息。图像中包含很多常 用的特征，比如特征点( 角点，曲率点) 、纹理、边缘、频谱等等，然后以这些特征为 基础列重叠的部分建立相应的变换关系从而进行配准。 ( 2 ) 基于相位相关的配准技术 基于相位相关是指通过傅里叶变换反应图像的平移、反转、尺度变换等信息，主 要利用相似最大化进行匹配，这种方法仅利用相位信息进行配准，这样对图像的明暗 程度变化不敏感，而且所获得的相关峰值非常突出，具有较高的配准准确度，但是相 对计算量比较大。 34 特征点的配准技术 从实际角度考虑，研究配准算法首要完成的任务就是选择一个台适的特征空日j 。 设备中的摄像头、传感器各有不同待配准的相关特征也大相径庭，对于不同的特征 能够具有足够的分辨能力是一个特征提取算法是否成功的关键所在。特征空问可以是 灰度值，几何学当中的点、线、面三要素是特征空间配准中常用的基本量：点比较分 散，容易标记；线比较适合于多源图像：面多用于遥感图像。特征空间的选择通常要 考虑待配准图像的特征属于点特征，线特征还是面特征，要具体考虑特征集合包含的 均匀分布量是否足够多，当均匀分布特征较少时会出现匹配t 的失误：还必须考虑是 否有利于减少下一步特征匹配算法的计算量。本文采用点特征空间，它适合应用于手 机平台这一特定场合的图像配准，主要包括两部分：特征点的提取和特征点的匹配。 3 4 1 特征点的提取 ( 1 ) h a r r i s 角点提取算法全过程 h a r r i s 角点提取算法【7 】是哈里斯和斯蒂芬斯共同提出的。这种算法是通过信号处理 学中自相关函数的定义，得出与其对应矩阵的特征值。 数学表达式为： f ( u ，v ) = w ( x ，) 【，扛+ “，y + v ) 一，( x y ) - ( 36 ) 其中， 1 ( x + u y + 、，) 一，( x ，y ) 】2 为图像扶度的梯度值 泰勒级数展丌式可以近似为： 脚忙”】m r ：1 m 是2 2 矩阵： w ( x ，y ) 为窗函数，它的二阶 37 ”= = e 等憾1 r 1 慨s ， 其中，用，1 分别表示图像x 方向梯度值和y 方向的梯度值。e ( u ，v ) 随着局部自 相关函数的变化而变化，矩阵m 描述了窗函数二阶泰勒级数展丌e ( u ，v ) 在( 0 ，0 ) 点 的形状。若m 存在两个特征值 ，也，那么自相关函数的基础曲率与特征值 ，如成倍 数关系。 在实际工程运算中，不直接计算特征值 ， 。这会使求解矩阵运算量过大影响整 体算法通常判定矩阵对角线元素和d e t 的关系。步骤大致如下： a 计算x 方向和y 方向各点的梯度值： 39 e 寸h 争 驴小= 罢等 ( 3 1 0 e = p = c 争 b 对称矩阵中吾参数为： f = ，：o w b = 1 j o w ( 31 ” l c = ，o w 可以看出矩阵m = 1 ：i 是一个二阶实对称自相关矩阵，一定会有两个特征值 和t 与之对应。 c 提取特征点：当 和 都取极大值时，该点就为提取的特征点。此时： c r f = d e t ( m ) 一女t r a c e 2 r 吖1 t ( 31 2 ) o o 卜 卜 出 0 o 、哇 争湘 l l 扎 忆 h 砒 其中，c r f 称为角点响应函数，d e t ( m ) = b c 2 ，t 是一个己知的闽值，k 是一个 常量，蛆常取值范围为00 4 00 6 ，t r a c e 为矩阵的迹。 h a r r i s 角点提取算法优点很多，主要有： 用微分计算来描述图像灰度变化情况，计算量小，降低复杂程度； 在遍历图像中每个像素点后才开始选取最优点作为特征点t 均匀性好； 当出现图像旋转、扶度变化、图像平移等情况时该算子稳定性高； 对拍照中产生的噪声不敏感，提取特征角点准确性高。 ( 2 ) s i f t 算法原理与实现过程 s i f t 算法1 0 l 是提取图像局部特征，它是在尺度空问范围内，在发生图像平移、反 转、仿射变换情况下依然保持不变。在尺度空间进行特征检测时，需要寻找到极值点 井提取出相应的不变量，如：位置、尺度、旋转不变量，其中特征点的方向特征是所 使用特征点邻域梯度的主方向。 从s i f t 算法中提取特征并生成需要4 步骤： 措建尺度空间平台，检测极值点 通过多尺度空问对特征点进行提取可以使不同尺度下的特征保持一致性，特征点 更准确。尺度空间实质是对最原始图像采取尺度变换，获得在多尺度下的表示序列， 这一过程是利用高斯卷积核实现的。获取序列后就可以对这些序列进行尺度空间特征 提取。使尺度变换行之有效的变换核就只有高斯卷积核而且它具有线性的良好特性。 所以对于不同尺度下的二维图像，尺度空间定义为高斯核c ( x ，y ，o - ) 与图像t ( x ，y ) 的卷 积： l ( x ，y ，= g ( x y d ) l ( x ，y ) ( 31 3 ) 其中，口为尺度空间因子，其值越小相应的尺度也就越小。z ( x y ，口) 为图像的尺度空 间，( x ，y ) 为图像的像素坐标。g ( x ，y ，d ) 可表示为： g y ，d ) = l p 叫o ，” ( 31 4 ) 2 7 m r 提出的高斯差分尺度空间，即 d ( x ，y ，= ( g ( x ，y ，k t y ) 一g ( x y ，) + i ( x ，y ) = l ( x y ，k a ) 一l ( x ，y ，j ) 【31 5 ) k 是一个常数，在高斯函数卷积的作用下，源图像生成一组新图像，这些图像又通 过k 进行分离。相对于l ( x ，y ，f ) 函数，d ( x y ，d ) 的计算速度更快。 图33 是根据公式求得的高斯差分尺度空间d ( x ，y 口) 构造过程提取高斯差分金 字塔中极值点就可得到候选特征点”。 以 2 倍 像 素 重 采 样 口 口 口 口 口 口 臼栅 口 口 口 臼相减 高斯金字塔高斯差分金字塔 幽33 高斯等分金字蜡形成过样 极值点分为两种，极大值或者极小值。找到这些极值点需要将每个点和它周边相 邻区域中的所有点进 3 l t 较，如图3 4 所示，图中方形的点要与围绕在它周围的8 个点 进行比较而且还要与上下两幅相邻图像中的1 8 个点进行比较，最后得出比较后的极值 点就被确定为候选特征点。 选取特征点位置 不是所有的候选极值点都稳定这是由于部分极值点自身响应较弱而高斯差分算 子的边缘响应又过强。候选极值点的稳定性是需要通过计算得出的，可以通过拟合三 维二次函数去除对比度低和边缘不稳定的点，从而进行精确定位。 ( a ) 剔除对比度差的特征点 高斯差分算子对x 的泰勒展开式为： 附脚+ 筹n 挈x 慨e ， 对式( 31 6 ) 求导，令方程等于零得到极值点： 主一0 ：d - i 竺 1 31 7 ) ，l 第三层 尺瞍第二层 尺度第 堪 高斯差分算子所对应的值为 。( 立) = 。+ o 耐d k 31 8 ) 。( 舅) 的值对于去除对比度低点具有十分可观的实用性劳氏认为1 。( 量) l 口，则： 舞劈帮雳舞 t r ( h ) - ：坚二型：型! 丛：i 型：( 32 2 ) d e t ( h 、d 8r 酽 r 上式表明当r 不断增大时，d 口也不断增大这样的点不稳定。为了去除这些 不稳定点，令卧1 0 特征点的方向 为了使特征点具有旋转不变性，s i f t 算法为每一个特征点赋予对应的方向，并借 助高维矢量来描述特征点。式( 32 3 ) 为像素点( x ，y ) 在此处的模值t 式( 32 4 ) 为 像素点( x ，y ) 在此处方向公式。 m ( x ，y ) = ( ( _ + l i ，) 一l ( x 一1 ，y ) ) 2 + ( l ( x y + 1 ) 一l ( x ，y 1 ) ) ： ( 3 2 3 ) o ( x ，y ) = a r c t a n 2 ( l ( x y + 1 ) 一l ( x y i ) ) ( l ( x + l ，) l ( x 一1 ，y ) ) ( 32 4 ) 其中为尺度。在特征点中心的邻域窗i ：1 内采样，设定l o 度为一个方向，并用直 方图统汁，统计的范围是一个圆周3 6 0 度，总共分为3 6 个方向。如图35 所示，左图 是各梯度方向权重用圆圈来表示，右图是通过直方图将梯度方向分为8 个主方向，峰 值代表了邻域梯度的主方向。与主方向相对应的是辅方向。当存在另一个峰值大约占 主峰值的百分之八十时，它所对应的方向。 1 y 、 “， ，i 、 i t r 、 、l r ， _ l 、 叫 、v 。 心 弋 幽35 梯度方向直方圈 特征点描述符的生成 接下来建立不随各种变化而改变特征的特征点描述符。如图36 左边部分的最中 央黑点为特征点的位鹭，尺度空f h j 中相邻区域的特征点像素由图中的小方格表示t 箭 头所指方向就是此时特征点像素的梯度方向，图中箭头长度各不相同，不同的长度值 代表所对应的特征点像素梯度的模值。如图3 6 右边图片所示，在每个4 4 的小块上 存在方向不同、模值不同的像素梯度，计算8 个方向的梯度方向直方图累加起来，即可 形成一个种子点。 长米 米 米 幽36 种子点不恿瑚 在实际计算过程中，取以特征点为巾心的1 6 行1 6 列像素大小的邻域t 根据上述 方法可产生1 2 8 维的特征向量。 通过对两种方法的介绍，可以看出s i f t 算法在图像提取部分比h a r r i s 算法鲁棒性 好、不局限，所以本文采用的是s i f t 算法。 3 4 2 特征点的匹配技术 女一d 树州本身是一个二叉树其中字母i 表示空间维数，是在”维坐标点上数据 结构的扩展。k d 树的建立规则如下圈所示： 图37 kd 树示意图 其中，从所有特征描述符中找到方差最大的维度，并将此维度定义为划分维。通 过女一d 树有很多分量甚至某些予树都不需要考虑，能够提供了一种查询的高效机制从 而大大降低寻找最佳匹配的计算量并提高查找的效率。 本文采用了仿射变换，需要4 对匹配点，确定一个采样次数k 以保证采样的4 对 匹配点都是内点的概率( p ) 足够高，大量实验证明，实际采样时只要保证尸大于百 分之九十五就可以满足。 本章小结 本章针对图像拼接的重难点图像配准进行了深入的分析。首先图像配准的前提是 要选取几何变换的模型，本文介绍了三种模型，分别为：刚性变换型、仿射变换型和 投影变换型。基于本课题是应用于手机平台，故选择了仿射变换型。选定完变换模型 后需要对边缘进行检测，采用了s o b e l 算子。之后概括介绍了配准技