（计算机应用技术专业论文）数字图像拼接技术研究.pdf

摘要 数字图像拼接技术广泛应用于各个领域，本文对数字图像拼接的各种算法作了比 较，对基于特征的数字图像拼接技术进行了深入的研究。 待拼接图像的特征描述符的匹配准确与否直接决定了拼接后的图像是否有“鬼 影 。本文采用l o w e 提出的做法，能进行较准确的匹配，基本解决了图像拼接的“鬼 影”问题。 对于曝光差异问题，本文提出了基于灰度直方图的调整方法。对待拼接的两幅图 像直方图进行估计，以灰度范围较大，分布均匀的图像直方图为参考，对两幅图像分 别进行调整。以缝合线为基准向两侧的像素分配不同的权值，经过调整，两幅图像拼 接的部分就会有一个相对比较自然的过渡。 基于以上的算法，本文实现了基于特征的数字图像拼接系统，包括s i f t 特征提取 模块、s i f t 特征点精简模块和缝合模块，得到了比较好的图像拼接效果。 关键字：描述符鬼影直方图缝合线 a b s t r a c t d i g i t a li m a g em o s a i ci sw i d e l yu s e di nm a n yf i e l d s w ec o m p a r ea l g o r i t h m so fd i g i t a l i m a g es t i t c h i n gi nt h i sp a p e r , a n dd e e p e di nt h er e s e a r c h i n go fa l g o r i t h mo fi m a g es t i t c h i n g b a s eo ns c a l e - i n v a r i a n tk e y p o i n t sf e a t u r e s w e t h e rt h ed e s c r i p t o ro f i m a g e sf o rs t i t c h i n gi sa c c u r a t ed e t e r m i n e st h e r ei sa “g h o s t i n g ”o rn o t w es o l v e dt h e “g h o s t i n g f u n d a m e n t a l l ya n dg o ta n dm o r ea c c u r a t em a t c h b ya d o p t i n gl o w e sm e t h o d s f o re x p o s u r ed i f f e r e n c e s ，w ep r o p o s e da na d j u s t m e n tb a s e do nh i s to fi m a g e s a st h e t w oi m a g e sf o rs t i t c h i n g ，w ee s t i m a t et h e i rh i s t sa n da d j u s tt h e s et w oi m a g e sr e f e rt ot h e i m a g et h a th a sas y m m e t r i c a lg r a ys c a l e p i x e l sh a v ed i f f e r e n tv a l u e sa c c o r d i n gt ot h e i r d i s t a n c et ot h es e a m - l i n e a f t e ra d j u s t m e n t ，t h e r ew i l lb em o r en a t u r a lt r a n s i t i o nb e t w e e n t h e s e a m 1 i n e b a s eo na l g o r i t h m sa b o v e ，w ee s t a b l i s h e dap r o g r a m m e ds y s t e mo fd i g i t a l i m a g e s t i t c h i n gb a s eo ni n v a r i a n tf e a t u r ek e y p o i n t s ，i n c l u d i n gs i f td e s c r i p t o r se x t r a c t i n gm o d u l e ， s i f td e s c r i p t o r sr e d u c i n gm o d u l ea n ds t i t c h i n gm o d u l e ，a n dh a v e g o tab e t t e rr e s u l t k e yw o r d s ：d e s c r i p t o r g h o s t i n g h i s t s e a m 1 i n e 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，数字图像拼接技术研究是本人在指导 教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结 果由本人承担。 作者签名：塞鱼垒翌三月生日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使 用规定”，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕士学位论文 全文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学位论文的复印件和电 子版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编 学位论文。 作者签名：篮曼垒 受年三月堡日 指导导师签名：月卫日 5 8 1 1 课题的研究目的和意义 第一章绪论 图像拼接最早来源于人类的摄影知识，当相机的视野小于人类的视野时，人们自 然考虑到将多幅照片拼接成一幅大照片，以期得到一个更加广阔的视野。图像拼接就 是把同一场景的相互之间有部分区域重叠的多张图片合成一幅场景较大的图片或者一 幅全景图( 一般为3 6 0 。全景图) ，拼接后的图像要尽可能接近原始图像，即失真尽可 能小、没有明显的拼接痕迹、没有明显的曝光差异。 随着数字摄像硬件技术的发展，各种数字设备不断更新换代，性能日益强大，但 相机视野问题仍然没有得到较好的解决。图像拼接( m o s a i c ) 技术要求重叠图像通过平面 投影变换相互关联起来，该变换将不同图像坐标系上的点建立起对应关系，通过变换 ( t r a n s f o r m i n g ) 和图像变形( w a r p i n g ) 操作可以精确地建立一幅大的图像以覆盖整个景 物。但目前这类图像拼接( m o s a i c ) 只能精确地表示两类图像集合：一类是相机定点环绕 ( p a n n i n go rp i t c h i n g ) 拍摄的图像集合( 多为3 6 0 。全景图) ，另一类是相机拍摄的景物 为2 d 平面景物。 在许多领域内，为了能够对所研究的内容和对象进行全面的观察，都要求生成宽 视角的全景图像。但由于硬件设备等技术和成本方面的限制，不能生成很大的图片， 这样就要求对由图像采集设备采集的多幅数字图像利用图像拼接技术进行拼接。如中 国的“嫦娥一号”发回的月面图，奥运会期间许多比赛场景、图像，都是科研人员运 用数字图像拼接技术得到的。 数字图像拼接技术在航天及空间探测、近海矿藏勘探、生物医学、气候气象、军 事研究、地质、视频压缩和传输、档案管理、刑侦取证、计算机视觉及3 d 景物重建等 领域的应用都十分广泛，主要表现在以下几个方面： 1 计算机视觉。图像拼接是计算机视觉中最基本的一项技术，是构建三维景物的 基础，也是还原各种场景的基础。 2 虚拟现实。图像拼接技术是虚拟现实场景绘制方法中的一项最基本的技术。利 用图像拼接可以生成全方位图像，从而用全景图可以代替场景建模和绘制。 3 图像碎片的拼接。在医学应用如c t 中，对病体的断层扫描只能得到局部的病理 信息，可以将一系列的c t 图像拼接重构得到整体信息，从而对拼接后的图像进行研究 进而对整个疾病的病理进行研究；生化科研等领域将局部图像合成大幅的整体图像； 在海底探测过程中人类很难直接进行探测，通常使用一些探测仪器对海底的各个角度 和侧面进行拍摄，然后进行拼接，对海底矿藏的探测和研究起到辅助作用。 4 全景图和宽视角图像的合成。在运动赛场上，人们除了关注运动员之外，还关 心整个赛场的情况。所以可以将整个运动场的各个角度分别拍摄成图像，然后将这一 系列局部场景图片合成宏大的运动场全景图。 5 视频序列的合成。在大型体育比赛过程中，一般都是多个摄像机从不同位置、 角度对赛场的情况进行跟踪，利用数字图像的拼接技术，可将不同视频流的同一时刻 的视频片断( 图像) 进行拼接，观众可以随时从不同角度观看的赛场情况，在给观众 提供最大的方便的同时，大大增加了比赛的观赏性。 待拼接的图像可能是由不同设备在不同时间( 也可能是同一设备在不同时间) 不 同位置和角度拍摄的，由于光线、设备的摆放位置的差异，会导致同一场景的不同角 度的图像问存在着曝光差异；由于各种外界干扰如光线过强或过弱而产生的噪点；由 于拍摄时设备抖动所引起的模糊及待拍摄物体运动引起的模糊等。因而，十分有必要 针对现有的图像拼接技术进行研究，对拼接后的图像存在明显的明暗不同、缝合线及 “鬼影 等问题进行处理，生成更符合要求的图像，使之能够广泛应用于各个领域， 减少技术和资金的投入。 1 2 数字图像拼接技术国内外研究现状 图像拼接一直以来都是图像处理的研究热点。数字图像拼接理论和算法早在2 0 世 纪6 0 年代就已经出现，在实际应用中已经有很多商业化的数字图像拼接软件。 1 2 1 国内研究现状 国内关于数字图像拼接研究多为理论目的，也有少数实际应用。1 9 9 9 年我国和巴 西联合研制了“资源一号 卫星发射升空，卫星上安装了我国自行设计的c c d 相机和 红外多光谱扫描仪，经过图像融合大大扩展了卫星遥感的应用范围。2 0 0 5 年神舟六号、 2 0 0 8 年神舟七号飞船发回的太空图片都是经过图像拼接技术处理后得到的。 近年来国内研究主要是针对数字图像拼接过程进行局部改进，并在此基础上实现 相应的图像拼接。2 0 0 2 年孟祥旭、杨承磊等提出的基于未校准照片构造全景图的新方 法【1 1 。该方法允许所拍照片有一定的摇晃和倾斜，克服了采用普通三角架通过旋转角度 所拍摄照片的轴心一致性问题，照片之间允许有一定色差。章权兵等在2 0 0 3 年提出了 基于仿射变换模型的图象特征点集配准方法研究【2 1 。作者利用最d - - 乘法、矩阵伪逆的 方法，提出了一种针对于仿射变换的简单的闭合公式。程兵等提出了将水平集分解与 h a u s d o r f f 距离结合以适应光照变化的图像配准方法【3 j 。2 0 0 4 年李中科等提出了基于霍 夫变换和相位相关的图像配准方法【4 1 。文章所提出的算法充分利用了f f t 大大提高了 算法的速度。2 0 0 6 年王伟、陆佩忠提出基于h a r r i s 特征点匹配的方法【5 j 用最小二乘法 进行8 个参数的估计提高配准精度，取得了良好的效果。 2 1 2 2 国外研究现状 国外图像拼接软件的商业化比较成熟。n e wh o u s ei n t e r n e ts e r v i c e sb v 公司在 2 0 0 0 2 0 0 8 年问一直不断丌发使用的p t g u i ，佳能公司早在2 0 0 4 年就已经发布的 p h o t o s t i t c h ，l o w e 开发的a u t o s i t i t c h 等软件都可以将水平或垂直照片矩阵拼接成大的 全景图。1 9 9 6 年在图像配准的分层迭代辅助方法中，c a s t l e m a n 等提出了由粗到细 的金字塔状的分层计算方法【刚。1 9 9 7 年在基于光流的算法中，m a n n 等提出了无特征 的光流算法，该方法主要应用于视频图像拼接1 7 j 。为了降低匹配误差、提高精度和降低 复杂度，基于特征的算法往往与其他方法相结合。2 0 0 0 年s h u 等提出了基于相位相关 和k l t 特征跟踪的拼接算法t s l 。2 0 0 2 年p 1 l u 等提出了基于特征匹配的变换假设估计 方法，该方法能满足文件图片拼接时的高鲁棒性和高分辨率的要求，并能够实现不需 人工干预的自动拼接【9 l o2 0 0 3 年p i z a r r o 等提出了一种基于z e r n i k e 矩的特征表示方 法【1 0 】来进行h a r r i s ( 海森阵) 特征点的匹配，并通过特征点对的配准来进行海底考古 探测图像拓扑排列顺序的估计和图像光度的补偿，该方法很好地实现了图像的拼接。 2 0 0 5 年c a n d o c i a 提出在该模型中加入斜率限制和结合点位置选择的分段线性分析i l ， 该方法对分段的数目不敏感，并降低了对误差的敏感性。2 0 0 7 年l o w e 提出了使用无 关特征实现全景图自动拼接的方法i l 盈。 1 3 本文研究内容 数字图像拼接技术主要由图像预处理、图像配准和图像缝合三个过程组成。图像 预处理阶段要对图像做一些变换，大致确定配准的区域，以保证图像配准的精度和速 度。图像配准阶段要找到待拼接图像间的重叠区域并计算出其转换关系，并对转换关 系进行精炼。图像缝合阶段就是根据前面两个阶段确定的转换关系，找到缝合的参数， 把图像拼接成一张大图。本文主要对数字图像拼接技术作如下研究： 1 在图像预处理阶段，对图像进行平滑和边缘锐化处理，缩小匹配的范围，提高 匹配的精度； 2 在图像配准阶段，采用基于特征匹配的算法，找出最佳缝合线，同时提高配准 精度，降低运算的复杂度； 3 在图像缝合阶段，对配准后图像进行拼接，减小曝光差异和消除融合后的“鬼 影”。 图像配准阶段算法的选择直接影响到图像拼接的速度、精度和拼接后的图像的质 量。本文采用了基于特征的配准方法，可以实现较快的配准，精度较高，而且拼接后 的图像质量较好。在配准过程中要解决以下难点： 1 为了保证在只有少量物体的情况下也能获得足够丰富的图像细节信息，就要解 决获得图像的更多特征描述符问题； 2 对获得的特征描述符中存在的错误匹配进行剔除，对冗余信息进行精炼可以得 到更准确的特征匹配对，从而确保图像融合更精确； 3 消除由于配准不精确而产生的“鬼影”和不同图像间而存在的曝光差异，使拼 接后的图像更自然和逼真。 1 4 本文的组织结构 全文共分为五章，各章内容作如下安排： 第一章：介绍本文的研究目的、意义和国内外研究现状； 第二章：数字图像拼接概述，介绍图像拼接的主要算法、常用技术和基于特征的 数字图像拼接技术原理； 第三章：介绍s i f t 算法的原理，获取图像的s i f t 特征及构建k d 树的过程。在 基于特征的数字图像拼接系统中，详细介绍获取待拼接图像的s i f t 特征描述符，对描 述符进行筛选精炼过程，以及“鬼影”和曝光差异等问题的解决； 第四章：介绍基于特征的数字图像拼接系统的实现，详细介绍开发工具，开发过 程及系统的各个主要模块； 第五章：对本文的研究成果进行总结，并对其中存在的问题及进一步的研究提出 展望。 4 第二章图像拼接基本理论 图像拼接过程大致可以分为图像预处理、图像配准和图像缝合三个基本步骤。 2 1 图像拼接算法分类 原始图像的性质是影响图像拼接算法的最重要因素，原始图像得到的方式不同， 图像整体性质也有很大差异，需要使用不同的拼接算法。图像拼接方法大致可分为如 下几类： 2 1 1 柱面球面立方体全景图拼接 全景图的表示模式主要有球面全景图，柱面全景图和立方体全景图。柱面全景图 比较容易获得( 可以通过相机绕固定点旋转一周得到) ，能生成任意视线的场景，但对 垂直方向的视域有限制；球面全景图能完整地表达整个视点空间，但会导致在两极的 场景扭曲变形；立方体全景图一般由6 幅广角为9 0 。的画面组成，易于数据的存储， 便于显示，主要应用于三维虚拟现实领域。柱面模型是最普遍采用的全景图拼接模型， 该方法要求相机绕垂直转轴作水平转动。在求解完相应的相机参数后，将图像经过坐 标变换投影到一个统一的柱面上，拼接问题就转化为在柱面上图像问的平移问题。 2 1 2 基于透视变换的拼接 基于透视变换的拼接1 1 4 】对相机的运动没有严格的限制，为了防止视差的出现，要 求被拍摄的景物是一个近似的平面。拍摄中，景物距离相机足够远即可将其视为平面。 当获得的是排列顺序未知的碎片图像，或相机的运动方式未知，可采用这种模型。 2 1 3 基于仿射变换的拼接 仿射变换是投影变换的特例1 1 引。仿射变换常作为基于透视变换全景图的一种近似， 在相机倾斜角度不大、焦距足够大的时候可获得较好的匹配结果。 仿射变换是定义在连续的图像上。图像，和，有相同的大小，它们可以分别由连续 的图像，c 和j ；采样得到，离散的图像，仿射变换到，7 如图2 1 所示。 5 离散卜_ j i 连续 图像，l 里竺1 爿图像，。 2 1 4 基于图像检索的图像拼接 型 | 茎煮 仿射变换 l f 图保f ； 图2 1 图像的仿射变换 型 l 耋0 运用基于内容的图像检索方法进行图像拼接是一种结合图像数据库、图像检索、 模式识别等技术的拼接方法【1 5 l 。首先把原图分成很多小块，然后对每个小块从图像数 据库中找到与之在视觉上最相近的图像，最后用替代的方法把从数据库中选出的图像 组成一张大图。 2 2 图像拼接技术概述 2 2 1 图像间的运动关系分析 图像拼接的研究是基于这样的假设：相机固定在空间某一点，然后旋转一定角度后 ( 要求相邻两幅图片之间应有部分重叠区域) 拍摄，每次拍摄的角度和焦距不应有较 大变化。可以将这一过程想象为相机在一个由景物构成的圆柱体内部沿某一半径做小 规模的运动而成像的过程，因此可以用描述平面上物体运动关系的单应矩阵 ( h o m o g r a p h ym a t r i x ) 表示。如果用齐次坐标表示图像上的像素点，那么一对匹配点 g ( x y ，1 ) 7 和z y 1 ) 7 满足的对应矩阵h 如式2 1 和2 2 所示。 牙一日需(21) 其中一表示左右两边成一定的比例关系。 p 诈om l 巩2 1 胃= f m ；m si p n 6m 7m 2 j ( 2 2 ) 根据约束的多少可推导并确定矩阵h 中自由变元的个数。表2 1 给予总结【1 6 】。 表2 1 运动形式变换矩阵自由度所保持的特征 投影变换 n l ：x 2 8 直线性 仿射变换 弘】，y 2 6 平行性 相似变换 器尺l e 】：x ； 4 角度不变性 欧氏变换 轵煳? t 3 3 长度不变性 平移变换 b i t 】：，： 2 方向不变性 图像间的变换层次体系如图2 2 所示。 6 蚴“郴。删嘶载譬出 l ! 似，扮! 埏| ：车| l ；j ，；成s r 批嬲嘲例式驯氘川 等扣蹙掺 图2 2 图像闯的变换层次体系i 1 0 1 对于投影变换而言，相邻的两幅拼接源图像其运动关系可以用8 个自由度的投影 运动来表示，即由式2 1 和式2 2 可以得到式2 3 。 ，m o x + r n l y + m 2，1 t 1 3 x + m a y 十m 5 7 1 1 6 x + m v y 十m f l 。 ? i r 6 x + m v y + 7 m 8 ( 2 3 l 两幅图像间点的对应变换矩阵的对应关系可分为平移变换( 即两幅图像间仅相关 一个平移向量) 、缩放变换( 夏y ，z 轴各有相应的缩放因子) 、旋转变换( 绕某一坐标轴 旋转，多用三角函数表示) 。 2 3 图像拼接算法概述 图像的拼接过程一般由拼接预处理、图像配准、图像缝合三个步骤组成。拼接流 程如图2 3 ( 以两幅图的拼接为例) 所示。 2 3 1 预处理算法 拼 图 接 卜像 预 配 处 准 理 图2 3 图像拼接过程 图 像 融 a 口 图像拼接预处理的主要目的是保证下一步图像配准的精度。预处理过程要对原始 图像做一些折叠变化和坐标变换，初略定位，找到大致的重叠区域，缩小匹配范围， 提高匹配速度。 7 为了滤除图像中混入的噪声乖【i 寻找图像中物体的边缘，要对幽像进行平滑处理和 边缘锐化处理。平滑处理与边缘锐化处理相邻图像样本的重叠部分在细节上是不完全 相同的，一般选取轮廓等主要边缘求得其梯度和方向等作为匹配特征的垂直边缘。首 先对灰度化图像进行平滑处理如式2 4 所示。 m 气1 - 1r 气i 1 - 1 - 雪( 力= 矗( f ，歹) a 厂( 1 ，力= 歹。 。h ( k ，乃书厂o 一定，歹一d 怠篇 ( 2 4 ) 其中f 是输入图像，g 是输出图像，h 是平滑卷积滤波器( 可以是均值滤波器或者 高斯平滑滤波器) ，一般采用3 x 3 的模板。平滑处理后，再对图像样本作垂直边缘锐化 处理，可采用图像样本卷积梯度算子域纯一曲锐化边缘，其中c 是模板增益，用以突出 锐化的边缘特征，一般采用l x 2 模板，其公式为如式2 5 所示。 g o d ) = i h x = ( 。，) 厂( 以i ) 1 = c l f ( f ，歹) 一，( f + 1 歹) l ( 2 5 ) 1 相位相关算法 离散图像 和五在空间域简单的平移相关如式2 6 所示。 是“y ) = 五缸一x 伊y - y o ) f 2 6 ) 相应的傅立叶变换f 1 和f 2 也是相关的。 丘( u 功= 最红。v ) e - , r , - = r 2 蛐千譬 ( 2 n 其中“o ，y 0 】表示在x ，y 方向上的位移量，相位差为( 其中e 是曩的复数共轭) ： e j 2 , - t ( u 鬈。+ ”弛) ：壁垒：! ! 墨竺：! ! 。+ i ( 弛1 7 ) f 2 ，秒) | f 2 8 ) 相位差的傅立叶反变换是在平移运动坐标上的脉冲，即除了需要对齐两幅图像的 偏移位置外，其他任何地方几乎都是0 ，搜索最大值的位置就是两幅图像的对齐点。 2 灰度图投影算法 当垂直方向上的平移可以忽略时，可采用灰度图投影算法进行相邻图像的粗略定 位。首先将真彩图转为灰度图，然后将灰度值二值化，再将各像素灰度值投影到垂直 方向予以累加，通过比较相邻图像的投影曲线，获得粗略的匹配位置。 3 视频序列子集的筛选 基于视频的图像拼接，应先对视频序列图像进行筛选。由于视频序列图像相互之 间的位移量很小，一般只选取全部视频序列图像的一个子集，以降低对准误差和不连 续性，减小计算量。然后确定目标参考帧，把能最准确地与参考帧对齐的图像帧作为 选择帧，这样选择帧和参考帧图像之间仅存在整数级线性平移关系。l l 等提出了分象 限匹配算法【1 7 】，即先把每帧图像分成4 个象限，在每个象限内对参考帧和选择帧进行 匹配，当所有象限的匹配值都相同时，就认为只存在线性平移；否则，认为存在旋转、 剪切、投影或者它们的组合变换。 4 遗传算法估计碎片图像的拓扑排列 8 如果原始图像是碎片图像，拓扑排列顺序未知，或者相机的运动方式未知、不规 则时可以采用拓扑排列估计的方法。t o y a m a 等提出基于用矩阵表示图像拓扑排列顺 序的遗传算法1 1 8 l 。该算法用n h x n w 的矩阵来表示n ( n = n h n w ) 幅图像的排列顺序， 并用遗传算法来确定每幅图像在矩阵中的位置。结合局部凋整算法，该方法能够拼接 出质量很高的大幅显微图像。文献f 1 9 1 中提出了有向图聚核算法，该算法使得只有相邻 的两幅图像才能在序列中匹配，因而能达到很小的匹配误差。 简言之，图像拼接预处理可以看成原始图像的预先对齐。一方面可以根据原始图 像的特性来确定拼接( m o s a i c ) 图像的表示模型，选择合适的预处理算法，并确定下一步 配准算法。另一方面，也可以根据确定的配准算法，相应地选择合适的预处理方式， 以提高拼接精度和速度。预处理算法与配准算法并没有明显的界限，某些预处理算法 也在配准的过程中使用。 2 3 2 图像配准方法 图像拼接通常可以分成两个步骤：配准( r e g i s t r a t i o n ) 幂l l 融合( b l e n d i n g ) 。配准的目的 是根据几何运动模型，将图像注册到同一个坐标系中。融合则是将配准后的图像合成 为一张大的拼接图像。 配准也可以分成两个步骤：局部配准和全局配准。局部配准是求解相邻两幅图像 间的运动关系，通常是求解二维平面运动关系及对应的转换矩阵。全局配准是处理多 幅图像( 多在合成全景图时使用) 拼接到一起的误差累积以实现多幅图像的精确拼接。 融合需要将源图像的像素结合起来生成拼接平面上的像素，实现相邻图像间自然的过 渡。如果配准不准确，融合后就会产生双重图像( d o u b l ei m a g e ) ，即“鬼影”( g h o s t i n g ) 现象。当图像上存在运动物体时也可能因为物体运动而导致融合时同一物体叠加在一 起产生双重图像，前者称为配准“鬼影”，后者称为融合“鬼影”。另外一个拼接中可 能会产生的问题是曝光差异( e x p o s u r ed i e f f e r e n c e ) ，即由于图像间的曝光不同而造成拼 接图像上的明显的曝光瑕疵( a r t i f a c t ) 。“鬼影 和曝光差异是所有拼接算法要解决的核 心问题。 局部配准按照是否需要给定初始条件可以分为直接方法与基于特征的方法。直接 方法要求给定一个初始值，利用这个初始值不断进行迭代配准计算。基于特征点的方 法则查找图像中的特征匹配对，利用这些特征匹配对进行配准。 1 直接方法 直接方法中最简单的方法是先由用户交互指定一些初始匹配点，然后根据运动关 系最小化这些匹配点间能量的差平方之币t l ( s u mo fs q u a r e do fd i f f e r e n c e ) ，如式2 9 所示。 五二j d c u ) = 歹。口j ( 獗+ 趾) 一i o 魄) 】2 = ) p ； 7 ( 2 9 ) 其中墟= m 矿) 表示两幅图像间的偏移量，e l = 凡( 殛+ 毯) 一t o c x 3 表示两幅图像中匹配 9 点对问的残差。式2 9 的最小化是通过不断尝试新的偏移量值实现的，因此计算速度很 慢，而且很难保证稳定性。为此b e r g e n l 2 0 l 等提出层次式配准方法加速偏移量求解过程。 这个方法首先在较高的金字塔上用式2 9 计算出一个耦糙的偏移量，然后以此偏移量作 为初始值在下一级金字塔上继续用式2 9 求解。另外一种加速计算的方法采用傅立叶变 换来降低式2 9 的计算复杂度【2 l l 。还有一些技术希望得到较高的子像素配准精度，比 如基于泰勒级数的增量模型f 2 2 l 等。 上述直接配准方法讨论的图像偏移都比较简单的纯平移运动，对于含有旋转等更 复杂的相机运动时，这些方法很难实现配准。为此研究者进一步提出参数运动方法 ( p a r a m e t r i cm o t i o n ) 【2 3 1 ，可以实现复杂的运动模型。在该方法中，原来的偏移量“被一 个多维的运动向量p 所代替，这样式2 9 就转化为下面的最小化等式如式2 1 0 所示。 髟m + 删= 军江( x 毽：p 嘲) 一l ( 蛐】2 斜萃【厶文) 卸+ e f 】2 ( 2 1 0 ) 其中x 如p ) 是任意的运动模型，j 为雅可比行列式i ( j a c o b i a n ) 如式2 1 1 所示。 硪) = 鼍2w ：；) 嚣缸t ) ( 2 1 1 ) 由于参数化模型的计算复杂度较高，一些研究者又提出基于分块( p a c t h ) 的算法【2 4 1 。 这一算法将求解放在若干像素组成的块上，从而加速计算过程。d a v i s l 2 5 l 则在傅立时马 林( f o u r i c r - m c l l i n ) 变换的基础上求解相邻图像问的投影变换关系。 2 全局配准方法 全局配准的第一步是要消除多幅图像叠加到一起的引起的误差累积问题。通常的 做法是采用捆绑调整方法( b u n d l ea d j u s t m e n t ) 1 2 6 1 不断更新运动参数使得新加入的图像 与原有的图像间的能量差最小。全局配准可能是对应矩阵的求精，也可能是对摄像机 运动关系的定标求解。 对应矩阵求精方法通常是首先指定一幅参考图像作为拼接平面，然后将局部配准 得到运动关系转换为各幅图像与参考图像问的运动关系，最后基于这样的运动关系进 行优化计算以实现将各幅图像变换到拼接平面的目的。全局配准可能会造成部分图像 的局部仍然无法实现无“鬼影拼接，因此需要迸一步考虑视差消除问题。如果输入 的图像杂乱无章，则需要进一步考虑如何进行自动拼接。 3 自动拼接 若视点不同，那么局部配准后首先要找到属于同一视点的顺序拍摄的照片，然后 才能对同一视点的照片进行全局的捆绑调整。b r o w n 等1 2 8 l 提出如式2 1 2 所示的概率模 型判断两幅图像是否可以构成拼接： 口i n f ；n f ；孰j 1 瓦丽 妄1 矾t 住 ( 2 1 2 ) 其中双是可以实现图像匹配时正确特征匹配对的概率，是不能够实现图像匹配时 1 0 正确特征匹配对的概率，堙i 是总的特征匹配对的个数，而，￥是重叠区域内的特征匹配 对的个数，b 表示伯努利分布。 4 捆绑调整 捆绑调整针对的对象是同一视点拍摄的场景图片。当配准多幅图像时，一种方法 是每次将一幅新的图像添加到已经配准的图像集中，然后找到重叠区域再进行对准。 例如当拼接3 6 0 。全景图时，累积误差使得全景图的结尾两幅图像之间出现空隙，为此可 以拉伸所有的对齐图像，这一过程称为g a pc l o s i n g 。另一种更好的方法是用最小二乘 法同时对齐所有图像，以此来正确地分布对准误差。 在计算机视觉中，捆绑调整首先应用于运动问题的通用结构中，后来应用于全景 图拼接。捆绑调整的基本思想是通过下式2 1 3 最小化实现对咒个待调整运动关系微调。 m露 1 7 1t 1 z o gt ( e ，拶，乃一2 。2 。| l 戡西一矗洳 。r z 巧) 1 1 4 汹j = 1 ( 2 1 3 ) 其中0 是待求的数值，【厂和j 是两对匹配量的向量表示。如果用列向量来表示匹配 量对，那么上式转化为式2 1 4 。 一蛔l c o ，j ) = l l u b c e ，j ) 酽 ( 2 1 4 1 捆绑调整的目标是求解式2 1 4 的最小化。捆绑调整时源图像是依次加入到调整器 中的，每新加入一幅图像后都执行一次最小化求解以达到对调整器内所有的图像进行 优化处理的目的。s z e l i s k i 等通过调整摄像机运动参数的办法实现捆绑调整；s a w h n e y 等1 2 9 】采用局部调整和全局调整反复执行的迭代算法；m a r z o t t o 等【圳首先在拼接平面上 定义网格点，然后不断最小化网格点经过新加入的图像及其匹配图像后投影到拼接平 面上的位置与原位置的距离实现全局调整。m a r z o t t o 等的方法因无需定标和迭代计算 而相对简单，但是该方法需要在拼接平面上定义一些网格点实现校正。 2 3 3 图像配准算法 拼接( m o s a i c ) 图像的质量主要依赖图像的配准精度。配准算法既要保证配准的精 度，又要使计算量不至于过大。其核心问题是寻找一个变换，使图像间相互重叠的部 分对准，并“缝合 成一个新的大画面的视图。精确配准的关键就是要有能很好地描 述两幅图像之问转化关系的模型。大部分的拼接都采用单应匹配( h o m o 铲a p h i cm a p p i n g ) 模型，即原始图像是由针孔相机拍摄的投射图像，相机的运动主要是绕其光学中心的 透镜平移、倾斜、旋转和缩放。对应匹配由8 个参数决定如式2 1 5 所示。 晖1 p ( x ，y ) _ ；萎苦毛三，( a = 篷：兰：耄，8 = 【：】c = 2 】) 。圳 ( 2 1 5 ) 其中a 是表示缩放和旋转，b 表示平移，c r 表示投影。可以从基于光流的运动估 内地) = l 面并丽j 亿蛳 村= 匿誉 乃 1 2 的处理过程得剑一个高维的s i f t 描述字进行特征描述。大量的实验数据证明l o w e 等 提出的特征描述字在特征匹配方面的效率更高。 利用计算出的特征描述字，特征匹配的过程就变成查找相近邻的特征描述字的索 引过程( i n d e x i n g ) 。对于高维的描述字( 如l o w e 的特征描述字为1 2 8 维) ，若特征描述 字很相近，则噪声的影响很难消除，因此往往需要采用k d 树搜索该特征字的多个近 似最近邻的描述字来查找每个特征的多个可能匹配特征。对于k d 树的搜索已有很多 近似算法。a r y a 等【3 8 】提出优先搜索( p r i o r i t yr e s e a r c h ) 进行k d 树的搜索，该算法在执 行过程中利用一个优先队列保存搜索过程中遇到的次近邻兄弟结点，在搜索到叶子结 点后先从优先队列里的结点出发继续搜索。同时为了加快搜索速度，a r y a 还提出基于 增量距离计算的思想。f r i e d m a n 等p l 最早利用递归查找的方法查找近似最近邻。文献 【4 0 1 也提出的类似的b b f ( b e s tb i nf i r s 0 算法( 该算法在l o w e 的文章中用到) ，即找到 特征匹配对之后，接下来求解图像间的运动关系转换矩阵。因为复杂的相机运动关系 只用两幅图像很难计算出来，所以运动关系通常是对应的转换矩阵。求解运动关系通 常采用r a n s a c ( r a n d o ms a m p l ec o n s e n s u s ) 方、法4 ，或l m e d s 方法( l e a s tm e d i a no f s u q a r e s ) 1 4 2 1 。 r a n s a c 算法是基于特征匹配的典型算法。先求出相邻图像的特征点，然后计算 特征点对，随机选取4 个点对建立方程组解出8 个未知参数，再用迭代和r a n s a c 估 计求得最优解。该算法缺点是计算量大，而且与特征点的提取和特征点匹配的精度密 切相关。很多新算法都是在这两个方面进行改进和拓展，以提高配准的精确性、速度 和鲁棒性( r o b u s t n e s s ) 。 r a n s a c 和l m e d s 算法都是通过迭代的方法实现求解，在每次迭代中都是先随机 选一些特征匹配对求解一个初始的运动关系。l m e d s 取具有最小均值的迭代中的对应 矩阵作为最终的对应矩阵，而r a n s a c 算法在迭代结束时取产生最多特征匹配对的迭 代中的特征匹配对求解最终对应矩阵，因此l m d e s 方法得到的特征匹配对不能满足最 终对应矩阵。 如果特征描述字是低维的( 如文献1 4 3 1 的描述字为1 2 维) 可以利用马氏距离 ( m a h a l a n o b i sd i s t a n c e ) 直接计算出最近邻的描述字，从而得到一个可能的特征匹配对。 2 3 4 相关的辅助方法 在进行配准的时候有许多辅助方法可以降低匹配误差。 1 全局反馈。在进行视频图像或者多幅相机图像的拼接( m o s a i c ) 时，如何处理多幅 图像拼接到同一图像中去所产生的累计误差是一个最大的难点。m a n n 提出了利用群 论的合成，将多个坐标变换合成一个变化以减少累积误差。 2 滤波处理。大多数图像在采集过程中都会由于各种干扰而产生噪声。所以对图 像先进行低通滤波处理可以降低噪声的影响，而且较平滑的信号能降低配准的局部误 1 3 差。采用分层计算时，对每层的图像都使用低通滤波处理，对最卡h 的层使用最大化的 滤波。对由于干扰造成的图像数据中的抖动，可以采用中值滤波的方法进行消除。 3 利用金字塔分层迭代。c a s t l e m a n 等提出了由粗到细的金字塔状的分层计算 方法。先将图像分成一些m x n 的方块，每个方块看成一个像素进行配准计算；然后， 把m 减半，继续把图像分块；以此类推，直到每个方块就是一个像素为止。 2 3 5 图像融合方法 图像方式从低到高分为三个层次：像素级融合、特征级融合、决策级融合。划分 与要借助图像融合完成的整体工作有关。图2 4 为多传感器图像融合三级流程图。 像裘宝暖融合 铬豫级融合次豫缀锨台 图2 4 多传感器图像融合三级流程f 删 像素级融合是在底层的数据层进行的融合，从两幅或多幅图像的物理数据进行处 理和分析，生成单一的融合后的目标图像。它尽可能保留了原始图像的信息，所以精 度较高，但处理信息的数据量大，因而实时性较差，而且不同传感器得到的图像之间 往往不易融合。 特征级融合需要对原始图像的特征进行提取，是处于中间层次的融合。它保留了 重要的数据信息，同时又进行了一定的压缩。因而它处理的数据量小，实时性好，但 较像素级融合的精度差一些。 决策级融合是最高层次的融合。它根据一定的准则和每个决策的可信度作出最优 的决策。它常常借助符号运算运行融合，因而容错性、实时性都很高，但保留的原始 信息更少，所以精度较低。 精确配准虽可以较好地解决配准鬼影问题，但难以克服曝光差异和融合鬼影。研 究者已提出多种相关的图像融合方法。这些方法大致可以分成两步：第一步是选择什 么像素进行合成计算，第二步是如何合成选择的像素。前一步的目的是融合鬼影的消 除，后一步的目的是曝光差异的消除。下面是几种常用的像素级融合算法。 2 3 6 特征融合算法 特征融合算法的核心思想是加权平权。由于配准计算本身很难保证到子像素级的 精度，简单的加权平均( 比如a l p h a 融合) 是不能够有效消除“鬼影”的。广泛应用 的特征融合算法如图2 5 所示。方法是在重叠区按照每个像素点在两幅图像上距离关系 进行加权，这个距离关系用到达图像四个边界的最小值m t n ( d a d 2 , 如，屯) 来决定。该方法 1 4 强调离重叠中心近的像素的贡献，减少图像边界处像素的影响，从而减少误差。 图2 5 特征融合算法原理 因为运动物体的多个成像仍然会按照加权关系再次合成到一起，特征融合方法虽 然可以实现较好的曝光差异处理，但是很难消除融合鬼影。解决这个问题的根本办法 就是要考虑如何在合成的图像中只让运动物体出现一次，基于切割的方法正是围绕这 一目标而提出。 1 基于切割的方法 基于切割的方法将最终拼接大图中的每个像素只从一幅图像中取出来进行合成。 最小的切割方式是每个像素都割成一个独立的片段，然后计算每个片段应该从何源图 像中取像素。但是这种方法对于图像拼接意义不大，切割后反而可能将来自不同图像 上的像素点混在一起，不利于融合鬼影的消除。目前研究者提出三种切割方式，第一 种是对源图像切割两次以得到图像中心狭长的切片( s t r i p ) 即流形拼接【4 5 1t 4 6 1 ；第二种是 根据重叠区运动物体的运动情况进行多次离散的切割以分离出运动物体即顶点覆盖方 法1 4 7 1 ；第三种是对源图像只切割一次即最佳缝合线方法f 4 8 l 。 在两幅图像的重叠区间找到一条最佳的缝合线，使得缝合线上的两幅图像间的能 量差最小，这就是最佳缝合线方法。在拼接大图中，缝合线两边分别取来自不同图像 上的像素点，从而有效地减少鬼影的存在。利用动态规划方式查找到一条最佳的缝合 线进行图像拼接，而利用狄杰斯特拉( d i j k s t r a ) 算法查找一条最佳的缝合线。由于d i j k s t r a 算法的复杂度非常高，因此动态规划方式更优，缝合线拼接也被用于纹理合成。图2 6 显示这一方法的基本思想。 图2 6d i j k s t r a 算法思想 图切割、动态规划或d i j k s t r a 算法没有考虑两幅图像间的运动关系，进行缝合线的 求解不足，凶而存在缝合线搜索不准的情况。本质上动态规划和d i j k s t r a 算法都是局部 的化的问题，找到的缝合线都不能够全局最优。 组合优化中的最大流问题i 4 9 1 为解决全局最优问题提供了解决问题的思路和方法。 为了能够查找一个全局最优的缝合线，利用图论的基础知识，以一个带权有向图来表 示重叠区域，则图像间的缝合线拼接就变成求解带权有向图的一个最佳切割路径问题， 即图切割问题。最大流问题这一思路运用到纹理拼接中并取得了较好的效果【5 m 。也可 以将最大流问题理解为求解全局最小切割的问题1 5 1 l ，因此可以用求解最大流的方法实 现重叠区的图切割。 2 曝光差异处理方法 多分辨率拼接技术的核心是将各个源图像分解到不同的频带上，然后按照不同频 带范围自动选择不同的特征融合宽度进行融合，最后将这些融合后的带通图像再次合 成到一起得到拼接图像，从而有效地消除了曝光差异。b u r r 等提出的多分辨率拼接技 术( m u t l i s o l u t i o ns p l i n em o s a i c ) 已被广泛地应用到拼接处理之中。 2 3 7 图像缝合算法 当准确地计算出图像之间的转换参数之后，就可以根据求出的参数把多张原始图 像按照缝合算法注册到一张大的拼接图像或者全景图当中。图像缝合算法的目标包括 拼接图像的画出及光度的调整混合。对于全景图而言，需要消除全局匹配的累计误差 和图像重合区域的失真。 1 图像的融合( b l e n d i n g ) 为保证在图像问的重叠区域能够连续，并且没有可见的缝合线，要对图像进行融 合。由于待拼接的图像可能由不同设备在相同的场景中采集的，因而不同的图像上的 灰度值和对比度都不一致，可以定义一个光度补偿因子穆如式2 ，1 9 所示，来修正图像重 叠区域s o 的光度偏差。 z h f l 吖u j 。之( m 9 ) 其中1 1 和1 2 表示像素点的光度