自动化学院优秀毕业设计参考论文.pdf

图像拼接技术研究 摘 要 图像拼接技术 这是近年来计算机视觉领域的新兴技术 也是数字视频 虚拟现实场景 以及三维动画的基础 国外对于图像拼接领域的研究开展的比较早 已经取得了丰硕的成果 国内由于开展研究的时间较短 对于这个领域的研究目前并不是十分深入 现有的许多算法 并不能很好的解决存在旋转关系的图像之间的拼接 问题的关键在于不能有效的建立特征点 的对应关系 本文首先对 Harris 角点检测器做了较详细的研究 通过测试参数变化对检测效果的影 响 筛选出一组合适的检测器参数 随后提出一种基于图像角点特征的三角形配对算法 该 算法首先在已检测出角点的图像中建立三角形 随后根据三角形的特征建立图像间的特征点 的对应关系 算法可以建立有平移和旋转关系的图像间角点的对应关系 通过测试还证明算 法可以建立重叠区域在 30 以下的图像间的角点对应关系 并且进行正确的拼接 对于变 换矩阵的计算 本文提出一种两步估算的方法 第一步用 3 组配对点估算一个仿射变换矩阵 用来简化第两步估算中的 5 组配对的搜索工作 第两步估算一个投影变换矩阵作为最终的变 换矩阵 整个拼接过程速度较快 准确度较高 关键词 Harris 角点检测 三角形配对算法 两步估算 图像融合 I 图像拼接技术研究 Abstract Algorithms for aligning and stitching images into seamless photo mosaics are among the most recently used in computer vision Image stitching algorithms create beautiful ultra wide angle panoramas and they are used to produce today s digital video virtual environment and 3D cartoons At present the research of image stitching abroad has made great achievement However the study of domestic image mosaic is not very in depth many algorithms can not solve the existing relationships between the rotated images and how to establish the relationship between correspondence points effectively is the primary problem This thesis first analyses the behavior of harris corner detectors and tests the influence of different parameters on detection effects Then introduces the triangle matching algorithm which is based on the detected corners of images This algorithm first builds triangles in the image whose features are detected then establishes the correspondence between triangles from two images gaining a geometric estimation finally This algorithm can deal with the translation and rotation between images Further more when the quality of images are excellent the overlapping region can be below 30 For the transformation matrix calculation the thesis proposes a two step method of estimation The first step utilizes three pairs of correspondence points to explore an affine transformation This step is used to simplify the search of five pairs of correspondence points which are used to compute a projection transformation in the second step The whole stitching process runs fast and with great accuracy Key Words Harris corner detector triangle matching algorithms two step estimation image blending II 图像拼接技术研究 第一章 绪论 1 1 1 引言 1 1 2 图像拼接技术研究现况 1 1 3 论文的研究工作 2 1 3 1 论文的研究内容 2 1 3 2 论文的内容安排 3 第二章 角点检测 4 2 1 引言 4 2 2 Harris 角点检测 5 2 2 1 Moravec检测器 5 2 2 2 自相关检测器 5 2 2 3 角 边响应函数 7 2 2 4 角 边点的选取 8 2 2 5 算法流程 8 2 2 6 参数实验结果与分析 9 2 2 7 优化计算 12 2 3 小结 13 第三章 图像拼接 14 3 1 引言 14 3 2 图像拼接基础 16 3 2 1 图像获取方式 16 3 2 2 坐标选择 17 3 3 参数的一次估算 21 3 3 1 三角形配对算法 21 3 3 2 实验结果与分析 28 3 4 参数的二次估算 35 3 4 1 投影变换 35 3 4 2 对应点的搜索 36 3 4 3 对应点的筛选 37 3 4 4 算法流程 39 3 4 5 实验结果与分析 40 3 5 小结 43 第四章 图像融合 44 4 1 引言 44 4 2 全景图的生成 45 4 2 1 坐标变换关系 45 4 2 2 图像插值处理 47 4 2 3 减小拼接缝影响 48 4 3 实验结果与分析 48 4 4 小结 49 第五章 总结与展望 50 致谢 51 参考文献 References 52 III 图像拼接技术研究 第一章 绪论 1 1 引言引言 自动构建大面积 高分辨率的全景图像是摄影制图 计算机视觉 图像处理 计算机图 形学中的活跃的研究领域 图像拼接技术可以在许多不同的场合得到应用 1 2 拼接航空以 及卫星照片是图像拼接的最传统应用 3 最新的应用包括图像稳定和变化检测 4 视频压缩 视频序列检索 增大视图的场景和分辨率以及普通的照片编辑 一个特别的流行应用是使用 数字图像拼接技术来模仿传统的基于影片的全景摄像 类似的应用有虚拟环境的构建 5 和虚 拟驾驶 6 图像拼接技术就是将一组重叠的图像的集合拼接成一幅大型的无缝高分辨率图像 7 图像拼接技术就是将一组重叠图像的集合拼接成一幅大型的无缝高分辨率图像 它最早来源 于人类的摄影知识 当相机的视野小于人类的视野时 人们自然考虑到将多个照片拼接成一 幅大的照片以增强相机的视野 利用扫帚式相机和广角镜头可部分解决视角不足这一问题 但得到的全景图往往比较困难 而且 广角镜头的边缘会产生难以避免的扭曲变形 另一种 方法是使用目前的许多图像处理工具如 Photoshop 等 但这种手动拼接方法不仅拼接效果不 够理想 如无法消除序列间光照差异以及图像间拼缝 而且对于多幅图像的拼接 工作量大 且重复运作繁琐 为了解决这些问题 近年来的发展趋势是利用廉价的 PC 机来自动生成大 幅无缝的高清晰图像 因此 研究并提出一种精确而快速的图像拼接算法具有十分重要的现 实意义 1 2 图像拼接技术研究现况图像拼接技术研究现况 图像拼接技术的核心是图像配准技术 早在 1992 年 哥伦比亚大学计算机系的 L G Brown 就己经总结了各领域图像配准技术的基本理论以及它们的主要方法 8 文章中 作者 探讨了三方面的图像配准技术 i 计算机视觉以及模式识别 大量的不同任务 例如图像分割 对象识别 形状识 别 运动追踪 立体测量以及字符识别 ii 医学影像分析 包括医学图像诊疗 例如肿瘤检测 疾病定位 以及生物医疗的 领域研究 包括血细胞的分类等等 iii 远程检测数据处理 在农业 地理 海洋地理 石油 矿产探测 污染治理 城 市 森林 目标定为等等民用和军工领域的应用 Richard Szeliski 在 1996 年 提 出 了 基 于 运 动 的 全 景 图 像 拼 接 模 型 9 采 用 Levenberg Marquardt 迭代非线性最小化方法 简称 L M 算法 通过求出图像间的几何变换关 系来进行图像配准 由于此方法效果较好 收敛速度快 且可处理具有平移 旋转 仿射等 多种变换的待拼接图像 因此也成为图像拼接领域的经典算法 而 Richard Szeliski 也从此 成为图像拼接领域的奠基人 他所提出的理论已经成为一种经典理论体系 直到今天仍然有 很多人在研究他的拼接理论 2000 年 Shmuel Peleg Benny Rousso Alex Rav Acha 和 Assaf Zomet 在 Richard Szeliski 的基础上做了进一步的改进 提出了自适应的图像拼接模型 10 它是根据相机的不同运动 自适应选择拼接模型 通过把图像分成狭条进行多重投影 1 第一章 绪论 来完成图像的拼接 这一研究成果无疑推动了图像拼接技术的进一步发展 自适应问题也从 此成为图像拼接领域研究的新热点 基于几何特征的图像配准方法是图像拼接技术的另一研究热点 1994 年 Blaszka Rachid Deriche 通过二维高斯模糊过滤可以得到一些低级特征模型 如边模型 角模型和顶 点模型 11 以此为基础 后来有越来越多的人开始研究基于这些图像中的低级特征进行图 像拼接的方法 1997 年 Zoghlami O Faugeras R Deriche 提出基于几何角模型的图像对 齐算法 12 因为角模型提供了比坐标点更多的信息 人们对图像的分析和理解日益深入 图像拼接技术的研究也逐渐成熟起来 除了这些对静止拍摄序列的图像进行拼接 为了使场景具有动态的特征并极大地增强漫 游的真实感 近年来已经出现了对动态全景图的拼接研究 另外随着视频编码技术的迅速发 展和极大应用 图像拼接技术也和其结合了起来 这主要应用于MPEG 4编码标准中的Sprite 技术 它主要对某段视频编码序列中的背景图像进行全景图的拼接 生成的完整背景图也叫 做 Sprite 图像 1 3 论文的研究工作论文的研究工作 1 3 1 论文的研究内容论文的研究内容 图像拼接工作有两个主要问题 一个是图像配准 一个是图像融合 其中 图像配准是 核心问题 这里的图像配准 Image Registration 在有的文献中又被称为图像调整 13 Image Alignment 图像配准的目的在于求取一个最佳的变换矩阵 以建立拼接图像间的几何学的 变换关系 直接的基于像素亮度的方法 14 是图像配准的一种方法 另一种方法是首先从每幅图像 中求取明显的特征 然后根据相对应的特征建立全局的关系 最后估算图像间的几何变换关 系 这种方法称之为基于特征的方法 基于特征的方法首先需要进行特征检测 特征可能是角点 边 弧线顶端等等 随后需 要进行图像间的特征匹配 特征检测出来以后 必须要建立特征之间的对应关系 也就是确 定同一特征在相关图像中的位置关系 最简单的方法是比较两幅图像间的所有特征 但是计 算量和特征数目的二次方成正比 所以这种方法是不切实际的 文献 12 中叙述了一种求取齐次变换矩阵的过程 过程如图 1 1 所示 这个算法要求第 一幅图像中检测出的四个点在第二幅图像中有对应的四个点 xI0 任取4点 计算M i 计算相关度 求取特征点 任取4点求取特征点 M xI1 图 1 1 基于特征的 8 参数求取过程 在齐次变换矩阵的求取过程中 可以分为两种情况 1 齐次变换矩阵主要是一个平移变换 图像绕光轴旋转程度很小 2 一般的情况 图像绕光轴的旋转程度大 经过多年的研究 产生了许多有效的处理第一种情况的方法 15 但是对于第二种情况 2 图像拼接技术研究 却没有多少有效的方法 在一些好的方法中 Dani 和 Chaudhuri 使用边之间夹角 16 可以处 理最大的旋转 Viola 使用共有信息方法 17 mutual information 可以处理的旋转 o 15 o 30 图 1 1 的算法采用的变换矩阵为 222120 121110 020100 hhh hhh hhh H 1 1 因此可以处理任意的绕光轴的旋转以及平移 该算法的缺点是计算量巨大 可能的H矩 阵的候选数量为 44 21 nn PP P为排列 表示第 k 幅图像中的特征点数目 例如 当 时候 需要计算的 k n64 1 n 70 2 nH数目为 14 103 3 470 70 464 64 个 此外每一个候 选的H 还需要计算相关度 一次匹配需要非常长的时间 因此需要开发一个更加高效的 算法来解决这个问题 本论文研究的主要内容是如何检测出角点 如何将检测出的特征点进行准确的配对 建 立对应关系 如何处理一定角度的旋转图像特征的配对 研究工作取得成果有 1 研究了 Harris 角点检测器的原理以及实现 2 提出了三角形配对算法 应用在变换矩阵的一次估算中 可以快速 准确的建立平 移和存在一定旋转关系的图像间的角点对应关系 当图像质量较好时 可以建立重 叠面积在 30 左右的图像间的特征对应关系 在一次估算的结果上 进行二次估 算 最终得出 8 参数的投影变换矩阵作为图像间的变换关系 3 研究了全景图生成过程中的相关问题 1 3 2 论文的内容安排论文的内容安排 本论文正文共分 5 章 第 1 章为绪论 主要阐述了图像拼接的用途 发展情况 图像拼接的核心内容 论文研 究的主要内容以及论文完成的工作等 第 2 章为角点检测 详细阐述了 Harris 角点检测器的由来 原理以及实现 并且对参数 选择进行了详细的测试比较 第 3 章为图像拼接 也是本文的核心内容 阐述了三角形配对法的原理以及二次估算的 步骤以及方法 本章中对三角形配对法进行了详细的测试 通过试验结果验证三角形配对的 的实际使用效果以及适用场合 第 4 章为图像融合 阐述了当图像几何变换关系确定之后生成全景图的步骤以及方法 第 5 章为总结 3 图像拼接技术研究 第二章 角点检测 2 1 引言引言 角点没有明确的数学定义 但人们普遍认为角点是二维图像亮度剧烈变化的点或是图像 边缘曲线上曲率极大值的点 这些点在保留图像图形信息的同时 可以有效的减少信息的数 据量 使其信息的含量很高 有效的提高了计算速度 有利于图像的可靠匹配 使得实时处 理成为可能 18 图 2 1 东南大学大礼堂 图 2 1 为对东南大学大礼堂照片进行角点检测的效果图 使用的是 Harris 角点检测器 阈值为 250 000 检测到的角点数目为 108 个 用绿色小方块标注 角点的类型和角点检测器的类型是非常多的 通常可以分为 3 类 19 基于轮廓的方法 基于亮度的方法 基于参量的方法 基于轮廓的方法是首先求取图形轮廓 随后在轮廓线上找寻曲率最大的点或者拐点 或 者做一些多变性近似 随后搜索交叉点 基于亮度的方法是直接从点的灰度数值里获取角点 信息 基于参量的方法是将参量化的亮度模型转换成一个信号进行处理 这种方法通常可以 提供亚像素级别的精度 但是只能用于 L 型的角 4 第二章 兴趣点检测 2 2 Harris 角点检测角点检测 2 2 1 Moravec检测器检测器 Moravec 角点检测器 20 是通过作用于图像中的一个局部小窗口来实现的 通过在图像中 对小窗口进行多方向的移动 可以获取图像亮度的变化情况 需要考虑 3 种情况 1 假如图像被窗口框住的块内数据变化很小 例如都为一个常数时 那么所有方向 的移动所得的结果变化都会很小 图 2 2 窗口 A 2 假如窗口横跨在边界上 顺着边界方向移动 所得的结果变化会很小 但是 当移 动方向与边界方向垂直时 所得结果变化会很大 图 2 2 窗口 C 3 假如窗口块内是一个拐角或者孤立点 那么所有方向的位移都会带来大数值的变 化 因此 可以依靠这个条件检测角点 图 2 2 窗口 B 图 2 2 Moravec 检测器原理 下面给出上述描述的数学定义 21 将图像亮度定义为I 由位移 yx 带来的变化E可 以定义为 vu vuvyuxvuyx IIwE 2 2 1 这里指定了图像窗口 w在指定矩形区域内为 1 矩形外部为 0 位移w yx 包括了 0 1 1 1 四组数值 因此 Moravec 的角点检测器可以简单的描述成在 中搜寻局部最大值 1 0 1 1 Emin 2 2 2 自相关检测器自相关检测器 Moravec 检测器的性能并不是很好 下面列出了检测器存在的问题 并给出了改进的方法 5 图像拼接技术研究 1 由于只考虑了一组在方向上相隔 o 45的离散位移 因此检测器响应 是各向异性的 要覆盖所有可能的位移可以在位移处使用解析展开 式 2 2 vu vu vu vuvyuxvuyx yxOyYxXw IIwE 222 2 这里 一阶导数近似为 x I IX 1 0 1 2 3 y I IY 1 0 1 2 4 因此对于小幅度位移 E可以写成 22 2 ByCxyAxyxE 2 5 这里 2 6 wXYC wYB wXA 2 2 2 响应是含有噪声的 因为窗口是矩形二值窗口 可以使用一个圆型的窗口进行平滑 例 如 Gaussian 窗 2 22 2 exp vu w vu 2 7 3 由于只考虑了最小的E 因此检测器对边的响应过于强烈 重新定义拐角的度量方法 考虑产生位移时E的变化量 对于小幅度位移 E可以简写成 TyxMyxyxE 2 8 这里 M为一个 2 2 的对称矩阵 2 9 BC CA M 注意到E和局部自相关函数有着紧密的联系 M描述的是它在起点处的形状 准 确的说 是 Taylor 展开式中的二次方项 令 为M的特征值 和局部自 相关函数的曲率成比例 具有旋转不变性 有三种情况需要考虑 a 和 的数值都很小 那么局部自相关函数就是平坦的 那么窗口中的图像 6 第二章 兴趣点检测 区域亮度近似恒定 例如 任意移动图像块 对E的数值只有很小的影响 如图 2 4 中的 flat 区域 图 2 4 和 空间分布图 b 和 中有一个值大 一个值小 那么自相关函数为山脊形的 只有沿着自 相关函数的形状移动 例如 沿着边移动 对E值的影响才会很小 这就表 明检测到边 如图 2 4 中的 edge 区域 c 假如 和 的数值都很大 那么自相关函数有一个尖峰 那么无论位移是什 么方向 都会造成E值的很大变化 如图 2 4 中的 corner 区域 2 2 3 角角 边响应函数边响应函数 定义R为角点响应 R只和 和 有关 可以通过计算M的特征数值来确定R 但 是这样做会由于需要计算矩阵特征值而变得复杂 因此可以考虑用 MTr和来代 替求解矩阵的特征值 MDet M使用式 2 9 表达 那么 BAMTr 2 10 2 CABMDet 2 11 角点响应的表达式为 2 kTrDetR 2 12 7 图像拼接技术研究 2 2 4 角角 边点的选取边点的选取 R数值与边 角区域的关系 0 0 0 p p p RFlatp REdgep RCornerp 2 13 式 2 13 中 表示点 表示该点的角点响应 p p R 假如角区域的点是 8 向最大的角点响应点 则该点可以作为候选的角点 假如点的响应为 负值 并且在x或者y方向是最小值 那么该点为边点 2 2 5 算法流程算法流程 2 2 5 1 Harris 检测器算法流程描述 步骤1 初始化 步骤2 取点 利用式 yx x yxI yxIyxX 1 0 1 2 14 y yxI yxIyxY 1 0 1 2 15 计算点 处的梯度 yx 步骤3 yxXyxXyxA 2 16 yxYyxYyxB 2 17 yxYyxXyxC 2 18 步骤4 重复步骤 2 至步骤 3 直至计算到图像中最后一点 步骤5 对A B C矩阵进行 Gaussian 滤波 步骤6 根据式 2 10 2 11 2 12 计算角点响应R 步骤7 根据约束条件进行角点选择 约束条件包括 1 是否为 8 向最大响应点 2 响应数值是否大于阈值 步骤8 结束 数据清理工作 8 第二章 兴趣点检测 2 2 5 2 流程图描述 开始 已处理所有点 取 x y 处点 x y 初始化 计算x方向偏导数Ix x y 计算y方向偏导数Iy x y A x y Ix x y Ix x y B Gaussian滤波C Gaussian滤波 计算角点响应R B x y Iy x y Iy x y C x y Ix x y Iy x y x x 1 y y 1 否 A Gaussian滤波 取 x y 处点 已处理所有点 x x 1 y y 1 为8向最大响应点 保存为角点 否 否 结束 响应R 阈值 否 图 2 5 Harris 角点检测流程图 2 2 6 参数实验结果与分析参数实验结果与分析 1 改变窗口的大小对检测效果的影响 在角点选择的过程中 需要选择一个局部最大响应数值点作为角点 改变窗口的大小 会影响角点的选择 窗口的含义如图 2 6 所示 下面是不同窗口选择的检测效果对比测试 测 试中的其他参数 06 0 1 检测阈值为最大响应的 2 9 图像拼接技术研究 图 2 6 窗口的含义 测试过程及结果 1 2 3 4 5 6 图 2 7 窗口大小对检测效果影响的测试结果 组图 表 2 1 窗口大小与检出的角点数目的关系表 图片序号 窗口大小 像素 角点数目 个 图 2 7 1 原始图像 图 2 7 2 3 3045 图 2 7 3 11 824 图 2 7 4 21 319 图 2 7 5 41 106 图 2 7 6 81 23 由表 2 1 可以得出结论 随着窗口的增大 检测到的角点数目下降 在应用中 窗口选 择过大 会导致检测出的角点数目过少 无法完成后续工作 窗口选择过小 会造成检测出 的角点数目过大 影响后续处理的效率 进一步测试后 得出的窗口大小与检测出的角点数 目的关系如图 2 8 所示 10 第二章 兴趣点检测 0 500 1000 1500 2000 2500 3000 3500 14710 1316 19 22 2528 31 34 3740 43 46 窗口大小 2x 1 兴趣点数目 图 2 8 角点数目与窗口大小的关系 2 改变阈值大小对于检测效果的影响 在角点检测中 需要选择一个阈值作为角点选择的依据 这个阈值可以预先指定 例如 指定阈值为 30 000 也可以使用某一个随图像变化而变化的数值 例如选所有点中的最大响 应数值的 1 作为阈值 下面测试给出的是阈值的增大对于角点数目的影响 阈值是根据最 大响应数值的 n 来计算的 n 是递增的 测试中其他参数为 06 0 1 窗口大小为 41 输入图像为图 2 7 1 1 2 3 4 6 图 2 9 阈值大小对角点数目影响结果 组图 表 2 2 阈值大小与检出的角点数目的关系表 图片序号 阈值大小 角点数目 个 图 2 9 1 1 120 图 2 9 2 2 106 图 2 9 3 10 76 图 2 9 4 50 12 图 2 9 5 99 1 11 图像拼接技术研究 进一步的测试可以得出阈值与角点数目的关系 如图 2 10 所示 0 20 40 60 80 100 120 140 16111621263136414651566166717681869196101 最大响应的x 兴趣点数目 图 2 10 角点 角点 数目与阈值间的关系 结论 通过测试 角点检测器参数为06 0 1 窗口大小为 41 阈值为最大响 应数值的 2 2 2 7 优化计算优化计算 在 Harris 角点检测器中 需要选择局部最大值作为角点 参照 2 2 6 1 节 传统的算法 步骤是 步骤1 以点 为中心 在窗口内遍历所有点 检查是否有点的 yx 响应大于点 假如有 则本点不为角点 假如没有 yx 则表明本点是局部最大值 此点为角点 步骤2 选择下一点 执行步骤 1 步骤3 重复步骤 1 2 直至执行到最后一点 图 2 11 计算区域 图 2 11 中的黄色区域为需要选择点进行计算的区域 绿色区域为为图像的一部分 这 是不需计算的区域 原因是为了避免计算溢出 对于大小为480640 像素的图像 当窗口 大小为 41 时 需要计算的点数为 264 000 这项计算是很耗时间的 思考之后 可以发现 搜索最大值的算法是可以优化的 当某一点为局部最大数值时 在以此点为中心的窗口中 将没有第二点的响应比此点大 也就是窗口内的其它点没有必要 做自身是否为最大响应的检索工作 如图 2 12 所示 图 2 12 搜索优化 灰色点不需要做最大数值搜索 12 第二章 兴趣点检测 优化后的算法为 步骤1 以点 为中心 在窗口内遍历所有点 检查是否有点的响应大于点 假如 有 则本点不为角点 假如没有 则表明本点是局部最大值 此点为角点 yx yx 将以此点为中心的搜索窗口内的点全部设置为忽略搜索点 步骤2 选择下一点 执行步骤 1 步骤3 重复步骤 1 2 直至执行到最后一点 优化结果 表 2 3 优化计算前后对比 图片 优化前需计算点数 优化后需计算点数 264 000 152 103 264 000 85 706 结果表明 优化计算可以大幅度减少计算量 加快了算法的运算速度 2 3 小结小结 角点检测 角点检测 是图像拼接的第一步 也是比较重要的一步 角点检测的质量直 接影响后续的拼接效果 本章对经典的 Harris 角点检测器做了详细的阐述 包括检测器的数 学原理以及检测器的算法实现过程 首先回顾了 Moravec 检测器 随后叙述了 Harris 的自相 关检测器 以及角点相应函数 给出了算法的文字描述以及流程图 接下来的一节给出了 Harris 检测的测试 首先测试了局部最大响应窗口大小的选取和阈值选择对于检测效果的影 响 为的是选择出一个合适的参数 随后测试了图像质量对检测效果的影响 包括图像亮度 变化以及图像旋转 本章最后叙述了如何对搜索最大响应数值的过程进行优化 13 第三章 图像拼接 第三章 图像拼接 3 1 引言引言 基于图像的特征的图像拼接 首先需要进行的是特征检测 随后需要进行的就是过程的 核心部分 拼接图像 拼接图像需要获取的是图像间的几何坐标关系 也就是需要知道一幅 图像通过怎样的平移和旋转可以与另一幅图像中的相似部分拼接在一起 图 3 1 拼接图像示例 寻找图像间的几何关系 实际上就是寻找一个变换矩阵 当图像特征点检测出来之后 接下来的工作就是如何利用这些特征点间的关系获取变换矩阵 问题的关键是特征点的配 对 仵建宁等提出一种最大数值法的特征匹配 22 他们首先在每幅图像中以每个特征点为 中心取一个 1212 NN大小的相关窗 然后以第一幅图像中的每个特征点为参考点在 第二幅图像寻找对应匹配点 匹配的依据是计算特征点相关窗之间的相关系数 WyxWyx Wyx yxIyxI yxIyxI C 2 2 2 1 21 3 1 式中 W是相关窗的大小 分别是第一幅与第二幅图像中特征点相关窗内像素 的灰度值 当第一幅图像中的某个特征点与第二幅图像中的所有特征点经过计算得到一组相 关系数时 他们选择这组相关系数中最大的相关系数所对应的特征点为这个点的匹配特征 点 由于这种方法匹配之后得到的匹配对中仍存在伪匹配对 随后他们也给出了消除伪匹配 的方法 但是这种方法的缺陷在于不能处理含有旋转关系的图像拼接 用式 3 1 计算含有旋 转关系图像的相关系数是有缺陷的 1 I 2 I 14 图像拼接技术研究 图 3 2 有缺陷的相关窗选择 原因就于相关窗的在 中的选择都是相同的 如图 3 2 所示 蓝色的框为正确的相关 系数计算窗口 红色的是有缺陷的选择方式 1 I 2 I 一种改进的方法是使用式 3 2 计算相关系数 WyxWyx Wyx yxIyxI yxIyxI C 2 2 2 1 21 3 2 3 3 1 y x H z Y X z Y y z X x 3 4 但是问题又随之而来 这种计算方式需要预先得到变换矩阵H 而H是在建立了角点 关系之后 计算而得到的 Zoghlami 12 提出的解决办法是在中任意取 4 点 在中任意取 4 点 计算变换矩阵 1 I 2 I H 然后利用式 3 2 计算相关系数 找出最佳的变换矩阵 这是解决办法 但是带来的问 题是极其巨大的计算量 两幅匹配图像 可能的H矩阵的候选数量为 44 21 nn PP P为排列 表示第 k 幅图像中的特征点数目 例如 当 k n64 1 n 70 2 n时候 需要计算的H数 目为 14 103 3 470 70 464 64 个 此外每一个候选的H 还需要计算相关度 相 关度的计算中包含乘除运算 进行一次匹配 假如使用普通的计算机进行运算 所需的时间 令人难以忍受 因此 下面提出了一个全新的方案 拼接图像分为两步进行 首先进行参数的一次估算 图像间的变换关系使用仿射坐标系来表示 然后进行参数的二次估算估算 图像间的变换关 系在投影坐标系中表示 参数的一次估算用于计算图像间的粗略位置关系 随后利用这个位 置关系 在两幅图像中有针对性地获取多组配对点 这里的配对点 很多文献中称为对应点 随后计算最终的变换矩阵 采用这种方法可以提高计算效率 缩短计算时间 15 第三章 图像拼接 初步计算位置关系 二次计算 确定最终位置 图 3 3 两步计算 3 2 图像拼接基础图像拼接基础 3 2 1 图像获取方式图像获取方式 图像获取方法的不同导致取得输入图像的不同 最终拼接结果也不同 图像获取由照相 机拍摄时的运动状态决定 一般有三种情况 一 照相机固定在三角架上 旋转照相机拍摄 二 照相机放置于一个滑轨上 平行移动照相机进行拍摄 三 是一种普通的情况 人手持照相机 站在原地拍摄四周 1 旋转照相机拍摄 在这种情况下放置照相机的三脚架在拍摄过程中一直在同一位置 拍摄时 照相机绕垂 直轴旋转 每旋转一定的角度 拍摄一张照片 理想的情况下 照相机不绕其光轴旋转 拍 摄得到一系列照片中相邻两张必须有部分重叠 重叠区域大小是图像拼接最重要的影响因 素 文献 6 建议相邻图像之间重叠比例达到 50 重叠比例越大 拼接就越容易 但是需 要的照片越多 旋转照相机拍摄由于照相机固定 不需要恢复过多参数 较容易实现 但是 拍摄图像不在一个平面上 需要投影到同一个平面上 这将会导致图像质量下降 一个解决 方法是使用短焦距 即广角镜头 2 平移照相机拍摄 平移照相机指的是照相机在一个平行于成像平面的方向上平移 在固定焦距的情况下 照相机放置在一个滑轨上移动拍摄 物体和照相机的距离远近 或者拍摄物体的大小的变化 都会影响到最后的拼接结果 这种情况的缺点是 拍摄的相片在一个平面上 全景图的三维 感觉不如旋转拍摄的 3 手持照相机拍摄 16 图像拼接技术研究 这种方法比较容易做到 手持照相机原地旋转拍摄 或按一定的路线平行于对象拍摄 但是 拼接手持照相机拍摄的照片是很困难的 因为在拍摄过程中 照相机的运动非常复杂 原地旋转拍摄类似于固定照相机旋转拍摄 但是角度控制 旋转控制都很差 沿一定路线移 动时 类似于平移拍摄 控制距离和保持相同的成像平面很困难 为了减少这些影响 可以 增加重叠比例 使照相机旋转角度 平移减小 因而减小相邻图像之间的不连续程度 4 存在的问题 最常见的问题就是相邻图像之间光强的变化较大 理想情况下 相同的区域应该有相同 的光强 但是因为光源变化或者照相机运动和光源平角的变化 导致光强的差异 另外一个 和光条件相关的问题是反光区域 例如镜子和闪亮金属 高亮光将会降低相应区域的对比度 场景中物体移动和拍摄时透镜引起的图像变形也将给对齐拼接带来困难 现有的方法一般限 制了照相机的运动 但是实际中拍摄的图像存在小视差 不同比例的缩放和大角度旋转 这 些都增加了对齐拼接的难度 3 2 2 坐标选择坐标选择 3 2 2 1 2D参数变换模型 基本变换有平移变换 平移加旋转变换 刚性变换 缩放变换 相似变换 仿射变换 投影变换 最复杂的是投影变换 平移变换平移变换 2D 平移可以写成txx 或者 xtIx 3 5 I是一个 22 的单位矩阵 1 yxx 是齐次的或者投影的 2D 坐标 旋转旋转 平移 平移 这种变换又称为 2D 刚性运动或者 2D 欧几里得平移 可以写成 或者 tRxx xtRx 3 6 这里 3 7 cossin sincos R 是一个正交矩阵 有IRRT 和1 R 比例旋转 比例旋转 又叫相似变换 可以表示成 x t t ab ba xtsRx y x 3 8 这里不再要求 相似变换不改变直线间的夹角 1 22 ba 17 第三章 图像拼接 仿射变换 仿射变换 仿射变换可以写成xAx A是一个任意的32 矩阵 例如 3 9 x a a aa aa x 12 02 1110 0100 投影变换 投影变换 这种变换 又称为透视变换或者齐次变换 xHx 3 10 其中 222120 121110 020100 hhh hhh hhh H 3 11 图 3 4 各种变换形式 从左至右 依次是原图 刚性变换 仿射变换 投影变换 3 2 2 2 二维变换进行图像拼接的可行性 为了完成 2 幅图像的无缝拼接 需要几何变换 因此用齐次坐标 wyx 表示平面上一 点 与其对应的笛卡尔坐标为 同理 3D 坐标系中的一点用齐次坐标表示为 对应得笛卡尔坐标为 wywx wzyx wzwywx 如果把相机理想化为针孔模型 那么 3D 坐标系中的一点 1 zyx在像平面上投影为 wyx 1 34 24 14 333231 232221 131211 z y x p p p ppp ppp ppp w y x 3 12 如果令 那么式 3 12 变换可以进一步简化为 0 z 18 图像拼接技术研究 1 333231 232221 131211 y x ppp ppp ppp w y x 3 13 两个二维点的变换可以表示为 1 333231 232221 131211 y x mmm mmm mmm w y x 3 14 由式 3 13 3 14 的一致的结构可以得到 对于两幅拍摄实际物体的图片 由于在成像 面上 因此图像间关系可以用式 3 13 表示 对照式 3 14 可得 一幅图像可以与另一 幅图像建立二维变换关系 证明了图像拼接的可能性 0 z 3 2 2 3 选择的变换坐标系 在接下来的工作中 第一步的位置初步估算中 参照式 3 9 中的仿射变换坐标系 建立 1100 121110 020100 y x aaa aaa w y x 3 15 写成 xAx 3 16 121110 020100 ayaxay ayaxax 3 17 这样A矩阵是一个33 的方阵 需要估算的参数 6 个 最终的变换矩阵为式 3 11 的投影参数矩阵 为了简化令1 22 h 这样得到 3 18 1 2120 121110 020100 hh hhh hhh H 综合式 3 14 得到 1 1 2120 121110 2120 020100 yhxh hyhxh y yhxh hyhxh x 3 19 这里H是的矩阵 需要估计的参数为 8 个 33 19 第三章 图像拼接 3 2 2 4 A矩阵参数的计算 综合式 3 15 和式 3 17 可知 当有 3 对点时便可以计算出 6 个参数的数值 设三对对应 点为与 111 yxp 111 yxp 与 222 yxp 222 yxp 333 yxp与 代入式 3 17 写成矩阵形式有 333 yxp 3 2 1 02 01 00 33 22 11 1 1 1 x x x a a a yx yx yx 3 20 3 2 1 12 11 10 33 22 11 1 1 1 y y y a a a yx yx yx 3 21 可以使用克莱姆法则计算未知参数 1 1 1 det 1 1 1 det 33 22 11 33 22 11 00 yx yx yx yx yx yx a 1 1 1 det 1 1 1 det 33 22 11 33 22 11 01 yx yx yx xx xx xx a 1 1 1 det det 33 22 11 333 222 111 01 yx yx yx xyx xyx xyx a 1 1 1 det 1 1 1 det 33 22 11 33 22 11 10 yx yx yx yy yy yy a 1 1 1 det 1 1 1 det 33 22 11 33 22 11 11 yx yx yx yx yx yx a 1 1 1 det det 33 22 11 333 222 111 12 yx yx yx yyx yyx yyx a 3 22 20 图像拼接技术研究 3 3 参数的一次估算参数的一次估算 3 3 1 三角形配对算法三角形配对算法 由 3 2 2 4 小节可知 只需要获得 3 组对应点 就可以计算出 1100 121110 020100 y x aaa aaa w y x 中的 现在的问题是如何获取这 3 组对应点 00 a 01 a 02 a 10 a 11 a 12 a 图 3 5 两幅角点检测结果图片 隐去图片 图 3 6 图 3 5 检测结果 附加两幅图片 图 3 5 给出了两幅图片的角点检测结果图 没有显示背景图片 从两幅图片中 几乎看 不出角点间有什么联系 看到的就是纷杂的点 但是假如给出了背景图 图 3 6 那么就 可以很容易的看出图片之间的关系以及角点间的关系 对于人类来说 直接给出角点 信息 量很小 很难找到角点间关系 即使花时间寻找角点间的关系 背景知识也是基于各种各样 的形状的顶点 而一旦给出了背景 则加大了信息量 很容易就可以找到对应关系 对于计 算机来说 角点只不过是一组数据 这组数据中的每一个数值对于计算机来说 除了物理存 储地点以及数值差异外 逻辑上没有任何区别 因此 只有加大这些数据的信息量 才能让 计算机有区别的处理它们 因此 这里选择在角点中建立三角形的方法加大信息量 选用三角形 首先因为三角形的三边结构 因此它是稳定的 其次 两个三角形 非等 边三角形 通过旋转 平移 只会有一种位置位置匹配关系 图 3 5 正方形有四种 矩形 21 第三章 图像拼接 两种 图 3 5 三角形通过旋转平移只有一种匹配关系 本节起始部分也提到 关键是要找到 3 组匹配点 采用了三角形对角点进行编排后 问 题转化为寻找三角形配对 配对好的三角形 每组三角形配对都可以提供 3 组匹配点 每组 配对可以计算一个变换矩阵 式 3 15 接下来需要通过测试变换矩阵来筛选配对三角形 选择一个最佳的配对 供二次计算使用 3 3 1 1 算法流程 步骤1 图像角点生成三角形 数组 图像角点生成三角形 数组 1 I 2 I 步骤2 三角形配对 步骤3 依次计算配对的变换矩阵 保存为 为序号 k Ak 步骤4 由计算相关系数 k A 步骤5 保存最佳的配对以及变换矩阵 100 121110 020100 aaa aaa Step1 生成三角形 Step2 生成配对三角形 Step3 计算变换矩阵 Step5 保存最佳 变换矩阵 Step4 计算相关系数 图 3 6 三角形配对法示意图 22 图像拼接技术研究 3 3 1 2 三角形的生成 三角形生成的步骤为 步骤1 将检测到角点保存为数组 1 T 步骤2 对做两份完全一致的拷贝 1 T 2 T 3 T 步骤3 从的i单元 的 1 T 2 T1 i单元 的 3 T2 i单元取角点数据组成三角形 步骤4 按要求对三角形进行判别 满足要求的存入三角形数组Tp 步骤5 重复步骤 3 4 直至2 i为数组最后一个单元 有种情况不能生成三角形 即 3 点在同一直线的情况 图 3 6 不能生成三角形的情况 这里 判断 3 点是否同一直线 分为两步进行 首先判断是否同行或者同列 随后判断 是否共直线 斜率相同 之所以这样做 是为了提高计算效率 因为计算斜率所需的计算 时间长于判断是否同行 同列 并且当同列时 计算斜率会发生溢出 为了使匹配关系唯一 三角形生成时 需要剔出等边三角形 此外为了加快下一步配对 时的速度 生成三角形后 对三角形的三条边进行了由长到短的排序 表 3 1 角点生成的三角形数目 图片 图片大小 像素 640 480 640 480 角点数目 112 119 三角形数目 9 627 10 649 23 第三章 图像拼接 3 3 1 3 三角形的匹配 三角形可供匹配的特征很多 例如三个内角的关系 三条边的关系 以及综合边角关系 这里利用的是三条边的边长进行三角形配对 即比较两个三角形的三条边长是否近似相等 假如是 则认为这两个三角形是配对三角形 之所以选择边长作为特征 首先是从计算速度上的考虑 边长是最可以最快计算的量 其次对于图像拼接来说 图像间必须要有重叠部分 在这个重叠部分中 绝大多数情况存在 可以按边长进行配对的三角形 配对的过程进行的步骤是 步骤1 取出图像 中的三角形数组 1 I 2 I 步骤2 从的三角形数组任取 1 个三角形 遍历三角形数组 按照匹配条件进行 配对搜索 保存搜索到的配对 1 I 2 I 步骤3 重复步骤 2 直至中所有的三角形都进行了配对搜索 1 I 步骤4 对所有配对计算相应的 6 参数变换矩阵 下面是对三角形配对进行的测试 图 3 7 中的两幅图像之间平移关系占有主导地位 两幅图像共可以生成 200 对配对 程序设置上限为 200 对 图 3 7 中对部分配对进行了示 例 图 3 8 是两幅存在平移和旋转关系的图像的配对示例 两幅图像个可以生成 67 对配对 图 3 8 示例了部分配对 配对 1 配对 2 配对 3 配对 4 图 3 7 平移关系占主导的图片间的三角形配对示例 24 图像拼接技术研究 配对 1 配对 2 配对 3 配对 4 图 3 8 含有旋转和平移关系的图像间的三角形配对 3 3 1 4 三角形的筛选 从图 3 7 和图 3 8 中可以发现 有些配对是不准确的 如图 3 8 中的配对 1 这些