全景图像拼接算法2_1

内容提要 图像拼接简介图像拼接的主要步骤摄像机运动的投影模型 projectivemodel 图像的对齐 registration 图像的合成 blending 图像拼接试验 图像拼接简介 什么是图像拼接 将多幅在不同时刻 从不同视角或者由不同传感器获得的图像经过对齐然后无缝地融合在一起 从而得到一幅大视场 高分辨率图像的处理过程 该图像被称为全景图 图像拼接简介 传统全景图 panorama 是由在一个固定位置上以不同角度拍摄到的一系列图像拼接而成的大视场图像 特点 没有或只有轻微的运动视差多重投影拼接图 multi perspectivemosaic 是由在一些不同位置上拍摄到的一系列图像拼接而成的大视场图像 特点 存在较大的运动视差 motionparallax 图像拼接简介 图像拼接简介 图像拼接中的几个主要问题 使用图像数据和摄像机模型对几何失真进行校正 使用图像数据及摄像机模型进行图像对齐 消除拼接图像中的接缝 摄像机运动模型 在拍摄过程中由于摄像机镜头的运动 使得拍摄到的相邻两幅图像中的景物会出现几何形变 通过寻找能够恰当地将一幅图像与另一幅图像对准的几何变换来将两幅图像对齐 这些变换被称为对应 homography 换句话说 这些几何变换是一种映射 两幅有重叠区域的图像 其中一幅图像重叠区域中的一个点经过这种几何变换将被映射到另外一幅图像重叠区域中的某个点上 这样这两个点形成了对应关系 在固定位置拍摄的条件下 我们通常使用8 参数运动模型以及其简化形式来概括或计算这些几何变换 摄像机运动模型 homography 摄像机的8 参数运动模型 常见的几种几何变换 平移 translation 旋转 rotation 水平切变 horizontalshear 投影 projection 8 参数运动模型 假设和分别是一个象素点的新旧坐标 一个二维仿射变换可以写为 或是尺度和旋转垂直切变水平切变 8 参数运动模型 仿射变换在统一坐标系下可以用一个矩阵相乘的形式来表示 当引进尺度参数W后 就得到了8 参数模型 8 参数运动模型 平移 刚体 仿射以及透视变换对应的变换矩阵M的形式 图像对齐 图像对齐找出两幅图像之间最优的空间位置和色彩之间的变换关系 使一幅图像中的点最优地映射到另一幅图像中 它是图像拼接过程中的主要任务 图像对齐方法 所使用的图像特征特征点频域灰度值优化算法非线性最小二乘傅立叶变换小波变换动态规划遗传算法 对齐算法流程 投影到统一坐标系 初始变换矩阵M 最终变换矩阵M 图像合成 非线性最小二乘法进行优化 初始变换矩阵的获取 初始变换矩阵M可以通过提取特征点或者在频域上计算两幅图像的相位相关等方法来得到 MATLAB中内建有cpselect函数 该函数允许用户在将要拼接的两幅图像的重叠区域中手工选取一定数量的匹配特征点对然后自动给出两幅图像之间的初始变换矩阵 优化目标函数 假设I x y 和I x y 是两幅需要对齐的图像 这种方法就是要使I x y 和I x y 的重叠区域中所有相应象素i的强度值之差的平方和最小 即 L M非线性最小二乘算法 1 对于未对齐图像中 x y 处的象素点 a 计算它在基准图像中的位置 L M非线性最小二乘算法 cont b 计算误差梯度 c 计算Hessian矩阵A和加权梯度向量b 其中 L M非线性最小二乘算法 cont 2 求解方程并且更新变换矩阵3 检查误差E的变化 如果增大 则适当地增加 重新计算一个 m 然后重复步骤2 如果减小 则适当地减小 重新计算 m 然后重复步骤2 4 不断进行迭代计算直到强度差E低于某一门限或执行完一定的次数为止 拼接实验 1 后续工作 改进图