影像匹配基础理论与算法

第四章影像匹配基础理论与算法 一 影像相关原理二 影像相关的谱分析三 数字影像匹配基本算法四 最小二乘影像匹配五 特征匹配 主要内容 第一节影像相关的基本原理 摄影测量学 第五章 相关函数电子相关光学相关数字相关 主要内容 一 相关原理 影像相关是利用互相关函数 评价两块影像的相似性以确定同名点 影像匹配 示意图 互相关函数 相似程度 同名点 目标区 搜索区 影像匹配 同名点寻找 二 相关函数 两个随机信号x t 和y t 的互相关函数定义为 均值 估计值 当x t y t 时 自相关函数 均值 估计值 自相关函数是偶函数 自相关函数在 0处取得最大值 三 电子相关 图5 1 1电子相关 四 光学相关 光的干涉和衍射 傅立叶变换特性 相干光学计算机 相干光学相关系统 三个傅立叶透镜L1 L2 L3及激光源与光电倍增管等器件组成 五 数字相关 1 二维相关 利用计算机对数字影像进行数值计算完成影像的相关 目标区 搜索区 相似性测度 2 一维相关 在核线影像上 只需要进行一维搜索 目标区 搜索区 核线匹配 第二节影像相关的谱分析 摄影测量学 第五章 影像的功率谱估计相关函数估计金字塔影像的建立 主要内容 一 影像相关的谱分析 1 维纳 辛钦定理 随机信号的相关函数与其功率谱是一傅立叶变换对 2 影像功率谱的估计 x t 的自功率谱 x t y t X f Y f 两个随机信号 x t 与y t 的互功率谱 其中X f 为X f 的复共轭 2 影像功率谱的估计 航空影像功率谱近似呈指数曲线状 标准化 3 功率谱的估计函数 4 相关函数的估计 使R 0 1 得 相关函数的估计 S f 较平缓 高频信息较丰富 相关函数R 较陡峭 相关精度高 拉入范围较小 出错率高 分析的结果 相关函数R 较平缓 相关精度较差 功率谱S f 较陡峭 低频信息占优势 拉入范围较大 出错率低 二 金字塔影像相关 对二维影像逐次进行低通滤波 增大采样间隔 得到一个像元素总数逐渐变小的影像序列 将这些影像叠置起来颇像一座金字塔 称为金字塔影像结构 从粗到精的相关策略 分频道相关 多级相关 金字塔影像建立 每2X2 4个像元平均为一个像元构成第二级影像 在第二级影像的基础上构成第三级影像 四像元平均 九像元平均 金字塔影像层的确定方法 原始影像称第零层 第一层影像每一像素相当于零层 l l l个像素 第k层影像每一像素相当于零层的 l l k个像素 由影像匹配窗口大小确定金字塔影像层数 w INT n lk 0 5 l w 影像长度 由先验视差确定金字塔影像层数 最大左右视差 左右搜索距离 第三节影像匹配的基本算法 摄影测量学 第五章 基于像方的匹配算法基于物方的匹配算法影像匹配的精度 主要内容 影像匹配实质上是在两幅 或多幅 影像之间识别同名点 一 常见的五种基本匹配算法 同名点的确定是以匹配测度为基础 1 相关函数 矢量数积 R p0 q0 R p q p p0 q q0 若R p0 q0 R p q p p0 q q0 则p0 q0为搜索区影像相对于目标区影像的位移参数 若 则c0 r0为搜索区影像相对于目标区影像的位移行 列参数 对于一维相关应有r 0 离散灰度数据对相关函数的估计公式为 矢量X与Y的数积 R是y1 y2 yN的线性函数 它是N维空间的一个超平面 当N 2时 R x1yl x2y2 X Y X Y cos max Y cos max 相关函数最大 即矢量X与Y的数积最大 等价于矢量Y在X上的投影最大 2 协方差函数 矢量投影 若C p0 q0 C p q p p0 q q0 则p0 q0为搜索区影像相对于目标区影像的位移参数 C c0 r0 C c r c c0 r r0 则c0 r0为搜索区影像相对于目标区影像的位移行 列参数 矢量的数积 协方差测度等价于在上投影最大 在二维空间中是平行于 或E 的一条直线 减去信号的均值等于去掉其直流分量 当两影像的灰度强度平均相差一个常量时 应用协方差测度可不受影响 3 相关系数 矢量夹角 若 p0 q0 p q p p0 q q0 则p0 q0为搜索区影像相对于目标区影像的位移参数 相关系数的实用公式为 等价于矢量X 与y 的夹角最小 取值范围满足 4 差平方和 差矢量模 若S2 c0 r0 S2 c r 则c0 r0为搜索区影像相对于目标区影像的位移行 列参数 灰度向量X与Y之差矢量 差平方和最小等于N维空间点Y与点X之距离最小 二维平面上以 x1 y2 为中心 边长为 对角线与坐标轴平行的一个正方形 二维平面上的一个圆 5 差绝对值和 差矢量分量绝对值和 若S c0 r0 S c r c c0 r r0 则c0 r0为搜索区影像相对于目标区影像的位移行 列参数 灰度矢量X与Y之差矢量之分量的绝对值之和 当N 2时 二 基于物方的影像匹配 VLL法 影像匹配的目的是提取物体的几何信息 确定其空间位置 能够直接确定物体表面点空间三维坐标的影像匹配方法被称为 地面元影像匹配 在物方有一条铅垂线轨迹 它在影像上的投影是一直线 铅垂线轨迹法 VLL VerticalLineLocus VLL法影像匹配示意图 A 在铅垂线上 地面 A 那一个点正确 具体步骤 给定地面点的平面坐标 X Y 与近似最低高程Zmin Zi Zmin i Z高程搜索步距 Z可由所要求的高程精度确定 计算左右像坐标 xi yi 与 xi yi 分别以 xi yi 与 xi yi 为中心在左右影像上取影像窗口 计算其匹配测度 将i的值增加1 重复 2 3 两步 得到 0 1 2 n取其最大者 k k max 0 1 2 n 利用 k及其相邻的几个相关系数拟合一抛物线 以其极值对应的高程作为A点的高程 相关系数值 S S顶点 i 2 i 1 i 2 i 1 影像匹配 相关 即使在定位到整像素的情况下 其理论精度也可达到大约0 3像素的精度 三 影像匹配精度 整像素相关的精度 半个像素 误差服从内的均匀分布 为像素大小 用相关系数的抛物线拟合提高相关精度 f s A B S C S2 相关系数值 S S顶点 i 2 i 1 i 2 i 1 抛物线顶点 取相邻像元3个相关系数进行抛物线拟合 相关系数抛物线拟合可使相关精度达到0 15 0 2子像素精度 第四节最小二乘法影像匹配 摄影测量学 第五章 最小二乘法影像匹配的原理单点最小二乘法影像匹配最小二乘法影像匹配精度 主要内容 一最小二乘影像匹配原理 最小二乘影像匹配 leastSquaresImageMatching 影像匹配可达到1 10甚至1 100像素的高精度 优点如下 非常灵活地引入各种已知参数和条件 从而可以进行整体平差 解决 单点 的影像匹配问题 求 视差 直接解求其空间坐标 同时解决 多点 影像匹配或 多片 影像匹配 引入 粗差检测 大大地提高影像匹配的可靠性 灰度差的平方和最小 V 仅仅认为影像灰度只存在偶然误差 误差方程式 照明及被摄影物体辐射面的方向大气与摄影机物镜所产生的衰减摄影处理条件的差异以及影像数字化过程中所产生的误差等等 1 辐射畸变 摄影机方位不同所产生的影像的透视畸变影像的各种畸变竖直航空摄影的情况下 地形高差则是几何畸变的主要因素 2 几何畸变 在影像匹配中引入这些变形参数 同时按最小二乘的原则 解求这些参数 最小二乘影像匹配的基本思想 二 单点最小二乘影像匹配 两个二维影像之间的几何变形 不仅仅存在着相对移位还存在着图形变化 x2 y2 灰度畸变 几何变形 几何变形 线性化误差方程式 初值分别为 h0 0 h1 1 a0 0 a1 1 a2 0 b0 0 b1 0 b2 1 灰度是按规则格网排列的离散阵列 且采样间隔为常数 可被视为单位长度 偏导数均用差分代替 几何改正 重采样 辐射畸变改正 是否迭代 计算最佳匹配的点位 计算参数值 结束 左窗口 右窗口 最小二乘法匹配流程图 1 几何变形改正 2 重采样 具体步骤 3 辐射畸变改正 h0 h1 g2 x2 y2 4 解求变形参数的改正值 5 停机条件 6 计算最佳匹配的点位 匹配精度取决于影像灰度的梯度 为了进一步提高其可靠性与精度 例如 附带共线条件的最小二乘相关以及与VLL法结合的最小二乘影像匹配方法都得了广泛的研究 数字摄影测量学 三仅考虑辐射的线性畸变的最小二乘匹配 相关系数 误差方程 有n个像素点时误差方程 法方程式 对g1 g2中心化处理 相关系数 vv是噪声的功率 g12为信号的功率 信噪比 相关系数与信噪比之间的关系 传统的算法采用目标区相对于搜索区不断地移动一个整像素 搜索最大相关系数的影像区中心作为同名像点 在最小二乘影像匹配算法中 可引入几何变形参数 直接解算影像移位 四 仅考虑影像相对移位一维最小二乘匹配 假设两个一维灰度函数g1 x g2 x 除随机噪声外 g2 x 相对于g1 x 只存在零次几何变形 移位量 x 灰度函数的导数g 2 x 可由差分代替 误差方程线性化 用灰度差分表达的误差方程式 解得影像的相对移位 五 最小二乘影像匹配的精度 最小二乘匹配算法 根据法方程式系数矩阵的逆矩阵 求得其精度指标 n为目标区像元个数 右边是的无偏估计 信噪比 方差 相关系数与信噪比之间的关系 相关系数愈大则精度愈高信噪比愈大 则匹配的精度愈高影像的纹理结构有关 即愈大 影像匹配精度愈高 可以得到一些很重要的结论 第四节特征匹配 摄影测量学 第五章 特征匹配的概念基于特征点的影像匹配策略跨接法影像匹配 主要内容 一特征匹配概念 灰度匹配 AreaBasedImageMatching 特征匹配 FeatureBasedMatching 计算机界 PrimitiveBasedMatching 当待匹配的点位于低反差区内 1 特征匹配使用的几种场合 目的只需要配准某些点线或面 在城市中大多数对象是人工建筑物 2 特征匹配步骤 特征的匹配可以分为点 线 面 特征匹配 特征提取 特征描述 二 基于特征点的影像匹配的策略 1 特征提取 将特征点分成几个等级 不同的目的提不同特征点 均匀分布 随机分布 特征点的分布有两种形式 2 特征点的匹配 二维匹配与一维匹配 影像方位参数未知时 必须进行二维影像匹配 建立影像模型 形成核线进行一维匹配 3 匹配的备选点选择方法 对右影像也进行相应特征提取 右影像不进行特征提取 右影像不进行特征提取 不将所有的点作为可能的匹配点 4 特征点的提取与匹配的顺序 深度优先 广度优先 5 匹配的准则 运用一定的相似性测度 一般还可考虑特征的方向 周围已匹配点的结果 6 粗差的剔除 小范围内用倾斜平面模型进行视差拟合 二 跨接法影像匹配 不顾及几何变形作 粗匹配 后用其结果作几何改正再匹配 几何变形 影像匹配 几何改正 影像匹配 几何改正与影像匹配 几何改正 影像匹配 优点 最小二乘影像匹配将影像匹配与几何改正作为参数同时解算 1 特征提取 特征定义为一个 影像段 由三个特征点组成 一个灰度梯度最大点Z 两个 突出点 梯度很小 S1 S2 三个特征点的像素序号保留S1 S2之灰度差 Z s1 s2 2 构成跨接法匹配窗口 Fb Fe Fb 窗口 Fe 窗口 核线 S1 S2 Z S1 Z S2 跨接法影像匹配 Fb Fe 左窗口 右窗口 Fb 1 2 3 F