第2章 特征点检测与匹配

智能驾驶与多维重建

第2章

特征点检测与匹配

1特征点检测与描述

2特征点匹配3深度学习特征点检测与匹配_x0008_4特征点检测与匹配的应用5案例：智能驾驶中的关键点检测与匹配_x0008_智能驾驶简介Harris角点检测通过协方差矩阵的特征值判断角点，对光照鲁棒但对尺度和旋转敏感。角点：局部区域灰度变化较大的点，区别于平坦区域和边缘。Harris原理：协方差矩阵M=[[I_x²,I_xI_y],[I_xI_y,I_y²]]。响应函数R=det(M)-k·trace(M)²。步骤：图像预处理→梯度计算→特征响应计算→非极大值抑制。优缺点：简单准确，对光照鲁棒；但对尺度/旋转敏感，弱纹理区域表现不佳。基于区域与基于尺度不变FAST/ORB计算快，SIFT具有尺度不变性但计算量大，适用于三维重建。FAST：候选点p为圆心构建离散圆，连续n个像素明显亮于/暗于p时检测为特征点。ORB：FAST+旋转不变BRIEF描述子，实时性和准确性平衡良好。SIFT：尺度空间构建→极值点检测→特征点定位→方向分配→128维描述子生成。SIFT优点：尺度/旋转/光照不变性，适合三维重建；缺点：计算量大。特征描述算法SIFT/SURF采用直方图描述子（128维），ORB/BRISK采用二进制描述子（高效存储匹配）。直方图描述子（SIFT）：特征点邻域生成→4×4子区域划分→每个子区域8方向梯度直方图→128维向量。二进制描述子（SteerBRIEF）：比较点对灰度值生成二进制字符串。SteerBRIEF引入Gabor滤波器和旋转调整，提高旋转鲁棒性。优缺点：直方图描述子精度高但计算量大；二进制描述子计算快、存储少，适合实时应用。特征点匹配特征匹配通过距离度量（欧氏/汉明）和匹配策略（最近邻/相互最近邻/距离比）建立特征对应关系。距离度量：欧氏距离（直方图描述子）、马氏距离、NCC、汉明距离（二进制描述子）。匹配策略：最近邻（简单但不稳定）、相互最近邻（对称约束，更稳定）、最近邻距离比（过滤不稳定匹配）。RANSAC过滤：随机采样+模型拟合，去除错误匹配。深度学习特征点检测与匹配深度学习方法在弱纹理/极端光照下表现优于传统方法，分为基于学习的检测、匹配和端到端三类。三类方法：①基于学习的特征检测（SuperPoint/R2D2/LIFT/ALIKE）；②基于学习的特征匹配（SuperGlue/LightGlue）；③端到端检测与匹配（LoFTR）。SuperPoint：编码器+两个解码器（兴趣点+描述子），自监督训练（兴趣点预训练→自标注→联合训练）。深度学习特征点检测与匹配深度学习方法在弱纹理/极端光照下表现优于传统方法，分为基于学习的检测、匹配和端到端三类。三类方法：①基于学习的特征检测（SuperPoint/R2D2/LIFT/ALIKE）；②基于学习的特征匹配（SuperGlue/LightGlue）；③端到端检测与匹配（LoFTR）。SuperGlue：注意力图神经网络+最优匹配层（Sinkhorn算法），优化特定图像对的描述子。LoFTR：局部特征提取→粗特征转换（自注意+交叉注意）→匹配→由粗到精细化，输出密集匹配。评价指标与应用案例特征点检测与匹配通过角点检测平均精度、可重复性、NNmAP、匹配得分等指标量化评估。评价指标：角点检测平均精度（精度-召回曲线面积）、定位误差（欧氏距离）、可重复性（匹配特征数/总检测数）、NNmAP、匹配得分、单应性矩阵估计。应用：三维重建（VIO/SLAM前端）、视觉重定位（地库泊车回环检测）、VR