计算机视觉 课件 第5章视觉特征配准

1第五章视觉特征配准§5.1传统配准方法§5.3深度学习方法§5.2几何配准方法§5.4光流估计§5.5场景流估计2§5.1传统匹配方法一、匹配概述二、匹配距离三、匹配策略四、评价准则3特征匹配概述特征匹配基于图像局部特征而非像素信息进行匹配，提升鲁棒性应用场景图像配准、目标检测、三维重建、人脸识别实现流程在图像中构建特征描述子计算特征描述子之间的距离根据应用场景选择合适的匹配策略评价匹配效果4匹配距离欧氏距离最常见的距离度量方式，计算两个特征向量在欧氏空间中的距离，应用于SIFT和SURF等方法中，用公式可描述为:欧氏距离直观、易于理解，但在高维空间中，所有数据点之间的距离会趋于一致马氏距离一种考虑变量间关系的距离计算方式，计算过程中考虑数据的协方差。马氏距离的公式描述为：马氏距离可更好反映数据的真实距离，然而计算量较大，需要计算和维护协方差矩阵5匹配距离汉明距离常用于计算二进制特征描述符之间的距离，如ORB和BRIEF等。汉明距离是两个二进制字符串不同位的个数，计算效率非常高，因此ORB和BRIEF特征描述子的匹配速度比SIFT和SURF要快对噪声和异常值的鲁棒性较差余弦距离两个特征向量之间的角度，对向量的长度不敏感，只关注向量的方向，常用于文本相似度计算，可用公式描述为：余弦距离不能很好地反映特征的实际距离，特别是在特征包含大小信息时6匹配策略鲁棒匹配策略：提高匹配的稳定性，能更好应对图像特征变换使用鲁棒描述符：例如SIFT和SURF描述符通过尺度空间极值点的选取和主方向的计算，对尺度和旋转变化有良好鲁棒性；ORB描述符则通过旋转不变性和抗噪声性的哈希编码方法，提供了更强的鲁棒性；部分改进的描述符如RootSIFT和CS-LBP等也可以提供更强的鲁棒性最近邻比率策略：考虑最近邻和次近邻的距离比例，以排除特征具有多个近邻情况7鲁棒匹配策略：提高匹配的稳定性，能更好应对图像特征变换RANSAC(1)选择模型和随机样本点拟合模型；(2)计算拟合曲线一定误差范围内的点；(3)重复(1),(2)，点最多的拟合曲线为最终结果。(1)(2)重复最终结果

匹配策略8匹配策略快速匹配策略：提升匹配的高效性，能更快获取特征匹配结果二进制描述符：如BRIEF、ORB等，通过计算图片的二进制哈希值来降低特征的维度，可极大提高匹配速度，这种方法的准确性可能会略低于使用浮点数描述符的方法BRIEF特征特征点局部随机像素对二值化9匹配策略快速匹配策略：提升匹配的高效性，能更快获取特征匹配结果优化搜索空间结构优先级搜索队列：每个元素都有一个优先级值，元素的入队和出队操作都基于优先级值，可以高效处理大规模特征匹配问题多维搜索树：例如KD树，可以用来对特征点进行索引，从而加快匹配速度10评价准则匹配算法的性能评价一般从以下多方面综合考虑准确性：通过计算特征点之间的距离/相似度来评估匹配的准确性，较小的距离或较高的相似度通常表示更好的匹配结果可靠性：考虑匹配特征点局部几何一致性，通过计算特征点之间的几何约束来判断匹配的可靠性，一致性较高的匹配通常更可靠

一致性：通过检查不同图像或视频帧中的匹配结果，来评估特征匹配的一致性，分为空间一致性和时间一致性鲁棒性：评估特征匹配方法对于图像变形、噪声、遮挡等变化情况的鲁棒性，鲁棒性高的方法能在各种场景下都能得到准确的匹配结果适应性：又称泛化性，指特征匹配方法是否能在不同场景、不同条件下得到良好的性能表现11§5.2几何配准一、典型方法二、优化方法三、评价指标四、改进思路12传统几何配准方法传统几何配准是一种将多个点云数据集之间进行对齐和匹配的方法点云目标跟踪：实现运动三维目标的匹配三维建模和三维重建：不同视角2D/3D的配准地图制作和地理信息处理：大规模视觉信息的精准对齐点云目标跟踪三维重建高精地图13传统几何配准方法刚体变换配准刚体变换配准是传统几何配准中常用的一种配准方法，其核心是刚体变换模型，即平移、旋转和尺度变换的组合，其主要流程可描述为：

(1)特征提取：从待配准的点云数据集中提取特征描述子

(2)初始变换估计：利用刚体变换模型估计初始平移、旋转和尺度变换参数(3)变换参数优化：利用优化算法，获得更准确的配准结果(4)变换应用：将优化后的变换参数进行坐标转换和插值多帧点云配准14传统几何配准方法刚体变换配准刚体变换配准的优点在于简单直观，刚体变换组合适用于大多数基于几何形状的配准任务，因此也适用于许多实际应用场景。相比于其他更复杂的变换模型，刚体变换模型的计算复杂度较低，能在较短的时间内完成配准任务刚体变换配准的缺点在于仅适用于处理物体的刚性变换，对于非刚性变形的配准任务效果有限，而且其精度高度依赖于初始变换参数的准确性，不准确的初始估计可能导致最终配准结果的偏差15传统几何配准方法相似性变换配准相似性变换包括平移、旋转和尺度变换，同时允许有一个额外的相似性变换参数，即非均匀尺度变换。较刚性变换配准有更高的灵活性，但仍然无法处理非刚性变形配准任务仿射变换配准：仿射变换是刚体变换和相似性变换的扩展，包括平移、旋转、尺度和错切变换，能够更准确地描述物体的几何变换。进一步增加变换的灵活性，然而同样无法处理非刚性变换的配准任务相似性变换仿射变换16传统几何配准方法非线性变换配准非线性变换配准是针对非刚性变换配准任务而提出的，其变换参数使用非线性的变换如多项式变换和样条插值以及弹性变形多项式变换指变换前后的点坐标符合多项式，以一个二维多项式变换为例，假设变换前的点坐标为(x,y)，变换后的点坐标为(x’,y’)，则其配准过程为：样条插值变换是一种基于插值函数的方法，它通过连接一系列已知数据点来构建一个光滑的曲线或曲面。弹性变形模型使用弹性体的物理模型来描述变换关系。一般而言，弹性变形模型的参数定义为弹性体的材料属性、形状和边界条件等。具体的参数定义会根据所采用的弹性变形模型而不同。17传统几何配准优化方法传统几何配准方法需要初始化变化参数，然后进行参数优化以刚性变换配准为例，假设配准的两个坐标分别为p和p’，则我们的目标就是去估计下式中的R和t：优化的过程称为迭代最近点ICP(IterativeClosestPoint)18传统几何配准评价指标假设两对配准的点集分别为x=(x1,x2,...,xn)和y=(y1,y2,...,yn),其中n为配准点集的点数量，则准确性估计有以下几种指标：均方根误差：计算配准后数据集中所有点与参考数据集中对应点之间的平均距离的平方根最大点对距离：计算每对对应点之间的距离，并取其中的最大值互信息：基于信息论的概念，用于衡量两个随机变量之间的相关性19传统几何配准评价指标实际应用中数据集往往包含噪声、离群点或其他不确定性因素，对配准结果产生显著影响，因此评估配准方法的鲁棒性非常重要稳定性分析：通过对数据集进行随机扰动或重复采样，并比较扰动前后或不同采样之间的配准结果的一致性。常见的稳定性分析方法包括重复配准、bootstrap采样和蒙特卡洛仿真20传统几何配准评价指标实际应用中数据集往往包含噪声、离群点或其他不确定性因素，对配准结果产生显著影响，因此评估配准方法的鲁棒性非常重要噪声鲁棒性分析：通过在数据集中添加不同强度和类型的噪声，然后比较配准结果的稳定性和准确性。常见的噪声鲁棒性分析方法包括高斯噪声、白噪声、椒盐噪声等椒盐噪声高斯噪声21传统几何配准评价指标实际应用中数据集往往包含噪声、离群点或其他不确定性因素，对配准结果产生显著影响，因此评估配准方法的鲁棒性非常重要不确定性分析：通过考虑数据的不确定性或测量误差，并分析其对配准结果的影响。常见的方法包括误差传播模型、贝叶斯推理和蒙特卡洛模拟。22传统几何配准改进思路处理数据中的噪声和离群点等信息可以有效提高配准方法的性能通过数据滤波去除高频噪声和异常值通过数据平滑减小数据中的不规则变化和波动通过缺失值处理来处理数据中的无效和缺失值23传统几何配准改进思路处理数据中的噪声和离群点等信息可以有效提高配准方法的性能通过基于聚类的方法(如DBSCAN、LOF)、基于距离的方法(如Mahalanobis距离、KNN)等将离群点从数据集中去除通过加权方法(如逆距离加权、基于核函数的加权、基于概率模型的加权等)对数据点进行加权处理，降低离群点的权重，减小其对配准结果的影响24传统几何配准：应用举例残缺人脸识别自遮挡互遮挡25传统几何配准：应用举例基于特征点几何匹配的残缺人脸识别特征子集合匹配一对一特征匹配非仿射变换匹配26传统几何配准：应用举例基于拓扑保留结构化匹配的残缺人脸识别特征建图图匹配问题27传统几何配准：应用举例基于拓扑保留结构化匹配的残缺人脸识别特征建图图匹配问题28§5.3深度学习方法一、概述二、基于图像的深度学习配准三、基于点云的深度学习配准四、基于多模态的深度学习配准29深度学习配准传统几何配准在面对更复杂的应用场景上存在一些限制依赖手工设计的特征：在复杂场景或者低质量帧中难以准确提取匹配特征对图像变形敏感：在面对大尺度、非刚性的帧变形时表现较差运算复杂度高：需要进行迭代优化或匹配搜索，无法满足实时性效率要求对噪声和遮挡敏感：在面对帧噪声或者部分遮挡的情况下容易受到干扰深度学习方法自动学习帧之间的关系，可克服传统方法局限性30基于图像的深度学习配准基于图像的深度学习配准方法是通过引入深度学习模型，根据输入的图像直接输出配准的变换参数（变换矩阵，变形场等）31基于图像的深度学习配准模型架构Jaderberg等人于2015年提出的STN(SpatialTransformerNetworks)最先提出通过CNN学习出输入图像的配准变换参数，其流程如下：（1）通过定位网络学习从输入图像中提取特征，并生成变换参数；（2）网格生成器使用这些参数生成标准空间中的网格；（3）利用输入图像和生成网格对输入图像进行采样，生成经几何变换的输出。通过优化模型架构，增加特殊模块，可以使模型适应不同任务32基于图像的深度学习配准训练方法正则化方法：旨在约束变形场的学习，常见有一致性正则化和空间正则化一致性正则化：通过比较待配准帧和经过前向反向变形场得到的帧进行一致性损失计算空间正则化：通过给予不同空间位置不同的权重来提供有效的空间先验一致性正则化空间正则化33基于图像的深度学习配准训练方法弱监督方法：使用其他标签来训练模型，减少对标签空间变换的依赖具体而言，引入如分割掩码实例掩码或者关键点来作为其他标签，然后通过模型预测的空间变换对其他标签进行变换，然后最小化待配准帧和参考帧在这些标签上的损失Hu等人于2018年首次采用了弱监督方法进行训练，将扭曲后的标签作为输入，图像仅作为神经网络的输入，不直接影响损失函数，削弱了网络对标签的依赖34基于图像的深度学习配准训练方法无监督方法：仅需要待配准的图像对即可以训练模型参数最简单的一种无监督方法是利用空间变换网络STN，STN网络本身就是一个变形场，只需要通过STN对待配准帧进行变换，计算与参考帧的相似度损失进行优化例如，右图这个示例采用卷积自编码器将图像编码为特征向量后再进行转换，该方法证明了基于全连接神经网络的无监督深度学习模型可以获得令人满意的变形医学图像配准性能35基于点云的深度学习配准点云深度学习配准大多数遵循输入点云并输出配准变换参数的范式点云数据是不规则数据，一些方法对点云体素化后提取特征将点云进行体素化后，使用1*1*1的卷积神经网络快速提取有效几何特征对点云局部补丁进行对齐、体素化并使用3D卷积进行处理将体素划分为八叉树，进行稀疏卷积提取特征36基于点云的深度学习配准PointNetLK通过PointNet提取点云的全局特征向量通过LK算法来跟踪全局特征向量之间的位移，进行优化由于使用了全局特征向量来代替整体点云，因此大大减少了计算量，使得PointNetLK的运算速度十分高效37基于多模态的深度学习配准在不同模态的数据之间进行配准，如将MRI图像与CT图像进行配准多模态配准面临的挑战不同模态的数据在形态上存在差异，如医学图像配准中器官形状、大小、位置，点云与图像的密度差异等多模态数据集中，不同模态的样本数量可能不平衡，导致在训练过程中某些模态的样本被较少使用38基于多模态的深度学习配准DeepI2P提出了一种图像点云的多模态配准方法该方法将配准问题优化为分类问题以及反摄像机投影优化问题其设计了一个分类网络来判断点云中的每个点是否在摄像机的视锥内分类后将视锥内的点通过反摄像机投影求解器来估计最终的配准变换参数39§5.4光流估计一、Lucas-Kanade光流法二、代价体积三、基于深度学习的光流估计40光流估计

41LK光流法Lucas-Kanade光流法LK光流法，也称为Lucas-Kanade方法，是一种经典的光流估计算法基于亮度恒定假设和空间一致性假设来估计图像序列中物体的运动适合估计小窗口内的平滑运动，但不适合处理大范围复杂运动场景42LK光流法

43LK光流法

44代价体积

45代价体积

46基于深度学习的光流估计FlowNetFlowNet是深度学习在光流估计领域的开创性工作之一使用卷积神经网络（CNN）直接从图像对中学习光流预测，并提出了两种网络结构，分别为FlowNetSimple和FlowNetCorr47基于深度学习的光流估计PWC-Net核心思想来自于三个关键概念：图像金字塔，光流映射和代价体积图像金字塔：使用了一个特征金字塔来逐层处理图像光流映射：网络在每一层使用了前一层的光流估计结果来映射第二帧图像，使之对齐到第一帧图像，每一层都是在上一层的基础上对光流进一步改进48基于深度学习的光流估计RAFT高效的代价查找以及轻量化循环网络，以高分辨率维护并更新光流场在每层金字塔中一定范围的邻域内取代价值，并将所有层的结果拼接起来在每轮循环中，利用上一轮循环预测光流将源帧像素映射到参考帧中49§5.5场景流估计一、基于图像的场景流估计二、基于点云的场景流估计50场景流估计场景流估计场景流是光流概念的一个扩展，光流仅仅描述了图像平面上的像素运动，而场景流则包含了场景中每个点在三维空间中的运动矢量输入形式上，光流估计为图像序列，场景流估计是图像