计算机视觉 课件 第4章视觉特征提取

1第四章视觉特征提取§4.1点与块特征提取§4.3形状特征提取§4.2边缘特征提取2本章脉络视觉特征提取点与块特征提取自相关函数自适应非最大抑制梯度位置方向直方图尺度不变特征变换边缘特征提取边缘提取算子Roberts算子Prewitt算子Sobel算子Laplacian算子边缘连接问题形状特征提取霍夫变换消失点检测圆的检测3§4.1点与块特征提取一、自相关函数二、自适应非最大抑制三、尺度不变特征变换四、梯度位置方向直方图4点与块特征提取点与块特征提取在计算机视觉中应用广泛，主要用于在不同的图像之间寻找对应的特征点，从而进行有效的匹配一类方法：利用局部搜索在第一幅图像中寻找那些易于精确跟踪的特征点二类方法：在所有考虑的图像中独立地检测特征点，然后根据它们的局部表现进行匹配5点与块特征提取点与块局部特征对光照和旋转等图像变换具有更强的鲁棒性6自相关函数

7自相关函数自相关函数(Auto-CorrelationFunction)用来度量图像块的匹配度左图是一张待提取的图片，右图是对该图中三个图像块计算得到的自相关表面，对于有纹理的花坛，其自相关函数/表面（右一）存在一个很强的极小值，这表明它很容易定位。有良好的唯一最小值8自相关函数自相关函数(Auto-CorrelationFunction)用来度量图像块的匹配度左图是一张待提取的图片，右图是对该图中三个图像块计算得到的自相关表面，对于屋顶边缘，其自相关函数/表面（右二）在一个方向上存在很大的不确定性。一维的孔径问题9自相关函数自相关函数(Auto-CorrelationFunction)用来度量图像块的匹配度左图是一张待提取的图片，右图是对该图中三个图像块计算得到的自相关表面，对于云朵区域，其自相关函数/表面（右三）则没有稳定的极小值没有好的峰值10自相关矩阵自相关矩阵用来获取自相关函数局部形状在每个像素上的估计矩阵A的逆提供了关于匹配块位置不确定性的下限，用来判断哪个图像块可以稳定匹配对自相关矩阵进行特征值分析，如下图：11自适应非最大抑制自适应非最大抑制(AdaptiveNon-MaximumSuppression)大多数特征点检测器只关注兴趣函数的局部最大值，这导致图像上特征点的分布并不均匀自适应非最大抑制用于检测和提取图像中稀疏特征点；基本原理是在图像中寻找局部最大值，并抑制其周围的非最大值，从而均匀地保留最显著的特征点12自适应非最大抑制自适应非最大抑制(AdaptiveNon-MaximumSuppression)

13自适应非最大抑制自适应非最大抑制(AdaptiveNon-MaximumSuppression)根据得到的降序排列，选取前n个元素对应的点（n的大小表征抑制程度），即为自适应非最大抑制后得到的关键点集合。如下图所示：14Harris角点检测器

15Harris角点检测器

16SIFT检测器SIFT检测器是一种将尺度和方向与结果中的兴趣点关联的方法第一步：高斯金字塔的构建首先将原图像扩大一倍（保留更多信息便于后续特征提取与匹配）对该尺寸下的图像进行不同参数的高斯模糊（每一幅模糊的图像成为一层），几层构成一个组对该组下的倒数第三张图像降采样一倍作为下一个组的初始图像，在此基础上完成属于这个组的高斯模糊处理依此类推，完成高斯金字塔的构建17SIFT检测器SIFT检测器是一种将尺度和方向与结果中的兴趣点关联的方法第二步：高斯差分金字塔（DOG）的获得DOG金字塔的第O组第L层图像是高斯金字塔的第O组第L+1层减第O组第L层得到的，逐组逐层生成每一个差分图像，所有差分图像构成差分金字塔，后续Sift特征点的提取都是在DOG金字塔上进行的。18SIFT检测器

19SIFT检测器SIFT检测器是一种将尺度和方向与结果中的兴趣点关联的方法在保留下来的兴趣点周围的一个区域内计算局部梯度的幅值和方向。然后，在一个包含36个方向、覆盖所有360°方向的区域内计算方向直方图。兴趣点的方向被指定为该直方图的顶点。最终检测到的点与一个特定的尺度和方向有关20SIFT描述子

21SIFT描述子SIFT描述子是一个对图像的亮度、对比度变化和几何形变具有部分不变性的局部区域描述方法22梯度位置方向直方图梯度位置方向直方图(GLOH)：一种基于SIFT的描述子变体采用对数极坐标分级结构，以替代SIFT所使用的四象限方法在对数极坐标系统中，空间被划分为三个不同的半径级别，分别是6、11和15，而在角度上则被分为八个区间，这种划分方式使得GLOH描述子能够更加精细地捕捉图像的关键特征23局部二值描述子手工设计的局部二值描述子LocalBinaryPattern(2002)CircularLBP(2006)HOG-LBP(2009)24局部二值描述子基于学习的局部二值描述子最小量化误差0/1均匀分布最大化方差[1]JiwenLu,VeniceErinLiong,XiuzhuangZhou,andJieZhou,LearningCompactBinaryFaceDescriptorforFaceRecognition,PAMI,vol.37,no.10,pp.2041-2056,2015.通过约束特征码分布来去除冗余信息克服紧致特征码分布高度不均衡问题25局部二值描述子基于学习的局部二值描述子[2]JiwenLu,VeniceErinLiong,andJieZhou,SimultaneousLocalBinaryFeatureLearningandEncodingforFaceRecognition,

ICCV,pp.3721-3729,2015.[3]JiwenLu,VeniceErinLiong,andJieZhou,SimultaneousLocalBinaryFeatureLearningandEncodingforHomogeneousandHeterogeneousFaceRecognition,PAMI,vol.40,no.8,pp.1979-1993,2018.26§4.2边缘特征提取一、边缘提取算子二、边缘连接问题27边缘特征提取与特征点相比，边缘点往往更为丰富且包含重要的语义关联边缘是图像中强度变化迅速的区域，它通常对应于物体的边界或者其他重要的信息通过提取边缘特征，我们可以得到图像的重要信息，比如物体的形状、大小和位置，这对于后续的图像分析和理解至关重要28边缘提取算子Roberts算子（交叉微分算子）基于局部差分计算的梯度算子，常用于陡峭的低噪声图像当图像边缘接近于正45°或负45°时，处理效果更加理想局限：对边缘的定位不太准确，提取的边缘线条较粗29边缘提取算子

30边缘提取算子Sobel算子主要用于计算图像明暗程度的近似值，通过对比图像边缘附近的明暗程度变化，将明暗变化超过某个阈值的区域标记为边缘引入了权重的概念，认为相邻像素点对当前像素点的影响力取决于它们之间的距离，有助于图像的锐化并能更好地突出边缘轮廓31边缘提取算子Laplacian算子（二阶微分算子）在二维图像上的定义：在离散图像中，Laplacian算子通常表示为一个卷积核：当图像中的像素值发生快速变化时，Laplacian算子的响应会增强，从而实现对边缘的检测；常与高斯滤波结合使用，以提高对噪声的鲁棒性，有助于在图像中提取出更为准确的边缘信息32边缘提取算子Canny算子（非微分边缘检测算子）功能优于前几种算子，但实现较为复杂，是一种具有滤波、增强、检测的多阶段的优化算子Canny算法流程：1.高斯滤波器平滑图像2.计算图像中像素点梯度的幅值和方向3.对梯度幅值进行非极大值抑制4.用双阈值算法检测和链接边缘33Canny算子Canny算子（非微分边缘检测算子）步骤一：灰度图转换，将原始彩色图像转换为灰度图其中RGB的权重由波长决定，人眼对绿色最敏感，对蓝色最不敏感

34Canny算子Canny算子（非微分边缘检测算子）步骤二：平滑图像，减小随机噪声对边缘检测的影响常用的平滑滤波器包括：高斯滤波器、矩形滤波器、均值滤波器、中值滤波器等高斯滤波器的原理：用高斯核在原始图像上进行卷积计算操作35Canny算子Canny算子（非微分边缘检测算子）步骤三：梯度计算，利用Sobel滤波器计算X和Y方向的梯度变化36Canny算子Canny算子（非微分边缘检测算子）步骤三：梯度计算，利用Sobel滤波器计算X和Y方向的梯度变化37Canny算子Canny算子（非微分边缘检测算子）步骤三：梯度计算，融合X和Y方向的梯度变化，得到Sobel边缘计算结果38Canny算子Canny算子（非微分边缘检测算子）步骤四：非极大值抑制，得到更精细的边缘检测结果39Canny算子Canny算子（非微分边缘检测算子）步骤五：双阈值算法，检测和链接边缘不同算子常用场景Roberts算子：常用于垂直边缘明显或有陡峭的低噪声的图像边缘检测任务Prewitt算子：常用于噪声较多、灰度渐变的图像的边缘检测任务Sobel算子：常用于噪声较多、灰度渐变的图像的边缘检测任务Laplacian算子：常用于归一化检测结果、方差计算，用于模糊检测任务Canny算子：常用于车道线检测等实际项目中，是最有效的边缘检测方法40边缘提取算子41边缘检测的结果需要进一步的边缘连接后处理由于图像中的噪声、纹理、颜色变化等因素可能会干扰边缘检测，导致检测出的边缘在某些地方断开，边缘检测算子对图像进行处理后的结果通常是一系列的边缘片段因此，边缘连接成为图像处理中的一个关键问题，其目标是尽可能地将这些断开的边缘连接起来，形成完整的边缘，以便后续任务的研究和应用边缘连接问题42基本算法：基于八邻域的边缘跟踪灰度化并进行Canny边缘检测按照预先设定的跟踪方向（如顺时针）进行边缘跟踪每次跟踪的终止条件为：八邻域内不存在轮廓边缘连接问题43应用举例：车道线检测任务定义通过分析车载相机捕获的道路图像，检测边缘、颜色或纹理等特征来识别车道线，从而帮助车辆准确地理解道路的结构，并做出相应的驾驶决策高速场景城市场景44应用举例：车道线检测实际应用车道保持：当车辆偏离当前车道时，识别车辆与车道线之间相对位置，向驾驶员发出警告或自动调整车辆方向，减少意外事故发生自主导航：在复杂交通场景中检测信号灯的状态，并结合车辆所在车道的行驶规则和路线信息，自主决定是否拐弯、减速或加速通过当前路段车道保持结合交通信号实现车辆自主导航45应用举例：车道线检测第一类方法：建模为逐像素分类问题，根据分类置信度来确定是否存在车道线第二类方法：建模为目标检测问题，预定义车道线形状（通常为直线）第三类方法：建模为曲线拟合问题或多项式参数回归问题边缘+直线检测图像分割曲线参数拟合目标检测46应用举例：车道线检测第一类方法：建模为逐像素分类问题由于仅依赖分类置信度来确定是否存在车道线，导致预测的车道线经常间断分割网络参数多，推理速度慢应对强遮挡、弱纹理等情况时鲁棒性较差方法流程后处理47应用举例：车道线检测

48应用举例：车道线检测第三类方法：建模为曲线拟合问题预定义车道线为多项式函数或贝塞尔曲线，可表示任意形状的曲线回归多项式参数或贝塞尔节点坐标参数自由度过大，拟合难度大，整体性能低回归参数：{a,b,c,d}回归参数：n个贝塞尔节点坐标49应用举例：车道线检测YuejianWu,LinqingZhao,JiwenLuandHaibinYan,DenseHybridProposalModulationforLaneDetection,IEEETrans.

onCircuitsandSystemsforVideoTechnology,pp.6845-6859,Nov.2023.从位置合理性、形状多样性、特征判别性三方面为每条候选线生成特定优化目标，稠密调制所有候选车道线，实现了高精度、鲁棒性强的预测50应用举例：车道线检测针对候选线曲率难控的问题，提出基于稠密采样的快速曲率近似法，实现了并行计算多条候选线的曲率和形状通过建模多线之间的曲率关系，可以增强模型在处理多种情况时的泛化能力曲率近似计算调制前和调制后的候选线对比51应用举例：车道线检测位置形状合理性形状多样性特征判别性无判别性监督有判别性监督错误预测置信度降低，正确预测置信度提升52应用举例：车道线检测由于图像中缺乏可靠的视觉线索，即缺乏清晰的线状模式，当前方法无法产生高置信度的候选车道线，导致了漏检的问题。因此，需要显式建模车道之间的结构先验，根据部分可见线索推断其他区域存在车道线的可能性光线过强或过弱严重遮挡车道线存在但不可见（如过度磨损）53应用举例：车道线检测大多数现有的车道检测方法着重于独立预测每条车道的位置形状（单线建模），但忽略了车道之间的结构关系先验。StructLane显式地将车道布局编码到结构嵌入空间中（多线建模），并将其作为全局知识来辅助车道检测应用举例：车道线检测54将训练集的先验知识解耦并聚类为布局模板和形状模板，利用二值图像表示车道之间的空间布局信息，利用二阶差分向量捕捉车道局部曲率和形状变化解耦训练集的先验信息布局模板（二值图像）形状模板（二阶差分向量）55应用举例：车道线检测StructLane作为一个即插即用的模块，可以被嵌入至任意方法，为模型补充线间布局（layout）和线内形状（shape）的全局先验信息，提高模型性能Layout-SpecificStructLaneShape-SpecificStructLane56应用举例：车道线检测

57应用举例：车道线检测现有方法往往会在远处预测直线，而StructLane利用数据集级别的形状先验来更新原始形状嵌入，增加了更为真实的曲率和形状细节58§4.3形状特征提取一、霍夫变换二、消失点及矩形检测三、圆的检测59霍夫变换最开始用于直线形状特征提取，其可以在存在间隙和遮挡的情况下将边界元素聚集成线段。通过识别消失点，可以进行矩形检测，从而用于检测车道线、标定相机内外参数。通过改进霍夫算法，则可以用于圆的检测霍夫变换直线检测消失点检测圆的检测60霍夫变换

61霍夫变换霍夫变换(HoughTransform)用来检测直线形状特征基本思想：在变换后的参数空间进行投票从而检测特定形状投票：笛卡尔空间中多个点对应霍夫空间中多条直线，从而有多个交点。因此霍夫空间中穿过该交点直线越多，则对应笛卡尔空间中该直线上点越多。从而可以通过投票算法得到对应笛卡尔空间中经过点数最多的直线一般情况：

对于斜率不存在的直线，可以利用极坐标表达式构建（ρ和θ）的霍夫空间，应注意此时笛卡尔空间中的点对应霍夫空间中的一条曲线62霍夫变换

63霍夫变换霍夫变换(HoughTransform)用来检测直线形状特征基本思想：在变换后的参数空间进行投票从而检测特定形状霍夫变换算法实际应用示例如下：边缘检测二值化并寻找非零点变换到霍夫空间进行投票检测直线64在很多场景中，由于透视投影，一些在三维中平行的直线会在图像中交于一个共同的消失点，如斑马线、建筑物边缘、火车轨道等。而这些直线集合在结构上十分重要，找到这些直线集合的公共消失点有助于优化它们在图像中的位置以及在特定场景下确定相机内外参或进行矩形检测消失点及矩形检测65消失点及矩形检测

66消失点及矩形检测消失直线(Vanishingline)：类似消失点，由于透视投影，三维空间中平行平面在相机中也会形成消失直线，且容易证明平行于平面的直线的消失点也在该平面的消失直线上产生原理：透视投影67消失点及矩形检测Hough方法检测消失点：基于已有直线为消失点位置投票，再通过最小