《数字图像处理教程（OPENCV版）》 课件 Ch12 目标识别

数字图像处理教程第12章目标识别目标识别对特定目标进行有效描述，该描述能将目标与图像中其它区域通过某种方式区分目标可以用模式来表示。模式指对事物特征或属性的定量或定性描述模式类指具有某些共性的一组模式常用的模式表示方法有用于定量描述的向量、用于定性描述的串和树12.1基于决策理论的模式识别12.1基于决策理论的模式识别

12.1.1基于匹配的决策

12.1.1基于匹配的决策

12.1.1基于匹配的决策模板匹配模板匹配，用于在图像中发现与给定模板相似的区域、确定图像中目标位置以及与模板相似度等，进而在图像中识别出目标计算量小处理速度快，适合对大小固定、方向固定目标进行识别12.1.1基于匹配的决策

12.1.1基于匹配的决策相关匹配最匹配区域的左上角12.1.1基于匹配的决策模板匹配不能检测到目标的大小变化和角度旋转。对于大小和方向存在变化的目标，模板匹配不是一个高效的识别方法。12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.2统计分类器

12.1.3神经网络采用非线性计算，通过对训练集中已知所属模式类的各模式进行学习计算，得到误差较小的输入与输出之间复杂关系并根据训练得到的决策对未知模式判决其所属类别12.1.3神经网络

12.1.3神经网络神经元是神经网络的基本单元，接收来自外部的不同刺激，在神经元细胞内对不同刺激产生不同强度反应，综合为一个输出权重影响神经元对输入信息敏感程度，通过控制权重形成识别偏好偏置某种程度上代表对信息敏感度激活函数一般采用非线性，目的是在决策中加入非线性因素以应对线性计算无法解决的问题12.1.3神经网络隐藏层用于提取特征，将输入信息映射到特征空间不同网络隐藏层结构不同隐藏层基本组成包含卷积层和池化层12.1.3神经网络

12.1.3神经网络池化层不改变输入矩阵的深度，仅用于缩小矩阵，达到提取大尺度特征的目的池化层减少后续网络节点个数，加快处理速度用得最多的池化处理是最大值池化，此外还有平均池化12.1.3神经网络输出层将前面学到各种特征映射到样本标记空间，输出分类信息输出层的第一个卷积层也称为平坦(flatten)层，把隐藏层输出的多维信息通过卷积一维化数据一维化后各层神经元全连接(fullyconnected)，对特征进行重新拟合，减少特征信息的丢失12.2特征点匹配所有特征点用相同类型的描述子描述特征匹配包括二个方面不同图像中特征点相互匹配组成匹配对从上述点对中选出真实的匹配对，剔除虚假匹配对12.2.1特征点匹配基础

12.2.1特征点匹配基础

12.2.1特征点匹配基础

12.2.2匹配一致性RANSAC算法最小二乘法容易受到错误匹配的干扰随机抽样一致性（randomsampleconsensus,RANSAC）算法对匹配对进行筛选，通过迭代运算剔除不符合最优模型的匹配对（外点，outliners）12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性

12.2.2匹配一致性RANSAC算法RANSAC方法简单通用，对噪声干扰鲁棒性好能够广泛应用于多种模型，相比同样采用投票机制的Hough变换，RANSAC能够同时求解更多参数当外点占比较小时只需几次迭代就可以找出真正的模型参数，当外点占比较高时需要的迭代次数急剧增加12.2.2匹配一致性

错误的匹配周边没有支撑正确的匹配周边有很多类似的匹配（支撑）12.2.2匹配一致性GMS算法基本步骤将二幅图像分别分为互不重叠的网格区域对图1中每个网格，在图2中找到与其匹配最多的网格在这二个网格周围，检查支撑匹配对数量，大于阈值说明上步的匹配是真实的网格网格及其邻域匹配网格12.2.2匹配一致性

12.3运动目标跟踪12.3.1光流法通过光流估计检测和跟踪运动目标光流是目标在连续二帧间的显著运动模式，是关于像素点的瞬时运动速度的二维向量光流中的每一维表示连续二帧间图像亮度在一个方向上的变化，可以看成具有某亮度值的像素由于运动而产生的瞬时速度场12.3.1光流法光流估计利用时间上相邻的两帧图像得到点的运动，估计可基于梯度、基于匹配、基于能量、基于相位等进行依据估计中所用点的疏密程度，光流估计分为稀疏估计和稠密估计稀疏估计需要指定一组特征点进行跟踪稠密估计对整幅图像或图像某一区域进行逐点匹配的图像配准方法，计算所有点的偏移量，从而形成一个稠密的光流场12.3.1光流法

12.3.1光流法

光流方程12.3.1光流法

光流方程12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法

12.3.1光流法12.3.2meanshift跟踪

12.3.2meanshift跟踪

12.3.2meanshift跟踪

12.3.2meanshift跟踪

12.3.2meanshift跟踪

12.3.2meanshift跟踪

只有这项与中心位置y有关，12.3.2meanshift跟踪12.3.2meanshift跟踪

12.3.2meanshift跟踪

12.3.3Camshift跟踪对meanshift的改进Meanshift跟踪中候选区大小固定，Camshift跟踪算法能够自适应调整候选区大小在HSV空间进行，根据确定目标直方图构建候选区的色彩概率图，采用修改的meanshift算法计算跟踪窗口中心、并根据统计矩修改跟踪窗口尺寸至合理大小12.3.3Camshift跟踪

12.3.3Camshift跟踪

12.3.3Camshift跟踪

12.3.3Camshift跟踪Camshift跟踪步骤（续3）设置在下一帧跟踪目标的初始化参数返回步骤3，直到所有帧跟踪完毕12.3.3Camshift跟踪CamShift算法在计算直方图时没有采用meanshift的核函数加权方式，区域内的各像素点权重相同远离中心的非目标像素的影响力没