基于卷积神经网络的目标检测算法研究ppt课件.ppt

,TheGraduationThesisDefense,基于卷积神经网络的目标检测算法研究,哈尔滨理工大学HarbinUniversityofScienceandTechnology,哈尔滨理工大学-测通学院,1,CONTENTS,1,4,2,5,3,6,研究背景,研究方法2,理论基础,结论,研究方法1,科研成果,RESEARCHBACKGROUNDS,RESEARCHFRAMWORK,RESEARCHMETHODS,ANALYSISANDDISCUSSION,CONCLUSION,SCIENTIFICACHIEVEMENTS,2,1,研究背景,RESEARCHBACKGROUNDS,内容简介BRIEFINTRODUCTION,本文以智能交通为背景，针对智能视频监控系统进行剖析，对其中目标检测算法进行了具体的研究和改进。首先，针对目标检测特征提取环节，本文以卷积神经网络为基础，构建深度特征提取器，提取深度特征训练可变形部件模型，作为最终的检测模型，并有效的提高检测精度。另外，在目标后处理环节中，将抑制重复检测和误检的面积重叠率阈值动态化后，进一步的提高了检测精度，减少了误检和重检。,3,PPT模板下载：,4,智能交通中的目标检测,传统的视频监控解决方案只是进行视频图像的记录、存储与调取等机械的操作，用来记录发生的事情，不具有针对异常情况进行预测和报警的作用。需要工作人员时时刻刻查看显示屏，才能进行预测和报警。由于传统视频监控技术的不足，所以智能视频监控被用来帮助工作人员发现异常情况并及时报警。,1,研究背景,RESEARCHBACKGROUNDS,智能视频监控的功能是让计算机模拟人类的大脑对图像的处理机制，利用摄像头模拟的人类的眼睛，运行图像处理算法，分析从摄像头中获取的图像序列，并对被监控场景中的内容进行理解，实现对异常行为的自动预警和报警。智能监控的智能化主要表现在对图像序列中的目标进行检测、目标识别，理解目标的行为。目前常用的智能监控系统主要包括视频获取、图像预处理、目标检测、目标分类、目标跟踪、目标行为分析和理解等七个部分，图1-1给出了智能监控系统具体的流程图。,图1-1,5,国内现状,大部分目标检测算法任然使用单一或者几种手工设计的特征。手工设计的特征，不仅计算开销大，降低算法的执行速度，对于目标多样性的变化并没有很好地鲁棒性，严格限制应用前提。因此亟需对特征提取进行改进。,1,研究背景,RESEARCHBACKGROUNDS,6,国外现状,在国外，也经历了由人工设计特征到算法自动设计并提取特征的过程。2010年，Dalai等利用人工设计的方向梯度直方图特征，训练出来多视角的可变形的检测模型，虽然有效的提高了检测精度，但仍然存在计算复杂，对小目标鲁棒性不强等问题。2012年，卷积神经网络在全球图像分类比赛中得到最优的成绩，因此卷积神经网络自适应的提取图像特征受到重视，卷积神经网络通过反向传播算法进行网络参数的更新，通过自适应的调整不同特征的权重有效的组合特征，得到鲁棒性更好的高层特征。因此，如果让计算机主动学习图像的特征，相对于人工设计的特征而言，能够有效的提高检测精度，改善实验结果。,1,研究背景,RESEARCHBACKGROUNDS,7,国外现状,1,研究背景,RESEARCHBACKGROUNDS,8,目标检测；卷积神经网络；非极大值抑制,本文研究的最终目的是将卷积神经网络应用到目标检测任务中：如何避免手工设计的特征，减少计算的复杂度，提高算法执行速度，最终提高检测精度。具体的基于现有的开发库，在现有的卷积神经网络模型的基础上，利用迁移学习和重新训练，更新模型参数，提取深度特征并训练分类器。同时在滑动窗口检测后，动态化面积重叠率阈值，进一步提高检测精度。,目标检测,针对不同场景图像，能够对不同类目标进行自动检测和识别，定位目标的位置和识别目标的类型。,卷积神经网络,一种模拟人类大脑皮层视觉处理机制，由多个神经元连接并列成一层，多层神经元构成多层视觉处理结构。,非极大值抑制,检测过程得到的重复检测和误检，需要利用非极大值抑制算法来减少，对于不同类的目标需要动态化面积重叠率阈值。,1,研究背景,RESEARCHBACKGROUNDS,9,研究内容,深度学习,研究了深度学习的背景知识：包括深度学习的概念，以及典型的常用的深度学习模型。,卷积神经网络,研究了卷积神经网络的基本原理，组成和连接方式。,基于深度特征的目标检测,研究了基于现有的卷积神经网络模型Alexnet,通过迁移学习，获得深度特征提取器，提取特征训练多组件的可变形部件模型，对不同类目标的多样姿态进行检测。,基于动态阈值的非极大值抑制,研究了目标检测后处理过程，分析了其中的非极大值抑制算法，对核心的阈值进行了动态化，实现了自适应的抑制重检和误检。,1,研究背景,RESEARCHBACKGROUNDS,10,11,1,2,3,深度学习,卷积神经网络的连接方式,卷积神经网络,2,研究框架,RESEARCHFRAMWORKS,深度学习概念,典型的深度学习模型,卷积神经网络基本原理,前向传播和反向传播,局部感受野和权值共享,多核卷积,12,2,研究框架,RESEARCHFRAMWORKS,在大数据，大模型，大计算的驱动下，深度学习属于一种深度学习模型。其实深度学习实质就是将低层特征进行有效的组合从而生成更丰富的深层特征，现有的许多识别和分类模型都是浅层模型，限制较多，在样本数量较少，计算机计算单元不足的情况下，对高非线性的复杂函数的逼近能力不足，所以应用于识别和检测问题时，会出现分类准确率不高，泛化性不足等问题。而利用深度学习框架则不同，通过训练深层非线性的多层网络模型，学习到的最优模型参数可以将样本的最本质的特征表示出来。深度学习最经典的模型就是全连接的神经网络，如自适应编码器，深度置信网络，还有就是卷积神经网络。,1.深度学习,深度学习的基本概念,深度学习的典型结构,13,2,研究框架,RESEARCHFRAMWORKS,2.卷积神经网络,卷积神经网络的基本原理,卷积神经网络是第一个真正训练多层神经元连接的深度学习模型，该模型构造方式是受到人类视觉系统处理机制的影响，利用权值共享的神经元在输入图像上进行卷积计算，则能获得同一种特征，当利用多种不同权值的神经元在输入图像上进行卷积操作，则能获得多种特征。该网络可以直接输入原始图像，避免了对图像进行复杂的前期预处理，因而得到广泛的应用。,14,2,研究框架,RESEARCHFRAMWORKS,CNN模型AlexNet，是由多层神经元构成，其中前5层为卷积层，因为这些层神经元的连接方式是通过卷积核模板连接，是非全连接的方式连接，所以称为卷积层。后三层为全连接层，采用的连接方式为全连接，所以称为全连接层。,卷积神经网络的基本原理,卷积层，每一层和前一层之间依靠卷积核连接，每一个卷积核都在前一层特征映射图的局部感受野进行卷积操作，同时由于卷积核表示的是神经元权重。卷积模板为22，上一层的特征图分辨率是44，用这个卷积核在特征图上按固定的步长和顺序遍历计算一遍，计算得到33的特征图,池化层也是CNN模型中重要的一层，对于降低特征向量的维数，避免维数灾难有重要的作用。所以一般情况下，池化层都是跟随在卷积层的后面。图像在某一区域的特征分布与其他区域的特征分别类似。所以在描述大的图像时，可以对不同位置的特征进行聚合统计，聚合统计后在求均值或者最大值，均值或者是最大值即为池化后的结果。,2.卷积神经网络,15,2,研究框架,RESEARCHFRAMWORKS,2.卷积神经网络,卷积神经网络的基本原理,从人类大脑角度理解神经网络，卷积神经网络中的神经元与我们的大脑无关，是通过函数f将输入图像转变成类别评分。,16,2,研究框架,RESEARCHFRAMWORKS,2.卷积神经网络,卷积神经网络的基本原理,从人类大脑角度理解神经网络，卷积神经网络中的神经元与我们的大脑无关，是通过函数f将输入图像转变成类别评分。,17,2,研究框架,RESEARCHFRAMWORKS,卷积神经网络的基本原理,2.卷积神经网络,18,2,研究框架,RESEARCHFRAMWORKS,前向传播和反向传播,2.卷积神经网络,19,2,研究框架,RESEARCHFRAMWORKS,前向传播和反向传播,2.卷积神经网络,20,2,研究框架,RESEARCHFRAMWORKS,局部感受野和权值共享,2.卷积神经网络,（a）神经元在感受野全连接,（b）神经元在感受野局部连接,21,2,研究框架,RESEARCHFRAMWORKS,多核卷积,2.卷积神经网络,边缘特征,LBP特征,22,23,3,研究方法1,RESEARCHMETHODS1,1,基于深度特征的目标检测,提取深度特征,训练分类器,目标检测,结果与分析,迁移学习,深度特征金字塔,训练LSVM,PASCAL数据集,单组件目标检测,多组件目标检测,24,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,Felzenswalb等人40研究了基于可变形部件模型DPM，通过提取目标的HOG特征，对组成目标的局部模型建模，采用多样本学习并进行推理，最后利用根滤波器和部分滤波器对测试图像进行匹配检测实现目标检测。该方法为基于模型的检测方法提供了新的思路,但是局部判别式模型只采用了HOG特征，忽略的一些可靠的高层和底层特征，在一定程度上制约了检测的精度。,本章利用CNN对DPM算法进行改进。首先通过迁移学习获取CNN模型AlexNet，然后将其截断获得AlexNet的卷积层，用来提取丰富的高层特征，具体是利用模型的前5层卷积层来获取深度特征，然后利用特征金字塔的每一层特征训练隐藏变量的支持向量机LSVM得到DPM的全局检测器和局部检测器。检测的过程中要对测试图像构造全局特征映射图和局部特征映射图，再对局部特征映射图进行池化，之后级联全局特征映射图得到新的特征映射图，然后用训练好的判别式模型去卷积级联后的特征映射图，得到检测结果。实验表明，利用CNN获取深度特征，训练可变形部件模型，有效的改进了算法的检测精度。,25,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,迁移学习,26,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,迁移学习,通过分析AlexNet模型中的隐层可以发现，其中的底层的功能的是图像通用特征的提取，并在高层生成图像的深度特征。这一发现暗示，如果将AlexNet的底层看做一个特征提取器，则可以在其他的视觉任务重复中使用。因此最终用ImageNet训练AlexNet模型获得初始参数，然后利用迁移学习获得最终的模型参数。,参数迁移,源任务,目标任务,可变形部件模型,27,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,深度特征金字塔,首先要截断该网络，去除掉最后卷积层后的Mp层(maxpool，如图2-4)，所有的全连接层(fc6，fc7，fc8，如图2-4)。这样，网络的输出变成了第5层卷积层计算得到的256通道特征映射图。其中最左侧的是输入图像，后面的5层是卷积层，最右侧的是第5层卷积层，也就是卷积模型的输出层，该层包含256个卷积模板，所以得到的特征金字塔每层都有256个通道特征图。,28,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,提取深度特征,从图3-4中可以看出，利用AlexNet前5层卷积层得到的深度特征金字塔的可视化图，选取的是256通道中的最后一个通道的七层。图中第一排第一列是原图像，接着从左往右分别是深度特征金字塔层的第一层、第二层、第三层，第二排从左往右表示的是深度特征金字塔的第四至第七层。从图中可以看出，金字塔层的第一层尺度是原图像尺度的十分之一。,29,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,训练分类器,PASCALVOC2007数据集训练及测试样本,30,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,训练分类器,本文采用的DPM算法，需要训练出目标的全局模型和局部模型，由于没有在训练集和测试集中的标注文件中给出部件的类别和位置信息，所以相当于将部件的信息隐藏起来了，将这些信息作为隐藏变量，将所有的隐藏变量定义为集合，集合中定义了样本所有可能的隐藏变量值。,这里是模型参数向量，是隐藏变量。是样本所有可能取的隐藏变量值的集合。对以上得分阈值化，就可以得到了样本的分类类标。,31,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,训练分类器,本文使用带类标的样本,来训练参数，通过最小化下面的目标函数：,其中是标准铰链损失函数，常数C控制正则项的相对权重。,32,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,单组件目标检测,1.获得5层CNN输出的256通道7层特征金字塔，对于其中的每一层分别输入到检测系统中；,2.将每一层通道特征图分别去和根滤波器，个部件滤波器进行卷积，得到个特征图；,3.P个局部检测器得到的特征图进行距离池化层处理；,单组件可变形部件模型检测流程图,33,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,单组件目标检测,4.局部检测器池化后的个特征图级联上全局检测器的特征图；,5.通道的特征图和目标几何滤波器进行卷积，得到的是判别式模型在输入特征金字塔每一层的得分。,单组件可变形部件模型检测流程图,34,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,多组件目标检测,在本文实验中，因为每个组件DPM模型在金字塔每一层都会产生一个得分图，假设即为组件在金字塔层的位置q产生的检测得分。在多组件的DPM模型中，每个组件都会在同一位置形成得分竞争，因此在金字塔的每一个位置都会得到一个最高分，即：,其中即为多组件的DPM模型在金字塔层q位置的最终的得分，的计算公式可以利用公式（3-12）计算。,其中组件c的目标几何滤波器，是根滤波器和部件滤波器在位置的得分子阵，是组件的得分偏差。具体的多组件DPM模型竞争方式。,35,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,PASCALVOC2007数据集实验结果,对于不同算法需要有同一的评价指标来衡量该算法的性能如何，本文用的评价指标是：precisionrecall曲线，该曲线是最常用的评价检测算法性能的指标，类似的还有ROC曲线和DET曲线，本文选择precisionrecall曲线作为评价本文提出的DP-DPM算法性能的指标。曲线纵坐标为precision，衡量的是在检测结果中，检测正确的正样本占检测出来的正样本的比重。横坐标为recall，衡量的是检测出来的真正样本占所有真正样本的比重。评价精度计算的是recall坐标区域的平均值，即PR曲线包围的面积，不同算法对比时，平均高的表示算法的准确率更好。,36,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,检测结果与分析,图3-9表示训练不同组件数，部件数为5的DPM模型在VOC2007数据集中检测自行车和马的精度对比图。其中DP-DPM表示深度特征金字塔训练LSVM得到的分类模型，用DP-DPM表示，HOG-DPM表示HOG特征金字塔训练LSVM得到的分类模型，用HOG-DPM表示。从图3-9（a）中可以看出，5个部件数的DP-DPM模型的检测结果要明显优于5个部件数的HOG-DPM模型的检测结果。,在自行车的检测结果中可以看出，单组件时DP-DPM精度为0.532，HOG-DPM精度为0.312，改进后的精度提高了70.5%；3组件时，DP-DPM相对于HOG-DPM改进了63.2%；6组件时，DP-DPM相对于HOG-DPM改进了45.9%。,37,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,检测结果与分析,从图3-9（b）中可以看出，5个部件数的DP-DPM模型的检测结果要明显优于5个部件数的HOG-DPM模型的检测结果。在马的检测结果中可以看出，单组件时DP-DPM精度为0.532，HOG-DPM精度为0.342，改进后的精度提高了55.5%；3组件时，DP-DPM相对于HOG-DPM改进了59.8%；6组件时，DP-DPM相对于HOG-DPM改进了56.7%。,38,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,检测结果与分析,表3-1DP-DPM和HOG-DPM两种算法在PASCALVOC2007数据集上的检测结果。,两种算法分别训练1个、3个、6个组件的DPM模型，含有的部件数都为5。对于VOC2007数据集中的所有的目标类，改进后DP-DPM算法的检测精度相对于改进的HOG-DPM算法的检测精度都有大幅提高，且随着组件越多，检测精度越高，这是因为组件越多，包含目标不同视角的刚性结构模型也就越多，模型匹配的越准确，精度自然就能提高。,39,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,检测结果与分析,表3-2DP-DPM和HOG-DPM两种算法在PASCALVOC2012数据集上的检测结果,对于PASCALVOC2012数据集中目标类，改进后DP-DPM模型的检测精度相对于改进前的HOG-DPM模型有很大提高。从表3-2中见随着组件数量的增加，各类的检测精度逐渐提高。,40,3,研究方法1,RESEARCHMETHODS1,3.基于深度特征的目标检测,小结,本章通过介绍基于HOG特征的目标检测算法，引出单一特征有效性不高的问题，然后介绍了如何利用CNN的来提取深度特征金字塔，包括如何获得预训练的AlexNet模型，然后通过迁移学习获得目标模型的初始参数，并将AlexNet模型截断获得包含5层卷积层的特征提取器，依次提取图像的深度特征。然后介绍了如何利用提取的特征向量训练LSVM得到单组件的DPM模型；最后介绍了通过竞争方式判断出多组件中的得分最高的组件。,41,42,3,研究方法,RESEARCHMETHODS,2,基于动态阈值的非极大值抑制,动态阈值的非极大值抑制,固定阈值的非极大值抑制,结果与分析,重检与误检,非极大值抑制,VOC2012数据集实验结果,VOC2007数据集实验结果,真实场景的检测结果,43,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,固定阈值非极大值抑制算法,检测后处理过程,完整的目标检测算法包括三个阶段，学习阶段，预测阶段，和抑制重复检测阶段。第一阶段主要是特征提取并且训练可变形部件模型，第二阶段主要是利用模型对测试样本进行预测，第三阶段的任务是对预测的结果进行检查，抑制掉多余的重复检测和误检。当前，目标检测普遍使用基于贪心策略的非极大值抑制算法47，因为它简单高效。在DPM算法中都有不错的表现。,NMS,44,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,重复检测和误检,基于滑动窗口的检测，本文使用的方法是保持图像尺度不变，调整滑动窗口的尺度，利用不同尺度的滑动窗口分别遍历图像，利用分类模型对特征向量进行判断。保持图像尺度不变，改变滑动窗口的尺度来检测目标。,滑动窗口经过阈值判断后保留下来的窗口，包括重检和误检的,经过非极大值抑制算法，抑制掉了重检和误检后，保留了检测正确的窗口,45,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,固定阈值的非极大值抑制,NMS过程的实现是由三个循环嵌套组成的，第一层循环也称为外层循环，在外循环遍历所以窗口的分数并且按照分数由高到低将窗口排序，选择分数最高的作为初始窗口，剩下的窗口称为抑制窗口。第二层循环称为中层循环，中层循环是为了计算初始窗口和抑制窗口的面积重叠率o。第三层循环称为内循环，内循环是为了比较o和阈值overlap的大小并且抑制o大于overlap的抑制窗口。,由于窗口分数在外层循环经过排序，所以一侧的窗口分数总是比候选的窗口分数低，所以中环和内环迭代n-1次刚好就是初始窗口和抑制窗口做n-1次比较，并且n-1次比较后内环和中环中止。公式说明了传统非极大值抑制中阈overlap的大小。,46,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,重复检测和误检,固定阈值的非极大值抑制,动态阈值非极大值抑制,将原始算法中的overlap动态化,目标检测结果图,NMS作用后,ANMS作用后,47,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,VOC2007数据集实验结果,图4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四种不同的方式在VOC2007数据集中小汽车和马的检测精度对比图。其中ANMS-PART表示的是单独利用局部检测器是在测试数据集上进行测试，然后利用ANMS抑制局部检测器的检测结果中的重检和误检；ANMS-ROOT表示单独利用全局检测器是在测试数据集上进行测试，然后利用ANMS抑制全局检测器的检测结果中的重检和误检；NMS-PART表示的是单独利用局部检测器是在测试数据集上进行测试，然后利用NMS抑制局部检测器的检测结果中的重检和误检；NMS-ROOT表示单独利用全局检测器是在测试数据集上进行测试，然后利用NMS抑制全局检测器检测结果中的重检和误检。,48,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,VOC2007数据集实验结果,图4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四种不同的方式在VOC2007数据集中小汽车和马的检测精度对比图。其中ANMS-PART表示的是单独利用局部检测器是在测试数据集上进行测试，然后利用ANMS抑制局部检测器的检测结果中的重检和误检；ANMS-ROOT表示单独利用全局检测器是在测试数据集上进行测试，然后利用ANMS抑制全局检测器的检测结果中的重检和误检；NMS-PART表示的是单独利用局部检测器是在测试数据集上进行测试，然后利用NMS抑制局部检测器的检测结果中的重检和误检；NMS-ROOT表示单独利用全局检测器是在测试数据集上进行测试，然后利用NMS抑制全局检测器检测结果中的重检和误检。,49,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,VOC2007数据集实验结果,表4-1中PART表示的局部检测器，ROOT是全局检测器。从表4-1中发现ANMS-DPM现对于NMS-DPM在VOC2007数据集中，检测精度都有所提高，说明引入分数比和尺度比的动态化的抑制阈值对不同目标类具有更好的普适性，能够根据得分和尺度来自适应选择合适的抑制阈值。部件检测精度提高最多的是bicycle类，使用ANMS代替NMS之后，部件滤波器检测精度提高了14.4%；根滤波器检测精度提高最多的是person类，提高程度为12.2%。部件滤波器检测精度提高程度最低的是sofa类，提高程度为2.7%。根滤波器提高检测精度提高最低的是train类，提高程度为1.9%。,50,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,VOC2007数据集实验结果,ANMS-DPM算法在PASCALVOC2007数据集上的检测结果图,51,4,研究方法,RESEARCHMETHODS,4.基于动态阈值的非极大值抑制,VOC2012数据集实验结果,表4-2中反映出改进后的ANMS-DPM与改进前NMS-DPM相比，在VOC2012数据集上的检测得分更高些。从表4-2中可以看出，全局检测器检测时，精度提高最多的类是马，检测精度提高程度为10.3%；提高最少的类是行人，提高程度为2%；局部检测器检测时，提高精度最高的类为摩托车，提出程度为9%，提高程度最少的为马，降低了4%。,52,4,研究方法,RESEARCHMETHODS,4.基