版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于深度学习的行人检测对于传统的行人检测算法而言,HOG特征的提出显著提升了算法的精度。然而,HOG特征在许多情况下(例如当图片的背景较为复杂、光线不足以及人体形态变化较大的时候)的检测效果不是特别理想。深度学习的兴起给行人检测领域带来了巨大的转机,深度学习算法(图像中主要是卷积神经网络)能够自动从图像中提取特征,并且所提特征的有效性远远超出人为构造的特征,从而显著地提升了行人检测这项任务的精度。本章首先介绍深度学习的一些基础,然后介绍深度学习在行人检测中的应用。3.1全连接神经网络传统的神经网络也称为全连接神经网络(Fully-ConnectedNeuralNetwork,FNN)[53-55],是一种仿生的数学模型,它模仿了动物神经元之间的连接。全连接神经网络的每个神经元与下一层的每个神经元都有连接,这也是它名字“全连接”的由来。理论上,一层的全连接神经网络能够拟合任意的函数[56],但是这样的话,网络的参数会非常多。因此,一般的话不会用只有一层但是神经元数目非常多的神经网络,而会用层数较多但是参数较少的神经网络,这也是“深度”学习的由来。例如,如果目标函数是,可以采用一个4层的全连接神经网络去拟合复合函数中的每一个简单函数,即如图3.1所示。图3.1层次化表示复杂函数图3.2单隐含层的全连接神经网络如图3.2所示,全连接神经网络包含三种层级结构,分别是:输入层、隐藏层和输出层。输入层和输出层只有一层,隐藏层的层数是任意的。图3.2是一个只有一层隐藏层的神经网络,其中,Layer1为输入层,Layer2为隐藏层,Layer3为输出层。隐藏层(Layer2)中,第一个神经元的输出的计算公式如下:(3.1)其中,表示第层第个神经元到第层第个神经元之间的权值,表示第层第个神经元的偏置项。同理可得同一层的其他神经元的输出,(3.2)(3.3)输出层的神经元的输出为:(3.4)值得注意的是,神经元采用的激活函数主要有sigmoid函数、双曲正切函数(tanh)以及ReLU(RectifiedLinearUnit)函数[57],其中在图像中主要采用的ReLU函数,三种函数的曲线如图3.3所示。图3.3三种激活函数3.2反向传播算法神经网络更新参数的过程采用的是梯度下降算法(gradientdescend)[58-60],具体的,根据每次选择样本数目的不同,又分为随机梯度下降(stochasticgradientdescend)、mini-batch梯度下降和批梯度下降(batchgradientdescend),这里不再赘言。一个层数很多的神经网络往往含有上千万的权值,要更新这些权值的计算量是非常巨大的。如果按照常规的做法,一个参数一个参数地去更新,不仅计算量非常巨大,而且存在非常多冗余的计算,因此需要一种高效的方式来对参数进行更新,反向传播算法便是这样一种高效的算法[61-62]。反向传播算法从网络的输出层开始,一层一层地将误差往前传播,并且计算梯度的过程并不存在重复的计算,因此极大地减少了所需的计算量,这也是反向传播算法风靡的原因。3.3卷积神经网络卷积神经网络(convolutionalneuralnetwork,CNN)[16,64-65]也是一种特殊的神经网络,最早是主要用来处理图像信息,具有局部连接、权重共享等特性。如果在进行图像处理时,使用全连接前馈网络,将会导致以下两种结果:(1)过多的训练参数:输入一幅100×100的RGB图像,即一幅RGB图像包含3个图像通道,每个通道上图像均为100×100大小,如果使用全连接网络,则第一层输入层的神经元数量达到30000个(100×100×3),输入层中的所有神经元会连接到第一个隐藏层(hidden层)上的神经元,每个连接也会对应一个权重。那么对于第一个隐藏层,假设有M个神经元,其中每个神经元将会产生30000个权重参数,第一个隐藏层将会产生30000×M个的权重参数。那么随着隐藏层的增多,权重参数的数量也随随之剧增。训练参数过多会降低神经网络的训练效果,也会导致过拟合现象的发生。(2)局部不变性特征:局部不变性的定义是,对于一个物体在进行选择、平移、缩放等动作后仍保持其语义,人们依旧知道这个物体是什么。例如颜色特征,就是最简单的一个局部不变性特征。但是全连接网络提取到的特征不具有局部不变性,人们往往要通过人为旋转数据库等手段增强性能。卷积神经网络是受生物学上感受野的机制而提出。感受野在生物上是指神经系统的神经元,如视觉和听觉等接收到由刺激而产生的一定范围内的信号,而这些信号的接收范围只局限在神经元所支配的刺激区域。例如,在视觉神经系统中,视网膜上的感受器受到光的刺激,将该刺激传导至视觉皮层。也就是说,视网膜上感受器接收到的刺激信号是作为视觉皮层中神经细胞的输出源的,但是并不是所有视觉皮层中的神经元都会接收视网膜上的刺激信号的,只有感受野区域内的信号才能够引发刺激神经元。DavidHubel和TorstenWiesel在1959年发现,在猫的初级视觉皮层中存在简单细胞和复杂细胞这两种细胞,简单细胞对特定角度的光带敏感,复杂细胞对移动角度的光带敏感,它们各自承担着复杂程度不同的视觉感知功能[66]。1980年,在此研究的基础上,KunihikoFukushima提出了一种带卷积和子采样操作的多层神经网络:新知机(Neocognitron)[67],采用无监督的学习策略对多层神经网络进行训练。1989年,YannLeCun将反向传播算法引入了卷积神经网络[62],并在手写体数字识别(MNIST数据库)上取得了很大的成功[68]。卷积神经网络由卷积层、池化层以及全连接层组成,使用反向传播算法进行误差的反向传播,以此进行CNN的训练,训练好的CNN模型所提取出的图像特征具有局部不变性,即旋转、缩放和平移不变性。与全连接神经网络不同的是,CNN的训练参数更少,这避免了在训练过程中可能出现的过拟合现象,也降低了调参的难度。CNN主要应用于在图像和视频分析的各种任务上,其准确率在一定程度上也超出了其它的神经网络模型,在计算机视觉领域,如图像分割、物体识别等领域都取得了不俗的表现。3.4基于深度学习的行人检测近年来,随着计算能力和数据量的巨大提升,深度学习开始在各个领域崭露头角,取得各个任务的最好成绩,目标检测便是其中的一个领域。在目标检测任务中,R-CNN是举足轻重的算法之一,该算法的创新之处在于行人检测任务分割成两个小任务——定位和分类。R-CNN会首先圈定目标人物,对目标人物进行特征提取;之后,对圈定的目标人物依据提取的特征进行分类。下面,文章将更加详细地介绍这个过程。3.4.1 系统框架一般地,基于深度学习的行人检测大体分为5个步骤:第一步:输入训练图片;第二步:利用深度学习模型(例如:选择性搜索模型)圈定行人的区域;第三步:将圈定的行人区域进行缩放,调整为特定的大小;第四步:利用卷积神经网络从圈定的区域提取特征;第五步:利用分类器(线性或者非线性分类器)对提取的特征进行分类。上述的5个步骤如图3.4所示。图3.4基于深度学习的行人检测3.4.2 基于图像检索扩充的深度学习行人检测(一)基于图像检索的数据扩充一般地,在利用深度学习进行训练时,需要大量的数据,然而本文采用的INRIA数据集的数据量较少,因此容易在训练的时候造成过拟合,不利于模型在实际中的使用。为了克服数据量不足的缺陷,本文采用数据检索的方式对数据集进行扩充,从而防止深度学习模型过拟合的出现。在使用图像检索方式对训练数据进行扩充前,先来对用于扩充的外部数据进行简要的分析。本文采用的外部数据库有Caltech行人数据集和ETH行人数据集,这两个数据集与本文采用的INRIA数据集的示例见图3.5到图3.7。从图中可以看出,INRIA数据集的图像分辨率较高,存在实际生活中出现的各种场景;Caltech行人数据集的图片来源于汽车上的行车记录仪,因此图片的分辨率较低一些,而且图片的背景大多数为公路或者街道;ETH行人数据集的图片质量也比较好,唯一不足的是图片的背景比较单一,多为街道。从上述分析中可以发现,三种数据集的背景差异比较大,也就是说三种数据集的数据分布不均匀,如果直接合并进行训练,最后的检测效果会有很大的影响。为了解决这个问题,可以利用相关的图像检索技术将要扩充的数据进行选择。图3.5INRIA行人数据库图像示例图3.6Caltech行人数据库图像示例图3.7ETH行人数据库图像示例首先针对行人大小的问题,可以利用图像的GroundTtuth发现三种数据集之中相似度比较高的行人,即长宽比和分辨率比较近似的图片。接着,针对背景差异较大的问题,可以采用颜色矩(colormoment)[69]来对图像进行扩充。颜色矩可以刻画图像中颜色的分布,因此,利用颜色矩可以快速的找到外部数据集和目标数据集中相似的图片。同时,颜色矩的大部分信息都集中在低阶矩上,因此可以只保留颜色矩中的一阶矩、二阶矩和三阶矩作为颜色特征进行提取,这三种颜色矩的数学表达式如下:一阶矩:(3.5)二阶矩:(3.6)三阶矩:(3.7)其中,表示第个像素的灰度值,表示像素数。为了减少所需的计算量,本文采用了分块的颜色矩特征,即对于给定的三通道图像,将图像分割成大小的块,然后对每个块提取三种颜色矩,最后可以得到维的颜色矩。至此,已经可以得到和目标数据集相似的图像了,采用的做法就是:1)计算目标数据集(INRIA行人检测数据集)所有图像的颜色矩;2)计算两个外部数据集(Caltech和ETH行人检测数据集)所有图片的颜色矩;3)计算每个外部数据集图片的颜色矩相似度,相似度的计算方式如下:,P=1,2,3…,N(3.8)值得注意的是,表达式中当*为真时,表达式的值为1;反之,表达式的值为0;T为可以调节的阈值;表示两幅图像对应颜色矩特征的余弦相似度。上述公式的物理意义是,计算外部数据集中每张图片与目标数据集中每张图片的余弦相似度,如果余弦相似度的值大于阈值T,则表示外部数据集中图片与目标数据集中的图片相似,计数值加1,最终可以得到外部数据集中每张图片的最终得分。最后,对两个外部数据集每张图片的得分进行排序,只选择得分在前60%的图片作为扩充的图片,同时需要对得到这60%的图片进行基于规则的筛选,采用的规则有:(1)行人分辨率大于1500;(2)宽高比为[0.3,1]。基于这两个规则,最终得到了2000多张扩充的图片用于训练。(二)基于深度学习的行人检测算法实现本章采用的深度学习算法模型是Resnet50,采用的框架是TensorFlow。在训练阶段,首先利用深度学习模型(选择性搜索快速模型)对训练图像进行区域圈定,从而确定行人的大致区域;接着圈定好的区域送入Resnet50中训练,网络的输出层神经元个数为2(二分类)。提取的区域中,重复率大于50%的图像作为Resnet50的正样本,剩下的图像作为模型的负样本。最后,用微调得到的Resnet50去提取预选区域的特征,将提取得到的特征作为支持向量机的训练特征进行训练,最终得到一个性能良好的二分类器。在测试阶段,同样地,首先利用模型(选择性搜索快速)提取测试数据集的预选区域;接着,利用微调好的Resnet50提取圈定区域的特征;最后将提取的特征送入SVM分类器中。3.5 实验结果与分析实验结果如图3.8所示,从图中可以看出,从没有扩充的训练数据集训练出来的Resnet50,在误检率为10%的情况下,漏检率高达48%;而使用HOG特征进行训练的模型的漏检率为46%,因此,深度学习模型的效果反而略逊于传统的行人检测方法。然而,使用扩充的训练数据集进行训练后,得到的Resnet50模型的漏检率仅为38%,下降了10个百分点,这充分说明了本文数据扩充方式是有效的。值得注意的是,当训练的迭代次数为10000次时,训练得到模型的泛化性能更好,这是由于当迭代次数过多时,会产生过拟合,训练模型过分地学习当前训练数据的特征,而当训练次数不足时,又不能很好地提取训练图片中的特征,因此,训练迭代次数的选择非常重要。图3.8(a)数据扩充前后对比图3.8(b)模型微调次数对比3.6 本章小结本章首先介绍了深度学习的基础知识,从最初的全连接神经网络FNN到后面发展的卷积神经网络CNN,在此基础上,进一步介绍了深度学习是如何应用到行人检测的(常用的框架是什么),并且还使用Resnet50进行试验,从而验证了基于深度学习的行人检测方式较与传统的行人检测方式具有更优越的性能。基于改进的深度残差网络行人检测方法本章提出了一种新的行人检测方法,针对行人图像横向信息不足的缺陷,引入了矩形输入的CNN模型,从而更好地表征行人特征;为了进一步特征模型的准确率和泛化能力,对两个公开数据集的样本进行混合训练;同时,通过聚类算法K-means对预测的初始框进行重新选择,提高了定位行人的能力。本文提出的方法较传统的方法具有更低的误检率,将每张测试图片的漏检率降低至12.38%,并且本文提出的方法具有良好的实时性和泛化能力,能够用于实际工业界。4.1 引言近年来,随着深度学习的兴起,计算机视觉的许多领域都有了质的飞跃,行人检测便是其中一个领域[1-5]。行人检测技术设计多个领域技术,主要涉及的技术包括图像处理技术、计算机视觉技术以及机器学习相关算法等。行人检测在许多领域都有重要应用,例如:安防、监控、无人驾驶汽车等[70-72]。根据分类方法的不同,可以将行人检测认为以下三种:1.形变部件模型变体;2.基于决策森林的行人检测方法;3.基于深度学习的行人检测方法[4]。近年来,这三种方法在公开的数据集上都能取得不错的实验结果。但是,传统的行人检测方法(例如方向梯度直方图、局部二值模式等方法)严重依赖于手工设计特征,同时,设计得到的特征维度较高,在实际应用中泛化性能较差[5-7]。基于深度学习(卷积神经网络)的行人检测方法能够自动从图像中学习得到行人特征,相比于传统的方法,具有更好的泛化性能,且性能也大幅度提升,因此成了当下计算机视觉的研究热点之一[8]。目前,基于深度学习(卷积神经网络)的目标检测方法分为区域提名和端到端(End-to-End)两个方向。其中,基于区域提名的方法主要有:基于区域的卷积神经网络(Region-basedConvolutionalNeuralNetwork)、金字塔池化层网络(SpatialPyramidPoolingNetworks,SPP-net)、基于区域的全卷积网络(Region-basedFullyConvolutionNetwork,R-FCN)以及使用了区域提名网络的FasterR-CNN等[73-74];而端到端的研究主要集中在YOLO(YouOnlyLookOnce)和SSD(SingleShotMulti-boxDetector)身上[75-76]。2017年,Redmon提出了YOLOv2[77],去掉了YOLO的全连接层,使用和FasterR-CNN一样的区域提名网络,并且加入聚类分析、多尺度训练、多层次特征融合、词汇向量树等技术,可以检测超过9000中物体(命名为YOLO9000)。本文基于YOLOv2的端到端目标检测方法,通过融合深度残差神经网络,提出了一种改进的深度残差神经网络的行人检测方法[78-80]。为了加强行人特征的表达能力,本文提出了一种9:19的矩形输入卷积神经网络模型,通过分析行人在图像中表达和分布,提升了行人检测的能力;为了提高模型提取特征的能力,本文在YOLOv2的基础上,融合了深度残差神经网络,使得模型能够更好地对行人进行表征;与此同时,本文手工提取了VOC数据集和INRIA数据集,组成混合数据集进行训练,显著提高模型的准确率和泛化能力;最后,本文通过聚类方法对预选预测框进行预测,提高行人的定位能力,加快了算法的收敛。在公开行人检测数据集上的实验结果表明,本文提出的方法较主流的行人检测方法有更好的准确率和泛化能力,每张图片的误检可能性显著降低,并且本文提出的方法有良好的实时性,适用于实际的工业场景。4.2 相关工作4.2.1 YOLOv2目标检测方法YOLOv2是目标检测领域最先进的方法之一,其在检测速度和检测精度上都有优异的表现,获得许多学者的关注[77]。YOLOv2的结构如下图所示,从图中可以看到,YOLOv2是基于GoogLeNet的定制神经网络,另外,它的分类网络是Darknet-19,拥有19个卷积层以及4个池化层。图4.120分类的YOLOv2结构图4.2.2 深度残差网络2015年,何凯明[78]等人提出了深度残差神经网络(DeepResidualNetwork,Resnet),用于解决卷积神经网络层数过多时的梯度消失(或爆炸)和精度退化问题,使得性能提升的同时,更容易训练。Resnet的特点有如下几个:1.网络较瘦,控制了参数数量;2.存在明显层级,特征图个数逐层增加,从而有较强的特征表达能力;3.池化层数目明显减少,大量采用下采样的技术,改进了传播效率;4.弃用Dropout,改为用批归一化和全局平均池化进行正则化,保证了较高的训练速度;5.当网络层数较高时减少了3*3大小的卷积个数,改用1*1的卷积进行控制,称这种结构为“瓶颈”(bottleneck)。假设H(X)=X是最优函数,通常,一般的卷积神经网络都会直接拟合H(X)=X,而Resnet则是对残差映射进行拟合,即 (4.1)此时,原来的最优解映射为 (4.2)当Resnet自动提取特征时,只要令F(X)=0就完成了一个恒等映射H(X)=X。显而易见的,让网络去拟合确定的函数F(X)=0比逼近某个函数H(X)要容易得多。Resnet的结构如图4.2所示,从图中可以看出,F(X)+X是通过快捷连接实现的。快捷连接跳过了2个或者3个卷积层,直接将自身映射到叠加层。Resnet的网络结构不复杂,同时改善了性能退化的问题,从而具有不错的分类性能。图4.2Resnet的基本结构图针对图像特征的行人检测方法4.3 针对图像特征的行人检测方法4.3.1 基于图像的行人特征分析计算机视觉的原理是让机器模仿生物的视觉,即视像设备记录人类眼中看到的世界,让机器的输入更加贴合人类的输入,这样更有利于机器“理解”人类的世界。通过对各种行人图像的分析,行人图像具有以下的特点:1) 行人图像的横向特征比纵向特征少,如图4.3所示,行人的身高和身宽的比例一般为3:1,横向特征表达的信息只有纵向的三分之一,因此增加横向的特征更有利于对行人进行识别;2) 行人群体在没有进行标注的图像上是无法体现深度信息的,例如:图(a)中的人群可以看成是对行人特征进行横向堆叠,适当增加图像宽度,有利于行人特征的表达;3) 大部分的录像设备都是采用16:9的比例进行数据采集的,大部分的形式如图(a)和图(d)所示。特别是图(a)是视频采集最常用的尺寸,而目标检测通常用正方形的图形作为输入,这样的处理方式加大了横、纵向特征之间的差异。这一点从图(b)(c)(e)(f)中就可以看出。图4.3图像预处理比例综上所述,为了更好地对行人进行检测和识别,本文改进了输入图片的长宽比例,选择288*608分辨率的图像作为卷积神经网络的输入,再不影响分辨率的前提下,增加更多的横向特征信息。4.3.2 基于维度聚类的预测框选取在当前区域提名的目标检测算法里,先验预测框的设置通常是人工完成,但是拟合的速度慢,而且模型也容易陷入局部最优解。针对这个问题,周飞燕等人在2017年提出了维度聚类的方法[64],来自适应地选择先验预测框。本文在此基础上,采用了K-means算法来辅助确定先验预测框的数目和大小。这里需要注意的一点就是,在实现K-means聚类的时候,本文在选择评价指标时,并没有使用闵可夫斯基变式,这有效避免了预测框的大小对聚类效果的影响。本文选择交并比作为衡量的标准,并在计算交并比时,采用单位网络对其进行归一化处理,而不是根据框的长度进行计算。相异度的计算公式如下所示:(4.3)其中,centrd是聚簇中心,box表示样本,IoU(box,centrd)则表示聚簇中心框和聚类框的交并比,交并比的公式如下所示: (4.4)最终,本文通过实验,验证了当预测框的数目为5时,模型具有更好的定位能力,即兼顾网络的性能和实时性,实验的结果如图4.4所示。图4.4预测框数目与交并比的关系4.3.3 Res-P-YOLO网络设计本文在YOLOv2的基础上,将修正后的Resnetv2-50结合到整个行人检测系统中,提高了网络识别小物体的能力,对Resnetv2的修正如下:1) 去除Resnet-50最后一个平均池化层和一个全连接层;2) 在网络的最后一层串联一个1*1*1024的卷积层,降低了维度,减少了所需的计算量;3) 有针对性地将Resnet的输入尺寸设计为288*608,从而能够获得更多的横向信息;整个行人检测系统的结构如图4.5所示,图4.5Resnet-P-YOLOv2在训练的过程中,本文提出的模型不仅会实时地传回行人的位置坐标,同时也会对预测框中行人的置信度Conf(Person)进行计算,置信度是对预测框的准确度和框内存在行人可能性的度量:(4.5)从而,在训练过程中,本文的方法需要同时衡量行人位置、预测框的准确度以及行人可能性,模型的损失函数如下:(4.6)其中,W、H是网络的网格尺寸;B表示每个网格的预测框数目;x、y、w和h表示框的中心以及高宽;Ct用于表示行人的置信度;Ct是框内确实存在行人的置信度;pt表示预测行人的置信度;Pt则表示真实存在行人的置信度;λcontrd和λnopers分别表示位置预测以及行人预测的正则化系数;Δijpers是第i个网格的第4.4 实验设计4.4.1 实验环境本文的实验环境如下:CPU:IntelCorei7-7800K;内存:32GDDR4;GPU:NVIDIAGeForceGTX1080Ti;操作系统:64位Ubuntu16.04LTS;实验框架为TensorFlow;数据集选取PASCALVOL和INRIA行人数据集的混合数据集。在该实验环境下,本文提出的方法可以在1080p的MP4视频上,可以达到32.3帧/秒。4.4.2 行人检测模型评价方法本文使用每张图片的漏检率(FalsePositiveperImage,FPPI)和漏检率(MissRate,MR)作为模型性能好坏的评价标准,并且用ROC曲线进行更加直观的展示。因此,FPPI-MR的数值越小,表明本文提出的模型性能更好。漏检率和每张图片的误检率的公式如下所示:(4.7)(4.8)其中,FN表示实际上是行人,但是被误判为非行人的数目;TP表示实际上为行人,被正确判定为行人的数目;FP表示实际上是非行人,但是被误判为行人的数目;N是测试集图片的数目。4.4.3 混合数据集训练效果验证INRIA和PASCALVOL行人数据集是目前在行人检测领域被用得比较多的两个数据集,都包含有训练集和测试集。在INRIA行人数据集中,训练数据包含614张图片,共包含行人样本2413个;测试数据包含388张图片,共包含行人样本1126个。在PASCALVOL行人数据集中,训练数据789张图片中,共包含1389个行人样本,测试数据包含458张图片,共包含2121个行人样本。众所周知,为了避免深度学习出来的训练模型产生过拟合的现象,我们在训练时很一般使用大量的数据样本。根据上述数据增强的思想,本文使用PASCALVOL行人数据集的全部样本进行模型的训练,增强了训练出来模型的鲁棒性,提高了训练出来模型的泛化能力。本文也通过实验对该结论进行验证,如图4.6所示,使用两个数据集训练得到的模型比只是用单个数据集得到的结果提高了5%。在实验中,将PASCOLVOL行人数据集50%的测试数据作为验证集,剩下的50%作为测试集。图4.6混合数据集训练和单一数据集训练模型性能对比4.4.4 矩形输入性能对比本文的方法在设计矩形输入是会有两种不同的思路:1.在原有416*416的基础上拓展横向信息,但是这样做会使得分辨率升高,无法验证矩形输入对于网络性能的影响,因此本文采用第二种思路;2.设计像素数量与416*416相近的矩形尺寸,这样就能排除尺寸对于网络的影响。实验的矩阵尺寸如下表所示。表4-1网络矩形输入设计分辨率长宽比像素数416*41613480115441154496089:19175104从表中可以看出,288*608像素数目和416*416像素数目最为接近,因此采用这两种尺寸进行实验。同时,采用了YOLOv2精简方法tiny-YOLO进行试验以缩短训练时间,实验的参数均采用默认参数,唯一不同的仅仅是分辨率的设置,实验结果如图4-7所示。从图4.7中可以看到,采用288*608尺寸的举行输入,对于本文提出的方法具有最好的性能,召回率提升了6.37%,平均交并比提升了2.22%。图4.7不同输入尺寸对于网络性能的影响4.5 实验及分析本文提出的模型是在开源深度学习框架TensorFlow上进行构建的。在训练前,需要对训练参数进行设置,在这里本文使用均匀分布策略设置初始学习率,本文将其设为0.001,当迭代到40000次和60000次的时候学习率乘以0.2,动量系数为0.8,权值的衰减系数为0.001,并且随机地调整图片的曝光度、饱和度。实验的每个批次(batch)读入64张图片,停止条件为迭代80000次,最终的实验结果如图4.8所示。图4.8网络迭代损失值变化图为了更好地评价本文提出方法的有效性,在上述的数据集上与主流的行人检测方法进行比较(主流的行人检测方法有LatSVM、ACF、RandForest、ConvNet等),最终得到FPPI-MR的ROC曲线,RUC曲线下的面积越小,说明该算法的性能越好,实验结果如图4.9和表4-2所示。图4.9本算法与主流算法的比较表4-2和主流行人检测算法检测率的比较方法FPPI(%)RandForest15.5498本文的方法13.4621YOLOv213.8963从图4-9中可以看出,本文提出的方法较YOLOv2具有更优的性能,具体而言,当FPPI小于10-1时,本文的方法明显优于YOLOv2。而且YOLOv2采用了ImageNet预训练的模型,而本文提出的方法则没有,因此更加说明了本文提出方法的优越性。从表4-2中可以看出,本文提出的方法在上述数据集上取得了较好的性能,每张图片的误检率仅为13.46%,明显优于其他的传统算法。这是由于传统的方法非常依赖于手工设计的特征,而本文提出的方法能够自适应地从数据集中学习得到行人的特征,因此能够得到更低的误检率。4.6 本章小结本文提出了一种改进的深度残差神经网络行人检测方法,在保证实时性与泛化能力的同时,提高了行人检测的准确率。本文提出的方法在YOLOv2的基础上,融合了深度残差神经网路Resnet-50,提高了模型的特征提取能力;针对行人的行人图像横向信息不足的缺陷,提出了一种矩形输入的分类模型,加强了对于行人特征的提取能力;与此同时,通过聚类算法K-means重新设计了预测初始框,进一步提高了行人的定位能力。本文提出的方法在公开的行人数据集上,较主流的行人检测方法具有更好的性能。总结最近随着深度学习研究的不断深入,图像视觉领域的很多课题都取得相对大的进展,行人检测便是其中一个领域。行人检测技术设计多个领域技术,主要涉及的技术包括图像处理技术、计算机视觉技术以及机器学习相关算法等。行人检测在许多领域都有重要应用,例如:安防、监控、无人驾驶汽车等。行人检测认为以下三种:1.形变部件模型变体;2.基于决策森林的行人检测方法;3.基于深度学习的行人检测方法[x]。这三种训练方法在目前的数据集上取得了不错的检测效果。不过传统的行人检测方法(例如方向梯度直方图、局部二值模式等方法)严重依赖于手工设计特征,同时,设计得到的特征维度较高,在实际应用中泛化性能较差。基于深度学习(卷积神经网络)的行人检测方法能够自动从图像中学习得到行人特征,相比于传统的方法,具有更好的泛化性能,且性能也大幅度提升。因此,本文主要针对基于卷积神经网络的行人检测与识别算法进行研究和改进,旨在提高其识别的实时性和鲁棒性。本文的主要内容如下:(1)分析论证了基于CNN的行人检测与识别的理论基础。对当前所常用的运动特征行人特征的检测算法进行分析和实验验证,发现它们反映和表征的都是行人目标的纹理和梯度信息,而CNN的强项在于对于纹理和梯度特征的学习和表征,这样就不再需要人工选择和提取,这也是本文能够引入CNN进行行人检测与识别的理论基础。(2)为了有效地训练深度学习网络模型,本文提出了对原数据库扩充的方法,该方法在进行数据库扩充时该方法在进行数据库扩充时充分考虑到原数据库的行人分辨率,背景分布等因素,使扩充后的数据库仍然保持数据库原有的数据分布,从而有利于训练对数据库检测效果更佳的深度学习网络。通过扩充前后的实验对比来看,使用扩充的训练数据集进行训练后,漏检率为38%,低于扩充之前的漏检率48%。此外,值得注意的是,训练的迭代次数也会影响模型的泛化性能,因此,训练迭代次数的选择非常重要(3)针对传统行人检测需要人工设计特征以及实时性差和鲁棒性不强的问题,本文基于YOLOv2的端到端的目标检测方法,通过融合深度残差神经网络,提出了一种改进的深度残差神经网络的行人检测方法。针对行人的行人图像横向信息不足的缺陷,提出了一种矩形输入的分类模型,加强了对于行人特征的提取能力;与此同时,通过聚类算法K-means重新设计了预测初始框,进一步提高了行人的定位能力。实验证明,本文提出的方法在公开的行人数据集上,较主流的行人检测方法具有更好的性能。尽管本论文做了很多工作和努力,也取得了一定的效果,但是毫无疑问,它自身仍然存在着不足和需要改进的地方。本文仅是对基于卷积神经网络的行人检测方法的初步探索,如何保证检测实时性的前提下,进一步提高模型的识别率和泛化能力是我们下一步努力的方向。参考文献[1]徐超,闫胜业.改进的卷积神经网络行人检测方法.计算机应用,2017,37(6):1708-1715.[2]LeCunY,BengioY,HintonG.Deeplearning.nature,2015,521(7553):436.[3]SermanetP,KavukcuogluK,ChintalaS,etal.Pedestriandetectionwithunsupervisedmulti-stagefeaturelearning.In:ComputerVisionandPatternRecognition(CVPR),2013IEEEConferenceon.IEEE,2013:3626-3633.[4]SermanetP,KavukcuogluK,ChintalaS,etal.Pedestriandetectionwithunsupervisedmulti-stagefeaturelearning.In:ComputerVisionandPatternRecognition(CVPR),2013IEEEConferenceon.IEEE,2013:3626-3633.[5]BenensonR,OmranM,HosangJ,etal.Tenyearsofpedestriandetection.Whathavewelearned,2014:613-627.[6]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection.In:ComputerVisionandPatternRecognition,2005.CVPR2005.IEEEComputerSocietyConferenceon.IEEE,2005,1:886-893.[7]OjalaT,PietikainenM,MaenpaaT.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns.IEEETransactionsonpatternanalysisandmachineintelligence,2002,24(7):971-987.[8]HuiZhang,WangKun-Feng,WangFei-Yue.深度学习在目标视觉检测中的应用进展与展望.ActaAutomaticaSinica,2017,43(8):1289-1305.[9]李彦冬,郝宗波,雷航.卷积神经网络研究综述.计算机应用,2016,36(9):2508-2515.[10]WuB,NevatiaR.Detectionandtrackingofmultiple,partiallyoccludedhumansbybayesiancombinationofedgeletbasedpartdetectors.InternationalJournalofComputerVision,2007,75(2):247-266.[11]ViolaP,JonesM.Fastandrobustclassificationusingasymmetricadaboostandadetectorcascade.In:Advancesinneuralinformationprocessingsystems.2002:1311-1318.[12]CollinsM,SchapireRE,SingerY.Logisticregression,AdaBoostandBregmandistances.MachineLearning,2002,48(1-3):253-285.[13]HastieT,RossetS,ZhuJ,etal.Multi-classadaboost.StatisticsanditsInterface,2009,2(3):349-360.[14]曹莹,苗启广,刘家辰,等.AdaBoost算法研究进展与展望.自动化学报,2013,39(6):745-758.[15]HintonGE,SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks.science,2006,313(5786):504-507.[16]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks.In:Advancesinneuralinformationprocessingsystems.2012:1097-1105.[17]徐姗姗.卷积神经网络的研究与应.南京:南京林业大学,2013:128-130.[18]孙志军,薛磊,许阳明,等.深度学习研究综述.计算机应用研究,2012,29(8):2806-2810.[19]赵晨光.基于掌纹的身份识别研究.成都:西安电子科技大学,2014:220-222.[20]汪国强,盖琪琳,于怀勇,等.基于背景差分法的视频目标检测算法研究.黑龙江大学工程学报,2014(4):64-68.[21]林雯.新型基于帧间差分法的运动人脸检测算法研究.计算机仿真,2010,27(10):238-241.[22]齐玉娟,王延江,李永平.基于记忆的混合高斯背景建模.自动化学报,2010,36(11):1520-1526.[23]计文平,郭宝龙,丁贵广.基于虚拟线圈的光流法车流量检测.计算机仿真,2004,21(1):109-110.[24]OuyangW,WangX.Jointdeeplearningforpedestriandetection.In:ComputerVision(ICCV),2013IEEEInternationalConferenceon.IEEE,2013:2056-2063.[25]戴琼海,王雁刚.基于可变阶马尔科夫随机场的图像表示方法:CN,CN101964106B[P].2012.[26]LiuZ,LuoP,WangX,etal.Deeplearningfaceattributesinthewild[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2015:3730-3738.[27]WanJ,WangD,HoiSCH,etal.Deeplearningforcontent-basedimageretrieval:Acomprehensivestudy.In:Proceedingsofthe22ndACMinternationalconferenceonMultimedia.ACM,2014:157-166.[28]RenS,HeK,GirshickR,etal.Fasterr-cnn:Towardsreal-timeobjectdetectionwithregionproposalnetworks.In:Advancesinneuralinformationprocessingsystems.2015:91-99.[29]HeK,ZhangX,RenS,etal.Spatialpyramidpoolingindeepconvolutionalnetworksforvisualrecognition.In:europeanconferenceoncomputervision.Springer,Cham,2014:346-361.[30]RenS,HeK,GirshickR,etal.Fasterr-cnn:Towardsreal-timeobjectdetectionwithregionproposalnetworks.In:Advancesinneuralinformationprocessingsystems.2015:91-99.[31]GirshickR.Fastr-cnn.arXivpreprintarXiv:1504.08083,2015.[32]JoachimsT.Makinglarge-scaleSVMlearningpractical[R].Technicalreport,SFB475:KomplexitätsreduktioninMultivariatenDatenstrukturen,UniversitätDortmund,1998.[33]SchuldtC,LaptevI,CaputoB.Recognizinghumanactions:alocalSVMapproach.In:PatternRecognition,2004.ICPR2004.Proceedingsofthe17thInternationalConferenceon.IEEE,2004,3:32-36.[34]张浩然,韩正之,李昌刚.支持向量机.计算机科学,2002,29(12):135-137.[35]丁世飞,齐丙娟,谭红艳.支持向量机理论与算法研究综述.电子科技大学学报,2011,40(1):2-10.[36]林雯.新型基于帧间差分法的运动人脸检测算法研究.计算机仿真,2010,27(10):238-241.[37]刘艳丽,陈昊,余炎峰.基于帧间差分法和不变矩特征的运动目标检测与识别.工业控制计算机,2008(7):34-36.[38]王明辉,余强.一种基于时空兴趣点和光流法的行人检测方法.西华大学学报:自然科学版,2014(1):65-68.[39]崔国庆.视频中的行人检测与异常行为检测方法研究.上海交通大学,2010:57-59.[40]陈刚.基于多特征的行人检测方法研究.吉林大学,2012:278-279.[41]吕真,张浩,连卫民.多特征协同的双层组合结构行人监控识别方法.计算机应用与软件,2015(9):170-174.[42]赵佳露.基于梯度特征和多分类器的行人检测方法.哈尔滨:哈尔滨工业大学,2013:78-80.[43]ZhangS,BauckhageC,CremersAB.Informedhaar-likefeaturesimprovepedestriandetection.In:ComputerVisionandPatternRecognition(CVPR),2014IEEEConferenceon.IEEE,2014:947-954.[44]ChouKP,PrasadM,PuthalD,etal.FastDeformableModelforPedestrianDetectionwithHaar-likefeatures.In:ComputationalIntelligence(SSCI),2017IEEESymposiumSerieson.IEEE,2017:1-8.[45]DollárP,WojekC,SchieleB,etal.Pedestriandetection:Abenchmark.In:ComputerVisionandPatternRecognition,2009.CVPR2009.IEEEConferenceon.IEEE,2009:304-311.[46]SabzmeydaniP,MoriG.Detectingpedestriansbylearningshapeletfeatures.In:ComputerVisionandPatternRecognition,2007.CVPR'07.IEEEConferenceon.IEEE,2007:1-8.[47]高嵩,杜晴岚,陈超波.基于快速级联分类器的行人检测方法研究.计算机工程与科学,2015,37(6):1183-1188.[48]姚雪琴,李晓华,周激流.基于边缘对称性和HOG的行人检测方法.计算机工程,2012,38(5):179-182.[49]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection.In:ComputerVisionandPatternRecognition,2005.CVPR2005.IEEEComputerSocietyConferenceon.IEEE,2005,1:886-893.[50]MajiS,BergAC,MalikJ.Classificationusingintersectionkernelsupportvectormachinesisefficient.In:ComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon.IEEE,2008:1-8.[51]DollárP,BelongieSJ,PeronaP.Thefastestpedestriandetectorinthewest.In:Bmvc.2010,2(3):7.[52]ZengX,OuyangW,WangX.Multi-stagecontextualdeeplearningforpedestriandetection.In:ComputerVision(ICCV),2013IEEEInternationalConferenceon.IEEE,2013:121-128.[53]SainathTN,VinyalsO,SeniorA,etal.Convolutional,longshort-termmemory,fullyconnecteddeepneuralnetworks.In:Acoustics,SpeechandSignalProcessing(ICASSP),2015IEEEInternationalConferenceon.IEEE,2015:4580-4584.[54]GentCR,SheppardCP.SpecialFeature.Predictingtimeseriesbyafullyconnectedneuralnetworktrainedbybackpropagation.Computing&ControlEngineeringJournal,1992,3(3):109-112.[55]刘超,李云清,胡全连.BP神经网络在技术预见评价中的应用研究.科技管理研究,2010,30(5):42-44.[56]周志华,陈世福.神经网络集成.计算机学报,2002,25(1):1-8.[57]LeCunY,BengioY,HintonG.Deeplearning.nature,2015,521(7553):436.[58]BengioY,SimardP,FrasconiP.Learninglong-termdependencieswithgradientdescentisdifficult.IEEEtransactionsonneuralnetworks,1994,5(2):157-166.[59]BurgesC,ShakedT,RenshawE,etal.Learningtorankusinggradientdescent.In:Proceedingsofthe22ndinternationalconferenceonMachinelearning.ACM,2005:89-96.[60]王功鹏,段萌,牛常勇.基于卷积神经网络的随机梯度下降算法.计算机工程与设计,2018(2).[61]武妍,王守觉.一种新的快速收敛的反向传播算法.同济大学学报:自然科学版,2004,32(8):1092-1095.[62]LeCunY,BoserBE,DenkerJS,etal.Handwrittendigitrecognitionwithaback-propagationnetwork.In:Advancesinneuralinformationprocessingsystems.1990:396-404.[63]SchmidhuberJ.Deeplearninginneuralnetworks:Anoverview.Neuralnetworks,2015,61:85-117.[64]周飞燕,金林鹏,董军
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 《草坪建植与养护学》试卷-1(答案及评分标准)
- (2025年)中小学教师副高水平能力测试题附答案
- (完整版)电工试题库-含答案
- (完整版)5G试题及答案
- (完整版)急性中毒试题及答案
- 2025财税专业知识摸拟测试题(三)(有答案)
- 2025 年百科知识题库及答案
- (2025年)(完整)三基三严考试试题及参考答案
- (2026)消防法考试题库及参考答案
- 《医疗器械经营质量管理规范》培训试卷及答案
- 江苏无锡市2026-2027学年高三上学期期中考试语文试题
- 高压配电柜安全操作规程
- 老年人抗菌药物的使用与注意事项
- 2026年护士条例学习解读课件(含案例分析)
- 2026年湖南普通高中学业水平选择性考试化学真题及答案
- 露天矿山开采施工方案
- 钠离子电池用硬炭负极材料技术要求
- 驾驶服务外包投标方案
- DLT 5035-2016 发电厂供暖通风与空气调节设计规范
- 评茶员培训教案
- 工程造价咨询服务投标方案(专家团队版-)
评论
0/150
提交评论