基于时空兴趣点和梯度直方图的行人检测

硕士学位论文 基于时空兴趣点和梯度直方图的行人检测 作 者 姓 名： 学科、专业： 计 算机 应用 学 号： 212010081202009 指 导 教 师： 完 成 日 期： 2013 年 4 月 基于时空兴趣点和梯度直方图的行人检测 西华大学生硕士学位论文 分类号 密级 n : D: 212010081202009 2013 密级： 西华 大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名： 指导教师签名： 日期： 日期 西华大学学位论文版权使用授权 书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 在校攻读学位期间论文工作的知识产权属于西华 大学， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 (保密的论文在解密后遵守此规定 ) 学位论文作者签名： 指导教师签名： 日期： 日期 西华大学硕士学位论文 I 摘 要 近年来，嵌入式设备上的智能监控系统， 由于涉及人们的安全和切身利益，正日益受到人们的广泛关注。在智能监控系统中，行人检测作为行人跟踪、行为识别等工作的基础，其重要性不言而喻，而在计算机视觉的应用方面，行人检测也是学者们研究的一个重要课题，其研究方法涉及图像处理，人工智能等，因此行人检测的研究具有重要的应用价值和理论价值。 行人检测包含 行人 目标提取和分类识别两个步骤。其中 行人 目标提取涉及 行人 目标分割和目标区域提取，作为 行人 目标分割的一种方法， 实际应用中，常常由于背景建模时间长，不能满足应用的实时性需求 ; 帧间差法由于实现简单，常常用 于目标区域提取，但当环境变化较大时，常常不能稳定 地表示场景 ; 而全图检测的梯度直方图作为一种经典方法，具有稳定性，鲁棒性强 的优点，但在噪声较小的 场景下，全图检测会导致检测时间长，准确率低的缺点。 针对上述方法的缺点和不足，本文做了以下工作： 1) 针对 应用中存在背景建模时间长的问题，本文在帧差码本法的基础上，通过对学习阈值进行变化，实现对于码本的局部更新，实验结果显示一定的环境下，与基本码本法相比，局部更新的 少背景建模时间。 2) 针对实际场景下 ，帧间差法稳定性差的问题，本文采用时空兴趣点代替全图的策略，并通过加入光流法，设计了基于时空兴趣点的行人目标提取方法，实验结果显示一定的环境下，时空兴趣点可以相对稳定地表示场景 。 3） 针对在噪声较小的场景下，基于梯度方向直方图方法全图检测导致时间长的问题。本文采用子图代替全图的优化策略，提出了基于时空兴趣点和梯度直方图的行人检测算法，实验结果表明在噪声小的环境下，使用本文算法可以提升准确率 ,并减少检测时间。 关键词 ： 行人检测 ； 时空兴趣点 ； 梯度 直方图 ； 子图检测 基于 时空兴趣点和梯度直方图的行人检测 n on to in s s In is of is in of is an so of in in to As a in so of is is to of in is a in to in at of 1) to im on to in im in a 2) to in a of By to on on in a 3) at of in in a of on 华大学硕士学位论文 in 于 时空兴趣点和梯度直方图的行人检测 目 录 摘 要 . I . 绪 论 .研究目的及意义 .国内外研究现状 .论文主要内容与结构 . 基于局部更新的 本建模 .本建模 . 基本码本建模 . 帧差码本建模 .算法原理及实现 . 10 转换图像空间 . 12 提取背景模型 . 12 建立并更新码本 . 12 实验结果及分析 . 13 背景建模准确率评价 . 14 背景建模时间评价 . 14 本章小结 . 15 3 基于时空兴趣点的行人目标提取 . 16 基于帧间差的行人目标提取 . 16 帧间差原理 . 16 光流法 . 17 时空兴趣点原理 . 19 基于时空兴趣点的行人目标提取 . 21 抽取时空兴趣点 . 21 分割目标区域 . 23 计算光流值 . 24 实验结果及分析 . 24 本章小结 . 25 西华大学硕士学位论文 V 4 基于时空兴趣点和梯度直方图的行人检测 . 26 相关理论 . 26 梯度直方图 . 26 支持向量机 . 27 全图检测算法 . 28 归一化预处理 . 29 计算图像梯度 . 29 构建网格梯度直方图 . 30 构建网块梯度直方图 . 30 构建全图梯度直方图 . 31 提取并识别全图特征 . 31 子图检测算法 . 32 全图检测问题 . 32 基于时空兴趣点和梯度直方图的算法 . 32 实验结果及分析 . 33 处理速度评价 . 36 准确率评价 . 36 本章小结 . 37 结 论 . 39 参 考 文 献 . 40 攻读硕士期间发表论文及科研项目 . 43 致 谢 . 44 西华大学硕士学位论文 1 1 绪 论 研究目的及意义 随着嵌入式技术的快速发展以及人们生活水平的日益提高，越来越多的嵌入式设备正在人们的日常生活中扮演着重要的作用，所谓嵌入式设备，也称为嵌入式系统，通常指的是与传统微型计算机的“大型”和通用性不同，一般指的是嵌入到芯片系统中，专门用于某一具体服务目的的计算机系统 1 。 嵌入式系统主要具有一下几个特点： (1) 嵌入内部软件的高实时性要求是嵌入式 系统软件的基本要求，嵌入式系统常常作为工业和精确控制的一部分，其内部软件的实时性要求不言而喻。 (2) 由于嵌入式系统具有的存储容量一般都比较小，因此，嵌入在其内部的软件应该尽可能的精简，以提高速度，代码也要求尽可能的高质量和高效率。 (3) 内部系统应该尽可能的精简，由于嵌入式一般存储容量较小，一般不明确区分系统软件和应用软件，这样做可以尽可能的使用内部资源。 (4) 专用性强，一般情况下，嵌入式系统都是针对某一个具体应用设计的。而且一般当任务出现改动的时候，都要进行较大的改动。 作为嵌入式系统的一个重要 应用方面，视频监控系统正朝着智能化，网络化的方向发展，许多人提出了智能监控的概念，即区别于传统的人为干预，运用计算机视觉，机器学习和图像分析的方法来实现智能化的日常监控，并对其中的异常情况进行处理。而行人检测作为其中的重要组成部分，其速度和准确率一定程度上影响了后来的跟踪和识别的效果。 行人检测作为计算机视觉的一个应用方面，其发展与计算机视觉的发展是密不可分的，所谓计算机视觉，指的是使用计算机以及相关的外设对于人眼的一种模拟，它的任务是对于采集到的视频序列和图片进行处理，然后得到与之相关的信息。计算机视觉的最终目标是使得计算机能像人一样通过观察了解世界，因此在完成最终目标前，人们的目标就是能建立一个中间系统，能通过控制，反馈来实现的部分智能功能。而目前的行人检测，正是这样中间系统的一部分。而关于行人检测的研究，大约来源于二十世纪九十年代，早期的研究者们主要使用的是静态图像处理技术，如提取动态目标，模版匹配，分割边缘，当然与此同时，一些学者们也提出了使用机器学习等方法来进行检测识别。而近些年来，由于各种各样传感器的加入，学者们大致的处理思路，分为两类，一类是基于时空兴趣点和梯度直方图的行人检测 2 通过若干个传感器采集图像，然后进行融合，像日常中用多个 摄像头跟踪犯罪；而另一类是使用简单的光学摄像头，直接运用图像处理的方法进行检测。 在具体应用中，嵌入式系统由于内存小，对于实时性要求较高，相应的准确率要求就低， 而在图像处理中，准确率要求相对较高， 因此在具体场景下，寻找一种检测准确率高，检测速度快的算法就显得很有意义。 当前应用的行人检测方法多是基于统计方法的，而多数改进算法都以全图检测的梯度直方图为基础的，但全图检测在实际应用中仍然存在着检测准确率低，检测速度慢的缺点。因此出于应用的考虑，本文提出了采用子图代替全图进行检测的策略，而对于子图的提取，本文采取 了先使用 本进行运动目标提取，然后使用时空兴趣点进行区域提取的方法。通过实验证明在噪声点小的场景下，子图检测能取得更快的速度和更高的准确率。 国内外研究现状 早期的行人检测方法多是以形状信息作为处理对象，方法上也是以静态图像处理方法中的边缘提取，运动检测，分割等方法为主。 德国的 他负责的城市交通系统中提出了全局模板的方法，也就是后来的基于轮廓的分层匹配的方法，在系统开始时候他构建了 2500 个轮廓模板来对行人进行匹配，对于新的信息通过与模板行人的亮度信息，进行基函数径向比较来识 别出行人。这种方法存在的问题是由于模板太多，计算的时候要考虑很多基础信息，影响了匹配速度，为了解决这一问题，后来的学者们从匹配策略上考虑，提出了从粗到细的策略来搜索，也就是在匹配的时候，先使用模板与待测窗口进行距离比较得到一个大概的匹配相似度，然后再细化比较。 后来，意大利的 目中提出了一种基于局部模板的方法，首先找出局部感兴趣区域，这些区域一般出现在待测目标垂直边缘的对称处，或者是一定的身体比例处，比如图像中的肩部和头部。当找到兴趣区域后，通过计算边缘的熵值，过滤掉相同的区域，在剩下 的区域中，用人头模型匹配行人的头部，经过实验证明，当有完整行人出现在视野中效果较好，并且在距离 10 到 40 米的区域能成功识别，也能适应较为复杂的环境。 上述两种方法存在一些问题：首先行人形状中信息量巨大，设计算法时要考虑很多因素，计算量大，其次，由于行人在行走时候容易出现遮挡现象，形状信息的检测也显得很困难。 随后出现了基于运动信息的方法，德国的 找到运动区域的前提下，通过计西华大学硕士学位论文 3 算区域中的残余光流来分析出运动物体的周期性和刚性，由于非刚性的人相对于刚性的汽车运动具有更高的平均光流，而且人的运动周期性也 很明显，这样就能测出人。但是存在的问题有：首先，需要提取到节奏明显的运动信息，其次，为了分析运动，需要同时比较几帧图像，给后来的识别带来不便，更重要的是，这种方法不能识别一直静止的人。 上个世纪末期，当傅立叶分析不足的时候，出现了小波变换，小波变换具有良好的多分析分辨功能，反映出很好的重构和滤波特性，随后美国科学家 出了基于小波模板的行人检测方法，具体方法是对于目标形状（人的形状）用小波相关系数形成小波模板，然后把图像分割成若干个固定大小的窗口，然后把每个窗口进行缩小，然后对于小窗口进行小波变换 ，然后用支持向量机的分类器进行匹配，当匹配成功时，认为目标是一个人，反之，认为不是。 小波变换和支持向量机的方法都有计算量较大的缺点，因此当要进行实时检测和跟踪时，需要降低支持向量机的维数和减少小波特征的数目。 近些年来， 们提出使用三维立体视觉对目标区域进行分割，然后通过一定的变换，过滤出可能有人的区域，然后送进神经网络识别。 从上述发展中可以得出：在不考虑识别方法优化的情况下，行人检测算法的方法大体可以分成两类：一种是基于 背景建模的方法：即先通过一些方法如帧间差分法等得到背景模型，然后比较待测帧与背景，提取运动目标，然后与固定模型进行比较，识别，这类方法的优点是：实时性好，比较简单，有一定的适用性，但鲁棒性不强，对于光照等环境变化比较敏感，准确率较低。 另一种是基于统计的方法：即按照传统机器学习的方法进行训练，先找到一些样本，然后对提取的特征进行训练，得到分类器，随后对于待测的图像或者视频序列，进行全图的特征提取，输入分类器进行识别。这类方法的优点是：准确率高，鲁棒性好。 不难看出如何准确地找寻场景中的运动物体，并对其进行快 速识别，正成为行人检测的发展趋势。 当前主流的行人检测方法均为基于统计方法，虽然这类方法存在以下缺点： 1） 具体场景下，行人的服饰和姿态可能都不相同 ; 2） 一般情况下，提取的特征在特征空间下，分布不够紧凑 ; 3） 训练中的负样本无法覆盖所有真实应用场景 ; 4） 分类器对于训练样本的依赖性较大，样本的好坏往往能决定分类器的性能。 但是，目前人们仍然集中于使用这种方法，不少研究学者主要从特征描述和分类器基于时空兴趣点和梯度直方图的行人检测 4 方面进行速度和性能方面。而梯度直方图作为较好的单特征，也受到了人们的关注，其中关于梯度方向直方图的研究大致如下： 2005 年 先提出了梯度直方图的概念，在 议上，他为解决机器人视觉研究特征集合提取的问题，采用线性支持向量机作为测试分类器，在比较了存在的边缘和其他的描述方法后，提出了网格形式下的梯度方向直方图描述因子，并且在 明了这种描述因子的好处 2 。 2006 年 议上， Q. . . . 使用级联的梯度方向直方图的快速行人检测提出了一种网格形式下的 的级联方法 , 该方法首先通过各个局部区域的梯度方向直方图的提取，然后进行级联，最后再进行一个统一提取3 。而 N. 人在 议上发表的“基于方向直方图的流程和应用”也谈到了方向直方图的应用前景和一些可能改进的方法 4 。 2007 年 D. . 议上，提出了一种建立多线索的方法，来实现从汽车上进行行人检测，检测方法中涉及到一系列模型的级联，使用统一的尺度标准对于 连续的图像序列的检测区域进行缩小，然后为了平衡了鲁棒性和效率，提出使用上下文的信息进行优化 5 。 2008 年 M. . 议上，在一种用于行人检测的混合生成的有差别的框架提出了一种新的混合性的有差别的判定框架，用来进行行人的检测 6 。 2009 年 X. 议上，提出了在梯度方向直方图特征的基础上，通过添加局 部二值因子进行局部模糊处理优化 。最初 是 为 了 辅助图像局部对比度，后来 实践证明，它是 一种有效的纹理描述算子， 可以用来 度量和提取图像局部的纹理信息， 并且 对光照具有不变性。该描述方法还用于质量检测，人脸图像分析等领域，取得了很好的效果 纹理描述 7 。 2010 年 D. . 在 会议上，发表了“对于先进驾驶辅助系统的行人检测调查”，为了未来先进的驾驶系统，比较和分析了许多现有 的新人检测方法 8 。 2011年 中提到了的“ 是测出的图像上的柱状图（行人也算），并且用一定的概率估计出柱状物的顶端像素和底端像素，用这些像素点标记出行人的可能区域 9 。并且在 2012 年的 实现了它 10 。 2012 年的 ， 出了一种基于上下文信息的 方法，主要是把待检测行人通过生成一个检测模型，考虑上下文的信息，在连续分类的时候，建立一定西华大学硕士学位论文 5 的语境，语境中会使得上下文线索扩大覆盖范围，然后迭代来提高检测的准确性 11 。 从近些年行人检测的发展来看，学者们对于行人检测的准确率，大多数算法是从特征提取和分类器的方面进行速度和准确率的提升，但实际应用中，出于应用需求的考虑，有时候使用一些预处理手段，如提取背景，子图提取等方法，可以达到在具体场景下保证一定的准确率，并且提升速度的效果。 论文主要内容 与结构 本文的主 要研究内容包括 三 个部分： (1)针对 应用中背景 建模时间长的问题，在帧差码本法的基础上，通过对 学习阈值进行变化，来实现对于局部背景的实时更新，实验结果显示一定的环境下，局部更新的 少 (2)针对帧差法易受到环境影响的问题，提出使用时空兴趣点代表目标的策略。由于其提取的点为局部最优的点，一定程度上可以代替全局的点，为了比较加入光流特征，通过实验对比基于帧间差的行人目标提取和基于时空兴趣点的行人目标提取 ，实验结果显示一定的环境 下，时空兴趣点可以相对稳定地表示场景。 (3)针对某些场景，基于梯度方向直方图方法全图检测导致时间长的问题。本文提 出使用时空兴趣点和梯度直方图的方法，其基本过程是先通过局部更新 的 本分割运动目标，然后通过时空兴趣点进行区域分割，最后，在 提取的子图 范围内 进行特征提取和分类识别，通过具体场景下拍摄的视频序列比较子图检测与全图检测的准确率和处理速度，实验结果表明某些环境下，使用子图检测的方法可以提升速度和准确率。 本文的组织结构如下： 第一章介绍了课题的研究背景，研究目的及研究意义，接着介绍了行人检测的国内外发展现状，最后给出了本文的研究内容和结构。 第二章介绍基于局部更新的 本法，首先介绍了 本法，包括基本码本法，帧差码本法，针对帧差码本法适应性弱的特点。提出对学习阈值进行自适应变化的改进策略，继承了帧差码本法降低建模时间的优点，给出了相关的算法流程，最后通过实验在背景建模准确率和背景建模速度上分别比较了本章算法，帧差码本法和 第三章首先介绍了基于帧间差的行人目标提取，包括帧间差原理和光流法，然后介绍基于时空兴趣点的行人目标提取方法，给出了相关的算法流程及实现，最后与基于帧间差 的行人目标提取方法进行了准确率的对比，并对实验结果进行分析。 基于时空兴趣点和梯度直方图的行人检测 6 第四章首先介绍基于方向梯度直方图和支持向量机的全图检测方法，包括其理论基础，算法流程，然后提出子图检测提取特征的方法，即在提取特征的阶段，先用自适应阈值码本和时空兴趣点提取子图，然后对于子图区域提取特征，再进行分类识别的方法，最后运用实验从检测速度和准确率上比较了子图检测方法和全图检测方法。 最后对于本文工作进行总结和展望。 西华大学硕士学位论文 7 2 基于 局部更新的 本建模 智能监控系统目前已经被广泛地应用于许多民用领域，比如居民住宅、公共场所、停车场以及 银行等。而对于检测的智能化则涉及到计算机视觉、模式识别和人工智能领域的许多核心问题，这些问题引起了国内外许多学者的兴趣。而运动目标检测算法是智能监控系统中一个基础和关键的任务，高效的目标检测算法对于智能视频监控系统具有重要的意义。目标检测作为后期跟踪及行为理解的基础，其基本过程是：首先从图像序列中提取前景，然后通过前景分割出目标区域，但实际应用场景中背景往往比较复杂，如光照变化，树木晃动，因此在复杂背景提高系统的实时性和准确率成为了至关重要的问题。现有的运动目标检测方法主要有帧差法、光流法、背景差法等。帧差 法和光流法在上一章我们已经介绍过了，而背景建模的方法则是基于统计的方法，即使用训练建模，识别检测的方法。前两种方法的优点是简单，速度快，但检测率比较低。而背景建模的方法缺点是处理速度相对较慢，对于环境变化不能很好的处理，优点是准确率相对比较高，背景建模中常用的背景模型有高斯模型 12 ，平均背景模型 13 和码本模型 14 。高斯背景模型 (要大量的系统资源，而平均背景模型由于是通过计算 均值和方差进行建模则不能适应动态的背景。 对于动态场景下环境的变化引起的建模问题，一种较好的解决方法是对于每一个像素建立一个时间序列模型，这样每一个像素的时间起伏就能很好的表示，然后处理起来就很简单了。但这样做的缺点就是需要消耗大量的内存资源，于是为了获得与自适应滤波相近的性能， 人提出使用建立一个编码本来描述背景中感兴趣的区域，在这个编码本中，观测值相近的值被建立在同种色彩，而变化较大的点被考虑为另种色彩。 本建模 基本码本建模 受到图像压缩技术中的提示，码本模型算法 是 人提出的一种非参数化的运动目标检测方法，该算法目的是形成一个 码本）以描绘背景的状态。通过将一个像素现在的观测值和先前的观测值做比较。如果两个值很接近，它被建模为在那种颜色下的扰动，并进行码本更新，一般是通过码本范围的扩大，加入码本中；如果两个值不接近，则生成一个新的码元素。通过 n 个像素的训练最后得到码本模型。这种模型消耗的内存相对比较小，而计算速度取决于新的像素是否在学习的模块里面。在实际应用中，选择 间模型并不是最优的。从而选择轴与亮度联系在一起的颜色向量空基于时空兴趣点和梯度直方图的行人检测 8 间，比如 间，选择 间也行，因为绝大部分背 景中的变化都不是沿着颜色轴，而是倾向于沿着亮度轴，为此实验中 使用 间 15 。 型在 间中，每个码字的描述参数采用颜色向量 v= Y,b 及辅助五元素 c= ,I ,f, ,t)，其中 I 分别表示该码字中所有像素的最大值和最小值；f 代 表当前码字出现的像素个数； 表示码字相邻两次访问的最大时间间隔；每个像素值都由 f 和 联合训练。 于删除因为由移 动 的 前 景 目 标 引 起 的 很 少 使 用 的 码 元 素 。 为 每 个 像 素 设 置 一 个 码 本 即 1 2 3 i C c ,c ,c .n 帧视频进行背景学习，然后根据 下一帧图像与码本中的图像像素进行比较。根据一定的阈值判断是否为背景和前景。并对码本进行更新。码字采用 Y,B 和 i (f, ,t )进行描述。码字创建公式如式 ( iv i i ii i i i=(Y ,(f , ,t ) (码字更新公式如式 ( i i i ii i ii i i r + C + Y f C b= , ,1 + f 1 + f 1 + fa u x = f + 1 , f ,t - t ,这种 法能够解决像素剧烈变化的 问题（例如，被风吹动的树的像素，它可能在很多树叶的颜色和树之间的蓝天颜色之间交替的出现）。有了这个更精确的模型方法，我们就能够探测有不同像素值的前景目标，并精确的提取出运动目标。经典的码本建模有如下步骤： 1)训练一个基本的背景模型 ; 2)训练有移动前景条件下的背景 ; 3)调整阈值使得对前景进行最好的分割 ; 4)把前景从训练好的背景中提取出来 ; 5)更新学习的背景像素 ; 6)定期更新原本是前景的点为背景。 下图给出了原始视频帧和 本算法的结果： 西华大学硕士学位论文 9 图 原视频帧 基本码本建模 的结果 of 帧差码本 建模 从背景像素码本模型方案的步骤中，可以看出码本背景模型的更新时需要对于每一帧上的每一个点都进行更新，这会浪费大量的时间和资源，于是严丹等人 16 提出了帧差码本法，即先用少量帧对于所有点建立基本的码本，然后用帧差法得出背景像素点，最后仅对帧差得到的背景点进行码本的更新。下 图给出了原始帧和帧差码本法的结果： 基于时空兴趣点和梯度直方图的行人检测 10 图 原视频帧 帧差码本法 of 算法原理及实