基于视觉的特征提取及行人检测硕士学位论文.docx

基于视觉的特征提取及行人检测 武汉理工大学 （申请工学硕士学位论文） 基于视觉的特征提取及行人检测 分类号 密 级 公开 UDC 学校代码 10497 学 位 论 文题 目 基于视觉的特征提取及行人检测 英 文 Feature Extraction and Pedestrian Detection题 目 Based on Computer Vision 研究生姓名 指导教师姓名 职称 副 教 授 学位 硕 士 单位名称 信息工程学院 邮编 430070 申请学位级别 硕 士 学科专业名称 通信与信息系统 论文提交日期 2013年4月 论文答辩日期 2013年4月 学位授予单位 武汉理工大学 学位授予日期 2013年4月 2013年4月武汉理工大学硕士学位论文独 创 性 声 明本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签 名： 日 期： 学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息服务。（保密的论文在解密后应遵守此规定）研究生（签名）： 导师（签名）： 日毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 及格 不及格2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及格 不及格4、研究方法的科学性；技术线路的可行性；设计方案的合理性 优 良 中 及格 不及格5、完成毕业论文（设计）期间的出勤情况 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）指导教师： （签名） 单位： （盖章）年 月 日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）评阅教师： （签名） 单位： （盖章）年 月 日教研室（或答辩小组）及教学系意见教研室（或答辩小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 及格 不及格2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格3、学生答辩过程中的精神状态 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格评定成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日摘 要伴随着计算机视觉、人工智能等相关技术的发展，以及智能汽车、智能监控和安全领域的迫切需求，行人检测技术，受到了越来越多的关注，已经成为研究的热点，并广泛的应用于智能监控、智能交通和机器人等领域。当前行人检测的主流方向是从样本中，提取行人特征，机器学习得到分类模型，将行人检测问题转化为分类判断问题。针对基于分类的行人检测，本文从特征的选择和分类器训练算法的选择两个方面，对行人检测算法进行了分析研究。主要工作内容如下：（1）介绍了行人检测的整体流程，针对行人检测中的关键技术，分析研究了分类器算法中的SVM算法和AdaBoost算法，利用并查集解决行人检测窗口融合的问题。确定使用INRIA行人库作为分类器的训练库和测试库，并利用基于传统的混淆矩阵和DET曲线来评价算法的性能。（2）基于SVM运用HOG特征和LBP特征分别实现了行人检测，实验结果表明，HOG特征具有优秀的行人表征能力，但在复杂背景下，梯度信息不能更好的区分行人与背景，LBP特征作为一种局部纹理信息，可良好的弥补HOG特征在这一点的不足。针对SVM数据失衡问题，进行了相关讨论和实验分析对比，确定了最佳正负样本比。（3）针对HOG单一特征在行人检测中的不足，对HOG和LBP进行了特征组合分析，实现了基于SVM的HOG-LBP联合特征的行人检测算法。通过与单特征行人检测算法进行了对比，表明联合特征具有更强的行人表征能力。由于联合特征维数增加，导致SVM行人检测效率降低，在分类器的选择上，本文使用级联AdaBoost算法，减小算法时间复杂度。实验结果表明，基于简单二值分类器的级联AdaBoost算法，大大的提高了行人检测速度。关键词：HOG特征，LBP特征，支持向量机，级联AdaBoost，数据失衡AbstractWith the development of computer vision, artificial intelligence and other related technologies and the urgent need of intelligent cars, intelligent monitoring and security field, pedestrian detection technology has become a hot topic and widely used in intelligent monitoring, intelligent transportation and robotics field.The main direction of the current pedestrian detection is that extract pedestrian features from samples, get a classification model by machine learning, then change the pedestrian detection problem to a classification judgment. Through the analysis of the feature selection and classifier training algorithm selection, did some research on pedestrian detection algorithm. The main work is as follows:(1) Introduced the overall flow of pedestrian detection and did a study on SVM algorithm , AdaBoost algorithm and Pedestrian window fusion algorithm. Used the INRIA pedestrian library as the classifier training library and test library and evaluated the performance of the algorithm based on the traditional confusion matrix and the DET curve.(2) Achieve pedestrian detection with the use of HOG feature and LBP feature based on the SVM. The experiments show that the HOG feature has excellent pedestrian characterization capability. But in the complex context, the gradient information can not be better to distinguish between pedestrians and background. LBP feature as a local texture information, may well make up for HOG feature .For the SVM data imbalances, gave some discussions and experimental analysis and comparison, then gave the best positive and negative sample ratio.(3) For the lack of pedestrian detection based on single HOG feature, did a study on fusion of HOG and LBP feature and achieved the pedestrian detection with HOG-LBP feature based on SVM. Compared with single feature pedestrian detection algorithm, the combined feature has more pedestrian characterization capability. Due to the increased dimension of HOG-LBP, SVM pedestrian detection efficiency was lower. So used the cascade AdaBoost algorithm to reduce the complexity of the algorithm. The experimental results show that a simple binary classifier cascade AdaBoost algorithm had greatly improved the pedestrian detection speed.Keywords: HOG feature, LBP feature, support vector machine, cascade AdaBoost, Data imbalanceV目 录第1章 绪 论31.1 研究背景与意义31.2 行人检测面临的挑战31.3 行人检测的国内外研究现状31.4 论文的主要工作和章节安排3第2章 行人检测关键技术32.1行人检测整体流程32.2行人检测关键技术分析32.2.1分类器32.2.2并查集窗口融合32.3行人分类器训练及评价标准32.3.1训练库与测试库32.3.2算法的性能评价标准32.4 本章小结3第3章 基于单特征行人检测33.1基于HOG特征行人检测33.1.1 HOG特征提取33.1.2实验结果分析33.2基于LBP特征行人检测33.2.1 LBP特征提取33.2.2 实验结果分析33.3 本章小结3第4章 基于多特征行人检测34.1 HOG-LBP特征组合34.1.1 HOG-LBP特征分析34.1.2 HOG-LBP特征提取34.2基于HOG-LBP行人检测算法实现34.2.1基于多特征SVM行人检测34.2.2基于多特征级联Adaboost行人检测34.3 检测结果分析34.4 本章小结3第5章 总结与展望35.1 工作总结35.2 工作展望3致谢3参考文献359第1章 绪 论1.1 研究背景与意义目标检测一直以来是计算视觉中的重要组成部分。它具有重大的科研价值，能够支撑计算机视觉中更为高级的任务，例如行人识别、目标轨迹跟踪、图像识别标注等。同时目标检测也具有强大的商业价值，例如智能视屏监控、人脸识别系统。目标检测中的行人检测技术，伴随着计算机视觉、人工智能等相关技术的发展，以及智能汽车、智能监控和安全领域的迫切需求，受到了越来越多的关注，已经成为当前研究的热点，广泛的应用于智能监控、智能交通和机器人等领域。它的一些典型应用有：（1）智能监控当今，视频监控系统1,2通常包含巨量的摄像头，每个摄像头监控一个相对较小的区域。当前普遍实用的监控方式，仍然是监控负责人相隔一段时间，不断的去切换不同地点的摄像头去监控。这种人工方式，第一方面由于监控的时间过长或者监控的区域过于大，可能会造成监控人员的疲劳和疏忽，而造成漏检的情况甚至不良后果，另一方面，监控视频信息也缺乏一定的结构，很难将行人的一种运动轨迹有机的集合起来。因此，行人检测技术可以很好的减缓上述问题。智能监控系统可以作为一种全智能无人监控的系统，在非正常事件发生时发出警告甚至采取相应的措施，也可以作为一种对人工监控的辅助手段降低对人工的依赖。本文所涉及的行人检测是其中的重要组成部分。（2）智能交通领域21世纪将是充满智能化的世纪，人工智能将在交通领域得到广泛的应用。行人检测技术作为人工智能中重要的一个环节。具有很好的研究价值和潜在的商业价值。如果行人检测技术能够充分的利用起来，可以大大的提高道路行驶安全。例如，在行人比较多的地段，车载智能系统能够做到主动避让行人或者提醒司机注意车速，注意避让行人。这样既可以减少驾驶员的疲劳感也可以降低事故，造福全人类，同时也包含着强大的商业价值。（3）军事领域现代军事战争，是一种充满了信息科技技术的战争。尤其在美国911事件发生后，更使得各国高度重视国家安全部门和公共场合的监控，行人检测作为其中必不缺少的部分，自然会受到相关学术界和安全部门的广泛关注。在一些安全敏感的地区，例如空军基地、航空基地、军事实验室基地等相关军事基地，限制访问权限是非常重要的。在不同的应用条件下，行人检测有其不同的特点。例如在智能监控系统中，用于监控的摄像机一般都是固定的，可以利用背景差分法，提高检测速度和检测精度。如果有一些红外相关设备，能提取的信息更多，当然设备的代价也就越高，一般都应用于智能车辆和军事用途。从目标检测的层次来讲，行人检测是目标检测当中比较独特的一支。这是因为：1）它具有潜在的强大应用价值。2）行人属于目标检测中的特别的物体，因而在目标检测中具有一定的代表意义。3）人们的行为和穿着千变万化。因此对行人的研究也是对如何抓住差异变化大事物的本质特征的研究。本文以国家自然科学基金面上项目“高速动态背景下的夜间驾驶复合视觉感知方法及理论研究”为依托，对行人检测算法和应用问题进行研究。1.2 行人检测面临的挑战目标检测是计算机视觉的一个重要分支，也是一个充满挑战性的方向。物体检测的困难与否，主要看物体之间差距是否巨大。行人作为一个特殊的物体，行人之间的差异性很大，使其检测异常困难。本小节主要具体说明行人检测中面临的各种困难3。第一大挑战是人的依着与体型的差异。不同的行人穿着的衣服差别巨大，不同的行人，审美标准都不一样。例如不同的帽子可以影响头部外观，不同的裤子可以影响腿部外观；在体型上，人的高矮胖瘦都不一样。这都造成了行人之间的差异。给检测工作带来了难度。第二大挑战是人在动作上的多样性。对于一些刚性物体，例如桌子、自行车、汽车等，无论是静止状态还是运动状态，形状都没有发生显著地变化。而人作为非刚性物体，不同的运动状态，会具有不同的外观。这种变化就要求提取的行人特征能够覆盖各种不同的变化。第三大挑战是图像中复杂的背景。行人的背景根据行人所处的环境不同，会出现各种差异。行人背景可以是建筑、可以是树木。多种背景的结合，会给行人检测造成挑战。还有些情况，背景在颜色上与行人近似，从而造成混淆，如一些与背景颜色相同的衣服，使得行人的边缘检测变得很复杂。第四大挑战是来自行人间的遮挡。行人在行走中很容易出现遮挡，所以一旦图像出现严重的遮挡的时候，就会对行人检测产生影响。会使得行人检测出现漏检和误检的情况。因此行人间的遮挡一直是行人检测的难题。 第五大挑战是来自光照。行人在不同的光照情况下，所拍摄的图像都会有一定的影响。而光照的影响是无法控制的。所以行人检测必须很好的解决光照所带来的影响。因此通常在算法中利用归一化来降低光照的影响。总的来说，行人检测面临着各种各样的困难，如何处理这些难点，是衡量行人检测算法的一个重要标准。1.3 行人检测的国内外研究现状虽然行人检测面临着众多挑战，但由于行人检测拥有巨大的应用价值与很好的研究意义，无论国内还是国外都花了巨大财力、物力和人力去研究行人检测。表1-1，总结了1997年以来，具有代表性的行人检测算法的误检率和检测率等相关技术参数。表1-1 行人检测算法发展趋势作者及发表时间正样本数量检测率误报率速度训练集难度Oren5199756445%fppw= 未知简单Gavrila61999100075%-85%fppw= 1-5fps未知Mohen7200188992%fppw=未知中等BoWu82005247882%Fa=0.4/帧1fps中等偏高Dalal32005247891%fppw=1fps难Sabzmeydani92007247891%fppw=0.1fps难BoWu102007247885%fppw=2-4fps难Duan,G112009247894%fppw=未知难不难看出，行人检测的几大趋势：训练数据大规模化，检测速度实时化，检测精度实用化。行人检测主要包括基于模板匹配的行人检测和基于机器学习的行人检测两种检测方法。（1）基于模板匹配的行人检测。在检测之前，需要预先存储行人的模板信息集，然后输入待检测图片，将检测的窗口图像与模板集中的模板进行匹配。通过匹配得到的阈值来判断窗口中是否有行人。该类算法，思路简单，检测速度快，容易实现，但是由于行人姿势多种多样、背景复杂，从而需要非常丰富的模板集，模板集的多样性对检测的效果具有决定性因素。Gavrila6最先提出了一种基于轮廓形状的多层次的匹配算法。他在实验中构造了2000多的模板进行匹配，为了达到实时的搜索效果，Gavrila构建了一个层叠结构的模板树匹配而代替了全局搜索匹配。这种逐步求精、由粗到细的多层策略，极大的提高了算法的搜索效率。根据作者Gavrila的结论，该算法能在每张图片低于2个的情况下，检测率达到了75%-85%。（2）基于机器学习的行人检测算法。该算法主要是在训练阶段，通过获取大量训练样本，然后对训练样本进行机器学习，最终得到一个分类模型。在检测阶段，对待检测的图片，进行特征提取，然后将获取的图像特征输入分类器中，如果得到的分类结果为真，则说明图像中有行人，如果得到的分类器结果为假，则说明图像中没有行人。机器学习的关键在于能否找到一种具有很强区分能力的行人特征和优秀的分类器算法，提高检测率和检测速率。1）针对行人特征，大部分算法都是在HOG特征中加入辅助性人体特征或限定HOG特征的计算范围以提高边缘信息准确性。曲永宇12等人提出利用HOG特征加颜色和肤色特征描述行人，采取两级串联的级联分类器检测，在误检率为时，检测率为83%。黄如锦13等人利用HOG和Haar特征相结合作为行人特征描述算子，在误检率为3.2%时，检测率为95.8%。曾春14等人提出了基于感兴趣区域的HOG特征提取的行人检测算法，分别在头部及四肢等重点区域计算梯度方向直方图，有效的减少了向量的维数。Zhelin15等人提出了基于人体部分模板的树约束的行人检测算法，对模板约束点，提取HOG特征向量，有效的降低特征向量维度。华南理工大学黄茜16等人在HOG特征中加入积分向量，降低了HOG特征维数，提高了检测速度。陈刚17等人基于多特征的行人检测，利用梯度直方图HOG和Gabor的联合特征作为行人特征，并采用线性SVM进行行人检测，取得了良好的检测效果。曾波波18等人利用颜色相似度和AdaBoost的方法，实现了行人快速检测。杨阳19等人提出一种基于动态和静态联合特征的行人检测方法,用于运动背景下的行人检测。2）针对分类器算法，主要采用级联分类器。Qiangzhu20等人利用HOG特征和级联SVM的行人检测方法，在保持算法检测准确率的同时，大幅的提高了检测速度。Chengbin21等人利用HOG特征作为第一级分类器，LBP特征作为第二级分类器，提高了检测速度。Hong Liu22等人采用HOG特征和利用SVM作为弱分类器的级联的AdaBoost，大大的提高了行人检测速度，并在误检率为时，达到85%的检测率。1.4 论文的主要工作和章节安排本文研究的主要内容主要是获取优秀的行人特征和分类器训练算法，并能够在图像上准确快速的检测行人和定位行人。第一章 绪论。主要介绍了行人检测的背景和意义、行人检测面临的挑战，以及行人检测的研究现状。第二章 简单的介绍了行人检测中的关键技术。首先分析了行人检测的整体流程，其次对行人检测关键技术中的分类器算法包括SVM和AdaBoost算法，和窗口融合算法，进行了分析研究。确定了行人分类器中训练库和测试库，并使用混淆矩阵和DET曲线评价算法的性能。第三章 基于单特征的行人检测。首先，详细的介绍了HOG特征的提取，并对SVM数据不平衡的解决方法进行分析对比，确定了最佳正样本比，实现了基于HOG+SVM行人检测算法。再次，介绍了LBP特征的基本算子和LBP的均匀模式，并最终确定利用基于单一分块的LBP的均匀模式实现行人检测算法，实验结果表明，LBP和HOG特征都具有优秀的行人表征能力。第四章 多特征行人检测。这一章主要讲了三部分内容。一、针对HOG特征注重行人梯度信息，忽略行人的局部结构，对 HOG-LBP联合特征进行组合分析。二、利用HOG+LBP联合特征与SVM相结合，实现了多特征行人检测，并与单特征行人检测分析对比，表明联合特征比单一特征更具有行人表征能力。三、联合特征相比单一特征，向量维数变多，导致行人检测的速率降低，在分类器的选择上，本文使用级联AdaBoost算法，减小算法时间复杂度，提高检测速度。第五章 总结与展望 针对工作的优势与不足，提出以后的工作。第2章 行人检测关键技术2.1行人检测整体流程通常来说，行人检测系统包括两个部分：第一部分训练部分，训练部分主要包括创建训练数据图像集、对正负数据集进行特征提取、训练二值分类器。第二部分检测，检测部分主要包括图像多尺度扫描、训练模型对扫描窗口分类、检测窗口融合。具体的行人检测框架图如2-1所示：图2-1 行人检测框架图该类算法中，关键在于如何选择表征行人能力很强的行人特征以及优秀的机器学习算法。2.2行人检测关键技术分析行人检测的关键技术在于如何选取优秀的分类器算法及窗口融合算法。本节对在目标检测中分类器算法应用比较广泛的SVM3和AdaBoost24算法进行了分析研究。SVM在分类器过程中主要通过核函数，将线性不可分的低维空间转化为线性可分的高维空间，但训练过程中，容易出现数据分类失衡的问题。AdaBoost算法通过自适应迭代选择优秀的特征进行训练，有效的回避了数据分类失衡的问题，但是训练过程中，时间开销非常大。最后讲到了利用并查集的思想进行行人窗口，有效的提高了检测速率。2.2.1分类器（1）支持向量机SVM的基本思想，就是将原来不可分的低维空间，转换为高维线性可分的空间。针对样本线性可分情况，可以由二维线性可分问题进行分析。如图2-2所示，H为最优分类面，H1和H2分别为平行于H的直线，其中正方形的点为正样本，圆形的点为负样本，H1和H2将正样本和负样本最大化分开，因此H1和H2之间的距离定义为最大分类间隔。样本在直线H1和H2上的点，即为支持向量。图2-2 最优分类面对于训练样本集，其中，最优分类面可以将其正确的划分，同时几何间隔也能达到最大化。最优分类面方程标准化，使两类样本满足，且H1和H2上的样本满足。因此分类间隔为。SVM超平面的构造过程和分类过程如图2-3所示。图2-3 超平面构造过程常见的核函数有：1) 线性核函数： （2-1）2) 多项式核函数： （2-2）3) 高斯径向核函数： （2-3）4) Sigmoid核函数： （2-4）（2）AdaBoost算法1995年，Freund24和Schapire24共同提出了AdaBoost算法。AdaBoost算法全称名字为“Adaptive Boost”，是在Boosting算法基础上发展起来的。AdaBoost算法的优点在于不需要任何关于弱分类器的先验知识，通过弱分类器的自适应反馈来调整分类器的错误，最终通过迭代过程产生强分类器。1）AdaBoost算法描述AdaBoost 是一种迭代算法，主要原理是：给定一组训练样本，针对样本中的特征，各自进行分类训练，即弱分类器，然后从中选取一个分类能力比较强的分类器，组合成为一个强分类器。AdaBoost的最大优点在于，对正确分类的样本，减少样本的权值，对错误分类的样本，增加权值。这样，下一轮的分类器就注重分类比较困难的样本。在实验中，我们采用的弱分类器定义如下： （2-5）其中，x为待检测窗口，f(x)为特征值，特征参数p表示不等式方向，取值为 (1,-1)，为对所有样本进行统计得到的特征值的阈值，是分类结果的依据。AdaBoost算法的具体详细描述如下：1、给定一系列训练样本，其中表示负样本，表示其为正样本。为样本的总数量。2、权重初始化，当时，；当时，。其中和分别是正样本和负样本的个数，。3、对（T为迭代的次数，即弱分类器的个数）权重归一化： （2-6）4、对每个特征列f，训练相应的弱分类器；计算对应分类器的所有特征的加权错误率： （2-7）5、选取最佳的弱分类器，此时最佳的分类器具有最小的： （2-8）6、更新权重：其中当正确分类时，当错误分类时，即：，7、组成强分类器： （2-9）其中每一轮中的弱分类器，根据公式可知，即每一轮弱分类器如果对样本正确分类，则样本的权重就相对减小，如果样本被错误分类则样本权重保持不变。更新并归一化权重，弱分类器就会在下一轮的训练中更加的注重被错误分类的样本。AdaBoost算法对应的流程图如图2-4所示。图2-4 AdaBoost算法的流程示意图在初始化阶段，各个样本的权重相同，然后通过一系列分类学习，获取最小的分类器，然后根据当前的弱分类器，对各个样本进行权值的更新，然后进入下一轮的弱分类器学习，如此反复T次，得到T个弱分类器及其权重。最后将这T个弱分类叠加起来，形成一个强分类器。2）AdaBoost算法分析Freund24等以AdaBoost为代表对Booting进行了分析，并证明该方法最终得到的预测函数H的训练误差为满足： （2-10）其中为训练得到的弱分类器的误差，并有。由公式（2-10）可以看出，误差率随着弱分类器的个数的增加和弱分类器误差的减少，而成指数形式下降。因此，只要有足够多的弱分类器，就可以得到误差率很低的强分类器。针对本文，两分类问题只要弱分类器的误差率小于0.5，强分类的误差率就会随着T的个数的增加而迅速下降。2.2.2并查集窗口融合由于图像多尺度滑窗检测的缘故，在图像的每一层都可能获取行人窗口，最后的检测结果就会在行人区域产生很多矩形窗口。因此需要一种融合算法，将属于同一个人的矩形窗口进行融合。所以本节的任务就是如何将属于同一个人的多组正值窗口，融合为属于同一个人的正值窗口。如图2-5（a）所示检测到很多正值窗口，最后需要融合成2-5（b）。图2-5 正值窗口融合融合的效果主要会考虑到如下三种因素：1) 不同的正直窗口，可能在分类器中得到的分数不同，正值窗口的分数即正值窗口属于行人窗口的比重。分数越大，则需要融合权重就越大。2) 在相同面积区域，正值窗口越多，说明存在行人的可能性就越大。3) 如果不同的行人位置靠的很近，会导致属于不同一个人的正直窗口靠的很近，此时应该区分为不同的人，以免造成漏检。通过多尺度滑窗后，得到的n个正值窗口序列为：其中分别代表第i个正值窗口的位置和分类器得分。P代表图像中行人位置。因此（m为行人的个数）代表图像中行人的位置。融合算法解决的问题： （2-11）（1）判断两个正值窗口是否属于一个行人由上述可知，需要将n个窗口聚类为m个行人的位置，首先需要判断两个窗口是否是属于同一个行人，称之为聚窗元操作，这是聚类的基础。正值窗口的得分S是多个正值窗口融合为位置P的参考依据，而判断两个窗口是否属于同一行人主要依靠两个正值窗口之间的位置关系。 图2-6 两个窗口融合如图2-6所示，设为，则为此正值窗口的左上角的像素坐标点，分别表示窗口的宽度和高度。那么，和两个正值窗口是否属于同一个判断条件为： （2-12）其中T为： （2-13） （2-14） 通过上式可以看出，当时两个正值窗口就属于同一个行人，否则不属于同一个行人。因此针对的两个正值窗口，可以认为是一组等价对。（2）并查集25 并查集主要支持以下三种操作：1) ：把子集合Root2并入子集合Root1中作为一个新的集合。要求Root1与Root2在操作前是分离的。2) ：返回一个指向包含x的集合的名字。 3) ： 建立一个新的集合，其仅有的成员是s。由于各集合是分离的，要求x没有在其他集合中出现过。因此，利用并查集解决等价类问题，主要步骤如下：1) 利用：对于每一个元素建立一个集合，开始的时候集合元素就是这个元素本身，总共建立S个分离的单元素集合。2) 重复一下步骤，每输入一个等价对，就将两个集合合并。1、 输入一个等价对(i,j)。2、 用找出两个元素的集合。3、 如果i和j属于两个不同的集合，则将两个集合合并。假设i的集合名字为x，j的集合名字为y，则集合合并，。通过上式步骤，就可得到几个互相分离的等价类。图2-7等价类合并示意图：图2-7 合并等价类（3）并查集应用于检测窗口融合由公式2-10可知，利用并查集解决检测窗口融合过程与上面的步骤类似，只不过将等价对换成对应的属于同一个人的两个正值窗口。1) 对于集合，利用UFSets操作，建立n个只有一个元素的集合：2) 遍历所有的正值窗口，将所有的正值窗口两两进行一次比较操作，总共需要比较次1、 若说明两个正值窗口属于同一个人，因此可以看做为一个等价对。2、 用搜索，所在集合的名字。3、 若，则利用操作将这两个集合合并，成为一个新的集合。3) 最后得到分离的等价类（m为行人的个数），其中为一个行人相对应的正值窗口的等价类。2.3行人分类器训练及评价标准2.3.1 训练库与测试库一个好的行人库和测试库是行人分类器训练效果良好的关键。行人库真实度越高，效果越好，行人分类的训练效果就越好。目前比较流行的两种行人库为INRIA26行人库和MIT行人库，INRIA行人库相比于MIT行人库，图像更加接近于真实世界，背景也更加的复杂。INRIA行人库包括正样本和负样本两部分，图2-8（a）部分正样本，图2-8（b）部分负样本。图2-8 部分正负样本 训练库的正样本为文件夹下的正样本，尺寸大小为，样本个数总共为2416个（加上左右镜像）。训练库的负样本为文件夹下的负样本，尺寸大小，总个数为1218个。由于本文采用的检测窗口大小为c尺寸大小，所以需要对训练库中的正样本和负样本进行预处理，针对正样本，因为行人库中的行人主要分布在图像的中心部位，所以只需要去掉边缘信息，截取图像的中心的大小即可。针对负样本，对负样本图片按照一定的尺度进行随机缩放，然后在缩放的图像中随机的获取尺寸为大小的区域，最终在每副图像中获取15个的图片。同理，针对INRIA测试所用的行人库样本，也采取上述的方法。最终得到标准大小的正样本和负样本如表2-1所示。表2-1 训练和测试数据集数据集正样本负样本训练库214618270测试库112511325在训练过程中，正负类别不对等，负样本的类别要远远的多余正样本的类别，因此训练中产生的负样本要远远的多于正样本。本文在实际的训练过程中，采用的是2146个正样本，18270个负样本。在检测过程中，同样会出现正负样本类别不对，窗口扫描往往会产生成千上万个负窗口，只有少数的包含行人的窗口。本文采用的测试样本中1125个正样本，11325个负样本，可以很好的模拟行人检测过程。2.3.2 算法的性能评价标准目前分类器算法性能的评价主要是通过输入正样本、负样本的个数与预测正样本、负样本的个数进行比较。相关的测试名词16如所示：是正样本预测负样本的数量，是负样本预测成正样本数量，是正样本预测成负样本数量，是正样本预测成负样本数量，根据上式的测试名词，本文采用比较传统的混淆矩阵（Confusion Matrix）和漏检率（MissRate）对误检率（False Positives Per Window，FPPW）比例的曲线，简称DET曲线，来评价算法的性能。（1）混淆矩阵混淆矩阵27主要是将输入分类器的正负样本的实际信息与分类器预测信息通过矩阵的形式表现出来。本文为了更直观的表达出分类器的性能，对混淆矩阵进行了稍微的改进，将分类器检测的准确率显示在表格中。对于本文来说，行人检测分类是一个二值分类，因此混淆矩阵和准确率的输出如表2-2所示。表2-2 混淆矩阵预测为正预测为负准确率实际是正样本TPFN实际是负样本FPTN本文分类器属于一个二值分类器，统一采用分类器的阈值为0.5（正负样本属于正类别的概率），计算上述混淆矩阵。（2）DET曲线主要是通过改变分类器的阈值，来获取漏检率（MissRate）对误检率（False Positives Per Window，FPPW）的比例。其中MissRate与FPPW的定义如下： （2-15） （2-16）2.4 本章小结简单的介绍了行人检测中机器学习的相关原理和算法。最开始介绍了行人检测的整体框架流程，然后对行人检测关键技术包括分类器算法和窗口融合算法，进行了简单的分析，最