（计算机软件与理论专业论文）面向行人检测的组合分类器设计.pdf

摘要 摘要 随着汽车行业的迅速发展和汽车用户的逐年增加，交通安全问题已经越来 越受到人们的重视。近年来，一种用于监控汽车行进方向范围内行人安全性的 车载行人检测系统成为了交通安全领域内最为活跃的研究课题之一。它的核心 在于使用安装在行驶车辆上的摄像机检测出行人，并估计发生危险的可能性， 从而达到保护行人的目的。显然，行人检测系统是一个动态视觉监控系统，与 一般的静态监控系统相比，它面临的难点在于检测平台和检测对象的动态性、 以及场景的时变性，同时对检测性能尤其是实时性要求更高。 基于分类的检测是目前的一种主要的行人检测技术。与一般的分类问题相 比，行人分类问题具有自身的特点，目前现有的单分类器、串联组合分类器和 并联组合分类器很难同时满足行人检测系统在检测率、误报率和速度等方面的 综合要求，因此需要研究针对性的分类算法。 本文提出了一种树状结构的组合分类器，它兼取串联组合分类器和并联组 合分类器的优点，能够根据分类问题特点自适应地调整自身结构。同时，对于其 中的每个单分类器，采用一种种群规模动态调整的协同进化算法为其优选出最 有效的特征。由此得到的树状组合分类器，在检测率不下降的情况下，还具有 检测速度快、误报率低的特点。本文给出了树状组合分类器性能的理论分析； 基于真实车载行人检测系统的对比实验也验证了树状组合分类器优于现有的串 联组合分类器以及单分类器。 关键词：行人检测系统特征选择组合分类器a d a b o o s t 分类器 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fv e h i c l ei n d u s t r ya n dt h ei n c r e m e n to fv e h i c l e u s e r s ，t r a 衔cs a f e t yp r o b l e m s h a v e b e e np a i dm o r ea t t e n t l o n l nr e c e my e a r s ， p e d e s t r i a nd e t e c t i o ns y s t e m ( p d s ) ，w h i c hi si n s t a l l e do nam o v i n gv e l l i c l et o m o n i t o rt h ep e d e s t r i a n sa h e a do ft h ev e h i c l e ，h a sb e c o m eo n eo fm eh o t t e s tt o p i c si i l t h ed o m a i no ft r a m cs a f e t y i ta i m sa t d e t e c t i n g t l l e p e d e s t r i a n su s i n g t l l e v e h i c l e m o u n t e dc 锄e r af o rt h ep u 印o s eo fa s s e s s i n gt h ep r o b a b i l i t yo fc o l l i s i o na 1 1 d t a l ( i n ga c t i o l l st op r o t e c tp e d e s t r i 孤si nd a i l g e r o b v i o u s l y ，m ep e d e s t r i a nd e t e c t i o n s y s t e mi sam o n i t o r i n gs y s t e mw i t hm o v i n gc 锄e r a c o m p a u r e dw i t ho t h e rm o n i t o r i n g s v s t e m sw i t hs t a t i cc a m e r a ，t h ep e d e s t r i a nd e t e c t i o ns y s t e m h a st h ef o l l o w i n g d i m c u l t i e s ：t h em o v e m e n to fc 锄e r aa n dp e d e s t r i a n s ，t h ec o m p l e x i t yo fs c e n ea n d h i 曲r e q u i r e m e n to fd e t e c t i o np e r f l o n n a n c ee s p e c i a n yt h eh i g hd e t e c t i o ns p e e d c l a s s i f i c a t i o nb a s e dd e t e c t i o nm e t h o dh a sb e e nw i d e l yu s e d i np e d e s t r i a n d e t e c t i o ns y s t e m c o m p 撕n gw i t hc o m m o nc l a s s i 丘c a t i o np r o b l e m s ，t h ep e d e s 埘a n c l a s s i f l c a t i o np r o b l e mh a ss o m es p e c i a lc h a r a c t e r i s t i c s ，w h i c hm a k et h ee x i s t i n g s i n 9 1 e ，c a s c a d ea j l dp a r a l l e lc l a s s i f i e r sc a i lh a r d l ys a t i s f yt h er e q u i r e m e n t so f p d s t h e r e f o r e ，r e s e a u r c ho nt h ec 1 2 l s s i f i c a t i o nm e t h o df o rp d si sn e c e s s a j y i nt h i sp a p e r ，w ep r o p o s e dat r e e l i k ea s s e m b l yc l a s s i f i e rf o rar e a lp d s ，w h i c h h a st h ea d v a n t a g e so f b o t hc a s c a d e dc l a s s i f i e ra n dp a r a l l e lc l a s s m e r i t ss t m c t u r ec a i l b ea d j u s t e da d a p t i v e l ya c c o r d i n gt o t h ec l a s s i f i c a t i o n p r o b l e m f u n h e r ， a c o e v o l u t i o n a r yf e a t u r es e l e c t i o nm e t h o dw a sa d o p t e dt oo b t a i na no p t i m a lf i e a t u r e s u b s e tf o re a c hs i n g i ec l a s s i n e ri nt h es t m c t u r e t h ea s s e m b l yc l a s s m e rc a ng e tl o w 翻s ep o s i t i v er a t ea n d h i g hd e t e c t i o ns p e e da th i g hs p e e d t h e o r e t i c a la n a l y s i sa j l dt h e e x p e r i m e n t a lr e s u l t so nr e a lp d s h a v ev a l i d a t e dt h a tm ep r o p o s e dc l a s s m e rg e n e r a t e s b e t t e rr e s u l t st h a nm o s to fe x i s t i n gc a s c a d e dc l a s s i 丘e r sa n ds i n g l ec l a s s i f i e r s k e yw o r d s ：p e d e s t r i a j ld e t e c t i o ns y s t e m ，f e 种叫e s e l e c t i o n ，a s s e m b l yc l a s s i f i e r a d a b o o s tc l a s s i f i e r i i i 【13 】c u t l e rra j l dd a v i sls 2 0 0 0 r o b u s tr e a l t i m ep e o d i cm o t i o nd e t e c t i o n ，a n a l y s i sa n d a p p l i c a t i o n s 【j 】i e e et r a n s a c t i o n s0 np a n e ma n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ，2 2 ： 7 8 1 7 9 6 【1 4 】f a r d ib ，s c h u e n e r tua n dw a n kq 2 0 0 5 s h a p ea n dm o t i o n - b a s e dp e d e s l r i a nd e t e c t i o nj n i n f di m a g e s ：am u l t is e n s o ra p p r o a c h 【c 】p r o c e e d j n g so fi e e ei n l e m a c i o n a 】c o n f e r e n c e o ni n t ej | j g e n tv e h i c l e ss y m p o s j u m ，18 2 3 【15 】f l e c c h e rl ，p e c e r s s o nla n dz e m l s k ya 2 0 0 3 d “v e ra s s i s t a n c es y s t e m sb a s e do nv i s i o ni n a n do u to fv e h i c i e s j 】i e e ei n t e l j i g e n t 、，e h i c i e ss y m p o s i u m ，3 2 2 3 2 7 ( 1 6 】f l e c c h e rl ，p e t e r s s o nla n dz e l i n s k ya 2 0 0 3 v i s i o ni na n do u to fv e h i c l e s 【j 】i e e e i n t e l i i g e n ts y s t e m s ，i2 一i7 【l7 】f r a n k eue ta i 19 9 8 a u t o n o m o u sd r i v i n gg o e sd o w n t o w n 【j 】，i e e ei n t e l l i g e n t s y s t e m ， 3 2 4 0 【1 8 】f 啪k eu a n dj o o sa 2 0 0 0 r e a l t i m es t e r e ov i s i o nf o ru r b a nt r a m cs c e n eu n d e r s t a n d i n g 【c 】 p r o c e e d i n g so fi e e ei n t e i l i g e n tv 色h i c l e ss y m p o s i u m ，2 7 3 2 7 8 【1 9 】f r e u n dya n ds c h a pi r ere 1 9 9 7 ad e c i s j o n - t h e o r e t i cg e n e r a l i z a t i 叽o fo n 1 i n el e a m i n g a n da n a p p l i c a t i o nt ob o o s t i n g 【j 】j o u m a io f c o m p u t e ra n ds y s t e m s c i e n c e s ，l1 13 9 【2 0 】f u e r s t e n b e 唱kc ，d i e t m a y e rja n dw i l i h o e f iv2 0 0 2 p e d e s t r i a nr e c o g n i t i o ni nu r b a nt r a f n c u s i n gav e h i c i eb a s e dm u i t i i a y e rl a s e rs c a n n e r 【c 】p r o c e e d i n g so fi e e ei n t e i l i g e n tv e h i c l e s s y m p o s i u m ，3l 一3 5 【21 】g a v r i i adm 2 0 0 0 p e d e s t r i a nd e t e c t i o nf 两mam o v i n gv e h i c l e 【c 】e u r o p e a nc o n f e r e n c e0 n c o m p u t e rv j s i o n ，3 7 - 4 9 【2 2 】g a v r i l adm ，g i e b e l ja n dm u n d e rs 2 0 0 4 v i s i o n - b a s e dp e d e s t r i a j ld e t e c t i o n ：t h ep r o t e c t o r s y s t e m 【c 】p r o c e e d i n g so fi e e ei n t e l l i g e n tv 色h i c l e ss y m p o s i u m p 姗a ，i t a l y 13 18 【2 3 】g r i l b bgz e l i n s k ya ，n i l s s o nle ta 1 3 dv i s i o ns e n s i n gf o ri m p r o v e dp e d e s t r i a j ls a f e t y 【c 】 p r o c e e d i n g s0 fi e e ei n t e m a t i o n a lc o n f - e r e n c eo ni n t e l l i g e n t 、厂e h i c l es y m p o s i u m ，l9 2 4 【2 4 】g u ol 。w a n grb ，j i nls ，l ilh ，y a n gl 2 0 0 6 a l g o r i t h ms t u d yf o rp e d e s t r i a nd e t e c t i o n b a s e do nm o n o c u l a rv i s i o n 【c 】p r o c e e d i n g so fi e e ei n t e m a t j o n a lc o n f e r e n c eo nv b h i c u i a r e l e c t r o n i c sa n ds a f e t y ，8 3 - 8 7 【2 5 】g u oyp ，c a 0 xb ，x uywe ta l2 0 0 7 c o e v o lu t j o nb a s e df e a t u r es e l e c t i o nf o rp e d e s t r i a n 表索弓 表索引 表2 1 各种传感器的特点8 表2 2 一些典型系统的性能结果1 6 表4 1 组合分类器的性能结果4 9 6 7 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均己在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 钇拍 作者签名：弛! 塑整 印占年 月叩日 第1 章引言 1 1 行人检测的背景 第1 章引言 随着经济的不断发展和汽车行业的进步，汽车用户数量逐年增长：而随之而 来的是，交通事故也是逐年递增，交通安全受到越来越多的关注。如何有效地 降低交通事故率，是关系国计民生的重要大事。近年来，随着计算机技术尤其 是人工智能技术的迅速发展，国外已经出现一些汽车辅助驾驶系统来降低事故 率。例如，澳大利亚的国际i c t 、c s i r o 和国际大学正在合作参与一个称为“s m a n c a r 的汽车辅助驾驶系统项目( f l e t c h ele ta 1 ，2 0 0 3 a ；f 1 e t c h ele ta 1 ，2 0 0 3 b ； p e t e r s s o nle ta 1 ，2 0 0 3 ；a p o s t o l o f r ne ta 1 ，2 0 0 3 ) 。欧盟于2 0 0 0 年后，先后资助了 p r o t e c t d ( g a v r i l ad m e ta 1 ，2 0 0 4 ) 和s a v e u ( t o n sme ta i ，2 0 0 4 ) 两个汽车辅助 驾驶项目。这两个项目综合使用光学、红外、毫米波雷达等传感设备，能在 1 5 0 l ( i i 沛以下的车速、多种天气状况( 日间夜间雨雪) 下，快速准确地检测出 行人、警告驾驶者相关的危险状况并辅以一定的安全保障措施。1 9 9 8 2 0 0 1 年， 意大利帕尔玛大学在政府支持下进行了a r g 0p r o i e c t 的研究( b r o g g iae ta 1 ， 2 0 0 0 ) ，主要目的是开发高速公路上的无人驾驶系统。a r g o 中包含了一个基于 机器视觉的目标检测模块，利用形状特征检测高速公路上的车辆和行人。 由于行人是交通系统的主要参与者，在交通事故中最易受攻击和不可预测， 所以车载行人检测系统是汽车辅助驾驶系统中最重要的研究热点。车载行人检 测系统( p d s ：p e d e s t r i a nd e t e c t i o ns y s t e m ) 是指安装在汽车上的一个自动监视 系统，可以对汽车前进视角范围内的行人进行实时识别、从而估计出可能的危 险以便采取措施来保护行人。由于p d s 面临的环境非常复杂( 例如在城市交通 中，交通对象复杂繁多，场景、气候、光线复杂多变) ，这对p d s 的适应性、稳 定性、实时性提出了很高的要求；因此，p d s 也成为信号处理、自动化与控制、 人工智能与模式识别等多学科交叉的一个研究热点。 目前，国外的p d s 研究机构主要有卡内基梅隆大学( z h a ol a n dt h o 叩ec ， 2 0 0 0 ) 、麻省理工学院( 0 r e nm e ta 1 ，1 9 9 7 ；m o h a nae ta 1 ，2 0 0 1 ) 、日本丰田汽车 研究中心( x ufle ta 1 ，2 0 0 5 ) 、戴姆勒克莱斯勒研发中心( g a v r i l ad me ta 1 ， 第1 章引言 器和并联组合分类器很难同时满足p d s 的所有要求。普通单分类器不能解决样 本不均衡问题、分类速度慢且不能满足低误报率的要求；主要采用的是s v m 分 类器( x ufle ta 1 ，2 0 0 5 ；g a v r i l ad me ta 1 ，2 0 0 4 ；c h e n ghe ta 1 ，2 0 0 5 ；g m b bge t a 1 ，2 0 0 4 ；s c h a u l a i l dsa n dk u n l m e r t a ，2 0 0 7 ) 。串联分类器将多个单分类器从上到 下链状排列，待检测目标只有通过上一个分类器的“认可”才能被下一个分类 器检测，当且仅当一个目标被所有单分类器“认可 才被确认为行人。这种串 联组合分类器能解决样本不均衡问题，且能满足低误报率的要求；但它的识别 率随着串联层数增加而线性递减，较低的识别率使得基于串联组合分类器的p d s 离实际应用还相差甚远。此类工作的一个典型代表是v i 0 1 a 等训练出一个串联 组合分类器( 2 0 0 3 ) ；在此基础上，后来的研究者也给出了一些扩展工作( s h a s h u a ae ta 1 ，2 0 0 4 ：a b r a m s o nya n ds t e u xbe ta 1 ，2 0 0 4 ) 。并联分类器由于其综合评判 的分类机制也使其不能满足分类速度的要求。例如，g r u b b 等设计两个并联s v m 分类器，分别用于正背面和侧面的行人检测，将两者结果综合评定待测目标是 否为行人( 2 0 0 4 ) 。 正因为现有的分类器并不能很好地解决行人分类问题，所以需要专门为之 设计出一种新的分类器，使得它能够提高分类准确率和分类速度，进而有效地 提高p d s 的性能。 1 3 行人检测系统的评价指标 检测准确率和检测速度是p d s 的两个主要性能指标。但p d s 与一般的系统 不同，它的准确率还没有一致的评价方法；如图1 1 所示，一个行人可能被部分 检测或被重复检测。对此，在本文中规定，如果检测结果区域包含不低于2 3 的 人体，则认为检测正确，并把重复检测结果合并。 关于准确率主要有以下两个指标：识别率和误报率。识别率就是识别出的 行人占图像中实际含有行人的比例。识别率定义为 识另u 率c 。e t e c t t 。nr a t e ，= 蘑百覆主与孚霎喜甏淼 c - - ， 误报率有两种统计方法：一种是误报率等于平均每帧图象中非行人被判为 行人的个数：另一种为非行人误判为行人的个数占被判断的检测区域的比例。 第1 章引言 在本文中采用第二种统计方法，即定义误报率为 误报率c f a s ep 。s ；t ；v e r a t e ，= 两嵩磊善霭鬻冀器龋c 另外，本文规定检测速度为平均每秒检测图像的帧数，单位为f p s 。 图1 1 重复检测的示意图 1 4 本文的主要工作与内容安排 本文的主要工作可以概括为如下两个方面： 1 ) 针对p d s 分类问题的特点，设计出一种树状组合分类器。该组合分类器的结 构是一棵树，每个节点表示一个单分类器。它吸纳了串联分类器和并联分类 器的优点，克服了各自的缺点，在识别率、误报率和检测速度上达到好的平 衡，有效地提高了p d s 的综合性能。 2 ) 针对原始的海量特征集合，使用一种协同进化方法优选出最优的特征子集以 支持分类器。在实际检测中发现，除了灰度特征外，颜色特征也是区分行人 的有效方法。但颜色特征和灰度特征的个数过于庞大，超过1 0 0 ，0 0 0 。如此 海量的特征不仅会降低分类的速度，而且会影响分类的精度。本文使用一种 协同进化方法，该方法基于分而治之原理，在运行过程中自适应地决定子群 第1 章引言 体的新增和灭绝，使得子群体个数能够动态变化，降低计算复杂性，并解决 对多类特征优选问题中难以分解的问题，所以具有较高的搜索性能，能够优 选得到好的特征子集。 本文共分五章，各章节的内容安排如下： 第一章引言 首先简单介绍p d s 的背景，然后讨论了分类算法研究在p d s 中的意义和评 价指标，最后给出了本文的主要工作和内容安排。 第二章行人检测系统的研究现状 首先介绍目前常用于p d s 的几种传感器以及它们的优缺点，然后给出目前 用于p d s 中的几种主流方法，最后给出一些典型系统的性能结果。 第三章树状组合分类器的构造算法 首先详细介绍特征的提取方法，接着给出基于协同进化的特征优选方法， 最后给出树状组合分类器的详细构造过程。 第四章实验与结果分析 本章对第三章提出的分类方法进行详细的实验，给出树状组合分类器在p d s 下的检测性能，并与一般的串联分类器进行了比较。 第五章总结和展望 本章对全文进行了总结，并讨论了进一步的工作。 第2 章面向行人检测系统的分类器研究现状 第2 章面向行人检测系统的分类器研究现状 本章将首先对p d s 进行总体概述，包括其工作流程、常用的几种传感器及 各自的优缺点和当前用于p d s 的几种主流方法：然后介绍面向p d s 的现有分类 方法；最后介绍一些典型系统的性能结果。 2 1p d s 系统结构 2 1 1 工作流程 如图2 1 所示，基于分类的p d s 主要包括三个模块：候选区域提取、分类 和跟踪模块。其中，候选区域选择模块的主要功能是从图像中框选出可能含有 行人的区域，并将其作为分类模块的输入。分类模块的作用是对前一模块选出 的区域进行分类，进而判断该候选区域是否含有行人。跟踪模块是根据分类结 果，得到行人在真实场景中的位置，并预测行人在未来的行走路线，从而估计 出可能的危险以便采取措施保护行人。 图2 1p d s 系统的结构图 2 1 2 目前常用的几种传感器以及适用性 早期的p d s 主要采用一种光学传感器来获取信息，如普通光学摄像头、近 红外、远外摄像头。近些年，一些新型的传感器，如雷达，也被应用p d s 的研 第2 章面向行人检测系统的分类器研究现状 研究还不多见。 ( 2 ) 普通光学摄像头和红外摄像头融合 p d s 研究中还有少量基于光学摄像头和红外摄像头信息融合的工作 ( t o r r e s a ne ta 1 ，2 0 0 4 ) 。采用这种融合的p d s 识别率较高；但由于仅能通过立 体视觉技术获得粗糙的距离信息，因而在速度、精度、稳定性等方面都难以满 足实用。 ( 3 ) 更多类传感器的分层融合 这种融合方式的出发点是使用尽可能多的传感器，获取更全面的信息，期 望获得尽可能好的检测效果。具体做法一般是：先将特性相似的传感器在底层 融合，然后在高层组合其结果。例如，在p r o t e c t o r 系统中( g a v r i l ae ta 1 ， 2 0 0 4 ) ，先在底层分别完成了光学和红外摄像头的信息融合以及5 个雷达数据的 信息融合，然后再进行高层融合。 2 1 3 主流行人检测方法 目前用于p d s 的主流检测算法主要有：( 1 ) 基于模型的方法，( 2 ) 基于立 体视觉的方法，( 3 ) 基于形状的方法，( 4 ) 基于分类的方法。 ( 1 ) 基于模型的方法 基于模型的方法就是先对行人的运动规律或者运动姿态建立一个模型，然 后在检测过程，若发现某目标满足模型要求，则判断此目标为行人。 由于人体的步态具有一定的周期性，可以通过分析连续一系列的目标图像 序列，并与行人的周期性步态相比较，若符合一致，则认为此目标为行人。c 嘶。 等建立一个步态的模型( 1 9 9 9 ，2 0 0 0 ) ，如图2 2 所示。检测时，先对目标图像进 行纹理分析和提取轮廓后与模型相匹配，然后根据匹配程度来判断目标图像是 否含有行人。该模型的好处在于不受人的衣着颜色和光照影，缺点是只能识别 侧面的行人，不能识别正面或背面的行人，而且需要等分析多帧后才能给出检 测结果，大大的影响系统的实时性。 除了使用腿的步态模型外，c u t l e r 和d a v i s ( 2 0 0 0 ) 、w c ) h l e r 等( 2 0 0 0 ) 使 用行人的全身信息建立运动模型。c u t l e r 和d a v i s 通过计算不同时间间隔图像之 间的相关程度，再对得到结果进行傅立叶变换，进而识别出图像中的行人。 w o h l e r 等训练一个自适应时间延迟神经网络对连续图像分析，从而判断此连续 9 第2 章面向行人检测系统的分类器研究现状 图像中是否含有行人。 k a m ij o 等利用时空马尔可夫随机场理论模型( s tm r f 模型) 进行行人的 检测与跟踪( 2 0 0 3 ) 。这种模型扩展了用于解决时空图像分割的二维m r f 模型。 它既能对刚性物体，也能对非刚性物体( 行人) 进行检测与跟踪，它还能解决 行人的部分遮挡问题。 蠹溪 黧 馨毳暑 黍 i 鬻 象奠键臻譬 ! i ；鬃 餮誊翳1 尽 j ：i 旋 零 象 t蠢黎 ：- 一，。 鹾誊 澜 。、。r 一- 潮 tl铭 蘸灞 j 瓣： - 0 1 誓甜一 矗。可 ：藏黑豢i 攀溺 蒸 爱澶 荨秘 纛_黪 满l 黎爹 蓊l篓 ：翁测 露瓣 鬻 o 挈_ 。；孽 m j ： 羹 磋- 我 零铡 图纛参瓣；豪鹈曼 第2 章面向行人检测系统的分类器研究现状 图2 3 双目视觉的立体分割过程 ( 3 ) 基于形状的方法 基于形状的方法指通过分析待测目标的灰度、边缘和纹理信息，从而判断 该目标是否为行人。 g a v r i l a 提出的基于轮廓的层次匹配算法，就是最典型的一个基于形状的方 法，且已应用于p r o t e c t o r 项目( 2 0 0 4 ) 。该方法首先存储一些行人轮廓，在 识别时只需要计算模板与输入窗口的距离，就可以识别出行人。该算法的优点 在于简单易实现，缺点在于由于行人姿态多样，需要构造足够多的行人轮廓模 板才能匹配各类行人。为此，g a v r i l a 构造了约2 5 0 0 个轮廓对行人进行匹配，但 这又带来了多模板引起的速度下降问题。g a v r i l a 采用了由粗到细、逐步求精的 分层搜索策略，如图2 4 所示，极大的提高了搜索的速度。匹配时，通过计算模 板与待检测目标的距离变换( d i s t a n c et r a n s f o 咖，d t ) 图像之间的c h a n l f e r 距 离来度量两者之间的距离。 第2 章面向行人检测系统的分类器研究现状 图2 4g a v r i i a 模板层次结构图 除以上的对人的全身进行模板匹配识别外，还有一些研究是对人体的局部 部件进行模板匹配的。b r o g g i 等人使用二值图像模板对人头和肩部进行建模 ( 2 0 0 0 ) ，然后将待检测图像边缘与二值模板进行比较从而识别出行人。该方法 被用到意大利p a 肌a 大学开发的a r g o 智能车中。 ( 4 ) 基于分类的方法 基于分类的方法是通过机器学习，从大量的训练数据中学习得到一个分类 器，使用该分类器来识别行人。检测时，对每个待检测区域提取特征，输入到 训练好的分类器中，若分类结果为真，则判断此待检测区域含有行人，否则判 断不含行人。基于分类的方法主要包括特征提取和分类器设计两部分。 特征提取就是提取一类物体区别于另外一类物体的本质性质、抛弃无用的 性质，特征提取的优劣影响着最终分类性能。在行人检测中，分类的对象是行 人，但由于行人的姿态多样，使用单个象素作为一个特征是不合适的，需要提 取一种抽象特征，它具有好的区别行人与非行人的能力。考虑场景的复杂性， 以及行人的形状大小多样，用于p d s 的特征需要满足缩放不变性、灰度不变性， 最好还需要满足位移不变性。本文将介绍最常用于p d s 的三种特征：s i f t 特征、 第2 章面向行人检测系统的分类器研究现状 基于形状的特征和h a a r l i k e 特征。 s i f t 特征由l o w e ( 2 0 0 4 ) 提出，计算方法如下，首先提取出待检测图像的 轮廓，再根据轮廓图像得到方向图像，最后统计方向图像上各个方向的点的个 数作为特征。该特征同时具有位移不变性、灰度不变性和缩放不变性。 基于形状特征先由0 r e n 等( 1 9 9 7 ) 提出，然后被g 1 1 l b b 等( 2 0 0 4 ) 应用于 p d s 。它的计算方法是，首先提取行人和非行人图像的边缘轮廓，然后把图像分 为多个小窗口，再统计各个小窗口中水平成分和垂直成分的值，最后选出最能 区分行人与非行人的小窗口作为有效的形状特征。该特征具有良好的灰度不变 性和缩放不变性，但不具有位移不变性。 h a a r l i k e 特征，由于其外观类似图像处理中的h a a r 变换示意图而得名， v i o i a 等首次使用它用于行人的检测( 2 0 0 3 ) 。如图2 5 所示，最左侧图像表示一 张含有行人的图像，第三个和第五个图像中包含红白区域的矩形代表矩形特征， 第一个矩形特征由三个纵向排列的小矩形构成，第二个矩形特征由两个纵向的 小矩形构成。矩形特征可以位于窗口中任意位置，各矩形大小也为任意，但不 能超过窗口范围。h a a r 1 i k e 特征值等于红色区域中所有象素值之和减去白色区 域中所有象素值之和。 图2 5h a a r - l i k e 特征的示意图 在下面的2 2 节，我们将详细介绍用于p d s 中的各种分类器设计。 2 2 面向p d s 的现有分类方法 分类器设计是基于分类方法的核心支撑技术。一个具有实用价值的p d s 要 第2 章面向行人检测系统的分类器研究现状 求分类器同时满足高识别率、低误报率、快的分类速度以及适应不同的交通场 景等要求。目前p d s 中采用的分类技术主要有以下两种思路：一是采用分类性 能较好的单分类器：另一是采用多个分类器的集成。 2 2 1 采用单分类器的方法 这种方法的基本思想是直接引入在其他领域获得较好性能的分类算法。目 前应用于行人检测的的分类方法主要可以分为基于神经网络( n n ) 的方法和基 于支持向量机( s v m ) 的方法。 神经网络通过机器学习的方法将模式的特征隐含在系列的网络参数之 中，可以描述极为复杂的模式，已经成功地应用在模式识别领域中的字符识别 和人脸检测上，并已被广泛地应用于行人检测中。z h a o 等使用图像梯度的幅值 作为特征，采用三层的前馈神经网络作为分类器( 2 0 0 0 ) 。s z a a s 等使用原始图 像灰度值作为输入，特征提取过程作为隐含节点包含在网络中，网络输出表示 分类结果( 2 0 0 5 ) 。f r a n k e 等人也设计了一个神经网络分类器用于行人检测 ( 2 0 0 0 ) 。 s v m 是由v a p n i k 提出的基于结构风险最小化原理( s t r u c t u r a lr i s k m i n j m i z a t i o np r i n c i p l e ，s r m ) 的统计学习理论( 1 9 9 9 ) ，已经广泛用于各种图像 识别问题。o r e n 最早使用s v m 方法用于行人检测( 1 9 9 7 ) ，先对图像提取h a a r 小波特征，并输入到s v m 分类器中，进而根据分类结果来检测行人。g m b b 等 针对正面和背面的行人分别训练一个s v m 分类器( 2 0 0 4 ) ，然后将这两个分类器 的判断结果进行融合。g a v r i l a 设计了一个基于r b f 分类器的p d s ，然而其分类 速度过慢( 仅为1 f p s ) ，识别率较低且误报率较高( 对训练样本检测，误报率达 到1 0 ) ( 2 0 0 0 ) ：后期改进使用s i m u l a t e da n n e a l j n g 优化r b f 分类器，提高了 分类性能。在国内，罗予频等提出的p d s 用了一个单s v m 或n n 分类器，该系 统取得了一定的效果，但其检测速度( 1 0 f p s ) 、识别率( 7 1 2 6 ) 尚有待提高， 特别其4 9 。1 8 的误报率需要进一步降低才能更好地应用到设计检测中( 2 0 0 3 ， 2 0 0 5 1 。 2 2 2 采用多分类器组合的方法 这种方法的基本思想是基于集成学习，把多个单分类器组合在一起，获得 第2 章面向行人检测系统的分类器研究现状 较单一分类器更优的检测性能。 目前一般的做法是将多个分类器串联，一个待检测目标只有被所有的单分 类器判断为真，才会被判定为含有行人。其最大的优点是误报率低，但随着串 联层数的增加，其识别率线性下降。v i o l a 等首次采用该方法用于行人检测( 2 0 0 3 ) 和人脸识别( 2 0 0 1 ) 。每个单分类器使用a d a b o o s t 方法训练得到，系统具有快的 检测速度。f e n g l i a l l gx u 等( 2 0 0 5 ) 的p d s 使用3 个s v m 单分类器进行串联， 得到串联组合分类器的识别率和误报率与单s v m 相近，但是速度慢了近3 倍。 目前还有一种简单并联的分类器组合机制，这种组合机制将所有的单分类 器都放在同一层，最终分类结果由它们综合评定得到。例如，g r u b b 等设计两个 并联s v m 分类器，分别用于正背面和侧面的行人检测，综合两者结果来判定待 检测目标是否是行人( 2 0 0 4 ) 。m i k o l a j c z y k 等( 2 0 0 4 ) 将人体分为七个部分，针 对每个部件训练一个a d a b o o s t 分类器，检测时使用概率图模型将七个检测结果 进行融合从而识别出行人。 2 2 3 现有p d s 分类方法的分析 基于单分类器的方法：这种方法具有简单易实现的优点，但由于候选区域 很多，单分类器需要与图像处理技术相结合才可使用。同时，又由于p d s 的场 景复杂，单分类器的准确率较低( 包括识别率和误报率) 。总之，采用单分类器 的方法检测率低，误报率高，检测速度低，多场景适应性差。 串联组合分类器的方法：它的组织方式是将多个单分类器从上到下链状排 列，待检测目标只有通过上一个分类器的“认可”才能被下一个分类器检测，当且 仅当一个目标被所有单分类器“认可”才被确认为行人。这种方法根据p d s 的 特点进行专门设计，将多个单分类器( 采用同种或不同种分类算法) 串联在一 起，可以获得较单分类器更优的检测性能。其最大优点是误报率低，速度快。 但它的识别率随着串联层数的增加而线性递减，较低的识别率使得基于串联组 合分类器的p d s 离实际应用还相差甚远。总之，采用串分类器的方法具有误报 率低、检测速度快的优点，但检测率低、多场景适应性差。 采用并联组合分类器的方法：这类方法利用多个单分类器对同一对象从多 个侧面进行检测，再综合评判。并联分类机制虽然可以获得更高的检测率和更 低的误报率，并且可以适应多个检测场景，但是其时间代价是单分类器的数倍。 第2 章面向行人检测系统的分类器研究现状 p d s 的实时性是其第一要求，为此，将并联组合分类器直接引入p d s 是很难的。 总之，采用并联组合分类器的方法检测率较高，误报率高，检测速度极慢，多 场景适应性好。 总之，基于分类器组合的方法是目前解决行人分类问题的主流方法，但如 何设计出合理的组合结构形式，有效地平衡识别率、误报率和检测速度目前仍 然是一个难题。 2 3 一些典型系统的性能结果 目前已经有很多关于行人检测的研究，但多还停留在p c 上仿真的阶段，还 没有用于实际的检测中。本节给出一些最具代表性系统所采用的方法，以及相 应的实验结果。值得指出的是，由于这些系统给出详细实验结果的并不多，而 且目前还没有权威一致的标准数据集，所以很难对其进行公平的比较。表2 2 给 出了一些代表性系统的方法和结果。 表2 2 一些典型系统的性能结果 设计者传感器主要方法试验结果 。 b r o g g i a 等 红外摄像机检测满足特定比无详细实验结果 例的对称物体作 为行人 v i o l ap 等光学摄像机基于h a a r 1 i k e 特识别率为8 0 ，误 征的串联报率为0 o 0 0 2 5 ， a d a b o o s t 分类器检测速度为4 f p s g a v r i l ad m 等光学摄像机采用分层模板匹对检测样本的识 配和r b f 分类器别率为4 5 7 5 x uf l 等红外摄像机串联三个s v m 分识别率为2 6 类器9 4 ，误报率为2 6 ，检测速度为 o 0 2 5 f p s 1 6 第2 章面向行人检测系统的分类器研究现状 设计者传感器 主要方法试验结果 z h a ol 等双光学摄像机使用立体分割技对8 4 0 0 个窗口进 术去除背景、梯度行检测，正确率为 图像的神经网络8 5 2 ，误报率为 用于分类 3 1 s h a s h u a a 等 光学摄像机基于s i f t 特征的 识别率为9 6 ，误 a d a b o o s t 分类器报率极低 o r e nm 等光学摄像机基于h a a r 特征的 识别率为6 9 6 ， s v m 分类器误报率约为0 0 0 6 7 m o h a na 等光学摄像机基于h a a r 特征的识别率为9 0 ，误 s v m ，将行人分块报率为o 0 1 2 4 本章小结 本章首先给出了p d s 的流程及主要模块：接着介绍了用于p d s 的