（计算机应用技术专业论文）基于视觉的行人检测和跟踪技术的研究.pdf

基于视觉的行人检测和跟踪技术的研究 摘要 在数字视频处理和计算机视觉领域的各种应用中，目标的检测和跟踪是一个重要 的，也是最基本的任务。一些较流行的应用包括自治车辆导航，机器人控制，基于运动 的识别，视频压缩，基于视觉的控制，人机接口，医学成像，增强现实，和视频场景监 控。尽管在计算机视觉领域，目标的检测和跟踪技术已经研究了十多年。但仍是一个活 跃的研究领域。目前还没有一个通用的，健壮的，精确的，高性能的，和实时的目标检 测和跟踪算法。由于人体固有的一些特性，应用场景的复杂性，人与人或人与环境之间 的相互影响，使得人体的检测和跟踪是计算机视觉研究领域中最难的一项挑战。 论文的重点及创新成果包括： 1 静止摄像机情况下的自然场景中的行人检测方法 提出的行人检测方法采用边方向直方图( e d g e o r i e n t a t i o n h i s t o g r a m ：e o h ) 特征集和 扩展的h a a r - l i k e 特征集的混合特征集。用基于查找表( l o o k - u pt a b l e ：l u t ) 的g e n t l e a d a b o o s t 学习算法来训练行人检测器的每个节点分类器，并提出一种基于级联风险代价 函数( c a s c a d er i s kc o s tf u n c t i o n ) 的改进算法，自动根据级联分类器的所需达到的总检 测目标米确定每个节点的训练目标。用嵌套级联删e s t e dc a s c a d e ) 方法来学习行人检测器 的级联结构，能提高检测率并降低虚蒈率。根据这种方法得到的实验结果表明了这种方 法的健壮性和有效性。这种方法的检测准确度高，检测速度快。且能很好地把行人和其 它运动目标区别开，如正在行驶的小汽车。 2 基于特征变换和支持向量机的分级行人检测方法 在摄像机安装在一个自由移动的平台的环境里，如汽车，检测行人变得非常困 难，特别是当行人所处的场景比较复杂时。针对这种应用环境，提出了一种应用于单 目移动摄像机的基于特征变换和支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 的c o a r s e t o f i n e 行人检测方法。首先，用基于查找表( l o o k - u pt a b l e ，简称l u t ) 的g e n t l ea d a b o o s t c a s c a d e 学习算法训练一个粗级的行人检测器。接着把粗级的行人检测器的每一段分别作 为一个特征，并用能通过粗级行人检测器的正负样本来训练基于s v m 的精密级行人检测 器。最后，采用基于颜色和空白j 信息的时序分析方法进一步提高行人检测率和降低误报 率。从实验结果可以看出本算法的高效性。 3 基于部位的行人检测系统 针对单目移动摄像机的情况，本论文还提出了一种c o a r s e t o - f i n e 的基于人体部位 的行人检测方法本方法把一个人建模成人体自然部位的组装，部位包括头肩( h e a d - s h o u l d e r ) ，自g q ：( t o r s o ) ，腿( 1 e g ) 。该行人检测器采用绝对值h a a r - l i k e 特征集和e d g e l e t 特征 集。在这些特征集上，崩s o t tc a s c a d e 学习算法训练各个部位检测器和全身检测器( h i t - b o d y ) 在本算法中，首先由f u l l b e d y 检测器产生行人候选。然后，基于贝叶斯决策的组 合算法进一步确定候选者中的行人。实验结果表明本算法有很好的检测性能。 4 基于i m m 和级联数据关联的3 d 人体跟踪 提出了一种基于3 d 特征的人群跟踪算法。该算法由一个两阶段的3 d 特征点的分 组算法和一个健壮的基于3 d 特征点的跟踪算法组成。两阶段的3 d 特征点的分组算法 上海交通大学博士学位论文 用基于核的i s o d a t a 方法，即使有的行人在监控区域被部分遮挡，该方法也能精确地 检测人基于3 d 特征点的跟踪算法结合了一个基于自适应卡尔曼滤波的交互多模式( i n t e r a c t i n gm u l t i p l em o d e l ：i m m ) 跟踪算法和一个级连多信息数据关联算法。i m m 算法 仅采用自适应卡尔曼滤波和两个动力学模型，能够很好的跟踪随机走动的人。一个动 力学模型是匀速直线模型( c o n s t a n tv e l o c i t ym o d e l ：c v ) ，另一个是当前统计模型( c u r r e n t s t a t i s t i c sm o d e l ：c s ) 。级连多信息数据关联算法采用了距离最近假设，速度一致假设和 灰度一致性假设，能够很好地去除人群之闻的桶互作用对入跟踪性能造成的影响，能够 处理人数不同定的问题。该跟踪方法不仅能管理一条轨迹的产生和结束，而且能处理人 与人之间的相互作用，并能跟踪不规则运动的人用o m r o n 公司提供的图像序列对本 算法进行验证。实验结果表明所开发的算法对人与人之间的互相作用表现出了好的健壮 性，且跟踪准确。运算速度快，对帧采样率变化不敏感，能跟踪随机行走的人，完全满 足于实时应用场景。 5 基于i m m 和多假设跟踪的多个三维人体跟踪算法 提出了一种基于i m m 和多假设跟踪的多个三维人体跟踪算法。采用交互多模 式方法( i n t e r a c t i n gm u l t i p l em o d e l ：i m m ) 进行人体状态的预测，并采用多假设跟踪算 法( m u l t i p l e h y p o t h e s i s t r a c k i n g ：m h t ) 把检出的人体与已存在的轨迹进行正确关联，能够 自动地为新进入监控区的人产生新的人体轨迹，结束己走出监控区的人的轨迹。同时， 在m h t 算法中融入人体的速度连续性约束和灰度一致性约束来确定人体轨迹关联区域和 计算假设的置信度，能够减少产生的假设数目，减少计算时间。实验结果表明所开发的 算法对入与入之间的瓦相作用表现出了好的健壮性，且跟踪准确，运算速度快，对帧采 样率变化不敏感，能跟踪随机行走的人，能适用于人群密集环境下的多人体跟踪。 6 移动摄像机情况下的基于m c m c 和m h t 的行人跟踪 在计算机视觉中，为了实现对数目可变的行人进行自动跟踪，就首先应该准确地检 测图像序列中的行人。然而，由于行人检测中存在的难点，如行人的姿势，轮廓和外貌 的多样性及所处的杂乱背景和照明的影响。使得行人检测结果并不十分好，存在着大量 的漏检和虚警。同时，行人之间，行人与场景之间有时出现的部分遮挡或遮挡，对行人 跟踪而言也是一个极大地挑战。为了解决上述问题，采用了一种结合t o p d o w n 和b o t t o m - u d 的跟踪方法，能自动完成轨迹的初始化和终止。首先对行人进行t o p d o w n 跟踪，即用 基于k a l m a np a r t i c l ef i l t e r ( k p f ) 和m a r k o vc h a i nm o n t ec a r l o ( m c m c ) 的方法估计行人的后 验状态：然后，用b o t t o m - u p f i l 勺方法进行跟踪，即把检测到的行人与存在的轨迹进行基于 多假设数据跟踪方法( m u l t i p l eh y p o t h e s i st r a c k i n g ，m h t ) 的数据关联：若轨迹没有匹配的 观测，把用t o p d o w n 方法跟踪得到的行人当前状态的估计( 跟踪结果) 作为轨迹的当前 状态。从而，提出的方法能较好地克服检测器带来的漏检和虚警的影响，也能在行人问 出现相互作用，遮挡或部分遮挡，行人和场景问出现遮挡或部分遮挡时正确地跟踪场景 中的行人。此外，在两个视频序列上对该系统进行了评价并与以前的方法进行了比较。 关键词： 行人检测，基于查找表的g e n t l e a d a b o o s t ，支持向鼍机，基于部位的行人检 测，s o l lc a s c a d e ，人体跟踪，交互多模式，多假设跟踪，数据关联 本学位论文得到国家自然科学基金：( 6 0 0 7 2 0 2 9 ) 及日本欧姆公司的资助。 一一 s t u d y o fv i s u a lb a s e dp e d e s t r i a nd e t e c t i o na n d t r a c k i n ga l g o r i t h m a b s t r a c t 1 1 1t h ev a r i o u sa p p l i c a t i o n so fc o m p u t e rv i s i o n t h eo b j e c td e t e c t i o na n dt r a c k i n gi so n eo f t h em o s ti m p o r t a n ta n db a s i ct a s k s s o m eo fp e r s p e c t i v ea p p l i c a t i o n si n c l u d ea u t o m a t i cd r i v i n gs y s t e m ，r o b o tc o n t r o l , v i d e oc o m p r e s s i n g ，v i s u a lb a s e dc o n t r o l , m o t i o nr e c o g n i t i o n , h u m a n m a c h i n ei n t e r f a c e ，m e d i c a li m a g i n g ，a u g m e n t e dr e a l i t y , a n dv i s u a lb a s e di n t e l l i g e n ts u r v e i l l a n c e s y s t e m a l t h o u g ht h eo b j e c td e t e c t i o na n dt r a c k i n gh a sb e e ns t u d i e df o rm o r et h a nt e ny e a r si n c o m p u t e rv i s i o nc o m m u n i t y , i ti ss t i l la na c t i v er e s e a r c ha r e a i np r e s e n t ，t h e r ei sn o ta no b j e c t d e t e c t i o na n dt r a c k i n gs y s t e mw h i c hi sg e n e r a l ，r o b u s t ，a c c u r a t e , e f f i c i e n t , a n dr e a lt i m e b e c a u s e t h eh u m a nb o d yi sn o n - r i g i d , t h es c e n e sa r ec l u t t e r e d , a n dt h e r ea r ea1 0 to fi n t e r a c t i o n sa m o n g t h ep e d e s t r i a n so rb e t w e e nt h ep e d e s t r i a n sa n dt h es c e o e s 。t h eh u m a nd e t e c t i o na n dt r a c k i n gi s o n eo f t h em o s td i f f i c u l tc h a l l e n g e sa m o n gt h o s et a s k sm e n t i o n e da b o v e t h eh i g h l i g h t sa n dm a i nc o n t r i b u t i o n so f t h ed i s s e r t a t i o ni n e l u d e ： 1 an o v e lp e d e s t r i a nd e t e c t i o nm e t h o di nn a t u r a ls c e n e s 。 a p e d e s t r i a nd e t e c t i o na l g o r i t h mi sp r e s e n t e d w h i c hu s en e s t e dc a s c a d eo f l e o k - u pt ，山l e ( l u t ) g e n t l ea d a b o o s tw i t ht h ee d g eo r i e n t a t i o nh i s t o g r a m o h ) f e a t u r e sa n de x t e n d e d h a a r - l i k ef e a t u r e s i i lt h i sp e d e s t r i a nd e t e c t i o nm e t h o d t h en o d el e a r n i n ga l g o r i t h mb a s e do nt h e c a s c a d er i s kc o s tf u n c t i o ni sa d o p t e di nt r a i n i n gc a s c a d ea r c h i t e c t u r et oa s s o c i a t e 也ep e r f o r m a n c e o f e a c hs t a g ec l a s s i f i e rw i t ht h eo v e r a l lp e r f o r m a n c eo f c a s c a d ec l a s s i f i e ra n di m p r o v ed e t e c t i o n p e r f o r m a n c e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h er o b u s t n e s sa n de f f i c i e n c yo ft h ep r o p o s e d f f a m e w o r k i tp r o v e di t s e l ft ob eb o t ha c c u r a t ea n df a s t i tc a na l s od i s t i n g u i s hp e d e s t r i a nf r o m t h eo t h e rm o v i n go b j e c t s ，s u c ha sm o v i n gc a r 2 f e a t u r et r a n s f o r m a t i o na n ds v mb a s e dh i e r a r c h i e a lp e d e s t r i a nd e t e c t i o nw i t h m o n o c u l a rm o v i n rc a m e r a i ne n v i r o n m e n t sw h e r eae a m e mi sm o u n t e do na f r e e l ym o v i n gp l a t f o r m ，e g av e h i c l e ， p e d e s t r i a nd e t e c t i o nb e c o m e sm u c hm o r ed i m c u l t e s p e c i a l l y , i nc l u t t e r e ds c e n e s p e d e s t r i a n d e t e c t i o ni sm o r ec h a l l e n g i n g i nt h i sp a p e r , w ep r o p o s eac o a r s e t o - f i n ep e d e s t r i a nd e t e c t i o n b a s e do nf e a t u r et r a n s f o r m a t i o na n ds v mw i t ham o n o c u l a rm o v i n gc a m a r a f i r s t l y , ac o a r s e p e d e s t r i a nd e t e c t o ri sl e a r n tb yl o o k - u pt a b l e ( l u t ) g e n t l ea d a b o o s tc a s c a d e s e c o n d l y , e a c h s t a g ec l a s s i f i e ri nc o a r d e t e c t o rm e n t i o n e da b o v ei st a k e na saf e a t a r e , a n daf i n ep e d e s t r i a n d e t e c t o rb a s e do nt h o s ef e a t u r e si sl e a m tw i t l ls v mf r o mt h o s et r a i n i n gd a t aw h i c hp a s st h r o u g h t h ec o a r s ep e d e s t r i a nd e t e c t o r f i n a l l y , c o l o ra n ds p a t i a li n f o r m a t i o nb a s e dt e m p o r a la n a l y s i s i su t i l i z e dt oi m p r o v e 山ep e d e s t r i a nd e t e c t i o nr a t ea n dd e c r e a s et h ef a l s ea l a r mr a t eu l t e r i o r l y e x p e r i m e n t a lr e s u l t ss h o wt h i sm e t h o dh i g hp e r f o r m a n c e 3 b o d yp a r tb a s e dp e d e s t r i a nd e t e c t i o nw i t hm o n o e u l a rm o v i n gc a m e r a u i 上海交通大学博士学位论文 ac o a r s e - t o f i n em e t h o df o rp e d e s t r i a nd e t e c t i o ni sp r o p o s e di ns u c he n v i r o n m e n t s a ni n d i v i d u a lh u m a ni sm o d e l e da sa aa s s e m b l yo f n a t u r a lb o d yp a r t s ，i n c l u d i n gh e a d s h o u l d e r , t o r s o ， a n dl e g w ei n t r o 血c ea b s o l u t eh a a r - l i k ef e a t u r e sa n de d g e l e tf e a t u r e s p a r td e t e c t o r a b a s e do n t h e s ef e a t u r e s ，a r el e a r n tf r o mt r a i n i n gi m a g e sb ys o f tc a s c a d e f i 璐t l y t h ep e d e s t r i a nc a n d i d a t e s a r eg e n e r a t e db yf u l l - b o d yd e t e c t o r t h e nb a y e s i a nd e c i s i o nb a s e dc o m b i n a t i o na p p r o a c hi su t i l i z e dt od e t e r m i n ep e d e s t r i a n sa m o n gt h o s ep e d e s t r i a nc a n d i d a t e sa n dc a nr e d u c et h ef a l s ea l a r m r a t es i g n i f i c a n t l y e x p e r i m e n t a lr e s u l t ss h o wt h i sm e t h o dh i g hp e r f o r m a n c ei nn a t u r a lc l u t t e r e d s c e n e s 4 a3 df e a t u r e - b a s e dt r a c k i n ga l g o r i t h mc o m b i n i n gi m ma n dc a s c a d ed a t aa 墨- s o c i a t i o n a3 df e a t u r e b a s e db i n o c u l a rt r a c k i n ga l g o r i t h mi sp r e s e n t e df o rt r a c k i n gc r o w d e dp e o p l e i n d o o r s t h ea l g o r i t h mc o n s i s t so fat w os t a g e3 df e a t u r ep o i n t sg r o u p i n gm e t h o da n dar o - b u s t3 df e a t u r e b a s e dt r a c k i n gm e t h o d t h et w os t a g e3 df e a t u r ep o i n t sg r o u p i n gm e t h o dc a n u s ek e r n e l - b a s e di s o d a t am e t h o dt od e t e c tp e o p l ea c c u r a t e l ye v e nt h o u g ht h ep a r to ra l m o s t 如no c c l u s i o no c c u r sa m o n gp e o p l ei ns u r v e i l l a n c ea r e a t h er o b u s t3 df e a t u r e b a s e dt r a c k i n g m e t h o dc o m b i n e si n t e r a c t i n gm u l t i p l em o d e lo m m ) m e t h o dw i t hac a s c a d em u l t i p l ef e a t u r ed a t a a s s o c i a t i o nm e t h o d t h er o b u s t3 df e a t u r e - b a s e dt r a c k i n gm e t h o dn o to n l ym a n a g e st h eg e n e r a - t i o na n dd i s a p p e a r a n c eo f at r a j e c t o r y , b u ta l s oc a nd e a lw i t ht h ei n t e r a c t i o no f p e o p l ea n dt r a c k p e o p l em a n e u v e r i n g e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h er o b u s t n e s sa n de f f i c i e n c yo f t h ep r o - p o s e df r a m e w o r k i ti sr e a l - t i m ea n dn o ts e n s i t i v et ot h ev a r i a b l ef r a m et of r a m ei n t e r v a lt i m e i ta l s oc a r ld e a lw i t ht h eo c c l u s i o no fp e o p l ea n dd ow e l li nt h o s ec a s e st h a tp e o p l er o t a t ea n d w r i g g l e 5 a3 df e a t u r e - b a s e dt r a c k i n ga l g o r i t h mc o m b i n i n gi m ma n dm h t i f p e o p l ea r ec r o w d e dw i t h i nt h es u r v e i l l a n c er e g i o n ，m e yw i l li n t e r a c te a c ho t h e r , s u c h 鹪 s p a c e - c l o s e dp e o p l e o c c l u s i o no rp a r t i a lo c c l u s i o na m o n gt h o s ep e o p l e n i sw i l li n c u rt h a ta d e t e c t i o no f p e r s o ni sa s s i g n e dt ot h et r a c ko f a n o t h e rp e r s o n f i r s t l y , i n t e r a c t i n gm u l t i p l em o d e l m e t h o d ( i m m ) i sa d o p t e dt op r e d i c tt h es t a t eo fap e r s o n t h e nm u l t i p l eh y p o t h e s i st r a c k i n g a l g o r i t h m ( m h t ) i sa d o p t e dt om a t c hap e r s o nd e t e c t i o nw i t ht h et r a c ko f t h i sp e r s o nc o r r e c t l y i ta l s oc a n g e n e r a t ean e wt r a c kf o raf l e we n t e r i n gp e r s o na n dd e l e t et h et r a c ko fp e r s o nt h a t g o e so u to f t h e s u r v e i l l a n c er e g i o n t h ev e l o c i t yc o n t i n u i t yc o n s t r a i na n di n t e n s i t yc o n s i s t e n c y c o n s t r a i na r ei n t r o d u c e dt om h ta l g o r i t h mt oc a l c u l a t et h ec o n f i d e n c eo fe a c ht r a c k , w h i c h c a nr e d u c et h en u m b e ro fh y p o t h e s i sa n dt h e r e b yr e d u c et h ec o m p u t a t i o n a lc o s t ，e x p e r i m e n t a l r e s u l t sd e m o n s t r a t et h er o b u s t n e s sa n de f f i c i e n c yo ft h ep r o p o s e df r a m e w o r kt oi n t e r - o c c l u d e d p e o p l ea n d t h en o n l i n e a rm o v e m e n to f p e o p l e 6 m c m ca n dm h tb a s e dp e d e s t r i a nt r a c k i n gw i t hm o n o c u l a rm o v i n gc a m e r a i nc o m p u t e rv i s i o n ，t h ep e r f o r m a n c eo fp e d e s t r i a nd e t e c t i o np l a y sav e r yi m p o r t a n tr o l ei n v a r i a b l en u m b e ro f a u t o m a t i cp e d e s t r i a nt r a c k i n g h o w e v e r , p e d e s t r i a nd e t e c t o rm a yb r i n gaf e w f a l s en e g a t i v ea n dp o s i t i v ep e d e s t r i a nd e t e c t i o n ss i n c ep e d e s t r i a nh a sv a r i e t yo fs h a p e sa n da p 。 p e a r a n c e s t h ep e d e s t r i a ni n t e r a c t i n ga n do c c l u s i o no rp a r t i a lo c c l u s i o nb e t w e e nt h ep e d e s t r i a n a n ds c e n e sa r ea l s ot h ec h a l l e n g i n gp r o b l e m s an o v e lp e d e s t r i a nt r a c k i n gm e t h o dc o m b i n e d 一一 英文摘要 t h et o p - d o w na p p r o a c ha n db o t t o m - u pa p p r o a c hi sp r o p o s e d , w h i c hc a na u t o m a t i c a l l yi n i t i a t e a n dt e r m i n a t et h et r a c ko f ap e d e s t r i a ni f s o m ec o n d i t i o n si ss a t i s f i e d f i r s t l y , t h i sm e t h o dt r a c k s p e d e s t r i a nw i t ht o p d o w na p p r o a c h ，w h i c he s t i m a t et h es t a t eo fap e d e s t r i a nb a s e do nk a l m a n p a r t i c l ef i l t e ra n dm a r k o vc h a i nm o n t ec a r l om e t h o d ；t h e np e d e s t r i a ni st r a c k e dw i t hb o t t o m u o a p p r o a c h ，w h i c hm a t c h e st h er e s u l t so f p e d e s t r i a nd e t e c t i o nw i t ht h ec u r r e n te s t i m a t eo f e x i s t e d t r a c k su s i n gm u l t i p l eh y p o t h e s i st r a c k i n g ( m h t ) i fat r a c kh a sn o ta c o r r e s p o n d i n gp e d e s t r i a n d e t e c t i o n ，t h i sm e t h o du s e st h ec u r r e n tt r a c k e dr e s u kb yt o p d o w na p p r o a c ha st h es t a t ee s t i m a t eo ft h i st r a j e c t o r y , o t h e r w i s eu p d a t i n gt h ec u r r e n ts t a t eo ft h i sp e d e s t r i a nt r a j e c t o r yu s i n g t h em a t c h i n gr e s u l tb ym h t t h e r e f o r e ，t h i st r a c k i n gm e t h o dc a l lo v e r c o m et h ef a l s en e g a t i v e a n df a l s ea l a r mb r o u g h tb yt h ep e d e s t r i a nd e t e c t o r i ta l s oc a nc o r r e c t l yt r a c kp e d e s t r i a n se v e n i f t h e r ea l ep e d e s t r i a ni n t e r a c t i n ga n do c c l u s i o no rp a r t i a lo c c l u s i o nb e t w e e nt h ep e d e s t r i a n sa n d s c e n e s k e y w o r d s ：p e d e s t r i a nd e t e c t i o n ，l o o k u pt a b l e b a s e dg e n t l ea d a b o o s t ，s u p p o r tv e c t o r m a c h i n e ( s v m ) ，p a l t - b a s e dp e d e s t r i a nd e t e c t i o n ，s o f tc a s c a d e ，h u m a nt r a c k i n g ，i n t e r a c t i n g m u l t i p l em o d e l ，m u l t i p l eh y p o t h e s i st r a c k i n g ，d a t aa s s o c i a t i o n t h i sd i s s e r t a t i o ni ss u p p o r t e db yt h en a t i o n a ln a t u r a ls c i e n c ef o u n d s ( 6 0 0 7 2 0 2 9 ) a n d o m r o n c b 伊 一v 一 上海交通大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何他个人或集体 已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在 文中以明确方式标明。本文完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 塑乏 4 年 月耻日 上海交通大学学位论文版权使用授权书 本学位论文作者完全了解上海交通大学有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 ( 保密的论文在解密后应遵守此规定) 学位论文作者签名：j 理 日期：n 年月上乃 指导教师签名： e t 期：蛆年_ l 月工珀期：鲥年l 月工期 1 1 研究背景 第一章绪论 在数字视频处理和计算机视觉领域的各种应用中，目标的检测和跟踪是一个重 要的，也是最基本的任务 1 】。一些较流行的应用包括汽车自动驾驶系统或辅助驾驶 系统，机器人控制，基于运动的识别，视频压缩，基于视觉的控制，人机接口，医 学成像，增强现实，和视频场景监控。本论文研究的人体检测和跟踪技术主要以汽 车辅助驾驶系统和视频场景监控这两种应用为研究背景。本论文关注这两种应用的 原因是它们都有着迫切的实际应用需求，且以它们为应用背景开发的人体检测和跟 踪技术可以推广到上面提到的其它应用中去。 从以下的一组交通数据分析，就能够理解汽车辅助驾驶系统的重要性。全世界 每年有3 9 ，0 0 0 多个行人死于交通事故，同时还有4 3 0 ，0 0 0 多人在交通事故中受伤。在 交通事故中，行人受到伤害的人数仅次于事故中车上的乘客受伤的人数 2 】。尽管增 强了行人保护装置，但由于有时恶劣的驾驶条件( 如低的照明条件或雾) 或驾驶员或 者行人的一时走神，还是有许多交通事故发生。于是人们就非常渴望能在汽车上安 装一个汽车辅助驾驶系统，它能够自动检测行人，并提醒驾驶者。这也是今天汽车 制造商和公共部门主要关心的事情之一。例如，前几年欧盟就发起了一项保护行人 的研究项目( 叫做p r o t e c t o r ) 。 人体检测和跟踪技术不仅在汽车辅助驾驶系统中起着关键作用，同时也是智能 视频监控系统后续高级处理的基础，它的质量直接影响到目标识别，姿态估计，运 动分析，和活动理解的效果。 智能视频监控系统就是利用计算机视觉技术对摄像机采集的视频信息进行分 析，理解和处理，将无关的信息滤除，只将提取出的有用的信息报告给监控人员进 行处理，从而具有预警，防范和主动监测的功能，它具有类似人一样的智能，能代 替人完成一些监视任务。 由于视频监控系统在军事上和民用上的紧急需求 7 】，一直是最近几年的研究 热点。在安全和法律方面，智能视频监控系统对从监控摄像机传来的监控场景的视 频信息进行处理，对场景中可疑的人和事件进行报警，从而阻止犯罪，灾难性事件 的发生，以保障人民群众的生命和财产安全；在交通应用上，智能视频监控系统监 测交通流量，检测高速公路上的交通事故；在商业活动中，智能视频监控系统统计 各购物场所和娱乐场所消费者人数，监视公众场合中行人的阻塞情况和拥挤程度， 以免发生踩踏事件；在军事上的应用包括监控国境线，测量冲突地区的难民流入流 量，监视和平谈判，和军事基地。在视频监控的场景中，人是活动主体，所以监控 上海交通大学晡士学位论文 系统必须能实时地榆测和跟踪人的运动；在出现人和人遮挡，人和环境遮挡，光照 变化，非刚体轮廓变形，和铰接运动时，也能正常工作 7 。 1 2 人体检测和跟踪过程的相关工作 1 2 1 人体检测 人体检测就是把视频序列中出现的人体从背景中分割出来并精确定位。基于视 觉的行人检测目前仍旧是计算机视觉领域的一个公开的难题。原因在于：行人同背 景混合在一起，行人可能走，也有可能站着或者不可预测地改变运动方向；行人所 处的背景非常复杂：特别是当视觉系统安装在车上时，背景的突然改变不可避免。 目前为止，一些人体检测系统在某些约束环境中被证明能有效地检测行人，从而鼓 舞了研究人员开展进一步的研究工作。迸一步的工作包括对用安装在小汽车上的摄 像机拍摄的彩色视频序列中可能含有行人区域的前景和背景分割、行人的准确检测 和跟踪。下面简要介绍目前常用的人体检测方法。 1 2 1 1 背景差 背景差是一种对静止场景进行运动分割的通用方法。它通过当前帧与参考帧对 应像素之间的灰度差来检测移动区域。根据前景检测，背景维持和后处理方法， 存在几种不同的背景差方法。一种简单方法是：对于当前帧中的像素，( z ，) ，如 果i 五( z ，y ) 一且( z ，) l t ，则该像素为前景点。其中，厶是当前帧；b t 是背景图像， 刚开始是前面几帧图像的平均值。然后根据当前帧进行更新以适应动态场景的变 化。灰度差值大于某个阈值的像素被分为前景。在创建一个前景像素图后，一些形 态学的后处理揉作例如腐蚀、膨胀和闭操作被执行来减少噪声的影响和