（检测技术与自动化装置专业论文）高架道路监控视频中的行人检测技术研究.pdf

高架道路监控视频中的行人检测技术研究 中文摘要 中文摘要 行人检测是目前智能视频监控研究领域中倍受关注的热点，尽管国内外在行人检 测方面已经取得了一定的研究成果，但是由于实际检测环境的多样化，需要考虑的因 素也复杂多变，因此针对不同的实际应用环境进行行人检测技术研究将是该领域长期 的任务。本课题选择高架道路或快速路作为应用环境，研究在道路入口监控视频中自 动检测进入高架路的行人的检测技术。在该应用背景下，人脸在视频图像中占据的像 素点比较少，并且行人都是驾驶着交通工具，并有可能被其他物体部分的遮挡，使得 现有的依靠行人身体特征信息( 如人的眼睛、嘴巴、鼻子、手势、走路姿态等特征) 的行人检测方法难以应用到该应用背景下的行人检测中。论文紧紧围绕着快速道路中 行人检测的问题开展工作：首先是研究视频中运动区域的分割方法；其次是研究运动 区域中行人的检测方法。论文工作主要包括以下几个方面： ( 1 ) 视频中运动目标区域分割。系统地总结和归纳了目前常用的视频中运动目标 分割算法，并通过实验对它们的优缺点进行了分析、对比，最终采用基于连续两帧差 分的运动目标检测方法实现了运动区域的分割。 ( 2 ) 运动区域中人脸特征提取。在深入分析现有的人脸检测方法的基础上，针对 高架路这种应用背景，论文选择人脸肤色作为特征，在运动区域中进行人脸检测。对 人脸肤色在不同色彩空间的聚类特性进行详细研究，论文选择在y c b c r 颜色空间进 行肤色建模，并利用建立的高斯肤色模型对运动目标区域进行肤色检测，提取出人脸 肤色区域。 ( 3 ) 类人脸肤色区域的排除。实际交通场景中，行人的某些部位( 如行人露出的 手臂等) 和某些运动物体( 如汽车的黄色牌照，摇晃的树枝等) 在光照下呈现的颜色 与肤色非常相似。在大量实验基础上，通过选择合适的肤色区域的长宽比，以及人脸 肤色区域的像素数目，排除类人脸肤色区域。 ( 4 ) 视频中行人的实时检测。在m a t l a b 7 7 软件平台上对实际采集到的交通视频 图像进行了行人检测仿真实验，同时将文中算法与其他行人检测算法进行了对比、分 析。结果表明，论文提出的行人检测算法能够实时、准确地在视频中检测到行人，并 对光照渐变具有较强的适应性。 高架道路监控视频中的行人检测技术研究 中文摘要 关键词：行人检测；人脸检测；帧间差分；背景差分；肤色建模；肤色分割 n 作者：杨灯峰 指导教师：赵勋杰 高架道路监控视频中的行人检测技术研究 a b s t r a c t r e s e a r c ho nh u m a nd e t e c t i o nt e c h n o l o g yi ns u r v e i l l a n c e lo_ l v i d e oo te l e v a t e dr o a d a b s t r a c t p r e s e n t l yh u m a nd e t e c t i o ni ns u r v e i l l a n c ev i d e oh a sb e c o m et o b et h ef o c u so f r e s e a r c hf i e l di ni n t e l l i g e n tv i d e os u r v e i l l a n c ea n dh a sg r e a tr e s e a r c ha n da p p l i c a t i o nv a l u e h u m a nd e t e c t i o ni nd i f f e r e n ta p p l i c a t i o ne n v i r o n m e n ti ss t i l lt ob et h et r e n di nt h i sf i e l d d u et ot h ed i v e r s i t yo ft h ea p p l i c a t i o n t h i sp a p e ra i m sa tp e d e s t r i a nd e t e c t i o no nu r b a n e l e v a t e dr o a d c o n s i d e r i n gi ns u c ha p p l i c a t i o n , f a c eo c c u p i e sl e s sp i x e lp o i n t si nt h e p i c t u r ea n dh u m a nm a y b eo c c l u d e db yo t h e rm o v i n go b j e c t s ，s oi ti sd i f f i c u l tt od e t e c tt h e h u m a no n l yu s i n gs h a p ei n f o r m a t i o n , s u c ha sh u m a nb o d ys h a p e ，e y e s ，g e s t u r e s ，e r e t h e r e f o r e ，t h i sp a p e rp r o p o s e st od e t e c th u m a nf r o mf a c ea s p e c t a c c o r d i n gt ot h i si d e a , r e s e a r c hw o r km a i n l yc o n t a i n st w op a r t s o n ep a r tf o c u s e so nm o t i o nr e g i o nd e t e c t i o n b e t w e e nv i d e of r a m e s t h es e c o n dp a r ti so nh o wt od e t e c th u m a nf a c ei nm o v i n go b j e c t 锄旧a m a i nr c s e a r c hw o r ki sb e l l o w ： f i r s t l y , s y s t e m a t i c a l l ys u m m a r i z ea n da n a l y s i st h ec o m m o nu s e dm o t i o nt a r g e t s d e t e c t i o nm e t h o d s t h r o u g hc o m p a r i n gt h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s ，p a p e ra d o p t s m o t i o nt a r g e t sd e t e c t i o na l g o r i t h mb e t w e e nt w of r a m e si nv i d e ot oe x t r a c tt h em o t i o n t a r g e t sa r e a s e c o n d l y , o nt h eb a s i so fd i s c u s s i o no fm a n yf a c ed e t e c t i o nm e t h o d s ，p a p e ra d o p t st h e f a c ed e t e c t i o nm e t h o db a s e do ns k i nc o l o r t h r o u g hm a n yr e s e a r c h e sd o n eo nt h ec l u s t e r c h a r a c t e r i s t i co fh u m a nf a c es k i nc o l o ri nd i f f e r e n tc o l o rs p a c e s ，p a p e rc h o o s e st oe s t a b l i s h s k i nm o d e li ny c b c o l o rs p a c ea n du s e st h i ss k i nm o d e lt od os k i nd e t e c t i o ni nt h e m o t i o nt a r g e ta r e a s t h i r d l y , c o n s i d e r i n gt h e r em a yb es o m em o v i n go b j e c t sh a st h es i m i l a rc o l o rw i t h h u m a nf a c es k i n , s u c ha sh u m a nb e n d i n ga r m s ，s h a k e nb r a n c h e s ，e t c ，c r i t e r i ac o n d i t i o ni s s e tt oe x c l u d es u c hd i s r u p t o r sb yu s i n gl e n g t ht ow i d t hr a t i o ，c a n d i d a t er e g i o np i x e l si n v i d e oi m a g e f i n a l l y , r e a l - t i m ep e d e s t r i a nd e t e c t i o ni ns u r v e i l l a n c ev i d e o d e t e c t i o na l g o r i t h mi s l 高架道路监控视频中的行人检测技术研究 s i m u l a t e do nm a t l a b 7 7s o f t w a r ep l a t f o r ma n dc o m p a r e dw i t ho t h e rd e t e c t i o na l g o r i t h m r e s u l t ss h o wt h a tt h i sm e t h o dc a l ln o to n l ya c c u r a t e l yd e t e c th u m a n ，b u ta l s oh a sg o o d r e a l t i m ep e r f o r m a n c ea n dl i t t l ee f f e c to fg r a d u a li l l u m i n a t i o nc h a n g e k e yw o r d s ：m o t i o nr e g i o nd e t e c t i o n ；f a c ed e t e c t i o n ；i n t e r - f l a m ed i f f e r e n c e ； b a c k g r o u n ds u b t r a c t i o n ；s k i nc o l o rm o d e l i n g ；s k i nc o l o rs e g m e n t a t i o n i v w r i t t e nb y ：y a n gd e n g f e n g s u p e r v i s e db y ：z h a ox u n j i e 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其 他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或 其它教育机构的学位证书而使用过的材料。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责 任。 研究生签名：日期： 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保存期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊 研究生签名 导师签名 高架道路监控视频中的行人检测技术研究 第一章绪论 1 1 研究背景与意义 第一章绪论 智能视频监控技术是计算机视觉领域近年来新兴的一个研究方向，它是基于人工 智能分析一计算机视觉技术，以视频场景中人、交通工具和物体为研究分析对象，主 要研究内容包括：监控视频运动对象的提取、对象的描述、对象的跟踪、对象的识别 和对象的行为分析等。智能视频监控研究目标是利用计算机视觉技术、图像视频处理 技术和人工智能技术对监控视频的内容进行描述、理解和分析，并能根据分析的结果 对视频监控系统进行控制，从而使视频监控系统具有较高层次的智能化水平。智能视 频监控技术可以被用于公共安全监控、医疗看护、交通管理、顾客服务等众多的领域， 具有深刻的理论价值和广泛的应用前景。 在智能视频监控研究领域，关于行人的检测技术的研究倍受关注。人的检测与分 析在高级人机交互、安全监控、视频会议、医疗诊断及基于内容的图像存储与检索等 方面具有广泛的应用前景和潜在的经济价值，从而激发了国内外广大科研工作者及 相关商家的浓厚兴趣。目前经常有行人在白天驾驶非机动车辆进入高架道路，给交通 管理带来了极大的安全隐患。而当前的道路监控主要依靠人的观察，不仅费时费力， 还未必能够及时发现违规行人，显然这种监控方式不能适应现代化智能交通管理的要 求。因此，本课题选择高架道路作为行人检测技术研究的应用环境，研究如何通过交 通道路监控视频及时、准确检测到违规进入高架道路的行人，可以极大地提高工作效 率，有效防止事故的发生，而且对其它视频监控场景中行人禁入的研究具有借鉴意义。 1 2 国内外研究现状与动态 我国在行人检测技术方面的研究起步较晚，研究取得的成果比较少，与国外相比 存在一定的差距。国内从事行人检测技术研究的科研单位主要有西安交通大学1 1 、清 华大学 2 1 、吉林大学网以及中科院自动化所4 1 等。在城市道路交通环境下的行人检测 方面，中国科学院自动化研究所采用了运动模型和关节人体模型对行人进行建模分 高架道路监控视频中的行人检测技术研究第一章绪论 析；浙江大学人工智能研究所也对行人运动分析进行了一定的研究，采用单目视频图 像序列对人体没有出现被遮挡部位的动作进行跟踪，但是该方法难以准确估计出被遮 挡部位的位置，并且手工干预较多。 国外许多大学、科研机构以及汽车生产厂商在运动行人检测方面已经研制出了一 些比较成熟的行人检测系统( p e d e s t r i a nd e t e c t i o ns y s t e m ，p d s ) ，并在实践中取得了 比较理想的效果，主要的p d s 研究机构有麻省理工学酣5 1 、日本丰田汽车研究中心【6 】、 戴姆勒克莱斯研发中心【刀以及卡内基梅隆大学引。戴姆勒一克莱斯勒汽车公司于2 0 0 4 年完成了p r o t e c t o r 研究计划，并于2 0 0 5 年完成了其升级版s a v e u 系统。它综合使 用了光学、红外、毫米波雷达等传感设备，能在1 5 0 k m h 以下的车速、多种天气状况 下，快速准确地检测出行人。丰田中央研究所于2 0 0 6 年开发了使用立体近红外加激 光雷达的p d s 系统。它能够在大约4 0 k m h 的速度下，检测到距离车辆5 0 m 内的、 在人行道上的行人：m i t 媒体实验室研制出的p f i n d e r ( p e r s o nf i n d e r ) 系统，可以通 过对人体进行建模，实时检测到行人。 目前行人检测方法主要有基于形状信息的方法【9 ，1 0 1 、立体视觉方法【l l 】以及神经网 络方法【1 2 1 。 基于形状信息的行人检测方法主要依靠行人形状特征识别行人，受到背景变化和 摄像机运动的影响比较小。但是由于行人在运动过程中形状信息复杂多变，并且人体 的某些部位还可能暂时被其他物体遮挡，这些都给准确地检测行人带来困难。 立体视觉检测法是目前行人检测中常用的方法，对于中短途( 4 0 m 内) 的行人检 测比较有效。其基本原理是从多个视点观察同一景物，以获取在不同视角下的感知图 像。z h a ol 采用双目视觉系统检测复杂场景中的行人，通过立体视觉分割算法先将 行人从背景中提取出来，然后用神经网络的方法对目标进行分类。它的不足之处在于 当行人所穿衣服的颜色与背景颜色相似，或者当两个行人彼此靠得太近时，检测算法 便难以通过轮廓和立体信息对目标进行准确分割。 采用人工神经网络进行行人检测主要是对利用视觉信息获取的行人候选区域进 行分类识别。t h o r p ee 等人首先利用立体视觉方法提取目标区域，然后将目标候选图 像合并、分离成满足行人尺寸和形状约束的子图像，最后将检测到的可能含有行人目 标的区域输入到神经网络进行行人识别。在实际应用中，为了减少误检，神经网络算 2 高架道路监控视频中的行人检测技术研究第一章绪论 法需要考虑实际应用场景中行人的许多种情形，训练时间比较长。 尽管国内外在行人检测技术方面已经取得了以上许多成就，但在实际应用中仍然 存在很多技术难点需要克服。首先，在实际的检测环境中，视频图像往往会受到许多 因素的影响，比如天气、光照的变化等，这些因素都给准确有效的行人目标分割带来 困难；其次是复杂背景下如何解决行人与行人之间、行人与其他运动目标、行人自身 的遮挡问题，以及如何消除建筑物、运动或停留的车辆、路标等对行人检测的影响。 总之，以目前的研究现状和技术水平，实现通用的行人检测系统还不现实，针对 某一特定应用背景下进行行人检测技术研究将是该研究领域长期发展的主要方向。 1 3 论文主要研究内容与结构 论文围绕如何在高架道路监控视频中自动检测行人的问题进行了详细、深入的研 究，在总结、分析现有行人检测方法的基础上，结合研究的实际应用背景，论文从检 测人脸的角度去检测行人。围绕这个思路，论文着重对在视频序列图像中如何实现运 动目标检测以及在运动目标区域中如何检测人脸做了详细讨论和研究，从视频图像预 处理、运动目标分割到行人识别，提出了一整套的行人检测算法，并在实际采集到的 交通视频图像上对本文提出算法进行了充分的验证，给出了实验结果数据和部分检测 图片，并对检测结果进行了详细分析。 论文结构具体安排如下： 第一章：绪论。阐述了课题的研究背景和意义，重点介绍了当前国内外行人检测 技术的研究现状以及仍需克服的技术难点，并提出了论文的主要研究内容和具体的章 节安排。 第二章：视频图像序列中运动目标检测和提取。在对常用的视频中运动目标检测 算法的分析、研究基础上，提出适合课题应用背景的运动目标检测算法。 第三章：运动目标区域中人脸检测。对目前的人脸检测技术进行了总结和分析， 提出课题采用的人脸检测方法，并对人脸肤色在不同色彩空间的聚类性、如何在色彩 空间进行肤色建模和肤色分割以及如何对人脸候选区进行筛选进行了详细讨论。 第四章：行人检测实验与讨论。依据采集到的交通场景视频对课题提出的算法进 3 高架道路监控视频中的行人检测技术研究 第一章绪论 行仿真实验，验证算法的有效性和可行性，给出了算法流程和实验数据，并对实验结 果做了详细分析。 第五章：总结和展望。系统总结了课题研究的主要工作，并依据试验中发现的问 题对后续的研究工作提出建议，同时对行人检测技术研究的应用进行了展望。 1 4 本章小结 本章首先阐述了课题的研究背景和研究意义，具体分析了国内外行人检测技术的 研究现状和发展趋势，并对目前行人检测技术研究中仍然存在的一些技术难点做了详 细的讨论，最后简要概述了论文的主要研究内容和具体的章节安排。 4 高架道路监控视频中的行人检测技术研究第二章视频序列图像中运动目标检测与提取 第二章视频序列图像中运动目标检测与提取 视频序列图像中运动目标检测与提取是智能视频监控的关键步骤，其目的在于检 测视频中被监视的场景是否有变化。如果发生变化，则说明存在运动目标。运动目标 检测效果的好坏将直接影响到整个智能视频监控系统的效果。由于受到光照、传感器 以及阴影等因素的影响，视频实际采集到的数字图像的质量不可避免地有所降低。因 此，在运动目标检测与提取前必须先对获取的原始图像进行预处理。结合课题研究的 需要，论文的图像预处理部分主要包括光照补偿、图像灰度化以及图像滤波。 2 1 图像预处理 2 1 1 光照补偿 由于课题在人脸检测时主要依据人脸肤色信息，而肤色等色彩信息容易受到光源 颜色、图像采集设备的色彩偏差等因素的影响，在整体上往往会偏离本质色彩而向某 一方向移动，即出现色彩偏暖、偏冷现象，因此必须对原始彩色图像进行光照补偿。 目前常用的光照补偿方法主要有“参照白”光照补偿法和自适应光照补偿法。 1 、“参照白 光照补偿法 “参照白，光照补偿法是由a n i lk j a i n 提出【1 3 1 。该方法主要基于以下假设：一般情 况下物体及其周围环境的色彩变化是随机的、独立无关的，因此一幅色彩图像中的r 、 g 、b 三个分量各自的平均值都趋于同一个值。为了抵消图像中可能存在的色彩偏差， 这种光照补偿方法首先将整幅图像中所有像素的亮度从高到低排列，取前5 的像素， 如果这些像素的数目足够多，则将它们的亮度作为“参考白”，然后将图像中的其他像 素点也按照这一调整的尺度进行变换。经“参考白”光照补偿后的效果图如图2 1 所示。 算法的具体步骤如下： ( 1 ) 将图像从r g b 色彩空间转换到y c b c r 色彩空间，计算图像中所有像素的亮度 值y ； ( 2 ) 将亮度值y 从高到低进行排序，统计前5 像素的总数目n 。如果n 足够大 ( 论文当n 大于3 0 0 时) ，则分别求出前5 像素的r 、g 、b 的平均值a v r 、a v g 、 商架遒站监控视频中的行 揎测技术研究第= 章税频序图像中运动口标检测与提取 a v b ，从而确定r 、o 、b 的亮度调整系数分别为f a c t o r l = 2 5 5 a v r ， f a c t o r 2 = 2 5 5 a v g ，f a c t o r 3 = 2 5 5 a v b 。然后将前5 像素的r 、g 、b 值均置为最 大值2 5 5 ，图像中其他像素的r 、g 、b 值均按照亮度调整系数进行放大。 f 舅- 严斟肾 鳖t 盏 ( 曲原始幽像啦) “参照白“光照补偿后 幽21 “参考白”光照补偿效果罔 2 、自适应光照补偿法 由于实际检测环境不可预知如果直接采用“参考白”算法对原始圈像进行光照补 偿，可能难以取得比较理想的光照补偿效果。因此，课题采用自适应光照补偿算法l 。 算法具体实现步骤如下： ( 1 ) 先将待检图像从r g b 空间转换到y c b c r 空间，计算图像中所有像素点的亮度 值m ( 2 ) 将亮度值y 从高到低进行排序，取出前5 的像素点构成集台1 ，置集合1 中 每个像素点的亮度值为2 5 5 ，并将该集合中的堆小值赋给式( 21 ) 中的a ；然后取后5 的像素点构成集合2 ，置集合2 中每个像素点的亮度值为0 ，并将该集合中的最大值 赋给式( 2 1 ) 中的b 。位于亮度值y 中间区域的像素点均依据式( 2 1 ) 调整各自的亮度值 g ( x ，y ) a g ( x ，y ) = 2 5 5 ( 历l n f j ( x , y 五) 广- l n s ) ( 21 ) i m l n 其中f ( x ，y ) 为输入图像的灰度值。采用白适应光照补偿方法进行光照补偿试验 实验结果如图2 2 所示。 高艇道路监控视频中的行人检测技术研究第二章视顿序列图像中运自目标椅测与提取 f 4 譬 ( 曲娘始图像( 砷自适应光照补偿后 图2 2 自适应光照朴偿效果图 2 1 2 图像灰度化 运动目标检测需要首先获取视频序列图像的灰度信息，而相机采集到的原始视频 嗣像为彩色图像，图像中每个像素的颜色是由红、蓝、绿三种基本颜色按照不同的比 例混合得到，因此在运动目标检测前需先进行图像灰度化处理，即将彩色图像转换为 灰度图像。公式( 22 ) 给出了彩色图像转换成扶度图像的公式： g r a y = 02 9 9 r + 05 8 7 g + 01 1 4 b ( 2 2 1 式中r 、g 、b 分别为像素点的红色、绿色、蓝色的分量值。图2 3 给出了道路 交通图像灰度转换效果图。 壁壁 ( a ) 原始图像( b ) 灰度图像 图2 3 灰度转换效果削 2 1 3 圄像滤波 数字图像在获取、传输的过程中会受到各种噪声的影响。所谓噪声，就是十扰人 的视觉器官或者系统传感器对接受到的图像信息进行理解、分析的各种因素，比如， 图像传感器在获取图像的工作过程中容易受到工作环境和传感元器件自身质量的影 响。这些噪声通常分为加性噪声和乘性噪声。所谓加性噪声就是指噪声与图像信号的 高架道路监控视频中的行人检测技术研究第二章视频序列图像中运动目标检测与提取 强度无关，如在图像传输过程中引入的信道噪声、摄像机扫描噪声等。乘性噪声往往 随着图像信号的变化而变化。因此，在运动目标检测前必须对待检的原始视频序列图 像进行滤波处理，以减少噪声对目标检测的影响。图像滤波的方法主要有频域滤波和 空域滤波。 频域滤波法的基本原理主要是通过对图像进行傅里叶变换，将图像从空域转换到 频域中，然后设计恰当的传递函数对图像进行滤波处理，再将处理后的图像反变换到 空域，得到处理后的图像。 空域滤波法是利用图像的像素本身以及其与邻域像素之间的灰度关系，在空间域 内对图像像素点的灰度值直接进行运算处理，得到滤波后的图像。目前常用的空域滤 波方法主要有均值滤波和中值滤波，下面对这两种常用的空域滤波方法进行详细分 析。 1 、均值滤波 均值滤波是一种线性滤波方式，它主要基于以下假设：首先认为图像是可由许多 灰度恒定的小块组成，这一假设基本上反映多类图像的结构特征；其次将图像上的噪 声看成是加性的，且互不相关、均值为零。这种滤波方法采用邻域均值运算，即用某 一个像素点邻域内各像素灰度值的平均值来代替该像素点原来的灰度值。 若p ( x ，y ) 为给定一幅图像上( x ，y ) 位置处的像素灰度值，k 为( x ，y ) 处像素点邻域 n 内的像素点总个数，( f ，力表示滤波模板中心对应的像素点，则经过均值滤波后得 到的图像中原像素点所对应的新灰度值办( f ，j f ) 可依据式( 2 3 ) 得到。 h ( i ，) = i 1 p ( 石，y ) ( 2 3 ) ( m ，一) 滤波模板的形状通常采用奇数正方形窗口。图2 4 给出了分别采用不同尺寸的滤 波窗口对某一灰度图像进行均值滤波的效果图。图中结果表明，随着滤波窗口尺寸的 增大，消除噪声的效果得到增强，但经过滤波后得到的图像将会变得模糊。 8 高鲥t 路监控视频中的行人榆捌技术研究第= 章视频序，0 图像中运动目标检测与提取 幽幽 ( a ) 灰度| 堇i 像 ( b ) 3 x 3 均值滤波效果 熙孵 如) 5 x 5 均值滤波效果( d ) 7 x 7 均值滤波效果 图2 4 不同尺寸均值滤波器处理效果图 2 、中值滤波 中值滤波法是由t u r k y 在1 9 7 1 年提出，是一种去除噪声的怍线性处理方法。这种 方法起初主要用丁时间序列分析，后来被广泛应用到图像处理领域。其基本原理主要 是用原始数字图像中每个像素点的个邻域中各点灰度值的中值代替该点的荻度值， 使得原始图像中与周围像素灰度值的差比较大的像素点改取与周围像素点获度值接 近的值，从而既能消除噪声，又可以尽量保持原始罔像的细节。中值滤波的定义具体 描述如下： 若原始图像中某像素点的一个邻域中各点灰度值分别为玉，乇，按照从小到 大顺序排列为矗5 t ：一5 h ，则经过中值滤波后该像素点的驮度值h 为： h = m e d i a n ( x 1 屯，) = ( n - + 1 ) ”为奇数 2 ( 2 4 ) ；h ( 争+ ( 詈+ i 如n 为偶数 中值滤波的消噪效果主要与滤波模板的形状、尺寸有关。常用的中值滤波模板为 奇数方形模板。图2 5 给出了分别采用不再尺寸的滤波模板对某灰度图像进行中值滤 波处理的效果图。实验结果表明采用的模板尺寸越大，经过中值滤波处理后得到的 图像将会变得越模糊。将图2 4 和图2 5 进行对比，可以发现，与均值滤波相比，中 高架道镕牖腔视频中的行 椅涮拉术研究第= 章税额序列目像中运动目标检测与提取 值滤波不但可以消除噪声，同时还能很好地保留原始图像的轮廓信息，因此课题采用 中值滤波方法对原始的视频序列图像进行滤波预处理。 幽盔趟 ( 耵原始灰度图像( 砷3 3 中值滤波效果 ( c ) 5 5 中值滤渡效果棚) 7 x 7 中值滤波效果 图2 5 不同尺寸中值滤波器处理效果图 2 2 常用的运动目标检测方法 近年柬，幽内外学者在视频图像中运动目标检测方面已经做了大量深入的研究。 目自u 运动目标检测方法主要有两种：光流法和图像差分法，下面具体分析这两种目标 检测方法的优缺点。 2 2 1 光流法 光流的概念是由g i b s o 于1 9 5 0 首先提出i ”i 。所谓光流就是图像数据中光学信息 变化过程的矢量场，一般是由相机的运动、场景中目标的运动或者这两者的共同运动 产生。它主要包含了运动物体的表面结构以及动态行为等重要信息。光流场是通过二 维图像来表示物体点三维运动的速度场。由h o m 和s e h u n k 在8 0 年代早期建立的“光 流分析法4 1 6 , 1 7 1 是数字视频处理学科中二维运动估算的重要方法，其研究的对象是二 维运动( 或称投影运动) ，即为真实世界巾的三维运动以透视或正变的投影方式在图 像平面上形成的“视在运动”，这一运动对应着图像中不同目标的相对位置的改变，也 一淄幽 高架道路监控视频中的行人检测技术研究 第二章视频序列图像中运动目标检测与提取 就对应着视频图像中前后帧相应位置灰度的改变。由于这种运动估算的“视在运动” 并非真实运动，所以光流法可以不考虑任何与图像亮度变化无关的运动。目前光流法 已经在环境建模、目标检测与跟踪、自动导航以及视频事件处理中得到了广泛的应用。 例如，m e y e r 等人通过计算光流场初始化基于轮廓的跟踪算法，有效提取出了运动目 标。 光流法具有能够在无法预先知道场景的任何信息的情况下检测到独立运动的物 体，但由于受噪声、阴影以及各种遮挡情形的影响，计算得到的光流场分布不是非常 可靠精确，同时光流法的计算过程是一个基于帧间差分的反复迭代过程，计算量非常 大、比较耗时，因此这种检测算法难以满足视频图像序列运动目标检测的实时要求 2 2 2 差分法 图像差分法是目前运动目标检测常用的方法，其主要分为背景差分法【1 8 , 1 9 和帧间 差分法【2 0 ，2 1 1 ，下面对这两种方法做具体分析。 1 、背景差分法 背景差分法是目前图像运动目标检测常用的一种方法，其基本思想是：首先由实 时获取的视频序列图像建立初始的背景图像8 ( x ，y ) ，然后将当前帧图像l ( x ，y ) 和背景 图像相减，得到差分图像，再通过设定的阈值丁对差分图像进行二值化，从而获取比 较完整的运动目标信息d ( x ，y ) 。 d c x ，y ，= 三矿i 八x ，y 姜茬x ，y ) i 丁 ( 2 5 ) 尽管背景差分法可以获取当前帧图像中比较完整的运动目标轮廓信息，但是该检 测方法的最终效果在很大程度上取决于初始构建的背景图像模型。目前初始背景建模 通常采用图像平均法，其基本原理主要通过对视频序列图像中多幅图像同一位置上的 像素点灰度值进行叠加再求平均，从而得到背景图像，计算公式如式( 2 6 ) 所示。 置( w ) 2 寺善z ( 训) ( 2 6 ) 其中，z ( x ，y ) 为t 时刻的输入图像帧，e ( x ，y ) 为建立的背景图像帧，n 表示建立 初始背景图像所需图像的帧数。图2 6 给出了当n 分别取1 0 0 和2 0 0 时，对某段交通 高颦道路监控揽频中的行 检测技术研究 第二章税额序列幽像中动目标检测与提取 视频序列图像进行背景建模的效果图 邓萝滞 ( 砷第1 0 0 帧蚓像0 ) 第2 0 0 帧图像 缈一眇一 c ) 采用1 0 0 帧进行建模( d ) 采用2 0 0 帧进行建模 图2 6 背景建模效果图 试验结果表明，随着叠加帧数的增加，建立的背景图像越接近无人进入时的真实 场景。然而，实际应用时，由于受到天气、光照变化等因素的影响，随着时间的推移 初始建立的背景图像与当前真实背景之间的误差累计会越来越大，因此在得到初始背 景的基础上还需要不断更新背景。因此有文献瞄墟出采用遗忘因子的方法来计算背景 图像，并对每一帧新的图像进行加权，对老的背景图像进行更新，从而使背景图像能 够适应周围环境的变化，以达到良好的目标分割效果。 目前背景更新方法口3 埘1 主要有基于高斯统计模型的自适应背景图像估计算法，以 及基于卡尔曼滤波器的自适应背景图像估计算等方法，但是这些方法运算比较复杂， 稳定性不高，难以在工程实践中应用。而s u r e n d r a 等人提出的背景更新算法不但速度 快，而且提取背景也比较准确。算法主要通过当前帧的图像与前一帧图像的差值来检 测运动区域，对运动区域的背景保持不变，非运动区域的背景则用当前帧进行更新。 算法的具体实现步骤如下： ( 1 ) 对视频序列中若干帧( 论文取2 0 0 帧) 图像取平均，得到初始背景b ( x ，y ) 。 ( 2 ) 令，( x ，y ) 和b ( x ，) 分别表示当前输入图像和当前背景，计算当前输入图像与 高艄路监控视频中的行 检测拄末研究 第= 章视频序列罔像中运动日标检测与提取 当日f 背景之差，得到差分阁像觑，) ，再对差分阁像进行鲥值分割，得到二值凰像 b w ( x ，y ) a 眺加船矿鼍翟” ( 2 ，) ( 3 ) 在b w o ，y ) 为。的位置，采样当日口图像：在b w ( x ，y ) 为i 的位置，采用当前 背景。这样便可以得到当前瞬时背景估( l y ) ，则更新后的背景皿( x ，y ) 可表示为： 耳k y ) = 0 1 b ( x ，y ) + ( 1 一县一，( z ，y )( 2 8 ) 式中，且一，( j ，y ) ，m ( x ，y ) 分别为当前背景和瞬时背景，a 为背景更新系数。图 2 7 中c 圈、d 图给出了当系数分别取0 2 和o g 时进行背景更新的效果图。结果表明， 当更新系数的取值较大时可能会将部分前景更新为背景。 搿萝一 ( a ) 初姑背景图像 ( 砷第2 4 0 帧图像 眇一 ( c ) 0 取0 2 时背景更新结果( d ) 0 取08 时背景更新绪果 凹27 背景更新效果圈 2 、帧间差分法 帧f b j 差分法主要通过直接比较连续两帧或三帧图像对应像素点灰度值的差异，设 定闽值提取序列图像中的运动目标区域。该方法主要分为连续两帧差分法和连续三帧 差分法。 连续两帧差分法的算法具体可以表述为：若第k 帧图像的扶度值为五( x ，y ) ，第k + 1 高架道路监控视频中的行人检测技术研究 第二章视频序列图像中运动目标检测与提取 帧图像的灰度值为五+ 。( x ，y ) ，则这相邻两帧图像之间的变化可以用一个二值差分图像 厶( x ，少) 表示： 胁川= 倍剖丘1 、o t h x , y ) e - 毗f k ( x e , y ) i 汀 ( 2 9 ) 其中t 为阈值，差分图像中像素点为1 的区域即为运动目标区域。这种运动目标 检测方法的优点是检测速度快、不易受到场景中光线渐变的影响。但是该检测算法无 法获取运动目标的完整信息，在运动实体内部容易产生空洞现象。 为了改进连续两帧差分效果，有学者提出【2 5 2 6 1 采用连续三帧差分法检测运动目 标。该算法首先计算连续三帧图像得到两幅差分图像，再将它们对应像素相乘。 设图像序列中连续三帧图像的灰度值分别为石一。( 石，y ) ，a ( x ，j ，) ，五+ 。( x ，y ) 。以中间 帧a ( x ，y ) 为参考帧，则该连续三帧间图像的差异d ( x ，y ) 可以定义如下： d ( x ，y ) = i 五( x ，y ) - f k 一。( x ，y ) l l 七+ 。( x ，y ) - a ( x ，y ) i ( 2 1 0 ) 得到差分图像后，通过设定的阈值对d ( x ，y ) 进行阈值分割，可以较好地获取运动 目标在中间帧的信息。 2 3 运动目标区域提取 检测到视频图像序列之间存在变化后，若要从差分图像中提取出运动目标区域还 需对差分图像进行阈值分割，也就是选择一个合适的阈值将图像的灰度范围划分成 目标区域和背景区域。阈值化的变换函数表达式如下： 厂= 2 。5 5 = ( 2 其中t 为阈值，当差分图像中某个像素点的灰度值大于t 时，则该像素点可被 判定为运动目标像素，反之则属于背景像素。针对不同的实际应用场景，如何选择合 适的阈值非常重要，下面具体分析几种常用的阈值选取方法。 2 3 1 自适应阈值分割法 采用固定阈值对图像进行阈值分割往往受到检测环境的影响，容易误判目标和背 景区域。而自适应阈值分割法可以克服采用固定阈值分割法的不足，提高运动目标检 1 4 高架道路监控视额中的行人检i i 技术研究 第一章视频序列图像中运动日标检测与提取 测的鲁棒性。这种方法通常选择差分图像灰度值的均值作为阈值。设f ( i ，) 为差分图 像中某像素点( n 处的灰度值。m 和n 分别为图像的高度和宽度，则该差分图像进行 闽值分割时选择的闽值a v e r 为； 2 去丢丢，( f 川 旺。1 2 若f ( i ，j ) l a t e r ，则该像素点被标记为运动点。 2 3 2 直方圈双峰分割法 直方图双峰分割法是图像闽值分割中常用的方法之一。图像的灰度直方圈反映了 图像中每种扶度级出现的频率，其横坐标代表图像中出现的各个灰度级，纵坐标表示 各灰度级出现的频率。当图像中的背景区域和目标区域非常容易区分时，图像的灰度 直方图将呈现为双峰状，如图2 8 中( c ) 图所示。此时可以选取位于双峰之间最低 谷的灰度值作为图像阀值分割的闽值，从而提取出图像中的目标区域。试验选取的阈 值为1 2 5 ，对图2 8 中( a ) 图进行阈值分割后得到的结果如b 圈所示。但在实际应用 时，图像的灰度直方图可能会呈现单峰或者多峰形状，因此能否采用这种阈值分割方 法还要取决于实际的检测环境。 1 ( a ) 原始图像 ( b ) 双峰j 击闽值分割结果 _ ： “) 原始图像灰度直方图 图2 8 取峰分割法触果图 2 3 3 最大熵分割法 熵是信息论中的一个重要概念，主要反映了随机变量的平均小确定性。若一个随 机变量x 的概率密度函数为尸( z ) ，则变量x 的熵定义为： h ( x ) = 一p ( x ) l 0 9 2 p ( 砷 ( 21 3 ) 高架道路监控视频中的行人检测技术研究第二章视频序列图像中运动目标检测与提取 将信息熵应用于运动目标检测就是通过熵的概念来选取一个合适的阈值将差分 图像分割成目标区域和背景区域。选择不同的阈值进行图像分割，最终得到的目标和 背景区域的总信息量也将不同，使得总信息量最大的阈值便是分割效果最好的阈值。 假设图像灰度的后验概率为： 只= 卓l 扛1 ，2 ，a ，三 ( 2 1 4 ) 惕 式中吩代表灰度值为i 的像素个数，b 为该灰度级的概率。假设阈值为t 时图像 灰度可被分为目标和背景灰度，此时若定义： 互= b ( 2 1 5 ) 则此时图像的目标灰度分布为： i p l ，i p 2 ，人，鸶，背景灰度分布为： 芒鸶，芒鸶，人，尚。由此可以得到目标熵h ( 。) 和背景熵日( b ) 分别为： 即) = 芝i = l 铷i - d t 等 ( 2 1 6 ) 厶f 日( 曰) 一川 一p j q i n 一p s 乏 2 1 7 ) 此时整个图像的熵矽( ，) 为： ( ，) = 日( + ( 功 ( 2 1 8 ) 使得( ，) 达到最大时的t 即为阈值。最大熵分割法对不同目标大小和信噪比的图 像均能产生很好的分割效果，但是由于这种算法计算量非常大，运算速度慢，实时性 不太理想。 2 3 4 最大类问方差法 最大类间方差法是e h 日本学者大津于1 9 7 9 年提出【2 7 1 ，又称为大津法。它主要依据 图像的灰度特性，将图像分成背景和目标两部分。背景区域和目标区域之间的类间方 差越大，则说明构成图像的这两部分的差别也就越大。部分目标被误判为背景或者部 分背景被误判为目标时都将会导致这两部分的差别变小，因此使得类间方差最大的阈 1 6 高架道路监控视频中的行人检测技术研究 第二章视频序列图像中运动目标检测与提取 值分割意味着误判的概率最小。算法具体如下： 如果图像的灰度级为l ，灰度值为i 的像素点的个数为啊，则图像的总像素数n 为： 各灰度级出现的概率为： l = 吩 ( 2 1 9 ) ，= 1 只= 万n i ( 2 2 0 ) 假设取灰度值t 作为阈值可将图像分为目标a 与背景b 两个区域，则这两个区 域的概率分别为： 七 w a = 只= w ( ，) ( 2 2 1 ) 工 = a = 1 - w ( t ) j = 七+ l a 、b 区域的平均灰度分别如下： 约= 铬 ( 2 2 2 ) ( 2 2 3 ) 儿= 篇 ( 2 2 4 ) 其中为图像盼平均灰度， = e l a ( 2 2 5 ) 则a 、b 这两个区域的类间方差可表示为： t l r 2 = w ( o a - j u ) 2 + ( 1 一w o ) ) ( 觞一) 2 ( 2 2 6 ) 计算当t 从1 到l 取不同数时的类间方差，使得类间方差最大的t 即为阈值。这 种阈值分割方法不需要任何先验知识，具有较强的自适应性，并且算法也容易实现、 运算速度快，因此实