（控制理论与控制工程专业论文）运动人体的检测、识别与跟踪技术的研究.pdf

上海大学硕上学位论文 摘要 运动人体检测、识别和跟踪技术是人体运动分析的重要内容，也是计算机 视觉研究的重要领域之一。它在智能监控、虚拟现实、人机交互、辅助临床医 疗诊断等领域均具有广阔的应用前景和经济价值。近年来，随着中国城市化建 设不断深入，大型城市( 如上海，北京，广州) 的人口呈爆炸式增长，随之而 来的交通压力也日益增大，矛盾日益突出。本文主要是针对城市交通环境下如 何保障行人交通顺畅和出行安全等问题，研究了摄像机静止情况下基于单目视 觉的运动人体检测、识别和跟踪方法，详细介绍了从复杂场景中分析行人运动 的算法研究和编程实现的过程。 论文的丰要工作包括： 1 运动物体检测与识别方面，提出了一种改进的背景模型初始化方法。当 图像序列中存在运动物体时，改方法能够快速准确的提取出背景模型。 在发生光线渐变的情况下提出了一种改进的背景模型更新机制；在发生 光线突变的情况下采用边缘检测方法有效处理由于大面积背景变化而 带来的噪声干扰。然后综合运用数学形态学方法、连通区域检测法和人 体特有的特征值法，得到良好的前景运动人体图像。 2 运动人体跟踪方面，提出了一种基于特征和区域相结合的匹配跟踪法。 该方法以提取人体的特征开始，人体特征的选用标准是具有抗噪声、鲜 明的对比性以及合适的大小等特点，定义明确的约束条件以减小无用的 匹配区域提高匹配效率，利用两个目标特质的相似程度进行匹配，从而 完成跟踪。同时引入灰色模型预测行人的运动，提高系统的实时性能。 3 运用v i s u a lc + + 软件在w i n d o w s 平台上建立运动人体检测、识别与跟踪 整套软、硬件实验系统。基于微软m f c 开发类库，进行多层次模块式 软件研发，将多个功能模块集成于一个友好的用户界面下。最后将课题 涉及的图像处理、模式识别等领域的数学处理方法编程实现，得出试验 结果。 关键词：背景模型光线变化人体检测人体跟踪特征选择 v a b s t r a c t t h ed e t e c t i o na 1 1 dt r a e k i n go fh u m a nm o t i o n si sk e y t ot h ev i s u a la n a l y s i so f h 啪a nm o v 锄e n t i ti sa l s oo n eo fi m p o r t a n tf i e l d st oc o m p u t e rv i s i o n sr e s e a r c h i t i n v 0 1 v e sw i d ea p p l i c a t i o nf o r e g r o u n da n dg r e a te c o n o m i cv a l u ei ns m a r ts e c u r i t y s u r v e i l l a n c e a d v a n c e du s e ri n t e r f a c e ，t h ed e t a i l sa n a l y s i so f h u m a nm o v e m e n t ，e t c t h i sd a p e rp r e s e n t sas y s t e mo fh u m a nd e t e c t i o na n dt r a c k i n g t h es y s t e m c o n s i s t so ft h r e ep a r t s ：m o t i o no b j e c td e t e c t i o n ，h u m a nr e c o g n i t i o n a n dh u m a n m o t i o nt r a d ( i n g ，w h i c hc o u l da n a l y z ea n dd e a lw i t ht h ei m a g es e q u e n c eg a t h e r e d 劬maf i x e dc a m e r a , r e c o g n i z ea n dk e e pt r a c k i n go fh u m a n m o t i o n t h em a i nw o r ko ft h i sa r t i c l ei n v o l v e s ： 1 r e s e a rc _ h i n go nt h eb a c k g r o u n d i n i t i a l i z a t i o nt e c h n i q u e o f b a c k g r o u n d s u b t r a c t i o n t h i sw o r kr a i s e da ni m p r o v e dm e t h o do fb a c k g r o u n ds u b t r a c t i o n t h i sw o & m n sas t a t i s t i c a lp r o c e s s i n gt oa n a l y z et h ei n f o r m a t i o n o fp i x e l s t h e n c h o o s et h eo n ew h i c ho w n st h eh i g h e s tp r o b a b i l i t ya sb a c k g r o u n di n f o r m a t i o n - a f t e ro b t a i n i n gt h eb a c k g r o u n di m a g e ，i tp r o c e e d st os e g m e n t t h em o v i n go b j e c t s b vc a l c u l a t i n gt h ed i f f e r e n c eb e t w e e nt h ec u r r e n ta n db a c k g r o u n d 2 i nh 哪a nt r a c k i n gs e c t i o n ，t h i sp a p e rc o n s t r u c t e dac u b i cn o n l i n e a rr e c o g n i t i o n r e l i a b i l i t yf u n c t i o n ，a n dam a t c h i n g m e t h o db a s e do nm u f t i 。c h a r a c t e ri sp r o p o s e d t o 仃a c k i n gh 啪a nm o v i n g v 、f h e np e o p l em u t u a l l yo c c l u d ef o r m i n gg r o u pa n d t h c i ls p l i t ，t h e d i v i s i o n a lb l o c kg r e ys t a t i s t i c a l g o r i t h mi su s e dt om a t c hh u m a n b a s e do nt h e i rg r e yf e a t u r e ，r e s o l v e st h ep r o b l e mt om a t c hh u m a n b e f o r ef o r m i n g g r o u pa n da f t e rg r o u ps p l i t t i n g ，a n da c h i e v e s s a t i s f i e dr e s u l t s 3 。as v s t e mo fh u m a nd e t e c t i o na n dv i s u a lc + + 6 0i sd e s i g n e d i th a sa t r a c k i n g 衔e i l d l vb a s c do ni n t e r f a c em u l t i f u n c t i o n a lm o d u l e sa r ei n v o l v e d t h ei n v o l v e d k n o w l e d g eo fi m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o nc a n b er e a l i z e d k e y w o r d s ：b a c k g r o u n dm o d e l ，i l l u m i n a t i o nc h a n g e ，h u m a n m o t i o nd e t e c t i o n ， h u m a nm o t i o nt r a c k i n g ，c h a r a c t e rc h o o s e v i 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 签名：侄以翟日期 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：僵丛丕导师签名：堇二垡二日期： i i 上海大学硕士学位论文 1 1 选题的背景和意义 第一章绪论 人类通过眼、耳、鼻、身体等接受信息，感知世界，并进而认识世界和改 造世界。图像是二维或三维景物呈现在人心目中的影像。人类视觉对外界信息 模式具有特殊的识别能力，能够自觉实现基于模式比对的组合和联想判定，所 以模式识别能力是人类智能的一个重要组成部分。如果接受并加工这种视觉信 息的是计算机，则称之为计算机图像处理和识别。 计算机的出现，使得人们试图通过数字设备获取环境图像，从而利用计算 机代替大脑实现对视觉信息的处理。但是计算机对外部世界的感知能力还远不 能与人类视觉相比，这已成为开拓计算机运用的瓶颈，也与其强大的运算能力 形成了强烈的反差。为了使计算机系统具有模拟人类通过视觉接受外界信息、 识别和理解周围环境的感知能力，代替或协助人类的感知模式，就诞生了计算 机视觉这门崭新的学科。计算机视觉的研究开始于6 0 年代初，但在计算机视觉 的基本研究中的许多重要进展是在8 0 年代取得的。计算机视觉的挑战是要为计 算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图像信号， 纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统应 该把所有这些处理都紧密地集成在一起。计算机视觉的挑战是要为计算机和机 器人开发具有与人类水平相当的视觉能力。 人体运动的检测、识别与跟踪技术属于计算机视觉的内容，但是该课题又 是以数字图像处理为基础，内容涉及数字图像处理、模式识别、计算机视觉、 人工智能等诸多领域和学科。作为一个跨多学科的研究课题，其本身就存在很 大的挑战性，同时由于计算机视觉领域还远没有成熟，并且需要直接面对复杂 的外界环境，这些都给人体运动的检测、识别与跟踪的研究带来了许多挑战， 这也是本文为什么要进行这方面内容研究的背景和原因。 本文研究的人体运动的检测、识别与跟踪技术是计算机视觉领域的研究热 点之一。它是从图像序列中提取并描述人体轮廓的运动，然后进行跟踪，更高 上海大学硕士学位论文 级的处理是对人的行为进行识别和理解。它在视频会议、医疗诊断、高级人机 交互、小区、超市、银行等地带的安全监控，游戏动画中人的虚拟现实及基于 内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值晗3 。 人体运动的检测、识别与跟踪这一课题主要应用于智能视频监控领域。通 过实时地观测被监视场景的运动目标，如人或车辆等，分析描述他们的行为， 节省了大量的人力物力。更重要的是，有些场合由于客观原因，人类可能不方 便或者根本不可能亲自到现场进行查看，这时只有通过其他方法，如用计算机 进行实时监视来完成需要的工作。这项技术研究内容丰要涉及到运动目标检测 与提取、运动人体识别、运动人体跟踪、运动分析与运动理解、视频认证等方 面的内容。因此研究智能视频监视技术有着重要的理论意义，而人体运动的检 测与跟踪则是智能视频监控中的重要组成部分。 1 2 国内外研究现状 1 2 1 运动人体的检测 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。由于 后续的识别和跟踪处理对象仪考虑其中的运动区域，因此运动区域的分割质量 直接影响到后续的跟踪和识别效果。复杂多变的场景给检测的鲁棒性提出了挑 战，如光照、纹理的改变，影子及混乱的干扰。下面列出了目前几种常用成熟 的检测方法。 1 背景减除法 背景减除拈，4 ，踟法是目前最常用的方法，它是利用当前图像与背景图像的差 分来检测运动区域。即将每一帧图像与事先存储的背景图像相减，若差值大于 某一阈值就判为出现运动目标，相减的结果直接得到运动目标的位置、大小、 形状等信息。它的优点是简单，但对动态场景的变化( 如光照) 等过于敏感，通 常用于简单的均匀或静止背景中。减少动态场景变化的影响，建立有效可靠的 背景模型是当前研究的问题之一。最简单的背景模型是时间平均图像，大部分 的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运 2 上海大学硕上学位论文 动分割的影响。常用方法有阈值法、帧差分、纹理斑点分割法，红外线背景照 明法，立体深度减除法，基于卡尔曼滤波的自适应背景模型等。 一种改进的阈值法盯1 是采用双阈值方法。这种自适应阈值的选择算法，克 服了单阈值中阈值过高不能完整分割出目标，过低会产生大量的无关噪声( 如影 子) 等缺陷。m c k e n n a 陋3 等利用像素色彩和梯度信息相结合的自适应背景模型来 处理影子和不可靠色彩线索对于分割的影响。k a r m a n a 与b r a n d t h l ，k i l g e r 喳1 采用基于卡尔曼滤波器( k a l m a nf i l t e r i n g ) 的自适应模型以适应天气和光照的 时间变化。 2 统计学方法 统计学方法是基于像素的统计特性从背景中提取运动信息。它首先计算背 景像素的统计信息( 颜色、灰度、边界等) ，使用个体的像素或一组像素的特征 来建立一个较为高级的背景模型，而且背景的统计值可以动态地更新。通过对 比当前背景模型的统计值，图像中每一个像素被分成前景或是背景。由于统计 学方法在噪声，影子光线改变等于扰条件下具有较好的鲁棒性，已经成为研究 热点。 s t a u f f e r 和g r i m s o n 3 的文章提出了一种实时跟踪中运用自适应背景混合 模型来检测背景图像的方法。在这种方法中，他们为每一个像素建立一个混合 高斯模型，并且用在线估计对它进行更新，并且运用自适应混合模型的高斯分 布来评估并决定该像素是前景还是背景，可以有效的处理光线变化和背景混乱， 设计出了一整套可靠、实时性强的室外跟踪系统。 h a r i t a o g l u 陋1 的文章同样建立了统计模型。他是通过计算每个像素点所具 有的3 个值：最小强度、最大强度和在训练期观测到的连续帧之间的最大强度 差分值来描述每一个像素，背景模型参数可以周期性地更新。 林洪文阳3 利用统计学的方法获得背景模型，实时地对背景模型更新以适应 光线和场景自身的变化，用形态学方法和检测连通域面积的方法进行处理，消 除噪声和背景扰动带来的影响，在h s v 色度空间下检测阴影，得到准确的运动 目标。 基于统计的方法由于涉及大量计算和变换，对现有的硬件设备要求较高， 3 上海大学硕士学位论文 成为其制约因素。但随着计算机运算能力的日益增强，问题有望得到改善。 3 帧间差分法 时间差分方法是将连续的图像序列中的两幅图像( 时间间隔) 的像素灰 度值相减并且阈值化来提取图像中的运动区域。一种改进的方法是利用三帧差 分代替两帧差分，如v s a m n 叫中开发的方法及v i e r e n c m 采用的方法。差分运 动检测方法能够快速有效地从背景中检测出运动目标，但是对运动物体的速度 较敏感，速度太快或太慢都会引起检测结果出错，一般不能完全提取出所有相 关的特征像素点，在运动目标的二值图像内部容易产生空洞现象。 4 光流法 光流是图像中各像素点运动的速度分布，它是一种瞬时速度场，即向量场， 每一个向量表示了景物中一个点在图像中位置的瞬时变化。光流法利用运动目 标在图像序列间也即随着时间而变化的特性，通过计算帧间像素的位移来提取 人的运动。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动 目标。然而，光流计算方法也存在计算量大、反应速度慢、抗噪性能差等不足。 l w i x s o n 2 1 检测物体的运动特征点，通过计算“方向一致性光流 进行运 动检测。文献 1 3 用光流方法，从运动速度上区分不同目标与背景。吴芳n 4 1 采 用加约束的梯度模板从序列图像中抽取光流场，并结合区域合并算法、区域连 通算法或聚类算法，自动筛选出光流较大的运动目标区域并计算出运动目标的 速度矢量，从而实现复杂背景下单个运动目标的跟踪。但多人且有互相遮挡的 情况未予以考虑。 1 2 2 运动人体的识别 运动检测的结果是把运动的前景区域提取出来，由于智能监控系统要对人 体的运动加以跟踪，所以必须识别前景运动物体中的人体。当图像序列中存在 除人以外的运动物体时( 如车辆、动物或是树叶的抖动) ，还需要将运动目标进 行分类，把人从运动物体中识别出来。只有正确地识别出人体才能进行下一步 的运动跟踪工作，以及后续的人体行为理解，所以运动物体的分类是非常必要 的。一般可用形态学方法进行处理，考虑运动目标的分散度、面积、轮廓、高 4 上海大学硕士学位论文 宽比等有关形态方面的参数，来区分人以外的运动目标，通过这些方法甚至可 以去除部分噪声的影响。 1 基于人体特征的分类方法 人不管外形特征还是皮肤颜色都是明显的，所以人的分类可以采取多种方 法。基于形状的分类是利用检测出来的运动区域的形状特征信息来进行物体分 类的。通过检测模块得到一个二值化的前景图像，对这个前景图像进行横向和 纵向的投影可以得到横向和纵向的长度比，通常称之为“宽高比”。通过多个人 的样本训练可以得到一般人体的“宽高比 ，这个“宽高比 作为人体特有的特 征，可以用于确定检测出的运动目标是否为人体。这个人体特有的特征也可以 是人体的“面积 ，它指的是在通过检测模块得到二值化的图像中人体所占像素 的多少，通过面积的比较，可以除去一般情况下面积较大的运动的汽车、动物、 以及摆动的树叶。另外的一些属于人体特有的特征还可以是人的皮肤颜色，因 此可以通过识别人脸裸露的皮肤来确定是否有人的存在，这通常需要在色彩空 间如r g b 空间、h i s 空间或y u v 空间来进行检测与识别。 v s a m n 伽采用区域的分散度、面积、宽高比等作为特征，利用三层神经网络 方法将运动目标划分为人、人群、车和背景干扰。l i p t o n 等6 1 利用分散度和面 积值，对一维运动区域进行分类。主要是区分人、车及混乱扰动，时间一致性 约束使其分类更加准确。k u n o 与w a t a n a b e n 6 1 使用简单的人体轮廓模式的形状参 数从图像中检测运动的人。 2 基于运动特性的分类方法n 力 基于运动的分类是利用人体在稳定地行走或奔跑时表现出的人体姿态的周 期性变化，可以利用人体运动的这一特性识别人体的存在。若物体在t 时刻的状 态为x o ) ，若存在一个常数尸使：x ( t + 尸) = x ( t ) + 丁( f ) ，其中t ( t ) 为平移量，那 么这个最小的时间间隔尸就是这个物体的运动周期。人体在稳定运动时的姿态， 以人的中轴为坐标轴，人体的对称性呈周期性变化。可以利用这一特性在时域 构造时间自相似矩阵。人的周期性运动反映出不同于其它物体运动的性质，可 以利用这种时域频率的方法把运动人体识别出来。 5 上海大学硕士学位论文 1 2 3 运动人体的跟踪 跟踪即建立观察对象的位置、速度，形状等有关特征与图像序列之间的对 应匹配问题。目前就跟踪的对象而言有跟踪头、手等身体部分与跟踪整个人体， 就跟踪视角而言有单摄像机单视角、多摄像机多视角、全方位摄像机全景视角。 本文仅讨论固定机位，单摄像机条件下整个人体的跟踪方法。 1 基于模型的人运动跟踪 基于模型的人运动跟踪方法首先预定义一个模型，然后再将实际运动与该 模型匹配。模型通常由关节和线条骨架组成，用轴来表示状态空间中的关节自 由度，用状态空间来描述姿态。其原理是先预测下一图像的姿态再将这一预测 模型分析、合成、抽象然后与真实图像数据比较，直到找到最匹配的模型，并 且更新系统模型。根据人体模型的不同可分为以下3 种羽： ( 1 ) 线图法。由于人的运动主要是骨骼的运动，因此可用线段来描绘人体 的各部分。 ( 2 ) 二维模型法。即将人的肢体用一组连接的平面区域来表达，该区域的 参数化运动关节运动的约束，主要用于关节运动图像的分析。 ( 3 ) 立体模型法。即利用圆锥、圆柱、球体等立体图形来描述人体，人就 是由这些立体模型组合起来的。 2 基于区域的人运动跟踪 该方法将人体头、躯干、四肢等身体部分用对应的小区域块来表示，通过 跟踪这些小区域块完成对人体的跟踪。该方法对运动目标的影子及互相遮挡的 问题难以处理，但可以借助色彩和纹理信息等加以改善。w r e n 等n 钔利用小区域 特征进行室内单人的跟踪，文中将人体看作由头、躯干、四肢等身体部分所对 应的小区域块所组成，利用高斯分布建立人体和场景的模型，属于人体的像素 被规划成不同的身体部分，通过跟踪各个小区域块来完成整个人的跟踪。 3 基于活动轮廓的人运动跟踪瞳呲2 1 该方法的思想是用封闭的曲线轮廓来表达运动目标，并且在跟踪中自动更 新。相对于基于区域的跟踪方法，该方法减少了计算复杂度。如果在跟踪初始 阶段没有遮挡的情况下能够实现轮廓的初始化，后来即使出现遮挡也能跟踪住 6 上海大学硕上学位论文 目标，但初始化通常比较困难。 4 基于特征的人运动的跟踪 基于特征的跟踪包括特征提取和特征匹配两个基本过程。该方法通过跟踪 目标的特征点、特征线来实现对人的跟踪，通常还需要结合文理、色彩及形状 特征来提高跟踪的鲁棒性。如p o l a n a 与n e s o n 乜1 1 的文章将每个行人用一个矩形 框封闭起来，封闭框的质心被选择作为跟踪的特征；在跟踪过程中若出现两入 互相遮挡时，只要质心的速度区分开来，跟踪仍能被执行。另外t i s s a i n a y a g a m p 和s u r e r d 2 4 的文章中，物体由关键特征点来描述，这些关键点是运动轮廓的 角点( c o r n e rp o i n t ) ，通过跟踪角点来跟踪人的运动。 尽管对目标跟踪的算法可以粗略地分为上述几类，但是这些方法并不是孤 立没有联系的。在进行目标跟踪时，为了保证跟踪的可靠性和准确性，往往几 种算法混合才能得到更好的跟踪效果。 1 3 人体运动分析研究所面临的困难及其技术难点 尽管许多学者已经进行了有益的尝试，但是由于行人运动的复杂性和不规 则性，使它很难用一个统一的方法进行研究。许多方法和模型或是过于简单而 不能普遍采用，或是过于复杂难以在实际中进行应用乜5 1 。行人运动跟踪和分析 还需要不断发展。目前存在的主要问题有： ( 1 ) 运动人体检测、识别与跟踪还没有通用的方法，通常是在受限的条件 下，针对特定的环境设计相应的检测方法。如人体运动期间不被遮挡、 背景相对简单、摄像机静止不动等。 ( 2 ) 复杂背景下对运动人体的检测，由于受周围环境影响较大，通常对外 界干扰无能为力。当行人所穿衣服颜色与背景着色相似或背景光线变 化较大时，很难从背景中分割出运动的人体。 ( 3 ) 复杂背景下对人体运动的深入分析，一般通过对人体进行建模来完成， 只能处理单个人体的运动，且测试条件比较苛刻，系统复杂。 ( 4 ) 单幅图像处理难以实现对人体的可靠检测，因而必须对序列图像进行 处理，需要存储和处理的数据量大，且系统的实时性能很难保证。 7 上海大学硕上学位论文 ( 5 ) 行人检测与跟踪技术涉及到多种学科的知识，包括计算机视觉、图像 处理、模式识别、人工智能等，如何将它们相结合也是值得深入研究 的问题。 主要技术难点在于： ( 1 ) 行人轮廓大小、衣服的颜色和纹理等外表特征随穿着天气变化以及其 他外界条件变化而变化，有很强的易变性。因此，在复杂场景中快速 准确地分割出运动人体变得十分困难。 ( 2 ) 由于人体是非刚性物体，所以它并不满足传统运动分析算法中的刚体 运动假设，对它的运动描述非常困难。即使可由物理模型来描述，也 同样受到模型复杂且不统一的限制。 ( 3 ) 人体运动比较灵活，其行为的任意性和随机性使得在复杂交通环境难 以准确得到行人的运动轨迹。 ( 4 ) 复杂场景中如何解决行人与行人之间、行人与其他运动目标、行人自 身的遮挡问题，以及建筑物、运动或停留的车辆、自行车、路标、信 号灯等对行人检测的影响。 以目前的研究现状和技术水平，实现通用的行人运动检测、识别与跟踪系 统还不现实，因此解决一定限定条件下或某种应用背景下的行人运动检测与跟 踪问题仍将是该领域研究的主要课题。根据课题研究的实际需求和开发难度， 本文研究的是在摄像机静止条件下，以城市道路交通环境为背景的行人检测、 识别与跟踪技术，对视频图像中的运动行人进行有效地检测与识别跟踪，解决 当前交通监控系统中存在的部分问题并为以后的研究打下一定的基础。 1 4 本文主要研究内容及各章内容安排 本文针对固定机位单摄像机的情况研究了视频序列中的运动人体的检测、 识别与跟踪技术。首先利用统计相邻帧差的方法建立初始背景模型，并针对复 杂背景变化特别是光线的渐变和突变，结合背景减除及帧间差分方法提出了一 种基于模型的自适应更新算法，来实现人体目标的检测。但是初始数据中的噪 上海大学硕士学位论文 声( 离散的噪声前景点和目标区域中的小孔洞等) 会给目标区域检测带来不良影 响，通过形态学运算来进行去噪处理，利用腐蚀和膨胀算子分别去除孤立的噪 声前景点和填补目标区域的小孔。在目标分类方面，通过检测目标的面积及宽 高比来识别出人体目标。在跟踪方面，采用基于运动目标的质心、速度、运动 方向、宽高比多特征参数的方法和具有更新特性的灰度模型，实现对人体目标 融合、分裂、消失等几种可能情况下的跟踪。 运动目标检测、识别、跟踪的算法研究是基于以下的几个前提条件和假设： 统计假设。假设目标在相邻两帧的很短的时间间隔内( 3 3 m s ，以3 0 帧秒为例) 变化较小，相邻两帧的目标特征向量具有可比性。 运动假设。由于目标的运动是有规律的，其轨迹具有一定的方向性， 是可预见的，因此，相邻两帧之间的目标形心的距离在有限的范围 内。 统计假设。目标满足非刚性假设条件。在图像序列上观测目标形状 虽然会变化，但实际目标的轻微扭曲变形可以忽略，剧烈的扭曲如 人体摔倒暂时不在考虑范围。 本文构建的人体运动的检测、识别与跟踪系统包括背景模型初始化、前景 运动物体检测、人体识别、人体运动跟踪等几个功能模块。系统的组成结构和 功能如图卜1 所示。 9 上海大学硕七学位论文 图1 - 运动监控系统结构和功能框图 本文的章节安排如下： 第一章绪论。阐述了本课题的研究背景和研究意义，叙述了当今国内外运 动行人检测技术的发展现状及存在问题，介绍了本文的主要工作和论文章节安 排。 第二章运动人体的检测与识别。针对复杂城市交通环境，研究了基于单目 视觉的运动行人检测方法。采用背景差分法有效地检测运动行人：首先通过自 适应背景提取方法快速提取背景图像，用动态多阈值方法二值化差分图分割运 动行人，并采用数学形态学运算对所得的二值化图像进行处理，有效地抑制差 分图像算法引起的噪声，以实现对行人的精确分割。根据提取的目标的特征信 息，结合多种特征初步判断行人的存在信息，进行行人初始检测，判断检测到 的是否为行人，在初始检测的基础上进行行人定位和运动状态判断，得到行人 的准确信息。 第三章基于特征参数的运动人体的跟踪。研究了复杂城市交通坏境下运动 行人的跟踪方法。行人识别和匹配过程中，根据行人多种简单特征建立行人匹 配模板，在图像序列中对检测到的目标进行识别和匹配，从而建立目标链，对 行人运动进行预测过程中，引入灰色预测模型，适应行人运动灵活多变的特点， 实时跟踪行人运动状态的变化，缩小行人检测时的感兴趣检测区域，减少行人 l o 上海大学硕：i = 学位论文 检测的时间，提高系统检测的速度和精度，选择人体跟踪窗口的对角点作为跟 踪的特征点，防止人体自运动对跟踪的影响。最后讨论了如何利用这些得到的 参数值提取有用的交通信息。 第四章运动行人检测与跟踪系统设计。设计了一个基于单目视觉的运动人 体检测、识别与跟踪系统，详细介绍了系统的组成和原理、软件体系结构以及 程序设计。经过计算机实时采集仿真处理及阶段性试验验证了系统的工程实用 价值。 第五章对比实验结果，得出结论。 第六章总结和展望。对论文工作进行了系统总结和概括，并对进一步的研 究提出了合理建议。 上海大学硕士学位论文 2 1 引言 第二章运动人体的检测与识别 如果在图像采集装置和被摄场景间有相对运动的情况下采集一系列图像， 则其中存在的运动信息将可以帮助实现对图像的分割。视频图像中包括前景图 像和背景图像两部分，它们在不同的问题中有不同的涵义晗6 。2 7 1 。在行人运动检 测、识别与跟踪问题中，前景即指运动的行人。所以，运动行人检测问题，就 是在图像序列中将运动的行人从背景中提取出来。行人检测是对行人进行识别 与跟踪的基础，该阶段处理结果的质量直接影响到以后处理的效果，所以运动 行人检测对后续的行人跟踪和行为理解起着非常重要的作用。现有的运动行人 检测系统很多是采用双目或三目视觉乜争删，这种方法对中短距离检测比较有效， 但这样的系统计算量大，实时性差，软硬件成本高。而对于车辆辅助导航以及 简单的交通监控应用来说，并不需要建立整个三维世界环境的模型，因此本文 中研究的运动行人检测技术为基于单目视觉系统的方法。 本章的核心思想是采用背景差分有效地检测运动人体。首先通过自适应背 景提取方法快速提取背景图像，在差分图像的基础上，结合直方图自动阈值分 割和数学形态学运算提出了运动人体精确分割的算法，有效地抑制了差分图像 算法引起的噪声，并且能够填充分割中运动行人图像的断裂部分，提取出行人 完整的轮廓。根据提取的目标的特征信息，结合多种特征初步判断人体的存在 信息，进行行人初始检测，判断检测到的是否为行人，在初始检测的基础上进 行行人定位和运动状态判断，得到行人的准确信息。试验结果表明该方法能够 自动、快速、准确的检测到监测场景中运动的行人。 图2 - 1 是运动人体检测与识别部分的系统框图。 1 2 上海大学硕七学位论文 图2 1 运动人体检测与识别部份的系统框图 2 2 运动目标的检测 一个理想的运动目标检测方法应该能够适用于各种环境，在各种天气条件 下应是鲁棒的。它应该具有以下的特征： ( 1 ) 对环境光线的变化应是鲁棒的：能够适应场景中个别物体运动的干扰， 如树木的摇晃，水面的波动。能够处理杂乱无章的大面积区域的各种 运动，以及视场内目标的叠加。 ( 2 ) 前景孔洞问题：当一个色彩均匀的目标运动时，其内部的像素不被检 测到。、 ( 3 ) 目标丢失问题：一个运动目标长期停止在场景中，而成为背景图像的 一部分。 ( 4 ) 阴影问题：目标的阴影也会成为前景目标的一部分。 人们总是希望能得到完美的方法能适应各种情况，但实际应用中这是很困 难的，因为不但要考虑算法的鲁棒性，还要考虑复杂度、实用性以及是否有相 应的硬件支持。而实际应用往往是这些条件的折中方案，目前的运动目标检测 算法通常是针对某一种或几种情况考虑的。 在运动目标检测方法中，还有单摄像头、多摄像头、全景摄像头，静止和 运动摄像头之分。本文研究的是静止单摄像头条件下的运动目标检测与跟踪。 以背景减除法为基础，结合帧间差分，提出了一种有效的运动人体检测方法。 背景提取阶段，设计了统计相邻帧差分的方法建立初始背景模型，用当前帧与 背景相减来检测运动人体，并用一种新的背景更新算法对背景模型实时地进行 更新，以适应光线的缓慢变化。用p r e w i t t 算子提取图像的边缘信息来适应光 1 3 上海大学硕士学位论文 线的突然变化。 2 2 1 背景模型初始化 国内外研究文献中提出多种初始背景模型提取的方法口卜3 射，有的用第一帧 直接作为背景，有的用前几帧图像像素平均值的作为背景，还有的使用不含有 前景运动物体的一段背景图像序列来估计背景模型的参数： 样本均值估计： 1 、n ， 2 一n 毫x i ( 2 1 ) 样本方差估计： 厂矿一 仃2 著( x i - z r ( 2 2 ) 由均值和方差盯2 组成的具有高斯分布的图像作为初始背景模型。这种传 统方法的优点是估计的背景准确，并且可以快速地得到所需的背景模型，但是 该方法需要有一段没有前景运动区域存在的图像序列，在实际应用中可能很难 得到这样的图像序列。 本文用统计相邻帧差的方法建立初始背景模型，对文献 1 中的方法进行了 改进，可以在场景中存在运动目标的情况下提取出背景图像。此方法基于这样 的假设：在背景模型提取阶段，人体不会长时间停留在场景中某一位置上，而 必定会移开使背景显露出来。由于视频序列记录了视频目标在一段时间内的运 动的变化信息。因此，理想的视频分割方法是在较长的时间范围内对数据进行 分析并且充分利用帧间的相关信息。基于这一思路，本文对各个像素点沿时间 轴的变化规律进行分析，根据统计规律在序列中挑选合适的点对背景进行恢复。 定义视频序列像素点灰度值为i ( x ，y ，f ) ，x ，y 表示空间坐标，f 表示帧数视 频帧差c m d ( c h a n g i n gd e t e c t i o nm a r k ) 代表相邻之间像素值( 灰度值) 的变 化。 1 4 上海大学硕士学位论文 c n z q y ( f ) = d , f f ( d r ) ，d = i ，( x , y , i + 1 ) 一，( z ，j ，f ) i ( 2 3 ) 式中，d 代表相邻两帧的像素值的差，阈值t 被用来去噪声。 静止分鼍表示无运动物体出现 图2 2 灰度帧差沿时间轴变化的函数图 挑选时间最长的静止分段s x ( f ) ，如图2 2 中的第二段空白阶段。通过计算最长 时间分段中像素的平均值： b 口以g r o u n d ( 五力5 专蔷s r a x ( d ( 2 4 ) 得到该像素在初始背景模型的像素值。 2 2 2 前景运动区域检测 在前景运动物体检测和去噪声后，就可以得到背景和前景运动物体的二值化 映射图。二值化前景区域f o r g r o u n d ( x ，y ，f ) 可用下式求出： f o r g r o u n d ，常裟三篡嬲 亿5 ， ( f = ii ( x ，y ，i ) 一b a c k g r o u n d ( x ，y ，f ) i ) 式中，是当前图像帧与背景模型之间用减法运算得到的灰度差值，t h r e s h o l d 为 固定阈值，用来进行二值化分割。 上* 大学硕学位论文 灰度差值大于等于7 h r e s h o l d 该像素设置为“2 5 5 ，即灰度图像中的白色， 代表目标区域；灰度差值小于t h r e s h o l d 该像素设置为0 ，即灰度图像中的 黑色。 工三三 f ，_ 一 如 ( c ) 第2 0 帧 ( b ) 第1 5 帧 ( d ) 阐值为8 e ) 刚值为1 5( f ) 闽值为2 3 幽2 3 使用闽值法目标检测后二值化结果 如图2 3 所示，当检测运动人体时，设置不同阈值将导致处理结果的巨大不 同。图2 3 ( a ) 是监控区域中未有运动物体时的初始图像，即是背景图。图2 3 ( b ) 和图2 3 ( c ) 是运动人体进入监控区域的第1 5 帧和第2 0 帧图像。图23 ( d ) 、图2 3 ( e ) ， 上海大学硕士学位论文 和图2 3 ( f ) 是阈值分别取8 、1 5 和2 3 时运动检测的二值化处理结果。在对实际系 统经过多次试验，图2 - 3 ( d ) 中阈值为8 ， ( e ) 阈值为1 5 的情况下，二值化分割结 果中噪声点过多。而图2 - 3 ( f ) 阈值为2 3 的情况下，二值化分割结果中，目标人体 的脖子出已经出现了明显的裂痕，并且运动人体的影子的大部分细节丢失，影响 了目标的完整性。因此，阈值的选取是非常重要的。要根据不同的场景选择适当 的阈值。 2 2 3 数学形态学方法处理噪声 采集图像的过程中，由于各种客观因素，所采集到的图像常包含各种不希 望有的噪声。采用除噪技术滤除这些噪声是十分重要的，它影响图像处理的输 入、采集、处理的各个环节以及输出结果的全过程。特别是对图像的输入、采 集过程中噪声的抑制是十分关键的问题，若输入伴有较大的噪声，必然影响处 理全过程及输出结果。因此一个良好的图像处理系统，不论是模拟处理还是用 计算机进行数字处理，无不把减少前一级的噪声作为丰要目标。 根据噪声产生的来源，大致可以分为外部噪声和内部噪声两大类：外部噪 声是指从处理系统外来的影响，如天线干扰或电磁波从电源线窜入系统的噪声； 内部噪声则有如下四种最常见形式： 由光和电的基本性质引起的噪声，例如电流可看作电子或空穴运动， 这些粒子运动产生随机散粒噪声，导体中电子流动的热噪声，光量子 运动的光量子噪声等； 由机械运动引起的噪声，例如，接头振动使电流不稳，磁头或磁带、 磁盘抖动等； 元器件噪声，如光学底片的颗粒噪声，磁带、磁盘缺陷噪声，光盘的 疵点噪声等； 系统内部电路的噪声； 从噪声的分类方法来看是多种多样的，但综合来说，噪声是随机产生的量， 所以又可以从统计数学的观点来定义噪声，凡是统计特征不随时间变化的噪声 称为平稳噪声，而统计特征随时间变化的噪声称为非平稳噪声。 1 7 海大学学位论文 以上所讨论的各种类型的噪声反映在图像画面上，大致可以分为如图2 - 4 所示的两种典型的图像噪声。图2 - 4 ( a ) 为在室外实际采集的较弹想的图像，图 2 _ 4 ( b ) 和图2 _ 4 ( c ) 为受到噪声干扰后的图像，其中图2 - 4 ( b ) 中，该噪声的幅值基 本相同，但是噪声又如频谱出现的位置是随机的，一般称这类噪声为椒盐噪声； 而图2 _ 4f c 冲每一点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值大 小的分布统计来看，其密度函数有高斯型，称为高斯噪声。 ( a ) 理想酗像巾) 舍椒盐噪卢剀像 ( c 1 含高斯噪卢图像 喇2 4 图像噪声的类型幽 经过前景点检测后的图像中往往存在着离散的噪声前景点和目标区域中的 孔洞，因此在进行目标检测后一般都要进行去噪声处理。这一步可以通过数学 形态学运算实现，即利用腐蚀和膨胀运算分别去除孤立的噪声前景点和填补目 标区域的小孔。 数学形态学( m a t h e m a t i c a lm o r p h o l o g y ) 是一种应用于图像处理和模式识别 领域的新方法“1 。其基本理论和方法在机器视觉、医学图像分析等诸多领域都 取得了非常成功的应用，可| 三c 用来解决抑制噪声、特征提取、图像分割、形状 上海大学硕士学位论文 识别等图像处理问题。形态学图像处理的主要内容是设计一整套的变换( 运算) 、 概念和算法，用以描述图像的基本特征。它是以几何学为基础，着重研究图像 的几何结构，这种结构表示的可以是分析对象的宏观性质也可以是微观性。研 究图像几何结构的基本思想是利用一个结构元素去探测一个图像，观察者不断 移动结构元素，看是否能够将这个结构元素很好地填放在图像的内部，同时验 证填放结构元素的方法是否有效，从而提取有用的信息作结构分析和描述。数 学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应 形状以达到对图像分析和识别的目的。该技术一般是以二值图像为处理对象。 基本的形态学运算是腐蚀、膨胀、开运算和闭运算，基于这些基本运算还可以 推导和组合出各种数学形态学运算方法。 腐蚀( e r o s i o n ) 在数学形态学运算中的作用是消除物体边界点或是消除目 标图像中的无用点的一个过程。如果两个物体之间有细小的连通，通过腐蚀运 算可以将两个物体分开，其结果使得剩下的目标比处理前减少了一些像素。x 用b 来腐蚀记为x o b ，定义是： e = x o b = ( x ，y ) l 最。，x ( 2 6 ) 腐蚀过程可以描述如下：b 平移( x ，y ) 后仍在集合x 中的结构元素参考点的 集合。换句话说，用b 来腐蚀x 得到的集合是b 完全包括在集合x 中时b 的参 考点位置的集合。 膨胀是腐蚀运算的对偶运算( 逆运算) ，它是将与目标接触的所有点合并到 该目标的过程，过程的结果是使目标的面积增加了相应数量的像素。膨胀在填 补分割后目标中的空洞很有用。x 用b 来膨胀记为x o b ，定义为 d = x o b = ( x ，y ) i 【色。，n x c _ x ( 2 7 ) 膨胀过程可以描述如下：用b 来膨胀x 得到的集合雪的位移与集合x 至少 有一个非零相交时结构元素b 的参考点位置的集合。 先腐蚀后膨胀的过程称为开运算( o p e n i n g ) 。它具有消除细小目标、在纤 细点处分离目标和平滑较大的空洞并且不明显改变其面积的作用。开运算的定 义： 1 9 上海大学颂学位论文 工。b = ( 肖9 口) o 嚣( 2 8 1 先膨胀后腐蚀的过程称为闭运算( c l o s i n g ) 。它具有填充目标内部细小空 洞、接近临近目标，在不明显改变面积的情况下平滑其边界的作用，闭运算的 定义为： x o b = ( 丑。占) 0 口 ( 29 ) ( a ) ( c ) ( o 图2 - 5 数学形态学处理结构图 通常情况下，对差分图像使用阈值分割二值化时，所得到的二值化图像中 上海大学硕上学位论文 目