（测试计量技术及仪器专业论文）运动人体检测与跟踪方法研究.pdf

摘要 摘要 运动人体的检测与跟踪是人体运动分析的重要内容，近几年来也是计算机视 觉中日益受到重视的一个领域。该领域的研究有着广泛的应用价值( 可应用于智 能安全监控、人机接口、运动人体细节分析等方面) ，尤其在美国受到恐怖袭击 之后，全球同益关注安全问题。利用计算机视觉技术提高视频监控系统的自动化 程度，减少人的参与，即实现视频监控的智能化，是视频监控系统未来的发展方 向。运动人体的检测与跟踪技术是计算机视觉技术研究中的一个热点与难点。由 于基于计算机视觉的智能安全监控系统不但能够高效地完成保障安全的任务，还 能节省大量的人力物力。所以运动人体分析的研究不但具有广阔的应用前景还能 够给社会带来很大的经济收益。 本文构建了一套自动的运动人体检测跟踪原型系统，对从一台固定的数码摄 像机采集的视频图像进行处理与分析，能够检测和跟踪运动人体该原型系统由 运动人体检测、运动人体跟踪、人群融合分离跟踪等部分构成。 在运动物体检测部分，本文利用多模型建立场景背景模型，以适应天气变 化、光照条件变化，背景受干扰等复杂场景。分别在r 6 b 、y u 、r 、h s i 颜色空间进 行人体区域提取，再次，运动数学形态学和连通算法实现运动区域精确分割。 运动人体跟踪部分，建立了基于扩展k a l m a n 滤波器的运动人体跟踪模型， 确定检测到人体的外接矩形框，选取矩形框对角顶点的3 d 位置和速度作为跟踪 特征点，并对特征点在3 d 空间中的运动轨迹进行了预测与跟踪，实验表明，该 模型不必局限于高斯分布的噪声，更符合实际情况，从而提高跟踪精度 在单独人体融合成人群然后人群再分裂成单独人体的情况下，本文的算法利 用人体的颜色特征进行人体之间的匹配，解决了融合成人群前的人体与人群分裂 后的人体之间的对应问题，并在运动人体跟踪中取得了满意的效果该算法具有 快速、鲁棒性强的特点 通过室内外采集的几个视频图像进行检验，证明本文的算法能够正确地检测 并且跟踪运动人体，具有很强的实用性 关键词：背景模型；背景差；人体跟踪；卡尔曼滤波器 广东工业大学工学硕士学位论文 a b s t r a c t md e t e c t i o na n d 慨k i n go fh u m a nm o t i o mi sk e yt ot h ev i s u a | a n a l y s i so f h u m a nm o v e m e n t a n dh a sa l s ob e e na t t a c h e dn l o r ea 1 1 di 坨i m p o r t a n c et oc o m p u t e r v i s i o n sr e c e n tf e wy e a r s r e s e a r c hi n t i md o m a i ni n v o l v e sw i d ea p p l i c a t i o n ( i i l c l i l d i l l gs e c u r i t y 鲫u w e i l l a n c e , h u n m n - c o r o _ p u t e ri n t e r f a c e ，t h ed e r a i l sa n a l y s i so f h u m a nm o v e m e n t ，e t c ) e s p e c i a l l ya f t e rt h ee v e n t9 1 1 ，s e c u r i t yi s s u e sh a v eb e e np a i d u n p r e c e d e n t e da t t e n t i o na r o u n dt h ew h o l e w o r l d t h ci n t e l l i g e n ts e c u r i t ym o n i t o r i n g s y s t e mb a s e do nc o m p u t e rv i s i o nn o to n l yc o m p l e t e st h es a f e g u a r dt a s k se f f i c i e n t l y , b u ta l s o 懿i v c sag r e a td e a lo fh u m a nl a b o ra n de f f o r t s g e n e r a l l y ，r e s e a r c hi nt h e v i s u a la n a l y s i so fh u m a nm o v c m e l l tp r o v i d e sap r o m i s i n ga p p l i c a t i o nf u t u r e 。邪w e l l 嬲g r e a te c o n o r o i cb e n e f i t st ot h es o c i e t y t h i sp a p e rp r e s e n t sa l la u t o m a t i ch u m a nd e t e c t i o na n dt r 粒k i l l gp r o t o t y p es y s t e m , w h i c hc o u l da n a l y z ea n dd e a lw i t ht h ev i d e oi m a g eg a t h e r e df r o maf i x e dd i g i t a l c 勰肌r e c o g n i z ea n dk e e pt r a c k i n go f h u m a nm o t i o n mp r o t o t y p es y s t e mc o m i s t s o fn m v c m e l l th u m a nd e t e c t i o n , m o v e m e n th u m a nt r a c k i n g 、g r o u pi n t e r f u s i o na n d s p l i tt r a c k i n g t h em o v e n 帕mh u m a nd e t e c t i o ns e c t i o nd e s c r i b e sm a n ym o d e l sb a c k g r o u n d m o d e lt h eb a c k g r o u n dm o d e lc o u l da d a p tt oc o 1 i c k e dc i r c u m s t a n c e ss u c h 舒 c h a n g e dw e a t h e r ，c h a n g e di l l u m i n a t i o n , d i s t u r b e db a c k g r o m d e x t r a c tm o v e m e n t h l l m 柚b o d yr e g i o ni nr g b 、y u v 、h s i c o l o rs p a c e a n dt h e n , a p p l y i l l gm a t h e m a t i c s m o r p h o l o g ya n dc o n n e c t e da l g o r i t l 瑚a l i z e sa c c u r a t em o t i o nr e g i o n d i v i s i o n 1 1 l el v e r mh u m a n 眦k i n gs e c t i o ns e a r c ham o v e m e n th wb o d yt r a c k i n g m o d e lt i 砖m o d e ld e t e r r n i i m t ed e t e c t e dh u m a nb o d y $ e i r c 僦e r e m i a lr e c t a n g l e 丘a m c - a l s oc h o o s e3 dl o c a t i o na n ds p e e do ft h er e c t a n g l ef r a m eo p p o s i t ea n g l ea s c l l a 糟c t e r i s t i cp o i n tf o r 仃a c k i l l g ，a i l dt h e nf o r e e a s ta n d 仃a c ko nc h a r a c t e r i s t i cp o i i 吐i n 3 ds p a t i l ce x p 抵mk , m t i c a t e st h a tt h c 咖d c id o e sn o t 硒血t og a u 嚣i a n d i s t r i b u t i o nn o i s ea l l da c c o r dw i 【hr e a l i t y s ot i 蟹m o d e lc o u l di m p r o v et r a c k i l l g a c c m c y h w h e np e o p l em u t u a l l yo c c l u d ef o r m i n gg r o u pa n dt h e ns p l i t , t h ea l g o r i t h mi n t h i sp a p e rm a t c h e sh u m a nb a s e do nt h e i rc o l o rf e a t u r e , r e s o l v e st h ep r o b l e mt om a t c h h u m a nb e f o r ef o r m i n gg r o u pa n da f t e rg r o u ps p l i t t i n g , a n da c h i e v e ss a t i s f i e dr e s u l t s t h ea l g o r i t h mi sf a s ta n dr o b u s t t h es y s t e mh a sb e e nd e m o n s t r a t e dt h r o u g has e r i e so ft e s t sw i t hv i d e oi m a g e s g a t h e r e df r o mb o t hi n d o o ra n do u t d o o r , s h o w i n gg r e a tp r a c t i c a b i l i t y k e yw o r d s ： b a c k g r o u n dm o d e l ；b a c k g r o u n ds u b t r a c t i o n ；h u m a nt r a c k i n g ； k a l m a nf i l t e r i i i 广东t 业大学t 学硕+ 学位论文 独创性声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过的成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的，论文成 果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 指导教师签名：荆 论文作者签名：何j 移芗 乒p 哆年午月炙f 同 第一章绪论 第一章绪论 1 1 计算机对人的可视研究 人类主要通过视觉感知外界信息，人类对外界信息的感知有8 0 以上是通过 视觉得到的，让机器人具有视觉是人类多年以来的梦想，自信号处理理论和计算 机出现以后，人们试图用摄像机获得环境图像并将其转换成数字信号，用计算机 实现对视觉信息处理的全过程。这样就形成了一门新兴的学科一计算机视觉 随着计算机视觉理论和算法研究的发展以及计算机硬件性能的不断提高，如 何让计算机能够看见人、认识人行为近年来受到了广泛的关注。 为什么要让机器能看见人呢，这主要取决于机器的用途。如果一个计算机视 觉系统用于生产线上的缺陷检测那就不需要它具有看得见人的能力。同样，如果 计算机用于文本输入，那也不需要识别人的手势和表情。但是假如我们要制造一 个能和我们一起工作，能帮助我们工作的智能机器那就需要机器知道它们在帮助 谁，和谁一起工作，如果计算机对我们的辅助工作超出帮助我们编辑文档，收发 电子邮件这类基本文字工作，而真正成为我们的助手，那就需要“能够看得见” 我们，分析了解人的日常动作行为等，能够很自然的融合到我们的工作生活当中。 目前的计算机通常是放在屋子的一角，不能说话，听不见声音，看不见东西 对周围环境没有感知能力，不能辨别是否有人在它的附近。人和计算机通常通过 键盘敲击一连串编码进行交流。在未来我们可以想象一下：有一天，计算机可以 知道你在它附近，你在看着它，知道你是谁，知道你要做什么，或者它可以从一 段视频信号分辨出在场景中的人及他们在做什么。让计算机具有这些能力的基础 就是让计算机具有理解人的能力，包括语音、视觉方面。近些年来在语音理解方 面已经取得了重大的进展埘，同样近几年中让计算机来理解人也取得了可喜的进 步 要实现计算机对人的观察，第一步就需要确定其视野中是否有人存在，在什 么位置，以及有多少人这就包括进行目标检测、目标识别、运动跟踪等步骤。 如果视野中有人存在那么接下来的工作就是对人标明身份，即对人的识别。最后 根据具体的应用需要分析视野中的人在傲什么或想要做什么，这包括手势、表情 广东t 业大学t 学硕士学位论文 活动识别等。 采用计算机视觉技术实现对人的可视化具有广泛的应用前景，主要包括以下 几个领域： 1 人机交互( h c i ) ：传统的人机交互是通过计算机键盘和鼠标进行的，不 符合人们日常生活中的交流方式。需要人进行专门的学习训练。假如计算机能够 像人一样识别理解我们语言、手势、动作、表情等，那么我们和计算机的交流就 像日常生活中的人与人之间的交流一样，自然无障碍。这种以人为中心的人机交 互界面是今后人机交互的发展方向。因此实现计算机对人的可视化是未来人机交 互中的一个重要方面。 2 智能室内交互环境：利用计算机对人的可视化技术可以用于建立智能化 室内环境。智能化房间能够了解谁在房间里，在房间的什么地方，在做什么。这 样的智能化室内环境可以用来监护儿童、老年人以及身体有残疾的病人，在他们 需要帮助和照顾时满足他们的要求n - 。 3 安防和监控：安防和监控领域是计算机对人的可视化研究的一个传统应 用领域。人脸识别技术在安防领域有巨大的实用价值。如：通过运动人体定位可 以用于重要场所的出入管理。最近几年在监控领域让监控系统能够自动识别人的 活动并对危险活动自动报警，从而实现智能化的监控也受到了人们广泛的关注 4 娱乐、教育和培训：娱乐和教育业是最近几年增长较快的两个产业。利用 计算机视觉的方法实现无接触的跟踪、解释人的动作将给这两个产业在许多方面 带来巨大的革命性变化。例如，在未来，在计算机辅助教学中，智能化的计算机 导师将能够通过学生的动作表情来判断学生是否对所学的东西不理解、丧失学习 的兴趣或非常有兴趣，从而改变教学方式，而不是被动的回应学生的请求。同样， 复杂的虚拟游戏环境需要游戏机能够非接触式的主动识别、理解人的动作意图， 让游戏者更加自然的融入到游戏的情节当中。在运动员或舞蹈演员的训练中使用 计算机对人动作进行识别、理解，并纠正错误，将大大提高训练效果。 5 视频会议和基于模型的编码：分析识别面部动作、手势和肢体语言，采用 模型的方法进行表示将有助于实现对视频数据进行符号压缩。使用手势、身体运 动、面部表情在运动中时间空间上的信息有助于开发动画方式的基于模型的编解 码算法这些有助于实现低比特率的视频电话和基于模型的编码系统 2 第一章绪论 6 数字化图书馆和视频图像标注：随着数字化图书馆的建立，数字视频内容 成指数的增长，建立视频图像数据库，实现基于内容的视频图像自动标注，成为 一个重要应用领域。大量的视频图像数据是关于人的，因此让计算机能够在视频 图像中识别人以及他们的活动将大大提高对这些数据的自动化标注程度和准确 度。 7 残疾人辅助系统：对于有障碍的残疾人来说他们需要一套能够对人的活 动进行识别、理解、辅助他们克服由于残疾而带来的与人交流困难的系统，该系 统能把交流时由于残疾而丢失的交流信息转换成他们能够直接理解的通信信息， 让残疾人能更全面的理解他人的表述。例如，辅助系统可以识别、分析他人的肢 体动作，并通过耳机将这些肢体动作的描述信息传递给盲人，从而帮助盲人克服 交流上的障碍。同时，这样的系统也能有效地帮助残疾人向他人表述自己的意思， 如将残疾人的手语转化为语音。这种感知上的智能化正成为一个很重要且具有非 常大挑战性的研究领域，特别是让计算机扮演了一种新的角色即：“w e a r a b l e c o m p u t i n g ” 1 2 研究目的及意义 人是社会的主体，人类活动遍布地球的每个角落。每件事情，要么是以人 活动为主题，要么人本身就是参与者或操纵者。随着经济的发展、网络和视频 技术的突破、娱乐业的发达、人类交流的频繁，对人类身份的控制、行为模式 的分析和人体自身的探索变得越来越迫切。 目前，人运动分析往往需要人的干预。如对敏感场所( 银行、超市、停车场 等) 的监控，往往是由保安人员2 4 小时巡逻。部分场所装有摄像机，但还是需 要专门工作人员监视显示器以便及时发现异常事件。这样不仅需要投入大量 人力、物力资源，而且由于人的精力和注意力有限，在高强度的工作环境下往 往会出现疏漏，从而不能及时对异常情况做出反应。至于运动数据的捕获， 一般是在人体各个关节上贴上特殊颜色的、或光电的、或磁性的标记，通过分 析这些标记的三维位置来恢复人体的运动数据显而易见，贴上这些标记不仅 会增加成本，而且会影响人的动作以至于影响数据的准确性，因此具有很大的局 限性 广东工业大学下学硕士学位论文 人运动的视觉分析就是为了避免这些不足，它利用计算机视觉和图像图形的 方法，在不需要人干预、或者只需要很少干预的情况下，通过对摄像机拍录的 视频序列进行分析来实现人的检测、定位与跟踪，并在此基础上获取人体姿态和 运动参数，并进一步进行语义分析和行为理解。总之，要在不侵犯被分析者的前 提下，实现运动分析的自动化，从而使人从繁琐的劳动中解放出来。 运动视觉分析是计算机视觉的一个重要研究方向，它不仅在虚拟现实、智能 监控、运动分析、基于模型的编码等方面具有广泛的应用前景和潜在的经济价值， 在计算机视觉理论研究的层次上也有很高的价值，而且对于人类认识自身有着重 要的心理学和哲学上的意义。它涉及到计算机视觉中的很多基本问题，例如运动 检测和分割、目标定位和识别、刚体和非刚体跟踪、时空推理、场景恢复与表示、 行为分析和建模、语义理解、多摄像机数据融合、机器学习等。人运动的视觉分 析是具有挑战性的研究工作，它的很多研究成果都可以被其它领域借鉴，从而更 广泛地对计算机视觉的整体研究工作产生推动作用。 1 3 行人检测跟踪技术现状 行人检测跟踪方法大致可分为立体视觉的方法、轮廓检测的方法、模板匹配 的方法、人体模型的方法、步态识别的方法、小波分析以及神经网络的方法，更 多的是将两种或多种方法相结合，然而在视频监控系统应用中只有一些系统证明 是成功的。识别分类阶段要从其它目标中区分出行人，主要通过行人特定的特征 匹配方法，或者通过神经网络、支持向量机、多层感知器等方法来判断感兴趣区 域中是否包含行人。 立体视觉方法是目前行人检测较常用的方法，一般结合其他方法综合使用， 能较好的解决遮挡问题m m 。z h a ol 用双目视觉系统检测复杂场景中的行人m ，采 用立体视觉分割算法来将行人从背景中提取出来，然后用神经网络的方法对目标 进行分类。它的不足是当行人所穿衣服颜色与背景着色相似或者两个行人彼此靠 得太近时，就不能通过轮廓和立体信息进行准确分割h e i s e l eb 根据图像的颜 色特征利用立体视觉算法检测行人，并采用时滞神经网络的分裂式聚类算法根据 行人的脚的特定运动模式对行人进行分类m ，可以从运动摄像机拍摄的彩色序列 图像中对运动的行人进行检测和识别，但是行人的双腿必须是可见的，而且对静 第一章绪论 止不动的行人失效。 行人轮廓由于不受天气、行人服装等的影响，因此基于轮廓的检测方法也普 遍应用于行人检测系统w m “”h a s h i y a m at 建立了一个通过基于行人轮廓的模板 匹配技术来快速和稳定地检测运动行人的系统n ”。它对安装在运动车辆上的摄像 机所获取的图像序列进行处理，使用一定量的模板来捕捉运动行人轮廓的变化。 但是这两种检测模式仅仅使用了轮廓信息，在杂乱的背景区域中可能还会出现大 量的漏检和误检现象。g a v r i l adm 提出了一个行人轮廓的层次结构”，首先采用 视觉技术寻找行人特定的特征，选择可能包含行人的感兴趣区域；然后使用卡尔 曼滤波估计器估计行人在这些区域中的位置，不受行人运动与否的限制。o r e nm 利用可训练的小波模板在单幅图像中提取行人的前、后投影来检测复杂场景中的 人并进行匹配m ，。它采用小波变换提取图像特征，然后使用支持向量机的方法来 实现其分类过程。 模板匹配方法是运动行人检测系统中常用的方法，并有不错的应用效果 g a v r i l adm 等人提出了一个基于模板匹配的行人实时检测算法- 首先进行层 次模板的离线计算，然后在当前的输入帧和存储模板之间进行由粗到精的匹配。 e l z e i nh 设计了一个基于视觉的用予智能车设计方面的行人检测算法“”，算法先 对从安装在车辆上的摄像机获得的视频帧进行小波变换，然后使用多尺度模板匹 配来确定帧中是否包含行人信息，并对行人进行定位。j a n g 与c h o i 利用区域的形 状、纹理、色彩和边缘特征信息建立活动模板，结合卡尔曼滤波预测方法，使特 征匹配能量函数最小化来完成对运动目标的跟踪m p o l a n a 希l n e l s o n 在人体全身 运动中用运动人体的质心代表人体的位置，根据前一帧中的质心位置估计下一帧 中人体质心的位置m s e g e n 和p i n g a l i 改进了传统的直接在亮度区域中计算或检 测图像的所有边缘的角点特征提取方法订，它仅对图像中的一些主要边缘进行检 测，将运动轮廓的角点作为特征，采用基于位置和点的曲率值间的距离度量在连 续帧间进行特征匹配 还有很多系统对人体进行建模，利用行人模型对运动进行检测和识别。v i o l a p 通过一个检测器扫描图像序列中的连续两帧图像，结合图像的亮度信息和运动 信息建立行人模型“一，检测运动的行人。m a s o u d0 对行人也进行了建模m 一，将行 人划定在矩形框中，并确定其动态行为，并用卡尔曼滤波方法估计行人的各项参 广东t 业大学工学硕十学位论文 数。它使用多目视觉系统摄取灰度图像，有效地减轻遮挡问题。w r e n c 等利用小 区域特征进行室内单人的跟踪，将人体看作由头、躯干、四肢等身体部分所对 应的小区域块组成，利用高斯分布建立人体和场景的模型，属于人体的象素被规 划于不同的身体部分，通过跟踪各个小区域块来完成对整个人的跟踪。m i c h a e lj 使用活动变形模型来检测和跟踪运动的行人，适应运动时人体轮廓发生的变形 ”“，并用骨架模型来恢复人体。 行人的步行节奏基本不受时间、天气、阳光、阴影和距离的影响，而且与行 人所穿的衣服也是独立无关的，行人的步行节奏模型作为一个重要的特征被广泛 采用”。c h i a j u n gp a i 将行人模型和行人的步行节奏综合起来使用m ，通过融合 这些被视觉系统捕捉到的空间和时间信息，能得到非常准确的结果。v i o l ap 使 用行人的步行节奏模式作为其特征对行人进行检测“- ，但这种方法要求行人的双 腿可见而且行人必须是运动的。图像中仅含有一两个运动行人时，效果较好，而 对于行人静止不动和场景中有许多行人时失效。 1 4 存在的主要难点 尽管许多学者己经进行了有益的尝试，但是由于行人运动的复杂性和不规则 性，使它很难用一个统一的方法进行研究。许多方法和模型或是过于简单而不能 普遍采用，或是过于复杂难以在实际中进行应用w ，行人运动跟踪和分析还需要 不断发展。行人检测与跟踪技术研究目前存在的主要问题有： 1 行人检测与识别跟踪目前还没有通用的方法，通常是在受限的条件下针 对特定的环境设计相应的检测方法。如运动人体期间不被遮挡、背景相对简单、 摄像机静止不动等。 2 复杂背景下对运动行人的检测，由于受周围环境影响较大，通常对外界 干扰无能为力。当行人所穿衣服颜色与背景着色相似或背景光线变化较大时，很 难从背景中分割出运动行人。 3 复杂背景下对行人运动的深入分析，一般通过对行人进行建模来完成， 只能处理单个行人的运动，且测试条件比较苛刻，系统复杂 4 单幅图像处理难以实现对行人的可靠检测，因而必须对序列图像进行处 理，需要存储和处理的数据量大，且系统的实时性很难保证。 第一章绪论 5 行人检测与跟踪技术涉及到多种学科的知识，包括计算机视觉、图像处 理、模式识别、人工智能等，如何将它们相结合也是值得深入研究的问题。 主要技术难点在于： 1 背景场景的不稳定性，例如天气变化、光照强度变化、树叶晃动等，使 视频图像背景具有很强的易变性，复杂场景中如何准确地完成运动行人的分割。 2 由于行人是非刚性物体，所以它并不满足传统运动分析算法中的刚体运 动假设，对它的运动描述非常困难，即使可由物理模型来描述，也同样受到模型 复杂且不统一的限制。 3 行人运动比较灵活，其行为的任意性和随机性使得在复杂环境难以准确 确定行人的运动轨迹。 4 复杂场景中如何解决行人与行人之间、行人与其他运动目标、行人自身 的遮挡问题，以及建筑物、运动或停留的车辆、自行车、路标、信号灯等对行人 检测的影响 以目前的研究现状和技术水平，实现通用的行人运动检测与跟踪系统还不现 实，因此解决一定限定条件下或某种应用背景下的行人运动检测与跟踪问题仍将 是该领域研究的主要课题。结合教研室项目的实际需求和开发难度，本人在硕士 研究生阶段的论文研究在摄像机静止条件下，以复杂环境为背景的行人检测与跟 踪技术，对视频图像中的运动行人进行有效地检测与识别跟踪，解决当前运动人 体检测与跟踪监控系统中存在的部分问题，并为以后的研究提供一定的基础。 1 5 课题创新点及论文内容安排 本文在复杂环境下构建了一个基于计算机视觉的运动行人检测与跟踪系统， 它的主要功能是从场景中检测运动的行人，并对行人的运动加以跟踪。文中详细 叙述了系统检测和跟踪行人运动的算法设计和具体实现，给出了分析行人运动的 方法，讨论了该方法在实际视频中的应用文中提出的算法在拍摄的复杂场景环 境下的视频图像中应用，证明了算法的有效性，并给出了部分试验结果 1 论文的主要创新点 ( 1 ) 研究了运动人体检测方法，针对视频监控系统大多数应用情况下具有 固定背景这一特点，提出在单目视觉、固定监控区域采用背景差进行运动目标提 7 广东工业大学工学硕士学位论文 取时算法所要满足的基本要求，提出了一种能够满足这些要求的多分布模型背景 差方法。该方法用色度、亮度空间的多个分布模型来建立背景模型，描述彩色视 频图像的背景象素点及其统计特性。在对背景模型更新时将均值、方差的更新速 率和多个模型的更替速率分开。对象素点的值属于多个分布模型的情况，用最小 相似距离确定要更新的模型。利用亮度信息和颜色信息在i t s i 颜色空间进行运动 区域提取，以消除运动人体阴影，并且应用人体高度宽度比值对人体与其他运动 物体进行识别，准确从背景中提取人体，避免非人体目标的误检测。实验证明该 方法能够满足在室内、室外等多种复杂环境中实时进行运动人体检测的要求。 ( 2 ) 研究了一种新的人体跟踪思路，首先借鉴了模型跟踪方法的精确性和 鲁棒性，但在本文的方法中不需要构造出精确的目标模型。即本文选择包含人体 区域的外接边界矩形的一对对角顶点作为跟踪的特征点，这就既避免了繁琐的图 像帧问特征点的对应匹配工作，又省去了复杂的人体建模工作，并且与传统的二 维平面跟踪不同的是，在本文的跟踪状态变量中增加了目标的深度信息，实现了 对特征点的三维空间运动的预测与跟踪，同时特征点的深度信息也为后面的运动 识别与分析提供了更多线索，从而增强了运动识别与分析的准确性和鲁棒性。实 验结果表明本文的基于扩展卡尔曼滤波器跟踪方法能准确地预测并跟踪特征点 的空间运动轨迹，而且对于系统中的噪声分布( 过程噪声和观测噪声) 不必再局限 于高斯分布而可以根据实际情况选择任意一种分布，这使本文的跟踪更加符合真 实情况，从而进一步提高了跟踪精度。 ( 3 ) 研究人群融合和分离情况下的跟踪，利用人体衣着的颜色作为特征进 行跟踪匹配，用窗函数法估计人体的颜色条件密度函数解决人体之间的对应关 系，避免单纯使用人体运动状态进行匹配的缺陷，在试验中能够实现运动人体分 离后的继续跟踪。 2 论文的主要研究工作及章节安排 论文章节安排如下： 第一章绪论，首先介绍计算机对人的可视研究，阐述本课题的研究目的和意 义，然后叙述当今国内外运动行人检测技术的发展现状及存在问题最后介绍本 论文的主要研究工作和章节安捧。 第二章运动目标检测技术方法简介。主要介绍三种运动目标检测方法的原 第一章绪论 理，并运用三种方法对运动人体进行检测，最后对三种运动目标检测方法进行比 较。 第三章基于背景差运动人体检测，研究了基于背景差运动人体检测算法首 先，采用多个分布模型来建立背景模型，对视频图像在颜色空间进行运动行人检 测，最后运用数学形态学和连通算法对运动人体实现精确分割。 第四章用于运动人体跟踪的成像模型，详细介绍摄像机的几何模型以及各种 视觉系统坐标系及它们之间的相互关系。对传统的透视投影模型做一巧妙变换， 给出了它的一种等价表达，为后章运动人体跟踪系统中的观测模型提供了很好的 基础。 第五章基于扩展卡尔曼滤波的运动人体跟踪，建立了基于扩展k a l m a n 滤波器 的运动人体跟踪模型，确定检测到人体的外接矩形框，选取矩形框对角顶点的3 d 位置和速度作为跟踪特征，并对特征点在3 d 空间中的运动轨迹进行了预测与跟 踪，最后对实际拍摄的两组动态图像序列中运动人体轨迹进行了预测与跟踪，验 证算法有效性。 第六章人群融合和分离情况下的跟踪，针对人群融合和分离情况，研究人体 的颜色密度函数，对人体融合前和分离后的颜色密度函数进行对比，实现目标的 匹配跟踪。 第七章原型系统的设计与实现，研究了一个基于单目视觉的运动行人检测与 跟踪系统，详细介绍了原型系统的实现工具、系统组成原理及系统各模块的功能， 经过软件系统搭建及试验验证了原型运动人体跟踪系统的工程实用价值。 第八章结论与展望，对论文工作进行了系统总结和概括，并对进一步的研究 提出了合理建议 9 广东t 业大学工学硕十学位论文 2 1 引言 第二章运动目标检测技术方法简介 视频图像中的运动人体检测是一个重要且十分困难的研究领域，在实现运动 补偿、视频压缩编码、视频理解时都需要用到运动目标的检测。在视频理解中运 动人体检测是后续跟踪、识别和活动分析的基础。一般来说，视频理解主要关注 对视频流中运动对象的识别和分析。真实的动态场景都包含有许多个运动对象， 动态场景可以分为运动物体部分和背景部分，以便后续的跟踪、识别和活动分析 只关注场景中的运动人体部分，提高高层次处理的有效性。运动人体检测是指检 测出图像序列中与运动的三维人体相关的点，滤除图像中与运动对象无关的信 息。对运动人体目标的正确检测能大大提高后续跟踪、识别和活动分析的正确率。 运动目标检测的方法主要分为三种：一种是帧差法，基于时问序列图像上的 差分图像实现运动目标的检测；第二种是光流法，是对图像的运动场进行估计， 将相似的运动矢量合并形成运动目标的检测；最后一种是背景差法，基于图像序 列和参考背景模型相减实现运动目标的检测。帧差法能较好的适应环境变化较大 的情况，对于目标运动引起的图像序列中发生明显变化的象素点比较容易检测， 但对于变化不明显的象素点不能很好的检测出来。光流法在摄像机存在运动的情 况下能较好的检测运动目标，但大多数光流计算方法十分复杂，计算量较大，不 能满足实时视频流处理的要求。背景差方法能检测出和运动目标相关的所有象素 点，但这种方法对于外界环境的变化，如光照、外来事件等非常敏感。 本章首先简单介绍一下运动目标检测的基本方法。然后重点介绍在视频图像 中常用的背景差方法，以及在长期视频中所要满足的要求，最后介绍我们提出的 能满足这些要求的一种基于多分布模型的背景差方法 2 2 运动检测方法简介 2 2 1 帧差法 帧差法是基于目标的运动能体现在图像序列的变化上，以直接比较图像序列 第二章运动目标检测技术方法简介 相邻帧对应象素点发生的相对变化为基础进行运动目标检测的方法。这是一种直 接简单的运动检测方法。在最简单的形式下，帧f ( x ，y ， ) 与帧f ( x ，弘r 2 ) 之间的 变化可用一个二值差分图像表示： 广。如果i 。舷男专) _ 厂弛鹏) ， 石以y ，t l ，乞) = 倥1 ) l l 式中t 是阈值。在差分图像中，取值为1 的象素点被认为是物体运动或光照变 化的结果。帧差法中的阈值选择相当关键，因为过低的阅值不能有效的抑制图像 中的噪声，过高的阈值将抑制图像中有用的变化。阈值选择可以分为全局阈值和 局部阈值，通常在图像中不同光照区域引起的噪声也不相同。因此采用局部阈值 能更好的抑制噪声检测运动变化。闽值的选择通常取决于场景、光照和摄像机等 外界具体环境条件。 帧差法的优点是鲁棒性较好，能够适应各种动态环境。在实际图像中，差分 图像并不能表示出完整的运动目标信息，如当一个运动目标的内部纹理较为均 匀，而物体缓慢运动时。对于这一问题的解决可以采用累积差分图像的方法m ， 或采用后处理的方法如形态滤波一，区域连通，或参数模型的方法提取出完整的 运动目标信息m 。如图2 1 是采用帧差法对背景进行人体检测。 a ) 第n 一1 帧b ) 第n 帧c ) 检测结果 2 2 2 光流法 图2 - 1 帧差法示意图 f i g2 - 1a l g o r i t h mo f a d j a c e n tf r a m ed i f f e r e n c e 光流法是基于对光流场的估算进行检测分割的方法光流是图像亮度模式的 表观运动( a p p a r e n tm o t i o n ) 光流中既包括被观察物体的运动信息，也包括了 广东工业大学1 = 学硕士学位论文 有关的结构信息m 。光流场的不连续性可以用来将图像分割成对应于不同运动物 体的区域。 考虑图像象素= ( x ，y ) ，时刻t 的亮度值为i ( x ，y ，t ) 。令点m 的速度为 = 研= ( u ，) ，若设点m 的亮度保持不变，那么在很短时间间隔d t 内，我们有： i ( x + ，咯岔，y + v v 出f + 奶= j “只d( 2 2 ) 如果亮度随x ，y ，t 缓慢变化，可将上式左边进行泰勒展开则： 地咖差k + 考哆+ 罢+ 耐) = 眠弘f ) 汜s ) 其中d ( 出2 ) 代表阶数大于或等于2 的高阶项。消去i ( x ，y ，t ) 并忽略o ( d t 2 ) ，得： v ，v 。+ 譬= o ( 2 4 ) 其中v = l 娶，譬l 是图像在点m 的梯度。这个方程就叫光流约束方程( o 讲i c a lf l o w i 靠卵i c o n s t r a i n te q u a t i o n ) 。实际上光流约束方程对每一个象素点来说都是一个含有两 个未知数的标量方程，因此只用一个点上的信息不能确定光流，理论上分析仅能 沿着梯度方向确定图像点的运动，即法向流( n o r m a lf l o w ) 。这种不确定问题 称为孔径问题( a p e r t u r ep r o b l e m ) 。 由于有孔径问题的存在，仅通过光流约束方程而不用其它信息无法计算图像 平面中某一点处的图像速度流，为此人们提出了各种方法来克服这一问题。如使 用光流全局平滑性假设来求解光流的h o m - s c h u n c k 方法”，；使用一个模型通过最 小二乘法来拟合象素点领域内的光流值约束光流进行局部调整的l u c a s - k a n a d c l w 方法：利用二阶导数求光流的n a g e l 方法和利用鲁棒回归算法来计算光流克服 遮挡时运动边界的信息不可靠问题的鲁棒计算法m ，等。 根据检测分割与光流估算的关系可以将光流法分为：参数聚类法、贝叶斯法 和同时估算和检测分割的方法。 参数聚类法的基本原理是基于光流场中每一个流矢量对应于单个不透明的 三维刚体运动的投影，每一个不同的运动可以通过一个参数模型来正确描述。把 具有相同模型参数的流矢量分配为同一类就可以完成光流分割。h d i v 蕾，采用仿射 第二章运动目标检测技术方法简介 变换参数模型，用h o u g h 变换聚类抽样法对光流矢量归类。w a n g 等人m - 也采用放 射变换参数模型，但采用类似k 均值聚类的方法对光流进行归类，完成分割。 贝叶斯法是在给定光流数据的条件下，搜索分割标记用最大后验概率来检测 当前的分割解释被观察的光流数据的程度是否和期望值相一致。m u r r a y 等人m ， 首先提出最大后验概率( m a p ) 的分割方法。他们采用分段的二次流场模拟光流 数据，并用g i b b s 分布模拟分割场，通过模拟退火完成搜寻使后验概率最大的标 记。贝叶斯法的优点在于它具有较强的抗干扰能力，可以容易的引入某种控制机 制保持分割在空间和时间上的连续性 同时估算和检测分割法是基于实际中光流场估算的不精确性而提出的，同时 进行估算和检测分割，通常采用贝叶斯方法进行光流求解和分割的标记。h 划m 通过求解光流场合分割标记的联合概率分布的最大后验概率来实现。这一方法不 但适于有多个运动物体的三维运动和结构的估算，而且改进了光流的估算。但存 在着和贝叶斯方法一样的缺点。 用光流分析法通过对视频图像光流场的分析，得出运动对象如图2 2 所示 a ) 原始图像 b ) 光流分析c ) 检测结果 图2 - 2 光流分析法示意图 f i g2 - 2a l g o r i t h mo f o p t i cf l o wa n a l y s i s 光流分析法的优点在于可以在摄像机运动的情况下，仍然可以检测运动对 象，但它计算复杂，实时性较差，因此在摄像头运动情况下应用比较少 2 2 3 背景差方法 2 2 3 1 背景差理论 视频监控系统主要使用固定摄像机对场景进行监控，场景固定，因此背景差 1 3 广东工业大学工学硕士学位论文 方法在智能化视频监控系统中是一种重要的运动目标分割方法。背景差方法的基 本思想是通过输入图像与背景模型进行比较的方法检测运动目标。 设t 时刻背景模型参考图像为以( t ) ，当前帧图像为正( f ) ，则背景差分图像 为： 厶( 弘f ) 爿五( x ，y ，f ) 一f c ( 而y ，f ) i ( 2 5 ) 对于运动目标检测的判据为：若石g 只力r ，则( x ，y ) 点属于运动目标，反 之属于背景。这里t 是门限阈值。这是一个最简单最基本的背景差方法，描述了 背景差方法的基本思想，由于实际环境的复杂和运动的多样性，为满足实际应用 需要的算法比这复杂的多。 通常背景差方法主要包括背景模型建立、背景模型更新、背景差、后处理等 步骤。背景模型建立就是对背景模型进行初始化；背景模型更新是根据当前输入 的图像修正背景模型及时反映环境的变化；背景差是将当前帧和背景模型相比较 检测运动目标；后处理是在高层次上对检测出的运动目标进行修正，得到更精确 的结果。在文献m 呻又将背景差方法对图像的处理分为象素级、区域级和帧级三 个由低到高的层次处理。象素级完成对图像中象素最基本的分类，即前景象素和 背景象素；区域级考虑象素之间的相关性，进一步从区域的角度上修正象素级分 类；帧级从图像全局变化的角度修正象素分类。 背景差方法的难点不在输入图像与背景模型相比较这一步，而是对背景模型 的维持与更新m 。在现实世界里，场景中的背景很复杂，存在各种各样的干扰， 且背景是随时间不断变化的。背景模型及其更新要能反映这些变化，抑制处理干 扰。一般来说，视频监控系统需要长期运行，要保证视频监控能够长期运行需要 背景差算法应具有很强的鲁棒性，需要能满足以下要求： 1 能适应背景随时间的缓慢变化如在一天当中不同时间里的光照变化。 2 能适应背景物体的变化如场景中移入新的物体、背景中的物体移出场景 等变化。 3 背景模型能描述背景中的一些较大扰动如树叶晃动、显示器屏幕闪烁等。 4 能检测出光照的突然变化并能在尽量短的时间内适应这种变化。 5 为了能够更好的跟踪识别物体，在背景差算法中应能尽量消除运动目标 l 第二章运动目标检测技术方法简介 阴影的影响。 2 2 3 2 基本原则 背景差方法的基本原理看上去很简单，但在实际应用中确有很多方面需要考 虑和权衡。下面我们讨论设计背景差算法时应考虑的一些基本原则m ，。 首先，背景差方法中不应处理区分目标语义上的差别。背景差方法在计算机 视觉中是低层次的运动检测算法，在系统中对视频图像进行高层次理解时，通常 将其作为预处理过程。 因此背景差方法不应去处理和前景目标语义相关的过程这就意味着像一个 人走进场景，然后停止不动或原本作为背景的人开始走动等情况的完全正确处 理，不应该在背景差方法中实现。有些系统将高层次模块获取的语义结果反馈回 背景差模块，避免在背景差时将人错误地融入背景模型m 这和由背景差方法来 分割整个人不同，在此并没有试图利用背景差方法取得人的语义信息，而是由高 层次模