（信号与信息处理专业论文）运动目标检测及运动轨迹分析.pdf

大连理工大学硕士学位论文 摘要 随着网络和多媒体技术的迅速发展，图像信息以其直观、生动的表现形式倍受人们 喜爱。相比于静态图像，运动目标的视频图像序列提供了更加丰富的信息。因此，基于 视频图像的运动目标分析成为视频研究的一个热点。作为计算机视觉领域的基础环节， 运动目标检测和跟踪将人们感兴趣的运动物体从图像序列背景中分离出来，并在连续图 像间建立基于运动物体特征的对应匹配，寻找运动目标出现的位置。目前，运动目标检 测和跟踪技术在计算机视觉、智能视频监控、交通管理自动监控、人体检测与跟踪等方 面有着极为普遍的应用。 本文对固定摄像机采集的视频图像序列进行了运动目标检测和跟踪的研究，主要工 作如下： 第一，对成像设备采集的视频序列进行了预处理，包括图像颜色空间转换，图像去 噪和图像增强。通过这些操作，改善图像的质量，使图像更加易于辨识，提高运动目标 检测的准确性。 第二，在运动目标检测方面，分析比较了传统的运动目标检测方法。在此基础上， 研究了一种将帧差法和背景差法相结合的运动目标检测算法，并对检测结果辅以数学形 态学处理，得到轮廓清晰的运动目标。 第三，将实时预测模型引入到目标跟踪的过程，利用二次多项式拟合运动轨迹法预 测目标在下一帧图像中的位置坐标，然后在以预测位置为中心的一定窗口范围内搜索匹 配目标，实现目标的跟踪。该方法减小了匹配过程需要处理的数据量，提高了目标的跟 踪速度o 最后，采用样条曲线拟合目标的位置坐标数据点，获得运动目标在视频图像序列中 的运动轨迹。进一步分析了目标的运动速度，提出了一种对视频图像序列选择采样间隔 的规则，解决了提取目标速度精度低的问题。 本文算法对视频图像序列中刚体和非刚体目标的检测和跟踪均获得了较好的实验 结果，证明了本文方法的有效性。 关键词：视频序列；运动检测；目标跟踪；轨迹拟合；速度提取 大连理工大学硕士学位论文 m o v i n go b je c td e t e c t i o na n dt r 句e c t o 巧a m a l y s i s a b s t r a c t w i mt h er a p i dd e v e l o p m 肌to fn e 觚o r kt e c h n 0 1 0 9 ya n dm u l t i m e d i at c c h n o l o g y ，i l i l a g e i 1 1 f o m a t i o n 锄d e a r si t s e l ft om ep e o p l eb yi t sf 0 n no fv i v i d i l e s sa n di n t u i t i o n c o m p a r e d 谢t l l s t a t i ci m a g e ，m o r ea b u i l d a n ti n f o m l a t i o ni sp r o v i d e dw i t hv i d e 0s e q u e l l c 懿o fr n o 讥n go b j e c t t h e r e f o r e ，m o v i n go b j e c ta i l a l y s i sb a s e do n 访d e os e q u e l l c e sb e c o m e sah o t s p o th l v i d e 0 r e s e a r c h a sab a s i cl i n ki nt h ef i e l do fc o m p u t e rv i s i o n ，m o v i n go b j e c td e t e c t i o na n d 仃a c k i n g a r er e f 酾励t os 印a r a t i n gt h em o v i n go b j e c tw h i c hi si n t e r e s t e df b mt h eb a c k 黟0 1 1 1 1 d ，a n d c 0 n - e s p o n d i n gm a t c h i n gp r o b l 锄sa r ee s t a b l i s h e db a s e do no b j e c t sf e a t u r e si nm ec o n t i n u o u s i m a g e si i lo r d e rt 06 n dt l l eo b j e c t sp o s i t i o n n o w a d a y s ，m o v i n go b j e c td e t e c t i o na n dt m c k i n g a r ew i d e l yu s e di nc o m p u t e rv i s i o n ， i m e l l i g e n tv i d e os u e i l l a l l c e ，a u 幻m a t i c 仃a 维c m a n a g e m e n t ，h 啪a nd e t e c t i o na n ds oo n i i lt h i sp a p e r ，w er e s e a r c ho nt h em o v i n go b j e c td e t e c t i o na n dt n c k i n gi nv i d e o s e q u e n c e sc 印t u r e db yaf i x e dc a m e r a t h em a i nt a s k sa r ea sf o l l o w s ： f i r s t l y v i d e os e q u e n c e sc a p n l r e db yi m a 酉n ge q u i p m e n ta r ep r e p r o c e s s e d ，i n c l u d i n g c o n v e r s i o n so fi m a g ec o l o rs p a c e s ，i m a g ed e - n o i s i n ga i l di m a g ee i l l l a l l c i n g t h r o u 曲m e s e o p e r a t i o n s ，t h ei m a g eq u a l i t yi si m p r o v e d s ot h a tt l l ei m a g e sa r ee a s i l yi d e l l t i f i e da n dm e a c c u r a c yo f m o v i n go b j e c td e t e c t i o ni si m p r o v e d s e c o n d l y ，i nt e m l so fm o v i n go b j e c td e t e c t i o n ，m et r a d i t i o n a lm e m o d so fm o v i n go b j e c t d e t e c t i o na r ca i l a l y z e da n dc o m p a r e d o n “sb a s i s ，am e t h o dw h i c hi sac o m b i n a t i o no f 丘锄ed i 日h e n c ea n db a c k 伊o u n ds u b t r a c t i o ni sd i s c u s s e d m a t h e r l l a t i c a l m o 叩h o l o g y p r o c e s s i n gi ss u p p l i e dt ot h er e s u l ta n dm em o v i n go b j e c tw i m ac l e a ro u t l i n ei so b t a i n e d 1 1 1 i r d l y ，ar e a l t i m ef o r e c a s t i n gm o d e l i si n 饥) d u c e dt om ep r o c e s so fo b j e c t 仃a c l ( i n g ，m e o b j e c t sp o s i t i o ni nt h en e x t 矗a m ei se s t i m a t e db yq u a d r a t i cp o l y n o m i a l t h e nm eo b j e c ti s s e a r c h e dw i m mac e r t a i nw i n d o ww h i c hm a k e st h ep r e d i c tv a l u ea sm ec e l l t e r 锄dt h eo b j e c t 昀c k i n gi sa c c o m p l i s h e d t h i sm e t h o dr e d u c e st h em a t c h i n gc o n l p l e x 毋a i l di m p r o v e dt h e 仃a c k i n gs p e e d f i n a l l y ，1 eo b j e c t st r 旬e c t o 巧i so b t a i n e db yf i t t i n gt h eo b j e c t sp o s i t i o n su s i n gs p l i n e c u e f u n h e r m eo b j e c t ss p e e di sa n a i y z e da n dar u l eo fs 锄p l i n gt h ev i d e os e q u e n c e si s p r e s e n t e dt 0s o l v et h el o wp r e c i s i o no f t h em o v i n go b j e c t ss p e e d e x p e r i m e n t a ir e s u l t ss h o wt h a tt h i sm e t h o dc a ne f f e c t i v e l yd e t e c ta n dt r a c k 订g i do b j e c t a n dn o n r i g i do b ! i e c ti nv i d e os e q u e n c e s 一i i i 运动目标检测及运动轨迹分析 l ( e yw o r d s ：v i d e os e q u e n c e s ；m o t i o nd e t e c t i o n ；o b j e c tt r a c k l n g ；t h et r a j e c t o r y ； s p e e de t r a c t i n g i v 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 运动国，筮趁f 到区劢皱建佥抽 作者签名：盎盛日期：2 鲤年生月盟日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 作者签名： 导师签名： 日期： 年刊月节日 大连理= r 大学硕士学位论文 1绪论 1 1课题背景与研究意义 随着数字网络技术的飞速发展，视频图像成为信息传递的重要载体。视频图像序列 所包含的大量的、丰富的运动信息引起了人们极大的兴趣。尽管人的眼睛可以直接从视 频图像序列中分辨运动的物体、提取运动的信息，但是仅仅依靠人类的自然智力来获取 和加工运动信息已经无法满足社会发展的需求。用计算机视觉替代人类视觉，从图像序 列中提取、分析和理解运动信息成为现代科研领域的一个热门方向。视频图像序列中的 运动目标检测和跟踪作为计算机视觉运动分析的基础和关键环节，在理论研究和实际应 用中都具有十分重大的价值。 视频图像序列的运动目标检测是对底层视频信息的分析，运用数字信号处理技术， 去除图像序列的背景，提取出人们所关注的前景运动目标及其携带的运动信息，它是实 现目标跟踪和目标分类的基础。在许多情况下，图像处理过程只考虑运动的物体。因此， 准确地实现运动目标检测具有重要的意义。运动目标跟踪是在连续的图像间建立基于目 标位置、形状、颜色、纹理等特征的对应匹配的问题，并在后续图像中标记出目标出 现的位置，它为运动目标的行为理解和运动分析提供数据支持。在技术方面，运动目标 检测和跟踪涉及了图像处理、模式识别、人工智能等诸多领域。目前，运动目标检测和 跟踪技术被广泛应用在军事侦察、机器人视觉、安全检测、交通监控管理、医疗诊断、 气象探测等方面【列。 视频运动分析发展至今，产生许多运动目标检测与跟踪的算法，但绝大多数的算法 是针对具体的场景提出的，在通用性方面存在一定的局限性。实际场景是复杂的，天气、 光照条件的变化，伴随运动目标的阴影，其他物体的移入和移出，目标间的相互遮挡以 及对算法实时性的要求等，都造成了运动目标检测和跟踪的困难。所以，研究稳健准确 且高性能的运动目标检测和跟踪算法仍然是一个富有挑战性的课题。 1 2 课题的研究现状 1 2 1 目标检测算法研究现状 视频图像序列是运动目标时问信息和空间信息的集合，根据目标检测算法所利用信 息的不同，可以分为时域检测方法、空域检测方法以及时空联合检测方法。 时域检测方法利用时序特性从视频图像序列中提取变化的区域，通过对该区域的后 处理( 如消除噪声点、平滑边界等) 得到运动目标。1 9 8 0 年，h o m 和s c h u n c k 提出了 运动目标检测及运动轨迹分析 光流场【3 】的计算，通过估计图像运动场，合并相似运动矢量实现运动目标的检测。在估 计光流的算法中，n a g e l 【4 】采用二阶导数法；l u c a s 和k a n a d e 【5 】使用加权最小二乘法。背 景减法是常用的运动目标检测算法，其技术难点是构建鲁棒的背景模型。例如， h a r i t a o 西u 【6 】等为像素点建模时采用了最大强度值，最小强度值以及最大时间差值； b r a n d t 【7 1 使用自适应的混合高斯背景模型；侯志强，韩崇昭【8 】提出基于像素灰度归类的背 景重构算法；e l g a m m a l 【9 】等提出了基于无参数模型的构建背景图像法等。帧差法对动态 环境的适应性好，对运动目标的敏感性较高。d u b u i s s o n 【1 0 】利用三帧图像计算两个差分 再求和检测运动目标。 空域检测方法根据图像自身的信息，运用图像分割技术提取目标轮廓信息。主要算 法有：根据图像特征将图像划分为互相独立区域的基于区域信息的检测算法；将图像中 的边缘点按一定的策略连接成轮廓的基于边缘信息的检测法；用形态学运算消除孤立点 和区域内部空洞，获得目标对象的基于形态学的检测算法；用参数描述目标轮廓线，同 时定义轮廓线能量函数的基于主动轮廓模型的检测算法。通常情况下，空域检测算法的 计算量大，实现困难。 时空联合检测方法结合运动目标的时域信息和空间信息来检测运动目标。空域检 测方法无法确定目标位置的问题，可以通过时域信息得到解决；而时域检测方法难以准 确定位目标边缘的不足，在空域信息的辅助下得到弥补。因此，该算法能获得位置准确、 轮廓清晰的运动目标。 1 2 2 目标跟踪算法研究现状 在二十几年的发展历程中，运动目标跟踪算法的分类方式较多，如根据目标的个数， 分为单目标跟踪和多目标跟踪；根据摄像机的情况分类，有摄像机运动的目标跟踪和摄 像机固定的目标跟踪，单摄像机的目标跟踪和多摄像机的目标跟踪等等。此处，本文只 介绍几种常见的目标跟踪算法： ( 1 ) 基于区域的跟踪 基于区域的跟踪首先提取含有运动目标的模板，然后在后续图像序列中，运用相似 性度量函数进行模板匹配，确定运动目标所在的位置。w r e n 等人【】将人体分为头、躯 干和四肢等几个区域分别进行跟踪。通常基于区域的目标模板含有较多的目标信息，在 某些场合能获得较好的跟踪结果。但是随着目标搜索区域的增大，算法耗时现象严重； 当日标出现遮挡或自身发生形变时，会导致目标足醍踪丢失【l2 1 。 ( 2 ) 基于目标模型的跟踪 大连理工大学硕士学位论文 利用目标的形状或表象信息预先建立一个目标的先验模型( 结构模型和运动模型) ， 根据实际的图像序列，确定目标的瞬时运动参数，从而达到跟踪的目的。基于2 d 3 d 的 模型以及基于视角的模型是使用较多的目标建模方法。 在实际的跟踪过程中，常采用运动目标的3 d 模型。z h u 在v i s a t r a m 【1 3 】系统中用 长方体的车辆模型来跟踪车辆。n i c k e l s 【1 4 】在立体空间实现了对机械手的运动跟踪。3 d 模型的跟踪方法能分析目标的三维运动情况，但是预先获得目标的精确几何模型成为该 算法实现的难点。基于视角的模型用目标不同视角的图像来描述运动目标，克服了运动 目标三维建模的困难。m a t s u m o t o 等【”】用其对车辆道路建立了一个“v i e ws e q u e i l c e ”模 型。在跟踪人的运动过程中，h 硪i o a 鲥6 j 使用了投影模型。 ( 3 ) 基于运动估计的跟踪 该方法利用目标的运动规律，估计下一帧图像中运动目标的位置，缩小目标在图像 中的搜索范围，实现运动目标的跟踪。 基于光流的跟踪算法，计算光流场得到图像像素点的运动场，从而引导下一步的跟 踪。特征点光流法计算特征匹配得到光流矢量，克服了全局光流法计算量大的缺点。但 光流法的孔径问题和遮挡现象会造成二维运动场的解不稳定【1 7 】。对于线性的目标运动， 可以利用k a l m a i l 滤波器估计目标在下一帧的位置。扩展的k a l m a n 滤波器可以预测非 线性运动的目标位置。当图像中的噪声不能假设为高斯噪声时，i s a r d 等【1 8 】提出了粒子 滤波算法，用随机样本描述概率分布，通过调节随机样本的权值以及样本的位置来近似 实际的概率分布，用样本的均值表示系统的估计值。 ( 4 ) 基于特征的跟踪 基于目标特征的跟踪方澍1 9 】使用目标的某个或某些特征作为特征模板，在后续图像 中利用相关算法寻找目标特征匹配的最佳位置。这种跟踪方法可以解决目标存在部分遮 挡的问题。其难点是特征的选择，若选取较少的特征，容易造成目标的误匹配；反之， 会降低系统的效率。j a l l g 和c h o i 【2 ( ) 】采用区域的形状、纹理、色彩等特征信息完成运动 目标的跟踪。 ( 5 ) 基于动态轮廓的跟踪 基于动态轮廓的跟蹦2 l 】用目标的边界轮廓来进行跟踪，并且连续地更新边界轮廓。 这种方法提取了目标的形状，所以提供了对目标更有效的描述。但是其跟踪精度被限制 在轮廓级。p a r a g i o n s 和d 甜c h e 【2 2 】用短线程的活动轮廓跟踪多个目标。 随着计算机硬件的发展，对采用运动目标检测和跟踪技术进行视频监视的系统的研 究也取得了一定的成果。1 9 9 7 年美围国防高级研究项目署( d e f e n s ea d v a l l c e dr e s e a r c h p r o j e c t sa g e n c y ) 联合卡内基梅隆大学( c 锄e g i em e l l o nu n i v e r s i t y ) 、麻省理工学院 运动目标检测及运动轨迹分析 ( m a s s a c h _ u s e t t s 1 1 1 s t i t u t eo ft e c h n o l o g y ) 参与研制的视频监控系统v s a m ( v i s u a l s u r v e i l l a i l c ea n dm o n i t o d n g ) 【2 3 】，利用时域三帧差分法和自适应背景减法的结合实现运动 目标的检测，通过自适应模板匹配的方法实现运动目标的跟踪，使用颜色和形状对目标 进行分类和识别，v s a m 系统能够在野外或战场等复杂环境下对人、车等的行为进行监 控；w 嗽1 等利用颜色和形状特征对行人进行跟踪的p f i n d 0 2 4 】实时系统；基于室外的实 时视觉监视系统w 4 ( w h 0 7 w h e i l ? w h e r e ? w h a 口) 【6 】，通过外形分析检测人是否携带物 体等行为，该系统可用于目标遮挡的环境中；英国雷丁大学( u n i v e r s 埘o f r e a d i n g ) 研 究了车辆和行人的跟踪及其交互作用的识别；i b m 与m i c r o s o r 等公司研究应用于商业 领域中的基于视觉的手势识别接口；c m u 和s 锄o f ：f 公司研究的在大范围场景内多摄像 机的监控系统【2 5 1 ，对复杂环境中的人和车辆进行检测和跟踪；2 0 0 4 年，雷丁大学与法 国i n r i a 等研究机构实施的机场智能监控项目a v i t r a c ，能够对停机坪场景进行监控 和异常行为检测与报警等。 在视频运动分析领域，国内的研究人员也对相关方面做了深入的研究。2 0 0 2 年5 月和2 0 0 3 年1 2 月，中科院自动化研究所模式识别国家重点实验室在北京承办了两届“全 国智能视频监控学术会议”，探讨了视频监控领域中的理论、算法和应用实例等一系列 问题。该实验室在交通场景的视频监控、人的运动视频监控和行为模式识别等方面作了 深入的研究，并自行设计了一个拥有完全自主版权的交通监控原型系统v s t a r s u a l s u r v e i l l a l l c e s t 0 2 6 】。其他一些高校也丌展了运动目标检测和跟踪技术的研究，西安电子 科技大学电子工程学院模式识别与智能控制研究所，华中科技大学图像识别与人工智能 研究所等【2 1 。 1 3 研究难点与发展趋势 尽管运动目标检测和跟踪技术在研究和应用方面取得了很大的进步，但是该领域仍 是一个未成熟的研究方向，有待解决的问题如下： ( 1 ) 视频图像序列中场景的环境十分复杂，各方面的因素对目标检测和跟踪的准 确性产生不同程度的影响。例如，现场光照条件的改变( 晴天、阴天等) ，背景物体的 微小重复运动( 摇动的树叶等) ，场景中固定物体的移去或增加，前景运动物体的阴影， 目标间的相互遮挡、前景物体和背景物体纹理、颜色等的相似问题，都是运动目标检测 和跟踪过程中需要考虑的问题。 一4 一 大连理工大学硕士学位论文 ( 2 ) 现有的许多检测和跟踪算法都是针对具体的应用场景提出的，没有能够普遍 适用的算法。同时没有形成对目标检测和跟踪算法的检验和评价标准，大部分算法的性 能评价都是基于各自的视频序列的实验效果之上。 ( 3 ) 针对视频处理系统数据处理时问短、可靠性高的要求，运动目标检测和跟踪 算法需在算法的复杂度、可靠性以及实时性等方面作出平衡性择。 ( 4 ) 如何有效地利用成像设备采集的大量的视频流数据，减少检测和跟踪过程处 理的图像数据量，提高视频运动分析的实效性。 针对各种运动目标检测和跟踪方法存在的缺陷，该领域未来的发展趋势有以下几个 方面： ( 1 ) 合理地对视频图像序列进行采样，加强图像信息的有效利用；增强视频图像 序列预处理和后处理的能力，使图像更易于分辨，提高运动目标检测的效果。 ( 2 ) 对现有检测和跟踪算法的改进及结合使用，新算法的研究重点应转向像素的 某种时空关系特征，建立基于特征的分布模型。 ( 3 ) 研究运动目标检测过程中去除目标阴影的算法，以及目标跟踪过程中解决运 动目标遮挡的方法，未来的技术趋势应多考虑相邻像素的相对值和相邻像素分布的相互 关系。 ( 4 ) 对于室外复杂场景的背景建模问题，多摄像机融合以及全景摄像机的背景建 模方法值得做进一步的研究。 1 4 本文内容安排 本文对基于视频图像序列的运动目标检测和跟踪算法进行了研究，在对传统算法深 入分析的基础上，重点研究了一种将帧差法和背景减法相结合的运动目标检测算法。从 提高运动目标跟踪速度的角度出发，采用基于多项式拟合运动轨迹的目标位置预测算法 实现目标跟踪，并拟合坐标数据得到运动轨迹。进一步提出分析目标运动速度的图像序 列采样规则。针对固定摄像机采集的两组视频图像序列( 运动目标分别为刚体和非刚体) 进行了实验。通过实验证实了本文方法的可行性。 本文共分为五章，具体安排如下： 第一章：绪论。这一章论述了课题的选题背景与研究意义，介绍了国内外关于视频 图像序列中运动目标检测和跟踪技术的研究现状，分析了该领域存在的技术难点以及未 来的发展趋势。 运动目标检测及运动轨迹分析 第二章：视频图像预处理。本章主要介绍视频图像预处理的相关内容，包括图像不 同颜色模型的表示和转换、均值滤波和中值滤波两种图像去噪方法、图像增强空域法中 的直方图均衡化算法，为下一步的运动目标检测做好准备工作。 第三章：运动目标检测。首先对传统运动目标检测方法：光流法、帧差法和背景减 法进行了理论学习，进而研究了一种将帧差法和背景减法相结合的运动目标检测算法。 本章还涉及到图像二值化和形态学处理的相关内容，以改善运动目标检测的效果。 第四章：运动目标跟踪。这一章从运动目标跟踪的过程入手，研究了目标特征提取 和特征匹配技术，讨论和比较了基于区域特征和基于预测算法的运动目标跟踪方法。用 基于二次多项式拟合运动轨迹的方法，实时预测目标运动位置，完成对运动目标的跟踪。 第五章：运动轨迹拟合和运动速度分析。详细介绍了三次样条插值函数的原理及运 算过程，并用其拟合目标位置坐标数据点，获得目标的运动轨迹。针对提取的运动目标 速度精度低的问题，提出一种视频图像序列的采样规则。 最后，总结了本文所做的工作，提出今后工作的方向和重点。 一6 一 大连理工大学硕士学位论文 2 视频图像预处理 对视频序列分析的第一步是图像预处理。图像预处理的主要目的是消除图像中无关 的信息，恢复有用的信息，增强相关信息的可检测性以及简化图像数据，从而提高图像 序列运动目标检测的可靠性。本章主要介绍图像预处理中的颜色空间变换，图像消噪以 及图像增强三种操作。 2 1颜色模型 使用红、绿、蓝三种颜色可以生成其他的颜色，这些颜色就定义了一个色彩空间， 并且色彩空间不是唯一的。颜色模型是使用一组值( 通常使用三个、四个或者颜色成分) 表示颜色方法的抽象数学模型。例如，应用于纯理论研究和计算推导的计算机颜色模型 ( 或色度学颜色模型) ，包括r g b 、x y z 、l c h 、l a b 、u c s 、i w ；侧重于实际应 用实现技术的工业颜色模型r g b 、y u v 、y i o 、c m y k 、y c b c r ；用于与人直接接口和 控制的视觉颜色模型，主要有h s 木系列的h s l 和h s v ( b ) 。其中，r g b 和h s v 是数字图像 处理中常用的颜色模型。 2 1 1r g b 颜色模型 r g b 颜色就是常说的三原色，尺代表红色( 波长7 0 0 0 m ) ，g 代表绿色( 波长 5 4 6 1 n m ) ，b 代表蓝色( 波长4 3 5 8 咖) 。自然界中人眼所能感知的任何颜色都可以由 这三种色彩混合而成。计算机定义尺、g 、b 三种颜色的取值范围是0 2 5 5 ，o 表示没有 刺激量，2 5 5 表示刺激量达到最大值。尺、g 、b 都为2 5 5 时就形成了白色，都为0 时就 形成了黑色，当三种颜色以不同的比例叠加时将得到不同的颜色。在显示屏上显示颜色 定义时，往往采用这种模式。 如图2 1 所示，r g b 颜色模型采用单位立方体来表示。3 个坐标轴分别代表红、绿、 蓝，坐标原点代表黑色，坐标点( 1 ，1 ，1 ) 代表白色。用坐标轴上的顶点代表三个基色，而 余下的顶点则代表每一个基色的补色。 本文中由普通彩色c c d 摄像机拍摄的视频图像序列就是基于r g b 颜色模型的。 2 1 2h s v 颜色模型 h s v 颜色模型是1 9 7 8 年由a l v yr a ys m i t h 创立的，它是根据色彩的三个基本属性： 色相( h u e ) 、饱和度( s a t u r a t i o n ) 、亮度( v a l u e ) 来确定颜色的一种方法。色相( 日) 就是平常所晚的颜色名称，如红、橙、黄、绿、蓝等色彩，色相不受色彩的鲜艳、明暗 运动目标检测及运动轨迹分析 所影响。饱和度( s ) 是指色彩的纯度，即同一色相的色彩中掺杂白色的比例。亮度( 矿) 用于表示色彩的明暗程度。 蓝 图2 1r g b 颜色模型 f i g 2 1 r g bc 0 1 0 r m o d e l h s v 颜色模型对应圆柱坐标系中的一个圆锥形子集，如图2 2 所示。在这个圆锥形 子集中，日取o 3 6 0 度的数，s 和y 取值都在o 和l 之间。圆锥的顶面对应于y = l ，它 包含r g b 颜色模型中的尺= l ，g = 1 和b = l 三个面，所代表的颜色较亮。色彩日通过 绕v 轴的旋转角确定，角度o 。对应于红色，角度1 2 0 0 对应于绿色，角度2 4 0 0 对应于蓝 色。在h s v 颜色模型中，每一种颜色和它的补色相差1 8 0 0 。在圆锥的顶点处，y = 0 ， 日和s 无定义，代表黑色。圆锥的顶面中心处代表白色，此时s = o ，y = 1 ，日无定义。 从顶面中心点到原点代表亮度逐渐变暗的灰色，即具有不同灰度的灰色。对于这些点， s = o ，h 的值无定义。在圆锥顶面上，矿= 1 ，s = 1 ，这种颜色是纯色。 在图像处理过程中有时需要进行颜色模型间的转换，这将有利于提取目标图像的有 效特征。 采用三角形模型【2 7 】计算r g b 到h s v 的转换： 矿= ( 尺+ g + b ) 3 ( 2 1 ) ( 1 )b 最小时： 大连理工大学硕士学位论文 ( 2 ) r 最小时： ( 3 ) g 最小时： 日： g 二垒 3 ( ，一曰) 何： 墨二墨 3 ( j 一只) 日： 墨二堡 3 ( ，一g ) v c -1 b ) = l 一一 i o1 口 o2l 一 i s ：1 一旦 l 圈 ，i 、 图2 2h s v 颜色模型 f i g 2 2h s vc o l o rm o d e l 从h s v 到r g b 的转换公式如下： 日，：眦c o sq ：! 兰【终二鱼! ! 墨= 剑 ( r g ) 2 + ( r g ) ( g b ) fh ， r g 月2 t 3 6 0 日，b g o m a x ( 尺，g ，b ) 一m i n ( 尺，g ，曰) m a x ( 尺，g ，b ) 矿：堡垒兰! 垒! 堡! 皇1 2 5 5 9 s ( 2 2 ) ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) ( 2 8 ) 2 1 3 灰度图像 在计算机领域中，灰度数字图像是每个像素只有一个采样颜色的图像。这类图像通 常显示为从最暗黑色到最亮白色的狄度在黑色与白色之间有许多级的颜色深度。用于 显示的灰度图像通常用每个采样像素8 位的非线性尺度来保存，这样有2 5 6 级灰度。 这种精度能够避免可见的条带失真，并且易于编程。 数字彩色图像转换成灰度图像的转换公式为： g 删= 0 2 9 9 且+ o 5 8 7 x g + 0 1 1 4 x 口 ( 2 9 ) 通过公式( 2 9 ) 计算出g r 4 y 后，将原来r g b 中的三种颜色分量都用g 向替换， 形成相应的莸度图像。 对c c d 采集的彩色视频图像序列的存储和处理需要占用大量的计算机资源，所以 本文将r g b 图像转换为灰度图像进行处理。图2 3 为视频序列中某一帧彩色图像获度 化的结果。 凹23 幽像灰度化结果 随2 3 i m a g e ”n g 1 t 22 图像去噪 图像在生成和传输过程中会受到一些噪声的干扰这些噪声主要由摄像机的抖动、 图像数字化、光线抖动等产生，噪声会使图像质量降低，对图像的后续处理产生不利的 影响。为了控制图像噪声，提高运动目标检测结果的准确性，必须对图像进行去噪处理。 常用的图像去噪方法有：高斯滤波、中值滤波、小波变换和d c t 变换滤波、双边滤波、 非局部平均滤波等。本文从时问复杂度低的角度出发，主要讨论扶度图像的均值滤波和 中值滤波算法。 +0 f 秘阁零簟 大趣工大学硕士学位论文 2 2 1 均值滤波 均值滤波伫8 慵于线性滤波算法，它在图像上给日标像素一个模板，该模板以目标像 素为中心，包括了其周围临近的8 个像素。然后用模板中所有像素的平均值代替目标像 素的值。 对图像，( j ，n 用模板r 作均值滤波处理后得到图像，( t y ) 为： 讹y ) = 古巾，j ) ( 2 1 0 ) ”l j j k r 式中，是模板中包含的像素总数。 对一幅含有噪声的图像，我们分别取3 3 、5 5 、7 7 的矩形窗口作均值滤波消噪实验， 其结果如图2 4 所示。 a ) 含噪声图像( b ) 3 3 均值滤波结果 c ) 5 5 均值滤波结果 幽21 ( d ) 7 x 7 均值滤波结果 均值滤波结果 譬习剐。：磁网一乏娜叠 _ 饕 t晏f，鼍曩。蘸羹纂=，。鲰熙震|l鑫型烈鍪誓霹露警 嚣荔 ；盘，；一蘩赋誉 运动目标检涮及运动轨斑分析 从实验结果可以看出，当选择的窗口尺寸越大时，图像抑制噪声的效果越好，但图 像的模糊程度也越高。为了维持图像的清晰度，同时保证图像去噪的效果，选择窗口尺 寸为5 5 的均值滤波。 22 2 中值滤波 中值滤波”1 是一种能有效抑制图像噪声的非线性信号处理技术，由图基( 1 曲) 在1 9 7 1 年提出，其原理是将数字图像中某一点的值用该点邻域中各点的中值替代。通 常我们选择个含有奇数个像素点的活动窗口，窗口形状可以是方形，线形，近似圆形 或十字形。 中值滤波的实现方法分为两个步骤： ( 1 ) 取图像中某个采样窗口中的奇数个数据进行排序： ( 2 ) 用排序后数据序列的中值代替窗口中要处理的数据。 a ) 肯噪卢刚像( b ) 3 3 中值滤波结果 c ) 5 s 巾值滤波结粜( d ) 7 7 ，俏沾波 小 附25 中值滤波结果 2 5m e d i m 日m m n s 墓i 隰露l _黎鎏；攀一 簟j 黪。 o鹾鼹矿基一斜； 曩圈熙。，豢 曝盈霞_。 搿ifii景 “匿罄警 大连理工大学硕士学位论文 图2 5 中，对一幅含有噪声的图像，我们分别取3 3 、5 5 、7 7 的矩形窗口作中 值滤波消噪实验。 比较图2 5 的中值滤波结果，我们可以看到，中值滤波的去噪性能与所选取的窗口 尺寸有关。当选择较小的滤波窗口时，中值滤波抑制噪声的能力较低，图像的去噪效果 差，但是保留了图像中的细节；当选择较大的滤波窗口时，中值滤波抑制噪声的能力增 强，但是图像会丧失部分细节信息，有时会滤去一些细线、尖锐边角等。因此，中值滤 波在抑制图像噪声和保护图像细节方面存在一定的矛盾。为了兼顾抑制图像噪声和保护 图像细节，选择窗口尺寸为5 5 的中值滤波为宜。 综合比较均值滤波和中值滤波的结果可以看出，均值滤波去噪的效果较好，但是为 了便于准确提取运动目标的特征，应该更多的考虑保护图像的细节信息。因此，本文选 择窗口尺寸为5 5 的中值滤波对视频图像序列进行噪声消除处理。 2 3 图像增强 视频图像序列经过消噪处理后，可能会引起图像质量的退化，本节我们将研究图像 的增强处理，用以改善图像的视觉效果，突出我们感兴趣的图像部分，便于计算机的分 析、处理。 图像增强技术不考虑图像质量下降的原因，而是将原来不清晰的图像变得清晰或强 调某些感兴趣的特征，加强图像判读和识别的效果。图像增强技术可分成空域法和频域 法，空域法是以灰度映射变换为基础的，针对各个像素点的操作；频域法对整个图像在 某个变换域内进行操作。为了满足图像处理系统实时性的要求，本文采用空域内的直方 图修正法做图像增强处理。 灰度直方图表示数字图像中灰度级与其出现频率的对应关系。设具有个灰度级的 数字图像的像素总数为，其中属于灰度级七的像素有仇个，则第七个灰度级出现的概 率为： 胪专 拈0 ，1 卜1 ( 2 1 1 ) 直方图均衡化处理的思想是将原始图像的灰度直方图从比较集中的某个灰度区间 变成在全部灰度范围内的均匀分布，这样通过增加像素灰度值的动态范围，达到了增强 图像整体对比度的效果。 图像直方图均衡化的具体过程是1 3 0 j ： ( 1 ) 计算原始图像的扶度直方图。厂，表示厌度级，z ，表示各灰度级的像素数日 ，= o ，l ，七，l 一1 ，其中是狄度级的个数。 ( 2 ) 计算原始图像直方图各灰度数的频度p ，( ) = 鲁，其中j = 0 t 1 ，t ，工一1 ”为原始图像的像素总数。 ( 3 ) 计算累计分布函数f ( ，) = 毋( ) ，= 0 ，1 ，t ，一1 。 p a 霹妇型 a ) 原1 璺| 像( b ) 直方刨均衡化处理后的幽像 圈26 直方凹均衡化效果 尉g2 6e f 妇b o f h t s 叫羿me q u a h 拍t l ( c ) 原图像的直方图( d ) 均衡后削像的商方蚓 幽2 7 均衡前、后甑方幽比较 n g27c 咖p b r i f h i s t o 剐b e f m 姐da r 盯曲u i l i b r i u m 瑚 唧 呦 呦 舢 揶 。 大连理工大学硕十学位论文 ( 4 ) 应用下式计算映射后的输出图像的灰度级，f = 0 ，l ，后，p l ，p 表示 输出图像灰度级的个数： g f = 姗( g m 默一g m i n ) f ( 厂) + g m i n + 0 5 】 ( 2 1 2 ) 式中，n 口为取整符号。 ( 5 ) 计算映射后图像的灰度直方图。 ( 6 ) 用厂，和毋的映射关系修改原始图像的灰度级，从而获得直方图近似均匀分布 的输出图像。 图2 6 中，图( b ) 对应图( a ) 灰度均衡化的结果，可以看出图像的细节部分更加 清楚了，图像各灰度等级的比例也平衡了，如图2 7 所示。 运动目标检测及运动轨迹分析 3 运动目标检测 由于图像后续处理过程更多考虑的是图像中对应于运动区域的像素，因此运动目标 的检测在视频图像处理中是非常重要的一步。但是由于现实环境的复杂性，给准确地进 行运动目标检测带来了极大的困难。一个好的运动目标检测算法应具备以下特点： ( 1 ) 能适应各种天气和环境光线的变化； ( 2 ) 对场景中个别物体的运动干扰具有鲁棒性： ( 3 )能够处理杂乱的大面积区域运动以及场景内目标的叠加。 3 1 传统的运动目标检测方法 3 1 1 光流法 光流法川利用灰度梯度不变或亮度恒定的约束假设来检测运动目标。图像上点 ( x ，j ，) 在f 时刻的灰度值为( z ，y ，f ) ，在f + 缸时刻运动到 + 缸，y + 缈) 处的灰度值为 厂( x + 越，y + 知，f + f ) ，假设同一点的狄度不变，即 厂( z + 缸，j ，+ 缈，f + f ) = ( x ，y ，f ) ( 3 1 ) 用泰勒公式将式( 3 1 ) 左边展开，得： 厂( 五y 力+ 鬈蔷+ 考詈+ 篆+ 。( 出2 ) = ( 五y 力 ( 3 2 ) 式中用d ( 出2 ) 代表阶数大于或等于2 的高阶项，令 譬：“( ，f ) ( 3 3 ) = “l x ，y ，f l l j j j 譬= v ( 训，f ) ( 3 4 ) 将( 3 3 ) 和( 3 4 ) 代入式( 3 2 ) 中，忽略d ( 出2 ) ，化简等式，得到光流约束方 程： 笪“+ 笪1 ，+ 望：o( 3 5 )上“+ _ 二l 1 ，+ 二，_ = 0( 3 b ) a x 动 己t 对每一个像素点，光流约束方程含有两个未知数，无法计算出图像中某一点的速度 流。对此人们提出了许多约束条件和计算方法与光流约束方程联立进行计算，如匹配法、 微分法、频域法和马尔可夫随机场方法等。 大连理工大学硕士学位论文 光流法可以在不需要预先知道场景任何信息的情况下，检测独立运动的目标。但是 光流法的计算复杂耗时，除非有特殊的硬件支持，否则很难实现运动目标的实时检测， 从而导致光流计算法在实际应用中受到限制。 3 1 2 帧差法 比较视频序列相邻图像帧可以发现，若场景中没有运动目标，则相邻图像对应像素 的变化很小；若场景中存在运动目标，相邻图像相应位置处的像素会有较明显的变化。 帧差法【3 2 1 正是利用了图像序列的这一特性进行运动物体的检测。 图3 1 是帧差法检测运动目标的流程图： 图3 1 帧差法流程图 f i g 3 1 f l o wc h a r to ft e l 】砷m ld i 佰玎e i l c i l l g 视频序列中第尼帧图像五( x ，j ，) 和第七一l 帧图像以一。( x ，y ) 间的差分图像d ( 石，y ) ， 可表示为： d t l ( x ，j ，) = l 以( 石，y ) 一以一l ( 工，y ) l ( 3 6 ) 用阈值r 对图像进行分割，得到二