（信息与通信工程专业论文）动摄像机情况下目标检测及轨迹分析.pdf

国防科学技术大学研究生院硕+ 学位论文 摘要 运动目标检测是智能视频监控中研究热点问题之一，是识别、跟踪、行为分 析等高层研究的基础问题。对于视频监控任务，摄像机通常是静止的，背景模型 已知，目标检测相对容易。背景模型估计和背景差技术在这种情况中得到广泛应 用。当摄像机运动时，由于摄像机导致了背景运动，运动目标检测任务变的更有 挑战性。机器人导航、自动车辆驾驶技术以及航空拍摄图像中的目标检测，由摄 像机获得的图像不可避免地存在着不规则的背景运动，因此传统的静止背景图像 序列的目标检测技术无法在此应用。 针对这种问题，本文对动摄像机情况下的运动目标检测进行了研究，提出了 一种基于s i f t 特征匹配和动态背景建模的运动目标检测算法。在研究中发现，s i f t 特征点具有很好的特性，对图像的旋转、尺度缩放、亮度变化、仿射变换保持彳i 变性，在图像匹配中具有良好的性质。该算法能够用s i f t 匹配结果准确确定仿射 模型参数，解决了由摄像机运动产生的连续背景运动的问题。用r a n s a c 算法剔 除出现目标上的错误特征对应点，采用背景动态更新模型的背景差算法检测出了 完整的前景目标，同时进行阴影和鬼影的去除。文中采用运动历史图的算法对运 动目标进一步的研究，获得了运动目标的一些运动属性，加深了运动目标的运动 状念的了解。 、 本文同时对运动轨迹分析展开了研究。在研究的基础上，采用了一个合适的 d t w 作为不同长度轨迹之间的相似度量，对人和车辆的异常行为进行了检测。并 加入了方向、速度信息，进一步确定了轨迹的运动状态。对不能匹配轨迹模板的 轨迹产生报警。 关键词：运动目标检测，动摄像机，s i f t 特征，动态背景模型，d t v v 距离， 轨迹分析 第i 页 国防科学技术大学研究生院硕十学位论文 a bs t r a c t m o v i n go b je c td e t e c t i o ni saf o c u so ft h ei n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m t h e s ed a y s a n di sap r e c u r s o rt oh i g h e r - l e v e lo b j e c t i v e ss u c ha so b j e c tr e c o g n i t i o n ， t r a c k i n ga n db e h a v i o ra n a l y s i s f o rv i d e os u r v e i l l a n c et a s k s ，t h ei m a g e r i so f t e n s t a t i o n a r ya n dt h e r e f o r ea u t o m a t i cd e t e c t i o no fm o v i n go b je c t si sr e l a t i v e l ye a s ys i n c e t h em o d e lo ft h eb a c k g r o u n di sk n o w n b a c k g r o u n dm o d e le s t i m a t i o na n ds u b t r a c t i o n t e c h n i q u e sh a v eb e e nw i d e l yu s e di n s u c hc a s e s t h em o v i n go b je c td e t e c t i o nt a s k b e c o m e sm o r ec h a l l e n g i n gw h e nt h ec a m e r a ( o b s e r v e r ) m o v e sa sw e l l ，d u et ot h e b a c k g r o u n d ”m o t i o n ”w h i c hi s i n d u c e db yt h ec a m e r a c a m e r a si nt h es y s t e m s i n e v i t a b l yc a p t u r ev i d e of u l lo fi r r e g u l a rm o v i n gb a c k g r o u n d ，s u c ha sr o b o tn a v i g a t i o n ， a u t od r i v i n gt e c h n o l o g y ，u n m a n n e da e r i a lv e h i c l e s t r a d i t i o n a lb a c k g r o u n de s t i m a t i o n a n ds u b t r a c t i o nt e c h n i q u e sd on o ta p p l yi ns u c hc i r c u m s t a n c e s a g a i n s tt h i sb a c k g r o u n d ，t h ep a p e rm a k e s ar e s e a r c hi n t oo b je c td e t e c t i o n a l g o r i t h mf r o mm o v i n gc a m e r a w ep r o p o s e an o v e lm e t h o do fm o v i n go b je c t s d e t e c t i o nb a s e do ns i f tf e a t u r e sm a t c h i n ga n dd y n a m i cb a c k g r o u n dm o d e l i n gf r o m m o v i n gc a m e r a i ti sf o u n dt h a ts i f ti si n v a r i a n tt oi m a g et r a n s l a t i o n ，s c a l i n g ，a n d r o t a t i o n a n dp a r t i a l l yi n v a r i a n tt oi l l u m i n a t i o nc h a n g e sa n da m n ep r o je c t i o n ，w h i c hi s b e n e f i tt oi m a g em a t c h i n g w ec a nt a k ea d v a n t a g eo ft h e s eg o o dp o i n t st of i n dt h e a c c u r a t ep a r a m e t e r so ft h e 蕊n em o d e l ，w h i c hs o l v et h ep r o b l e mo ft h em o v e m e n to f t h eb a c k g r o u n dc a u s e db ym o v i n gc a m e r a t h e n ，w ea d o p tb a c k g r o u n ds u b t r a c t i o n b a s e do nd y n a m i cu p d a t eb a c k g r o u n dm o d e lt op e r f e c t l yd e t e c tt h ef o r e g r o u n do b je c t w i t hs h a d o wa n dg h o s td e t e c t i o na n dr e m o v a l t h ep 印e rm a k e su s eo ft h em h i m e t h o d t om a k ef u r t h e rr e s e a r c ho nt h em o v i n go b j e c t s ，g a i n ss o m ea t t r i b u t e so fm o v e m e n t a b o u tt h em o v i n go b je c t s w ec a nu n d e r s t a n dt h es t a t eo ft h em o v e m e n td e e p e r t h ep a p e ra l s od o e sag r e a ta m o u n to fw o r ko nt h et r a je c t o r ya n a l y s i s w ec h o o s e t h ed t wd i s t a n c ea st h es i m i l a r i t ym e a s u r ef o rt h ev a r i a n tl e n g t ho ft r a j e c t o r yt od e t e c t a b n o r m a lt r a j e c t o r yo fp e o p l ea n dv e h i c l e w ec a nm o r ec l e a r l yk n o wt h es t a t eo ft h e t r a je c t o r yb yt a k i n gd i r e c t i o na n dr a t ei n t oc o n s i d e r a t i o n 。砀ea l g o r i t h m w i l li d e n t i f yt h e t r a j e c t o r yt h a tc a n tm a t c ht h et r a j e c t o r yt e m p l a t eb a s e do nt r a j e c t o r ya n a l y s i s k e yw o r d s ：m o v i n go b j e c td e t e c t i o n ，m o v i n gc a m e r a ，s i f tf e a t u r e ，d y n a m i c b a c k g r o u n dm o d e l ，d t v vd i s t a n c e ，t r a j e c t o r ya n a l y s i s 第i i 页 国防科学技术人学研究生院硕十学位论文 表目录 表3 1 室内环境下行人检测时间4 5 表3 2 室外环境下行人检测时间4 6 表3 3 车辆在户外运动的检测时间4 6 表3 4 室内环境下行人检测时间4 8 表3 5 人在户外运动检测时间4 8 表3 6 车辆在户外运动检测时间4 8 第1 i i 页 国防科学技术人学研究生院硕+ 学位论文 图目录 图1 1 第一代视频监控系统2 图1 2 第二代视频监控系统3 图1 3 第三代视频监控系统3 图1 4 智能化监控系统结构示意图5 图2 1 背景差算法实现流程图1 4 图3 1 基于灭点的目标分割流程图3 1 图3 2 两组高斯尺度空间俞字塔( 第二组中的第一幅图像是由第一组中的第二幅图 像降采样得到的) 3 5 图3 3 高斯尺度空间金字塔相邻尺度空间的差形成了高斯差分金字塔( 如蓝色部 分示意) 3 6 图3 4d o g 尺度空间局部极值检测3 6 图3 5 由梯度方向直方图确定主梯度方向3 8 图3 6 由关键点邻域梯度信息生成特征向量3 8 图3 7s i f t 特征匹配算法的流程图4 0 图3 8s i f t 特征匹配和运动历史图算法流程4 2 图3 9 室内环境下行人检测结果4 4 图3 1 0 室外环境行人检测结果4 5 图3 1 1 车辆在户外运动中的检测结果4 5 图3 1 2 室内环境下行人检测结果4 6 图3 1 3 人在户外运动中的检测结果4 7 图3 1 4 车辆在户外运动中的检测结果4 7 图4 1d t w 算法示意图5 7 图4 2 模拟道路三岔口6 0 图4 3 仿真轨迹分析结果6 1 图4 4 基于轨迹分析的异常行为检测流程图6 2 图4 5 单人横穿马路轨迹分析( 绿色框表示正常，红色框表示异常) 6 3 图4 6 多个人横穿马路轨迹分析图( 绿色框表示正常，红色框表示异常) 6 5 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：垂邈摄倦狃遗况工鋈边旦拯拴型丞垫逮金逝 学位论文作者签名：羔茏煮日期：争伊踔月绐 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：重边摄像狃选狃王垩邈旦握捡巡丞轨迹金堑 学位论文作者签名：王壹蕴 作者指导教师签名： 日期：do 踔月严日 日期：刎年f 月严日 国防科学技术大学研究生院硕十学位论文 第一章绪论 1 1 引言 随着人类对自身安全问题的同益关注，视频监控作为一种安防的有效手段， 已经离我们的同常生活越来越近了。视频，如果把摄像机作为一种传感器，视频 就是传感器采集到的信号。监控，在英文中一般有两层意思，分别是s u r v e i l l a n c e 和 m o n i t o r i n g ，两个词都有监视的意思，s u r v e i l l a n c e 侧重于对目标的密切观察，而 m o n i t o r i n g 多了一层警告的意思。视频监控，可以理解为通过摄像机等设备采集到 的视频信号，对感兴趣的目标进行持续的观察，并对其异常行为发出警告。 视频监控系统的发展面临着智能化的问题。传统的数字视频监控系统仅仅提 供了视频的捕获、存储、传输、显示等功能，而对于视频里的内容只能靠人来分 析判断。视频监控工作劳动强度大，对人员的注意力、警惕性，特别是对异常情 况的反应能力的要求很高。研究表明：即使是一个注意力非常集中的监控人员， 当监视屏幕达到2 0 分钟的时候，注意力也将下降到不能满足监控要求的水平。而 这些诈是计算机视觉技术发挥作用的广阔舞台。让计算机给视频监控提供智能， 代替人类的眼睛对视频数据进行分析理解，不但可以减轻监控人员的劳动强度， 而且可以提供许多人工监控不能实现的功能。 ： 智能视频监控在社会生活的各个领域有着广泛的应用前景。典型的应用例如： 1 ) 交通管理：对车站、码头、机场、公路等交通场所监控，检测分析人员、 车辆密度，进行流量统计，发现异常的交通行为，为交通管理提供依据。 2 ) 安全防卫：对监狱、银行、政府机关、超市、小区等区域监控，检测识别 人员身份，对人员出入进行管制，检测盗窃、破坏等不法行为。 3 ) 医疗护理：对学校、医院等场所监控，对儿童、病人、残疾人等帮扶对象 进行行为分析，可以及时发现危急情况进行扶住。 4 ) 实时分析：在体育运动方面，如通过视频对足球比赛中运动员进行技术统 计，辅助赛事直播和赛后数据分析 5 ) 事后分析：对监控视频的事后分析处理，可以帮助公安机关快速查找侦破 线索，锁定嫌疑对象。 该课题的研究实际应用范围广、涉及的领域多、研究难度大，国内外许多院 校和研究机构都很重视该课题的研究。众多国际会议、学术期刊也将其作为重点 研究方向，该研究的深度和广度已成为衡量计算机机器视觉、人工智能领域科研 实力的标志之一。 第1 页 国舫科学技术人学研究生院硕十学位论文 12 视频监控系统的发展与现状 视频监控系统是多媒体技术、计算机网络、工业控制和人工智能等技术的综 合运用的产物。从发展历程来看，视频监控系统在过去的近五十年里大致经历了 三代：第一代模拟视频监控系统，第二代数字视频监控系统，第三代分布式视频 监控系统。 第一代视频监控系统( 1 9 6 0 1 9 8 0 ) 是以基于模拟信号的图像的处理和传输为 基础的，摄像机的模拟信号通过同轴电缆传输到监控室，监控人员通过监视器柬 判断监视场景的情况，如图ll 所示。系统的主要特点是：1 ) 由于模拟视频监控 系统采用同轴电缆的方式传输信号，传输距离受到限制，旦模拟视频监控占用的 带宽大灵活分配带宽的能力弱：2 ) 监控场景的分析判断全部依赖人工进行，人 员长时旬即着监视器易产生视觉疲劳，可能产生误判和漏判；3 ) 存储在录像带上 的信息不能长问地保存，对大量的视频资料也不能进行方便地检索和查询；4 ) 不 能与报警系统联动，不能对前端进行控制，且价格昂贵、操作管理复杂、很难实 现较大系统的要求。 酗1 1 第代视频监控系统 第二代监控系统( 1 9 8 0 2 0 0 0 ) 主要依赖于混合模数或全数字的视频传输和处 理方法，采用m o t i o nj p e g 、h 2 6 3 、m p e g 等多媒体数字压缩技术将视频图像完 全数字化，节省了带宽资源。在视频监控中可以利用视频分析算法，让监控者只 注意感兴趣的事物从而实现自动报警，如图12 所示。系统的主要特点：1 ) 数字 视频信息抗干扰能力比较强，不易受传输线路信号衰减的影响，而且能够进行加 密传输。2 ) 数字化后的视频数据占用存储空间少可保存更长时间，数据更加稳 定：3 ) 利用自动视频分析技术，可及时发现异常情况井进行联动报警，从而实 现无人值守；4 ) 利用计算机对视频数据建立索引后可方便地进行视频检索。 第2 页 国防科学技术人学研究生院硕十学 奇论文 吲i2 第二代视频监控系统 第三代监控系统( 2 0 0 0 ) 利用低价位高性能的计算机网络、移动网络和固定 的多媒体通信网络传输监控信号。视频信号在嵌入式的智能前端进行自动分析处 理，然后将有价值的信息通过无线或有线网络传输到监控中心，实现自动视频监 控，如图l3 所示。由于无线和有线的多媒体数字通信的迅速发展，特别是随着超 宽带网络的接入，第三代监控系统将在不同的领域中太范围使用，系统的主要特 点：1 ) 能更有效地节省带宽资源和存储空间；2 ) 可进行无限扩展，组成非常复 杂的监控网络；3 ) 监控距离长：4 ) 性能稳定可靠，无需专人管理。 t q ! 目i3 第二代视撷监控系统 第3 页 蠊懒基 一釜。蕾 )dhr曩挹滔 拍譬影孤一眦l 姜 ；| 薹 国防科学技术火学研究生院硕十学位论文 智能视频监控系统以数字化和网络化的第三代监控系统为基础，借助计算机 的数据处理能力，采用计算机视觉技术，自动识别感兴趣的物体，发现监控画面 中的异常情况，自动发出警报并提供有用信息，从而有效的协助安全人员处理危 机，最大限度的降低虚警和漏报现象。 近几年，智能视频监控系统已引起许多国家的高度重视，它们分别开展了以 智能视频监控系统为核心的应用技术研究，比较著名的试验系统包括：19 9 6 年f 1 本学术振兴会( j s p s ) 未来研究项目支持的c d vp r o j e c t 2 】【3 】旨在应用于携带活动 摄像机的具有实时图像处理能力的观测站和移动机器人组成的网络群，从而对动 念变化的真实场景实现稳健、灵活又实时的理解；1 9 9 7 年美国国防高级研究项目 署( d a r p a ) 设立了以卡内基梅隆大学( c m u ) 为首、麻省理工学院( m i t ) 等高校参与 的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 4 删，主要研究用 于战场及普通民用场景进行监控的自动视频理解技术；当前，除了c m u 和m i t ， 奥地利g r a z 理工大学的嵌入式智能摄像机研究组，i b m 的s 3 ( s m a r ts u r v e i l l a n c e s y s t e m ) 项目组，i n t e l 的i r i s n e t ( i n t e m e t s c a l e ，r e s o u r c ei n t e n s i v es e n s o rn e t w o r k s e r v i c e s ) 项目组等，分别在分布式智能监控系统的不同领域处于领先地位。1 9 9 9 年美国马罩兰大学的w 4 系统【6 】【7 】；2 0 0 0 2 0 0 1 年u c f 的k n i g h t 系统【8 】【9 】；2 0 0 3 年意大利u n i m o 大学的s a k b o t 系统【9 】【1 ；2 0 0 4 年i b m 的s m a r t 系统【1 2 】；2 0 0 4 年由欧盟出资启动的，雷丁大学与法国i n a 等研究机构联合实施的机场智能监 控项目a v i t r a c k 1 3 】【m j 能够对停机坪场景进行目标跟踪和异常行为检测与报警， 为机场保安这一9 1 l 后的重大安全课题提供了智能化的解决方案。 国内对智能视频监控系统的研究起步较晚，研究领域涉及目标检测、分类和 人体运动分析等，应用领域大多是智能交通、智能小区和智能楼宇的视频监控系 统，对重点公共区域和人群集中场所的监控系统的智能化程度很低。目前，中科 院自动化研究所、清华大学、上海交通大学等单位正丌展人体运动分析和序列图 像目标运动检测跟踪等研究工作。中科院自动化所模式识别国家重点试验室视觉 监控小组总结了英国雷丁大学v i e w s 的车辆交通监控原型系统的研究经验，在以 往的理论研究的基础上，自行设计交通监控原型系统，初步实现了对交通场景的 视频序列中车辆进行检测、定位和跟踪，跟踪的结果经过分析和语义解释可以合 成语音进行语音提示警告，例如车辆逆行或闯入草地时，系统进行准确的语音警 告。 1 3 智能视频监控中的关键技术和研究现状 1 3 1 智能视频监控技术组成 第4 页 国防科学拄术大学研究生院硕_ i ：学位论文 视频监控系统智能化的研究起源起于上世纪9 0 年代，相关问题众多，涉及到 多个学科，例如：数字图像处理、图像理解、计算机视觉、模式识别、人工智能 等。典型的第三代视频监控系统的智能化部分如图l4 所示，一般由自下而上的四 层组成，分别是：目标检测、目标跟踪、多摄像机协同和目标识别、行为分析理 解。 酗l4 智能化监控系统结构示意幽 借用w 4 系统洲中的提法，一个智能视频监控系统能够对目标实时监控， 回答时问( w h e n ) ，地点( w h e r e ) ，身份( w h o ) ，行为( w h a t ) 四个问题。 那么我们可以进行如下概况：第一层目标检测回答了w h e r e 和w h e n 的问题，检 测是基础，通过像素层的处理，提取图像中感兴趣的部分初步提取目标静态特 征：第二部分目标跟踪初步解决了w h o 的问题，通过对图像序列中目标的关联和 滤波，获取目标的动态特征；第三部分多摄像机协同，将多个摄像机检测跟踪得 到的目标特征进行融合统一到一个共同的坐标系下；第四部分目标识别和行为 分析理解，进一步回答了w h o 和w h a t 的问题。这四个部分就技术本身而言是相 互独立的课题，但是在视频监控技术的研究中都是不可或缺的组成部分，相互联 系相互影响。四个部分虽然在如图14 中显示为一个分层的机构，但是在实际中 往往不是简单的串联方式而是一个有机的整体。 图像序列中运动目标检测与跟踪是当前计算机视觉研究的一个基础性课题 在现代工业、国防和空自j 技术等领域有着广阔的应用前景。通常将实际的图像序 列分为两类：静态场景图像序列和动态场景图像序列。没有全局运动( 指困摄像 第5 页 国防科学技术大学研究生院硕十学位论文 机运动引起的背景图像运动) 的图像序列称为静态场景图像序列，而具有全局运 动的图像序列称为动态场景图像序列。在静态场景图像序列中检测和跟踪目标时 背景静止相对比较简单，经过多年的研究渐趋成熟。而动态场景图像序列中运动 目标检测和跟踪至今仍然存在很多关键问题尚未解决，特别是当背景较复杂时， 问题变得更加困难。因此针对动态场景序列的研究正成为当前应用视觉领域的热 点。 1 3 2 静态场景下的目标检测跟踪算法 1 3 2 1 目标的检测 智能视频监控中遇到的首个问题往往是提取图像序列中感兴趣的部分，即运 动前景，例如移动的人、车辆等等，也可以称为运动目标检测。 对于在固定场景的运动目标检测，方法主要有三类。 1 ) 帧差法。帧差法利用相邻两帧或多帧图像做差分，然后利用阈值分割技术 检测出亮度变化较大的像素点作为运动前景点，其他像素点认为属于背景； 2 ) 光流场法。光流法根据连续的几帧图像计算各像素瞬时光流大小和方向， 利用光流场区分背景和运动对象。实际应用中将图像序列中具有明显运动( 对应 于光流场具有明显光流) 的较大面积区域作为前景； 3 ) 背景差法。背景差法是视频监控中最常用的运动检测方法，首先建立监控 场景的背景模型，然后利用当前图像和背景图像做差值或者进行匹配，差值大或 者匹配好的像素被检测为运动前景点，最后利用当前图像对背景图像进行更新， 从而获得下一时刻的背景模型。较早期的背景差法有均值、中值、运动平均、运 动高斯模型方法等。从上个世纪术至今，出现了一批比较成熟的背景差方法，如 混合高斯模型背景差【7 1 、无参估计( p a r z e n 窗) 背景差【1 8 】、序列核密度估计背景差 【4 】、码本背景模型【2 0 】等算法。 在目标检测中，对前景目标中阴影和鬼影的去除也是一个必须考虑的问题。 视频中目标的检测虽然方法众多，但是要寻求一种适用范围广、检测效果好，同 时检测速度快的方法并非易事。 1 3 2 2 目标的跟踪 运动目标的跟踪就是对进入监控场景中的运动目标进行连续的身份确认，在 相邻帧检测到的目标之间建立对应关系，估计目标的内部状态。主要包括三个方 面的问题，分别是数据关联、跟踪滤波和遮挡的处理。 视频中的目标与雷达信号中飞行器等机动目标不同，视频目标是面目标，这 就决定了视频目标比雷达中的点目标具备更丰富的特征，除了位置、速度外，形 状、纹理、色彩、轮廓也都是视频目标跟踪中可以利用的特征。特征的多样性也 第6 页 国防科学技术人学研究生院硕十学位论文 决定了跟踪算法的多样性和复杂性。在跟踪和关联算法方面，除了经典的k f 、e k f 、 p f 等滤波算法，m h t 、p d a 等数据关联算法得到应用外，c a m s h i f l 、活动轮廓模 型等计算机视觉中特有的一些方法也得到广泛的研究。 视频目标跟踪的难点在于多目标跟踪中遮挡问题的处理，目标遮挡在视频中 广泛存在，如运动目标与背景物体之间的遮挡、运动目标之间的遮挡，如果不能 很好的对遮挡问题进行检测和处理，都会影响到数据关联和跟踪的效果。根据对 遮挡问题的处理方式的不同可将跟踪方法大致分为两类【2 i j ：合并分离m s ( m e r g e s p l i t ) 型和直接穿透s t ( s t r a i g h t t h r o u g h ) 型。 1 3 3 动态场景中的运动目标检测算法 动态图像分析是图像处理与计算机视觉领域一个十分活跃的分支和备受关注 的前沿课题，它融合了计算机科学、机器视觉、图像工程、模式识别、人工智能 等先进技术，对它的研究已经受到国内外学者的普遍关注。动态图像分析的基本 任务是从图像序列中检测出运动信息，构建目标运动的动态模型，识别与跟踪运 动目标。运动目标检测、建模和跟踪技术的复杂性，以及当前视频技术发展水平 的限制，使得动态图像分析在理论和实现上仍存在着很多难题。国内外大批学者 对该领域进行了深入的研究和探索【删【8 9 】，并取得了大量成果。 现有动态场景图像序列中运动目标检测方法主要包括全局运动补偿【删和运动 目标分割【8 9 儿9 0 l 两个步骤，其中全局运动补偿处于基础性地位，没有运动补偿就无 法进行运动分割。各图学者对此展丌了研究并提出了大量的方法，获得了定的 成功。这类检测方法的基本思想是：首先估计出相邻这问的全局运动参数；然后 运动这些参数补偿全局运动；最后利用差分法完成运动目标检测。但是现在有的 基于运动补偿的方法大多基于这样一个假设：背景景物的深度差异对图像序列帧 间全局运动的影响可以忽略。也就是说，所有的背景景物在图像序列中都假设共 享同一组全局运动参数。当背景比较简单时，多数图像序列可以满足这个假设。 动态图像的基本任务是从图像序列中检测出运动信息，识别与跟踪运动目标 和估计三维运动及结构参数。通过图像序列上对多帧图像分析，可获得从单一图 像中不可能得到的信息。只有在图像序列上我们才可能认识和分析动态过程。与 静态图像相比，动态图像的基本特征就是灰度的变化。具体来说，在对某一景物 拍摄到的图像序列中，相邻两帧图像间至少有一部分像元的狄度发生了变化，这 个图像序列就称之为动态图像序列。 造成灰度变化的原因是多种多样的，主要有以下几类： 1 ) 景物本身发生了变化：物体发生了变形( 扩大或缩小) 或运动( 旋转、平 移) ： 第7 页 国防科学技术人学研究生院硕十学位论文 2 ) 相机与景物发生了相对运动：f h + j l 的平移、旋转使图像内容发生了改变； 3 ) 照度变化：照射景物的光源发生变化导致物体亮度改变； 4 ) 以上几种情况的组合。 在实际的运动目标检测与跟踪系统中，常常面临的是摄像机也需要运动的工 作场景，例如，在单目视觉监控系统中，常采用摄像机静止和运动结合的工作方 式以扩大视野范围；在自动车辆驾驶技术中，安装在车辆上的摄像机需要在运动 中完成对道路、前方车辆和行人等目标的图像采集工作。通常摄像机的运动形式 可以分为两种：一种是摄像机的支架固定，但是摄像头可以偏转、俯仰、以及缩 放；另一种是摄像机安装在移动的载体上，例如被安装在飞行的飞机或行走的机 器人 1 4 5 1 上。在这些情况下，由于目标和背景都是在运动，要准确检测出运动目标 的运动，处理起来比较复杂和困难。针对摄像机运动情况下的目标检测问题，有 人提出了基于补偿差分的运动目标检测算法。如何估计和补偿背景运动参数【8 9 】， 并消除它给运动目标检测带来的影响，是解决问题的关键所在。 1 3 4 目标的识别、行为分析和理解 目标的识别、行为分析和理解属于四层结构中的最高层，直接面向用户需求， 内容非常广泛，很难用简短的篇幅来概况，读者可以参考文献【2 2 】【2 3 】。针对室外远 距离视频监控场景，比较常见的应用是目标分类和轨迹分析，在这罩做简单的介 绍。 运动目标分类通常是指对监控场景中的人、车或其他运动目标的种类进行辨 别，如区分单个人和人群，人和车辆，不同种类的车辆等，对分类后的目标进行 统计，可以为交通管制提供依据。目标分类可以根据选择特征的不同大致分为两 类：1 ) 基于静态特征的分类，利用目标的形状、颜色、纹理、轮廓等特征，如利 用形状特征可以区分人和车辆；根据面积和紧凑程度可以区分单个人和人群；2 ) 基于动态特征的分类，利用目标的运动速度、周期性等特性来进行分类的。如通 过是否具有周期性运动分辨人和车辆【2 4 j ；对大小和形状基本相似的物体如自行车 和摩托车，可通过运动速度来区分【2 引。 h a r i t a o g l u 等人提出了一套户外的即时视频监控系统w 4 t 1 7 】，此系统是使用灰 度图像或红外装置，利用轮廓的信息来定位人体的细节部分( 头、手、脚、身体) ， 并能处理相关的动作。布朗大学的s i d e n b l a d h 和b l a c k t l 9 】j 哿人类行为分析进行一系 列的研究，他们将分析人类行为的步骤归为如下三类：h u m a nm o t i o ne s t i m m i o n 、 r e c o g n i z i n gh u m a nm o t i o na n dr e c o g n i z i n gh u m a nb e h a v i o r 。即： 1 ) h u m a nm o t i o ne s t i m a t i o n ：此步能推测和识别人体的肢体位置，这是行为 分析的第一步。 第8 页 国防科学技术人学研究生院硕十学 ：；7 ：论文 2 ) r e c o g n i z i n gh u m a nm o t i o n ：在已知人体的肢体运动之后，可以依据他们 的位置与运动的情形来判断其行为，例如步行、跑步、站立或者是蹲下等。 3 ) r e c o g n i z i n gh u m a nb e h a v i o r ：在了解人体的运动方式之后，便可以建立人 类的模型和其周围的物体，根据和周围物体的互动关系可以分析出人类的行为， 并了解画面中发生的事件。 近年来，随着我国道路建设的飞速发展，路段监控已趋予网络监控，传统的 人工观看监控图像的方式将难以胜任。如何利用计算机“观看”大量的监控视频， 及时发现车辆逆行、拥塞慢行、停车抛锚、交通事故等异常图像，分析估计路况 隐患，并提出预警。在车站、机场、银行等公共场所，利用智能监控技术，及时 发现异常行为，及时进行告警，防范意外事故的发生。这些应用已经成为众多研 究重点之一。 1 4 实际应用中面临的问题 尽管智能视频监控技术得到了广泛而深入的研究，但是在实际应用中仍然存 在许多难点。 1 4 1 实时性 对用户而言，一个实用的智能视频监控系统无疑应该在用户可以接收的时延 内将检测结果呈现给用户。而由于监控系统本身也存在着采集、编码、传输等延 时，所以就对整个智能监控算法体系的实时性提出了比较高的要求。 在如图1 4 所示的四层结构中，视频目标检测处于像素层，针对每个像素的处 理时l 白j 虽然很少，但是一帧图像中往往有数十万甚至数百万的像素，所以目标检 测往往是整个算法结构中最耗时的部分。通常在视频处理中，我们认为至少达到 1 0 帧秒彳。可以满足基本实时性的要求，这就需要每帧图像目标检测的时间限制在 几十毫秒内。许多目标检测算法虽然理论可行，可是没有特殊硬件的辅助往往是 很难达到实时性要求的。 常常有人丌玩笑的说，“计算量的问题不用考虑，i n t e l 会帮助我们解决的”。 可是人类视觉模拟、人工智能对计算能力的需求也在不断的提高，而这个速度远 远的超出了当前硬件发展的速度和水平。如果我们不想让自己的算法只成为数据 库中的文献资料被束之高阁的话，还是应该在算法的优化上多下些功夫。 1 4 2 鲁棒性 在视频监控系统实际应用中，由于摄像机的不同、监控场景的不同、关注对 第9 页 国防科学技术大学研究生院硕七学位论文 象的不同，都造成算法应用环境的千差万别，对算法的鲁棒性是一个巨大的考验。 例如：在目标检测中，在室外，天气、时间都会影响背景的光照、前景的阴 影、图像的噪声；在室内，电灯的丌关、门窗的丌关、光线的反射同样会造成背 景的组成和光线的变化。在目标跟踪中，场景中目标数量的变化、目标之间相互 影响，都会给跟踪造成困难。摄像机的角度、位置、焦距的不同，也会造成监控 目标特性的变化。另外还有具有红外功能和夜视功能的摄像机，也都具有不同的 性质。等等这一切都是一个鲁棒的监控系统所需要考虑的问题。 然而，当一个算法考虑鲁棒性、适应性的时候，往往会导致所建模型维数增 加、算法计算量增大。这就势必与系统的实时性要求相冲突。如何均衡这两者的 关系，也是每个智能视频监控系统设计者必需考虑的问题。 1 4 3 监控系统的评估 虽然目标的检测、跟踪、识别等算法都有参数化的评价标准，但是对一个完 整的智能监控系统优劣的评价并不是一件容易的事情。智能监控系统往往针对特 定的应用和特定的区域，这就造成了各自为战，没有一个统一的评价标准和测试 方法。 p e t s ( i n t e r n a t i o n a lw o r k s h o p so i lp e r f o r m a n c ee v a l u a t i o no ft r a c k i n ga n d s u r v e i l l a n c e ) 在这方面做出了有意的探索。该组织在2 0 0 1 年和2 0 0 5 年的学会上， 提供了大量测试用的视频下载，同时提供了相应的检测、识别的标准结果和采集 用摄像机的参数，这大大方便了研发人员对算法的测试和评价。这些视频已经逐 渐被广大研发人员采用。 i m e lo p e n c v ( i m e lo p e ns o u r c ec o m p m e rv i s i o nl i b r a r y ) 2 6 】在最新的版本中 提供了视频监控组件，在组件中实现了许多目标检测与跟踪的经典算法，同时采 用面向对象技术为用户搭建了测试算法的框架。只要用户遵循该接口进行开发， 便可以在一个统一的框架下对不同算法进行测试。 1 5 课题研究的工作内容安排 本文主要是围绕智能监控系统中目标检测的基础部分和轨迹分析进行研究 的，主要有如下三个方面： 1 ) 对动摄像机情况下的运动目标检测进行了研究，分析了由于摄像机运动造 成的背景时时变化的原因，研究了运动补偿的许多方法，找出一种准确的补偿方 法。并且建立动态背景，检测完整的前景目标。 2 ) 在研究动摄像机情况下的运动目标检测的基础上，利用运动历史图，检测 出的运动目标的一些运动属性。如方向、速度等。 第1 0 页 国防科学技术人学研究生院硕十学位论文 3 ) 对行为轨迹分析进行了研究，在此基础上针对监控场所行人或牟辆形成的 轨迹进行分析，标识出异常的人或车辆。 本文的组织如下： 第一章概述了智能视频监控系统的现状和发展，分析了智能监控技术中的关 键技术，介绍了一些基本概念，分析了目前面临的问题和挑战并提出本课题研究 的主要研究工作。 第二章讲述了静摄像机情况下，运动目标检测的一些成熟的算法，并加以归 类。 第三章在研究国内外在动摄像机情况下运动目标检测的现状的基础上提出 基于s i f t 算法的运动目标检测。通过实验对照分析，显示了试验算法的有效性。 第四章首先总结了目前国内外轨迹分析用到的主要算法。在轨迹分析的基础 上检测人和车辆的异常行为。以距离作为主要相似度衡量标准的同时，附加轨迹 的方向和速度信息进一步分类。对于不同的行人，不同的车辆状态能有一个更细 致的了解。 结束语全面总结了本论文研究成果以及存在的不足。 第l l 页 国防科学技术人学研究生院硕十学位论文 第二章静摄像机情况下的运动目标检测 运动目标检测是目标跟踪、识别和分类等技术的基础。运动目标检测就是判 断视频序列中是否存在运动目标，并确定运动目标的位置。而运动目标跟踪是指 在整个视频序列中监控运动目标的时空变化，如目标的出现与消失，目标的位置、 尺寸和形状等。运动目标识别和分类是利用检测和跟踪的结果对运动目标的外在 特征及行为状态进行估计和分析。运动目标的检测与跟踪等技术是紧密关联的两 个过程，跟踪等技术始于检测，而目标在后续图象序列中的重复检测也有助于目 标的跟踪。因此，运动目标检测的准确性和实时性直接关系到整个视频监控系统 的精确度和稳定性。 本章针对固定场景下静止摄像机获取的视频序列进行运动目标检测。首先， 对已有的运动目标检测算法进行总结和分析。其次，分析基于混合高斯模型的运 动目标检测算法；最后，综合考虑检测算法的实时性和鲁棒性等因素，确定采用 基于混合高斯模型的背景差算法提取运动目标。 2 1 运动目标检测算法概述 对于静止摄像机和固定场景下的视频图像，运动目标检测的算法分为四类：1 ) 相邻帧差法，即利用相连两帧或者三帧图像进行相减运算，得到当前图像中运动 目标；2 ) 背景差方法，即当前帧图像和背景模型做差，得到运动目标的状态信息； 3 ) 光流法，即计算当前图像中像素运动矢量，分割出具有明显运动的像素集合； 4 ) 混合的方法，即利用已有的算法进行多种方法的融合检测运动目标。其中每 类算法都有不同的具体实现方法。下面将对每一类算法进行分析总结。 2 1 1 相邻帧差法 相邻帧差法1 2 7 】【2 8 1 主要利用时间信息，在视频序列中当前两帧和当前帧于其前 某帧之间进行差分运算，从而提取出图像中的运动区域。这种直接利用 j 时刻的 视频帧作为，时刻背景帧的方法称为帧差法，但由于该方法没有建立背景模型和进 行背景学习，所以该算法区别于背景差方法为独立的一类运动目标检测算法。 l i p t o n 等人 2 9 1 提出简单的帧差法检测运动目标，( x ，y ) 和一( z ，y ) 表