（控制理论与控制工程专业论文）多摄像机环境下的目标交接研究与系统实现.pdf

西北工业大学硕士学位论文 摘要 摘要 对人的观察和分析是计算机视觉领域内的一个研究热点，在智能视觉监控、 行为理解、步态识别以及虚拟现实等领域有着广泛的应用。由于摄像机的分辨率 和视野范围有限，限制了单摄像机人体运动分析的研究与应用，这使得多摄像机 系统的使用成为必然。本文对多摄像机环境下人体跟踪中的目标连续跟踪、多机 数据通讯、系统搭建等关键技术进行了较为深入的研究。主要工作如下： i 。详细分析研究了多摄像机人体跟踪系统中的关键技术和相关算法。对当 前主要的技术难点和算法做了全面的总结、分析，对今后的多摄像机人体运动分 析研究提供有价值的参考。 2 提出一种基于同步视频的摄像机视野分界线快速自动生成算法。该算法 只需要一段同步视频，不需要摄像机标定和环境等先验信息，系统就能快速、自 动生成摄像机视野分界线，且准确率高、实时性强。对后续的视场分割、多摄像 机之间的目标交接等研究提供了依据。 3 对目标与摄像机视野分界线之间的距离计算提出了改进方案，提高了基 于摄像机视野分界线目标交接算法的计算速度。实验证明，改进后的目标交接算 法具有简单、易实现、实时性高以及准确率高等优点。 4 基于p c 机终端开发了一个多摄像机人体自动检测与跟踪系统。针对系统 实时信息传输和数据类型多样化的要求，采用了基于s o c k e t 的数据传输方案， 提出在数据传输前对数据编码以提高传输数据的安全性和多样化。系统具有多摄 像机之间的目标交接、视野分界线自动生成、云台转台控制、多机实时通讯等功 能，并分别设计了相应的客户端和服务器的用户操作界面，操作界面友好。功能 齐全，操作简便。 关键字：多摄像机系统，目标交接，摄像机视野分界线，数据编码 西北工业大学硕士学位论文 a b s t r a c t a b s t r a c t l o o k i n ga n da n a l y z i n gh u m a ni sa r e s e a r c hf o c h si nc o m p u t e rv i s i o nf o ri t sw i d e a p p l i c a t i o n s ，s u c ha si n t e l l i g e n tv i s i o ns u r v e i l l a n c e ，h u m a nb e h a v i o ru n d e r s t a n d i n g ， g a i tr e c o g n i t i o na n dv i r t u a lr e a l i t ya n ds oo n h o w e v e rt h el i m i t a t i o no fc a m e r a s r e s o l u t i o na n df i e l do f v i e w ( f o v ) c o n s t r a i n st h ed e v e l o p m e n to f m o n o c u l a rc a m e r a b a s e dh u m a nm o t i o na n a l y s i s i tm a k e st h eu s eo fm u l t i p l ec a l n e r a ss y s t e m ( m c s ) t o b en e c e s s a r y t h e r ea r es e v e r a lk e yt e c h n i q u e ss u c ha sc o n t i n u o u st a r g e tt r a c k i n ga n d d a t ac o m m u n i c a t i o n b e t w e e nm u l t i p l ec a m e r a s ，c o l l a b o r a t i v ew o r ko fm u l t i p l e c a m e r a sa n dr e c o v e r i n gf o vl i n e so fm u l t i p l ec a m e r a sb e i n gs t u d i e di r tt h i sp a p e r , t h em a i nw o r k sa r ed e s c r i b e da sf o l l o w i n g ： 1 a n a l y z i n ga n ds t u d y i n gt h ek e yt e c h n i q u e sa n dc o r r e l a t i v ea l g o r i t h m si n m u l t i p l ec a m e r a sh u m a nt r a c k i n gs y s t e mi nd e t a i l s u m m a r i z i n gt h ep r i m a r yt e c h n i c a l d i f f i c u l t ya n da l g o r i t h m ss t u d i e dc u r r e n t l y , t h e s ep r o v i d ev a l u a b l er e f e r e n c ef o rf u t u r e w o r k s 2 an e wa l g o r i t h mf o rg e n e r a t i n gc a m e r af o vl i n e sf a s ta n da u t o m a t i c a l l y , s y n c h r o n i z e dv i d e ob a s e d ，i sp r e s e n t e di nt h i sp a p e r t og e n e r a t et h ec a m e r a sf o v l i n e sf a s t ，e x a c t l y , r e a l t i m ea n da u t o m a t i c a l l yt h ea l g o r i t h mj u s tn e e d sap i e c eo f s y n c h r o n i z e dv i d e ow i t h o u ta n yc a m e r a sc a l i b r a t i o na n de n v i r o n m e n ti n f o r m a t i o n t h i sp r o v i d e sa ne f f e c t i v et o o lf o rf u t u r ew o r kl i k e f i e l do fv i e ws e g m e n t i n ga n d t a r g e th a n d o f f b e t w e e nm u l t i p l ec a m e r a s 3 a ni m p r o v e m e n to ft h ec o m p u t a t i o no ft h ed i s t a n c eb e t w e e nc a m e r af o vl i n e a n dt a r g e ti sa d o p t e dt oi m p r o v et h ea c c u r a c yo ft a r g e th a n d o f fa n dt h et i m eo f c o m p u t a t i o n e x p e r i m e n t si n d i c a t eo u ra l g o r i t h mw a sf a s t e ra n de a s e rf o rr e s o l v i n g t a r g e th a n d o f f p r o b l e mw i t hh i g hv e r a c i t yi nm u l t i p l ec a m e r a sh u m a nt r a c k i n gf i e l d 4 d e v e l o p i n gas y s t e mo fm u l t i p l ec a m e r a sh u m a nd e t e c t i o na n dt r a c k i n gb a s e d o np c ad a t at r a n s m i s s i o n t e c h n i q u eb a s e do ns o c k e ti sa d o p t e di nc o m p u t e r c o m m u n i c a t i o nt oa d a p tt ot r a n s m i tm e s s a g er e a l - t i m e ，a n db e f o r ed a t at r a n s m i s s i o na d a t ac o d i n gw o r kw a sd o n et oi m p r o v ed a t at r a n s m i s s i o ns e c u r i t ya n dd a t av a r i e t i e s t h es y s t e mh a ss e v e r a lf u n c t i o n sa sf o l l o w s ：t a r g e th a n d o f f b e t w e e nm u l t i p l ec a m e r a s ， g e n e r a t i n gc a m e r af o vl i n e sa u t o m a t i c a l l y , a c t i v ec a m e r ac o n t r o l ，m u l t i p l ec l i e n t s c o m m u n i c a t e sw i t he a c ho t h e rr e a l t i m e w ea l s o s e p a r a t e l yd e s i g n t h e i i 西北工业大学硕士学位论文 a b s t r a c t h u m a n m a c h i n ei n t e r a c t i v ei n t e r f a c ef o rc l i e n ta n ds e r v e r , t h ei n t e r f a c ei sv e r y f r i e n d l ya n dc o n v e n i e n tf o ru s e r s k e yw o r d s ：m u l t i p l ec a m e r a ss y s t e m ，t a r g e th a n d o f f , c a m e r af o vl i n e s ，d a t a c o d i n g i j l 西北：业大学硕十学位论文 第一章绪论 1 1 选题背景和意义 第一章绪论 人体的运动分析是当前计算机视觉领域的一个重要研究方向，其中非常重要 的一部分就是人体的检测与跟踪以及行为分析。人体运动分析的研究内容相当丰 富，主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识；同时， 动态场景中运动的快速分割、人体的非刚性运动、人体自遮挡和目标之间互遮挡 的处理等也为人的运动分析研究带来了一定的挑战【l 】。由于人的运动分析在高 级人机交互、安全监控、视频会议以及医疗诊断等方面具有广泛的应用前景，从 而激发了世界上广大科研工作者及相关商家的浓厚兴趣。 视觉是人类感知世界、认识外部世界的主要途径，据统计人类约有80 的 信息是通过视觉获取的。同样，在对人的跟踪分析时，主要的传感器是c c d 摄像 机，依靠它提供信息量很大的视觉信息，准确快速的完成对人的运动分析与行为 识别。由于普通的c c d 摄像机的视野范围有限，难以实现大范围、多角度、长时 间对人的跟踪，这使得多摄像机的使用成为必然。由于多摄像机具有监控范围大、 视野宽阔、全方位视点等优点，使得多摄像机环境下的人体跟踪成为计算机视觉 领域内的一个主要研究方向。 1 2 人体运动分析国内外研究状况 人体运动分析一直是计算机视觉领域内的研究热点和难点，基于单摄像机的 人体运动分析等相关技术已经取得很大进展。但是摄像机存在分辨率和视野有限 的缺点，在进行大范围和多角度对人进行监控和行为分析时，单一摄像机使用就 显得无能为力，在这些方面，多摄像机有助于解决这些问题，且多摄像机对于解 决目标跟踪中的遮挡问题有很大帮助。因此，多摄像机的使用成为必然。 由于多摄像机的视野范围大，能提供多视角信息，因此，有着巨大的应用前 景。这也激起了广大商家和研究者的极大兴趣。国内外相关研究机构参与到了这 曲北：业大学硕士学位论文 第章绪论 一领域研究。在应用方面，典型应用有以下几个方面【2 】： a ) 虚拟现实： b ) 交互式虚拟空间； c )电子游戏： d ) 虚拟工作室： e )电信会议： f ) 电影、广告及家庭应用： ( 2 ) 智能监控系统 a ) 访问控制场所； 访问控制场合，利用人脸或者步态跟踪识别技术以便确定来人是否 有进入该安全领域的权利 3 】f 4 】 b ) 停车场； c )大型超市、大型商场的安防和监控； d )自动售货机、自动取款机； e ) 交通控制； d地铁、飞机场等重要人e l 流动场所； 智能监控系统对公共场所以及交通拥挤状态分析及流量统计，并对有特殊意 义( 比如被盗车辆、载有犯罪嫌疑人的车辆等) 的车辆进行检测与跟踪。人的运 动分析在自动售货机、a t m 机、公共场所行人的拥挤状态分析及商店中消费者流 量统计等监控方面也有着相应的应用f 5 l f 6 】。智能监控系统能每天连续2 4 小时的实 时监视，自动分析摄像机捕捉的图像数据，当盗窃发生或发现到具有异常行为的 可疑的入时，系统能向保卫人员准确及时地发出警报，从而避免犯罪的发生，同 时也减少雇佣大批监视人员所需要的人力、物力和财力的投入。 ( 3 ) 高级用户界面 a ) 交互界面； b ) 手语理解： c ) 姿态驱动控制： d )高噪声环境下的信号捕获； 在高级用户接口应用领域中，希望未来的机器能像人一样与人类更加容易和 便捷地交流，如手势驱动控制、手语翻译等。人与人之间的信息交流主要是依靠 语言，并适当结合手势、身体姿势和面部表情等，因此多视角视觉信息可以作为 语音和自然语言理解的有效补充来完成更加智能的人机交互。 2 两北工业大学硕士学位论文 第一章绪论 ( 4 ) 运动分析 a ) 基于内容的视频检索 当目前监控场景内发生异常行为时，可借助多摄像机系统对整个事件进 行全方位的回顾，辅助保安系统人员对事件进行分析研究。 b ) 辅助运动员的个人训练 在某些运动中，对运动员的姿势要求很高，运用多摄像机系统有助于校 正运动员的姿势，提高运动员的竞技水平。 c ) 舞蹈演员的动作分析 在舞蹈演员进行动作练习时，可以借助多摄像机系统对动作进行回放， 对动作要领进行理解和纠正，这样有助于快速提高舞蹈演员的水平。 d ) 辅助外科医生临床研究 在 外科医生对病人进行手术时，一个人很难观测到病人其他部位的反应， 借助多摄像机系统辅助主治医生对病人进行全方位的控制、了解，降 低了无尘隔医疗事故的发生，减轻了医生的工作量。 正是由于“入的观察”在虚拟现实技术、智能监控系统、高级人机交互、基 于内容的图像存储与检索，基于模型的编码等方面具有广泛的应用前景和潜在的 经济价值，从而激发了世界上广大科研工作者及相关商家的浓厚兴趣，大量相关 机构加入到这个领域的研究。 国外方面： 1 1 9 9 7 年美国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省 理工学院等高校参与的视觉监控重大项目v s a m ( v i d e o s u r v e i l l a n c e a n d m o n i t o r i n g ) ，主要研究了用于战场及普通民用场景进行监控的 自动视频理解技术；实时视觉监控系统不仅能够定位入和分割出入的 身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人 是否携带物体等简单行为； 2 美国国防高级研究项目署( d a r p a ，d e f e n s ea d v a n c e dr e s e a r c h p r o j e c t sa g e n c y ) 开展了a v s ( a i r b o m ev i d e os u r v e i l l a n c e ) 项目，主 要研究如何准确实时分析登记采集到的静止或运动的物体信息，及多 目标同时监控分析与不同空间物理的行为监控等； 3 在2 0 0 0 年，d a r p a 又资助重大项目h i d 计划( h u m a n i d e n t i f i c a t i o n a t a d i s t a n c e ) ，它的任务就是开发多模式的监控技术以实 现远距离情况下人的检测、分类和识别，从而增强国防、民用等场合 免受恐怖袭击的保护能力。 西北工业大学硕士学位论文 第一章绪论 4 马里兰大学、麻省理工学院等2 6 家高校或公司参与了该项目的研究 工作，其目前焦点在于脸像、步态或者特定行为的识别： 5 英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的 相关研究： 6 ， m i c r o s o f t 公司亚洲研究院也成立了专门的研究小组开展对人脸识别 技术，人体运动分析与合成方面的研究； 国内方面： 1 中国科学院自动化研究所在运动检测、人脸跟踪、步态识别和人体跟 踪等方面展开了研究，并且建立了相关的演示系统，并且申请了关于 人运动步态识别技术的专利。 2 中国科学院计算技术研究所在人面部信息检测与识别方面已经取得 了比较重大的进展，系统可在1 1 0 秒到1 1 2 0 秒的时闻内“捕获”人脸， 并在1 秒钟内完成识别，准确率高达9 6 。 3 南京大学与南京长城信息系统有限公司和江苏省公安厅刑警总队研 制成功“基于单幅训练图像的多表情人脸自动识别系统”，也成功通过 江苏省科技厅组织的科技成果鉴定，并且浚系统己在江苏省公安厅刑 警总队和南京火车站公安派出所等单位试用，效果良好。 4 中国科学院上海微系统与信息研究所已经将这项技术应用在上海浦 东机场和2 号线地铁的候车室的监控，工程正在进展中，并取得了不 错的效果。 5 西北工业大学自动化学院“长城( g r e a tw a l l ) 工作室”在复杂环境 下的背景建模、人体检测与跟踪、行为识别、轨迹分类等方面取得了 很大进展，并搭建了一个多摄像机人体检测跟踪以及行为分析一体化 的系统。 在权威期刊收录方面。国际上一些权威期刊如i j c v ( i n t e r n a t i o n a lj o u r n a lo f c o m p u t e r v i s i o n ) 、c v i u ( c o m p u t e r v i s i o n a n d i m a g e u n d e r s t a n d i n g ) 、p a m i ( 1 e e e t r a n s o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i v c ( i m a g ea n dv i s i o n c o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e r v i s i o n ) 、c v p r ( i e e e c o m p u t e rs o c i e t y c o n f e r e n c e o n c o m p u t e r v i s i o na n d p a t t e r n r e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、i w v s ( i e e e i n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等将人运动分析研究作为主题内容 之一，可见此主题研究的重要程度和热点程度。 多摄像机系统能够提供多角度的信息，在医学领域也取得了巨大的应用。 西北业大学硕士学位论文 第一章绪论 对于建立人体的几何模型、解释人体的运动行为机制从而提高它的运动性能有 着积极的推动作用传统的步态分析是肌电图学、关节动力学的研究范畴，而 目前的医学步态分析是一个旨在提供诊断和治疗支持的研究领域，它可以提供 人体正常步态建模的线索，有助于开发生物反馈系统来分析病人的步态，判断 其腿步受伤情况或者畸形程度，从而做出积极的整形补偿或有效的治疗； 1 3 应用前景与技术难点 人体运动分析是计算机视觉领域内的一个重要研究方向。对人的行为理解 和分析有着极其重要的作用。而目前，绝大多数人体运动分析的信息来源是 c c d 摄像机，由于摄像机分辨率有限以及它的视野范围受到很大限制，使得人 体运动分析的大量研究成果在应用时不能充分发挥优势。多摄像机的出现给人 体运动分析的成果转化提供了生机。 新事物的出现必然带来新的问题和挑战。基于多摄像机的人体运动分析是 计算机视觉领域里一个崭新的研究领域，相关算法和系统还远不如单摄像机系 统那样成熟。但是它潜在的巨大商业价值和研究意义，使其逐渐成为广大科研 工作和和商家追逐的焦点。不惜出巨资和人力来克服当前的困难，主要技术难 点集中在以下几个方面： ( 1 ) 智能视觉监控【7 】f 8 i g 1 1 0 】1 1 2 1 1 3 】f 1 4 l 这是人体运动分析的主要应用领域。现在的智能视觉监控区别于传统意义上 的监控系统在于其智能性。它不仅用摄像机代替人眼，而且用计算机协助人乃至 代替人来完成监视或控制任务，从而减轻人的负担，有巨大的实际应用价值和研 究价值。特别是9 1 l 事件以后，人们对安全保护设施的需求增长速度非常侠，使 得智能视觉监控成为目前人体运动视觉分析领域里最具应用前景的领域。 由于周围环境以及天气的变化以及人体目标的特殊性，使得智能监控的应用 时遇到了很大的困难，主要难点有以下几个方面： a ) 快速准确的运动目标检测【3 】【1 5 【1 6 】【1 7 】。主要是从监控摄像机所捕捉的序 列图像中检测是否有运动物体存在。 b )实时性、鲁棒性的基于三维模型( 三维建模) 的车辆与行人的定位、 识别与跟踪。 c )移动摄像机视觉监控技术。目前大部分用于监控的摄像机均是固定在 某一位置，相关参数在安装时就已经设定，在使用中不能或者无法自 西北1 ：业人学硕士学位论文 第一章绪论 动改变，而基于移动摄像机的监控技术是将现有参数固定的静态摄相 机改进为参数可自动调节的动态摄相机。 d )多摄像机的协作监控 8 】1 9 】【j 2 】f 1 8 】【l9 】 2 0 - 2 2 2 3 】【2 4 3 们。由于是多个摄像机同时 作业，这对系统的协调性提出了很高的要求，如何充分利用多摄像机 系统提供的信息，使系统达到最优化，是广大科研工作亟需解决的问 题。 e ) 身份识别。身份识别在现实生活中有非常重要的应用，当前的摄像机 受到分辨率和视野范围有限的限制，在远距离对人脸与步态识别时， 遇到很大的困难。如何利用当前的人体运动分析技术来解决基于生物 特征的身份识别是人体运动分析得到实际应用的一大障碍。 ( 2 ) 步态分析及识别“”1 步态分析来自传统的医学领域，主要用于分析病人的关节情况。在计算机视 觉领域中，对人的步态进行视觉分析与识别研究具有重大意义，由于人的行走步 态的非接触性、可感知性和难以伪装的非侵犯性，是远距离时唯一可感知的行为 特征。因此在计算机视觉监控系统中可以选择它们作为生物特征用于一定距离时 的身份识别。在这方面代表性的是英国的南安普敦大学所做的工作。但总的来说 步态识别研究目前仍处于初级阶段，相关算法不成熟，存在以下局限性： 一、实验通常是在受限的条件下进行的，如人体运动期间不被遮挡、背景相 对简单、相对于摄像机而言人的侧面行走等； 二、目前算法的测试都是在小样本数据库上进行的一般最多不超过1 2 人。 ( 3 ) 面部表情与手势分析及识别 这是人体运动分析的最高层之一。将来人们要求今后计算机应能听、能看、 能说，而且应能”善解人意”，即理解和适应人的情绪或心情，使人能以语言、文 字、图像、手势、表情等自然方式与计算机打交道，现在该领域已经成为“人的 观察”领域最热门的研究方向。利用计算机进行面部表情理解需要解决的主要问 题有：一、复杂背景下的人脸检测；二、人脸模型化，由于人脸是非刚体。不同 表情的人脸模型也是不一样的，因而模型的精确建立非常困难的。三、跟踪与识 别。面部表情的识别关键在于表情模型的建立和情绪分类。四、不同通道( 语音、 图像等) 信息的同步与融合，也就是多摄像机之间以及与其他的传感器的数据融 合。 ( 4 ) 行为理解与描述 人体运动分析研究的最高层。人的行为理解与描述是指对人的运动模式进行 分析和识别，并用自然语言等加以描述。行为理解可以简单地被认为是时变数据 西北工业大学硕士学位论文 第一章绪论 的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。其 关键问题是：一、如何从学习样本中获取参考行为序列；二、学习和匹配的行为 序列必须能够处理在相似的运动模式类别中空间和时闻尺度上轻微的特征变化。 此外，多摄像机技术在其它应用方面遇到了很大的困顿，如多路视频显示中 的视频拟合”等技术。 总之，基于多摄像机的人运动视觉分析已经成为计算机视觉领域一个重要研 究领域，在智能视觉监控、三维环境建模、交通控制等方面的应用前景引起广泛 的关注。1 9 9 8 年s c i e n c e 期刊中就发表有关于人视觉分析的文章，在以后的实 际研究和应用中引入了多摄像机系统，借助多摄像机系统实现单一摄像机无法解 决的问题( 如遮挡问题、视野范围有限等) 。但就总体来说基于多摄像机的人体 跟踪研究还处于基础性研究阶段。 1 4 本文主要内容 本文受国家自然科学基金“智能信息融合图像识别理论及应用研究”( 编号： 6 0 3 7 2 0 8 5 ) 、陕西省科学技术研究发展计划项目( 攻关项目) “智能人脸检测与跟 踪系统”( 编号：2 0 0 3 k 0 6 一g 1 5 ) 资助，对多摄像机环境下的人体跟踪与系统搭建 做了较为深入的研究，主要内容安排如下： 第一章，对多摄像机环境下的人体检测与跟踪的应用背景和国内外研究状况 做了概述。首先介绍了本文选题的研究背景和意义，分析研究了多摄像机环境下 的人体检测与跟踪的国内外研究现状，并对现在多摄像机人体跟踪领域做了相应 地分析，总结出最近几年的研究方向和遇到的挑战。 第二章，分析研究了多摄像机人体跟踪系统中的主要功能以及相关关键技 术，并对相关技术和算法进行了分析，最后对当前研究存在的难点问题做了分析 总结。 第三章，重点研究了摄像机视野分界线的快速自动生成。提出了一种基于同 步视频的摄像机视野分界线划分算法，取得了较好地结果。试验表明该算法具有 较强的实时性和鲁棒性，准确率高。 第四章，重点研究了基于摄像机视野分界线的目标交接算法。相对于基于特 征融合的算法，该算法具有准确率高、计算复杂度低、不需要摄像机标定以及目 标颜色信息等优点。实验证明，该算法成功地实现了多摄像机之间的目标交接。 第五章，重点研究了多摄像机人体跟踪系统的搭建，给出了多摄像机系统的 7 幽北业大学硕士学位论文第一章绪论 总体设计方案。详细阐述了系统中的各种仪器的选择以及主要模块的设计与实 现，最后给出了详细的测试结果报告。 第六章，总结与展望。对本文的内容做了总结，并对多摄像机系统人体的运 动分析的未来发展趋势做了展望。 西北工业大学硕士学位论文第二章多摄像机人体跟踪系统分析研究 2 1 引言 第二章多摄像机人体跟踪系统分析研究 多摄像机人体跟踪系统m c h t s ( m u l t i p l ec a m e r ah u m a nt r a c k i n gs y s t e m ) 是在单摄像机人体运动分析基础上发展起来的一个新的研究领域。众所周知，普 通的c c d 摄像机受到分辨率和视野范围有限的限制，无法实现大范围、长时间、 多角度对监控场景实行监控。同时，由于人不同于其它目标，人的运动有很大的 机动性和不确定性。其特征随着环境的不同而不断发生变化，这对于经典的对刚 体目标适用的目标跟踪算法是无法解决的。这些因素使得多摄像机的使用成为必 然。 目前的m c h t s ，就其功能而言可以划分为五大子系统( 如图2 。1 1 所示) ： 西北工业大学硕士学位论文第二章 多摄像机人体跟踪系统分析研究 = = _ e = ! j ! = 暑i t = = = = = j e = ! e = = = 目e = = ! ! = ! = _ - = ! = = ! 目目_ - e ! ! 自= = = o j - = = ! ! = = = e 目_ e = ! 自! = j j 冒_ _ 一 图2 - 1 - 1 多摄像机人体运动分析系统 i 前段视频采集系统 主要包括摄像机标定、图像采集、摄像机参数设置、云台转台控制等。 主要研究难点：摄像机标定。 i i 单摄像机的目标检测与跟踪系统 主要是视频序列图像的目标检测与特征提取和单一摄像机的目标跟 踪与行为分析。主要研究难点：复杂环境中的目标检测与特征提取 i i i 多机之间的通讯 主要是多摄像机系统中客户端之间的数据通信。主要研究难点：客户 端与服务器端之间的实时数据通信以及相应数据处理等。 西北工业大学硕士学位论文 第二章 多摄像机人体跟踪系统分析研究 i v 服务器端的多路数据处理 主要研究难点：多路数据的融合、多摄像机之间的目标交接等。 v 与用户的实时交流 比如将家中的实施的监控情况通过手机等移动工具实时告知用户等， 这样极大的方便了用户，便于研究成果投向市场。 其中最重要的是第二和第四模块，这两个模块中的目标检测和数据融合是极 具挑战性的研究课题，现在广大科研工作者大多集中在这两方面做研究。本章深 入查阅研究大量多摄像机人体跟踪研究文献基础上对上述多摄像机人体跟踪领 域内的相关技术难点以及主要算法作了详细分析与研究。 2 2 摄像机标定阳印 定义：摄像机标定是指在图像上每一点的亮度反映了空间物体表面某点发射 光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这 些位置的相互关系，由摄像机成像几何模型所决定。该几何模型的参数称为摄像 机参数，这些参数必须由实验与计算确定，实验与计算的过程称为摄像机标定【2 “。 摄像机标定是多摄像机系统中必需的关键一步，摄像机标定的好坏直接影响 到下一步的结果。目前，主要的摄像机标定方法有两种：传统的摄像机标定方法 1 3 6 - 3 8 1 和摄像机自标定方法f 2 1 】【3 9 训1 。本节主要对上述两种摄像机标定技术进行了 全面介绍和总结。 2 2 1 传统摄像机标定方法 传统的摄像机标定是利用一个标准参照物与其对应图像的对应约束关系来 确定摄像机模型的参数，可以应用一幅以上的图像进行标定，这种方法己经有比 较成熟的算法和理论。文献【4 5 提出了透视变换矩阵法和直接线性变换法( d l t ) ， 该算法属于线性方法标定范围，主要特点是简单，易实现，但对畸变比较敏感， 倘若没有考虑畸变因素，畸变影响无法克服，标定精度较低。为了提高计算精度， 必须考虑非线性畸变，利用最优化算法标定的方法可以假设摄像机的光学成像模 型非常复杂， f a i g 提出的算法考虑了摄像机成像过程中的各种因素，精心设计 了摄像机成像模型【4 “，然后寻找在某些约束条件下的最小值，进行非线性优化求 解。这类方法的优点是提供了一个模型的良好初值时，算法具有很高的准确性， 西北工业大学硕士学位论文 第二章多摄像机人体跟踪系统分析研究 可以很好的收敛。它的最大缺点是标定的精度很大程度上依赖摄像机的初始给定 值，同时算法非常费时，难以实时地得到标定结果。两步法1 3 5 , 3 6 是上述方法的综 合，它既包含了直接求解需要标定的大多数参数，又采用了迭代方法求解其余少 部分参数两个步骤，在这方面较为典型的就是t s a i 提出的两步法。这类方法的 优点是大部分参数是非迭代的，小部分是迭代的，故迭代的代价很小，计算速度 很快。缺点是没有完全解决畸变问题，求解结果有时不是最优的。 双平面标定方法 4 9 - 5 2 】是另一种传统摄像机标定方法，它试图寻找更合理的 摄像机模型，使之更全面、更有效地表示c c d 摄像机实际成像过程。w e n l 5 3 等 人提出的神经网络法不使用小孔成像模型，因此不需要精确的建立投影模型。用 神经网络代替成像模型，由于这种方法还是需要标定参照物，因此也属于传统的 标定算法。 当前，对传统摄像机标定技术的研究集中在如何有效地、合理地、快速地确 定非线性畸变校正模型的参数。 2 2 2 摄像机自标定方法 自标定方法( s e l f - c a l i b r a t i o n ) 不需要标定块，不需要摄像机作特殊运动， 仅仅依靠多幅图像对应点之间的关系直接进行标定的过程。摄像机标定是9 0 年 代中后期在计算机视觉界兴起的最重要的研究方向之一。自标定方法由于其仅需 要建立图像对应点，所以标定方法灵活性强，潜在的应用范围广，其最大不足是 鲁棒性差。 目前的自标定方法，多数是基于绝对二次曲线( t h ea b s o l u t ec o n i c ) 或其对偶 绝对二次曲面( t h ea b s o l u t eq u a d r i c ) 的方法。m a y b a n k 和f a u g e r a s t 5 4 1 提出了利用射 影空间绝对二次曲线的不变性推导出关于内部参数的k r u p p a 方程。用k r u p p a 方程给出约束关系的代数描述，控制摄像机作几次运动即可求得摄像机内部参数 矩阵。该算法的优点是精度高、准确，代价是增加了方法计算复杂度，对噪声很 敏感。文献【5 5 】中提出一种新的摄像机线性自标定的算法，对摄像机的运动要求 不苛刻，只须控制摄像机作两组运动参数未知的运动，要求本组的平移向量线性 无关，且两组的旋转轴不同。通过确定无穷远平面的单应性矩阵( h o m o g r a p h y ) ， 即可线性地唯一确定摄像机的内参数矩阵和运动参数。 目前该方法主要包括基于纯旋转运动和纯平移运动的自标定方法两种： ( 1 ) 基于纯旋转运动的摄像机自标定技术。 该方法是由b a s u 5 6 1 、d u 以及b r a d y l 5 7 1 提出的，通过摄像机作纯旋转运动来 两北工业大学硕士学位论文 第二章多摄像机人体跟踪系统分析研究 求解内参数。该算法具有一定的局限性，它要求摄像机只绕光源中心旋转，不能 有任何平移，但在实际应用中光源中心难以确定，为此吴福朝1 5 鄙提出了新的具有 很强鲁棒性的实用算法。 ( 2 ) 基于纯平移运动的摄像机自标定技术。 该方法是由马颂德口9 】研究员首先提出的，通过控制摄像机在三维空间内作两 组纯平移运动，其中每组包含三次两两j 下交的平移运动，可以线性求解四参数的 内参数矩阵。李华等 6 0 i 卿j 提出利用5 组平面正交运动来标定摄像机所有5 个内参 数的线性方法。雷成等1 6 i j 严格的证明了通过摄像机平台的四次平移运动( 任意三 次不在一个平面) ，即可线性求解摄像机的5 个内参数和摄像机坐标系和平台坐 标系之间的旋转矩阵。以上方法都仅是得到内参数，对外参数的识别都没有提及。 除上述的自标定方法外，z h a n g 等人 6 2 】还发展了立体视觉系统的摄像机自标定算 法。 以上方法都是针对摄像机内参数固定不变的情况，最近研究者们还提出了一 些摄像机内参数存在变化的摄像机自标定方法【6 3 】。通过预测一些内参数的方法， 减少未知参数的个数，p o l l e y f e y s 删提出一种柔性自标定技术，该方法假设部分 内参数己知，且允许其他内参数变化，这在应用自动调焦的相机进行拍摄时十分 有用。 目前已有的各种标定方法，各有其特点分别适用于不同的场合。其中标定 效率和标定精度之间存在着矛盾，选取何种标定方法，需要根据特定的任务，采 用不同的标定方法，以满足实际应用的需要。测量范围和测量精度之间有时也是 一对矛盾，两者之间的取舍取决于用户的目的和需求。不同的应用背景也对标定 技术提出了不同的要求。在立体计算机视觉中，如果系统的任务是物体识别，则 物体相对于某一个参考坐标系的绝对定位显得并不特别重要，更重要的是物体特 征点间相对位置的精度；如果系统的任务是物体的定位，相对于某一个参考坐标 系的绝对定位精度就特别重要。c c d 摄像机的特点和应用问题的要求使得标定 技术、精度和实时性等问题的研究显得特别重要，同时也导致了研究成果的多样 性。 2 3 目标检测 目标检测一直是目标跟踪领域内的一个研究难点和热点。同时也是视频图像 中人体检测与跟踪中的难点，在此就不做过多叙述，只简略研究下当前这方面 西北工业人学硕士学位论文 第二章多摄像机人体跟踪系统分析研究 的主要算法。 2 3 1 背景减除算法 背景减除方法是目前目标检测中最常用的一种方法【6 6 【6 7 】，它是利用当前 图像与背景图像的差分来检测出目标的一种技术，它一般能够提供最完全的特 征数据。最简单的背景模型是时间平均图像，即取连续几帧背景帧的平均值作 为背景模型。但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏 感。无法满足实际应用的需要。因此，许多研究人员都致力于开发不同的背景 建模算法，降低动态场景变化对目标检测的影响。m c k e n n a 6 5 】等利用像素色彩 和梯度信息相结合的自适应背景模型来解决影子和不可靠色彩线索对于分割 的影响；k a r m a r m 和b r a n d t 6 6 】、k i l g e r 6 7 】采用基于卡尔曼滤波( k a l m a nf i l t e r i n g ) 的自适应背景模型以适应天气和光照的时间变化；s t a u f f e r 平l l g r i m s o n 6 8 贝0 采用 了具有自适应能力的混合高斯背景模型( 即对每个像素利用混合高斯分布建 模) ，并且利用时时在线估计更新模型，从而可靠地处理了光照变化、背景混 乱运动的干扰等影响。 2 3 2 时间差分算法 时间差分方法也就是帧差分方法，是在两个或三个相邻帧之间根据基于像 素的时间差分并且闽值化来提取出图像中的目标的一种检测方法【1 6 】【6 9 1 。l i p t o n 等1 6 4 1 利用两帧差分方法从实际视频图像中检测出运动目标；一种改进方法则是 1 7 0 1 利用三帧差分代替两帧差分，如v s a m 一开发了种自适应背景减除与三帧差 分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。时间差分 运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有 相关的特征像素点，在运动实体内部容易产生空洞现象，并且当目标在没有运 动时，该方法将无法对目标进行检测。 2 3 3 基于光流的算法 基于光流特征的目标检测是利用运动目标随时间变化的光流特性7 1 1 7 2 1 ，检 测出动态场景重的目标。如m e y e r 等7 3 】通过计算位移向量光流场来初始化基于 轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运 西北j i ：业大学硕士学位论文 第二章多摄像机人体跟踪系统分析研究 动存在的条件下也能检测出独立的运动目标。然而，大多数光流计算方法相当复 杂，计算量巨大，且抗噪性能差，一般情况下难以实现视频流的实时处理。 2 4 多摄像机z f s 7 的图像配准 图像配准定义：对从不同传感器、不同时间、不同角度获得的两幅或多幅图 像或者图像中人们感兴趣的区域进行最佳匹配的处理过程称之为图像配准。图像 配准是多种图像处理以及应用如物体辨识、目标交接( 多摄像机之问的) 、图像 拼接、三维建模等的基础，配准结果的好坏将直接影响到其后续图像处理的结果。 在多摄像机系统中，由于各个摄像机的自身响应参数( 如采样率、色彩度等) 以及背景的不同，使得摄像机之间的图像配准变得十分困难。首先，由于摄像机 的硬件设计与实现方面存在的差异，使得相同目标在不同摄像机内的特征存在差 异，这是系统固有的误差，只能尽量的降低它对系统的影响但不能消除它：其次， 摄像机观测的角度不同产生的背景不同，目标的特征会随着背景的改变和观测角 度的改变而改变；还有，背景中的光线的影响，摄像机对环境中的光线非常敏感， 导致某一角度光线的变化对同一目标产生的影响是巨大的。除了上述因素以外， 环境中的目标的特性也会给摄像机之间的图像配准带来困难。因此，对多摄像机 系统中的摄像机之间的图像配准研究是一个极具挑战性的课题。 在多摄像机人体跟踪中，图像配准的主要任务是解决目标交接和目标遮挡问 题，由于多个摄像机监控范围大、角度不一，使得目标的特征和场景背景均不一 样，这对大范围的目标跟踪提出巨大的挑战。 2 5 目标交接 定义：当对一个大的场景进行监控时，必须用到多个摄像机同时进行监控， 假定有一个目标当前在摄像机c1 的视野范围内，经过一段时间后，该目标进入 到其它摄像机的视野内，这时就必须确定此目标的身份即目标交接。 目标交接是多摄像机人体跟踪中基础关键问题是多摄像机系统进行后续处 理的必经阶段，因此，它在整个系统的地位非常重要。由于人体是非刚体，其运 动又存在很大的机动性，目标的特征会随时随地的发生改变，这对仅靠目标特征 融合算法解决目标交