（安全技术及工程专业论文）基于机器视觉的人体运动目标智能监控系统设计与研究.pdf

北京交通大学硕士学位论文a b s t r a c t ab s t r a c t m o t i o no b j e c td e t e c t i o na n dt r a c k i n gs y s t e mc o m b i n e dal o to fa d v a n c e ds u b - j e c t s t e c h n o l o g i e ss u c ha si m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o n ，a r t i f i c i a li n t e u i - g e n c e ，a u t o c o n t r o la n dc o m p u t e rs c i e n c e t h ev i s u a ls u r v e i l l a n c ew a sb r o a d l ya p - p l i e di nr o b o tv i s i o n ，v i s u a lp r e - w a r n i n g ，m a c h i n en a v i g a t i o n ，t r a f f i cm a n a g e ，m u l - t i m e d i at e a c h i n g ，h u m a n - m a c h i n ei n t e r a c t i o na n di m p o r t a n tl o c a t i o ns a f em o n i t o r w i t hm o r e a n dm o r ep e o p l et a k ea t t e n t i o nt os a f e t y , s a f em o n i t o rb e c a m ev e r y i m p o r t a n t d e t e c t i o na n da u t o - t r a c k i n gm o t i o np e o p l ea tt h ec o m p l i c a t e de n v i r o n m e n tw a ss t u d i e di nt h i sp a p e r ，a n dw h i c hm a d em o t i o ni m a g ea tt h ev i d e ow a t c h a r e a t h i sp a p e rc o n t a i n sm a i n l yt w op a r t s ：f i r s t ，d e t e c t i n gt h em o t i o no b j e c tp o - s i t i o nb yi m a g ep r o c e s s i n g ；s e c o n d ，t r a c k i n gm o t i o no b j e c tb ym o t i o ns t e pm o t o r ， w h i c hm a d et h em o t i o no b j e c ta l w a y sa tt h ev i d e om o n i t o ra r e a a tf i r s t ，t h es t a t u so fr e s e a r c ha n dd e v e l o p m e n to nm o t i o no b j e c td e t e c t i o na n d t r a c k i n gw a ss t u d i e da n da n a l y z e d b yc o m p a r i n gm a n yv i d e om o n i t o rs y s t e m s ， an o v e lp t ( p a n t i l t ) t r a c k i n gs y s t e mw a sd e s i g n e da n dc o m p l e t e di nt h i sp a p e r t h es y s t e mh a r d w a r ei n c l u d e ss t e pm o t o ra n dm o t o rd r i v e rl 2 9 7 l 2 9 8 c o n t r o l l e r w h i c hb a s e do np 8 9 v 5 1s i n g l ec h i pc o m p u t e rs y s t e ma n dr s 2 3 2s e r i a lp o r tc o m - - m u n i c a t i o n a n dt h ec o n n e c t i o na n dc o m m u n i c a t i o nw e r er e a l i z e db ym o d b u s p r o t o c 0 1 i m a g ep r o c e s s i n gw a st h ek e yp a r tf o rd e t e c t i n gt h eo b j e c ta n di t sp o s i t i o n f i r s t ，i m a g ea c q u i s i t i o na n di m a g es e g m e n ts u c ha sm e d i a nf i l t e r i n g ，b i n a r yi m a g e ， m a t h e m a t i c a lm o r p h o l o g ya n de d g ed e t e c t i o nw e r es t u d i e da n dc o m p l e t e d an o v e l e d g ed e t e c t i o nf u n c t i o nw a su s e da n di tg a i n st h em o r ec i e a r l e ra n db i g g e ri m a g e e d g et h a nt h ec a n n yo p e r a t o r s e c o n d ，i m a g er e c o g n i z ea n dt r a c k i n g ，f o rt h er e a l - t i m en e e d s ，an e wf a s tm o d e lm a t c h i n gw a yw a sp r e s e n t e db yd e c r e a s i n gt h es e a r c h m a t c h i n ga r e a ，a n dt h ep o p u l a rm e a ns h i f ta l g o r i t h mw a sa l s oa n a l y z e di nt h i s p a p e r t h ec l o s e dl o o pi d e aw a sa d o p t e di nt h ei m a g ed e t e c t i o na n dt r a c k i n gs y s - t e r n c o n s i d e r i n gt h er a n d o m i c i t y , n o n - l i n e a r i t y , t i m e - v a r y i n ga n dt i m e - d e l a yo ft h e h u m a nm o t i o nt r a c k i n gs y s t e m ，t h ef u z z yc o n t r o l l e rw a sd e s i g n e df o rm e e t i n gt h e s t a b i l i t yo ft h ei m a g ea c q u i s i t i o nn e e d sb yc o m p a r et h ep i dc o n t r o l l e r t h em o - t i o nv i d e oa u t o m a t i ct r a c k i n gt h em o t i o nh u m a nb o d yw a sr e a l i z e di nr e a l - t i m ei n l a b o r a t o r ye n v i r o n m e n t 一1 1 k e y w o r d s ：m a c h i n ev i s i o n ；h u m a nm o t i o nt r a c k i n g ；m e a ns h i f ta r i t h - m e t i c ；s t e pm o t o rc o n t r o l ；f u z z yc o n t r o l 一1 1 1 插图目录 插图目录 1 1 人体运动目标的自动跟踪系统的基本原理图 3 1 2 人体运动自动跟踪系统总体框架5 2 - 1 视频监控方案比较9 2 2 常用云台系统实物图1 0 2 - 3 云台跟踪系统硬件平台1 1 2 - 4 步进电机驱动及控制系统结构图1 l 2 5 时钟与电源转换电路图1 3 2 - 6 键盘阵列图1 3 2 7 键值分配1 3 2 8 数据显示模块1 4 2 9 总线隔离驱动连接图1 4 2 - 1 0 步进电机结构及转动示意图1 5 2 1 1 步进电机驱动电路图1 7 2 1 2l 2 9 7 在h a l f 状态下的输出状态时序图1 7 2 1 3 步进电机运行流程图1 7 2 - 1 4c m o s 成像原理图1 8 2 1 5c m o s 图像传感器工作流程1 9 2 - 1 6a s c i i 模式定义2 0 2 1 7r s 2 3 2 接口定义( 9 芯) 2 1 2 1 8m a x 2 3 2 接口转换电路2 2 2 - 1 9m o d b u s 协议流程图2 2 3 - 1 人体运动目标图像检测总体流程图2 4 3 - 2 中值滤波处理图2 7 孓3 三帧差法求运动目标区域2 8 3 - 4 具有明显双峰的图像灰度图2 9 孓5 二值图的膨胀处理3 3 3 - 6 二值图的腐蚀处理3 3 孓7 新的边界检测函数与c a n n y 算子检测的图像边缘对比图3 9 孓8 初始背景图4 0 北京交通大学硕士学位论文 前景目标进入视频范围图4 0 目标二值化图4 0 目标轮廓图4 1 图像匹配原理图4 4 小区域模板匹配总体流程图4 7 s u r e n d r a 背景更新效果图5 1 改进s u r e n d r a 背景更新效果图5 1 室内环境下的小区域模板匹配5 2 复杂室内环境下的小区域模板匹配5 2 m e a ns h i f t 算法跟踪效果图5 6 图像处理开环框图5 7 图像处理闭环系统5 8 运动目标的的云台控制原理图5 8 云台系统的跟踪控制图5 9 云台的模糊控制原理图6 6 模糊控制规则6 7 p i d 跟踪运动人体目标曲线6 8 模糊跟踪运动人体目标曲线6 8 9 l l 1 2 3 4 5 6 7 l 2 3 4 5 6 7 8 孓孓孓 乒乒缸垂垂乒乒 孓墨墨孓孓孓孓孓 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名拖张 签字日期：爰卯夕年矿石月眵日 新签名：廊级 签字日期：诉月多日 j l ：宗交邋大学碛士学位论文独剞性声明 独创性声明 本入声明所呈交的学位论文是本人在导师指导下进行的研究工作和取褥的研究成果，除 了文孛特别加以标注和致瓣之处外，论文孛不包含其缝人已经发表或撰写过鹃研究成果，邈 不包含为获得北京交通大学或其他教育机构的学位或证书而使用过的材料。与我同工作的 同志对本研究所做的任何贡献均融在论文中作了明确的说明并表示了谢意。 一签名膨剃、糊期：a p 年护和罗日 ，7 7 致谢 首先感谢我的导师李平康教授! 从选择研究方向、开展研究工作直至论文写 作的整个过程中，李老师都对我进行了悉心的指导和严格的要求，我在硕士学习 期间所获得的每一点进步，在科研上所获得的每一个成果都浸透着李老师的辛勤 劳动! 他博大精深的知识面、扎实的理论基础、忘我的工作作风、严谨求实的工 作态度和诲人不倦的师者风范令人敬仰，从李老师身上我不仅学到了知识，更重 要的是学到了工作和学习所应持有的态度，这将使我在未来的工作和生活中始终 受益! 同时也非常感谢李老师在生活中对我的照顾和关心! 在此论文完成之际， 谨向辛勤培育我的恩师表示衷心的感谢! 感谢过程控制实验室的杜秀霞老师，杜老师在我学习及平常生活中给予了很 多有益的指导和热心的帮助! 感谢杜老师在学习生活上对我的细心关怀和照顾! 感谢过程实验室所有共度求学时光的师兄弟、同窗们，是他们为实验室营造 了浓厚的学术氛围和团结友爱的生活氛围，正是在这样一个互帮互助、亲密无间 的集体中，在他们的合作、帮助和启发下，才使我的研究课题能顺利完成。在此 祝他们工作愉快，学业顺利! 感谢帮助过我的每一位老师和同学! 最后要特别感谢在成长道路上给我无私关心和体贴的父母和男友，他们一直 在我的身后默默的关心我、支持我，感谢他们的关心使我逐渐成长起来，给予我 完成论文的动力和信心! 再次向所有关心我、帮助我、理解我的老师、亲人和朋友表示衷心的感谢! 第一章绪论 第一章绪论 1 1 课题研究的目的和意义 人类的眼睛既能看见静止又能看见运动的物体，而且是一套天然性能极佳的 图像采集与跟踪系统，在人脑的配合下，可以实现对运动极为复杂的目标的识 别、精确定位与跟踪。在我们周围的许多情况下，比如：重要场所的保安、交通 流量的监测、航空和军用飞行器及坦克或火炮的制导、汽车的自动驾驶或辅助驾 驶等。如果能有一套人类主动视觉的延伸或辅助系统，并在一定程度上具有人类 的职能，能够辨别与跟踪我们感兴趣的运动目标，其重要意义是不言而喻的，操 作者可以在一定程度上解放出来，去做一些只有人类才能胜任的复杂的分析与推 理工作，并在必要的时候与系统进行交互，重新选择目标或修正系统错误与偏 差，这样必能大大提高人们的工作效率。机器视觉的任务就是应用视觉信息来控 制机器相对于目标物或一个目标特征集的姿态，从而进行目标跟踪。它利用视觉 伺服的原理，通过视觉传感器采集图像，进行图像处理与分析，给出位置反馈信 息，构成机器视觉的位置闭环控制。 基于视觉的跟踪与视频监控是近年来备受关注的多学科交叉课题【1 】1 【2 】2 ，它融 合了图像处理、模式识别、人工智能、自动控制以及计算机等多学科领域的先进 技术。复杂背景下运动人体图像的检测与跟踪是当前计算机视觉研究领域中的热 点与难点，它在机器人视觉、可视预警、机器导航、交通管理、多媒体教学、目 标识别与跟踪及安全监控等领域有着广泛的应用，同时也是各种后续高级处理如 目标分类、行为识别与理解等的基础。本课题的研究成果不仅能解决教学及会议 视频中视角范围不全，摄像机不能主动跟踪到目标人录像的问题；也可应用到舞 台上目标人的自动追踪摄像中；同时在重要的场所可做安全监控。并对进一步 地研究机器人视觉，未知环境中移动机器人的同时定位与地图创建( s i m u l t a n e o u s l o c a l z a t i o na n dm a p p i n g ，s l a m ) 问题及其目标跟踪有重要的意义。 随着社会对安全要求的日益重视和提高，安全监控越来越重要，视频安全监 控是通过摄像机检测安全区域边界或者特定区域内的活动目标进行监视与跟踪， 在传统的安全监控中，实时监控的任务通常是由人来完成，但是人执行这种长期 枯燥的例行监测是不可靠的，而且费用也高。用计算机代替人、协助人，来完成 监视、控制及自动跟踪感兴趣的目标的任务，从而减轻人的负担。目前图像安全 监控系统大多停留在可视化水平，仍需要大量的人工辅助操作，如手动控制摄像 头和云台动作，本文旨在通过p c 机控制摄像头自动识别跟踪运动目标，满足安全 监控的小型化、数字化、智能化的要求。 一1 一 北京交通大学硕士学位论文 1 2 国内外研究现状 自动目标识别与跟踪的目的就是要在视频序列的连续图像帧之间建立有关特 征的对应匹配，获取关于位置、速度、形状、纹理或色彩等的连续信息。这些被 跟踪匹配的特征可以是点、线、图像块、轮廓以及3 d 特征元等。人体运动跟踪也 就是要建立图像序列中人体的这些特征之间的对应关系。已有的人体运动跟踪研 究可分为跟踪头、手、腿等身体各部分的运动和跟踪整个人体的运动等。就所跟 踪视频的来源而言，有对应于单个摄像机获取的单目视频和对应于多个摄像机同 步获取的多目视频中的人体跟踪，与此相应的有二维跟踪和三维跟踪方法。 在机器视觉领域，对于自动目标识另u ( a t r ：a u t o m a t i ct a r g e tr e c o g n i - t i o n ) 技术，国内外有很多机构在研究，国外如：1 9 9 7 年美国国防高级研究 项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立的以卡内基梅隆大 学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ) 等高校参与的重大视觉监控项目v s a mf v i s u a ls u r v e i l l a n c ea n d m o n i t o r i n g ) 3 1 ，主要研究用于战场及普通民用场景进行监控的自动视频理解 技术，其研究开发了“实时视频中动目标识别分类与跟踪系统”( m o v i n gt a r g e t c l a s s i f i c a t i o na n dt r a c k i n gf r o mr e a lt i m ev i d e o ) ，可以对视频中的目标实时监 控及跟踪，并识别两种目标：人和汽车；实时视觉监控系统w 4 4 1 不仅能够定 位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可 以检测人是否携带物体等简单行为；i b m 与m i c r o s o f t 等公司也正逐步将基于视 觉的手势识别接口应用于商业领域中；在民用方面，2 0 0 7 年日本罗技公司推出 一种具有独特的可自动跟踪面部运动功能的，带有u s b 接口的c c d 型电脑摄像 头q u i c k c a m 。 国内的主要研究机构如中国科学研究院自动化所、哈尔滨工业大学、浙江 大学、清华大学等，已取得了一定的成就。在文献方面：m o e s l u n d 和g r a n u m 5 1 对2 0 0 0 年以前的工作做了回顾和分析，主要分成四个部分对基于视觉的人体运动 捕获进行了分析：初始化、目标跟踪、人的姿态估计和识别，同时对当时该领域 做的假设做了比较详尽的归纳；m o e s l u n d $ f l g r a n u m 【2 】2 0 0 6 年又对之前的工作做 了总结综述，补充2 0 0 0 年后该研究领域的发展。国内王亮【6 1 等人从检测、目标分 类、跟踪、理解等四个阶段对人体的运动进行了分析；此外，g a v f i l a 【7 】也对该领 域的部分文章做了阐述和分析。余静【8 】对当前的目标自动识别( a t r ) 系统所采 用的算法进行了归类和叙述，对目标识别问题中具有旋转、尺度、平移不变性的 特征及目标跟踪算法进行了讨论。杜友田【9 】主要对人的运动识别领域近年来的发 展作了比较详细的论述，从人运动的类别、运动表示方法和运动识别方法三个方 面分析了该方向的进展情况，并对该研究方向上待解决的问题作了分析。这些综 述文章的特点是对入的运动分析的各个环节都进行了讨论，研究主要集中在使用 一2 一 第一章绪论 固定摄像头，检测与跟踪的算法也不成熟，对运动摄像头跟踪运动人体的机器人 视觉方面的研究还不够。 1 3 人体运动自动跟踪系统的基本原理 基于机器视觉的运动摄像头自动跟踪运动人体目标主要是融合了图像处理、 计算机及自动控制学科的知识【l o 】。人体运动目标的自动跟踪主要通过采集目标图 像，检测出运动目标在图像中的位置，将图像目标位置偏离图像中心位置的偏差 转换成云台控制角度，再通过控制云台系统带动摄像头跟踪到目标，使目标一直 处在图像中心位置。以上过程的实现主要通过如图1 1 所示的基本流程。 图1 1人体运动目标的自动跟踪系统的基本原理图 f i g u r e1 - 1t h ef u n c t i o nd i a g r a mo fa u t o m a t i ct r a c k i n gs y s t e mo fh u m a nm o t i o nt a r g e t 1 4 研究的难点 人体运动目标智能监控系统是一个复杂的系统工程，归结起来，有如下主要 难点： 1 、图像采集的稳定性。图像采集与采集传感器性能有关，受摄像机性能的 制约和系统传输总线的宽度和速率影响。传感器性能越好，即传输总线越宽、传 输速率越快、摄像机单幅图片的分辨率越小，则采集较快；反之，采集较慢。另 外，由于人体运动的不可预知性，图像采集中目标有阴影或重影，图像的清晰度 等，都将影响系统的稳定性【1 1 】。 2 、运动目标检测与跟踪的鲁棒性。所谓鲁棒性是指运动目标检测和跟踪算法 能够在各种环境条件下实现对运动目标持续稳定的跟踪。影响运动鲁棒性的因素 主要有： 1 1 被跟踪运动目标的姿态改变； 2 ) 运动目标所处环境的变化f 1 2 j ，如：光照变化的影响，杂乱背景的变化，人 的外表( 外观造型、衣服的颜色和纹理) 变化，或人所穿衣服颜色与背景着色相 似时等； 3 ) 部分遮挡引起的运动目标不规则变形和全部遮挡引起的运动目标的暂时消 失。对运动目标进行三维重构能够有效解决其姿态改变所引起的目标丢失，但基 一3 一 北京交通大学硕士学位论文 于3 d 模型的跟踪算法所存在的局限性严重限制了它在实际系统中的应用。当运动 目标所处环境的光照发生改变时，采用图像灰度信息或色彩信息作为跟踪基础的 算法往往会失效，而基于图像特征的方法往往不易受光照改变，如利用运动目标 的边缘信息能有效避免光照变化对目标的影响，但在复杂环境下要将运动目标的 边缘和周围区分开是非常困难的。对于遮挡问题可利用多摄像机来解决，但多摄 像机的应用又会引入新的难题。 3 、运动目标检测与跟踪的实时性。一个实用的运动目标检测与跟踪系统能够 实现对运动目标的实时跟踪，这就要求算法必须具有快速实时性。但是由于图像 数据的巨大，处理这些数据往往需要较长的时间，很难达到实时处理的要求。通 常，简单算法能够实现实时跟踪，但跟踪精度却很差；复杂算法具有很高的跟踪 精度，实时性却很差 1 3 1 4 1 5 1 。 4 、运动目标视觉跟踪控制系统实质上是复杂的位置随动系统，其跟踪控制具 有以下特性及存在以下的问题： 非线性；由于云台步进电机的启停是抖动的，传感器的输入输出变量之间大 多是非线性的，再由于干扰的影响，更加剧了这种非线性【l6 】。 耦合性：平台、器件和输出随时都在发生变化且变化快慢不一致，使耦合关 系变得复杂。 滞后性；由于图像采集、传输和处理都有一定的周期和延迟，控制信号的产 生和传输也有一定的延迟，控制对象由于起动、传动和信号测量而存在明显的滞 后，从运动信号的发出到云台位置变化的滞后，包含有电机、传输与测量因素的 滞后。 约束性：系统受云台电机性能和运动装置的位移、速度及加速度的限制，还 有图像采样频率、图像处理处理周期、控制器硬件和软件的限制等。 不确定性：目标运动是不确定的，系统还存在采集、传递噪声等不良品质。 干扰性；跟踪目标和背景具有强干扰，系统器件的变化、运动器件的振动和 不稳定性引起的随机干扰。 由于受研究对象及环境变化的影响，使得看似简单的目标提取与跟踪实际研 究起来相当复杂。正是由于对视频中的人体运动进行自动分析存在这么多的困 难，已有的研究对问题进行了各种各样不同程度的简化，对环境和人的运动等进 行了不同的约束和假设，利用不同的先验知识来辅助问题的解决。因此在视觉检 测与跟踪的研究中不同的研究方法只适用于特定的应用背景下，至今没有一种方 法可以广泛地应用于各类目标检测的任务中，同时也没有一种方法可以保证有百 分之百的检测率【1 7 1 。 一4 一 第一章绪论 1 5 论文总体架构及主要完成的工作 1 5 1 总体架构 本文设计的人体运动目标自动跟踪系统( 如图1 2 所示) 主要包括两大部分： 一、图像采集及处理部分。首先通过u s b 口传输由摄像机采集的图像到控制 计算机。然后对采集的图像进行图像处理，检测出是否存在运动目标，存在则检 测出运动目标所在视频图像中的位置。 二、图像跟踪部分。将通过上部分检测到的图像位置信息发送给目标跟踪模 块，根据给定的目标位置和其它信息，建立快速跟踪控制模式，获取目标的运动 估计方向，通过步进电机驱动云台带动摄像机的转到目标位置，始终将目标锁定 在摄像头视场范围内。 图1 2 人体运动自动跟踪系统总体框架 f i g u r e1 - 2t h ef l o w c h a r to fh u m a nm o t i o nt r a c k i n gs y s t e m 1 5 2 主要完成的工作 1 、首先针对人体运动目标的自动实时跟踪，通过对现有的云台跟踪系统的比 较，设计了一种新的适用于室内的运动摄像头自动跟踪运动人体目标的云台控制 系统，整个系统由图像采集摄像机、控制计算机、基于p 8 9 v 5 1 的单片机系统和步 进电机及其驱动系统四部分组成，系统小巧实用、稳定可靠、成本较低。 2 、对于运动目标的图像分割，首先进行图像的预处理，滤波、图像二值化、 形态学处理等检测出是否存在运动目标及其在图像中所处的位置；图像分割还可 使用边缘检测的方法，本文应用种新的边界检测函数，得到比c a n n y 算子检测 更好的图像边缘。 3 、对人体目标图像的跟踪，本文提出一种快速的模板匹配的方法，首先通过 改进的s u r e n d r a 跟踪算法自适应地获取背景图像以提取匹配模板，然后通过摄像 头运动前后帧相同的运动区域来缩小匹配区域，进行快速目标匹配，以满足实时 性要求；同时研究了当前跟踪较为广泛应用的m e a ns h i f t 算法。 4 、在运动图像的跟踪处理中，图像质量差将会导致图像处理的不完整，并丢 失跟踪目标，因此本文提出用闭环控制进行图像处理，比开环控制更具鲁棒性， 一5 - 北京交通人学硕士学位论文 同时增强可靠性。为实现跟踪系统的稳定性，提出了基于极坐标下的模糊控制跟 踪运动目标。实验结果表明，本系统在实际应用中能实时自动跟踪室内运动人体 目标，完成对运动目标的安全监控与跟踪。 作为一个实时跟踪系统，本系统实现了跟踪的自动初始化以及自动从跟踪错 误中恢复，并且在一定程度上处理光照变化、身体自遮挡等问题。该系统可以用 于“视频会议”、“交通监控”、“人机交互 等一些安全监控领域中。 6 一 第二章运动目标自动跟踪系统的平台设计 第二章运动目标自动跟踪系统的平 台设计 2 1 前言 1 9 9 6 年，卡内基梅隆大学机器人研究所研制出专门的摄像机稳定系统，可进 行视觉定位和多静止目标跟踪。该系统从摄像机获取图像，用三块d s p 芯片计 算目标的位置和速度，图像处理结果和同步了的无人机姿态数据再传输到第四 块d s p 芯片，最后送到一个实时控制器去控制无人机的飞行，从而完成对目标的 检测和跟踪【3 l 。1 9 9 9 年和2 0 0 1 年，欧共体( e c ) 开始资助了基于先进视频监测的地 铁安全系统( a v s p v ) 项目和数字视频监测系统( a d v i s o r ) 项目，通过多个云台 对地铁站内人们的活动行为进行监控，以便用于交通安全和紧急情况服务援助。 国内在这方面的研究工作开展较晚，1 9 9 9 年以后，国内一些大学如清华大学、福 州大学、北京理工大学等都进行了固定摄像机对其视野范围内的运动人体的跟 踪。2 0 0 1 年，清华大学研究了针对野外自然环境设计的视觉侦察系统【1 8 1 ，摄像机 安装在只能水平旋转的车载云台上，视频信号及云台方位数据通过无线通讯传送 给基地端的计算机。系统对一辆汽车进行了跟踪，在像素3 8 4 x 2 8 8 图像分辨率下 达到每秒1 2 5 帧的处理速度。 为了获得运动目标的信息，当前的研究热点是在摄像机静止的情况下检测及 跟踪运动目标。但在实际应用中，由于摄像机视场有限，如果运动目标移出摄像 机视角范围，则无法监视到运动目标。但是当前国内外还没有成熟的运动摄像机 跟踪运动目标系统，主要研究集中在图像检测与跟踪处理算法上，对这些算法结 合硬件实现的研究还不很深入，本文就图像检测与跟踪控制结合硬件进行了研究 与实现。本章则为整个系统的实现搭建了运动跟踪云台硬件系统，为算法的实现 提供了基础。 20 2 跟踪平台系统设计要求 本文的目标是通过一个普通的u s b 摄像头，对非标定的人体目标进行实时的 跟踪，即人体目标所处的环境背景、衣服颜色以及人体是否面对摄像头都是随机 的，使随机运动的非标定人体目标一直处在摄像头的监视范围内。 1 、在室内环境下，通过计算机串口发出的摄像头转动控制命令到本设计系 统，实现摄像机运动跟踪及单运动目标的智能监控。 一7 一 北京交通大学硕士学位论文 2 、要求步进电机的转动速度跟踪人体目标的运动速度及方向可调，可 在3 6 0 度的范围内转动。 3 、系统具有一定的鲁棒性，并能满足系统实时性。 4 、该系统的软硬件开发环境具有进一步提高性能和扩展新功能的潜力。 5 、该自动跟踪器，既可自成一个小系统，独立完成运动目标的监视与跟踪工 作，也可作为一个子系统，装在其他光电测量( 如机器人头部、无人驾驶车等) 跟踪系统中工作。 2 3 系统方案比较 2 3 1 视频监控系统主要方案比较 视频监视系统的发展大致经历了三个阶段：2 0 世纪9 0 年代初以前主要是以模 拟设备为主的闭路电视监视系统，称为第一代模拟监视系统；9 0 年代中期，利用 计算机的多媒体技术实现监控，称为第二代数字化本地视频监视系统；9 0 年代 未，视频监视步入了全数字化的网络时代，称为第三代远程视频监视系统。 目前，各种设计方案和有关产品被相继推出。国内主要有： ( 1 ) 谢进一等人【1 9 1 设计了一种加装有数据采集卡和自动跟踪软件的闭路电视自 动跟踪系统，该系统成本低、维护方便，可实现手动选择所要跟踪目标，然后对 其实现一定范围内的自动跟踪； ( 2 ) 刘成刚等人设计了异常目标发现及跟踪摄像机系统，该系统由摄像机、 云台、图像采集视频解码芯片、数字图像处理d s p 、云台控制单片机等构成，可 以实现入侵目标快速检测和跟踪； ( 3 ) 目前市面上出现了自动跟踪的球型摄像机【2 l l ，可以按照预先编程的逻辑路 线扫描一个区域、当发现运动目标时，停止执行巡逻程序，发出警报引起现场监 视人员注意，并对目标图像变焦放大和跟踪录像，一定程度上实现了主动监视。 国外主要有： ( 4 ) m u r a k a m i 等人口2 l 设计的全天候视频监视系统方案，主要由一台可见光摄 像机和一台红外摄像机及相关控制设备组成，该系统循环采用可见光摄像机和红 外摄像机自动监测和跟踪入侵目标，有效杜绝了外界光线情况影响，并有目标识 别功能； ( 5 ) t o m o h i d e 等人【2 3 1 提出的联合摄像机视频监控系统，多个摄像机联合检测 和跟踪异常目标，其中包括一个可控的p t z 摄像机。 以上五种监控方案的比较【2 4 1 ，如图2 1 所示。 一8 第二章运动目标自动跟踪系统的平台设计 方案号 比较项 l2345 1 可见光摄像机 多个监测摄像头 摄像机镜头+ 摄像机镜头+ 摄像机商速球+ 多个跟踪摄像 + 1 红外摄像机 机( p t z ) 图像采集卡+专用视频解码 采集卡+ 图像处采集卡+ 图像处 图像处理设备采集卡 p c 机芯片+ d s p理和识别器理 摄像机运动、切 运动控制设备p c 规单片机处理器 控制器 换控制器 运动伺服设备云台步进电机云台高速球高控制精度云台 高控制精度云台 目标监测方式手选自动自动自动自动 目标理解方法特征色彩灰度差异略略略 跟踪出现在视 跟踪出现在视跟踪l 两摄像机交替跟择优分配摄像机 目标跟踪方法 场内的l 运动运动目 场内的1 目标踪运动的1 人跟踪多运动目标 目标标 监视范围 审出 较小较小无死角 硬件叮靠性低 高较高高高 监测可靠性高较低较低中较高 成本低高 低较高 中 图2 - 1视频监控方案比较 f i g u r e2 - 1t h ec o m p a r i s o no ff i v ev i d e od e t e c t i o na n dt r a c k i n gp r o j e c t 2 3 2 基于云台与解码器的监控系统 该系统( 实物如图2 2 所示) 为当前安全监控场所普遍采用的方案，其硬件 组成主要包括：计算机、r s 2 3 2 - r s 4 8 5 转换器、云台解码器、云台及摄象机。系 统软件主要分为三个处理模块：摄像机视频采集模块( 包括图像获取、图像显示 等) 、图像处理模块( 包括运动目标识别、目标跟踪等) 和云台控制模块。云台是通 过解码器和r s 2 3 2 4 8 5 接口与计算机主机进行连接通讯，云台本身由摄像机支架 和驱动器组成，驱动器的作用是通过步进电机来驱动摄像机支架的转动，从而带 动摄像头的转动。 以上云台和解码器方案为本课题预先采用的系统平台，成本相对较低，同时 是当前市面上安全监控普遍采用的方案。但由于该方案的设计的目标主要是针对 重要场所的多路安全监视，而本课题的应用背景主要是运动摄像机跟踪运动目标 的自动跟踪系统，所以采用该方案有一定的局限性。首先是该方案使用了解码器 进行云台电机的控制，目的是针对多个摄像机的监视控制，本课题只对单个运动 一9 北京交通大学硕士学位论文 漆 | | 浚 缓 图2 2 常用云台系统实物图 f i g u r e2 - 2p t ( p a n - t i l t ) s y s t e m 目标进行跟踪，不需加装解码器；其次是由于以上方案的云台速度是固定的( 水 平运动速度是4 度秒) ，云台运动速度较慢，跟不上运动速度快的目标；云台转 动的角度只能通过速度时间来控制，还有就是云台只能旋转3 5 5 度。基于存在 以上的局限性，本文设计了以下自动跟踪系统平台，以满足本课题的系统设计要 求，而且基于单片机系统的软件设计可重写，可扩展使用，并可以无需连接计算 机而作为一个独立的云台系统工作。基于此，本文设计了基于p 8 9 v 5 1 的步进电机 控制器。 2 3 3 新的自动跟踪系统平台设计 本文设计的自动跟踪平台系统【2 5 】如图2 3 所示，整个闭环系统由控制计算机、 图像采集摄像机、基于p 8 9 v 5 1 的单片机控制系统和步进电机控制驱动器四部分组 成。控制计算机是整个系统的核心，主要进行图像的采集处理、分析、目标位置 的检测和步进电机的转动量及方向的计算和发送等，通过计算机实现整个系统的 图像检测与发送控制命令。图像采集摄像机实现对被测环境的图像成像和传输。 单片机系统主要实现步进电机转动控制命令的接收，然后控制步进电机转动。步 进电机是整个系统的执行部件，通过它来带动摄像机转动，使运动目标一直处在 摄像机范围内。以下具体介绍新自动跟踪系统平台的设计。 一1 0 第二章运动目标自动跟踪系统的平台设计 ( a ) 结构( b ) 实物图 图2 - 3 云台跟踪系统硬件平台 f i g u r e2 - 3t h ep tt r a c k i n gs y s t e m 2 4 基于p 8 9 v 5 1 的单片机系统结构 由p 8 9 v 5 1 单片机为内核的步进电机驱动系统结构如图2 4 所示，整个系统由 单片机、电源与时钟模块、键盘输入模块、l e d 显示模块、总线驱动隔离模块、 步进电机驱动模块和串行数据收发模块等七部分组成。 图2 4 步进电机驱动及控制系统结构图 步进电机 f i g u r e2 - 4s t e pm o t o rd r i v i n ga n dc o n t r o l l i n gs y s t e ms t r u c t u r e 2 4 1 p 8 9 v 5 1 单片机 p 8 9 v 5 1 r b 2 r c 2 r d 2 是一款8 0 c 5 1 微控制器，包含1 6 3 2 6 4 k bf l a s h 和 1 0 2 4 字节的数据r a m 。p 8 9 v 5 1 r b 2 r c 2 r d 2 典型特性是它的x 2 方式选项。 利用该特性，设计工程师可使应用程序以传统的8 0 c 5 1 时钟频率( 每个机器周 期包含1 2 个时钟) 或x 2 方式( 每个机器周期包含6 个时钟) 的时钟频率运行，选 一1 1 一 北京交通大学硕士学位论文 择x 2 方式可在相同时钟频率下获得2 倍的吞吐量。从该特性获益的另一种方法是 将时钟频率减半而保持特性不变，这样可以极大地降低电磁干扰( e m i ) 。f l a s h 程 序存储器支持并行和串行在系统编程( i s p ) 。并行编程方式提供了高速的分 组编程( 页编程) 方式，可节省编程成本和上市时间。i s p 允许在软件控制下对 成品中的器件进行重复编程。应用固件的产生更新能力实现t i s p 的大范围应 用。p 8 9 v 5 1 r b 2 r c 2 r d 2 也可采用在应用中编程( i a p ) ，允许随时对f l a s h 程 序存储器重新配置，即使是应用程序正在运行也不例外。p 8 9 v 5 1 主要特性： 8 0 c 5 1 核心处理单元； 5 v 的工作电压，操作频率为0 - - 4 0 m h z ： 1 6 3 2 6 4 k b l m 内f l a s h 程序存储器，具有i s p ( 在系统编程) 并n i a p ( 在应 用中编程) 功能； 通过软件或i s p 选择支持1 2 时钟( 默认) 或6 时钟模式； s p i ( 串行外围接口) 和增强型u a r t ； p c a ( 可编程计数器阵列) ，具有p w m j 【i 捕获比较功能； 4 个8 位u o n ，含有3 个高电流p 1f i ( 每个u o n 的电流为1 6 m a ) ： 3 个1 6 位定时a 计数器； 可编程看门狗定时器( w d t ) ； 8 个中断源，4 个中断优先级； 2 个d p t r 寄存器； 低e m i 方式( a l e 禁能) ； 兼容t t l 和c m o s 逻辑电平； 掉电检测； 低功耗模式 木掉电模式，外部中断唤醒； 木空闲模式。 2 4 2 电源与时钟模块 电源与时钟模块为整个系统提供工作电源和时钟频率，如图2 5 所示。系统时 钟由一个晶体振荡器和两个电容构成，结合单片机内部时钟电路就可以产生与振 荡器固有频率相同的时钟频率。电源经前端变压器转换成9 一- - 1 5 v 交流电压，通过 桥式整流器整流成直流电压，再由调压稳压器m c 3 4 0 6 3 稳压到5 v 。经过稳压输出 的电压纹波系数小，以保证芯片的正常稳定运行。 2 4 3 键盘输入及显示模块 键盘输入电路直接通过单片机p 1h 的七个位组成一个键盘阵列，如图2 6 。 一1 2 第二章运动目标