（信息与通信工程专业论文）基于低成本ptz摄像机的目标跟踪算法研究.pdf

鼎煳 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：浆绎签字日期：加d 年多月垆日 学位论文版权使用授权书 本学位论文作者完全了解 澎姿盘鲎有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：獬 签字日期：z 口d 年夕月节日 聊龆喇 签字日期：沙厂p 年么 月黟日 浙江大学硕士学位论文致谢 致谢 时光飞逝，转眼间三年的研究生学习生涯便即将结束。回想起这三年走过的 路，感慨万千。我非常庆幸有机会进入这个全新的领域，学习前沿的理论知识， 开展各种有意义的工程实验。期间得到了多位老师和同学的指导、帮助，在这里 向他们表示衷心的感谢。 首先要感谢我的导师项志宇老师。项老师领我进入机器视觉的大门，为我准 备学习计划，对我进行科研训练，经常是逐行代码地进行指导，这些都给我留下 了深刻的印象。在p t z 摄像机智能监控的研究过程中，项老师亲历亲为，项目上 的问题经常考究至每一个细节，其严谨治学的作风让我深受感染。感谢项老师在 学习，工作，生活各方面对我的悉心照料。 同时还要感谢实验室里的所有老师和同学，特别是刘济林老师。刘老师营造 了实验室良好的学习氛围，严谨的治学气氛，以及团结友爱，积极向上的科学精 神。这些都是我在研究生期间重要的收获之一。还有要感谢众多一起研究讨论的 同学们，特别是沈敏一，徐进，张雷，孙波，等：正是有了你们，工作才如此顺 利，生活才如此精彩。 最后感谢我的父母，感谢我的室友，祝所有关心我的人生活健康，幸福快乐。 梁文锋 2 0 10 年5 月于求是园 浙江大学硕士学位论文摘要 摘要 本文研究智能跟踪算法和p t z ( p a n t i l t z 0 0 m ) 摄像机的新特性，并用低 成本p t z 摄像机设计了一套可以在复杂环境下工作的智能目标跟踪系统。 通过检测长时间图像序列相同位置像素颜色的方差变化，以及自适应地调整 序列的长度，实现高灵敏度和大动态范围的运动检测。同时通过构建方差信息在 空间中分布的模型，对环境信息进行自主的学习，实现对环境干扰的感知，并能 根据不同区域的不同干扰情况，动态地调整判决阀值。这提高了系统的抗噪声容 限，并对常见的运动干扰和固定噪声源起到了屏蔽的作用。最后通过目标轨迹的 历史模型，实现了对目标运动下一位置的预测。这提高了跟踪的成功率，消除了 闭环控制延时的影响，并最大程度地将目标保持在监控屏幕的中心。另一方面根 据目标前后位置的关系和形状信息，实现了对相同目标的识别，使得系统可以在 复杂背景和多入侵物的情况下使用。 系统针对p c 机进行了运算优化，使用滑动窗口的算术处理流程，对图像数 据进行实时计算，对摄像机进行智能的运动控制，实现了智能跟踪可疑目标的目 的，工作可靠，响应迅速，达到实用的程度。 关键字： p t z 摄像机智能跟踪运动检测图像方差空间分布模型历史轨迹 i i 浙江大学硕士学位论文a b s t r a c t a b s t r a c t 1 1 l i sp a p e ri so nt l l er e s e a r c ho fi m e l l i g e n to b j e c t 乜a c k i n ga l g o r i n l l nb a s e do n l o wc o s tp t zc 锄e r a a ne 伍c i e n ts y s t e m 腼c hd e t e c t sa i l d 位屺k sm o v i n go b j e c t r o b u s t l yu s i n gl o wc o s tp t zc 锄e r ai sp r o p o s e d t h ec o v 撕a n c eo fv i d e os e q u e n c e sw a sc a l c u l a t e dt od e t e c tm o v i i l go 场e c t s t h e n m b e ro f 缸i i n e st oc a l c u l a t et l l ec o v 撕a 1 1 c ec h a l l g e da u 幻m a t i c a l l ya c c o r d i n gt ot h e s c a l eo fm o t i o n ，s ot l l a tt h es y s t e m 、o r k e dw e l lo na 1 1l ( i n d so fe n v i r o i n e m s a t 吐l e l s 锄et i l i l e ，w es t 。r e dt 1 1 ec 0 v 撕a i l c ei nas p a t i a lm 。d e l ，s 。t 1 1 a t _ m o t i 。nd e t e c t i 。n 。f 1 a t e rf r a m e sc o u l db ee 1 1 h a n c e db yc o i n p a r i n gc i m e n tc o v 撕a n c ew i t hw h a tw a ss t o r e d i 1 1t l l es p a t i a lm o d e l t h es p a t i a lm o d e l l e 锄e d 劬mt 1 1 ec o v a r i a l l c eo fe n v i i o m e mt 0 d e t e c ts o u r c eo fi n t e 彘r e n c e i tn o to m ye l i m i n a t e dm a l l ys m a l lm o t i o i l s 也a tw ew e r e n o ti n t e r e s t e d 地b u t 出s oi m p r o v e dt 1 1 es n rp e r f b m l a i l c e o nt 1 1 eo t l l e rh a i l d ，w e s t o r e dn l e 仃a u c 虹n gi i l f o m a t i o no fo b j e c t si 1 1as p e c i a ld 撕b a u s e ，s ot 1 1 a tw ec a np r e d i c t n l em o t i o no nl a t e ro c c a s i o nb yc h e c k i n go u tt l l el l i s t o 巧i l lt l l e 出也山a u s e t h i sm a ( i e “ p o s s i b l et 0r e c o g i l i z et l l es a m eo 场e c to na n o t l l e rp i c t u r e ，a i l dh e l p e dt ok e e pt h eo b j e c t i l lt l l ec e m e ro fc 锄e r a a sar e s u l to ft 1 1 ed a t a b 嬲e ，廿l es y s t e m 、0 r k e dw e l lo n s i t l l a t i o nw i t l lm o r e 也a no n e m o v i i l go b j e c t w 色a c l l i e v e dt h ep u 印o s eo f 仃a c h n go b j e c ti i lr e a jt i m e ，u s i n gs p e c i a li t e 枷v e a l g o r i m mo p t i i l l i z e df o rp ca i l di n t e l l i g e n tm o t i o nc o 砷o la l g o r i 幽f o ra l ep t z c 锄e r a e x p e r i n l e m a lr e s u l t ss h o w e d l a tm ea l g o r i t h mw o r k e dr o b u s t l yi i lv 撕o l l s h n d so fe n v i r o 姗e m s k e y w o m s ： p t zc 锄e r a ；o b j e c t 仃a c h n g ；m o t i o nd e t e c t i o n ；v i d e oc o v a r i a i l c e ；s p a t i a lm o d e l ； l 仃a c k i n gd a 协a s e 浙江大学硕士学位论文目次 目次 致 射i 摘要i i a b s t r a c t i 目次：i i 插图和附表清单v 1 绪论1 1 1 目标、背景和意义1 1 2智能跟踪技术的研究和现状3 1 2 1 分类和概述3 1 2 2 减背景法一5 1 2 3 光流法和帧差法一6 1 2 4 累积差分图法8 1 2 5 特征点法8 1 3基于p t z 摄像机目标跟踪的研究现状9 1 3 1 p t z 摄像机的新特性9 1 3 2 p t z 跟踪研究现状1 0 1 - 4本文的主要工作1 1 1 5本文的内容安排1 1 2 系统分析及总体设计方案1 3 2 1 系统难点分析及初步对策1 3 2 1 1 p t z 摄像机的新特性1 3 2 1 2 环境的干扰1 4 2 1 3 闭环控制的延时15 2 1 4 相同目标的识别1 6 2 2系统软件结构17 2 3 模块设计1 9 l i 浙江大学硕士学位论文目次 2 3 1 视频预处理模块1 9 2 3 2 运动检测模块2 0 2 3 3 空间差分模型2 1 2 3 4 运动预测和相同目标识别模块2 2 2 3 5 运动控制模块2 3 2 4数据流程详图2 4 3 基于序列方差的运动目标检测：2 6 3 1方差检测的理论方法2 6 3 1 1 概述：序列方差2 6 3 1 2 数学形式2 7 3 1 3 工程上的意义2 8 3 1 4 其它运动检测方法的比较2 9 3 2 运算量和快速滑动窗口算法3 1 3 2 1 运算量规模31 3 2 2 快速算法的数学基础3 2 3 2 3 量化分析3 3 3 3 工程实现和实验结果支持3 3 3 3 1 摄像机自动增益和白平衡3 3 3 3 2 目标动态自适应3 4 3 3 3 实验结果分析一! 典型运动3 4 3 3 4 实验结果分析二：近乎静止的可疑物体3 6 3 4 空间方差模型3 7 3 4 1 概述：增强的判决系统3 7 3 4 2 空间建模3 8 3 5 空间模型的工作过程3 9 3 5 1 运动判决原理3 9 3 5 2 过滤不感兴趣的运动物体4 0 3 5 3 过滤噪声干扰源4 1 3 5 4 提高系统的抗噪声容限4 l i l l 浙江大学硕士学位论文目次 3 5 5 决策的粒度和区域的联通4 2 3 6实验结果分析4 3 4 运动预测和相同目标识别4 5 4 1历史轨迹模型：实现运动预测和相同目标识别4 5 4 2运动预测4 6 4 2 1 运动预测对摄像机控制的重要意义4 6 4 2 2 工程实现方法：4 8 4 2 3 实验结果分析5 0 4 3相同目标识别5 1 4 3 1 概述5 1 4 3 2 基于历史轨迹的相同目标识别5 2 4 3 3 其它识别方法和多判决系统5 4 4 3 4 实验结果分析5 6 5 实验系统结构和实验结果5 7 5 1 设备和系统集成5 7 5 2实验结果6 0 6 总结与展望6 7 6 1 本文工作总结6 7 6 2 研究展望6 8 参考文献6 9 作者简历及在学期间所取得的科研成果。7 3 浙江大学硕士学位论文 插图和附表清单 插图和附表清单 图卜1 典型监控网络结构图1 图卜2 带目标智能跟踪的监控网络结构图2 图卜3 模式识别应用举例4 图卜4 运动检测研究重现图5 图卜5 帧差法研究重现图：7 图2 1 焦距变化范围效果图1 3 图2 2 应用环境干扰举例1 5 图2 3 闭环延时后果举例- 1 6 图2 4 运动检测和模式识别结合j 1 7 图2 5 软件流程简图1 8 图2 6 视频预处理模块简图1 9 图2 7 运动检测模块简图2 1 图2 8 空间差分模型软件简图2 2 图2 9 运动预测和相同目标识别简图2 3 图2 1 0 运动控制模块简图2 3 图2 11 详细数据流程图2 5 图3 1 方差检测详细数据流程图：2 6 图3 2 视频截图和对应的方差2 8 图3 3 典型运动场景下方差法和帧差法的比较3 5 图3 4 弱运动场景下方差法和帧差法的比较3 6 图3 5 空间方差模型详细数据流程图3 7 图3 6 环形空间展开成矩形3 8 图3 7 监控范围全景图和方差空间模型平面图3 9 v 浙江大学硕士学位论文插图和附表清单 图3 8 过滤运动干扰原理图4 0 图3 9 过滤噪声干扰原理图4 l 图3 1 0 提高噪声容限原理图4 2 图3 1 1 粗粒度马赛克区域联通图4 2 图3 12 方差模型试验结果分析4 3 图4 1 历史轨迹模型数据流程图4 5 图4 2 闭环延时分布图4 6 图4 3 摄像机运动过程中的模糊图像j 4 7 图4 4 惯性预测示意图4 8 图4 5 历史路径预测示意图4 9 图4 6 环形数据展开成为矩形数据结构的示意图4 9 图4 7 运动预测实验结果分析5 0 图4 8 运动预测不当导致焦距抖动的现象5 l 图4 9 相同目标识别工作原理图5 2 图4 1o 方差形状的分析5 5 图4 1 1 相同目标识别实验结果图5 6 图5 1 硬件设备总体结构和连接图5 7 图5 2 实验环境、设备实物及其连接图6 0 图5 3 最终软件界面截图6 0 图5 4 一组完整的实验结果6 2 图5 5 摄像机焦距调整过程6 3 表5 1 各个时刻的焦距读数( 相对于最小焦距) 6 2 表5 2 目标首次出现时的检测成功率6 3 表5 3 跟踪维持时间6 4 表5 49 0 度转弯处的跟踪成功率6 5 表5 5 运动物体突然往回走时的跟踪成功率6 5 表5 6 两个运动物体相互遮挡时的跟踪成功率6 6 v i 浙江大学硕士学位论文绪论 1 绪论 1 1 目标、背景和意义 随着信息化的发展以及社会对安全防护要求的提高，视频监控已经成为一个 重要的技术领域，并带动了电子、图像处理、模式识别等一系列学科的发展。 视频监控是一个系统工程，需要对图像进行采集，传输，处理、存储等多种 操作。据统计，全国每年有2 0 0 0 万只不同类型的监控摄像机被安装到各种应用 场合中，提供总量庞大的持续的视频数据。这些视频数据的信息量非常之大，以 至于需要大量的操作人员进行监视、遴选、识别和跟踪。即使这样，也仅仅是一 小部分的数据得到了处理。 在这2 0 0 0 万只摄像机之中，大概有1 0 是p t z 摄像机。p t z 摄像机允许监控 人员监视更大的范围，可以追踪活动的目标，可以将目标放大，可以进行细节的 识别。在过去，监控一个广场需要安装多个固定摄像机，现在一个p ，r z 摄像机便 已经足够。p t z 摄像机的快速发展，使得它在很多监控系统中已经处于主导的位 置 电视墙 图卜1 典型监控网络结构图 上图是一个典型的视频监控网络结构图。由于摄像机的数目通常大于电视墙 浙江大学硕士学位论文绪论 所提供的屏幕数目，因此数目众多的摄像机视频信号会先由人工进行挑选，通过 一个多路开关矩阵，有可疑情况的摄像机视频才会显示在电视墙上。另外，摄像 机数目众多，每个摄像机所监控的目标不同，因此通常需要多个操作人员对屏幕 进行监控，并对摄像机进行控制。整个监控网络耗费了大量的人力，但监控的效 果依然不够理想，由于人手不足，对各监控场合只能做到“巡视”而没法时刻盯 着，很多突发情况不能被及时发现。 这对信息科学提出了一个挑战：如何利用计算机对这些图像数据进行处理， 实现可疑情况的及时发现和迅速响应，并解放劳动力，提高工作效率。机器取代 人工是历史的趋势。在本例中，需求主要体现在两个方面，一是自动控制多路开 关矩阵，将有可疑情况的摄像机视频切换到电视墙上，从而不会错过任何一个可 疑情况的发生。二是每个摄像机都可以对目标进行智能跟踪，从而消除一个操作 人员只能控制一路摄像机的瓶颈，使得少量人员即可完成整个监控中心的运作。 文献 1 6 中郭瑞霞等人对智能监控系统的结构和组成作了较完整的论述。一 个高效的智能监控系统如下图所示： 电视墙 广 视频信皇 。目标视频信号 囵固固目圜 摄像机i 7智能 l 一1 控制信号 跟踪 控制信号 曾臼自曾曾 e 丁视频信； 目标视频信号 摄像机i 。 智能 l _ j 、控制信号 跟踪 1 控制信号多路开关 窜紫印印案 矩阵 控制台固 广 视频信昱 目标：视频信号 摄像机 7 智能操作员_ l _ j 1 控制信号 跟踪 、控制信号 图卜2 带目标智能跟踪的监控网络结构图 从技术上来说，对可疑目标的智能跟踪，包括了可疑情况的自动报警，因为 显然必须是先发现了可疑目标，然后再启动跟踪的。本文将研究范围集中在单个 p t z 摄像机的智能跟踪控制上，研究在常规安防监控的应用环境中，如何使用p ，r z 浙江大学硕士学位论文绪论 摄像机实现高可靠、高灵敏度的目标智能跟踪系统。 利用计算机对目标进行跟踪是一个基本的需求，也是操作人员的基本工作之 一。操作人员通过键盘，选择特定地址码的p t z 摄像机，远程控制云台的角度和 摄像机的焦距，对闯进监控区域的可疑目标进行持续的跟踪和记录。典型的监控 场合是厂房、小区、公共场所，图像背景复杂，可疑目标包括行人，车辆和无固 定形状的入侵物，行为模式多样化。这些多样性这对智能跟踪系统的兼容性和鲁 棒性提出很高的要求。 在本文的系统中，计算机对连续的图像数据进行处理，找到可疑的目标并判 断其运动意图，产生相应的电信号控制p t z 摄像机进行主动跟踪，以使目标始终 在摄像机的视场范围以内。整个过程就像是由人控制一样。系统所面临的基本的 问题包括： 应用场景的复杂性，降低了图像处理结果的可信性 相机运动导致的全背景建模困难，以及运动带来的图像模糊； 相机焦距的改变导致的图像模糊以及较大的噪声等； 运动干扰和噪声干扰降低了识别和判决的正确率 控制信号延后降低了目标跟踪的成功率。 虽然一位经过适当训练的监控人员可以轻松胜任跟踪的工作，但这项工作交 给计算机的时候，却遇到了大量的困难。本文致力于解决上述问题，并提出一种 基于方差及其空间分布模型的算法，很好地解决了p ，i z 摄像机实时运动检测、干 扰识别、智能跟踪的问题。 1 2 智能跟踪技术的研究和现状 1 2 1 分类和概述 本文的智能跟踪技术，特指基于机器视觉的智能跟踪技术。 文献 1 对智能跟踪分类进行了详细的研究。基于机器视觉的智能跟踪技术 从原理上可以分为两类1 棚，一类基于模式识别( r e c o g n i t i o n _ b a s e d ) ，另一类 基于运动检测( m o t i o n - b a s e d ) 。前者适用于特定类型目标的有固定模式的物体 浙江大学硕士学位论文绪论 检测；后者适用于更广泛的无固定模式的物体检测。 ( 一)模式识别n 4 5 1 基于模式识别的技术，基于这样一个简单的假定：所有人或汽车都是可疑目 标。算法以图像的内容为基础进行分析，从图像中寻找类人物体、类人脸物体、 类汽车物体，并对其进行识别和跟踪。模式识别技术适用于面向特定类型目标的 场合，如对行人、汽车、人脸的检测等。文献 1 总结了模式识别的应用范围。 文献 1 7 中杨宜禾等人对估值理论做了详细的研究。 在典型的智能监控场合中，由于几乎一切形状的物体都有可能是监控的目 标，因此基于特定类型目标的模式识别技术不可用。实际上，训练有素的监控员 并不是根据物体的形状来判断是否可疑。 图1 3 模式识别应用举例 模式识别的典型应用案例如上图所示，前者是车牌识别，后者是车辆识别。 在车牌识别的例子中，由于车牌具有固定的形状和颜色组合，其上的字符有 固定的规则和模式，因此模式识别能取得出色的性能。在车辆识别的例子中， 由于背景是马路，颜色单一，没有多余的物体和轮廓，背景干净，因此模式识 别的受到的干扰较小，在这个案例中模式识别也能取得良好的性能。 总的来说模式识别是比运动检测更深层次的图像处理算法，要取得相同的鲁 棒性，模式识别要求目标物体具有更明显的规则，环境具有更少的干扰，图像 信号具有更低的信噪比。大部分的监控案例都不符合上述的要求。 ( 二)运动检测眨6 7 町 基于运动检测的技术，基于另一个简单的假定：所有运动的物体都是可疑目 标。算法通过寻找图像上的运动的物体，对其进行归类和识别，并根据需要进行 4 浙江大学硕士学位论文绪论 跟踪。基于运动检测的技术，适用于通用的目标，和目标的形状无关，而只与目 标是否运动有关。这更符合常规的意图和实际的监控需求。大部分时候训练有素 的监控员，都是根据图像上的移动来发现目标并跟踪的。 图卜4 运动检测研究重现图 在上图中可以看到，由于物体运动带来图像像素的颜色变化，这种颜色变化 可以通过计算机量化，并得到颜色变化的幅度、范围和其它规则。存在很多像素 颜色变化的量化方法，包括减背景法、光流法、帧差法、累积差分图法，特征点 法，以及本文所提出的方差法。本章的剩余小节会对这些量化方法作进一步的论 述和比较。 得到颜色变化的幅度、范围和其它规则后，可以对运动作出判决。最简单的 判决办法是固定阀值法，但这会导致较差的系统适应性，因为变化的幅度、范围 和规则，在不同的场景之间有很大的差别。一套鲁棒的系统必须是自适应的，能 够自动调整参数以适应各种变化。 本文引用的大部分文献，都是围绕运动检测开展的研究。 ( 三)运动检测和模式识别结合 如果目标是运动的并且有固定的模式，那么模式识别和运动检测可以一起使 用。简单地说先使用运动检测找出需要关注的核心区域，然后再用模式识别进行 进一步的检测。文献 1 研究了运动检测和模式识别的这种关系。 1 2 2 减背景法 减背景法心6 。3 是最常用的的运动检测算法，其可靠性高，算法简单，性能优 越，以至于几乎成为运动检测的同名词。一般教科书在介绍运动检测之前，都会 浙江大学硕士学位论文绪论 先说背景建模。 ( 一)静态摄像机的减背景算法 在静态摄像机的应用中，减背景法最简单的模型如下：对一段时间的连续图 像，进行算术平均( 或取中值平均) ，得到没有运动前景的干净的“背景”图像。 将当前图像和背景图像相减，通过图像的差值就可以找到运动的物体。具体实现 的时候，可以采用性能更好的混合高斯模型 9 1 ，对图像每一个像素的每一个颜 色分量进行统计学建模，以获得背景图像的更准确、全面的信息。通过此法得到 的运动检测结果，有效消除了噪声的影响，并且从理论上来说是最优的。 对于静态摄像机，减背景是较理想的运动检测算法，简单，鲁棒，实时，能 有效识别运动背景的干扰。 ( 二)用于p t z 摄像机的困难 遗憾的是，对p t z 摄像机来说减背景法基本不可用，主要是p t z 摄像机的背 景建模非常复杂。首先背景建模需要长时间的连续的图像，而p t z 摄像机总是在 运动的，停留瞬间的信息不足以建模背景。为了得到背景，需要把不同角度、焦 距拍摄的图像，精确地“拼接”起来。这要求非常高的机械精度，以及对镜头畸 变作非常精确的校正盯1 们。实际上一般科研级别的p t z 摄像机，远无法达到这个 机械精度，特别是在焦距z o o m 的步进尺度上 对于p t ( p a n t i l t ，不能z 0 0 m ) 摄像机，事前对镜头进行标定之后，通过 图像特征点匹配进行精确的角度定位，进行背景建模是可行的瞳1 。然而对p t z 摄 像机，受限于焦距精度，这一点至今没有看到实现的案例( 至少实时无法实现) 。 要在连续的2 0 倍可变的焦距上校正镜头，并获得精确的焦距读数，是非常困难 的口1 。虽然机械定位再加上图像信息的校正，可以得到较高精度的焦距读数，但 其精度远远达不到像素级别匹配的要求。 1 2 3 光流法和帧差法 光流法n l8 1 2 1 4 1 羽和帧差法n 2 1 3 “钉是另一个思路。减背景法检测的是当前 图像相对于背景的变化，而光流法和帧差法检测的是图像在一个时间段内的相对 6 浙江大学硕士学位论文绪论 变化。光流法比帧差法要复杂，前者基于帧间色彩梯度的变化，后者基于帧间色 彩距离的大小，但从纯粹的“检测图像变动”这个意义上来说，两者的本质是一 样的。 文献 1 4 对两者的差别进行了扼要的比较，光流法由于噪声、多光源、阴影、 透明性和遮挡的原因，使得计算出来的光流场分布不是十分可靠和精确。帧差法 速度快，c p u 负荷低，但在运动物体成像平面有重叠的时候失效。 简单起见，本文以最简单的帧差法举例。 最简单的帧差法：取相邻两帧的差值，如果差值超过某个阎值就认为是出现 了运动。帧差法运算量低，更重要的是，两帧的差值是在相同的云台角度和焦距 的情况下计算，不需要任何位置信息和焦距信息，因而可以很方便地应用到p t z 摄像机中。这种算法简单，以至于在商业上已经得到实际的应用羽。 光流法和帧差法的缺点也是明显的，由于计算的时候仅仅考虑两帧的差值 ( 或光流的变化) ，使用的信息量少，以至于很多在逻辑上可用的信息被丢弃。 在实际应用中，光流法和帧差法容易受噪声影响，一般为了避免噪声的干扰都会 调高检测阀值，而这往往会导致系统灵敏度偏低。另一方面，光流法和帧差法都 不能识别运动背景的干扰。 图卜5 帧差法研究重现图 帧差法的效果如上图所示，两帧连续的图像相减，得到颜色的差值，对颜色 的差值取绝对值( 所有颜色分量的平方和的开方) ，便得到了运动变化的量化的 示意图。从图中可以看到，运动被检测了出来，但问题是噪声也被检测了出来， 在最终的图像中，很难通过简单的方法进行运动判决。而在噪声进一步增大的环 境下( 比如说光线减弱) ，运动会被噪声完全掩盖。帧差法的另一个问题是灵敏 度太低，如果可疑目标运动微小，那么帧差法得到的图像差值太小以至于不能被 浙江大学硕士学位论文 绪论 检测。因此帧差法只能应用在高信噪比、低检测要求的系统中。 1 2 4 累积差分图法 累积差分图法n9 瓤2 妇统计一段时期内像素颜色的变动累积和，这个值越大越 可能是发生了运动。累积差分图法是帧差法的多图像版本，是到目前为止提出的 最有可能用于p t z 摄像机的运动检测算法之一。由于采用了图像序列作为输入 源，累积差分图法可以发现非常微小的运动，解决了差分图法灵敏度太低的问题。 累积差分图法的主要问题是，当噪声增大到一定程度时，性能会急剧下降。 噪声的平均差分值达到和运动的差分值同一个数量级时，用再多的图像序列作为 输入源都无济于事，因为问题不是“运动太小无法检测”而是“噪声太大不能确 定是否运动” 本文提出的方差法和累积差分图法有一定的相似性，但前者采用平方差，后 者采用线性差；前者是每一帧图像和一段时期内的图像均值比较，后者是每一帧 图像和前一帧图像比较。后者算法简单，并且对内存占用小，因为无需要在内存 中保存长时间的图像数据。然而前者使得噪声和运动的平均绝对值幅度在同一个 数量级时，依然可以取得良好的区分度。本文后面会有两种算法的更详细的量化 的分析。 1 2 5 特征点法 特征点法盯1 们是目前世界上主要的研究思路之一。考虑到p ，r z 相机的机械精 度低，我们可以放弃像素级别的匹配，转而使用更粗粒度的特征信息( 比如角点) 进行匹配。基本上所有传统的基于“像素”的算法，都可以找到其对应的“特征 信息点”版本。举例说，减背景法的“特征信息点”版本是这样的： 使用类似高斯混合模型的方法，获得整个空间的特征信息点的图像。将当前 视野图像的特征点和背景进行相减，不一致的地方就代表运动。本质上是用背景 的特征信息( 比如角点) ，代替背景位图的像素，建立低分辨率的半球的背景模 型。通过比较当前和背景的特征信息而不是像素数据，两者的差值就是检测到的 运动物体。主导思想是，采用特征信息，而不是位图信息，以大幅度降低对机 械精度的要求。通过选择粗粒度的特征点信息，原则上可以匹配任意的机械精度。 浙江大学硕士学位论文 绪论 该算法的问题依然是，灵敏度低。由于增加了“特征点”这样一个中间指标， 处理的步骤更多，信息在这个过程中的损失也更多。具体来说，在取到特征点的 时候，我们已经把大部分的信息丢失了，特征点的可信性，比像素点的可信性要 低很多；在信噪比相同的情况下，特征点法的性能不会比帧差法好。 无论如何，使用特征点代替像素是一个很好的思路，至少可以解决机械精度 低的问题，工程上可以实现，并且存在很多方法可以让特征信息点保留更多的信 息。从长远来说这是一个有前途的发展方向。 1 3 基于p t z 摄像机目标跟踪的研究现状 1 3 1 p t z 摄像机的新特性 到目前为止，研究工作者对p t z 摄像机进行了大量的研究。总的来说，p t z 摄像机的以下几个特点，是系统设计的关键因素。 ( 一) 没法提取背景。 文献【1 0 】对p t z 摄像机背景提取的困难作了完整的描述。由于背景像素提取 的算法，要求摄像机在每个角度静止一个较长的时间( 通常几分钟) ，而p t z 摄 像机总是在运动的，因此提取背景是相当困难。 一些研究者转向背景角点信息n 1 0 1 ，用角点信息代替像素。另一些研究者研 究在如何极短的时间( 1 秒) 内建立像素背景n 射。然而通过这些方法所得到的背 景信息，在精度和稳定性上无法达到和静态摄像机高斯建模相近的性能。 ( 二) 机械精度差，镜头难以标定。 文献 7 描述了p t z 摄像机机械精度差的问题。这是一种物理限制，随着电 子和光学的发展，其精度等级已经远远超过常规机械精度的等级。文献【7 】描述 了这种困难但没有提出实现高精度的建议或办法。到目前为止，在如何精确标定 p t z 摄像机及其镜头上，还没有出现有足够说服力的研究成果。 大部分当前的研究都采取了绕开机械精度的办法。基本上有两个思路，一是 只对摄像机静止期间的图像数据进行处理15 灯7 j 们，而丢掉运动过程中和非同 一角度的数据。另一种思路是采用粗粒度的检测单元，包括像素块( 本文) 和角点 7 ，l o 】 9 浙江大学硕士学位论文绪论 ( 三) 控制存在延时。 文献 2 对控制延时作了广泛的分析。控制延时的问题不仅仅是存在于p t z 摄像机上，在整个机器人控制的领域内都会遇到类似的问题。在一般的机器人控 制领域中，控制延时的主要成因是图像处理算法的耗时。而p t z 摄像机的特殊性 在于，控制延时里的主要构成是等待摄像机运动、云台抖动时间，这种情况在本 文所研究的低成本p t z 摄像机里特别严重。 目前专门针对低成本p t z 摄像机的研究不多，在控制延时的解决办法上没有 实质性的研究成果。 1 3 2 p t z 跟踪研究现状 目前使用p t z 实现智能跟踪系统，主要以帧差法为主。 文献 1 4 中蒋永建等人用帧差法实现了一套完整的跟踪系统，同时兼容静态 摄像机和p t z 摄像机。系统实现了对运动物体的跟踪，但需要根据环境手工设置 灵敏度和检测阀值。文献【1 5 中梁志勇等人在用帧差法实现运动检测的基础上， 采用了基于运动矢量的相同目标识别方法，使得在有多个运动目标的情景中，跟 踪系统依然可以正常工作。 文献【2 1 】中采用了更为先进的累积差分图法，实现了对更细微的运动的检 测，并取得非常高的灵敏度。该系统通过累积差分图法进行运动检测，同时进行 运动方向、距离的计算，实现简单的惯性运动预测i 同时该系统对运动区域做进 一步智能分析，对类人脸的物体进行挖掘并进行识别，实现了较好的性能。 文献 1 8 】采用了一种称为最小帧差法的技术。最小帧差法意为“用最小的帧 数重建背景，并求得当前图形和背景的差。该算法在摄像机运动间隙的静止时 间段内，对背景进行建模。这种建模是不准确的，但并不妨碍运动检测。该算法 是减背景法的一个针对”z 摄像机的改进版本。算法在运动特别迅速的时候效果 较好，因为运动越快，就越有可能在很短的时间内( 1 秒) 建立准确的背景。算 法的缺点是控制延时较长，因为在控制闭环内增加了1 秒的时间用于背景建模。 以上的研究都有一个特点，只对p t z 摄像机在同一角度的视频数据进行处 理，p t z 运动过程中和不同角度的数据被丢弃了。以下的研究可以归为另一类： 采用粗粒度的识别单元，对不同角度的摄像机数据进行处理。 l o 浙江大学硕士学位论文绪论 文献【7 】【1o 】作了相关方面的领先研究。研究者摒弃了以像素为基本单位的 研究思路，转而采用粗粒度的角点为基本单位。由于角点粒度的大小可以调整， 因而理论上可以适应任意精度的p t z 摄像机。研究者从每帧图像中提取特定的特 征点，然后把所有特征点连接起来，构成背景的完整的信息。由于提取特征点只 需要一帧图像，而不需要连续的图像流，因而构建背景的工作可以在摄像机跟踪、 运动的过程中实现。运动检测通过当前图像的特征点和背景的特征点比较实现。 该方法应该是p t z 摄像机运动检测的最有前途的方向。 1 4 本文的主要工作 本文提出了一种新颖的运动检测算法：基于像素颜色方差的算法。该算法采 用类似累积差分图法的多帧运算方式，并采用更具区分度的检测指标，实现了良 好的灵敏度和抗噪性能。由于方差计算的运算量大，不利于实时的实现，因此不 文提出了一种等价的快速算法，把方差计算的中间结果保留以供后续的计算覆 用。通过内存换速度的方式，使得c p u 负荷降低一个数量级以上。 为了识别环境的干扰和提高系统的抗噪声容限，本文实现了一个方差的空间 模型，采用粗粒度的模式，记录整个环境的噪声情况，并根据本底噪声进行增强 的运动判决。 最后本文用历史轨迹模型实现了目标运动位置的预测，和相同目标的识别。 通过学习目标的运动路径，对目标的运动方向进行统计，并预测目标下一步最可 能出现的位置。本文利用运动预测的结果，将目标保持在摄像机中心的位置，并 使运动控制以保证跟踪成功率的方式进行。在实现了运动预测之后，本文进一步 基于同样的原理实现了相同目标识别，通过目标的位置关系，锁定当前所跟踪的 目标。 本文实现了完整的p t z 摄像机智能目标跟踪系统，包括图像采集、运动检测、 模式识别、摄像机控制等模块。 1 5 本文的内容安排 第二章介绍系统总体设计。详细讨论p t z 摄像机实现目标跟踪的技术难点， 并初步介绍我们工程上的解决方案。同时给出系统软件设计的结构图，并阐述每 浙江大学硕士学位论文绪论 个模块的详细设计和原理。这些模块包括视频预处理模块，运动检测模块，空间 差分模型，运动预测和相同目标识别模块，运动控制模块。最后给出完整的系统 数据流程图。 第三章介绍基于序列方差的运动目标检测。首先从理论上对方差检测的原理 进行描述，提出基于算术滑动窗口的快速算法，并给出工程实现的方法和相应的 实验结果。本章同时介绍方差空间模型，详细讨论粗粒度的空间建模方法，对方 差空间模型的工作过程作了详细的描述。最后给出运动目标检测的实验结果和中 间步骤的数据。 第四章介绍运动预测和相同目标识别。首先对历史轨迹模型作详细的阐述， 然后分别对运动预测和相同目标识别的理论方法、工程实现、实验结果进行分析 和说明。 第五章介绍实验系统的结构，项目的成果和一组完整的实验结果。 第六章总结。 浙江大学硕士学位论文系统分析及总体设计方案 系统分析及总体设计方案 2 1 系统难点分析及初步对策 2 1 1 p t z 摄像机的新特性 目前，提供超过2 0 倍可变焦距范围、水平和垂直两个方向全角度旋转的p t z 摄像机，已经在监控领域得到广泛的应用。p t z 摄像机提供更广的视野，以及更 多的细节，具有比传统静态摄像机更强的灵活性。然而，基于p t z 摄像机的智 能跟踪研究成果不多。大部分静态摄像机相关的技术，并不能很好地应用到p t z 摄像机上