（计算机软件与理论专业论文）基于移动检测的运动物体识别技术的研究.pdf

中文摘要 摘要：视频监控技术是现代r r 技术中的一类重要应用领域。视频监控技术不仅仅 在社会日常生活和工作中有着非常广泛的应用前景，在能源，国防，交通等领域 也正在发挥着日益重要的作用。此外，视频监控技术中的核心技术是运动目标的 检测、提取和识别，这也是目前正在热门研究的视频压缩和传输中的关键技术之 一 本文基于安全智能报警的应用背景，通过运用数字图像和模式识别理论，设 计了一套视频监控中运动图像检测与识别算法。本文重点研究了运动检测，运动 目标的提取以及运动目标的识别三部分。在运动检测中，结合了背景差分和时间 差分的优点，检测出视频序列图像中的运动变化物体。在运动目标的提取中，本 文讨论两种算法：一种是两帧差分法恢复与提取运动目标，另一种是三帧差分法 提取和恢复运动目标，并且根据最终的实际情况提出一种基于区域生长算法的运 动物体提取的算法。而运动物体的识别则是通过提取运动物体的形状和颜色特征 参数来对视频图像的运动进行匹配与识别。对于上述各个算法，本文均进行了模 拟实验，结果表明，综合运用本文中提出的图像处理和识别方法，可以较准确、 快速地检测和识别视频序列中的运动目标。 关键词；视频监控；移动检测；运动物体的提取；运动物体识别；区域生长 分类号；t p 3 7 ；t p 3 9 1 a b s t r a c t a b s t r a c t ：v i d e os u r v e i l l a n c ei so n eo ft h ec h i e ff i e l d si ni tt e c h n o l o g y v i d e o s u r v e i l l a n c et e c h n o l o g yn o to n l yh a sap r o m i s i n gb r o a df u t u r ei nh u m a n sd a i l yw o r k l i r e , b u ta l s op l a y sam o r ea n dm o r ei m p o r t a n tr o l ei nm a n yf i e l d s ，s u c ha sr e s o u r c e ，n a t i o n a l d e f e n s e , t r a f f i ca n de t e ，i nw h i e l li n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mi sc o m m o n l y u s e d f u r t h e rm o r e ，t h et e c h n o l o g yo fd e t e c t i o na n dr e c o g n i t i o no fm o v i n go b j e c t si n v i d e os e q u e n c e s ，t h ec o r et e c h n o l o g yi nt h ei n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m , i sa l s o o n eo f t h es i g n i f i c a n tt e c h n o l o g i e si nt h ef i e l do f s t r e a m i n gm e d i a a c c o r d i n gt ot h ea p p l i c a t i o nb a c k g r o u n do fi n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m ， t h i sp a p e rd e v e l o p sd i g i t a li m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o nm e t h o d s ，a n d d e s i g n sam e t h o dt od e t e c ta n dr e c o g n i z em o v i n go b j e c t si nv i d e os e q u e n c e s t h i sp a p e r p u t se m p h a s i so nt h em o v i n ga n dc h a n g e sd e t e c t i o n ，e x t r a c t i o no fm o v i n go b j e c t sa n d m o v i n go b j e c t sr e c o g n i t i o n i nm o v i n ga n dc h a n g ed e t e c t i o n , a l la l g o r i t h mi sp u t f o r w a r dw h i c hc o m b i n e st h ea d v a n t a g e so fb a c k g r o u n dd i f f e r e n c ea n ds e q u e n c e d i f f e r e n c e , i no r d e rt od e t e c tm o v i n ga n dc h a n g i n go b j e c t si ns e q u e n t i a li m a g e s i n m o v i n go b j e c t se x t r a c t i o n , t h i sp a p e rd i s c u s s e st h et w om e t h o d sb e l o w , o l l ei st w o i m a g e sd i f f e r e n c em e t h o dt oe x t r a c tm o v i n go b j e c t s ，t h eo t h e ri st h r e ei m a g e sd i f f e r e n c e m e t h o d ，a n da tl a s t ，am e t h o di sp r e s e n t e df o rm o v i n go b j e c t se x t r a c t i o n ，b a s e do n r e g i o ng r o w i n ga l g o r i t h m m o v i n go b j e c tr e c o g n i t i o na d o p t sa ne f f e c t i v em e t h o db a s e d o bt h ee x t r a c t i o n so f s i z ea n dc o l o rf e a t u r e so f m o v i n g0 b j e c t s i no r d e rt os u c c e s s f u l l y i m p l e m e n tt h e s ea l g o r i t h m sa b o v e ，s i m u l a t i o ne x p e r i m e n t sh a v eb e e nc a r r i e do u t a n d t h er e s u l t ss h o w e dt h a t , m o v i n go b j e c t si ns e q u e n t i a li m a g e sc a nb ed e t e c t e da n d r e c o g n i z e ds i m i l a r l yb yu s i n gt h ea l g o r i t h mp r e s e n t e di nt h i sp a p e r k e y w o r d s ：v i d e os u r v e i l l a n c e ；m o v i n gd e t e c t i o n ；m o v i n go b j e c t se x t r a c t i o n ； m o v i n go b j e c t sr e c o g n i t i o n ；r e g i o ng r o w i n g c l a s s n o ：t p 3 7 ：t p 3 9 1 致谢 本论文的工作是在我的导师张宁教授的悉心指导下完成的，张宁教授严谨的 治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来张宁 老师对我的关心和指导。 张宁教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给予 了我很大的关心和帮助，在此向张宁老师表示衷心的谢意。 张宁教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷心 的感谢。 在实验室工作及撰写论文期间，张宏勋博士、章跃平、刘亚楠等同学对我论 文中的运动物体提取与识别技术的研究工作给予了热情帮助，在此向他们表达我 的感激之情。 另外也感谢妈妈以及家人，他们的理解和支持使我能够在学校专心完成我的 学业。 第一章、绪论 1 1 视频监控概述及其移动检测技术的意义 视频监控技术是现代i t 技术中的一类主要技术领域，它也是信息系统学科中 的一个主要的研究热点。在生活中，场景视频监控技术有着非常广阔的应用前景， 它在国防，能源，交通领域以及人民的日常生活和工作中发挥着日益主要的作用， 其中当前最具实用价值的是“智能安全保障系统”。在我国，随着社会流动人员的 大量增加，社会治安和交通事故非常严重。由于我国人口众多，信息化管理手段 欠缺等诸多原因，使得刑侦破案和交通事故处理的难度越来越大。据公安部门介 绍，现在犯罪分子破门或破窗而入，进入办公科研、实验大楼、个人住家以及长 途汽车、城市的士进行抢劫、盗窃和杀人的问题仍然相当严重，刑事案件越来越 多。但是由于缺乏有力的现场证据或线索，使得公安部门难以获得确凿的破案证 据，所以破案效率较低。而运动图像是一种视频信息，选择有实用价值的运动图 像，通过计算机网络系统传输到指定的网络节点，实时或非实时地存储和显示， 方便治安部门实时监控，为公安部门提供强有力的刑侦破案的依据。 在数字视频监控系统中，图像序列的运动检测及报警不仅可以自行替代监视 人员的部分工作，提高监视系统的自动化水平，而且也可提高监控存储的效率。 数字视频监控系统对图像序列自动进行运动检测，一旦发现运动物体( 绝大多数是 以人为目标) 的大小和速度满足一定条件，就发出报警信号来通知监视人员采取及 时有效的处理。这可在很大程度上减轻监视人员的视觉负担。数字监控系统绝大 多数都有存储模块，可对监控场景图像数据进行连续存储。然而，由于数字监控 系统的工作时间长，数据存储量相当庞大，给存储容量提出了较高的要求。存储 监控图像的目的几乎都是记录监控场景中的动作，如果长时问记录无运动图像， 不仅仅耗费巨大的存储量，而且存储的信息量也极少，这就失去了存储的意义。 这也需要有一个运动检测算法判断监控图像的全部或部分有无运动的发生、控制 存储模块的动作，有效地节省存储数据，减少不必要的回放。由此可见，图像序 列的运动检测和报警算法在数字视频监控系统中有较强的实用价值。 当前，场景监视较多应用于监控和观察场景有无异常情况发生，主要包括目 标快速通过监控场景，场景本身发生变化等等。因此，运动目标的检测与识别是 视频监控的核心技术。 放眼当今的智能监控的发展趋势，伴随着需求的日益增长，视频监控系统的 运动目标的检测与识别技术逐渐成为各种监控服务及应用进一步发展的关键。尤 其是在各种交通枢纽的监控系统中，目前国外已经把反恐与安全两大主题的研究 作为交通运输行业的根本保障，并取得巨大突破。而我国在这方面刚刚起步，同 时因为众所周知的我国在机场、车站的人口密度问题，对于在前景中的移动物体 的检测与识别，提高监控智能性的研究有着非常现实的意义。 例如，在监狱监视系统中，犯人们的行为要求不断被监视的，如果在犯人之 间存在打架斗殴，或者越狱逃跑等重大特殊异常现象，需要可以检测识别出来， 并给出报警信号。在此种情况下，采用人力二十四小时全天监视是不科学的。所 以可以应用连续视频序列中运动目标检测与识别的技术，根据具体的应用环境， 建立相应的判决准则，捕获并存储特殊异常现象，最后发出报警信号。这样不仅 仅节省了人力，还提高了异常情况捕获的准确性。再或者，在且前的有些生物特 征识别系统中采用的是人脸识别。这就需要对人脸进行准确定位。如果仅仅对单 一的视频图像里的人脸进行定位和检测，需要考虑背景的复杂度，因此增加了算 法的复杂度和运算量。但是如果采用连续视频序列中运动目标检测与识别的技术 就可以将静止的背景过滤掉，从而大大简化人脸检测的复杂度，提高检测效率和 精度。此外，该技术还可以应用于交通系统。利用摄像镜头对交通路口进行监视， 通过后台的计算机俘获运动车辆，并根据一定的交通准则，判断违规的交通车辆。 1 2 视频监控中移动检测技术的现状与发展 1 1 1 移动检测技术的国内外发展现状 早期的运动检测如m p e g l 是对编码后产生的i 帧进行比较分析，通过视频帧 的比较来检测图像变化是一种可行的途径。原理如下： m p e g l 视频流由三类编码帧组成，它们分别是：关键帧( i 帧) ，预测帧( p 帧) 和内插双向帧( b 帧) 。i 帧按j p e g 标准编码，独立于其他编码帧，它是m p e g l 视频流中可直接存取的帧，两i 帧之间插入若干p 或b 帧。截取连续的i 帧，经过 解码运算，以帧为单位连续存放在内存的缓冲区中，再利用函数在缓冲区中将连 续的两帧转化为位图形式，存放在另外的内存空间以作比较之用，至于比较的方 法有多种。此方法是对解码后的视频流进行处理，而目前的m p e g l m p e g 4 编码 都是有损压缩，对比原有的图像肯定存在误报和不准确的现象【1 1 。 目前几种常用的方法有： 1 、背景减除： 背景减除方法是目前运动检测中最常用的一种方法，它是利用当前图像与背 景图像进行差分处理来检测出运动区域的一种技术。它一般能够提供完全的特征 2 毡塞銮适叁堂 亟 堂 焦迨塞 数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简 单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景 模型，以期减少动态场景交化对于运动分割的影响。 2 、时问差分 时间差分( 又称相邻帧差) 方法是在连续的图像序列中两个或三个相邻帧问 采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动 检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的 特征像素点，在运动实体内部容易产生空洞现象。 3 、光流法 基于光流方法的运动检测采用了运动目标随时问变化的光流特性，如m e y e r 等人通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和 跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运 动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别 的硬件装置则不能被应用于全帧视频流的实时处理。 显然，第1 ，2 种方法是基于图像差分的两种简单策略，第3 种方法则是高精 度、高复杂度的算法。 当然，在运动检测中还有一些其它的方法，运动向量检测法，适合于多维变 化的环境，能消除背景中的振动像素，使某一方向的运动对象更加突出的显示出 来，但运动向量检测法也不能精确地分割出对象。 1 1 2 移动检测技术的未来发展的讨论 运动检测是指在指定区域能识别图像的变化，检测运动物体的存在并避免由 光线变化带来的干扰。如何从实时的序列图像中将变化区域从背景图像中提取出 来，还要考虑运动区域的有效分割，这对于目标分类、跟踪等后期处理是非常重 要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于 背景图像的动态变化，如天气、光照、阴影及混乱干扰等的影响，使得运动检测 成为一项相当困难的工作。 综合分析各种视频图像中运动物体的检测与识别算法可以发现，完成运动目 标检测与识别的基本依据和条件是： 1 、在基于图像灰度检测运动物体时，运动图像中运动物体内部应具有同质性， 如灰度级别相近、纹理相似等； 2 、在基于运动参数检测运动物体时，运动物体应该具有或者近似具有刚体的 运动特性； a e鏖銮通盔堂亟堂位论塞 3 、运动物体与背景区域之间对选定的某种检测判据而言，应存在显著的差异 性： 4 、运物体的区域边界应具有齐整性和空间位置的准确性。 由于运动图像中运动物体与背景的运动情况复杂多变，大多数运动图像的检 测与识别的方法只是部分满足上述条件。如果加强限制条件，检测到的运动物体 就会被“过分割”；如果放宽检测权限，又会出现检测“病态敏感”的缺陷，所以 人们针对不同的运动情况采用相应的不同的运动图像检测与识别算法，力求达到 理想的检测精度及实时操作。虽然人们一直在努力，但是运动图像的检测与识别 还无法找到一种理想的统一的发展方向。究其原因，主要有以下几个方面： 1 、由于照射光源的变化，或者镜头的抖动，运动物体表面不同的反射性质导 致了检测到的运动变化区域失真； 2 、背景静止不动的情况下，运动图像中运动目标与图像背景之间的对比不够 明显： 3 、背景缓慢变化的情况下，如大海、树林，草坪、天空等大面积自然背景的 缓变9 4 、物体不是刚体，具有可变性； 5 、多物体同时运动，需要区分识别不同的运动物体； 6 、每种运动检测与识别的算法都是利用视频监控中运动物体具体的运动情况 和特点而设定的。因此这些算法就可能只适用于一类情况，对其它运动情况就得 不到满意的检测结果9 7 、很多现存的运动物体的检测与识别算法并不能够满足实时性的要求。 现有的大多数图像分割方法只是部分满足上述判据。如果加强分割区域的同 质性约束，分割区域很容易产生大量小空洞和不规整边缘；若强调不同区域问性 质差异的显著性，则极易造成非同质区域的合并和有意义的边界的丢失。 对运动物体检测和识别问题，目前尚未建立一个统一使用的理论和方法，研 究者只能针对各自不同的问题提出具体的解决方法。 目前对运动物体检测与跟踪识别问题，基本上可分为两种方法：一种是数据 驱动的方法瓤模型驱动的方法。前者的特点是出不依赖于先验知识，直接获取图 像数掘束达到目的；后者的特点是需要依赖已建构的模型或者先验知识，再由模 型去匹配物体。前者是以d i v a dm a r t 的视觉计算理论最具代表性【2 i ；后者是以 b a r - s h a l m o n 3 】的目标跟踪与关联思想最具代表性，并且在计算后验概率时，使用 经典的卡尔曼滤波( k a l m a nf i l t e r ) 1 3 】或者序贯蒙特卡罗的方法( s e q u e n t i a lm o n t ec a r l o m e t h o d s ，s m c ) 1 4 1 。这是由于运动物体本身的多样性和复杂性所致，同时也说明运 动物体检测和识别是一个十分有潜力的研究领域。 4 1 3 视频监控中运动物体识别技术的研究的必要性 在数字视频监控系统中，图像序列的运动检测及物体识别报警不仅可以自行 替代监视人员的部分工作，提高监视系统的自动化水平，而且也可提高监控存储 的效率。 数字视频监控系统对图像序列自动进行运动检测，一旦发现运动物体( 绝大多 数是以人为目标) 的大小和空间位置满足一定条件，就发出报警信号来通知监视人 员及时有效处理。这可在很大程度上减轻监视人员的视觉负担。数字监控系统绝 大多数都有存储模块，可对监控场景图像数据进行连续存储。然而，由于数字监 控系统的工作时间长，数据存储量相当庞大，给存储容量提出了较高的要求。存 储监控图像的目的几乎都是记录监控场景中的动作，如果长时间记录无运动图像， 存储的信息量极少，就失去了存储的意义。这也需要有一个运动检测算法判断监 控图像的全部或部分有无运动的发生、控制存储模块的动作，有效地节省存储数 据，减少不必要的回放。由此可见，图像序列的运动检测和物体识别报警算法在 数字视频监控系统中有较强的实用价值。 1 4 本文的主要研究内容和结构安排 序歹l j 图像中运动目标的检测与跟踪是计算机视觉和图像编码研究的主要内 容，在机器人导航、智能监视系统、医学图像分析以及视频图像压缩和传输等领 域中都有应用。 视频目标的提取可以分为两大类：自动提取和交互式提取。自动目标提取算法 可以自动地从视频序列中分割出运动目标并进行跟踪；而交互式提取通常是由计算 机进行底层的分割、通过人工方式标记属于同一个目标的区域，然后由计算机将 这些区域合成为一个视频目标并进行跟踪。要实现基于内容的实时视频监控系统， 视频目标的自动提取就显得非常重要。 本文主要研究的是用于视频监控领域的视频图像序列中基于运动目标的自动 检测的运动物体追踪匹配识别的技术。其主要任务集中在图像物体的运动检测与 简单追踪识别两个方面，主要包括以下内容： 1 、首先对连续的视频图像中对移动物体的检测的关键技术进行了讨论，并对 各个算法进行了深入分析和比较，并提出自己的移动检测算法和实现策略，并实 现该算法。 2 、在检测到有运动物体之后，讨论了在连续的视频图像中对移动物体进行提 取的几种方法，经过比较后，提出一种基于区域生长算法的提取方法，并分析其 意义，然后实现该方法。 j e塞銮垣左堂亟堂焦迨塞 3 、研究了被测移动物体的空间特征参数和颜色特征参数的提取策略，并结合 这两大视频图像属性，提出一种对运动物体进行识别的方法，并讨论它的具体实 现方法的可行性，以及在现有条件下选择该方法的原因。最后对该方法进行实验。 本文的结构安排如下： 第一章为绪论。对视频监控的总体概述以及移动检测技术的意义和发展状况。 第二章阐述视频监控中移动检测功能实现的关键技术。先对国内外的各种移 动检测方法进行了深入的分析与比较，然后提出了一种基于背景差分与时间差分 相结合的帧差分算法，并实现该算法。 第三章详细论述视频中运动物体的提取算法。首先是讨论了国内外的各种图 像物体的提取方法，然后提出一种改进的基于区域生长算法的物体提取算法，并 实现该算法。 第四章阐述运动图像物体的识别方法。该章首先讨论了对图像物体的形状特 征参数的提取方法，然后讨论了对图像物体的颜色特征参数的提取方法，最后提 出一种结合这两大特征参数的识别物体的方法，并对该算法进行实验。 第五章是对本文所做的工作的总结，同时提出进一步的研究设想。 6 2 1 引言 第二章移动检测功能实现的关键技术 视频监控中自动目标检测被看作是视觉系统的一个重要能力，在社会日常生 活、军事及工业等领域都有着广泛的应用前景。目前，检测运动目标的方法主要 有光流法和差图像法，如第一章绪论中所述，光流法主要依据的是运动物体的运 动信息；而差图像法依据的是运动物体的灰度信息，还有的检测方法就是基于两者。 如在文献1 5 】中利用运动物体在前后两帧中的灰度变化的统计规律，设置检测门限， 对运动图像做运动物体的检测与识别。但是，仅仅利用灰度信息检测到的运动物 体受到外界光线的影响比较大，当运动物体多个井有交叠的情况下，无法个别区 分。在文献 6 1 中利用一种运动模板对运动物体的运动矢量进行分类，将具有相同运 动特征的区域提取出来，并用平滑模板对边界进行平滑，最终得到分割结果。然 而，基于运动矢量的估计会导致误差，尤其是分割出的运动耳标的边界不够精确。 此外，这种技术也会产生过分割的后果，即，找到的分割区域大于实际的运动物 体的个数。为了得到更精确的运动目标的边界信息，文献1 7 】中提出了一种结合了运 动矢量和图像内容信息的算法。首先利用图像内容信息对图像进行分割，然后再 对这些区域，根据运动特征相同的特点进行合并。运动特征的归类可以用运动矢 量场中的密度信息，或者用运动模板拟合实现。在基于图像内容分割中，还有一 种方法是基于像素灰度进行运动目标的提取，利用一个全局灰度门限对图像进行 运动物体识别。但是因为引用了全局门限，所以分割结果受噪声影响很大。 无论是光流法中的运动参数，还是差图像法中的像素灰度值，最终的结果都 是要解决分类问题，即，基于运动图像的特点区分运动前景( 运动物体) 和背景。光 流法的代表算法是八参数匹配法，差分图像法主要是阈值分割法。此外近几年还 出现了神经网络法等算法。 本章首先讨论了国内外的各种流行的移动检测方法，并加以比较。然后提出 了自己的一种基于背景差分和时间差分相结合的移动检测方法，并对该方法进行 分析和实现。 2 2 国内外各种移动检测方法的深入分析 目前，视频序列中运动目标的检测与识别还是一个需要继续深入研究的问题。 下面我们来讨论一些国内外的各种移动检测方法，主要是光流法及其代表算法， 差分图像法及其代表算法，还有一种比较特别的块匹配算法 j e塞窑煎盔堂亟堂焦迨塞 2 2 1 光流法及其代表性算法 当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续 变化的图像，这一系列连续变化的信息不断“流”过视网膜( 即图像平面) ，好像一 种光的“流”故称之为光流【8 l 。光流表达了图像的变化，由于它包含了目标运动的 信息，因此可被观察者用来确定目标的运动情况。从光流的定义可以看出，由于 光流有如下3 个要素：一是运动( 速度场) ，这是光流形成的必要条件；二是带光学 特性的部位( 例如有灰度的像素点) ，它能携带信息；三是成像投影( 从场景到图像平 面) ，因而能被观察到。光流在视觉运动的研究中有非常重要的作用。视觉运动分 析就是研究如何从变化着场景的一系列不同时刻的图像中，提取出有关场景中物 体的结构、位置和运动信息。 光流场的计算最初是由美国学者h o m 和s c h u n c k 提出的1 9 1 。1 9 8 1 年，h o r n 等人在相邻图像之间的间隔时间很小( t 、 其中伍，f ) 为亮度图像序列在t 时刻，点x 处的灰度值。t 为某个灰度闭值， 灰度闽值的大小决定了运动报警检测的灵敏程度。这种方法简单，速度最快，也 容易实现。但其最大的缺点是对光照、雨雪变化敏感，若光照变化剧烈或者场景 有雨雪，就会效果欠佳。 方法2 ：此方法考虑了图像的光照条件的变化。对判定条件迸行了改进，在判 定条件( 1 4 ) 式中加入对整体光照敏感的添加项。其判定条件如下： maxisc ( x ，t ) 一sc ( x ，f 一t ) l r + a 乏。is 。( 石，) 一s 。( z ，一) 9 。( 2 - 6 )e 和( 2 - 5 ) 式相比，判别条件( 2 6 ) 式的右边添加了一项： a 乏。i sc ( z ，) 一sc ( x 卜) i7 批 ( 2 7 )鼍az j 其中a 为抑制系数( 参考值取2 ) ，n a 为检测区域a 内的像素数目。在假定检 测区域的像素足够多的前提下，如果图像光照变化较小，添加项的值趋近于零， 式( 2 6 ) 近似于式( 2 5 ) 。如果图像光照变化明显，则添加项有明显增大，在取值适 当的情况下，添加项大于判别条件( 2 6 ) 式左边，导致( 2 6 ) 式判定条件不成立，判 断为没有运动，这样就有效的抑制了光照变化带来的影响。此方法己有硬件实现 的实例，详见文献【2 0 l 从判别式可以看出此方法对于图像的噪声( 电子噪声、颗粒噪声等等) 及摄像机 的抖动比较敏感，个别像素可能因此面剧烈变化造成误警的发生，为了避免这一 情况的发生，实际应用中可先行对图像进行预处理，将原图像均值滤波或者亚取 样，降低颗粒噪声及摄像机抖动的影响。此方法的缺点是对图像中运动目标的大 小无选择性。 方法3 ：为了克服方法2 的缺点，对目标大小提供选择性。对于不同的监控目 标和场景，图像中的目标大小有所不同，由于运动物体边缘点最可能满足( 2 6 ) 式。 所以可以知道运动的目标越大，下式集合z 中的元素个数越多。由此将判定条件 1 0 变为( 2 8 ) 式： z = l ，j is c ( x ，f ) 一s c ( x ，t a t ) l 丁+ a n a + 娶i s c 圾即础) 舴引 ( 2 7 ) b 表示t 时刻的图像区域的边缘点集合 n z a r c ( 2 8 ) 式中n z 表示集合z 中的元素数量，n c 表示集合z 满足报警的最少元素数量。 此判别条件一定程度上限定了监控报警的目标大小。有助于提高报警的准确性， 避免了由于较小的运动目标的干扰而导致的误报警。 差分图像法中，代表算法为闽值分割法。下面我们来讨论该算法的基本原理、 特性与优劣。 相比较而言，在简单的运动情况下，差图像法中的阈值分割法因其实现简单、 计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的运动目标检测与 识别技术。它利用了运动物体在运动图像序列中连贯的特性，定位运动物体的运 动区域，在运动区域中根据所要提取的运动目标与背景在灰度特性上的差异，把 运动区域图像视为具有不同灰度级的区域的组合，通过选取阈值，将运动目标区 域从背景中区分出来。区域内部灰度级是均匀的，而区域间灰度级是不同的，其 间存在着边界。对包含了多个灰度级范围的一般图像，进行阈值分割比较困难， 但在很多实际应用领域中，图像可视为具有不同灰度级的两类区域( 运动耳标和背 景) 组成。此时，可从灰度级图像出发，选取一个合适的阈值，以确定每一图像点 应属于运动目标还是背景区域，从而产生相应的二值图像。通常该过程称之为二 值化。 阂值选取是差图像法的关键。当使用阈值规则进行图像分割时，所有灰度值 大于或者等于某阈值的像素都被判属于运动物体；所有灰度值小于该闭值的像素被 排除在物体之外。若阂值选得过高，则过多的目标点将误归为背景：反之会出现相 反的情况。这势必影响分割出来的目标的大小和形状，甚至会使目标严重失真。 但是在运动图像中，可以充分利用运动图像的特点，即，运动物体在视频图像序 列中的连贯性，从而快速界定运动目标的范围，提取精确的运动物体自身的灰度 信息，设定厌度检测门限。因此运动物体检测与识别中的差图像法的技术重点之 一是阈值选取。在运动图像中用于差图像法检测运动物体的主要方法有：1 ) 基于 概率统计特性的检测方法：2 ) 基于直方图的检测方法；3 ) 最大熵方法；4 ) 网格 生长法：5 ) 模糊聚类方法；6 ) 神经网络法等。基于概率统计特性的检测方法最 直观、应用最普遍。近年来，由于熵的概念被越来越多的引入到图像分割中，所 以在运动图像检测中也越来越多的引进熵检测法。因为熵也属于一种均匀性度量， 均匀性用熵来度量时，则可以导出许多基于熵的二值化算法，如最大熵阈值法， 二维熵阈值分割的快速算法等。 一般情况下，连续两帧运动图像相减得到的差分图像中像素点的灰度值有着 明显的统计规律，即，高斯分布。所以，最常用的检测运动物体的方法就是在运 动变化区域根据高斯分布特点设置检测门限，检测运动物体。此外，还有一些文 献【2 l 】中利用的是高斯分布中的高阶统计特性设置检测门限。基于图像直方图分析 的门限的检测方法也比较常用。通常情况下，运动图像的阈值被设置在灰度直方 图的既明显又深的谷的位置。 2 2 3 块匹配算法 块匹配算法1 2 2 】通过对图像序列中的相邻两帧图像间的子块的匹配来进行运动 估值。块匹配算法中，图像被分割为子块，子块中的所有像素的运动矢量被认为 是相同的，由于复杂的运动可以被近似地分解为一组平移运动之和，所以块匹配 算法采用的运动模型是假定图像中的运动物体由做平移运动的刚体组成。且这里 有一个附加条件，那就是假设图像场景中没有大的遮挡物，这样，采用块匹配算 法就比较简单快速，同时也保证了较高的精度。块匹配法的基木思想是，对于帧 k ( 当前帧) 中的像素( 玛，厅：) 的位移通过考虑一个中心定位在( ，n ：) 的j 2 块，同 时搜索帧k + l 来找出同样大小的最佳匹配块的位置。从计算的因素考虑，搜索通 常限制在( 甄+ 2 m ，) ( 镌+ 2 m ，) 的范围内，称之为搜索窗口。 运动检测中应用块匹配法算法需要以进行以下几个方面的选择： ( 1 ) 选择匹配法则。一般方法有最大互相关函数，最小均方误差函数( m s e ，m e a n s q u a r ee i t o i ) ，最小平均绝对差值函数( m a d ，m e a na b s o l u t ed i f f e r e n c e ) ，最大匹配像 素统计( m e cm a t c h i n gp i x e lc o u n t ) 。这里为了计算的速度，采用m a d 或者m s e 。 ( 2 ) 选择搜索方法。由于搜索的是匹配块，匹配并不与实际的投影运动有好的 相关性。在忽略遮挡的前提下，运动报警检测的运动方向检测，采用块匹配来计 算像素的运动矢量也是合理的，由于采用过于快速的搜索算法可能会产生较大的 误差，所以在算法的选择上要在速度和精度这两个方面进行折衷。实际选择3 步 搜索方法，搜索范围要比视频压缩的采用的搜索范围大，以保证获得足够精确的 结果。如果m a d 或者m s e 过大，应认为没有搜索到相应的匹配块。 ( 3 ) 选择块的大小。块大小的选定和实际监控场景及监控目的有关，基本上块 的大小满足下列要求：每一个块几乎都只具有单一运动或者没有运动。块不能过小， j e塞銮 垣 盍堂亟堂僮论塞 否则会出现匹配建立在包含相同灰度等级模式的块上的情况，以保证可以搜索到 非常近似的块。在运动报警算法中，根据判别条件可以检测场景中有无物体运动， 同时也筛选出了需要进行块搜索的点集，对点集中的点进行上述的块搜索，采用 块匹配的方法搜索出点集对应的运动矢量集合，进一步估算出主要运动物体( 人) 的运动方向。此方法可以较好地解决监控系统中的物体运动方向的判断问题。其 缺点是无法解决遮挡问题，在物体运动过程中如果出现大面积的遮挡现象就会出 现计算错误。 2 3 一种背景差分和时间差分相结合的帧差分算法 综上所述，一般来说，光流法的时间开销很大，其实时性和实用性较差，块 匹配法的缺点过于明显。相反，图像差分法比较简单，易于实时，因而成为目前 应用最广泛、最成功的运动目标检测方法。图像差分法可分为两类：一类就是背 景差分法，即，用序列中的每一帧与一个固定的静止的参考帧( 不存在任何运动物 体) 做差分图俐2 3 2 4j 。可是自然景物环境永远不会很静止( 例如，风吹动树枝和树 叶，太阳位置改变导致阴影的变化) ，这意味着必须不断地更换参考帧。另一类就 是时间差分法，即，用序列图像中的连续的两帧图像进行差分，然后二值化该灰 度差分图像来提取运动信息i 矧。不幸的是，这种方法常常会引起两个不良的后果： 一个是两帧间物体重叠部分没有检测出来，即只检测出物体的一部分；另一个是 检测出物体在两帧中的信息，即检测出的目标比真实的物体大很多。所以本文提 出了一种基于背景差分法和时间差分法相结合的帧差分算法。下面我们来详细地 讨论它的技术细节及其体现的意义。 2 3 1 本算法的技术细节 本文提出了这种基于背景差分法和时间差分法相结合的帧差分算法，其处理 过程及其前提条件如下： 1 、信号输入处理：从摄像机摄入的标准模拟视频信号( c v b s ，c o m p o s i t ev i d e o b r o a d c a s ts i g n a l s ，无论彩色或黑白) 是亮度信号和色度信号通过频谱问置叠加在 一起，需经过a d 转换芯片( 如p h i l i p s 7 1 1 3 ) 的处理，将模拟信号转成数字信号， 得到以帧为单位，标准的r r u6 5 6 y u v 4 ：2 ：2 格式的数字信号。 2 、移动检测处理：直接对内存中的以帧为单位y u v 数据进行处理。 在内存中的w v 数据以帧为单位进行移动检测算法的处理的同时，这些y u v 数据将在内存或者d s p 中加上o s d ( 字符时f b j 叠加) 和l o g o ( 位图) 等，复合 后通过p c i 总线送到显存中，供视频实时预览用，复合后的数据也可以进行编码 使用。 与o s d 和l o g o 复合后的y u v 数据送到m p e g 4 h 2 6 4 编码器中( 或者软件 编码) ，产生压缩好的码流，送到主机内存中，供录像或网络传输使用。 值得一提的是：本文的这个方法与以前的做法不一样。以前的是做法是将标 准数字信号进行编码之后，才进行的移动检测处理。目前的m p e g 4 h 2 6 4 编码都 是有损压缩，所以在这期间由于对数字信号进行了压缩编码可能会出现信号失真 的情况，于是难免对移动检测的处理结果也产生一些偏差，对比原有的图像肯定 存在误报和不准确的现象。而本文的做法，是在对标准数字信号进行压缩编码之 前，就进行移动检测的处理了，处理的精度大大提高。 现在可以详细地讨论在移动检测这个步骤里，本文所提出的算法了。 在移动检测处理这一步，我们采用的是背景差分和时间差分相结合的一种帧 差分的算法。通过计算两个有一定时间间隔的帧的像素差分获得场景变化。主要 分以下几个步骤： 1 ) 设置运动检测区域等参数： 首先运动检测的宏块数量与大小的初始值，还可以设置两个差分帧的时间间 隔。比如，快速的检测可以是对每隔两帧的两帧数据进行差分运算，慢速的检测 是指对相隔1 2 帧以上的两帧数据进行差分运算。 2 ) 启动运动检测功能： 因为经过a d 转换后的数字信号是标准的u6 5 6 y u v 4 ：2 ：2 格式，而人眼又 是对亮度最敏感，为了简化算法，提高效率，适应实时性的需求，这里直接对亮 度( y ) 值进行处理。 对于某个检测区域内每个像素点( x ，y ) ，t 时刻与t - - n 时刻亮度( y ) 的差值 为m z ，y ( r ) - i l y x ，y ( r ) 一h ，y ( r n ) l i ，如果m x ，口) 一m x ，y ( r 一月) t a ， 则 表示该像素点是否变化的布尔型变量l 设置为t r u e ，得到区域差分系数i m s u m 为l 。 实际决定是否报警，可由整个设置检测区域的i m s u m 值束判断。 如果0 罗i m s u m ( ) 0 t b ，则表示该设置检测的区域有发生变化，反之为假， 即表示该设置检测的区域没有发生运动。 t a ，t b 为适当阈值量。 在c i f 格式下，整个画面的分辨率是3 5 2 x 2 8 8 ( 队l 制式) ，按1 6 x1 6 像素宏 块大小来划分整个检测区域，宏块内的像素点是逐点从左到右，从上到下进行差 分运算并得到宏块差分系数。整个检测区域又是按1 6 x1 6 的宏块从左到右，从上 到下进行扫描，最后计算出整个区域的差分系数。 3 ) 返回运动检测结果 1 4 如果整个区域的差分系数大于设定的阀值，置报警状态并实时将每个检测区 域的宏块差分系数都返回。根据预先设置的两个差分帧的时间间隔，对画面进行 不问断的分析处理，并返回结果，直到停止运动检测。 如果整个区域的差分系数小于设定的阀值，复位报警状态。 2 3 2 本算法实现所体现的意义 这种基于帧差分算法的运动检测，完全独立于编码，大大提高了移动检测的 可靠性与精确性。并且它可以灵活的任意启动停止，算法非常简单，易于适应视 频监控系统的实时性高的要求。在智能化的视频监控系统中，实现了对基于内容 选择的有效视频片段进行的智能化录像处理，即“动则录，不动则不录”。得到的 录像处理结果，既大大节省了所占硬盘的存储空间，延长了录像资料存放时间， 又能使得录像资料更加便于搜索、查找与备份，节省下查找人员大量的时间和人 力资料，从而轻松地达到现代化的智能化视频监控水准。 此外，该算法也可以配合其它算法，实现预录像功能，即通常状态下只是进 行画面预览监控和运动检测，编码后的数据不写入文件，只暂时写入一个f i f o 的 队列缓冲区里，一旦发生运动检测报警，可以先将报警之前所存在于缓冲区里的 数据写入文件，然后再实时将编码后的数据写入文件，报警解除后，延时一段时 间再停止写文件，转入写缓冲区状态。实现运动检测报警的全过程录像。这样既 可以完整获取整个报警事件的过程，又可以节约系统的资源，在相同的存储空间 下，可以大大延长保存录像的时间。 2 4 移动检测技术的具体实现策略 其实由于本文所提出的这个算法比较简单，所以要实现这个移动检测功能的 方法有很多。下面将要讨论的是各种方法的分析与比较，并从精确度、性能、监 控机负荷与实时性的各个角度全面分析本文所采用的最终的具体实现策略。 2 4 1 各种实现方法的分析与比较 要对运动检测技术实现方法的性能进行评估并不容易，特别是要进行定量的 分析时，必须提供一个供作比较、研究的标准视频序列，它应该包括突然场景变 化，摄像机移动以及光线明暗变换等特殊效果。检测方案可用多种参数来评估， 比如检测成功率、检测失败率等等。在实际应用环境中，可以通过调节阀值对室 内普通环境，室外环境获得比较好的监测效果。 本文是根据功能实现的方法分类，主要是对软件和硬件两大类实现方法进行 一些定性的分析。 1 、采用硬件来实现监测功能，不占用c p u ，拥有较快的处理速度，因而可以 采用一些较为复杂的算法以获得更为准确的监测结果，并且有很好的实时性。譬 如有些摄像机内置v m d ( v i d e om o t i o nd e t e c t o r 视频移动探测器) 电路可以当报 警探头使用。检测电路首先会将静态图像贮存起来，之后，如果发现画面的变化 量超过了预先设定的值，系统就会发出报警信号，以提醒安防人员或启动录像机。 然而硬件实现也意味着较高的成本，而且一旦系统对动态监测功能提出了更新更 高的要求，那么原来的硬件系统只能弃而不用，必须采购新的硬件，造成浪费。 2 、用软件实现的监测功能，如果用主机的c p u 来完成数值计算，算法不能 太复杂，而且计算量不宜太大，否则会影响监控系统其他功能( 如显示、录像等) 的实现。再者，为了实现高效的软件移动检测功能，并且不影响到其他功能的实 现，愿意为其配备更高性能的c p u ，显存等，则还是意