（信号与信息处理专业论文）视频监控中运动图像检测与识别技术的研究.pdf

摘要 场景监视技术是现代i t 技术中的一类重要应用领域。场景监视技术不仅仅在社会 日常生活和工作中有着非常广泛的应用前景，在能源，国防，交通等领域也正在发挥着 日益重要的作用。此外，场景监视技术中的核心技术是运动目标的检测、提取和识别， 这也是目前正在热门研究的视频压缩和传输中的关键技术之一。 本文基于安全智能报警的应用背景，通过运用数字图像和模式识别理论，设计了 套视频监控中运动图像检测与识别算法。本文重点研究了运动检测、运动目标的恢复和 提取以及运动目标的识别三部分。在运动检测中，根据c c d 器件成像特征，建立了 种高斯运动变化检测模型，检测出视频序列图像中的运动变化区域。在运动目标的恢复 与提取中，本文提出了两种算法：一种是两帧差分法恢复与提取运动目标，另一种是三 帧差分法提取和恢复运动目标。而运动物体的识别则是基于安全运动报警系统设置的模 糊判决算法，其中为了提取有效的判决参数，本文在图像空域分割中还提出了一种顺序 区域生长法，可在一次性图像扫描过程中实现像素连通判别和特征参数提取。对于上述 各个算法，本文均进行了模拟实验，结果表明，综合运用本文中提出的图像处理和识别 方法，可以正确、快速检测和识别视频序列中的运动目标。 关键词：视频监控：运动图像检测；运动物体的恢复与提取；运动物体识别；三 帧差分法 a b s t r a c t s c e n em o n i t o r i n gt e c h n o l o g yi s o n eo ft h ec h i e ff i e l d si ni tt e c h n o l o g y s c e n e m o n i t o r i n gt e c h n o l o g yn o to n l yh a sap r o m i s i n gb r o a df u t u r e i nh u m a n sd a yl i f eb u ta l s o d l a y sam o r e a n dm o r ei m p o r t a n tr o l ei nm a n yf i e l d ss u c h a sr e s o u r c e ，n a t i o n a ld e f e n s e ，t r a f f i c a n de t c ，a m o n gw h i c hi n t e l l i g e n ts a f eg u a r a n t e es y s t e mi sm o s t l yu s e di nm e nd a yl i f e f u r t h e r m o r e ，t h et e c h n o l o g yf o rd e t e c t i o na n dr e c o g n i t i o no fm o v i n go b j e c t si ni m a g e s ，t h e c o r et e c h n o l o g yi nt h es c e n em o n i t o r i n gs y s t e m ，i se l s eo n eo ft h em a k i n gt e c h n o l o g i e si nt h e f i e l do f v i d e o c o m p r e s s i o na n d t r a n s m i s s i o n a c c o r d i n gt ot h ea p p l i e db a c k g r o u n do fi n t e l l i g e n t s a f e g u a r a n t e es y s t e m ，t h i sp a p e r d e v e l o p sd i g i t a li m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o nm e t h o d sa n dd e s i g n sam e t h o d t o d e t e c ta n dr e c o g n i z em o v i n go b j e c t si nv i d e os e q u e n c e s t h i sp a p e rp u t se m p h a s i so nt h e m o v i n g a n d c h a n g ed e t e c t i o n ，e x t r a c t i o no f m o v i n go b j e c t sa n dm o v i n go b j e c t i o nr e c o g n i t i o n i nm o v i n ga n dc h a n g ed e t e c t i o n ，ag u a s sm o v i n ga n dc h a n g ed e t e c t i o nm o d e li sd e s i g n e d b a s e do nt h e i m a g i n gc h a r a c t e ro fc c d i no r d e rt od e t e c tm o v i n ga n dc h a n g ea r e ai n s e q u e n t i a li m a g e s i nm o v i n go b j e c t se x t r a c t i o nt h i sp a p e r t h i sp a p e r p r o p o s e dt w om e t h o d s ， o n ei st w oi m a g ed i f f e r e n c em e t h o dt oe x t r a c tm o v i n go b j e c t s ，a n o t h e ri st h r e ei m a g e s d i f f e r e n c e m e t h o d m o v i n go b j e c tr e c o g n i t i o na d a p t sf u z z ym e t h o db a s e do nt h ea p p l i e d b a c k g r o u n d o f i n t e l l i g e n ts a f eg u a r a n t e es y s t e m i no r d e r t os u c c e s s f u l l yi m p l e m e n tt h es p a c e d o m a i ns e g m e n t a t i o n ，t h i sp a p e ra l s od e v e l o p sa na l g o r i t h mt h a tc a nd i s t i n g u i s hc o n n e x i t y b e t w e e n p i x e l s a n de x t r a c tt h ef e a t u r e p a r a m e t e r s i no n e i m a g es c a n n i n gp r o c e d u r e s i m u l a t i o ne x p e r i m e n t sh a v eb e e nm a d e a n dt h er e s u l t ss h o wt h a t ，m o v i n go b j e c t si n s e q u e n t i a li m a g e sc a nb ed e t e c t e da n dr e c o g n i z e dc o r r e c t l yb yu s i n gt h ea l g o r i t h mi nt h i s p a d e r k e y w o r d s ：s c e n em o n i t o r i n g ；m o v i n ga n d c h a n g ed e t e c t i o n ；m o v i n go b j e c t s e x t r a c t i o n ；m o v i n go b j e c t sr e c o g n i t i o n ；t h r e ei m a g e d i f f e r e n c em e t h o d i j 视频监控中运动图像检测与识别技术的研究 1 绪论 1 1 视频监控技术 视频监控技术是现代i t 技术中的一类主要技术领域，它也是信息系统学科中的一 个主要的研究热点。在生活中，场景视频监控技术有着非常广阔的应用前景，它在国防， 能源，交通领域以及人民的日常生活和工作中发挥着日益主要的作用，其中当前最具实 用价值的是“智能安全保障系统”。在我国，随着社会流动人员的大量增加，社会治安 和交通事故非常严重。由于我国人口众多、信息化管理手段欠缺等诸多原因，使得刑侦 破案和交通事故处理的难度越来越大。据公安部门介绍，现在犯罪分子破门或破窗而入， 进入办公科研、实验大楼、个人住家以及长途汽车、城市的士进行抢劫、盗窃和杀人的 问题仍然相当严重，刑事案件越来越多。但是由于缺乏有力的现场证据或线索，使得公 安部门难以获得确凿的破案证据，所以破案效率较低。而运动图像是一种视频信息，选 择有实用价值的运动图像，通过计算机网络系统传输到指定的网络节点，实时或非实时 地存储和显示，方便治安部门实时监控，为公安部门提供强有力的刑侦破案的依据。 在数字视频监控系统中，图像序列的运动检测及报警不仅可以自行替代监视人员的 部分工作，提高监视系统的自动化水平，丽且也可提高监控存储的效率。数字视频监控 系统对图像序列自动进行运动检测，一旦发现运动物体( 绝大多数是以人为目标) 的大 小和速度满足一定条件，就发出报警信号来通知监视人员采取及时有效的处理。这可在 很大程度上减轻监视人员的视觉负担。数字监控系统绝大多数都有存储模块，可对监控 场景图像数据进行连续存储。然而，由于数字监控系统的工作时间长，数据存储量相当 庞大，给存储容量提出了较高的要求。存储监控图像的目的几乎都是记录监控场景中的 动作，如果长时间记录无运动图像，不仅仅耗费巨大的存储量，而且存储的信息量也极 少，这就失去了存储的意义。这也需要有一个运动检测算法判断监控图像的全部或部分 有无运动的发生、控制存储模块的动作，有效地节省存储数据，减少不必要的回放。由 此可见，图像序列的运动检测和报警算法在数字视频监控系统中有较强的实用价值。 例如，在监狱监视系统中，犯人们的行为要求不断被监视的，如果在犯人之间存在 打架斗殴，或者越狱逃跑等重大特殊异常现象，需要可以检测识别出来，并给出报警信 号。在此种情况下，采用人力二十四小时全天监视是不科学的。所以可以应用连续视频 序列中运动目标检测与识别的技术，根据具体的应用环境，建立相应的判决准则，捕获 并存储特殊异常现象，最后发出报警信号。这样不仅仅节省了人力，还提高了异常情况 捕获的准确性。再或者，在目前的有些生物特征识别系统中采用的是人脸识别。这就需 要对人脸进行准确定位。如果仅仅对单一的视频图像里的人脸进行定位和检测，需要考 虑背景的复杂度，因此增加了算法的复杂度和运算量。但是如果采用连续视频序列中运 动目标检测与识别的技术就可以将静止的背景过滤掉，从而大大简化人脸检测的复杂 度，提高检测效率和精度。此外，该技术还可以应用于交通系统。利用摄像镜头对交通 路口进行监视，通过后台的计算机俘获运动车辆，并根据一定的交通准则，判断违规的 交通车辆。 视频监控中运动图像检测与识别技术的研究 当前，场景监视较多应用于监控和观察场景有无异常情况发生，主要包括目标快速 通过监控场景，场景本身发生变化等等。因此，运动目标的检测与识别是视频监控的核 心技术。 此外，运动目标的检测和提取也是目前视频压缩和传输中的关键技术之一。 近年来，国际运动图像专家组( i s o m p e g ) 和国际电信联盟( i t u ) ；f t ：始研究用于公 共电话交换网( p s t n ) 、l a n 、a t m 和移动网络上的低码率视频通信技术。传统的基于 块的视频编码方案( 如h ，26 1 和m p e g 1 、m p e g - 2 ) 压缩的视频图像，在低比特码率 下传输可以看到很明显的马赛克效应，因此需要研究一些更先进的视频编码方案，以期 获得更高的图像压缩比和更好的图像品质。基于目标的图像压缩技术是近年来低码率视 频压缩技术研究的热点之一，通过对任意形状的运动目标分割，估计目标的运动参数且 对场景中运动目标的形状信息进行编码，可以较好地重构图像并且提高编码效率。 m p e g 4 编码是属于基于图像内容的第二代视频编码方案，它将图像分割成不同的视频 目标( v i d e oo n e c t ) 来进行编码。在编码中对不同的视频目标采用不同编码策略，因而基 于视频目标的编码能够实现很高的压缩比，而视频目标的提取技术是其中的关键环节。 1 2 运动图像检测与识别技术的概述 目前，视频序列中运动目标的检测与识别还是一个需要继续深入研究的问题。现有 的主要检测运动目标的方法主要有光流法、块匹配法和差分图像法。 1 ) 光流法 当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的 图像，这一系列连续变化的信息不断“流”过视网膜( 即图像平面) ，好像一种光的 “流”故称之为光流 1 。光流表达了图像的变化，由于它包含了目标运动的信息，因 此可被观察者用来确定目标的运动情况。从光流的定义可以看出，由于光流有如下3 个要素：一是运动( 速度场) ，这是光流形成的必要条件；二是带光学特性的部位( 例 如有灰度的象素点) ，它能携带信息；三是成像投影( 从场景到图像平面) ，因而能被 观察到。光流在视觉运动的研究中有非常重要的作用。视觉运动分析就是研究如何从变 化着场景的一系列不同时刻的图像中，提取出有关场景中物体的结构、位置和运动信息。 光流场的计算最初是由美国学者h o r n 和s c h u n c k 提出的【2 。1 9 8 1 年，h o r n 等人 在相邻图像之间的间隔时间很小( t ( 1 43 其中s c ( x ，r ) 为亮度图像序列在t 时刻，点x 处的灰度值。t 为某个灰度闽值， 灰度闽值的大小决定了运动报警检测的灵敏程度。这种方法简单，速度最快，也容易实 现。但其最大的缺点是对光照、雨雪变化敏感，若光照变化剧烈或者场景有雨雪，就会 效果欠佳。 方法2 ：此方法考虑了图像的光照条件的变化。对判定条件进行了改进，在判定条 件( 1 _ 4 ) 式中加入对整体光照敏感的添加项。其判定条件如下： m a x f 簟卜& x ，“咖l”5 ) t + i i ( z ，r ) 一& ( x ，r 一f ) l 视频监控中运动图像检测与识别技术的研究 和( 1 4 ) 式相比，判别条件( 1 51 式的右边添加了一项 古互。 s c ( 工，”( x ，一i 其中 为抑制系数( 参考值取2 ) ，n a 为检测区域a 内的象素数目。在假定检测 区域的象素足够多的前提下，如果图像光照变化较小，添加项的值趋近于零，式( 1 5 ) 近似于式( 1 - 4 ) 。如果图像光照变化明显，则添加项有明显增大，在取值适当的情况下， 添加项大于判别条件( 1 5 ) 式左边，导致( 1 5 ) 式判定条件不成立，判断为没有运动，这 样就有效的抑制了光照变化带来的影响。此方法已有硬件实现的实例，详见文献 1 2 从判别式可以看出此方法对于图像的噪声( 电子噪声、颗粒噪声等等) 及摄像机的 抖动比较敏感，个别象素可能因此而剧烈变化造成误警的发生，为了避免这一情况的发 生，实际应用中可先行对图像进行预处理，将原图像均值滤波或者亚取样，降低颗粒噪 声及摄像机抖动的影响。此方法的缺点是对图像中运动目标的大小无选择性。 方法3 ：为了克服方法2 的缺点，对目标大小提供选择性。对于不同的监控目标 和场景，图像中的目标大小有所不同，由于运动物体边缘点最可能满足( 1 5 ) 式。所以 可以知道运动的目标越大，下式集合z 中的元素个数越多。由此将判定条件变为( 1 7 ) 式： b 表示t 时刻的图像区域的边缘点集合 n z n c ( 1 7 ) 式中n z 表示集合z 中的元素数量，n c 表示集合z 满足报警的最少元素数量。此 判别条件一定程度上限定了监控报警的目标大小，有助于提高报警的准确性，避免了由 于较小的运动目标的干扰而导致的误报警。 两帧差分法的算法简单，易于实现。但是由于该方法中检测运动目标时是根据运动 变化区域的灰度信息，而运动变化区域包括真正的运动目标和由于目标的运动引起的变 化的背景，所以运动目标检测时候的灰度信息并不是完全基于真正的运动物体本身，因 此，检测到的运动目标并不精确。所以，必须对提取到的物体进行后处理。本文在两帧 差分法的基础上提出了一种改进的三帧差分算法。这种算法的特点是可以避免为恢复相 对准确的运动物体而进行的后处理。多数三帧差分处理图像的算法，把主要精力集中在 相与运算前的运动变化区域的边界的准确的提取上。因此相与运算得到的结果的好坏取 决于前期的运动变化区域的检测结果，如文献 1 3 。为了使相与运算得到的结果令人满 意，必须保证运动变化区域的边界检测准确清晰，同时还要判断是否有交叠区域，以及 交叠区域的恢复等问题，这样势必增加算法的难度。本文提出的三帧差分提取运动物体 的算法，先通过传统的运动变化检测算法，对检测到的运动变化区域进行的首次扫描， 得到运动物体的粗定位；然后再利用运动物体本身的灰度信息，进行二次扫描得到真正 运动物体。实验结果表明，该算法可取得更为满意的处理效果。 石 + 上n 印 丑 y + l ” 出 卜 卜 e 。 卜 一 朋 协 = z 视频监控中运动图像检测与识别技术的研究 般来说，光流法的时间开销很大，其实时性和实用性较差。相反，图像差分法比 较简单，易于实时，因而成为目前应用最广泛、最成功的运动目标检测方法。差图像法 可分为两类，一类是用序列中的每一帧与一个固定的静止的参考帧( 不存在任何运动物 体) 做差分图像【1 5 ，1 6 。可是自然景物环境永远不会很静止( 例如，风吹动树枝和树 叶，太阳位置改变导致阴影的变化) ，这意味着必须不断地更换参考帧。另一类是用序 列图像中的连续的两帧图像进行差分，然后二值化该灰度差分图像来提取运动信息 1 7 】。不幸的是，这种方法常常会引起两种不良的后果：一种是两帧间物体重叠部分没 有检测出来，即只检测出物体的一部分；另一种是检测出物体在两帧中的信息，即检测 出的目标比真实的物体大很多。又有人提出利用三帧图像计算出两个差图像【1 3 ，1 8 】， 再令它们对应像素相乘。本文提出了一套检测和识别视频序列图像中的运动物体的算 法。该方法在连续的三帧视频图像中，对第一二帧和第二三帧的图像分别做差分运算， 根据未变化区域与运动变化区域服从不同的统计规律设置变化检测门限，对差分图像做 运动变化检测和连通域的识别。然后将检测到的运动变化图像做去噪和空域识别后，做 相与运算，最后再基于物体自身的灰度信息，恢复真正的运动图像。该三帧差分法克服 了传统的两帧差分法对运动物体界定过大、模糊的缺陷，能够快速对运动物体进行定位； 在恢复运动物体时，采用的是基于物体本身的灰度信息，灰度门限也是随着当前帧运动 物体本身与背景自适应变化的，所阱检测结果比较准确。三帧差分法算法简单，运算量 小，易于实时监控。该算法已在一套实际图像处理系统上实现，取得了令人满意的实验 结果。 综合分析各种视频图像中运动物体的检测与识别算法可以发现，完成运动目标检测 与识别的基本依据和条件是： 1 ) 在基于图像灰度检测运动物体时 灰度级别相近、纹理相似等； 2 ) 在基于运动参数检测运动物体时 特性： 运动图像中运动物体内部应具有同质性，如 运动物体应该具有或者近似具有刚体的运动 3 ) 运动物体与背景区域之间对选定的某种检测判据而言，应存在显著的差异性； 4 ) 运物体的区域边界应具有齐整性和空间位置的准确性。 由于运动图像中运动物体与背景的运动情况复杂多变，大多数运动图像的检测与识 别的方法只是部分满足上述条件。如果加强限制条件，检测到的运动物体就会被过分割； 如果放宽检测权限，又会出现检测“病态敏感”的缺陷。所以人们针对不同的运动情况 采用相应的不同的运动图像检测与识别算法，力求达到理想的检测精度及实时操作。虽 然人们一直在努力，但是运动图像的检测与识别还无法找到一种理想的统一的发展方 向。究其原因，主要有以下几个方面： 现有的大多数图像分割方法只是部分满足上述判据。如果加强分割区域的同质性约 束，分割区域很容易产生大量小空洞和不规整边缘；若强调不同区域间性质差异的显著 性，则极易造成非同质区域的合并和有意义的边界的丢失。 1 ) 由于照射光源的变化，或者镜头的抖动，运动物体表面不同的反射性质导致了检 测到的运动变化区域失真； 2 ) 背景静止不动的情况下，运动图像中运动目标与图像背景之间的对比不够明显； 视频监控中运动图像检测与识别技术的研究 3 ) 背景缓慢变化的情况下，如大海、树林、草坪、天空等大面积自然背景的缓变； 4 ) 物体不是刚体，具有可变性； 5 ) 多物体同时运动，需要区分识别不同的运动物体； 6 ) 每种运动检测与识别的算法都是利用视频监控中运动物体具体的运动情况和特 点而设定的。因此这些算法就可能只适用于一类情况，对其它运动情况就得不到 满意的检测结果； 7 ) 很多现存的运动物体的检测与识别算法并不能够满足实时性的要求。 对运动物体检测和识别问题，目前尚未建立一个统一使用的理论和方法，研究者只 能针对各自不同的问题提出具体的解决方法，这是由于运动物体本身的多样性和复杂性 所致，同时也说明运动物体检测和识别是一个十分有潜力的研究领域。 1 3 本文主要研究内容与结构安排 序列图像中运动目标的检测与跟踪是计算机视觉和图像编码研究的主要内容，在机 器人导航、智能监视系统、医学图像分析以及视频图像压缩和传输等领域中都有应用。 视频目标的提取可以分为两大类：自动提取和交互式提取。自动目标提取算法可以 自动地从视频序列中分割出运动目标并进行跟踪；而交互式提取通常是由计算机进行底 层的分割、通过人工方式标记属于同一个目标的区域，然后由计算机将这些区域合成为 一个视频目标并进行跟踪。要实现基于内容的实时视频监控系统，视频目标的自动提取 就显得非常重要。本文主要研究的是用于视频监控领域的视频图像序列中运动目标的自 动检测与识别。 因为视频运动检测的要求层次不一，实际影响因素复杂多变，所以图像序列的运动 检测算法由于其应用范围的不同，通常采用不同的方法。而想要实现适用于任意场景下 的视频目标自动提取算法目前几乎是不现实的，因为计算机只能描述彩色、纹理、运动 等低层特征，不能对视频目标进行明确地定义和描述。近几十年来，提出了许多方法用 于检测和跟踪序列图像中的运动目标，其中绝大多数方法都假设用于获取序列图像的摄 像机是静止的，而大多数实际情况也满足这一假设。因此，本文也主要讨论在具体的数 字视频监控系统中对由静态摄像机捕获的场景图像序列进行的运动检测。对于特定的应 用场合，有不同的检测方法 3 4 】，相对应于数字视频监控系统中，最基本的要求是检测 出图像内部的人有无运动发生，较高的要求是检测出运动物体的位置、大小和速度，如 果存在满足特定的大小和速度条件的运动物体，就提供报警。运动报警需要通过视频监 控得到图像序列，来获得场景中物体是否运动或者其运动方向的信息。实际上图像序列 的亮度分量已经包含了物体运动的绝大部分信息，因此运动检测采用的图像数据是灰度 图像序列。对多目标同时运动的图像序列进行运动分析和检测存在极大的困难，本文的 运动检测算法主要考虑图像序列中同时运动的物体的数量较少的情况。研究重点将放在 从静止背景的视频序列中分别用两i 噱及三帧差分法提取运动目标，将运动检测和连通域 识别算法相结合，系统可自动地提取出有精确边缘的运动目标。其中，连通域识别算法 采用区域生长与合并算法。运动检测则采用基于统计模型的算法。g a u s s 模型描述由于 噪声引起的像素值变化，并用g a u s s 模型的统计特性区分g a u s s 信号和非g a u s s 信号， 视频监控中运动图像检测与识别技术的研究 从而将运动目标提取出来。然后将运动检测和连通域识别结果通过投影运算结合起来， 经后处理之后就能得到有精确边缘的视频目标。 本文的主要任务集中在连续视频图像的变化检测与运动目标检测两个方面，主要包 括以下内容： 1 ) 首先对连续的视频图像的差分图像的特点进行分析和总结，归纳出在差分图像中变 化区域与静止背景区域的灰度分布规律。并以此做为变化检测算法的依据，设计出 一种变化检测算法。 2 ) 在变化检测器检测到的变化区域中，设计了一套两帧差分法检测运动物体的系统。 根据差分图像中的变化检测模型的特点采用基于灰度区域生长法，恢复运动目标。 在此基础上，本文进一步提出了一种利用连续三帧的视频图像提取运动目标的方 法。 3 ) 研究了图像空域的扫描和分割方法。根据所研究的图像特点，采用一种基于一次性 扫描进行图像拓扑连通性判别和加符号标记实现图像空域分割的算法。通过这个算 法，可以提取出图像中各个扫描到的区域的平均灰度，面积，边界坐标等特征参数。 4 ) 通过分析提取到的运动目标的特征参数，根据不同的应用环境，确定不同的判别准 则，以完成不同的识别目的。 本文的结构安排如下：第二章阐述视频监控中运动图像的检测算法与改进。基 于c c d 器件的成像特征，分析运动变化区域的灰度值分布规律，构建出运动变化模型， 提出种基于运动图像灰度特征的高斯运动变化检测算法。第三章详细论述运动目标的 检测算法与改进。首先阐述的是一种两帧差分法对视频图像进行运动目标的检测与提取 及其实现。然后，提出一种基于连续三帧视频图像检测和提取运动目标的算法及其实现。 第四章阐述运动图像的识别算法与改进。该章首先讨论空间分割，提出一种快速扫描图 像，一次性完成连通域识别和目标特征参数提取的方法，给出图像连通性判别算法，然 后，根据应用背景，提出一种基于安全报警系统的模糊判决方法。对实验结果给出详细 的分析和讨论。第五章是对本文所做的工作的总结，同时提出进一步的研究设想。 视频监控中运动图像检测与识别技术的研究 2 运动图像检测方法及其改进 2 1 引言 视频监控中自动目标检测被看作是视觉系统的一个重要能力，在社会日常生活、军 事及工业等领域都有着广泛的应用前景。目前，检测运动目标的方法主要有光流法和差 图像法，如第一章绪论中所述，光流法主要依据的是运动物体的运动信息；而差图像法 依据的是运动物体的灰度信息，还有的检测方法就是基于两者。如在文献【1 9 中利用运 动物体在前后两帧中的灰度变化的统计规律，设置检测门限，对运动图像做运动物体的 检测与识别。但是，仅仅利用灰度信息检测到的运动物体受到外界光线的影响比较大， 当运动物体多个并有交叠的情况下，无法个别区分。在文献 2 0 1 d 0 n 用一种运动模板对 运动物体的运动矢量进行分类，将具有相同运动特征的区域提取出来，并用平滑模板对 边界进行平滑，最终得到分割结果。然而，基于运动矢量的估计会导致误差，尤其是分 割出的运动目标的边界不够精确。此外，这种技术也会产生过分割的后果，即，找到的 分割区域大于实际的运动物体的个数。为了得到更精确的运动目标的边界信息，文献【2 1 】 中提出了一种结合了运动矢量和图像内容信息的算法。首先利用图像内容信息对图像进 行分割，然后再对这些区域，根据运动特征相同的特点进行合并。运动特征的归类可以 用运动矢量场中的密度信息，或者用运动模板拟合实现。在基于图像内容分割中，还有 一种方法是基于像素灰度进行运动目标的提取，利用个全局灰度门限对图像进行运动 物体识别。但是因为引用了全局门限，所以分割结果受噪声影响很大。 无论是光流法中的运动参数，还是差图像法中的像素灰度值，最终的结果都是要解 决分类问题，即，基于运动图像的特点区分运动前景( 运动物体) 和背景。光流法的代 表算法是八参数匹配法，差图像法主要是阈值分割法。此外近几年还出现了神经网络法 等算法。 ( 1 ) 光流法中的八参数匹配法 在视频序列中，连续俩帧图像的灰度变化主要取决于运动物体的移动。文献【2 2 】中 提出了一种方法，用八个参数来描述前后连续俩帧图像中，运动物体的移动。前提是， 运动物体是刚体；运动变化函数有二阶导数。这样，可以将光流法中的约束病态方程近 似理解为：在连续俩帧图像中运动物体对应的象素可以表示如下： f ( a ( x ，y ) ) ( 2 - 1 ) 其中，口l ，a2 ，a3 ，口4 ，a5 ，a6 ，a7 ，a8 是待估计的参数。如果，运动物体发生 旋转或放缩等变化，可以用该公式进行运动补偿差值运算或变形领域中的预测。 在变化区域里，存在目标和背景。计算每一点的位移矢量，以位移矢量为依据进行 后续运动图像中前景、背景分类，位移矢量在规定范围里变化的划归为运动目标，其余 一 粉 删 视频监控中运动图像检测与识别技术的研究 的划归为背景。 光流法中的八参数匹配法的最大优势是可以得到运动物体e e 较详细的运动信息，便 于后续处理中的运动估计和运动跟踪。但是，我们同时也看到，以八参数匹配法为代表 的光流法运算复杂，计算量又大，所以很少用在对实时性要求很高的视频监控上。 ( 2 ) 差图像法中的阈值分割法 相比较而言，在简单的运动情况下，差图像法中的阈值分割法因其实现简单、计算 量小、性能较稳定而成为图像分割中最基本和应用最广泛的运动目标检测与识别技术。 它利用了运动物体在运动图像序列中连贯的特性，定位运动物体的运动区域，在运动区 域中根据所要提取的运动目标与背景在灰度特性上的差异，把运动区域图像视为具有不 同灰度级的区域的组合，通过选取阈值，将运动目标区域从背景中区分出来。区域内部 灰度级是均匀的，而区域间灰度级是不同的，其间存在着边界。对包含了多个灰度级范 围的一般图像，进行阈值分割比较困难，但在很多实际应用领域中，图像可视为具有不 同灰度级的两类区域( 运动目标和背景) 组成。此时，可从灰度级图像出发，选取一个 合适的闽值，以确定每一图像点应属于运动目标还是背景区域，从而产生相应的二值图 像。通常该过程称之为二值化。 阈值选取是差图像法的关键。当使用阈值规则进行图像分割时，所有灰度值大于或 者等于某阂值的像素都被判属于运动物体；所有灰度值小于该阈值的像素被排除在物体 之外。若阈值选得过高，则过多的目标点将误归为背景：反之会出现相反的情况。这势 必影响分割出来的目标的大小和形状，甚至会使目标严重失真。但是在运动图像中，可 以充分利用运动图像的特点，即，运动物体在视频图像序列中的连贯性，从而快速界定 运动目标的范围，提取精确的运动物体自身的灰度信息，设定灰度检测门限。因此运动 物体检测与识别中的差图像法的技术重点之一是阈值选取。在运动图像中用于差图像法 检测运动物体的主要方法有：1 ) 基于概率统计特性的检测方法：2 ) 基于直方图的检测 方法；3 ) 最大熵方法；4 ) 网格生长法；5 ) 模糊聚类方法：6 ) 神经网络法等。基于概 率统计特性的检测方法最直观、应用最普遍。近年来，由于熵的概念被越来越多的引入 到图像分割中，所以在运动图像检测中也越来越多的引进熵检测法。因为嫡也属于一种 均匀性度量，均匀性用熵来度量时，则可以导出许多基于熵的二值化算法，如最大熵阈 值法，二维熵阈值分割的快速算法等。 一般情况下，连续两帧运动图像相减得到的差分图像中像素点的灰度值有着明显的 统计规律，即，高斯分布。所以，最常用的检测运动物体的方法就是在运动变化区域根 据高斯分布特点设置检测门限，检测运动物体。本文在运动检测中设置的检测门限就是 利用运动图像中像素点灰度值符合高斯分布的特性，检测运动物体的。此外，还有一些 文献 2 3 中利用的是高斯分布中的高阶统计特性设置检测门限。基于图像直方图分析的 门限的检测方法也比较常用。通常情况下，运动图像的阀值被设置在灰度直方图的既明 显又深的谷的位置。 o 视频监控中运动图像检测与识别投术的研究 2 2 基于c c d 器件特征的图像灰度分布特征 为了在视频图像的差分图像中检测出运动变化区域，我们需要研究采集视频图像的 c c d 器件的成像特征，根据c c d 成像的灰度分布规僖，建立合适的运动变化检测模型， 设定相应的灰度检测门限。 随着c c d 制造工艺的进步和成本的降低，c c d 器件目前已经成为最通用的一种成 像传感器。在大部分情况下，c c d 器件和成像镜头配合使用以获得被测对象的图像。 当被测对象的信号较弱，并且有效面积较小时，由于器件本身的电子噪声和镜头成像误 差的影响，经常会带入较大的噪声，甚至湮没信号【2 4 1 。人们采用了各种方法对c c d 图像进行修正。传统的图像处理方法【2 5 同时可能导致图像中噪声信号的放大，在提高 图像分辨力的同时，嗓声的放大可能会极大地降低图像的质量。所采用的实现方法上的 一些细微的差别都会导致最后结果的巨大差异，对于噪声的来源问题并没有进行仔细的 思考。随着c c d 摄像器件的广泛使用，需要对更多的图像信息进行处理，因此有必要 对c c d 图像各种噪声的来源和产生原因进行分析，以期采用更好的方法对这种特定的 图像进行处理，获得较好的结果。 c c d 图像的噪声组成。 由c c d 摄像头得到的图像包含有多种噪声误差。这些噪声的大小取决于c c d 摄像 头的使用方法和环境，如是否被冷却、是否有杂散光。无论如何，这些情况总是或多 或少存在的。总的说来，有以下两种： 1 )在对物体的入射光线进行光电转换时产生的和成像物体相关的噪声。 这种噪声分布符合统计学的泊松随机分布。 2 )由于c c d 器件本身问题而产生，与成像无关的电子噪声，如热电子 噪声等，这部分噪声信号无法和有用信号加以区别。 这些噪声以及成像相关的噪声光电予、零信号输出和热电子的噪声信号统称为泊松 分布的背景信号。在c c d 摄像头输出图像时，读出噪声( 由于电子线路中电荷转移、信 号放大、模数变换等环节产生) 的存在进一步降低了图像质量。读出噪声为高斯随机分 布。 d l s n y d c r 提出了一种描述图像信号组成的数学模型 2 6 ： r ( j ) = s 砌( ，) + o ( ，) + g ( j ) ( 2 2 ) 式中，( ，) 是从c c d 阵列中读出的第j 个像素值；s 嘶( ) 是由物体像产生的有效 信号；胛。( ) 是背景信号( 无信号时探测器响应) ；g ( j ) 是读出噪声；j 是c c d 摄像头 的点阵数目。 可以从统计学的角度来分析这些量值大小分布所符合的规律a g ( ，) 、s 。( ，) 和 n 。( j ) 彼此之间是相互独立的，并且在时间序列上也是相互独立的，即当，k 时， 视频监控中运动图像检测与识别技术的研究 s 嘶( ，) 和s 。* ( 女) ，”。( ) 和n 。( i ) ，g ( ) 和g ( 七) 之间也相互独立，互不干扰。物像 信号p 嘶( ，) ，= 0 , 1 ，2 k ，j 一1 j 以均值扯嘶( j ) ，+ 0 , 1 ，2 k ，一l j 呈泊松分布 读出噪声 g ( j ) ，j = o ，l 2 一k ，j 1 ) 形成一个独立、均匀高斯分布的序列，其中包含 假设已知的均值m 和标准方差o 。 由于事先不可能知道实际应用中的c c d 图像的噪声组成和各组成的实际分量大 小，因此还要通过实际应用的经验和实验结果决定。可以这样理解图像中噪声的混入， 光电传感器件在无光照时，由于电荷泄漏等原因造成的信号输出”。( ，) ，其均值可由无 光照时读出的信号获得。 电荷转移、放大过程中，各种随机电子噪声形成均值为0 ，偏差为s 的高斯分布 g ( j ) 。 一般情况下，背景噪声可以看成高斯的，而运动变化区域像素的灰度值的分布一般 是非商斯的。因此，在差分图像中区分运动变化区域和未运动变化区域可以归结为在商 斯分布数据中识别非高斯分布数据的问题。本论文在运动检测中，采用高斯模型描述噪 声引起的像素值变化，利用高斯分布特性区分噪声和运动区域，从而得到完整的运动目 标。实验结果表明所提出的算法能有效地提取出运动目标。 2 3 运动变化检测模型的建立 基于差分图像处理的方法是建立应用视觉系统的常规技术，主要用于印刷电路板的 检验、交通及保安监测等。近年来，应用视觉研究在西方发达国家得到普遍重视，这是 由于微电子与计算机技术的高速发展，使得低成本的视觉系统成为可能，以摄像机作为 传感器能够超越传统传感器所固有的局限性，有望研究开发出新一代的高技术产品，如 交通流量检测器、智能闭路监视系统等。就我国的国情丽言，随着经济的高速发展，流 动人口激增，城市的交通问题、治安问题等日益严重，急需现代化的监测手段。在这方 面，应用视觉研究将起到十分重要的作用。 计算机视频监视的主要任务之一是检测场景图像的变化并提取新的目标，也就是检 测视频序列图像中被监视的背景中是否有所变化，如果有变化，则说明有新的目标出现 并将该目标提取出来，为目标的进一步识别和分析做准备。在运动目标的提取中，运动 是最重要的特征。必须指出的是，运动分割虽然得到广泛的研究，但迄今为止还没有很 好的解决方案。运动检测与分割中存在其固有的遮挡与显露、孔径、匹配误差等问题， 使得运动场的分割不尽人意。传统上，视频序列中包括静止背景和在连续帧图像中由于 运动而变形的一个或者多个运动目标。如果不考虑摄像头的运动，背景的亮度变化主要 取决于噪声和室内视频图像中光照的变化，或者室外视频中背景纹理的实时缓变( 例如， 草坪，海洋或者植被等等) 。本文研究的对象是静止背景的视频序列，所以运动分割的 视频监控中运动图像检测与识别技术的研究 目的就是要将运动目标从静止背景中提取出来，即运动检测问题。在视频监视中当被监 视场景和摄像镜头之间位置保持相对不变时，背景图像的大小和位置在不同帧中将保持 不变，这时候通常检测是否有新的目标出现的方法是利用不同帧图像的“差”来实现。 1 ) 运动物体在连续两帧视频图像中的运动情况 下文首先在图2 2 中描述运动物体在连续两帧视频图像中的运动情况，以及连续两 帧视频相减后得到的差分图像所描述的运动信息。然后根据运动物体的运动情况以及在 差分图像中灰度值分布规律，建立运动变化检测模型。 ( a ) 运动物体在第k 帧中 ( b ) 运动物体在第k + 1 帧中 静止背景 变化区域中被变化区域中的运动 部分 覆盖部分 目标相减部分 ( c ) 两幢相、碱后的差分图 变化区域中未 被覆盖部分 视频监控中运动图像检测与识别技术的研究 ( c t ) 运动物俸在前后两帧中无；藿盖时的差分图 图2 t 运动物体在连续两帧视频图像中的运动情况 f i g 21m o v i n go b j e c ti nt w os e q u e n tv i d e o s 其中，图( a ) 是运动物体在第k 帧视频图像中的位置，图( b ) 是运动物体在第k + 1 帧视频图像中的位置。图( c ) 是运动目标在前后帧中由于运动产生交叠覆盖的情 况，由图可以看出，如果运动目标的自身灰度均匀，在差分图像中交叠的部分可能会当 作静e 背景处理。图( d ) 是运动目标在前后帧中没有交叠的情况，运动变化区域是运 动物体在前后俩帧中的所占区域的总和，可以看出这种情况比较简单。 2 ) 运动变化检测模型的建立 在视频监视中，当被监视场景和摄像头之间的位置保持相对不变时，摄取的视频序 列图像里，背景图像的大小和位置可以近似看成保持不变。由于运动物体的出现，那么， 相邻俩帧的视频图像之间发生了变化。通过比较发现，俩帧图像中发生变化的图像区域 包括运动物体和由于物体运动引起的被覆盖的背景区域的移动变化两部分。将相邻俩帧 图像的对应象素的灰度值相减得到的图像我们叫做差分图像。在差分图像中各个点的象 素值代表的是该位置上的象素在前后俩帧中灰度值的变化。差分图像更鲜明地阐述了固 定场景中的运动信息。根据各个象素在前后俩帧中地变化情况，我们把视频图像归纳为 阻下几部分来描述，即差分图像中的运动变化模型。 对于一序列视频图像，设兀( z ，y ) ，一( ! ，y 卜l ( e y ) 为帧序列，对应k 时间以及k + l 时间的帧图像记法如下： 女( x ，y ) = b t ( x ，y ) + ， ( x ，y ) 十 女( x ，_ y ) ( 2 3 ) 其中，如公式( 2 3 ) 所示，在第k 帧图像 ( x ，y ) 中，b 。( x ，y ) 是静止的背景，m 。( x ，y ) 为第k 帧图像运动物体，( x ，y ) 为背景噪声。第k + l 帧图像组成同第k 帧图像。就相 视频监控中运动图像检测与识别技术的研究 邻的俩帧图像，( x ，y ) ，+ 。( x ，y ) 而言，如果运动物体的速度很慢或者是视频图像采集 的间隔比较小，那么还存在运动物体覆盖交叠的情况。 将俩帧图像五( z ，y ) ，六+ ，( x ，y ) 的对应象素的灰度值相减得到第k 帧及k + 1 帧的差分 图像d 。+ ( x ，y ) 。如图2 2 所示： 图2 2 差分图掾d 工+ 1 “力的运动变化模型 f 1g2 2 m o v i n ga n dc h a n g en t o d e l o f d if f e r e n c ei i | a a g e = f k + l ( x ，y ) ( x ，y ) = 埘t + i ( x ，y ) 一，” ( x ，y ) + s i + l ( 工，y ) 一5 女( x ，y ) + 腔i + l ( x ，y ) 一n t ( x ，y ) = j ( z ，y ) + m d i ( x ，y ) + b dk ( x ，y ) ( 2 5 ) 其中，s ( x ，y ) 是第k 帧及k 十1 帧中的未变化背景区域相减得到的图像，