（交通信息工程及控制专业论文）监视海盗入侵视频系统.pdf

中文摘要 摘要 船舶在近海航行时，时常会有海盗的出没，尤其是在索马里一带，这在很大 程度上对国际海运安全造成了巨大的威胁。因此本文尝试设计一个视频监控系统 来识别海盗的入侵，让船员能在第一时间发现有海盗的侵犯，从而采取相应的措 施来应对海盗。 首先，本文对现有的一些主流运动检测算法进行了概述和分析，并对其中涉 及到的一些图像知识进行了补充。而本文设计的视频监控系统采用的是c o d e b o o k 法进行背景建模，该方法可以清除海面上轻微的波浪所引起的噪声干扰。 其次，c o d e b o o k 法建模对有规律的干扰有很好的清除作用，但对随机干扰的 抑制效果不是很明显，于是在c o d e b o o k 法的基础上采用连通域法去除随机产生的 较小的噪声干扰。 然后，针对c o d e b o o k 加连通域法分割出的前景目标，采取目标跟踪检测，本 文采用的是运动模板的方法，通过对运动目标的运动方向进行预估，判断其运动 方向，如果方向在一段时间内指向本船，那么就认为是海盗船并且及时报警，继 而提高警惕。 最后，本文用d r e c t s h o w 工具箱建立三个f i l t e rg r a p hm a n a g e r ，通过相互独立 的线程对每个链路进行管理，并采集各链路的视频帧。在主线程调用处理函数进 行处理之前，将d r e c t s h o w 的帧格式转换成o p e n c v 的图像存储格式，再调用处理 算法进行分析处理，这样就完成了系统的构建过程。本文通过实验表明该系统是 有效的。 关键词：视频监控；海盗；背景建模；目标跟踪 a b s t r a c t p i r a t e so f t e nh a u n tw h e ns h i p st r a v e l si nc o a s t a lw a t e r ，e s p e c i a l l yi n t h ea 】- e ao f s o m a l i a t h a tl a r g e l yp o s e sag r e a tt h r e a t t ot h ei n t e m a t i o n a lm a r i t i m es e c u r i “ t h e r e f o r e ，t h i st h e s i st r i e st od e s i g nav i s u a ls u r v e i ll a n c es y s t e mt h a ti d e n t i f i e sp i r a t e s ， w h i c hl e t st h ec r e wt of i n dp i r a t e si nt h ef i r s tt i m ea n d t ot a k ea p p r o p r i a t em e a s u r e st o d e a lw i t hp i r a t e s f i r s t l y ，i nt h i st h e s i s ，s o m eo ft h ee x i s t i n gm a i n s t r e a mm o t i o nd e t e c t i o n a l g o r i t h m s a r es u m m a r i z e da n da n a l y s e d ，a n ds o m e k n o w l e d g eo fi m a g e si sa d d e d v i s u a l s u e l l l a n t es y s t e md e s i g n e di nt h i st h e s i su s e sam e t h o do fc o d e b o o kb a c k g r o u n d m o d e l i n gw h i c hc a nc l e a rt h es e aw a v ec a u s e dm i n o rn o i s e s e c o n d l y ，c o d e b o o km o d e l i n gh a sag o o dr e s u l to na r e g u l a ri n t e r f e r e n c e b u ti ti s n o tg o o da tr a n d o mi n t e r f e r e n c e s oo nt h eb a s i so fc o d e b o o k m o d e l i n gw eu s ea c o n n e c t e dd o m a i n m e t h o dt or e m o v er a n d o mn o i s e t h e n ，a c c o r d i n gt os e p a r a t i n go u tt h ef o r e g r o u n do b j e c t s ，w eu s ed e t e c t i o na n d t r a c k m go ft a r g e t a n dt h i st h e s i sa d o p t st h em e t h o do fm o t i o nt e m p l a t e t h r o u g ht h e d i r e c t i o no fm o v i n go b j e c t sa r ep r e d i c t e d ，w ed e t e r m i n ei t s d i r e c t j o no fm o v e m e n t i f t h i sd i r e c t i o ni nt h e p e r i o do ft i m ep o i n t st ot h es h i p ，i ti sap i r a t es h i p t h e ng i v e sa n a l a r ma n da l e r ti nt i m e f i n a l l y ，t h r o u g ht h ei n d e p e n d e n tt h r e a d sm a n a g eo fe a c hl i n k , t h i st h e s i su s e s d r c c t s h o wt o o l b o xt os e tu pt h r e ef i l t e rg r a p hm a n a g e rt h a tc o l l e c t sv i d e of r a m ei n e a c hl i n k b e f o r et h em a i nt h r e a dc a l l st h eh a n d l e rf u n c t i o nf o rp r o c e s s i n 2 ，w ew i l l t r a n s f o r md r e c t s h o wf r a m ef o r m a ti n t o i m a g es t o r a g ef o r m a to fo p e n c va n dc a l l p r o c e s s l n ga l g o r i t h mt oa n a l y z ei t t h i sc o m p l e t e st h ep r o c e s so f b u i l d i n gt h es y s t e m i n t h i sp a p e r ，e x p e r i m e n t ss h o wt h a tt h e s y s t e mi se f f e c t i v e k e yw o r d s ：v i s u a ls u r v e i l l a n c e ；p i r a t e ；b a c k g r o u n dm o d e l i n g ；t a r g e t t r a c k i n g 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博硕士学位论文= = 鉴塑基姿堡塑麴丕红：。除论文中已经注明引用的 内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本论文中不包含任何未加明确注明的其他个人或集体已经公开发表或未公开发表 的成果。本声明的法律责任由本人承担。 学位论文作者签名：美垂臣才 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论 文全文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式 出版发行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密旷( 请在以上方框内打“) 论文作者签名：童蝴导师签名：强参雄 日期：2 0 1 0 年6 月2 日 监视海盗入侵视频系统 第1 章绪论 1 1 选题背景与研究意义 此研究课题是大连海事大学航海动态仿真与控制实验室正在研发的海上搜救 模拟器的一部分。目的是为了进一步提高船员的安全，第一时间对入侵的海盗采 取有效的措施。 海盗，这个游弋于茫茫大海上的幽灵群体，从人类开始海洋运输时起，便威 胁着海运安全。盛极一时的加勒比海盗，曾经创造出海盗的传奇，但在加勒比海 盗消亡几百年后的今天，索马里海盗再次凭借其彪悍的实力将世人的目光锁定于 亚丁湾。 2 0 0 8 年11 月1 5 日，沙特阿拉伯的超级油船“天狼星”号被索马里海盗劫持， 船上货物价值高达l 亿美金，2 5 名工作人员被劫持，海盗索要赎金2 5 0 0 万美金， 此事件后经多方协商与谈判，在交纳3 0 0 万美元赎金后，“天狼星”号获释。2 0 0 8 年一年里，索马里沿海累计发生8 0 多起海盗袭击事件，平均每4 天就有一艘船舶 遭劫。 2 0 0 9 年1 0 月1 9 日，一艘名为“德新海”的中国籍货轮在印度洋上塞舌尔东北 约5 5 0 海里、索马里以东约7 0 0 海里的海域遭到劫持，船上有2 5 名中国船员和货 物均被劫持。经过中国外交部和当地政府的共同努力，于2 0 0 9 年1 0 月2 8 日2 5 名中国船员和“德新海”轮安全获救1 2 3 1 。 由此可见，对于船上的船员员来说，能够在第一时间发现海盗是至关重要的。 于是在船舷上安装视频监控系统可以在第一时间发现入侵的海盗，大大提高了船 上乘客的生命及财产安全，同时也可以在第一时间对船员的意外落水进行监控【4 1 。 随着信息化时代的到来，数字技术的发展、视频有关的硬件( 摄像头、视频采 集卡、视频处理芯片、计算机) 价格的大幅度降低，视频产品以及多媒体产品快速 渗透到社会生活中，巨大的商业价值和应用前景使得越来越多的公司、研究机构 去开发视频监控系统。 目前视频监控系统已经广泛地应用到了对船上安全要求敏感的地方，如机舱、 第1 章绪论 驾驶室、通道等，但这并没有发挥其实时主动的监控作用。这是因为现阶段的视 频监控系统大部分只是提供视频录像和回放的功能，但此时为时已晚。我们真正 需要的监控系统能够2 4 小时实时监控，并能自动分析摄像头捕捉的视频信息，若 发生异常情况，可以及时地发现海盗入侵，并且采取相应的措施来确保船员的人 身安全i5 1 。 因此，开展对视频中运动信息的分析与捕捉技术的研究，解决基于视觉的人 体运动分析中的一些基础性问题，如( 动态场景视频中) 运动目标的检测、分割等， 对于基于计算机视觉的目标运动检测的分析、处理对乘员的生命及财产安全有着 重要的意义。 1 2 国内外研究现状 1 2 1 视频监控的发展 数字监控系统在我国已有2 0 年左右的发展历史。随着数字化、网络化、信息 化的高速发展，数字监控系统大致可以分为三个阶段1 6 】： 第1 阶段：模拟视频监控系统 模拟信号视频监控系统主要由监视器、视频矩阵、摄像机、录像机等几部分 组成，利用视频传输线路将来自摄像机的视频连到监视器上，利用视频矩阵主机， 采用键盘进行控制和切换，利用磁带的长时间工作进行录像；采用模拟光纤进行 远距离图像传输，视频的传输利用终端机进行。 在2 0 世纪9 0 年代初以前，主要是以模拟设备为主的闭路电视监控系统，被 称为是第一代模拟监控系统。图像是采用视频电缆以模拟方式传输，一般传输距 离不太远，主要应用于小范围的监控，监控图像一般只能在控制中心查看。 第二阶段：p c + d v r ( 硬盘录像系统) 及采集卡 2 0 世纪9 0 年代中期，基于p c 的多媒体监控随着数字视频压缩编码技术的发 展而产生。系统可以在远端通过若干摄像机、各种报警和检测探头与数据设备， 获得图像信息，凭借各自的传输线路汇接到多媒体监控终端上，再通过通信网络， 将这些信息传送到一个或多个监控中心。监控中心可以是一台p c 机，也可以是工 监视海盗入侵视频系统 业上的专业控制机。这类监控系统功能较强，易于现场操作，是现在最常用的监 控系统。 第三阶段：网络视频监控系统洲v s ) 2 0 世纪9 0 年代末，随着网络技术的进步，嵌入式技术的远程网络视频技术有 了发展空间。其主要原理是采用嵌入式实时操作系统，进行视频压缩技术。摄像 机等传感器传送来的视频信息，由高效压缩芯片进行压缩，直接传入以太网。在 网络上用户可以直接通过相应的软件进行观看，不需要安装视频采集卡。这类系 统可以直接连入以太网，省掉了各种各样复杂的电缆，具有灵活方便、即插即看 等特点。因此此类系统目前价位也比较高【7 】o 1 2 2 视频中运动目标的检测 国外在视频中运动目标的检测方面做了大量工作。由于目标跟踪在高级人机 交互使用、安全监控模式、视频会议、医疗诊断措施等方面具有广泛的应用前景 和巨大的潜在商业经济价值，因此激发了国内外广大学者、研究者和一些公司的 兴趣。许多重要的国际性期刊( i e e et r a n s a c t i o n so np a a e ma n a l y s i si sa n dm a c h i n e i n t e lli g e n c e ；i e e et r a n s a c t i o n so ni m a g ep r o c e s s i n g ；i e e et r a n s a c t i o n so nm e d i c a l i m a g i n g ；i e e et r a n s a c t i o n so nc i r c u i t sa n ds y s t e m sf o rv i d e ot e c h n o l o g y ；i e e e t r a n s a c t i o n so nv e h i c u l a rt e c h n o l o g y ；i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ： c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ：i m a g ea n dv i s i o nc o m p u t i n g ；p a u e m r e c o g n i t i o n ：p a t t e r nr e c o g n i t i o nl e u e r s ：m a c h i n ev i s i o na n da p p l i c a t i o n ；r e a l - t i m e i m a g i n g ；e t c ) 都发表了大量有关视觉跟踪方面的论文。计算机视觉领域中的权威期 刊国际计算机视觉期刊( i c yi n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) 和i e e e 模式 分析和机器智能汇刊( p a m ii e e et r a n s a c t i o no np a r e ma n a l y s i sa n dm a c h i n e i n t e l l i g e n c e ) 相继在2 0 0 0 年6 月、2 0 0 0 年8 月出版了关于视觉监控的专刊，由s t e v e j m a y b a n k 和中国科学院自动化所所长谭铁牛组织的i e e e 视觉监控专题讨论会 i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e 也已经成功地举办了三届，收录 了大量视觉监控领域内的最新研究成果。 意识到人体运动分析重要的理论价值和巨大的经济价值，美国、英国等欧美发 达国家，已经开展了大量相关项目的研究。比较有影响力的有：1 9 9 7 年美国国防 3 第1 章绪论 高级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c ta g e n c y ) 设立了以卡内基梅隆 大学( c a r n e g i em e l l o nu n i v e r s i t y )首、麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ) 等高校参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c e a n d m o n i t o r i n g ) 蝎j ，主要研究用于战场及普通民用场景监控的自动视频理解技术：美国 国际商用机器公司( i b m ) 与美国马里兰大学( u n i v e r s i t yo fm a r y l a n d ) 联合开发的 w 4 ( w h a t ，w h e r e ，w h e n ，w h o ) 系统i9 1 ，用于民宅、停车场、银行等场合，能够对携 带物品的可疑人员进行有效的监视；英国的雷丁大学( r e a d i n go fu n i v e r s i t y ) 计算机 系的v i e w s 项目组1 1o 】已经开展了对车辆和行人的跟踪及其交互作用的研究。日本、 韩国以及新加坡的许多高校和科研部门也有不少人专门从事人脸识别的研究。i b m 和m i c r o s o f t 等公司也逐步将基于视觉的手势识别接口应用于商业领域 11 a 2 1 。 国内也在视频中运动目标的检测方面做了大量工作。国内的清华大学、上海交 通大学、哈尔滨工业大学、中山大学、南京理工大学、南京大学、浙江大学、北 京交通大学和香港中文大学等高校，以及中国科学院计算所和自动化所等都在目 标的识别监控理论和应用研究方面长期开展了大量的工作，取得了长足的进展。 例如中国科学院计算技术研究所于2 0 0 5 年研究的跳水训练图像分析软件系统研 制，被设为国家体育总局备战2 0 0 8 年奥运会科技攻关项目d 3 1 。 1 3 本文研究的工作内容 由于船舶在海上航行，时常会遇到海盗的侵犯，而且船身3 6 0 。任何方向都有 可能遭到海盗的攻击，一个摄像头很难达到不留死角的检测，为此本文通过研究 多视频监控并对视频中运动目标进行检测，从而达到多视频实时监控。首先，研 究多线程原理，使得视频能够多画面显示，达到多视频监控效果；其次，研究从 视频中提取运动目标的算法；最后将提取运动目标的算法运用到多视频的监控中。 4 监视海盗入侵视频系统 第2 章基础理论 视频中对运动目标的检测、识别和分类等都是图像处理的范畴，这些对特征 提取起到非常重要的作用。目前，对视频中运动物体的检测、跟踪都有较深入的 研究，而且跟踪算法也相对成熟。本章将对部分算法进行介绍，本文所采用的算 法将进行详细介绍。 2 1 运动目标检测 运动检测是视频运动分析的重要环节，其主要目的是从视频中提取出运动目 标的图像，还可以根据设计者的需要获得运动目标中的特征信息，如形状、颜色、 轮廓等。提取运动目标的过程实际上就是一个图像分割的过程，但是运动目标的 提取又不同于图像的分割。图像分割是对某一应用领域有先验知识的情况下对静 止图像进行目标分割的方法，如对卫星和医疗等方面的图像分析和处理【1 4 】。而运 动目标只有在连续的图像序列中才能被体现出来，运动目标的提取的过程就是在 连续的图像序列中寻找图片之间的差异性并把由于目标运动而表现出来的差异提 取出来。运动检测是视频运动分析中的关键技术，检测的结果直接作用于随后的 各种处理，检测出的结果准确度就成了决定性的因素，与此同时，由于运动检测 处于视频运动分析的重要环节，广泛的应用场合使得运动检测算法能够应对各种 复杂的情况，因而很难有一种通用的算法能够满足所有的应用场合【1 5 。 2 1 1 常用算法的概述 现有的图像运动检测算法由于应用场景的不同，会根据具体的应用场景的要 求采用不同的算法。目前常用的几种方法有：时间差分法( t e m p o r a ld i f f e r e n c i n g ) 和光流场法( o p t i c a lf l o w ) 、背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 。 ( 1 ) 时间差分方法( t e m p o r a ld i f f e r e n c e ) 时间差分法也是一种基于像素的运动检测方法，是在视频图像序列中两个或 三个相邻帧之间进行差分并且阈值化从而提取图片中的运动区域。从理论上看， 相邻两帧或者三帧的差分运算实际上是一种动态的边缘提取运算，从实际效果上 看，时间差分算法能够检测出运动对象的部分轮廓信息。时间差分法对动态的环 第2 章基础理论 境有很强的适应能力，但在检测的结果当中，却很难完全检测出运动目标的所有 特征像素点，而且在运动物体二值化后内部容易产生空洞，这样的检测结果对随 后的运动识别操作很不利f 1 6 】。 例如，l i p t o n 等人利用两帧差分方法从实际视频图像中检测出运动目标，进而 用于目标的分类和跟踪；一个改进的方法是利用三帧差分代替两帧差分，如v s a m 开发了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从 背景中检测出运动目标。时间差分运动检测方法对于动态环境具有较强的自适应 性，但一般不能完全提取出所有相关的特征像素点，在运动实体内容易产生空洞 现象f 1 刀。 ( 2 ) 光流法( o p t i c a lf l o w ) 光流的概念是g i b s o n 于1 9 5 0 年提出来的。实质就是由动态图像序列来确定观 察体和目标物体的相对运动参数，也就是指图像中模型运动的速度，它是一种二维 瞬时速度场，其中二维速度矢量是可见的三维速度矢量在成像平面上的投影。我 们经常不知道任何关于视频内容的先验知识，但需要估计两帧之间( 或一个帧序列) 的运动。可以将图像中的每个像素点与速度关联，或者等价于表示像素在连续两 帧之间的位移关联。当图像相对静止时( 没有运动目标) ，则光流矢量在整个图像区 域内是呈现连续的变化，当目标物体和图像背景存在相对运动时，运动物体所形 成的速度矢量必然和领域背景速度矢量不同，从而检测出运动目标的位置【1 引。因 此，光流的计算就成为识别的关键。通过光流约束方程，用泰勒方程展开，忽略 二次以上的高阶项，就得到光流约束方程( o p t i c a lf l o wc o n s t r a i ne q u a t i o n ) ： 一一0 1 ：一0 1 材+ 一0 1 v ( 2 1 ) 一一= 一材十一v i 厶jj 西舐 砂 式( 2 1 ) 中，娶，要，娶分别为图像的灰度值对时间，、x 方向枷方向的导数， o to x o y ( “，们为该点的光流。在实际计算中，有稠密光流( d e n s eo p t i c a lf l o w ) ，即将图像中的 每个像素点都与速度关联。其中h o n n s c h u n c k i l 9 】方法就是计算稠密光流的速度场。 而稠密算法需要使用某种插值方法在比较容易跟踪的像素之间进行插值以解决那 些运动不明的像素，从中可以清楚地看到稠密光流相当大的计算量。因此b l a c k 和 6 监视海盗入侵视频系统 a n a d a n f 2 0 2 1 1 提出的计算稠密光流的方法被广泛应用在电影制作中，为了追求视觉 的质量，电影工作室愿意牺牲时间和开销来获得详细的光流信息。于是有另一种 方法，稀疏光流( s p a r s eo p t i c a lf l o w ) 。稀疏光流的计算需要在被跟踪之前指定一组 点。如果这些点具有某种明显的特性，那么跟踪就相对可靠。由于在很多的实际 应用中，稀疏跟踪的计算开销比稠密跟踪小得多，以至于后者只在理论中研究【2 2 】。 ( 3 ) 背景减除法( b a c k g r o u n ds u b t r a c t i o n ) f 2 3 背景减除法的基本思想是将当前帧与背景模型相减，如果像差值大于某一阈 值，则判断此像素属于运动目标，否则属于背景。由于背景减除法简单而且摄像机 在很多情况下是固定的，在视频安全领域，背景减除法( 又名背景差分) 也许是最基 本的图像处理操作。t o y a m a ，k l u m m ，b r u m i t t 和m e y e r s 对背景提取做了很好的概 述并与许多技术进行了对比【2 4 1 。然而在运用背景差分法时需要有一定的限制：要 求前景( 运动物体) 像素的灰度值和背景像素的灰度值存在一定的差别，同时要求摄 像机是相对静止的。但由于背景减除法的实现简单，并且运算速度快，在大多数 情况下检测结果较好的突出优点，使其成了运用最广泛的运动检测算法。由于背 景减除算法作用于像素级，操作的对象是单个的像素，但是缺乏对图像的足够的 “理解，检测结果很容易受噪声和各种突变的影响，使检测结果的准确度大大 下降。 2 1 2 混合高斯模型f 2 5 】 混合高斯模型进行背景建模可以把树叶摇晃、横幅飘摆等正常的外界环境扰 动“溶入”到背景模型中，只检测有潜在危险的运动目标如车辆、行人等，对没 有潜在危险的环境变化则可以“视而不见”。这样就可以排除部分外界干扰，大 大减少了系统的误判。考虑到检测效果的稳定性，本文实验采用此模型进行背景 建模来提取运动目标。本节将对混合高斯模型的建模原理做详细描述。最初，混 合高斯模型是由s t a u f f e r 等人提出的，和单高斯模型为每个像素建立一个高斯模型 不同，混合高斯模型为每一个像素建立k 个高斯模型，一般k 取3 5 个，这样就 使混合高斯模型克服复杂外界环境的影响成为可能。 首先，连续采集帧图像，用来实现对背景模型的初始化。例如，对某一点 7 第2 章基础理论 像素点，采样值为而，x 2 ，矗，这个样点就要用一个混合的高斯分布函数来近似 地表示，混合概率密度可用式( 2 2 ) 表示。 p ( x ，) = w i ，n ( x ，一，0 - 。2 ) ( 2 2 ) j - 1 其中，w 。，为t 时刻第i 高斯分布在混合模型中所占的权重，k 为高斯模型的个数， 为高斯模型的密度函数，疋为f 时刻当前帧对应像素点的灰度值，鸬，和一，分别为t 时刻对应像素点的第i 个高斯模型的期望和方差。 建立混合高斯模型，首先要解决一个问题就是，如何利用耕采样点估计出 w 小z , ，和吒等若干参数。参数一旦确定，对应的混合高斯模型也就建立起来了。 通常，可用e m ( e x p e c t a t i o n m a x i m i z a t i o n ，期望最大化) 算法来确定这些参数，实现 对聊高斯模型的初始化。 期望最大化是参数估计的一种很重要的方法，是一种当观测数据为不完全数 据时求解最大似然估计的迭代运算，大大降低了最大似然估计的复杂度，并且性 能与最大似然估计相近，具有很好的实用价值。 期望最大化算法的主要的思想是，首先找到一个初始模型( i n i t i a lm o d e l ) 的参 数，然后根据该初始模型。来估算新的模型参数o g ，使得p ( x 1 0 8 ) p ( x l ) 。 接着这个新的模型参数 s 变成下一步迭代运算的初始模型参数o ，并重复上一步 骤，反复地利用期望最大化算法估算模型的参数，直到收敛为止。迭代过程如式( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) 所示。 混合权重： 平均值： 方差矩阵：矿= 矿= 专姜础l x , , o g ) 薯p ( zh o 暑) 矿= 气一 p ( z x s ，0 2 ) j 暑1 n p ( ex , ， 8 ) ( 一矿) 2 ，= 1 ， d 事p ( ex , ，0 8 ) ( 2 3 ) ( 2 4 ) ( 2 5 ) 监视海盗入侵视频系统 其中，p ( e l o z ) ：盟 a p k ( x , iof)i- 七盅l ( 2 6 ) 经过迭代估计，得到k 个高斯模型，并不是全部都代表背景模型，通过设定 一个阈值丁来分离出背景模型。背景模型按优先级排完序后，若前b 个分布的权 重之和大于丁，则该b 个分布被认为是背景模型。若r 值选的较小，背景模型往 往是单峰的，近似于单高斯模型；若丁值选的较大，则背景模型往往为多峰分布， 适用于背景较复杂的情形。 若当前像素点的值不和已有的k 个高斯模型的任何一个相匹配，则该像素点 为前景点，优先级最低的高斯分布将被新添加的高斯模型所取代，新添加的模型 以当前帧对应像素点的值为均值，再赋以较大的方差和较小的权重。 匹配的高斯分布权重相应地增加，而不匹配的高斯分布的权重相应地降低。 高斯分布地权重按式( 2 7 ) 调整。 w k ，= ( 1 一口) k ，1 + 口( m ，) ( 2 7 ) 其中，口为学习率，为一常数；，为f 时刻当前像素的第k 个高斯分布的权 重；j - 。为t - i 时刻当前像素的第k 个高斯分布的权重；若当前像素的值和高斯分 布匹配，则m “为1 ，否则为0 。 匹配的高斯分布的参数需按照式( 2 8 ) ( 2 9 ) ( 2 1o ) 作相应地调整，未匹配的高斯 分布的参数则保持不变。 以= ( 1 一p ) 以一，+ p 置( 2 8 ) 矿= ( 1 - p ) c - 。+ p ( z - j u , ) 2 p = a n ( zi i t k ，o k ) ( 2 9 ) ( 2 1 0 ) 混合高斯模型可以给出相对稳定的背景图像，但是e m 算法需要开辟大量的 内存空间，是非常耗时的过程，并且其收敛性很大程度上取决于初始参数的设置。 往往在实际应用中，会做出适当的改进，以提高背景模型的训练效率，减少外界 环境的干扰。 第2 章基础理论 2 2 视觉均匀色彩空间 虽然r g b 色彩空间模型对色彩表示、硬件扩展和颜色处理都非常好用，但是 这些模型与人的视觉模型是绝对不相似的【2 6 j 。r g b 色彩空间的主要局限性之一是 r g b 是一个不均匀的空间分布。另一方面在不均匀的色彩空间当中，在一部分色 彩空间距离为d 的两种不同颜色表现的感知差异与其他的感知部分是不一样的，在 成像过程中，视觉均匀的色彩空间是很重要的环节。根据人类的视觉生理特点， 不均匀的r g b 空间需要映射为新的视觉均匀的空间。下面就介绍一下h s v 颜色空 间以及r g b 至 i h s v 色彩空间的转换f 2 刀。 h s v 或h s i 是由人类感知来描述颜色的一种色彩空间。h s i ( 或h s v ) 表示色调 ( h ) 、饱和度( s ) 、亮度( i 或值v ) 。色调是光的颜色属性。色调也可以被设想为光的 表面反射或传送属性。例如，一辆红色的小轿车反射红色的色调，而且这也是人 类感知的属性。 色调是我们感知中很重要的色彩分量，由此可以分为暗色调和亮色调。颜色 的彩色由饱和分量描述。例如，来自单一的单色光源( 它只产生唯一波长的颜色) 的颜色是高度饱和的。当颜色包括不同波长的色调时，色度和饱和度都是有一点 的降低。灰色没有任何色调，因此它们是零饱和或不饱和的情况。饱和是指颜色 知觉中彩色的或洁白的量度。亮度( 1 i g h m e s s ，l ) 或强度( i n t e n s i t y ，i ) 或值( v a l u e ，v ) 从 根本上提供了颜色的度量范围。度量的主要目标是对象反射了多少的光或者说从 这个区域范围辐射了多少光。它与对象的辐射的电磁能量成比例关系。量度有助 于人的眼睛去感知颜色。而且在黑暗中，颜色的对象根本不能表现出它的五颜六色。 既然我们已经了解了h s v 色彩空间的含义，接下来就要知道如何将r g b 的 色彩空间转换成h s v 的色彩空间。 将r g b 图像转化成h s v 图像，可以使用不同的变换方式去进行转换计算。 下面介绍一些变换： ( 1 ) 最简单的h s v 变换： 拈t a n l 揣- g ) bi 小1 型v 幽一= 型3 l ( 尺 + ( 尺一 ) i 1 0 监视海盗入侵视频系统 但是，当饱和度s = 0 时，色调( 变得无意义。 ( 2 ) 多数h s v 变换的普遍方法如下所示，这里的厂，g ，b 的值是标准化每个 像素得到的： r g b ，= 一92 2 9d = 一 只+ g + b 。 r + g + br + g + b 接下来，计算讯s 、y 的值： v = m a x ( r ，g ，b )( 2 11 ) f0如果f 7 = 0 s2 1 y 下m i n ( r , g b ) 如果 ， 。 2 j 2 0 一j 一塑墅竺 6 0 * ( g - b ) ! 如果y ：， s 幸f 7 咿 2 + 等 扣y 髻 q 3 6 旷 4 + 并 ；蜾弘6 h = h + 3 6 0如果h 0 ( 2 1 4 ) 使用上述的任何变换公式都能获得好的、准确的结果。 h s v 色彩空间感知表示是圆锥形状，如图2 1 所示。v 值随圆锥的垂直轴变化， 色调( 肋随圆锥形周边变化，并表示为垂直轴的旋转角，饱和度( 固沿辐射距离变化， 如图2 1 所示，我们在圆锥顶面的圆的周边表示了六角形，通过6 0 。的分离表示 了6 钟颜色。红色是在0 。( 另一方面在3 0 0 。) ，黄色在6 0 。，绿色是在1 2 0 。， 深蓝在18 0 。，蓝色在2 4 0 。，品红色在3 0 0 。补色以18 0 。分开。例如，蓝色 和黄色是互补的色。锥体的尖端( 净0 ) 代表黑色。另外，v - - 1 和s = o 代表白色。在 圆锥周围的颜色都有它们的最大亮度( 肛1 ) 。v - - i 和s = i 代表适用于任何颜色的纯色。 第2 章基础理论 红 图2 1h s v 色彩空间感知表不 f i g 2 1p e r c e p t i o nt h a tc o l o rs p a c eo fh s v 2 3 形态学的膨胀与腐蚀 在介绍形态学的膨胀与腐蚀之前，我们有必要先了解一下基础的图像集代数 的概念，这将有助于对膨胀与腐蚀的学习 2 8 】。并且形态学的其它算法也是在膨胀 和腐蚀的基础上定义的【2 9 】，所以这两个概念的掌握很重要。 这里常常会用到灰度图变到二值图( o 1 的图像) ，设有个二值图钰( ，句，坐标 ( ，d 点的像素当逻辑值为1 时表明是函数翱( ，动的点，其从属关系用符号表示。 如黝( ，助在集合中的每一逻辑点为l ，- f f q b ( ，动中该位置的逻辑值也为1 ，那么就 认为二值图像射( ，助包含二值图集b q , k ) ，其关系应表示为b u 幼么o ，动。集铜机动 的补集a ( j ，k ) 也是一个二值图像集，且其逻辑关系与集匍( ，助的正好相反的。图 2 2 表示了二值图像的逻辑关系运算【3 0 】。 逻辑运算和集合运算之间存在着一定的对应关系，例如逻辑或对应并运算， 逻辑与对应交运算，取反对应取补运算。两处都是一致的只有异或运算。 监视海盗入侵视频系统 ao r baa n dbax o rb 图2 2 二值图像的逻辑运算 f i g 2 2l o g i c a lo p e r a t i o no fb i n a r yi m a g e 有时候形态学运算中的两个操作对象不是对等的，这时就要诎为图像对象， b 为结构元素。结构元素本身就是一个图像的集合，而且其尺寸可大可小。对于每 个结构元素都要定义一个原点，用来作为参与形态学的参考点。因此，结构元素 的宽度和长度一般都选择奇数。结构元素中可以包含原点也可以不包含，定义的 不同往往运算的结构也不同。3 * 3 邻域中的十字形邻域和方形邻域，这是最常见用 的两种结构元素，如图2 3 ( a ) 、( b ) 所示【3 l 】。 接下来将对膨胀和腐蚀进行介绍，膨胀是指将一些图像( 或者是图像中的一部 分区域，假设为区域彳) 与核( 假设为区域b ) 进行卷积运算。核可以是任何的大小或 者是任何的形状，它拥有的参考点是单独定义的。大多数情况下，核一般是一个 较小的中间带有参考点的实心圆形或方形。核其实就是模板或者是掩码，而膨胀 是求局部最大值的操作。核b 与图像进行卷积，即计算核b 所覆盖的区域的像素 点的最大值，并把这个最大值赋给参考点指定的像素点。这样就会使得图像中的 高亮区域就会不断的增长。这就是所谓膨胀操作的初衷。而腐蚀操作是对于膨胀 操作的反作用。腐蚀操作是要计算出该核区域的最小像素值。腐蚀操作的过程就 是：核b 与图像彳进行卷积时，计算出被b 区域覆盖的最小像素值，并将这个值 第2 章基础理论 ( a ) ( d )( e ) 图2 3 结构元素实例 f i g 2 3e x a m p l e so fs l x u c t u r ee l e m e n t s 放到参考点上。其实膨胀和腐蚀操作就是将参考点上的值以核b 的范围铺开。下 面用公式表达一下膨胀和腐蚀的操作。则膨胀和腐蚀可分别表示为： 彳。占= x x = a + b对于某些a a 和b b )( 2 1 5 ) 彳鲫= x l ( x + 6 ) 彳对于每一个b b ( 2 1 6 ) 向量运算和位移运算密切相关，向量的和就是一个位移运算。设么用x = ( _ ，恐) 位移记作( 彳) ，定义如下： ( 彳) ，= y i y = a + x ，口a ( 2 1 7 ) 由此，可以得到膨胀与腐蚀的位移运算公式： 么o b = u ( 4 ) 。 ( 2 1 8 ) b a b 由上式看出，a o b 是将a 中的每个元素按照每一个b b 唯一的结果。也可 以表示为：用b 来膨胀彳是按照每一个b 来位移么并把结果或( o r ) 起来。 彳o b = n ( 彳) 一6 ( 2 1 9 ) b g b 由上式看出，a o b 的结果是a 以所有的b b 进行负位移后得到的交集。也可 以表示为：用召来腐蚀a 就是说让每一个b 来负位移么并且把结果( a n d ) 起来。 监视海盗入侵视频系统 对于膨胀和腐蚀这两种运算本身就是紧密相连的，一个运算对目标的运算就 相当于另一个运算对背景的操作。对于二维的卷积来说，可以将比较大的脉冲响 应化成一系列小的成形核( 如核b ) ，对于膨胀和腐蚀运算同样也有类似的算法。经 典的分解有下面几种，如图2 4 所示，5 * 5 的结构元素分成3 * 3 的结构元素。 g ( a ) 方形结构元素 而 0 ( b ) 圆形结构元素 ( c ) 菱形结构元素 图2 4 结构元素的分解 f i g 2 4r e s o l u t i o no fs t r u c t u r ee l e m e n t s 前后两种结构元素的腐蚀和膨胀操作，即等效于结构元素的分解。如图2 4 ( a ) 所示，一个5 * 5 的方阵结构元素通过腐蚀、膨胀的运算等效于用3 * 3 方阵结构元 素进行两次连续运算。反过来说，图2 4 ( a ) 得出，连续做2 次膨胀运算的3 * 3 方阵 可以变成方阵图。图2 4 ( c ) 贝1 j 是连续膨胀的3 * 3 的十字结构元素得到菱形图。由图 2 4 伯) 看出，用3 * 3 的方阵与十字阵进行膨胀就得到圆形图案。在半径为5 0 的圆形 通过5 * 5 的结构元素去进行连续的腐蚀就会得到一个3 4 半径大小的圆；再用半径 为5 0 的圆形通过5 * 5 的结构元素进行膨胀运算就会得到一个半径为6 6 的圆形， 其用来作为标准比较准确。从中可以看出，失真最小的结构元素是圆形的结构【3 2 】。 2 4 开运算和闭运算 前一节我们对腐蚀和膨胀有了定性的了解，大多数情况下，我们都是将二者 级联起来使用1 3 3 】。先对图像膨胀再对其进行腐蚀操作，这种运算称之为闭运算如 图2 5 所示，反过来，对图像进行腐蚀再膨胀的操作，这种运算称之为开运算如图 第2 章基础理论 图2 5 闭运算消除孤立点 f i g 2 5e l i m i n a t i n gi s o l a t e dp o i n t su s i n gc l o s i n go p e r a t i o n 2 6 所示。在实际运用当中开运算往往是用来计算二值图像中区域块的数目1 3 4 。如 在显微镜下观察一系列的细胞运动情况，通过开运算图像就可以将细胞与细胞之 间分离开来，并且统计其数目。在连通区域的分析中，会