智能监控中目标跟踪的研究及DSP实现.pdf

南京邮电大学硕士学位论文智能监控中目标跟踪的研究及林林申请学位级别：硕士专业：信号与信息处理指导教师：朱秀昌20090401南京邮电大学硕士研究生学位论文 摘要摘要视频监控技术的进步在过去的二十几年中经历了模拟时代、半数字时代以及全数字时代三个阶段后，现在正向智能化方向发展。智能视频监控作为视频监控中的一个核心功能模块，在新一代视频监控中起着关键的作用，有效的提高视频监控系统的效率，逐渐成为研究的热点和主流。论文以远程视频教学为应用背景，对智能视频监控系统中的目标跟踪算法进行了深入的研究，并在高速文的主要工作如下：首先，在研究和分析了智能视频监控中运动目标检测和跟踪等核心技术的基础上，采用三帧帧差法来检测运动目标。检测过程中，对差值图像进行数学形态学处理，避免外界干扰运动区域的判断；为了正确跟踪到感兴趣的目标，引入卡尔曼滤波器来预测目标的运动状态：当出现多个运动物体交叠的情况时，论文又利用了目标的颜色直方图进行匹配，以保持对目标的正确跟踪。然后，在对上述目标检测和跟踪等关键算法研究的基础上，论文设计了一个基于客户端朋艮务器模式的远程视频教学实验系统。接着，重点介绍和分析了系统中视频的采集、串口通信、视频送显和摄像机的云台控制机制，以及数字视频的网络传输等部分模块的实现方法。最终，在试和运行，形成了一个完整的嵌入式实验系统。实验结果表明，本文搭建的智能视频分析实验系统能够快速检测并定位目标物体，摄像机能对智能算法分析得出的结果做出应有的反应，且性能稳定，可以有效跟踪到目标，并能自动调焦，实验系统可基本满足远程视频教学中的目标自动跟踪的要求。论文最后对所做工作进行了总结，并指出了需要进一步解决和完善的问题。关键词：运动检测；目标跟踪；摄像机控制；网络传输；智能视频监控系统：0 s of an in it a in as in on SP he as t of is on to to n to is to in is on we an on in t is DI to a in a an of at be or 明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：墅乒些国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布(包括刊登)论文的全部或部分内容。论文的公布(包括刊登)授权南京邮电大学研究生部办理。研究生签名： 同期：船懈南京邮电大学硕士研究生学位论文 第一章绪论11智能视频监控系统第一章绪论智能视频监控技术是计算机视觉领域近年来新兴的个研究方向，其主要研究目标是利用计算机视觉技术、图像视频处理技术和人工智能技术对监控视频的内容进行描述、理解和分析，并能根据分析的结果对视频监控系统进行控制，从而使得视频监控系统具有较高层次的智能化水平。它的关键技术包括了运动目标的检测和分类、目标跟踪、目标匹配、目标识别以及视频内容的理解等。智能视频监控技术可以被用于公共安全监控、国防建设、医疗看护、交通管理等众多的领域，具有深刻的理论价值和广泛的应用前景。111视频监控的过去视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系统。视频监控以其直观、简单方便、数据量大、信息内容丰富而广泛应用于许多场合，它在过去几十年中的发展大致经历了以下三个阶段【1(1)第一代：模拟时代在20世纪90年代初及之前，主要是以模拟设备为主的闭路系统，称为第一代视频监控系统，即模拟视频监控系统。系统主要由模拟摄像机、专用电缆、视频切换矩阵、模拟监视器、模拟录像设备和盒式录像带等构成。优点： 音视频信号的采集、传输、存储均为模拟形式，质量最高；经过几十年的发展，技术成熟。缺点： 只适用于较小的地理范围，无法进行远程访问：与信息系统无法交换数据；监控仅限于监控中心，灵活性较差，不易扩展。(2)第二代：半数字时代20世纪90年代中期，随着计算机处理能力的提高和视频技术的发展，人们开始利用计算机的高速数据处理能力进行视频的采集和处理。这种基于多媒体计算机的视频监控系统称为第二代视频监控系统，即模拟输入与数字压缩、显示和控制系统。优点： 音视频信号的采集、存储主要为数字形式，质量较高：系统功能较为强大、完善；与信息系统可以交换数据；应用的灵活性较好。缺点： 系统建设成本高，不易维护、缺少信息交流功能。(3)第三代：全数字时代一章绪论20世纪90年代末至今，随着网络带宽、计算机处理能力和存储容量的迅速提高，以及各种使用视频信息处理技术的出现，视频监控进入了全数字化的网络时代，称为第三代视频监控系统，即全数字视频监控系统或网络数字视频监控系统。第三代视频监控系统以网络为依托，以数字视频的压缩、传输、存数和播放为核心，以智能实用的图像分析为特点，引发了视频监控行业的技术革命。优点： 数字化视频可以在计算机网络上传输图像数据，基本不受距离的限制，信号不易受干扰，大幅度提高了图像品质和稳定性；利用现有的网络资源，不需要为新建监控系统铺设光缆、增加设备，轻而易举地实现了远程视频监控；系统的扩展能力强，维护费用低；系统功能强大，网络中的每一台计算机，只要安装了客户端的软件，给予相应的权限就可以成为监控工作站；它采用嵌入式技术，性能稳定，无需专人管理；灵活性大大提高，监控场景可以实现任意组合，任意调用；数字化存储成为可能，经过压缩的视频数据可以存储在磁盘阵列中或保存在光盘中，查询简便快捷。目前国内视频监控系统的发展情况是：模拟视频监控的比例急速降低，数字视频监控系统占据着主导地位。就技术角度而言，第三代视频监控系统具有很高的先进性和可扩展性，因而具有广泛的应用前景和研究价值。112走向智能化的监控系统视频监控技术通过分散设置的摄像机记录监控场景并集中显示，使得监控人员可以实时了解发生的事件，以便及时做出反应。但是仅依靠监控人员对大量集中的视频进行分析，即使是专业的操作人员，也难以构成真正有效的监控系统，具体的制约因素有：人类自身生理上的弱点【31、监控时间、误报漏报、数据分析困难、响应时间长等。为了解决这些导致视频监控效率低下的问题，人们尝试将计算机视觉中的相关技术引入到视频监控中，从而发展起来的智能视频监控越来越成为研究热点。智能视频监控是利用计算机视觉技术自动的分析和抽取视频源中的关键信息。它能够识别不同的物体，发现监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够更加有效的协助安全人员处理危机，并最大限度的降低误报和漏报现象。智能视频监控以数字化、网络化视频监控为基础，但是又有别于一般的网络视频监控系统，它是一种更加高端的视频监控应用。处理具备网络视频监控的优势外，智能视频监控系统还有如下优点：2雨京邮电大学硕士研究生学位论文 第一章绪论(1)全天候可靠的监控。智能视频监控彻底改变了以往完全由安全工作人员对监控画面进行监视和分析的模式，它通过对监控画面不间断的分析，并将分析的结果与用户定义的安全模型进行对比，一旦发现安全威胁立刻向监控中心报警。(2)提高报警精确度和速度。智能视频监控系统的前端设备(网络摄像机和视频服务器)集成了强大的图像处理能力，并运行着高级智能算法，使得用户可以更加精确的定义安全威胁的特征，有效降低误报和漏报的现象，减少无用数据量；另外，智能视频监控还可以识别可疑活动(如有人在公共场所遗留了可疑物体或者有人在敏感区域停留的时间过长)，在安全威胁发生之前就能够提示用户，还可以使用户更加确切的定义在特定的安全威胁出现的时候应当采取的措施，并由监控系统本身来确保危机处理步骤能够按照预定的计划精确执行，有效防止在混乱中由于人为因素而造成的响应时间延误。(3)扩展视频资源的用途。智能视频监控可以将视频资源应用到非安全领域，如智能家居中对人体跌倒的检测。此外，智能视频监控系统还可以帮助用户进行数据挖掘，如统计某商场一段时间区间内的客户数量，以便于分析销售的情况。113国内外研究现状智能视频监控具有广泛的应用前景和潜在的经济价值，引起了国际上许多国家的高度重视，并投入了大量资金和科技人员进行广泛研究。就目前而言，国际上对智能视频监控的研究已经达到了一定的水平，智能视频也受到越来越多的重视。在1996年至1999年间，美国国防高级研究项目署(S立了以卡内基梅隆大学为首联合美国十几所高等院校和研究机构参加的视频监控重大项目(J。该项目主要目标是利用视频理解、网络通信、多种传感器融合等技术实现对未来城市、战场等的自动监控。at 研究开发多模式的监控技术以实现远距离情况下人的检测、分类和识别，以增强国防、民用等场合免受恐怖袭击的保护能力。在欧洲，欧盟长期研究项目(助比利时国国家计算机科学和控制研究院(1欧洲著名的大学和研究机构联合研究为警察、法庭等司法机关提供基于图像处理的视频监控系统。目标是提供图像视频处理、理解技术，让司法机关能从现有的监控系统的录像资料中南京邮电大学硕士研究生学位论文 第一章绪论获得更多有用的犯罪证据。另外，欧盟信息社会技术(程序委员会也在1999年设立了视频监控和检索重大项目(旨在开发一个系统来有效地管理公共交通系统(如地铁)，从而缓解城市交通压力，它覆盖了人群和个人的行为模式分人机交互等方面的研究。当前，国际上的许多信息处理类权威杂志如：模式分析和机器智能(图像和视觉算(重要年度学术会议：计算机视觉和模识别会议(国际计算机视觉会议(欧洲计算机视觉会议(视觉监控会议(都将智能视频监控作为主题内容之一，为该领域研究人员提供广泛的交流机会。在国内，己有许多高等院校和研究机构在智能视频监控领域投入了相当程度研究精力，例如：上海交通大学、清华大学、华中科技大学和中国科学院自动化究所等。为了促进国内智能视频监控的发展，中国科学院白化研究所在2002年和2003年分别举办了第一届和第二届全国智能视觉监控会自动化学报在2003年5月出版了一期视觉监控专刊。计算机学报、软件报和控制与决策等一些杂志也对智能监控系统中一些关键技术进行刊载。2008年，我国研制成功智能视频监控系统15J，由中科院自动化所承担的国际科技合作重点项目“人的运动与行为视频分析顺利通过验收，该项科技成果已经成功运用于北京地铁13号线。12论文背景本论文的相关研究内容来源于江苏省软件和集成电路业专项经费项目“智能视频采集分析系统。该项目主要是针对监控场景内的特定对象进行分析处理，在识别出其特定行为的基础上，以此为依据，控制监控摄像机的运转，使得摄像机能够自动对准、聚焦于该对象，进而达到自适应跟踪的目的。众所周知，传统的远程视频教学都是采用人工现场录像，后期制作播放的方式进行的。此方法简单易行，能够很好的捕捉到授课的重点信息，完整的重现课堂内容，视频流畅清晰。但是这种方法的缺点在于：第一，由于要请专人负责摄像，成本较高：第二，容易引4南京邮电大学硕士研究生学位论文 第一章绪论起授课者心里紧张，甚至会进一步影响到他的教学水平；第三，妨碍了现场正常听课的学生；第四，不能做到远程同步教学。针对传统远程视频教学的种种缺陷，人们不断尝试着改进，后期出现了去除成本高的现场摄像环节，取而代替的是在教室的各个方位安装不同的摄像头的方法。这种方法通过固定不动的摄像头分别捕捉不同视角的视频信息，再将存储下来的视频序列进行拼接修正。虽然，一定程度上缓解了授课者心里的压力，教学质量得到保障，但是这样也增加了不必要的后期编辑制作的工作，而且与传统的系统相同，这种方法也同样不能够做到远程同步教学。随着智能视频监控技术的不断成熟，远程视频教学也开始逐渐往智能化方向发展，在系统中引入智能分析算法。目前，主要的几种做法有：只安装一个摄像机，同时在老师身上做特殊标识，以便智能跟踪；引入红外遥感、多个摄像机，老师进入不同的区域后，可遥感相应的摄像机进行拍摄等。这些方法的共同点是不需要人工参与，由智能算法控制监控系统工作，但它们都或多或少需要外部辅助设施的参与才能完成拍摄。为了从根本上解决远程视频教学所遇到的上述问题，论文从运动物体的检测、跟踪技术入手，研究了在没有任何辅助手段的条件下，如何通过智能算法，全程控制摄像机的运转来完成教学所需的拍摄工作。另外，论文自行搭建系统平台，进行实验论证，并在实验系统中添加网络通信模块，以解决远程同步教学的问题。13论文主要工作和章节安排本文主要就智能视频监控系统实现的关键技术：目标检测定位、目标跟踪等进行研究和分析，并在此基础上搭建系统实验平台，通过实验不断调整系统参数，协调算法分析与摄像机实时控制、视频数据的发送与接收之间的关系，确保系统运转成功。论文共分为六章，每个章节的主要内容如下：第一章：绪论。主要内容包括智能视频监控系统的发展、研究背景及意义、国内外研究现状、本文背景以及主要工作和结构安排。第二章：运动物体的检测和定位。首先介绍了运动目标检测中几种常见的方法：背景差除法、帧间差分法以及光流法。结合实际应用，分析对比各自优缺点后，选用三帧帧差法。为了更好的定位运动物体，利用数学形态学处理以及双轴投影法，精确给出运动物体在监控场景中的位置信息。第三章：运动目标的自动跟踪。介绍了几种目标跟踪的方法：卡尔曼滤波、扩展卡尔曼滤波、粒子滤波以及颜色直方图匹配，在综合考虑系统实时性、稳定性、正确性等要求南京邮电大学硕士研究生学位论文 第一章绪论的基础上，分别对监控场景内出现单目标、多目标两种情况分析研究，提出了简单适合的目标跟踪法即卡尔曼滤波加进颜色直方图的匹配。第四章：系统的搭建和摄像机的控制。分析了远程视频教学系统的功能需求，搭建实验系统。对该系统中视频的采集、网络通信、数字视频编解码、串口通信，摄像机控制等模块进行详细的分析。通过多次实验，不断调整系统参数，最终实现个基于客户端服务器模式、性能稳定的监控系统。第五章：系统的建成了智能算法的悉实验平台上添加摄像机云台控制模块，并对摄像机的控制机制提出改进。第六章：总结和展望。对论文内容进行总结，并对今后的工作做出展望。6南京邮电大学硕士研究生学位论文 第二章运动目标的检测与提取第二章运动目标的检测与提取21检测常用方法运动目标检测是智能视频监控系统中非常关键的技术，它的目的在于提取监控场景中的运动目标，为运动物体的识别跟踪提供必备的条件。智能视频监控系统中的运动检测有两种不同的实现途径，一种是直接利用视频压缩算法的中间结果，比如和H264编码过程中的运动向量，在外一种则是独立于视频编码的方法。常用的独立于视频编码方法的运动检测算法，按照不同分类标准又可以分为多种。中科院自动化所将它们简单的归纳为三种：背景消除法，时间差分法，光流法。211 背景消除法背景消除法【67】是目前运动物体分割中最常用的一种方法，它是利用当前图像与背景图像的差分，设立相应的阈值，就此检测出运动区域的一种技术。背景消除法的基本思想是：首先，用事先存储或者实时获取的背景图像序列为每个像素统计建模，得到背景模型厶(x，Y)；其次，将当前时段视频中的每一帧图像(x，Y)和背景厶(x，y)相减，得到图像中偏离背景图像较大的像素点。进一步设置阂值，提取出运动物体。背景消除法的流程图如图21所示。视图21背景消除法流程图公式可简单表示为式21：坼川=器隐L(x,圳x,y)l； (2中丁为阈值。若场景中存在运动目标，则从差分图像口(x，y)中就可以分离出目标，进行运动检测报警。对于检测图像区域A，运动报警的判定条件为：口(x，少)中的大小决定了运动报警检测的灵敏程度。这种判定条件方法简单，速度最快，也最容易实现。两帧帧差法的算法简单，易于实现，检测速度快，对于动态环境具有较好的自适应性，鲁棒性较好，能够适应各种动态环境，但是由于该方法中检测运动目标是根据运动变化区8堕室塑皇奎堂婴主堡壅竺堂垡堡苎 堑三兰望垫旦堡塑笙型皇丝墼域的灰度信息，而运动变化区域包括真正的运动目标和由于目标的运动而引起变化的背景，所以运动目标检测时候的灰度信息并不是完全基于真正的运动物体本身，因此检测出的目标并不精确，且当运动目标在成像平面有重叠的时候，两帧帧差法一般不能完全提取出所有相关的特征像素点，这样使得运动实体内部容易产生空洞的现象【101。(2)三帧帧差法由于两帧帧差法存在检测运动物体不精确的缺点，为了改进连续图像的帧间差分效果，人们又在其基础上提出了一种基于相邻的三帧帧差法【111。这种方法需要提取连续的三帧图像来计算两个差分图像，再令这两个差分图像中对应的像素相乘，设置阈值，从而有效提取出运动物体。设连续的三帧图像在O，J，)像素点处的灰度值分别为：I(x，Y，I(x，Y，f)、I(x，Y，t+1)，则三帧帧差法检测和分割运动物体的流程图如图22所示。图22三帧帧差法检测运动目标沉程计算差分图像D(x，J，)的公式为：D(x，Y，f)=，(x，y，t)-I(x，Y，I(x，Y，f+1)一，(x，少，f)I (25)理论上，在差分图像D(x，Y，t)中，只有运动物体对应的像素点位置为非零。实际上由于受到光照变化以及噪声等的影响，使得差分图像中在运动物体所在区域以外存在许多像素点位置上的值不为零。这样就必须引入阈值分割的办法，人为剔除一些干扰。即：y，=三三三：；：；三； 中M(x，y)为阈值分割后提取出的运动物体的二值图像，帧帧差算法能够获得运动物体的精确位置，且算法简单，运算量比较小，易于实时监控。但是检测出的运动物体轮廓容易受到物体运动速度的影响，并且有帧时间的滞后性。与两帧帧差法相比，三帧帧差法克服了传统两帧帧差法对运动物体界定过大易模糊的缺陷，避免了为了恢复相对准确的运动物体而进行的视频后处理。由于三帧帧差法也是基于帧差的检测法，所以在帧间隔较小或者运动物体速度较慢的时候，帧间物体的重叠部分南京邮电大学硕士研究生学位论文 第二章运动目标的检测与提取也无法准确检测出来，即只能检测出物体的一部分，必须采用一定的方法来恢复重叠区域。213 光流法光流法【1214】与运动检测以及运动估计紧密关联。在空间中，运动可以用运动场描述。而在一个图像平面上，物体的运动往往是通过图像序列中不同点得图像灰度分布的不同体现的。从而，空间中的运动场转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势。光流法检测物体的流程图如图23所示。图23光流法流程图光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。光流方程可以推倒如下：假设E(x，Y)为点(z，y)在时刻度)，设r+疵时刻该点运动到(X+出，y+咖)点，它的灰度变换为E+衍)。我们认为，由于对应于同一个点，所以E(x，Y，t)=E0+dx，y+砂，+刃)光流约束方程将上式右边做泰勒展开，并令出一0，则得到：t=0 (2中：Ex=dEEy=dEEt=dE甜=dx ，=dy，厨的计算都很简单，用离散的差分代替导数就可以了。光流约束方程对每一个像素点来说都是一个含有两个未知数的标量方程，因此只用一个点上的信息不能确定光流，理论上分析仅能沿着梯度方向确定图像点的运动即法向流(这种不确定的问题成为孔径问题(由于有孔径问题的存在，仅通过光流约束方程而不是用其它信息是无法计算图像平面中某一点的图像速度流，为此在基本光流场方程基础上提出了许多约束条件和计算方法，如微分法、匹配法、频域法和马尔可夫随机场方法等。光流法容易受到环境的影响，其缺点主要表现在以下几个方面。首先，光流方程是建立在强度保持不变的基础上，但是对于大多数场景视频图像，这个条件不成立。一个方面是运动物体的灰度会随着位置的变化而改变，比如物体从阳光下进入阴影区域，由于物体究生学位论文 第=章运动目标的检测与提取表面对光线的反射的变化导致图像强度发生变化。另外一个方面是，户外视频图像容易受到天气变化的影响，尤其是在阴雨天气，光照不稳定，运动物体光线强度变化较大，影响运动估计的准确性。其次，运动估计必须利用图像序列的相邻两帧来实现，如果当某些目标暂时停止时，由于在相邻两帧的图像中检测不到运动信息，难以把目标从背景图像中分离出来，必须采用其它的方法。最后，光流场的计算量比较大，如果没有相应的硬件支撑，很难满足监控系统所需的实时性要求。22三帧帧差法由于论文旨在搭建一个只有一台摄像机的视频监控系统，摄像机在实际的应用过程中，将不会一直保持静止不动，而是要实时的跟踪运动状态不确定的教师，相应的做上、下、左、右、以及镜头拉伸等动作。根据前文对运动物体检测常用方法研究分析的结果拄现，背景消除法不适合本系统，因为它对场景内的动态变化相当敏感，比较适合摄像机静止的场景。此外，为了实现对运动目标的实时监控应尽量避免由于算法运算量过大而导致的控制指令的滞后输出，影响摄像机协调运转所以计算量较大的光流场法也将不予考虑。时间差分法具有能够获得运动物体的精确位置，且算法简单，运算量比较小，易于实时监控等优点。但上文也同时提到，时间差分法中鲁棒性较好的三帧帧差法也存在着不可忽视的缺点，即在帧间隔较小或者运动物体速度较慢的时候，帧问物体的重叠部分也无法准确检测出来，即只能检测出物体的一部分，并且有一帧时间的延迟。由于普通摄像机的采集速率为每秒35帧左右，运动物体在一帧内的移动距离非常小，所以三帧帧差算法的一帧延迟将不予考虑。在分析对比了各种常用检测方法优缺点的基础上，本文就此采用了三帧帧差法来实现运动物体的检测。图2 4显示的是实验中随意拍摄的一组视频序列中的三帧连续的图像。圈2 5显示的是运用2 5式对连续视频帧进行三帧帧差法处理过程中选取的闺值T(式2 6)不同时，所得到的不同的差值图像。(曲第38帧 (b)第39帧 (c)第40帧图2=章运动目标的检测与提取(a)阈值为10 b)闺值为20 (c)阕值为30 (d)阈值为50图2帧帧差法在应用的过程中，目标检测时仍存在以下几个问题：(1)闽值设置。由图25可见，帧差算法中选取的闽值不同对得到的结果影响很大。当闽值设置较小时，噪声、光照等对运动物体的检测干扰严重；而当阈值设置过大时，又会致使运动像素检测过少，进而可能造成漏检。(2)运动物体局部空洞。国2于运动不明显，帧间物体的重叠部分无法准确检测出来，通过设置不同的闽值实验发现，不管怎样选取多大的阈值，都无法完整的检测出运动物体，而只能检测出它的一部分，造成运动物体局部空洞的现象。(3)运动量的太小。图2及当闽值设置为30时帧差法得到的差值图像。对比图2以发现当物体运动明显时，三帧帧差法检测的效果会更好一点。旧警备连鎏：(8)第728帧 (b)第729帧 (c)第730帧 (c)差值图像(2 6三帻帧差法实验结果图为了排除干扰将了要依据场景的不同选取合适的阈值外，还需要对差值图像做更进一步的处理。23运动物体的精确定位三帧帧差法检测运动物体的实验结果表明，在遭遇到噪声干扰或者光照等条件的影响下，我们经常无法直接从背景中精确的分离出运动物体本身。为了将视频图像中那些不必要的信息去除，而将所需要的部分提取出来，我们就要用到图像分割技术。南京邮电大学硕士研究生学位论文 第二章运动目标的检测与提取231 图像分割技术图像分割【151就是将图像中有意义的特征区域或者需要应用的特征区域提取出来，常见的分割法有：区域生长法，边缘检测，边界检测，数学形态学等。这里仅介绍和本文有关的两种能对差值图像直接进行处理的图像分割法。1区域生长法区域生长法的基本思想是：将具有相似性质的像素集合起来构成区域，即先对每个需要分割的区域，找到一个种子像素作为生长的起点，然后将种子像素周围领域中与种子像素有相同或者相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中，将这些新的像素当作新的种子像素点继续进行上面的过程，直到没有满足条件的像素可被包括进来，这样一个区域就长成了。2数学形态学数学形态学是着重研究图像的几何结构。研究图像几何机构的基本思想是利用一个结构元素去探测一个图像，观察者不断移动结构元素，看是否能够将这个结构元素很好的填放在图像的内部，同时验证填放结构元素的方法是否有效，从而提取有用的信息做结构分析和描述。数学形态学的基本运算有四个：腐蚀、膨胀、开启和闭合。腐蚀的作用是消除物体边界点，它可以将小于结构元素的物体去除。如果两个物体之间有细小的连通，那么当结构元素足够大的时候，通过腐蚀运算就可以将两者分开。一般腐蚀定义为：E=BS=石，Y IB) (28)也就是说，由x，Y)的集合：如果z，Y)，那么胀的作用是把图像周围的背景点合并到物体中。如果两个物体之间距离比较近，那么膨胀可能会使得这两个物体连通在一起。膨胀运算对填补图像分割后的空洞比较有效。一般膨胀定义为：D=B o S=(x，Y 矽) (2就是说，x，Y)组成的集合，如果z，Y)，那么它与启是先腐蚀后膨胀的过程。它具有消除细小物体、在纤细处分离物体、和平滑较大物体的边界时不明显改变其面积的作用。它定义为：13南京邮电大学硕士研究生学位论文 第二章运动目标的检测与提取召。S=o S)0 具有填充物体内细小空洞、改变物体面积的情况下平滑其边界的作用。它定义为：曰S=(曰oS)2运动物体的定位(210)连接临近物体、在不明先(211)由于帧差法避免不了外界对运动物体检测的干扰，以及物体本身由于运动剧烈与否而会引起局部空洞等问题，利用区域增长法后处理的效果远不如利用数学形态学处理方法来的好，且数学形态学处理法简单易行，所以本文选用它来分割运动物体与噪声等。实验中，首先采用3差值图像做中值滤波，去除画面中一些细小的椒盐噪声。然后对差值图像进行多次开启运算，进一步去除图像里面的孤立噪声点。为了能够精确定位出运动物体在监控场景中的位置，本文对经过数学形态学处理过的差值图像，继续进行双轴投影处理(如图2以期获得该物体的宽高、在监控场景中的起始点、终止点等信息。函27双轴投影示意图双轴投影法的具体做法为：对二值图像进行逐列纵向投影，将得到的运动像素统计值与预设阈值进行大小比较，判定图像中是否存在变化区域。如果没有，则标识没有运动物体进入；如果有，则进一步对变化区域进行横向投影，以确定变化目标的具体位置。这种方法不仅可以正确判断监控场景中是否存在运动物体，还能同时准确标识出运动目标的高宽等信息。当物体运动速度缓慢时，帧差法势必造成检测出的运动物体局部出现空洞的现象，膨胀运算虽然一定程度上较小了空洞程度，但却不能完全填补空洞。为了避免由于列方向上统计出的有效运动像素太少，而将同一运动物体误判成两个运动物体，在做投影统计的时候，最好引入间隔点数作为运动区域划分的判断阈值之一。即：如果像素总数满足有效运动像素数的连续几列之间的间隔点数大于所设间隔点阈值，则将空洞区域视为区域间断，将空洞两边的区域划分为两个不同的物体；而如果小于间隔点阈值，则将空洞视为同物14南京邮电大学硕士研究生学位论文 第二章运动目标的检测与提取体的局部区域，将空洞两边区域划归同一物体。另外，行方向上确定物体高度信息的投影统计方法同上，也引入合适的间隔点阈值。我们设定待处理的差分图像52288)大小，由于远程视频教学系统中需要关注的运动物体仅为教师或者学生，根据人体瘦且高的形体特性，我们将有效列数阈值设置为35，有效行的阈值设置为50。另外，同一列在一行在隔点数阈值设置为15，即连续的有效列数区域内不能少于一半的列投影有效像素数达到阈值，如果划分进去的空洞数过多，使得算法分析得到的运动区域偏离真正的运动目标所在点，这样不利于系统做出正确的判断，进而影响摄像机不能协调运转，而且判断过程中宁可出现漏判也应尽量避免误判，因为漏判只会使得摄像机的反应滞后一到两帧，而误判会使得摄像机得到错误的指令，背离拍摄意旨。则列扫描投影具体步骤如下：(1)初始化。设当前列号为i，有效列隔点数动变化区域起始点2)判断果是，则退出，如果否则继续下面的步骤。(3)统计断总数是否大于阈值30。1)如果小于，i=i+l，判1，转(2)。 1，m卅，判果它小于15，转2。如果大于，当录当前当不记录，不管哪种情况都重新初始化(2)；2)如果大于，判断 若是，i，i+，；若否，i+，判果达到，则表示有运动目标出现，记录当前的值，重新初始化(2)。行投影的步骤同上，只是阂值设置稍有差别。根据双轴投影运算得出的运动目标在监控场景内起始点以及宽高等位置信息，我们可以利用外接矩形在监控视频图像中正确框出目标物体，其中矩形的左边框即为列投影得到的矩形的右边框即为形的上下边框l ：空墨塑!塑竺壁型要量壁同理可利用行投影信息获得。图2的视频图像经过三帧帧差法处理得到差值图像后，利用中值滤波去除小颗粒的噪声，再通过数学形态学运算处理，最后采用双轴投影法，利用外接矩形标识出运动目标的效果图。通过计算外接矩形的质心位置，可以准确定位出目标在监控场景中的区域位置，结合矩形框的面积，即目标在监控场景中所占比例，为后面的摄像头的自动控制提供了必要的控制信息。(曲差值图像 (b)经开启运算后的差值图像 (c)对应视频帧中的物体框识图2 8运动物体提取效果图图2 9是监控场景内有多运动目标的情况下，物体的提取实验结果图。其中(a)，(b)为运动目标在场景中所占面积较大的情况下，按照前面相同的实验步骤所得到的效果图。由图可见，当运动物体之间不相互交叠的时候，检测算法完全可以做到对它们的分别框识法将视他们为一个统一体，进行整体框住。另外(c)为运动目标在场景中所占面积较小的情况下，检测得到的结果。(曲物体面积较大相互不交叠时的检测 (b)物体面积较大相互交叠时的检测南京邮电大学硕研究生学位论文 第二章运动日标的检测与提取(c)物体较小时的检测图2管场景内有几个运动物体，外界干扰如何，以及目标在监控场景内所占面积比例的大或小，在三帧帧差法的基础上，经过数学形态学处理，并辅以双轴投影法，最终都可以利用外接矩形正确的在视频图像中，分别框识出物体(除了物体之间发生交叠，被视为整体外)。根据这些框图信息，可进一步获知其在监控场景中所处的方位，为摄像头的能动运转获得可靠的信息。24本章小结在这一章中，论文首先介绍了几种常见的运动目标检测的方法：背景消除法、时问差分法以及光流法。在分析比较了这些方法的基础上结合系统要求摄像机镜头转动的要求。论文就此选定三帧帧差法为实验算法。三帧帧差法算法简单，运算量比较小，易于实时监控，但它也存在着不可忽视的缺点，检测出的运动物体轮廓容易受到物体运动速度的影响，并且受噪声和光照干扰严重。为了能够剔除不需要的信息，更为精确的从场景中提取出运动物体，并得到它的具体位置信息，论文接着对三帧帧差法运算后得到的差值图像进行了图像分割。图像分割的方法比较多为了简化步骤这里采用了数学形态学的方法来处理，通过腐蚀膨胀，利用双轴投影的方法，在场景中用外接矩形标识出运动目标。实验表明，不管是单目标还是多目标，即使环境恶劣，也可以正确框出目标，从而能够精确得到目标在场景中所处的方位。南京邮电大学硕士研究生学位论文 第三章目标跟踪第三章 目标跟踪远程视频教学系统所要求的目标跟踪的核心技术在于对目标的正确标识，即不管摄像头转动与否、场景内检测出来的运动物体个数的多少、目标运动与否及速度的快慢等，都能及时对视频图像加以区分、判断，从背景中锁定我们感兴趣的目标物体。目前常用的目标跟踪方法有：卡尔曼滤波器、扩展卡尔曼滤波器、粒子滤波器以及颜色直方图的匹配等。31目标跟踪的常用方法311 卡尔曼滤波器卡尔曼(波器【171是一种在时域内采用递归滤波的方法对系统状态进行最小均值误差估计的方法，具有计算量小、实时性强的特点，利用卡尔曼滤波器实现对目标轨迹的估计和预测是目标跟踪过程中常用的方法【18】。其基本实现过程是【19】：将目标在每一帧中出现的位置作为卡尔曼滤波器的输入，把目标状态方程作为卡尔曼滤波器的状态函数，将搜索定位后的目标位置作为测量方程，通过迭代来预测目标在下一时刻的位置。系统的状态方程为：X(尼)=日“(尼)+w(后)(3统的观测方程为：Z(尼)=k)+v(k)(3中，x(k)为七时刻的系统状态，包含目标运动位置的u(k)为和于多模型系统，它们为矩阵形式；z(k)是七时刻的系统观测值；于多测量系统，w(k)和v(k)分别表示独立不相关的状态过程和观测的噪声，它们被假设为高斯白噪声，方差分别为Q，R。状态的预测方程(先验估计)：X(k k)(3过观测值修正后的后验估计为：x(k X(k K(尼)(Z(尼)一日x X(k七一1) (34)三章目标跟踪K(后)=P(k 7(np(k 7+R)(3中X(k I|j一1)是利用七一x(七一1)是上一状态的最优结果；u(k)为现在的状态控制量，如果没有状态控制量，它的值可以为0；x(k k)是得到k)后，经过观测值修正后的状态向量；K(尼)为卡尔曼增益，用来最小化七时刻的后验估计误差协方差；Z(尼)一日x(k I k1)为差值，是观测估计和实际观测之间的误差；日7为日的转置矩阵。为了要使得卡尔曼滤波器不断的运行下去直到系统过程结束，还要不断更新方差：P(k (，一K(后)日)尸(后3中，为1的矩阵，对于单模型单测量，=1。常规的卡尔曼滤波算法要求系统是线性高斯型的，然而实际上大多数的应用中，总会遇到后验概率密度为非高斯的、状态空间模型为非线性的情况，这个时候常规的卡尔曼滤波器无法得到最优解，于是随之出现了扩展卡尔曼滤波器(20。22】。 ，即系统状态方程：x(后)=f(X