（计算机系统结构专业论文）监控视频中的运动目标分类算法研究.pdf

摘要 监控视频中的运动目标分类算法研究 计算机系统结构专业硕士研究生李占闯 指导教师肖国强教授 摘要 随着经济的发展，人类的活动范围越来越大，。面临的突发事件和异常事件越来越复杂，监控 的难度和重要性也越来越突出，传统的靠人工来处理海量监控视频数据的方式已经无法满足安全 需要，智能视频监控系统应运而生。智能视频监控的主要任务是对监控视频中的运动目标行为进 行分析，减少监控视频中对人无用的冗余信息，只为监控管理人员提供关键监控信息。运动目标 分类是智能视频监控系统中运动分析研究的一个重要方面，其主要研究内容是对视频中的运动目 标进行自动分类，运动目标分类是智能监控中目标行为理解的基础。 本文针对静止背景的监控视频展开研究，在对当前运动目标检测和分类技术的研究基础上， 提出了一种适用于各种不同监控场景的运动目标分类算法。该算法提取运动目标的静态特征和时 间上下文信息，利用改进的s 、q 讧分类方法，能够有效地将监控视频中的运动目标自动划分为预 先定义好的类别，包括行人、自行车、汽车等。 与传统的基于s 的目标分类算法不同的是，本文利用改进后的s v m 分类器不仅能输出目 标的分类类别，还能输出目标类别的后验概率，因此改进后的分类算法更有利于结果的后续处理。 另外，本文在目标分类结果的后处理阶段引入了数字信号处理方法，将s 、聊输出的后验概率值 作为数字信号，在对该信号进行频谱分析的基础上，利用f 瓜低通滤波器对原始的概率值序列进 行数字滤波去噪，使得概率值序列更为平滑，有效地避免了由于偶然因素导致的分类错误，提高 了系统的分类性能。最后通过实验证明本文提出的目标分类方法在不同场景下的监控视频中能有 效区分人、人群、自行车等六类运动目标，与传统的基于s 江的目标分类算法相比，本文算法 在查全率和查准率方面都获得了满意的性能，并且本文提出的算法框架在其他类似的运动分析研 究领域也有一定的借鉴价值。 关键字：智能监控、支持向量机、运动目标分类、运动目标检测、f l r 滤波器 a b s t r a c t r e s e a r c ho nm o v i n go b je c tc l a s s i f i c a t i o ni n v i d e os u r v e i l l a n c e m a jo r ：c o m p u t e ra r c h i t e c t u r et e c h n o l o g y a u t h o r ：l iz h a n c h u a n g s u p e r v i s o r ：p r o f x i a og u o q i a n g 一一 一 a bs t r a c t v i d e os u r v e i l l a n c eh a sl o n gb e e ni nu s et om o n i t o rs e c u r i t ys e n s i t i v e & r e a ss u c ha s b a n k s ，d e p a r t m e n ts t o r e s ，h i g h w a y s ，c r o w d e dp u b l i cp l a c e sa n db o r d e r s t h ea d v a n c ei n c o m p u t i n gp o w e r , a v a i l a b i l i t yo fl a r g e c a p a c i t ys t o r a g ed e v i c e sa n dh i g hs p e e dn e t w o r k i n f r a s t r u c t u r ep a v e dt h ew a yf o rc h e a p e r , m u l t is e n s o rv i d e os u r v e i l l a n c es y s t e m s t r a d i t i o n a l l y , t h ev i d e oo u t p u t sa r ep r o c e s s e do n l i n eb yh u m a no p e r a t o r sa n da r cu s u a l l y s a v e dt ot a p e sf o rl a t e ru s eo n l ya f t e raf o r e n s i ce v e n t t h ei n c r e a s ei nt h en u m b e ro f c a m e r a si no r d i n a r ys u r v e i l l a n c es y s t e m so v e r l o a d e db o t ht h eh u m a no p e r a t o r sa n dt h e s t o r a g ed e v i c e s 谢mh i 吐v o l u m e so fd a t aa n dm a d ei ti n f e a s i b l et oe n s u r ep r o p e r m o n i t o r i n go fs e n s i t i v ea r e a sf o rl o n gt i m e s h lo r d e rt of i l t e ro u tr e d u n d a n ti n f o r m a t i o n g e n e r a t e db ya t la r r a yo fc a j i ! e r a s ，a n di n c r e a s et h er e s p o n s et i m et o f o r e n s i ce v e n t s ， a s s i s t i n gt h eh u m a no p e r a t o r sw i t hi d e n t i f i c a t i o no fi m p o r t a n te v e n t si nv i d e ob yt h eu s eo f “s m a r t v i d e os u r v e i l l a n c e s y s t e m s h a sb e c o m eac r i t i c a l r e q u i r e m e n t 0 b je c t s c l a s s i f i c a t i o ni sa ni m p o r t a n ta s p e c to fi n t e l l i g e n tv i d e os u r v e i l l a n c e a n di t sr e s e a r c h c o n t e n ti st oc l a s s i f ym o v i n go b j e c t si n t os e m a n t i c a l l ym e a n i n g f u lc a t e g o r i e s ，a s s o c i a t i n g t h ec o r r e c to ne c tc l a s s1 a b e lw i t ht h er e g i o no fi n t e r e s t i nt h i st h e s i s ，as m a r tv i s u a ls u r v e i l t a n t es y s t e r nw i t hr e a l t i m em o v i n go b j e c t d e t e c t i o n c l a s s i f i c a t i o na n dt r a c k i n gc a p a b i l i t i e si sp r e s e n t e d t h es y s t e mo p e r a t e so nb o t h c o l o ra n dg r a ys c a l ev i d e oi m a g e r yf r o mas t a t i o n a r yc a m e r a i tc a l lh a n d l eo b j e c td e t e c t i o n i ni n d o o ra n do u t d o o re n v i r o n m e n t sa n du n d e rc h a n g i n gi l l u m i n a t i o nc o n d i t i o n s t h e c l a s s i f i c a t i o na l g o r i t h mm a k e su s eo ft h es t a t i cf e a t u r e so ft h ed e t e c t e do b j e c t sa n dt e m p o r a l c o n t e x tt os u c c e s s f u l l yc a t e g o r i z eo b j e c t si n t o6p r e d e f i n e dc l a s s e s e x p e r i m e n t a lr e s u l t s d e m o n s t r a t et h a tt h ep r o p o s e dc l a s s i f y i n ga l g o r i t h m ss a t i s f a c t o r yp e r f o r m a n c ei nav a r i e t y o fs u r v e i l l a n c ev i d e o s k e yw o r d s ：i n t e l l i g e n ts u r v e i l l a n c e , s u p p o r tv e c t o rm a c h i n e ( s v m ) ，m o v i n go b j e c t c l a s s i f i c a t i o n ，m o v i n go b j e c td e t e c t i o n ，f i rf i l t e r 独创性声明 本人提交的学位论文是在导师指导下进行的研究工作及取得的研究 成果。论文中引用他人已经发表或出版过的研究成果，文中已加了标注。 学位论文作者： 布皇f 司 签字日期：2 衫p 年f 月2 日 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文 被查阅和借阅。本人授权西南大学研究生部可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书，本论文：刮r 不保密，口 保密期限至年月止) 。 学位论文作者签名：巷。乏阔 签字日期：b 厂年妫2 乡日摊名一 签字日期：少f 口年上月多占日 第一章绪论 li,- i a i 量曼曼曼曼舅 第一章绪论 1 。1 引言 随着我国经济的发展，人民生活水平的不断提高及城市的现代化、数字化、建筑 智能化进程的日益加快，人们对出行安全、人身安全、财产安全、居住安全、金融安 全的需求在不断更新和提高。公共安全防范已成为城市现代化的重要基础，城市的公 共安全与突发事件处置受到社会各界的关注。利用高科技提供高品质的公共安全服务 已成为促进社会祥和安定和稳步前进的必然手段。其中，视频监控技术是保障人身财 产安全最常用的一种技术手段，在世界各地被广泛应用各类安全敏感区，在安全防范、 公众活动管理等方面发挥着重要作用。 视频监控系统的发展经历了三个阶段【l 】： 第一个阶段o c , g s ，1 9 6 0 - 1 9 8 0 ) ，监控系统完全利用模拟系统完成图像的采集、传 输和处理。人们在各处安装很多摄像头，然后通过传输到中央控制室的图像来扩大自 己的可视范围。为了有效监控，必须配备较多的操作人员来记录、处理大量视频数据。 同时，也必须依靠监视人员一直盯着屏幕来判断事件的发生。 第二个阶段( 2 g s s ，1 9 8 0 - 2 0 0 0 ) ，监控系统中部分使用了数字系统以弥补上一代系 统的不足。人们利用早期比较先进的数字视频处理技术预先过滤掉一些无效信息，然 后将过滤后的信息保存到硬盘上。这个阶段的视频监控系统主要是为了实时地发现事 件的发生，而且对于报警事件以及事前事后报警信息的搜索也变得比以前简单。 第三个阶段( 3 g s s ，2 0 0 0 现在) ，监控系统中完全使用数字系统。图像的采集和 处理可直接在芯片上完成，然后通过各种网络途径传输到中央服务器。不同于2 g s s 的是，在3 g s s 中摄像头采集的视频图像还可以在传输前进行数字化压缩，这些摄像 头甚至还能结合图像处理芯片，完成运动分析、人脸检测等功能。3 g s s 的最终目标 是利用视频监控数据做到实时事件监控和事后检索分析，实现智能化的视频监控。 1 2 研究背景及意义 “ 如今，虽然视频监控系统设备的功能和性能有了很大的提高，但系统在智能方面 还无法令人满意。也就是说，视频监控系统只是有了“强健的体魄”，但是还缺乏会 思考的“大脑 ，依旧不能把人从繁重的监控工作中解放出来。为了弥补这一不足， 人们尝试把计算机视觉和人工智能的相关技术引入到视频监控系统中，从而将视频监 控带入了智能化时代。“智能视频监控系统，顾名思义，是指视频监控系统具备一 定的“智力”，能够依据原始的视频图像数据自动分析、解释、记录真实环境下发生 的事件，而非靠人力来解读视频内容来完成。并且智能化监控系统除了能自动统计分 析结果外，还应该能实时响应某些事件，甚至做到事前预警。监控系统智能化的实现， 依赖于系统对监控视频“智能化”的处理能力。具体来说，就是系统对视频场景中运 两南大学硕士学位论文 曼曼曼鼍曼曼曼曼曼曼曼皇鼍量曼曼詈舅曼曼曼曼曼曼曼曼曼! i i；| 量皇曼曼曼曼舅曼蔓曼曼曼曼曼曼寞 动目标的行为分析处理能力，包括运动目标的检测，分类，跟踪等处理。智能视频监 控系统借助计算机强大的数据处理能力，对视频画面中的海量数据进行高速分析，过 滤掉监控者不关心的信息，仅仅为监控者提供有用的关键信息。它涉及到图像处理、 计算机视觉、模式识别和人工智能领域的许多核心课题，是一个具有挑战性的困难问 题。 运动目标分析在智能监控系统中占有重要的地位，是监控系统智能化的前提，因 此视频中的运动目标分析已成为计算机视觉领域中的研究热点。运动目标分析在计算 机视觉中属于中层处理，如图1 1 所示，其目的是针对包含各种运动目标的监控视频 进行处理，从视频场景中检测出运动目标，然后对运动目标进行分类识别和行为分析， 并对运动目标的行为给出判断。 回囹圆圈 - - - - _ - - - - - _ - _ - i _ - _ - _ _ - - - _ _ - - - _ _ 口习匪圈 目标区域检测 t 监控视频序列 图1 1 计算机视觉中的图像处理 运动目标分类是运动目标分析中非常关键的一步，它是指将视频中检测到的运动 目标划分为预先定义好的目标类别( 如交通视频中的“行人 、“车辆”等) ，然后为 运动目标的后续分析处理提供依据。运动目标分类技术在很多方面都有应用需求，例 如智能安全监控、智能交通管制、运动分析、虚拟现实等，由于其巨大的研究价值和 广阔的应用前景，近几年来引起了众多学者的极大关注。 1 3 国内外研究现状及趋势 目前，视频中的运动目标分类已成为图像处理以及视频分析中的一项重要的研究 课题。近年来，国外许多高校以及科研组织就视频中的运动目标分类展开广泛的探讨 和研究，并且取得了一定的成果。我国对于视频运动分析的研究起步较晚，但随着我 国经济发展的需求和技术的进步，国内的大量企业、高校以及研究机构也就该领域开 展了大量的研究并成功的开发出系列商业产品。同时就监控视频系统中的技术层面出 发，大量目标分类算法相继被提出，旨在对视频中运动目标的行为进行识别【2 - 1 5 1 。 b r o w n 2 和z h o u 3 】等分别介绍了种用于智能视频监控的运动目标分类算法，它们提 取了诸如区域面积、紧密度、速度和外接矩形框的长宽比等一些目标特征，并将这些 特征进行训练和分类以到达前景目标识别的目的。文献【4 提出了一种基于目标形状 2 霎 !-i 第一苹绪论 模板匹配的目标分类方法，该方法根据目标和模板形状之间的距离判断目标的类别。 然而，这些特征多是基于二维空间的，不可避免的会出现映射失真和几何变形，比如 近景物体与远景物体在形状大小和速度等方面都存在差异。因此，简单地使用这些特 征来进行目标分类会导致准确性较差。为了弥补在二维空间中进行运动目标分类的缺 陷，还有一些学者对三维空间里的运动目标分类展开了研究【1 2 】【”】。文献【5 】中提出了 一系列的算法同时证明了局部特征应用于目标分类和检测具有较好的性能。然而，此 类方法大多计算比较耗时，并且不适用于低分辨率的视频。v i o l a l 6 】等人改进文献【5 j 中 的算法，提出了一种新的特征选取和目标类识别的框架。但这种方法需要在收集各种 条件下的训练数据样本和手动的对这些训练样本进行标记工作上花费大量时间。文献 【7 中使用目标轮廓的傅立叶描述子作为运动目标的特征，由于该特征通过重建运动 目标边界来反映运动目标的总体外形，使得该方法能够将运动目标与周围的环境进行 有效的分类。文献【8 】中，采用形状参数表示运动目标的轮廓，通过计算未知目标与 已知目标形状模式的相似性来检测和分类，但是文献【7 】【8 】中提到的算法在不同的场 景视频中的分类效果较差，因此具有较弱的自适应性。文献【9 】中将运动目标外观模 型的变化作为目标特征，对视频中的运动目标进行分类；文献【l o 】采用运动目标随时 间变化的自相关性周期性运动特征来达到目标分类的效果。文献 9 1 1 1 0 】中提到的方法 仅考虑了物体的时间运动特性对其识别分类，分类效果较差。文献 1 1 】利用非刚性运 动目标与刚性运动目标的平均残余光流的差异以及运动目标的周期性作为特征来区 别不同的运动目标，但该方法只能区分运动目标的刚性运动和非刚性运动，而无法区 分具有多种运动特性的运动目标。早期的运动目标分类算法研究中，人们关注于目标 特征的研究，希望通过获得对目标分类的有效特征来实现运动目标分类，然而目标的 特征在不同环境下的提取难度不同，很多目标特征在某些场合中根本无法获得。在后 来的研究中，人们逐步将研究的中，t l , 转移到分类算法的设计，将机器学习理论应用于 运动目标分类中，使得目标分类研究有了很大的发展，出现了很多利用神经网络、 k n n 、支持向量机等进行目标分类的算法【1 2 “1 7 1 。 总之，一个合适的运动目标分类算法需要包括以下几个条件：实用性该算法 应该具有实时性同时分类精确性要高；鲁棒性能够在各种条件下具有较好的鲁棒 性以及在不同的环境下仍然具有较好的性能；自动性尽量避免或减少手动对大量 的训练样本数据进行标记的工作。此外我们应该在算法中选取合适的特征量和构造恰 当的分类器，已达到较好的分类效果。 1 4 涉及的学科领域 智能视频监控系统的兴起，除了由于其广泛的应用需求和高性能设备的出现外， 更得益于机器智能算法对图像处理的推动和发展。在智能监控系统中，基于视频的运 动目标分析是多个学科交叉融合的产物，这些学科主要包括：数字图像处理、模式识 西南大学硕士学位论文 别、计算机视觉。 1 4 1 数字图像处理 数字图像处理( d i g i t a li m a g ep r o c e s s i n g ) 是通过计算机对图像进行去除噪声、增 强、复原、分割、提取特征等处理的方法和技术【l 引。数字图像处理最早出现于2 0 世 纪5 0 年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图 形和图像信息。数字图像处理的发展分为三个阶段： 第一个阶段：早期的数字图像处理主要是为了图像质量的改善，它以人的视觉评 判为标准，着重提高图像的视觉效果。因此在早期的数字图像处理中，输入的是低质 量的图像，经过图像的增强、平滑、压缩等处理后输出的是改善质量后的图像。 第二个阶段：随着计算机技术和人工智能研究的迅速发展，数字图像处理已不再 是简单地改善图像的质量，而是逐步向图像内容的分析转移。图像分析是指利用数学 模型和图像处理的技术来分析图像的内容，从而提取具有一定智能性的信息。例如图 像中的目标检测、图像的空间结构等。此时，图像处理系统的输入是包含有各种内容 数字图像，而输出则是系统对图像内容经过处理和分析后的结果。 第三个阶段：随着人工智能理论和认知科学的兴起与发展，数字图像处理向更高、 更深层次发展。它在对图像内容分析判断的基础上，还结合人类的经验和知识对图像 的内容进行类似于人的理解、推理和“思考 ，即图像理解。 图像理解虽然在理论方法研究上已取得不小的进展，但它本身是一个比较难的研 究领域，存在不少困难。 1 4 2 模式识别 模式识别( p a t t e r nr e c o g n i t i o n ) 是对感知信号( 图像、视频、声音等) 进行分析，对 其中的物体对象或行为进行判别和解释的过程。模式识别是人类的一项基本智能，在 日常生活中，人们经常在进行“模式识别。现在研究中所说的模式识别，是指利用 计算机实现模式识别的过程，属于人工智能领域的一个分支。本文研究的监控视频中 运动目标分类问题的本质是图像的模式识别问题，或者说是模式分类问题。 随着2 0 世纪4 0 年代计算机的出现以及5 0 年代人工智能的兴起，人们开始设想 用计算机代替或扩展人类的部分脑力劳动。后来随着计算机的发展，模式识别在2 0 世纪6 0 年代初迅速发展并成为一门新学科。1 9 7 2 年第一届国际模式识别大会 ( i n t e r n a t i o n a lc o n f e r e n c eo np a t t e r nr e c o g n i t i o n ，i c p r ) 的召开标志着模式识别领域的 形成，从此模式识别的相关研究进入了蓬勃发展阶段，并且在很多应用领域中都开始 出现它的身影，例如信号处理、人脸识别、运动分析、文字识别等。 通常的模式识别系统中包括以下几个步骤：数据的预处理、样本分割、特征提取、 模式分类，有时还会根据需要进行上下文后处理，本文研究的基于监控视频的运动目 标分类算法也正是基于此框架实现的。 4 第一苹绪论 1 4 3 计算机视觉 计算机视觉是指用计算机实现人的视觉功能，对客观世界的三维场景的感知、识 别和理解【1 9 1 。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景 的空间信息，让机器像人类和许多其他类生物一样具有“视觉”功能，它是一门十分 前沿的综合交叉学科。广义上，计算机视觉涵盖模式识别，图像处理等方向。计算机 视觉起步子1 9 7 0 1 9 8 0 年，目前进入大发展时期。大量的数学模型、算法不断涌现， 一个大一统理论和框架正在逐步显形。事实证明它的发展为传统学科，如统计、应用 数学、人工智能、机器人学等注入了新的活力。它与神经心理、认知科学相关联， 同时它的发展与许多新兴信息学科，如计算机图形学、计算机艺术( 动画与计算机绘 画等) 、网络搜索引擎，知识发掘，计算机移动通讯，传感器网络( s e n s o rn e t w o r k ) 等 的发展息息相关。 过去十年来，各种数码成像技术，包括医疗成像、军事多频段图像、遥感及卫星 图片，取得了突飞猛进的发展；民用数码相机及摄像机也得到广泛普及。随着计算机 和网络通讯技术的飞速发展，计算机视觉、图像处理、模式识别等方面的研究与应用， 已成为国际上研究热点。目前，计算机视觉在各个领域都有广泛的应用，如制造业、 智能安防、文档分析、医疗诊断和军事等领域，成为各种智能系统中不可分割的一部 分。 1 5 论文主要研究内容及组织结构 本文在研究当前各种运动目标分类方法的基础上，提出了一种通用的针对监控视 频的运动目标分类算法，并根据提出的算法框架设计了一个针对监控视频中常见运动 目标的检测与分类系统，能够在多种情况下自动识别行人、人群、自行车摩托车、 小轿车和卡车等运动目标。本文的主要工作可归纳如下： 1 对智能视频监控中常用的图像处理算法进行了综述，重点介绍了目前常用的 用于运动目标分析的分类算法，并且分析了各种算法在不同应用中的优缺点，为以后 的运动目标分析研究提供了依据。 2 针对监控视频的特性，提出了一种以支持向量机为基本框架的、能直接输出 运动目标后验概率的运动目标分类算法，结合本文提出的后置滤波器的优化处理，能 有效地提高算法分类的性能。 3 根据本文提出的算法设计并实现了一个适用于各种监控视频的运动目标检测 分类系统，能实时有效地完成视频中各种常见运动目标的分类，并对分类的类别具有 一定的扩展性。最后本文还提出了算法可能改进的地方。 本文总共分为六章，各章主要内容安排如下： 第一章：介绍了论文的立题依据和研究背景，同时介绍了运动目标分类算法的研 究现状和未来趋势，并对涉及的相关学科进行了简介。最后对本文的主要工作做了简 两南大学硕十学位论文 ! l n ni n n 皇! 曼曼曼曼曼皇量曼曼曼曼舅曼曼曼曼曼曼曼曼曼曼曼! ! 曼! 曼曼曼曼曼! 曼曼曼曼曼曼曼曼曼曼曼舅曼曼曼罡曼罡曼皇曼曼皇鼍曼曼曼曼詈曼曼 要归纳。 第二章：介绍了视频中运动目标分类涉及的相关理论算法和处理技术，包括图像 预处理技术和视频中运动目标分析的相关算法研究，为文章的后续工作打下基础。 第三章：详细介绍了基于统计学习的支持向量机理论，在理论分析的基础上，证 明了支持向量机在小样本学习方面的优势，并介绍了支持向量机在多类分类问题上的 应用。 第四章：在传统的基于支持向量机的目标分类算法基础上，作者提出了一种新的 运动目标分类算法框架，该方法利用支持后验概率输出的支持向量机结合低通滤波 器，能有效提高实时运动目标分类的正确率。 第五章：针对第四章提出的算法进行实验验证，主要包括实验视频集的建立，实 验结果比对，实验结果分析等。 第六章：总结全文工作，并就监控视频中运动目标分类算法的进一步可能的改善 做出展望。 1 6 本章小结 本章首先介绍了智能监控系统的发展历史，然后介绍了运动目标分类在智能监控 中的应用及其在计算机视觉课题研究中的意义。本章还对运动目标分类研究的国内外 现状和所涉及的相关学科领域做了简要介绍。最后本章给出了本文的主要研究内容和 组织结构。 6 耋：耋耋垫! 篓坌耋墼垒董耋篓皇竺至 第二章运动目标分类的相关理论与研究 运动目标分类是运动e l 标分析的重要一步，运动目标分类的整个过程涉及到很多 学科的相关理论和算法技术。本章按照运动目标分类的基本流程对研究工作所涉及的 相关理论和算法研究进行介绍，主要包括：图像预处理、运动目标检测、运动目标分 类、运动目标跟踪。 21 图像预处理 在运动目标分类算法中第一个步骤就是对监控系统采集的视频图像进行预处 理。图像预处理的主要目的是消除图像中无羌的信息，恢复有用的图像信息，增强有 关信息的可检测性和最大限度地简化数据，从而提高特征抽取、图像分割、匹配和识 别的可靠性。对于监控视频中的运动目标分类算法柬说图像的预处理主要包括：彩 色图像的灰度化和滤除图像噪声。 2 1 1 彩色图像的灰度化 一般来说，视频监控系统为了使系统采集的图像数据准确可靠，采集的图像都是 r g b 彩色高分辨率图像，而在运动目标分类过程中，有根多针对灰度图像或二值图 像的处理，因此首先要把原图像转化成灰度图像。在r o b 模型中，如果r = g = b 时， 则彩色表示一种灰度颜色，其中r ，g ，b 的值称为灰度值。因此，灰度图像每个像素只 需一个字节存放灰度值( 又称强度值、亮度值) ，灰度范围为0 - 2 5 5 。一般有以下四种 方法对彩色图像进行灰度化： 1 、分量法 直接将彩色图像中三分量的亮度作为三个灰度图像的灰度值，可根据应用需要选 取一种灰度图像。 _ ( i ，) = r ( i ，) ，正( f ，) = g ( i ，) ，工( i ，) = b ( i ，)( 21 ) 其中l ( i ，) ( t = 1 ，2 ，3 ) 为转换后的灰度图像在像素( i ，j ) 处的灰度值。如图2 1 的 彩色图像转为图2 2 所示的三种灰度图。 图21 彩色图像 攀鲻漆 c a ) r 分量灰度图( b ) g 分量灰度图( c ) b 分量灰虚匣 图22 彩色图的三分量灰度图 2 、最大值法 将彩色图像中的三分量亮度的最大值作为灰度圈的灰度值： f ( i ，) = m a x ( e ( i ，n g ( i ，n b ( i ，) )( 22 ) 3 平均值法 将彩色图像中的三分量亮度求平均值得到一个灰度图。 ，( ! ，j ) = ( e ( i7 ) + g ( i ，) + b ( i ，) ) 3( 23 ) 4 加权平均注 根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿 色的敏感最高，对蓝色敏感最低，因此，接下式对r g b 三分量进行加权平均能得到 较合理的灰度图像。 f ( i ，) = 02 9 9 r ( i ，) 十o5 7 8 g ( i ，) + 0 1 1 4 b ( i ，) ( 2 4 ) 公式中21 - - 24 中，( f ，) 表示灰度图的亮度值，r ( f ，) 代表彩色图像红色分量 值，c ( i ，) 代表彩色图像绿色分量值，b ( f ，) 代表彩色图像蓝色分量值。三分量前的 系数为经验加权值，加权系数的选择是基于人眼的视觉模型特性：对于人眼较为敏感 的绿色取较大的权值：对人眼较为不敏感的蓝色则取较小的权值。通过该公式转换的 灰度图能够比较好地反映原图像的亮度信息。 2 1 2 图像平滑滤噪 由于受到图像采集设备自身及环境等因素的干扰，视频图像在捕获、传输或处理 过程中都可能出现噪声，噪声可能依赖于图像内容，也能与图像内容无关。为了获得 更好的运动目标分析结果，需要对采集的视频图像进行滤噪处理。图像中最常见的噪 声是随机噪声，它在图像上产生的位置和幅值是随机的，想直接恢复单帧图像上产生 噪声的像素点的实际值是不可能的。一般噪声的灰度与其周围的灰度之间有急剧的灰 度差，因此我们可以利用噪声的这种性质对图像进行滤噪，这种滤噪方法称为图像平 滑或简称为平滑。常用的图像平滑技术有均值滤波和中值滤波。 1 、均值滤波 均值滤波是最简单的消除噪音的方法，如图2 3 所示，它利用像素周围3 * 3 邻域 范围的平均值( 或者加权平均值1 置换中，t 5 点的像素值。 8 第二章运动目标分类的相关理论与研究 输出中心像素的 p op 1p 2 8 邻域的平均值 g p 3 p t p 5 尸6p ， p 8 ( a ) 输入图像( b ) 输出图像 口：墨墨墨墨墨墨墨墨墨 1 9 ( c ) 均值滤波公式 图2 3 均值滤波 图2 3 中3 * 3 的邻域也称为窗口，当窗口在图像上移动一遍后，就能对图像进行 很好的平滑处理。监控视频图像中的噪声多为加性噪声，并且噪声之间互不相关，因 此得到的实际图像为： g ( x ，j ，) = f ( x ，j ，) + 以( 石，力( 2 5 ) 式2 5 中f ( x ，y ) 为原始图像，n ( x ，y ) 为噪声。 g o ，y ) 经上述均值滤波处理后，得到平滑图像为： 虱两2 击荟g ( f d 2 万1 荟g ( f ，d + 击荟砸 ( 2 6 ) 其中，s 为像素点( f ，j ) 邻域内点集，m 是s 中像素点总数。由于图像中小区域中灰 度变化不大，因此式2 6 右边的第一项与原始图像f ( x ，y ) 非常接近，第二项为图像在 平滑后的噪声，其均值为0 ，方差为： d 2 怯丕咖) - 击0 - 2 似训 。( 2 7 ) 从式2 7 可以看出，经过平滑处理后图像的噪声方差减小到原来的1 m ，即图像 的噪声基本被去除了，因此图像的信噪比也提高了。但是，这种平滑方法是不管噪声 还是边缘都一视同仁地模糊化，结果是噪声被消除的同时，目标图像也模糊了。平滑 技术的基本要求是在消去噪声的同时不使图像轮廓或线条变得模糊不清。因此常选用 加权均值滤波方法代替简单的均值滤波方法，给邻域窗口内的不同位置的像素值分配 不同的权值，然后用窗口内像素的加权均值代替中心点像素的灰度值，如下所示： g ( x ，y ) = w ( i ，) g ( x ，y ) ( 2 8 ) 其中，w ( x ，y ) 为加权系数矩阵，为了使图像在平滑处理后仍基本保持原有的亮度， w ( x ，y ) 的所有元素之和应为l 。 2 、中值滤波 中值滤波是统计排序滤波器【2 0 】，是一种非线性的图像处理方法，它通过对邻域 9 西南大学硕士学位论文 内像素按灰度排序的结果决定中心像素的灰度，这种思想与前面所提到的均值滤波处 理思想有较大不同。不同于线性滤波器，中值滤波器不是简单地利用模板对邻域内像 素灰度进行加权平均，而是通过对采样窗口内的奇数个像素的灰度数值进行排序，并 取出序列中位于中间位置的灰度( 即序列的中值) 作为中心像素的灰度。序列的中值定 义如下： 给定一组序列五，x 2 ，矗，将其按大小排列为砀 薯： - q 率p a c o f 。 混合高斯模型在构建过程中，将各高斯模型按照优先级顺序排列，优先级的定义 如下： 西南大学硕士学位论文 最，= q ，气， ( 2 2 0 ) 混合高斯建模的流程如图2 n 所示： 图2 1 1 混合高斯建模的流程图 混合高斯背景建模的根本目的是确定将哪些高斯模型混合使用能产生最逼近的 背景。通过适当的策略对各个高斯模型进行排序之后，最逼近背景分布的模型被排在 模型序列的前端，而较不可能的背景模型被放到模型序列的后端，最终后端的模型将 被新的分布取代。因此这种背景建模方法的一个最重大的优点在于，即使当前景中的 部分像素被判断为背景像素时，它也不会破坏背景的现有模型。 前景检测：通过公式( 2 1 5 ) 的匹配方法，将当前帧的所有像素与背景模型中的各 高斯模型进行比较，如果找到与当前像素相匹配的高斯模型，则该像素被认为是背景 像素；反之，则该像素被认为是前景像素。具体匹配流程如图2 1 2 所示。 1 6 第二章运动目标分类的相关理论与研究 图2 1 2 混合高斯建模的前景检测 2 2 5 目标区域提取 经过2 2 1 2 2 4 所介绍的运动目标检测后，可以初步获得每一帧的前景像素集 合，但是由于噪声和算法本身存在的缺陷，前景像素区域尚不光滑，还不是完整的目 标区域( 如图2 1 3 ( b ) 所示) ，而且这些像素还没有跟运动目标对应起来，还需要后续 处理来获得完整的运动目标区域。针对前景像素集合所作的后处理主要包括：数学形 态学处理和连通区域标记。 在图2 1 3 ( b ) 中，前景像素集合中的很多像素并不属于运动目标，并且一些本来 属于运动目标区域的像素被检测为背景像素集合，使得运动目标的区域不完整。多次 综合利用数学形态学中的腐蚀、膨胀、开运算和闭运算，可以有效地剔除前景像素集 合中不属于运动目标的像素，同时将运动目标区域内部的空洞填充完整，而且运动目 标区域的轮廓也被处理的更为光滑。如图2 1 3 ( e ) 所示。 经过数学形态学处理后，可以获得和运动目标区域相对应的、光滑的前景像素集 合。然而所有这些像素都属于一个集合，还没有和视频中的各个目标一一对应起来。 而且，在前面的处理中可能对噪声处理的不够理想，可能出现成片噪声区域被误判为 前景像素区域。为了解决这些问题，可以使用连通分量标记算法对前景图像进行分割。 它能将前景图像中各个连通区域同运动目标一一对起来。连通分量比标记的目标在于 确定图像中所有连通分量的集合，为连通分量中的每个像素分配一个独特的标记与单 个运动目标相对应。 鎏二；籀 ；避烈叠鲨鬻l 黼 弛；为赢+ ”麓 ( b ) 前景检删后的琏动区域( c ) 数学形态学处理后的目标区域 图21 3 形态学处理的结果 连通区域标记算法针对二值化的前景图像从左到右进行扫描，在扫描过程中对未 标记的像素分配标记，记作x 。并且为它的每个相邻的像素也分配同样的标记，直到 在图像中再没有需要进行标记的像素为止。连通分量标记分两个阶段进行： 第一个阶段，根据以下标准为每个像素分配标记： 如果像素尸( z ，) 的上邻居p ( 卜1 ，j ) 和左邻居p ( i ，卜1 ) 在4 连通邻域里有相同 的标记x 那么将标已x 分配给p f t ，) 。 如果像素尸( f ，j ) 的上邻居尸( f l ，) 或左邻居p ( i ，j 一1 ) 有标记x ，那么将标记 x 分配给p 亿n 。 在4 连通邻域里，如果像素尸( j l j ) 的上邻居p “一1 ，j ) 有标记x ，并且左邻居 p ( i ，一1 ) 有另外一个标记y ( 即x 和y 不同1 ，那么将标记x 分配给像素 p ( i ，j ) 。同时在等价表中( 记作e ) 输入x 和y 。 如果像素p ( f ，j ) 的上邻居p ( f l ，) 和左邻居p ( z ，一1 ) 在4 连通邻域里是两个 非静景像素，那么分配新的标记z 给像素尸( r ，) 。同时在等价表e 中输入标 记z 。 通常情况下，我们用数字为每个分量做标记。等价袁e 包含了等价标l a 的集合。 在第二个阶段，合并等价标记来为图像中的每个连通分量生成单一的表。如果在 等价表e 中x 翮y 是两个等价标已，那么当x - - jn 论( s t a t i s t i c a ll e a r n i n g t h e o r y , s i t ) 的v c 维理论和结构风险最小原理基础上发展起来的基于小样本学习的 线性分类方法【6 3 1 。其基本思想为：通过非线性变换将输入空间变换到一个高维空间， 并在这个高维空间中求得最优分类面，而这种非线性变换是通过定义适当的内积函数 ( 核函数) 实现的。vv a p n i k 等人从六、七十年代开始致力于此方面研究，到九十 年代中期，随着s v m 理论的不断发展和成熟，利用s v m 进行分类在模式识别方面 得到了广泛的应用：字符识别、语音识别、生物信息识别、文本分类、视频检索等方 面。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题 提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以 解决的问题( 比如神经网络结构选择问题、局部极小点问题等) ，因此，在这一理论基 础上发展出的支持向量机分类方法，在很多方面都表现出优于已有方法的性能。支持 向量机方法在使用中有几个主要优点： 1 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅 是样本数趋于无穷大时的最优值，因此适合于小样本的学习训练； 2 算法最终化为一个二次规划寻优问题，从理论上说，得到的将是全局最优点， 解决了在神经网络方法中无法避免的局部极值问题； 3 算法将实际问题通过非线性变换转换到高维的特征空n ( f e a a 鹏s p a c e ) ，在高 维空间中构造线性判别函数来实现原空间中的非线性判别函数，该特殊性质能保证机 器有较好的泛化能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关。 在s v i v i 方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分 类器、径向基函数( r a d i a lb a s i cf u n e t i o n ，r b f ) 方法、多层感知器网络等许多现有学 习算法。 3 2 支持向量机 支持向量机的基本思想为：通过非线性变换将输入空间映射到一个高维空间，并 在这个高维空间中求得最优分类面，使得线性不可分的样本在高维空间变得线性可 分。而这种非线性变换是通过定义适当的内积函数( 核函数) 实现的。 3 3 1 最优分类界面 对于两类样本分类，如果存在一些线性分类界面，能够将这两类样本正确地分开， 那么称这两类样本为线性样本。对于两类线性样本，如果能够找到一个线性分类界面， 既能够将样本正确地分为两类，又能够使它与最靠近的样本点的距离都达到最大，那 西南大学硕士学位论文 么这个线性分类界面为最优分类界耐删。最优分类界面如图3 1 所示，图中： 分攀界嚣 分樊 绺弼 最优分类面的数学描述如下： 给定，z 维训练样本 五，屯，h ) ，每个样本的类别为劬= 1 或吐= - 1 ，设其中q 类 样本为呸类样本为习，f ，j 1 2 ，奶，则将每类样本表示为 ( 五，m ) ，( 恐，咒) ，( 黾，) ，( x n ，y n ) j 。 在n 维特征空间中，线性判别函数的一般形式为： 厂( 工) = 工+ 6( 3 1 ) 其对应的分类界面日的方程为： w x + b = 0 ( 3 2 ) 对给定的训练样本集，通过学习确定合适的权矢量w 和b ，从而建立线性判别函 数( 3 1 ) 和与线性分类界面h 平行的两个线性界面h 1 ，h 2 ： 肌：h 6 = + 1 ( 3 3 | ) h 2 ：工+ b = - 1 使所求的线性判别函数能对训练样本正确分类，并且满足： 辫( w f 鼍+ 6 ) l ，i = l ，2 ，n( 3 4 ) 两类样本点的距离为分类界面h 1 ，h 2 之间的距离，即h 1 ，h 2 到平面h 的距 离之和： 加r a i n ) 眢h - - m ，a 叫x 箐 5 ， 代( 3 4 ) 入( 3 5 ) ，则： p ( w ) 2 赢。赤 ( 3 6 ) 若h 为最优分类界面，则w t w 应最小，运用对偶技术，作拉格朗