（控制科学与工程专业论文）基于支持向量机的视频对象自动分类方法研究.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 智能视频监控是计算机视觉领域一个新兴的研究方向和备受关注的前沿课 题，它利用计算机视觉和视频分析的方法对摄像机拍录的图像序列进行自动分析， 实现对动态场景中目标的检测、识别和跟踪，并在此基础上分析和判断目标的行 为，从而指导和规划行动，其研究成果可提高传统视频监控系统的自动化程度， 对社会经济发展、国防建设、社会治安具有重要意义。 视频中运动目标的自动分类是智能视频监控不可或缺的环节。在智能视频监 控系统中，将目标分为有语义信息的几种类别是非常重要的，尤其是对正确分析 理解对象行为具有重要的指导和简化意义。本文主要研究了视频对象自动分类系 统结构设计方法、视频对象分类特征选择技术以及基于支持向量机( s v m ) 的视 频对象自动分类技术，并解决了以下几个关键问题： ( 1 ) 设计了一个通用的视频对象自动分类系统的结构框架。系统主要由训练 模块和分类模块组成。训练模块的主要功能是基于包含类别标签的视频对象样本， 采用合适的机器学习方法训练得到分类器模型；分类模块的主要功能是基于训练 模块获得的分类器模型对未知类别的视频对象进行类别判定。 ( 2 ) 提出了一种基于a d a b o o s t 算法的视频对象分类特征选择方法。该方法利 用a d a b o o s t 算法训练过程中产生的相关参数，给出了一种对于特征重要性的评价 机制，基于特征重要性大小进行特征选择。 ( 3 ) 将支持向量机方法用于视频对象分类，构建了基于支持向量机的视频对 象分类模型，阐述了应用支持向量机分类器实现视频对象自动分类的具体方法和 步骤。 ( 4 ) 结合以上方法实现了视频对象自动分类。将视频对象分为“单个行人、 “人群 、“车辆 和“骑车( 自行车或摩托车) 的人 四类，验证了特征选择 方法和基于支持向量机的视频对象分类模型的合理性和有效性。 主题词：视频对象自动分类特征选择a d a b o o s t 算法支持向量机 第i 页 国防科学技术大学研究生院工学硕+ 学位论文 a bs t r a c t i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mi so n eo fn e wa r i s i n gh i g h - t e c ha p p l i c a t i o n f i e l d s i tc a na u t o m a t i c a l l ya n a l y s es e q u e n c ei m a g eb yt h em e t h o d so fc o m p u t e rv i s i o n a n dv i d e oa n a l y s i s t h es y s t e mc a nr e a l t i m ed e t e c t ，r e c o g n i z e ，a n dt r a c km o v i n g o b j e c t s i nas p e c i a le n v i r o n m e n t f u r t h e r m o r e ，i tc a l la l s oa n a l y s ea n dj u d g et h e b e h a v i o ro fo b j e c t s ，h e n c et og u i d et h ea c t i o na n dm a k es o m ed e c i s i o n i n t e l l i g e n tv i d e o s u r v e i l l a n c et e c h n o l o g yw i l li m p r o v et h ed e g r e eo fa u t o m a t i o no ft r a d i t i o n a lv i d e o s u r v e i l l a n c es y s t e m i th a ss i g n i f i c a n c ef o re c o n o m y ，n a t i o n a ld e f e n c ea n dp u b l i c s e c u r i t y a u t o m a t i cv i d e oo b j e c tc l a s s i f i c a t i o ni s i n d i s p e n s a b l e f o r i n t e l l i g e n tv i d e o s u i v e i l l a n c e c a t e g o r i z i n gd e t e c t e dv i d e oo b j e c t si n t os e m a n t i cg r o u p si s c r u c i a lt o a n a l y z et h e i ra c t i v i t i e sc o r r e c t l y t h i sp a p e rm a i n l yd i s c u s s e dt h ed e s i g nm e t h o do ft h e s t r u c t u r eo fa u t o m a t i cv i d e oo b j e c tc l a s s i f i c a t i o n s y s t e ma n d t h et e c h n o l o g yo f c l a s s i f i c a t i o nf e a t u r es e l e c t i o na n dt h et e c h n o l o g yo fv i d e oo b j e c tc l a s s i f i c a t i o nb a s e d o ns u p p o rv e c t o rm a c h i n e t h ek e yp r o b l e m sb e l o wa r es o l v e di nt h ep r o c e s so f f i n i s h i n gt h es t u d y ： ( 1 ) ag e n e r a la n de x t e n s i b l es y s t e mf r a m e w o r kf o ra u t o m a t i c v i d e oo b j e c t c l a s s i f i c a t i o ni sp r o p o s e d t h es y s t e mc o n s i s t so ft r a i n i n gm o d u l ea n dc l a s s i f i c a t i o n m o d e l e t h em a i nf u c t i o no ft r a i n i n gm o d u l ei st og e n e r a t eac l a s s i f i e rb yu s i n gp r o p e r m a c h i n el e a r n i n gm e t h o d ，b a s e do np l e n t yo fv i d e oo b j e c ts a m p l e s t h ec l a s s i f i c a t i o n m o d e l ec a t e g o r i z e st h et y p eo f u n k n o w nc l a s s e s v i d e oo b j e c t s ( 2 ) am e t h o dt oe v a l u a t ea n ds e l e c tf e a t u r e sf o rv i d e oo b j e c tc l a s s i f i c a t i o n i s p r e s e n t e d i td e t e r m i n e sw h i c hs u b s e to ft h ef e a t u r e ss h o u l db ec h o s e ni nv i d e oo b j e c t c l a s s i f i c a t i o nt a s kb ya p p l y i n gt h ea d a b o o s tm e t h o dt oc o m p u t eam e t r i cw h i c h i n d i c a t e sh o ww e l lt h ef e a t u r e sc o n t r i b u t et ot h ec l a s s i f i c a t i o np e r f o r m a n c e ( 3 ) b a s e do ns u p p o r v e c t o rm a c h i n em e t h o d ，t h em o d e l i n go fv i d e oo b j e c t c l a s s i f i c a t i o ni sr e a l i z e d t h ep a r t i c u l a ra p p r o a c ht oc l a s s i f yv i d e oo b j e c t sb ys v m i s p r o p o s e d ( 4 ) u s i n gt h ea b o v em e t h o d s ，av i d e oo b j e c tc l a s s i f i c a t i o ns c h e m ei si m p l e m e n t e d ， w h i c hi sa b l et oc a t e g o r i z ed e t e c t e dv i d e oo b j e c t si n t op r e d e f i n e dg r o u p so fp e d e s t r i a n ， h u m a ng r o u p ，v e h i c l eo rb i c y c l i s t t h ee x a m p l e ss u s t a i nt h a tt h em e t h o do ff e a t h e r s e l e c t i o nb a s e do na d a l ：i o o s ta n dv i d e oo b j e c tc l a s s i f i c a t i o nb a s e do ns v m p r o p o s e db y t h i sp a p e ri sr a t i o n a la n de f f e c t i v e k e yw o r d s ：a u t o m a t i cv i d e oo b j e c tc l a s s i f i c a t i o n ，f e a t u r es e l e c t i o n ， a d a b o o s t ，s u p p o r tv e c t o rm a c h i n e ( s v m ) 第i i 页 国防科学技术大学研究生院工学硕士学位论文 表目录 表4 。l 基于e n t r a n c e 场景区分“单个行人 类别的特征贡献率3 2 表4 2 基于s q u a r e 场景样本的对于区分“单个行人类别的分类特征贡献率3 2 表4 3 基于c r o s s w a y 场景样本的对予区分“单个行人类别的分类特征贡献率 。：；3 表4 4 基于综合场景样本的对于区分“单个行人”类别的分类特征贡献率3 3 表4 5 基于e n t r a n c e 场景样本的对于区分“入群 类别的分类特征贡献率3 5 表4 。6 基予s q u a r e 场景样本的对于送分“人群 类别的分类特征贡献率3 5 表4 7 基于c r o s s w a y 场景样本的对于区分“人群”类别的分类特征贡献率3 6 表4 8 基于综合场景样本的对于区分“人群类别的分类特征贡献率3 6 表4 。9 基于e n t r a n c e 场景样本的对于区分“车辆努类别的分类特征贡献率3 7 表4 1 0 基于s q u a r e 场景样本的对于区分“车辆 类别的分类特征贡献率3 8 表4 1 l 基于c r o s s w a y 场景样本的对于区分“车辆 类别的分类特征贡献率3 9 表4 1 2 基于综合场景样本的对于区分“车辆类别的分类特征贡献率3 9 表4 1 3 基于e m t r a n c e 场景样本的对于区分“骑车的人”类别的分类特征贡献率 z l ( ) 表4 1 4 基于s q u a r e 场景样本的对于区分“骑车的入 类别的分类特征贡献率4 l 表4 。1 5 基于c r o s s w a y 场景样本的对于区分“骑车的入类别的分类特征贡献率 4 1 表4 1 6 基于综合场景样本的对于区分“骑车的入类别的分类特征贡献率4 2 表5 1 各场景不同类别样本数量分布5 0 表5 2 采用不网核函数的s v m 分类器学习能力比较。5 1 表5 3 同场景样本训练的s v m 分类器预测其他场景样本的分类正确率5 l 表5 4 同场景下增加场景相关特征前后分类结果比较5 2 表5 5 同场景下采用原始特征集和特征子集作为特缝向量的分类结果比较。5 2 表5 6 多场景下采用1 4 维特征向量训练的s v m 分类器分类正确率5 2 第1 i i 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图2 。l 智能监控的一般框架9 图2 2 视频对象自动分类系统总体结构11 图2 3 三层前馈网络18 图3 。l 运动对象分割2 5 图3 2 实验场景2 6 图4 1 基于不同样本集的对于区分“单个行人”类别的特征贡献率曲线3 4 图4 2 基于不同样本集的对于区分“人群 类别的特征贡献率赫线。3 7 图4 3 基于不同样本集的对于区分“车辆”类别的分类特征贡献率曲线。4 0 图4 4 基于不同样本集的对于区分“骑车的人 类别的特征贡献率曲线4 3 图5 1 结构风险最小化示意图4 5 图5 。2 最优分类线4 6 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：基王塞挂自量扭的塑频挝基自边金娄友洼盈窥 蝴蝴擀：上一吼叩钟月6 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书) 学位论文题目：基王塞挂囱量扭数塑频挝筮皂边佥娄友洼盈窒 学位论文作者签名：之查 储艚教师擀：龇 ，l口g 月牙m 哳 年 年 匀 期 期 国防科学技术大学研究生院工学磺士学位论文 第一章绪论 1 1 问题的提出 计算机智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿 课题。伴随网络技术和数字视频技术的飞速发展，监控技术正向着网络化、智能化 方向不断前进。虽然目前以网络为基础的数字视频监控系统能够提供清晰的信号、 丰富的多媒体效果，完成数据自动处理、睡络通讯、图像视频压缩等功能，然蔼， 这些还远远不能满足当前应用的需要。随着计算机视觉技术和人工智能理论研究的 逐渐深入及其应用的推广，计算机视觉和应用研究学者适时提出新一代监控视 觉监控酶概念。视觉监控在不需要人为干预情况下，利用计算机视觉和视频分析的 方法对摄像机拍录的图像序列进行自动分析，实现对动态场景中翳标的自动提取、 识别和跟踪，并在此基础上分析和判断目标的行为，得出对图像内容含义的理解以 及对客观场景的解释，从而既能完成日常管理又能在异常情况发生时及时做啦反应。 此时的视频监控系统不仅能代替人眼进行场景监控，面且能够协助人们分析监控场 景中出现的运动目标和发生的事件，并完成相应的控制任务，使监控系统呈现出人 的智能化。智能视频监控系统不仅符合信息产业的未来发展趋势，而且代表了监控 行业未来的发展方向，蕴藏着巨大豹商机和经济效益，受到学术界、产业界和管理 部门的高度重视。这项技术主要涉及到计算机视觉，模式识别，以及人工智能等， 具有重要的理论意义。 视频中运动嚣标的自动分类是智能视频监控不可或缺的环节。智能视频监控主 要是针对包含运动对象的图像序列进行分析处理，它通常涉及到运动检测、对象跟 踪：对象分类、以及对监视场景中对象行为的理解与描述几个部分。视觉监控的最 终露的是从圈像序列中提取对象的语义信息以用予高层的行为理解与分析，而区分 对象的类别是达到该是的的关键步骤。尽管判断一个目标是人、是车、还是树木、 花草、河流，对人来说是一目了然，然而让计算机程序来识别出目标的类别却非常 困难。在视频监控系统中，将目标分为含有语义信息的类别是非常重要的，尤其是 对正确分析理解对象行为具有重要的指导移简化作用。 对象分类的目的就是识别视频对象所属的类别。不同的运动区域可能对应于不 同的视频对象。典型的靛控视频场景中可能包含入( 群) 、车辆、动物( 如飞鸟等) 、 自然现象( 如雨、雪) 、摇动的树木等多种运动物体，丽逶常我们关注的只是人和 车辆。为了便于对人和车辆进行跟踪和行为分析，运动目标的正确分类是非鬻必要 的。 l 。2 国内外研究现状 第l 页 国防科学技术大学研究生院工学硕士学位论文 1 2 1 国外研究现状 对监控视频进行智能处理，实现智能视频监控是监控行业的发展方向。近年来， 智能视频监控技术巨大的应用需求和市场价值逐渐浮现，激发了世界上广大科研工 作者和相关商家的浓厚兴趣，尤其在美、英等国已经开展了大量相关项目的研究。 这里首先列举一些与视频对象自动分类技术相关的典型项目和系统： v s a m 项目( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 在1 9 9 6 年至1 9 9 9 年间，美国国防高级研究项目署( 咄a ) 资助卡内基梅隆 大学、戴维s a r n o f f 研究中心等著名大学和公司合作，联合研制了视觉监视与监 控系统v s a m 。其目标主要是研究用于战场及普通民用场景进行监控的自动视频理 解技术，用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场 合的监控。 在v s a m 中，主要采用了两种视频对象分类算法。一种是将对象区域的分散度、 面积、包围矩形的宽高比和摄像机的缩放倍率作为输入特征，利用标准三层神经网 络方法将运动对象划分为人、人群、车辆和背景干扰。第二种方法采用线性判别分 析的方法实现对象分类。系统首先确定了六种类别：人( h u m a n ，包括单人和人群) 、 小轿车( s e d a n ) 、有蓬货车( v a n ) 、敞蓬货车( t r u c k ) 、拖拉机( m u l e ) 以及其 他( 主要指噪声) 。系统计算样本图像中运动区域的面积、质心、包围矩形的宽和 高，以及图像的7 个不变矩，组成一个1 1 维特征向量对线性分类器进行训练，然后 采用k 近邻分类法对实时检测到的视频对象进行分类。 实时视觉监控系统w 41 2 1 ( w h 0 7w h ? w h e r e ? w h a t ? ) 2 0 0 0 年，m a r y l a n d 大学开发的w 4 系统实际上是v s a m 项目的一个子系统， 是一个对人及其肢体行为进行实时跟踪的系统。该系统依据前景区域的轮廓形状和 运动特性对前景区域进行分类，可将人( 包括单个行人和人群中的个体) 从中区分 出来。该系统能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多 人的跟踪，可以检测和跟踪室外环境中的人并对他们之间简单的交互进行监控，诸 如检测人是否携带物体等行为。 h i d 计划【3 】( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) h i d 计划是d a r p a 在2 0 0 0 年资助的又一重大项目，它的任务就是开发多模式 的监控技术以实现远距离情况下人的检测、分类和识别，从而增强国防、民用等场 合免受恐怖袭击的保护能力。 a d v i s o r 项目 4 1 ( a n n o t a t e dd i s t a lv i d e of o ri n t e l l i g e n ts u r v e i l l a n a n d o p t i m i s e dr e t r i e v a l ) 该项目正在由包括伦敦大学在内的六所科研机构共同实施，拟将通过多个摄像 机对地铁站点人的跟踪监控，估计出人群密度及其运动量，分析人或人群的行为， 第2 页 国防科学技术大学研究生院工学硕士学位论文 扶丽检铡危险或犯器行为，并在限定酎闻内徽出告警并显示给监控操作员。 嵌入式智能摄像头系统s m a r tq 豳阉滔攀 该系统由n i n i 潮伽大学嵌入式系统工作组研制。该系统可以获取场景的高层描 述信息，并可以对所着到的场景做实时的内容分析廿该系统的一个典型应用案例就 是对场景中人嚣行楚进行探灏和分析，达到天懿姿势帮孬为辨识的露嚣。 c r o m a t i c a 系统弼( c r o w dm a n a g e m e n tw i t ht c l 酬a e f f i ci m a g i n ga n d c o m m u n i c a t i o na s s i s t a n c e ) 欧洲的c r o m a t i c a 系统，主要用予地铁蛄感鹃监控，可跌发现反鬻酶人滚( 懿 过度拥挤) ，铁辘上异物擞现斡危险祷况，以及流躐活动，尊殴等，并戮声光等多媒 体方式通知监控人员，或根据预先设鼹的处置程序翻动处置发生枣件。 ， a u t o s c o p e 系统吼 美国i s s 公司魏a u t o s c o p e2 0 0 4 视频检测系统是一种分布式智能税频监视 系统，该系统用于检测程铁路线上的无入值守韵候率室内和铁路沿线重要路段船现 的遗弃物。被监视的房间里利用单色摄像机获得的图像序列被本地p c 机内的图像 处理系统所处理，这个本地处理系统主要震于发现遗弃物。当遗弃物出现的时候， 一令报警信号被簧到远端离监控逸有数公里远嚣远纛控制串心。个基于码分多露 技术的多媒体通讯系统用于确保在监摭地和远端控制中心建立起安全可靠的无线传 输线路，在远端控制中心，处理结果被显示给操作人员。 a u t o s c o p e 技术道过在就美、欧渊和亚洲数以予诗运行缒雯逶智笺管理监控 系统孛，褥刘了实践的验证，具有如下功能：遥过车辆检测控制交通信号濮掇感应 线圈) 、检测车辆排队长度、检测转弯率辆、自动检测事故、测速、检测事故、提供 用户自定义的其它功能。 o l 删瓣v e w t s 2 0 0 4 年6 月，o b j c c t v i d e ov e w 是o b j e c t v i d e o 公司推出的一款功能强大的智 能视频监控软件，它极大地提高了传统视频监控系统的监控能力。该软件实时地检 测、识捌、分类和跟踪躁标，采用产生式规则的鲡识表示方法对监控视频事件进行 建模，当发现有违反用户鑫定义援劐的事件发生时，立郄发送报警。由于o b j e c t v i d e o v e w 能够区分出哪些行为存在潜在的危险，哪些是无关紧要的事件，所以，该软 件能广泛应用于户外的监控场所。 除此之终，欧显的e s p r i t 硐匿黼强弼惑臻li n t e r p r e t a t i o na n de v a l u a t i o no f w i d e - a r e as c e n e s ) 项露在英国雷丁大学进行了多年的研究，他们采用基于3 d 线框模 型的方法，基本达到了对运动车辆进行实时跟踪和行为解释的能力，英国利兹大学 也尾时开展7 基于模型行人监控系统的研究l l o l 。 l i p t o n 簿瓣1 铡焉轮癣线长度和蔼积信患对二维运动区域进行分类，主要送分入、 第3 页 国防科学技术大学研究生院工学硕士学位论文 车及混乱扰动。l i p t o n 等首次提出了把分散度( d i s p e r s e a n e s s ) 作为分类标准，定 义为对象轮廓线长度的平方除以对象区域的面积。分类方法基于这样一个假设：一 般来讲，人比车辆小，并具有更复杂的外形，人相对车辆具有更大的分散度。该方 法还首次引入了时间一致性约束( t e m p o r a lc o n s i s t e n c y ) 的方法使其分类更加准确。 s a p t h a f i s h i 等【1 2 】利用了一个逻辑线性的神经网络，采用差分学习的方法进行i j i i 练，将对象分为人和车辆两类。 。 p a p a g e o r g i o u 等【1 3 】提出了一种利用支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称 s v l ) 的分类方法，该方法借助小波变换对一个标准“行人一模板库中对象的边缘 特征进行训练，可检测视频图像中运动的人。 k u n o 和w a t a n a b c 1 4 l 使用简单的人体轮廓模式的形状参数，可从图像中检测出 运动的人，检测正确率高达9 8 。 b r o d s k y 等【1 5 】提出了一种放射基础函数( r b f ) 分类器，该分类器的结构类似一个 三层逆向传播网络，输入的是被检测对象区域的标准梯度图像。 l u 1 6 】等采用图像的本征特征( e i g e n - f e a t u r e s ) 作为输入变量，采用s v m 分类 器将运动对象分为携带包的人、未携带包的人和未知类别。 c u t l e r 与d a v i s 1 7 】通过跟踪感兴趣的运动目标，计算出目标随时间变化的自相关 特性，而人的周期性运动使得其自相关也是周期性的，因此通过时频化方法分析目 标是否存在周期性的运动特性而将人识别出来i l i p t o n t 垌通过计算运动区域的残余光流( r e s i d u a lf l o w ) 来分析运动实体的刚 性和周期性，非刚性的人的运动相比于刚性的车辆运动而言具有较高的平均残余光 流，同时它也呈现了周期性的运动特征，据此可以将人区分出来。 o m a i l l 9 1 根据运动区域的重复性运动规律，定义了一个“周期性运动图像一 ( r e c u r r e n tm o t i o ni m a g e ，砌沮) 来描述运动区域周期性运动，以此可将人、人群和车 辆区分开来。r m i 还可以检测出携带物体( 如背包) 的人。r m i 描述了连续帧间的 象素亮度值交化，为了提高这一特征计算的准确性，必须对目标进行跟踪并且加以 适量的位置平移补偿。 s t a u f f e n 2 0 1 提出了利用共生矩阵进行分层分类的方法，该方法不仅可以给目标分 类，还可以区分行为。 。 m o h a n 2 l 】通过检测人体的各个组成部分( 头部，手臂，腿部) ，并且判断其所处 空间位置的合理性来进行人体检测。为了加快检测速度，他们用h a r t 小波集来编码 人体的外形特征，这种方法可在静态图片中进行人体检测，并且可以解决部分遮挡 问题，但是对人体的尺寸有较高的要求，这一条件在室外场景下通常是无法满足的。 u t s u m i 等田】利用人体外形的对称性为特征检测视频图像中的人。通过计算距离 映射值( d i s t a n e 宅m a p ) 来反映图像亮度区域间的距离统计信息，这是一种比较粗糙的 第4 页 豳防科学技术大学研究生院工学硕士学位论文 检测方法。 u c h i d a 等网利用肤色、阴影和背景模型，采用贝叶斯象素分类可将人检测出来。 然而基予肤色的人的识别需要高分辨率的视频图像。 r i v l i n 等 2 4 1 利用支持向量机将视频中的运动对象分为人、率辆和动物三类。该 方法提出了一种更加实用的形状特诬一搿星形骨架一( s t a r s k e l e t o n ) 。这种特征 描述了目标轮廓的各个局部末端到目标质心的距离，利用人体特有的骨骼支撑结构 将行人与其它目标区分开来。 h a r i t a o o u 等瞄嘏，l 利用人体的轮廓赋蛔粥嫦征来检测行人，由于人体在身 体中心轴线坐标上呈现一定的对称性，他们通过计算每帧内弱标轮廓在水平和垂直 两个方向的投影柱状圈来分析这种对称性，以确定目标是否为人。 z h o u 等p s i 将对象区域的分散度和运动方向的变化率作为分类特征，采用最近邻 分类方法将视频对象分为人、人群和车辆。因为相对于人来说，车辆运动时箕方向 的变化总是比较缓慢和平稳的。 j u a n g 等 2 9 1 将对象区域的高宽比以及对象轮廓的傅立叶描述子作为输入特征， 采用一个爨组织神经模期推理网络( s o 套嗣n ) 来识别运动对象，得到了较好豹效 果。 s t e f a n o 等网针对车辆车轮区域提取了一些视觉特征，采用非线性支持向量机方 法将自行车和摩托车区分开来。 b r o w n p 1 设计了一种与摄像机视点无关的运动对象分类系统，主要用予区分人 和车。该系统的运行过程分为两个阶段，在第一阶段系统使用一些经典的分类特征， 如对象区域的分散度及其变化量、适配椭圆的长短轴之比、周期性运动特征、运动 速度，运动方向及其变化量等，先将所有的这些特征_ 进行规范化，然后采用k 近邻 分类器来识别人和车。该阶段的主要霹盼是初始化场景标准化参数。这些参数将在 第二阶段使用，以改善基于标准化特征参数的分类结果。 b i s w a j i t 和g r i m s o n 3 2 1 给出了一种提高远景( f a r - f i e l d ) 视频中小目标分类效果 的方法。该方法首先利用互信息获得一组可靠、独立且具辨剐力豹曩标特征集，然 后用支持向量视方法进行分类。该方法给出了一种特殊的分类器训练方法，使用少 量的样本就可训练获得具有较高精度的分类器。训练分两步，一是使用场景无关的 特征量训练得到基准分类器；二是利用基准分类器产生一些新的样本；最屡利用所 产生的新样本中场景相关和场景无关特征量共同诩练，获得最终的分类器。实验结 果证明该算法不仅能满足一定的分类精度，而且对新场景具有很好的适应能力。 v i o l a 等【3 3 l 提出了基于a d a b o o s t 的行人检测方法，所用的特征h a r t - l i k e 的矩形 特征。与以往的行人检溅方法不同，他们同时从诞标的灰度图像和帧差二值黧像上 提取特征值，这种方法将目标的形状信息和运动信息结合在一起，使目标的模式更 第5 页 国防科学技术大学研究生院工学硕士学位论文 加紧凑。通过a d a b o o s t 算法训练分类器并将分类器设计为级联结构，目的是在检测 过程中逐级排除非行人目标以加快检测速度，一般情况下其检测器准确性较高，但 是实时性较差。 h a v a s i 等刚考虑人在行走时双腿会周期性的发生对称，采用了一种新的方法 对人行走时双腿的对称性进行描述，通过对运动对象进行跟踪得到搿对称性轨迹 ( s y m m e t r yt r a c e s ) ，采用核f i s h e r 判别分析( m a ) 的方法将视频中行人检测出 来。 t u z e l 等【3 5 1 采用协方差矩阵对视频对象进行描述，并基于黎曼流形( r i e m a n n i a n m a n i f o l d s ) 提出了一种新颖的学习算法，用以检测视频图像中的人，取得了很好的 效果。 i e e e 从1 9 9 8 年起资助了国际视觉监控系统研讨会。国际权威期刊i j c v ( i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ) 在2 0 0 0 年6 月出版了有关视觉监控算法 的专辑。当前，国际上一些权威期刊如u c v 、c v i u ( c o m p u t e rv i s i o na n di m a g e u n d e r s t a n d i n g ) 、p a m i ( ! e et r a m o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、 i v c ( i m a g ca n dv i s i o nc o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a l c o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r ( m e ec o m p u t e rs o c i e t yc o n f e r e n c eo n c o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e r v i s i o n ) 、i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等都将视频 运动目标分类研究作为主题内容之一，为该领域的研究人员提供了更多的交流机会。 但在国内对其研究较少，发展较缓慢，相关研究还处在实验室阶段。 1 2 2 国内研究现状 在我国，这方面的研究可以说是个新领域，近几年才开展起来。第一届全国智 能视觉监控学术会议于2 0 0 2 年5 月2 5 - 2 6 日在北京市西郊宾馆成功举行，会议由国 家自然科学基金委员会、国家8 6 3 计划计算机软硬件技术主题、中国自动化学会、 中国科学院自动化研究所举办，并由中国科学院自动化研究所模式识别国家重点实 验室承办。来自全国各地高校、科研院所、公安部、二炮、企事业单位的科研人员、 学者就视觉监控领域作了广泛而又深入的讨论。迄今为止，“全国智能视觉监控学 术会议一己经举行了四届，得到了广泛的关注。 中国科学院自动化研究所模式识别国家重点实验室成立了智能视觉监控研究 组，正在开展智能视频监控方面的研究，并取得了一定的成果 3 6 3 4 2 1 。其研究内容包 括：快速准确的运动检测，实时性、鲁棒性的基于三维模型的车辆与行人的定位、 识别和跟踪，基于移动摄像机的视觉监控技术，多摄像机的协作监控，事件的机器 学习方法，异常现象的检测、报警与目标的行为预测，对目标运动情况给出语义上 第6 页 国防科学技术大学研究生院工学硕士学位论文 窖 i i 一i i i l l l l l l l 。一一 i l l l i i i i l l l l l l l j = 的解释的方法以及远距离的身份识别等等，其目标是实现一个包括以上研究内容的 动态场景集成分析演示系统。国内还有一些高校也进行了这方面的研究，如上海交 通大学、北京航空航天大学、北京理工大学等。但是，在国内公开发表的文献中， 还没有发现有专门针对视频对象自动分类问题的研究。 藿内智能视频监控方面的产晶也只是简单的检测出有无运动磊标，没有对运动 目标做任何分析。通过对长沙市内银行、交通、超市、酒店等监控系统应用单位的 了解，目前对监控内容做进一步智能分析，从而辅助管理决策的系统几乎没有，监 控系统智能化程度普遍较低。 但是，对智能视频( 视觉) 监控产品盼研发和需求关注的单位已有不少，并有 越来越多的实体加入这个行列。特别是在智能交通监控方面已有一些低层次的智能 功能i 如流量统计、违章检测等产品进入实际应用。中国图像霉形学学会予2 0 0 4 年6 月主办了第一届机器视觉国际展览会，在产业界和学术界产生了广泛的影响， 并迄今( 2 0 0 7 年) 连续举办；北京图像图形学会和公安部第一研究所于2 0 0 6 年3 月还在北京举行了首届中国城市公共安全视觉听觉科技研讨会，就视频监控系统中 的运动嚣标识别、人群聚集与突发行为模式分析、生物特征识别与认证等技术在誉 内的研发和应用现状进行了研讨，以提升2 0 0 8 年北京奥运公共安全对策。这些都说 明了智能监控在国内的起步较晚，应用需求近几年才逐步显现，相关的视频( 视觉) 图像处理与分析技术的研究才逐步受到学者、政府和商家的关注和重视。 1 3 本文工作 本文主要研究如何构建一种通用的视频对象分类技术应用框架，实现监控视频 中视频对象的自动分类，要求分类方法具有良好的鲁棒性和准确度，同时考虑到视 频对象分类应用的实时性，还要求分类算法具有较低的计算复杂度。论文的研究成 果主要包括以下几个方面： ( 1 ) 设计了一个通用的视频对象自动分类系统的结构框架。系统主要由训练模 块和分类模块组成。调练模块的主要功能是基予包含类别标签的视频对象样本，采 用合适的机器学习方法训练得到分类器模型；分类模块的主要功能是基于训练模块 获得的分类器模型对未知类别的视频对象进行类别判定。 ( 2 ) 提出了一种基于a d a b o o s t 算法的视频对象分类特征评价与选择方法。该 方法可对分类特征的重要性程度进行定量评价，并依据特征相对贡献率实现特征选 择。 ( 3 ) 将支持向量机方法用于视频对象分类，构建了基于支持向量机的视频对象 分类模型，霹述了应用支持急量机分类器实现视频对象自动分类的具体方法释步骤， 为对象行为的理解与描述提供了便利。 第7 页 国防科学技术大学研究生院工学硕士学位论文 ( 4 ) 结合以上方法实现了视频对象自动分类。将视频对象分为“单个行人 、 “人群一、“车辆一和“骑车( 自行车或摩托车) 的人 四类，验证了特征选择方 法和基于支持向量机的视频对象分类模型的有效性。 1 4 论文的组织结构 根据论文研究的主要内容和研究成果，本文共分六章，各章的内容如下： 第一章，绪论。概述了视频监控的研究背景和研究现状，介绍了智能视频监控 系统涉及到的关键技术，重点阐述了视频对象自动分类技术的重要性和必要性。本 章还详细描述了视频对象自动分类技术的国内外研究现状。最后介绍了论文的主要 工作和论文的组织结构。 第二章，视频对象自动分类系统结构与主要技术。介绍了智能监控关于视频处 理的一般框架，重点描述了视频对象自动分类系统的结构和所涉及的主要技术。 第三章，视频对象分类特征描述与提取。分类总结了当前常用的视频对象分类 特征，并给出了详细的计算方法。在此基础上形成了本文用以描述视频对象的原始 特征集。 第四章，基于a d a b o o s t 的分类特征选择方法。详细阐述了如何利用a d a b o o s t 算法对分类特征的贡献大小进行定量评价，并据此进行特征选择的具体方法和步骤。 详细描述了实验过程，并根据实验结果从原始特征集中选择了部分特征组成了用于 分类的视频对象样本的特征向量。 第五章，基于支持向量机的视频对象分类。介绍了机器学习、统计学习理论和 支持向量机方法的相关理论和基本原理，详细阐述了采用支持向量机分类器进行视 频对象分类的具体方法与步骤。实验将视频对象分为了“单个行人一、。人群一、 “车辆 和“骑车( 自行车或摩托车) 的人 四类，详细分析了实验结果，给出了 相关结论。 第六章，总结与展望。对论文的工作进行总结并提出下一步的工作重点。 第8 页 国防科学技术大学研究生院工学硕士学位论文 第二章视频对象自动分类系统结构与主要技术 2 1 智能视频监控技术 目前，对智能视频监控的研究与应用方兴未艾。智能视频监控是利用计算机视 觉和图像处理的方法对图像序列进行运动检测、运动目标分类、运动目标跟踪以及 对监视场景中目标行为的理解与描述。其中，运动检测、目标分类、目标跟踪属于 视觉中的低级和中级处理部分，而行为理解和描述则属于高级处理。运动检测、运 动目标分类与跟踪是视频监控中研究较多的三个问题；而行为理解与描述则是近年 来被广泛关注的研究热点，它是指对目标的运动模式进行分析和识别，并用自然语 言等加以描述。智能视频监控关于视频处理的一般框架如图2 1 所示。 图2 1 智能监控的一般框架 ( 1 ) 运动检测 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域 的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的 处理