（计算机应用技术专业论文）基于多颜色空间和统计直方图的场景分类和目标检测研究.pdf

s c e n ec l a s s i f i c a t i o na n do b je c t sd e t e c t i o nb a s e do n m u l t i - c o l o rs p a c ea n ds t a t i s t i c a lh i s t o g r a m b y l i ul i n u n d e rt h es u p e r v i s i o no f p r o f l ij i n p i n g at h e s i ss u b m i t t e dt ot h eu n i v e r s i t yo fj i n a n i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n g u n i v e r s i t yo fj i n a n j i n a n ，s h a n d o n g ，p r c h i n a j u n e3 ，2 0 1 1 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导f ， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本人完全意识到本声明的法律责任由本人承担。 论文作者签名：壮 日期： 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借鉴；本人授权济南大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 口公开口保密(年，解密后应遵守此规定) 论文作者魏碑聊虢埠嗍： 济南j 、学硕l 学位论文 目录 摘要l ii a b s t r a c t 1 v f 第章引言1 1 1 课题目的及意义1 1 2 国内外研究现状2 1 2 1 不良信息检测技术国内外研究现状2 1 2 2 场景分类国内外研究现状4 1 2 3 目标检测国内外研究现状6 1 3 视频分析的难点7 1 4 主要内容、研究方法和章符安排9 第二章基础知识和前期工作11 2 1a v i 视频结构及处理技术1 1 2 2 颜色空间1 4 2 2 1r g b 颜色空间1 5 2 2 2h s i 、h s v 颜色空间1 6 2 2 3y u v 、y c a c r 颜色空间1 8 2 3 颜色直方图及特征提取1 8 2 3 1 单帧直方图1 9 2 3 2 帧间差直方图2 0 2 3 3 场均直方图2 0 2 3 4 直方图特征提取方法2 1 2 4 课题组已经完成的相关工作2 2 2 5 本章小结2 6 第_ 三章典型场景分类2 7 3 1 场均直方图2 7 i 联f 写颈色空阳】和统汁臣方图的场景分焚和目杯捡测研究 3 2 基于多颜色空间和场均直方图的典型场景分类算法实现2 8 3 2 1 建立典型场景库2 8 3 2 2 典型场景分类算法设计2 8 3 2 3 实验结果及其分析3 2 3 3 本章小结4 4 第四章移动目标检测4 5 4 1 帧间差直方图4 5 4 2 基f 多颜色空间和帧间差直方图的目标检测算法实现4 5 4 2 1 目标进入场景的检测算法4 5 4 2 2 实验结果及分析4 8 4 3 本章小结5 3 第五章结论弓展望5 5 参考文献5 7 致谢6 3 附录6 5 济南大学硕七学位论文 摘要 随着计算机和通信技术的迅猛发展，多媒体技术也日新月异，网络娱乐节目的内 容形式从由文字和图片为主逐渐向视频过渡。网络提供给人们享受丰富多彩视频节目 的同时，也给色情、血腥和暴力等不良视频的传播提供了便利。为青少年营造一个和 谐的开放式学习平台成为全社会所关注的焦点问题。目前，不良信息检测技术可以实 现对网址、图片和文字等过滤，对视频和音频检测尚不成熟。不良视频检测是一个具 有挑战性的课题，涉及到多学科和多领域的知识，对其有效快速的检测成为急需解决 的难题。 本文研究的典型场景分类和目标检测足不良视频检测中的基础性：【作，不良视频 通常郜是在特定场景f 发生的，由不同对象或者不同对象视角等相关镜头组成。场景 分类将有助f 理解视频内容，使视频内容分析工作更具有针对性。准确的分类便于确 定事件发生的场合类型，从而指导调整视频的敏感度。尤其是室内场景，则需要特别 关注。目标进出场景检测有助f 分析同一场景中各个镜头的有关统计信息之间的关联 性。目前，课题组在镜头分割和视频风格分类上取得较好的效果。镜头分割和场景分 割是视频分析的基础，镜头分割的准确度将直接影响典型场景分类精度。视频风格分 类对视频的整体颜色风格进行判断，便于有针对性的调整肤色模璎等。 本文重点研究不良视频检测中的几个基础性问题，主要研究内容如下： l 、完善多颜色空间视频综合分析平台。平台可以显示打开的视频，通过选择不 同的颜色空间分量，实时显示和计算每帧图像的单帧直方图、差分直方图和场均直方 图等。场均直方图主要用于场景的分类，场景分类模块町以提取其峰参数特征，实现 场景分类。差分直方图主要用f 目标检测，目标检测模块日以统计相邻帧或相隔几帧 的直方图的差值，设定差值阈值实现目标检测。本平台还可以用于检测镜头切换、视 频风格分类和有效颜色分量选择等。 2 、基f 多颜色综合分析平台实现视频典型场景的分类。典型场景往往包含多个 镜头，而这些镜头通常会涵盖场景中的各个方面；于是我们提出一种新的直方图，它 是由视频场景中所有帧图像的某种颜色直方图累计后获得的，具有非常好的稳定性， 基本可以反映该典型场景的独特本质；而不同场景的该直方图，通常存在差异。为了 应用方便，对于累计求和之后的直方图进行平均，简称为场均直方图，它可以简便和 有效地描述场景。本文对直方图多峰参数提取方法做了改进，利用相关分类规则实现 i i i 幕于字颅色窄问和统计直方图的场景分类和日抓柃测研究 室外场景分类和室内场景的风格描述，并取得了较好的效果。 3 、基于多颜色空间综合平台和帧间差直方图实现目标检测。视频中的场景往往 是缓慢变化的，目标是经常变化的。体现在直方图上，当没有目标进出场景时，相邻 两帧图像直方图变化较小，当有目标进出场景时，相邻两帧图像直方图变化显著。利 用直方图之间的叠加关系，对视频中背景均匀或变化较小的情况下实现目标进出检测 和目标数量的判定，目前，研究比较初步，检测效果还不稳定，下一步将深入分析视 频帧间差直方图存在的规律性，提高检测的精度。 关键词：多颜色空间；场均直方图；帧间差直方图；典型场景分类；目标检测； 1 v 济南大学硕仁学伊论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e ra n dc o m m u n i c a t i o nt e c h n o l o g y , m u l t i m e d i a t e c h n o l o g yi sa l s oc h a n g i n gq u i c k l y ；t h ec o n t e n to fe n t e r t a i n m e n to nn e t w o r ki sm a i n l y f r o mw o r da n dp i c t u r et ov i d e o n e t w o r kc a ns u p p l yt op e o p l et h er i c ha n dc o l o r f u l p l a t f o r mo fv i d e op r o g r a m ，b u ti t a l s oi sc o n v e n i e n tf o rt h eo b j e c t i o n a b l ev i d e o s p r o p a g a t i o n n o w , b u i l d i n gah a r m o n i o u sa n do p e np l a t f o r mf o rt h ey o u t hb e c o m e st h e f o c u sp r o b l e m a tp r e s e n t ，o b j e c t i o n a b l ei n f o r m a t i o nd e t e c t i o nt e c h n o l o g yc a nf i l t e rt h e n e t w o r ka d d r e s s ，p i c t u r e ，w o r d ，a n ds oo n t h ed e t e c t i o no fv i d e oa n da u d i oi sn o ty e t p e r f e c t d e t e c t i o no fo b j e c t i o n a b l ev i d e o si sac h a l l e n g i n gt a s k ，i n c l u d i n gt h ek n o w l e d g eo f m u l t i - d i s c i p l i n a r y a n dm u l t i - f i e l d s t h e r e f o r e ，h o wt od e t e c t o b j e c t i o n a b l e v i d e o s e f f i c i e n t l ya n dq u i c k l yb e c o m e sa nu r g e n tp r o b l e m i nt h i sp a p e r , t y p i c a ls c e n ec l a s s i f i c a t i o na n do b j e c td e t e c t i o na r et h eb a s i cw o r ki n o b j e c t i o n a b l ev i d e o sd e t e c t i o n o b j e c t i o n a b l ev i d e o su s u a l l yo c c u r si nap a r t i c u l a rs c e n e ，i t i s u s u a l l yf o r m e db yt h ep e r s p e c t i v eo fd i f f e r e n to b j e c t s o rd i f f e r e n to b j e c t s s c e n e c l a s s i f i c a t i o ni sb e n e f i c i a lt ou n d e r s t a n dv i d e oc o n t e n ta n dp e r t i n e n c ea n a l y s i st h ev i d e o c o n t e n t a c c u r a t ec l a s s i f i c a t i o nc a ne a s i l yd e t e r m i n et h es c e n ew h e r et h ee v e n to c c u r r e d a n dg u i d et oa d j u s tt h es e n s i t i v i t yo ft h ev i d e o e s p e c i a l l yt h ei n t e r i o rs c e n e sn e e dt op a y a t t e n t i o nt o d e t e c t i o no fo b j e c ti na n do u tc a nh e l pt oa n a l y z et h ei n f o r m a t i o nc o r r e l a t i o n a m o n gt h es h o t si nt h es a m es c e n e c u r r e n t l y , o u rr e s e a r c hg r o u ph a v em a d eg o o dr e s u l t s i ns h o t ss e g m e n t a t i o na n dv i d e os t y l ec l a s s i f i c a t i o n s h o t ss e g m e n t a t i o na n ds c e n e s e g m e n t a t i o na r e t h eb a s i so fv i d e oa n a l y s i s ，t h ea c c u r a c yo fs h o ts e g m e n t a t i o nw i l l d i r e c t l y a f f e c tt h ea c c u r a c yo ft h e t y p i c a lc l a s s i f i c a t i o n 。v i d e os t y l ec l a s s i f i c a t i o n d e t e r m i n e st h eo v e r a l lc o l o rs t y l e ，a n dc o n v e n i e n tt op e r t i n e n c ea d j u s tt h es k i nc o l o r m o d e l s i nt h i sp a p e rw ef o c u so nr e s o l v i n gs e v e r a lb a s a li s s u e so fo b j e c t i o n a b l ev i d e o s d e t e c t i o n ，t h em a i nr e s e a r c hc o n t e n t sa r ea sf o l l o w s ： 1 p e r f e c t i n gt h ev i d e oc o m p r e h e n s i v ea n a l y s i sp l a t f o r mv i d e ob a s e do nm u l t i p l ec o l o r s p a c e s t h ep l a t f o r mc a nd i s p l a yt h ev i d e o ，c h o o s ed i f f e r e n tc o l o rs p a c ec o m p o n e n t s ， v 基f 多颜色字闻和统计区方图的场景分类和目标检测研究 r e a l - t i m ed i s p l a ya n dc a l c u l a t ee a c hf r a m es i n g l ef r a m eh i s t o g r a m ，d i f f e r e n c eh i s t o g r a m a n d a v e r a g es c e n eh i s t o g r a m a v e r a g es c e n eh i s t o g r a m i s m a i n l y u s e df o rs c e n e c l a s s i f i c a t i o n , s c e n ec l a s s i f i c a t i o nm o d u l ec a l le x t r a c tt h ep e a kp a r a m e t e r sf e a t u r e sa n d a c h i e v es c e n ec l a s s i f i c a t i o n d i f f e r e n c eh i s t o g r a mi sm a i n l yu s e df o ro b j e c td e t e c t i o n ， o b j e c td e t e c t i o nm o d u l ec a nc o u n tt h ea d j a c e n tf r a m e ，b ys e t t i n gt h et h r e s h o l dc a na c h i e v e o b j e c td e t e c t i o n t h ep l a t f o r mc a na l s ob eu s e dt od e t e c ts h o t ss w i t c h i n g , v i d e oc o l o rs t y l e c l a s s i f i c a t i o na n dt h es e l e c t i o no fe f f e c t i v ec o l o rc o m p o n e n t s 2 w eh a v er e a l i z e dt h ec l a s s i f i c a t i o no ft y p i c a lv i d e os c e n eb yu s i n gm u l i - c o l o r c o m p r e h e n s i v ea n a l y s i sp l a t f o r m t y p i c a ls c e n eo f t e nc o n t a i nm u l t i p l es h o t s ，a n dt h e s e s h o t so f t e nc o v e ra l la s p e c t so ft h es c e n e ；s ow ep r o p o s ean e wh i s t o g r a mw h i c hi s f o r m e db yc a l c u l a t i n gt h es u mt o t a lo fac o l o rh i s t o g r a mo fa l lt h ef r a m e si m a g eo ft h e v i d e o ，t h en e wh i s t o g r a mh a sg o o ds t a b i l i t ya n dc o u l dr e f l e c tt h eu n i q u en a t u r eo ft h e t y p i c a ls c e n e b u tt h eh i s t o g r a mo fd i f f e r e n ts c e n e so f t e na r ed i f f e r e n t i no r d e rt oa p p l y e a s i l y , w ec a l c u l a t et h em e a no ft h ec u m u l a t i v eh i s t o g r a m ，a l s on a m e da v e r a g es c e n e h i s t o g r a m t h eh i s t o g r a md e s c r i b et h es c e n ee a s i l ya n de f f e c t i v e l y i nt h i sp a p e rw e i m p r o v eo ne x t r a c t i o nm e t h o do fm u l t i p e a kh i s t o g r a mp a r a m e t e r s ，a n da c h i e v eo u t d o o r s c e n ec l a s s i f i c a t i o na n dd e s c r i b et h e s t y l e o fi n d o o rs c e n e b yu s i n g t h er e l e v a n t c l a s s i f i c a t i o nr u l e s t h er e s u l ti sg o o d 3 w eh a v er e a l i z e do b j e c td e t e c t i o nb yu s i n gm u t i c o l o rc o m p r e h e n s i v ea n a l y s i s p l a t f o r ma n df r a m ed i f f e r e n c eh i s t o g r a m t h es c e n ei nt h ev i d e oo f t e nc h a n g es l o w l y , t h e o b j e c ta l w a y sc h a n g e s r e f l e c t e do nt h eh i s t o g r a m ，t h eh i s t o g r a mo ft w oa d j a c e n tf r a m e s c h a n g e sl i t t l ew h e nt h e r ei sn oo b j e c ti nt h es c e n e , o t h e r w i s e ，i tw i l ls i g n i f i c a n tc h a n g e u s e t h er e l a t i o n s h i po ft h eh i s t o g r a m ，w er e a l i z ed e t e c t i n gt h eo b j e c ti no ro u ta n dd e t e r m i n i n g t h en u m b e ro fo b j e c t si nt h eu n i f o r mb a c k g r o u n do rs m a l lc h a n g e si nt h eb a c k g r o u n d c u r r e n t l y , w eh a v ed o n eo n l yb a s i cr e s e a r c h ，a n dd e t e c t i o nr e s u l t sa r en o ts t a b l e i nt h e f o l l o w i n gw o r k ，w ew i l lt h o r o u g h l ya n a l y z et h er e g u l a r i t yo fh i s t o g r a mo ff r a m ed i f f e r e n c e t oi m p r o v ed e t e c t i o np r e c i s i o n k e yw o r d s ：m u l t i p l ec o l o rs p a c e s ；a v e r a g es c e n eh i s t o g r a m ；d i f f e r e n c eh i s t o g r a m ； v i d e os c e n ec l a s s i f i c a t i o n ；o b j e c td e t e c t i o n ； v l 济南大学硕卜学位论文 1 1 课题目的及意义 第一章引言 自2 l 世纪以来，随着计算机和通信技术的。毪速发展，网络用户和信息量与 日俱增，信息安全问题日渐突出，尤其网络中色情、血腥和暴力等不良信息的泛 滥传播，给青少年的健康成长造成极大的负面影响，成为世界各国共同关注和急 需解决的难题。如何控制不良信息的传播，保护青少年健康上网足整个社会所要 解决的重要课题。 世界各国都采取相关政策和措施来杜绝不良信息对苛少年产生的负面影响， 美国于1 9 9 8 年通过“c h i l do n l i n ep r o t e c t i o na c t ”( c o p a ) 法案，互联网服务商针 对性开展对网络内容的监管，以及通过定制过滤器限制孩子接触不良信息。瑞典 f2 0 0 5 年由一家网络公司对自：联网设置网络过滤器控制不良信息的传播。我国 于2 0 0 4 年起开始倡导“绿色上网”，积极研究其相关标准，并开发具有图片、匝 联网信息过滤等软件。目前，不良视频传播处于泛滥之际，但开发的过滤产品不 具备不良视频检测和过滤等功能。针对视频枪测和过滤技术还不成熟，本课题组 经过对色情、血腥和暴力等不良视频特点的充分调研，提出唑解决不良视频检 测关键问题的思路和方法。 视频镜头分割和风格分类是不良视频检测基础性工作。不同色彩风格的视 频，血色和肤色存在差异性，进而影响对其检测和提取。因此，视频风格分类后 将提高血色的检测精度和更有针对性的对肤色进行建模。镜头分割是镜头关联分 析的前提，由一系列相关的镜头组合成完整的场景视频片段。色情、血腥和暴力 等不良视频通常都有其发生的特定场景，镜头中往往是场景中的对象不同或者观 察的对象视角不同，因此，场景分类将使得检测i ：= 作更具有针对性。目标进出场 景检测及目标的数量判定，有助于对视频中对象的行为理解。基于上述基础研究 后，综合利用人脸检测、表情和性别识别、肤色模型和纹理分析等实现不良视频 的检测。 本文重点研究的视频典型场景分类和目标检测。其中视频场景分类可用了二对 不良视频经常发生环境的预警等。不良视频在不同场景下发生的概率是不同的， 幕f 彩颜色窄问和统计直厅图的场景分类和目标柃测研究 例如：色情视频大多数情况f 发生在室内环境，对于室内场景需要莺点检测。对 于部分多发性宅外场景重点关注即可。因此，这样不仅可以减少检测的工作量， 而且使检测 作更具有针对性。研究的目标进出场景检测及目标数星判定可用于 大璎暴力冲突集会预警等。暴力视频往往目标进出场景比较频繁，以及目标的数 目较多。当检测到此类特征时，需要特别警惕。不良视频检测是一项系统性的工 作，本文所做，f 作是检测工作中的基础研究，旨在为不良视频检测提供一种解决 问题的思路和方法。其中研究的方法以及涉及到的技术对其它相关领域的发展也 具有借鉴意义，可用于远程监控、智能交通、大火预警和电影剪辑等领域。 1 2 国内外研究现状 1 2 1 不良信息检测技术国内外研究现状 关f 对淫秽物品的认定e ，国家新闻出版署关于认定淫秽及色情出版物的 暂行规定指出“淫秽出版物是指在整体七宣扬淫秽行为”，“色情出版物是指对 普通人尤其未成年人身心健康有害、而缺乏艺术或科学价值的出版物”。之后， 全国人民代表大会常务委员会关于惩治走私、制作、贩卖、传播淫秽物品的犯 罪分子的决定文件中指出“淫秽物品，是指具体描绘性行为或者露骨宣扬色情 的诲淫性的书p j 、影片、录像带、录音带、图片及其他淫秽物品”。虽然，国家 给出了科学的定义，但过于抽象化，主要针对淫秽物品的高级语义特征进行的描 述。事实上，机器识别不良视频e 要基j 二视频的低级视觉特征，很难准确的描述 高级语义特 i e 【，跨越低级语义和高级语义之间的鸿沟是相当艰巨的任务。 不良信息检测多数足基f 对不良图像的检测，而不良视频的检测由f 涉及到 视频的高级语义特础2 1 ，多数采用人工标注的方法。不良图像检测方面多数足基 于图像的低级视髓特征，首先提取视频镜头关键帧，然后分析图像样本提取图像 中的肤色、人脸、纹理和形状信息等特征，最后利用分类规则实现不良图像分类。 在不良图像特征提取上，主要集中在肤色、人脸和形状等特征的研究。f l e c k 3 l 等人通过分割图片中的肤色和分析人体姿态的几何特征等识别裸体图片；j e o n g l 4 l 等人通过人脸检测和肤色过滤等来识别色情图片；l o p e s t 5 1 等人通过颜色信息建 立b o v f 直方图的方法来检测色情图片。吕昕1 6 】等人考虑到光照对肤色检测的影 响，利用伽马矫正实现不良视频的检测。王辰【7 】等人利用了入或物体的运动特征， 2 济阿夫掌硕卜学位论文 火焰和血的颜色特征实现暴力视频的检测。安红心【8 j 等人从视频流中提取运动矢 量图的运动特征，实现了不良视频的检测。 目前对不良信息检测的研究存在的问题主要有两个方面：一方面，没有充分 考虑图像的整体颜色特征，主要研究前景的颜色、形状和纹理等特征信息，缺乏 前景和背景的关联性分析；另一方面，缺乏对人物对象的行为分析。基于以上存 在的两点问题，为了充分考虑不良视频的时空整体语义，本文着重将对不良视频 对视频的场景片段的整体特征进行研究。并对前景与场景之间存在的关联性进行 分析研究。 困外已经开发一砦比较成熟的不良信息检测系统，主要利用计算机视觉和图 像理解等技术对不良信息进行识别和过滤。例如：f l e c k 和f o r s y t h 等人开发的 不良图像搜索引掣3 1 、w a n g 等人开发小良图像分类系统w i p e i g , 1 0 j ，可以实现对 不良图片等进行过滤；a r e n t z 和o l s t a d 等人研究的基于图像内容的网址分离器【1 1 l 可以实现网址过滤等、v i m a 公司发布的图像过滤软件i m a g e b e a g l e t l 2 1 、 m i m e s w e e p e r 公司研发的软件系统p o m s w e e p e r 、c o n t e n tw a t c h 公司研发的 c o n t e n tp r o t e c t 、s o l i do a k 软件公司研发的c y b e r s i t t e r 、s u r f c o n t r o lp l c 公司 研发的c y b e r p a t r o l 、m c a f e e 公司研发的m c a f e ep a r e n t a lc o n t r o l s 以及s f 4 公司 研发的f i l t e r p a k 、法国l o o k t h a t u p 公司研发的图像过滤与检索系统i m a g e f i l t e r 由占 午。 国内开发的系统主要针对不良图像和文字检测【1 3 , 1 4 1 方面。例如：2 0 0 2 年， 由飞涛软件工作室研发的“色情图像识别软件”通过人脸、皮肤、姿态、局部关 键部位和纹理等快速、准确识别色情图像；2 0 0 4 年，由硅丰科技发展有限责任 公司推出的“硅丰佳盾”软件，具有图片、f l a s h 以及f 联网内容等过滤功能 【1 5 】；2 0 0 8 年，由郑州金惠计算机系统工程有限公司和北京大正语言知识处理研 究院有限公司共同开发的“绿坝花季护航”软件，可以有效过滤色情图片、文 字等不良信息【1 6 1 和控制上网时间等；2 0 0 9 年由中国科学院声学研究所研发的 “网络不良信息检测系统”，利用自然浯言理解处理技术与网络技术结合，通过 语义理解信息提高对网页内容判断的准确率；“护花使者”软件，可以过滤不良 网站，检测色情图片等，家长可以监督孩子的电脑，保护孩子远离色情信息等。 目前，国内外推出的基于终端的软件和网关型等绿色上网产品，这些产品尚 3 幕f g 颜色守间和统计直方图的场景分蹩和目标榆测研究 不具备视频识别和过滤功能【1 7 1 。其共同特点是：主要依靠网址过滤、关键词过滤 和图像过滤等技术，对互联网上的文本、网址和图像等内容根据相关规则实施过 滤和拦截。由于巨联网上不良影视正呈现泛滥之势，已经严重影响青少年的身心 健康，并引发许多社会问题。对不良视频的识别和过滤势在必行，下一代绿色上 网产品应该支持视频识别和过滤功能【18 1 。 1 2 2 场景分类国内外研究现状 视频分析技术起源于机器视觉方面的相关技术，应用领域十分广泛，可以应 用于人脸识别、智能交通和数字化图书馆等。视频分析技术大致分为两类，一类 是结构分析，另一类为语义分析。结构分析t 要是基于视频自身结构，分析视频 的镜头和关键帧，并提取其低层视觉特征。语义分析主要是分析镜头间的关联性， 其中，视频场景是相关镜头的组合，接近人们对视频的卡观认识，蕴含视频许多 的语义内容。目前，视频分析技术研究较多的是基f 视频的低层语义特征，如镜 头关键帧提取和镜头分割等。由丁二场景分类涉及到视频高级语义，研究还处于初 步阶段。 场景分割足场景分类的基础。场景分割的准确性将会影响整个视频场景分析 的后续 作的准确性。镜头分割方法主要有基于像素域和压缩域两种方法。基于 像素域的分割方法又分为像素比较法、分块法、直方图法、局部特征法和运动法 等。基j 二压缩域的分割方法分为d c t 系数法、d c 图像序列法、运动矢量分析 和宏块法等。 场景分割般步骤为：首先，进行镜头分割；然后，根据相似度对镜头进行 聚类。彭宇别1 9 j 等人根据视频运动信息将视频内容划分内容一致子镜头，然后根 据镜头的视觉、粒度、顺序和于扰因子等利用最大匹配的算法判定镜头间的相似 性，最后利用k u h n m u n k r e s 算法和动态规划算法实现较好的视频聚类效果；朱 映映【2 0 l 等人综合利用压缩域中的d c t 系数、d c 系数和运动矢量等特征，检测 场景突变和渐变变换的镜头边界，从而利用边界实现场景分割，并且在检测速度 上也有很大的提高；营建荣【2 1 1 提出一种基于语义的场景分割算法，提取镜头的关 键帧的颜色、纹理和直方图等特征，主要通过构造多个s v m 分类器来实现不同 语义镜头聚类规则，实现低层视觉到高层语义之间的简单对应；王学军【2 2 1 等人综 4 济南夫学硕_ 卜学位论支 合考虑同一场景镜头视觉相似性和镜头运动特征一致性，解决场景过度分割问 题，运用分割方法有效的实现场景分割；张振劂2 3 l 等人结合流形学习理论提取视 频的结构特征，并用马尔科夫链蒙特卡罗方法动态模拟采样，获取场景边界最大 后验概率分布，完成场景自动分割，此方法是一种基于视频结构的场景分割的新 方法；y u 锄【2 4 j 等人主要通过分析镜头切变时特征等建立图分割模型，实现视频 镜头检测；a r s l a n 2 5 】等人利用时空信息实现视频片段的分割和匹配，其核心思想 足利用视频对象的运动特性，用快速傅里叶变换算法建立特征点的时空关联【2 5 1 ， 用视频片段的纹理、色彩、运动和快速傅里叶描述子作为片段特征，利用图论中 的二分图实现最大匹配，通过分裂弓合并，实现镜头分割；李松斌【2 6 1 等人提出通 过剧本和字幕的匹配和视频帧之i 日j 的颜色分布差异提取场景片段的分割边界，并 取得较好的分割速度和准确度。 场景片段是指语义相关镜头的组合，这唑镜头一般发生在相同的时间和地点 【2 引，场景足视频的一种高层语义特征。目前，国内外多数视频分类的研究内容集 中在体育、新闻和广告等，对视频场景分类的研究处于基础研究阶段。视频场景 分类研究集中在特征提取和分类方法上。 场景的分类特征主要用颜色、纹理和边缘等低层视觉特征以及语音信号等来 描述。l i u 2 9 3 0 】和朱映映等人利用卢音和图像信息等，根据音频信号的频率特征 划分为不同的爵频场景模型，将待测视频数据中的音频流与音频场景模型信号频 率进行匹配；林通【2 8 】等人利用主色和空间结构两种直方图，主色直方图反映的是 视频所关注的持续时间最长的主要颜色，窄间结构直方图是从颜色块图提取描述 图像空间信息的特征，两种直方图町应用f 场景结构的提取。金鸣【3 l 】等人通过综 合分析颜色直方图、边缘方向直方图和共生矩阵的纹理等特征，从而弥补低层视 觉特征与高级语义之间的差距。 场景分类方法主要有基于粗糙集理论分类方法、构造s v m 分类器方法、 b o o s t i n g 方法和谱聚类方法等。殷慧【3 4 1 等人利用b o o s t i n g l 31 - 3 3 1 方法从尽可能多的 特征中选择有区分力的特征维，并利用a d a b o o s t 构建有效的分类器实现城市场 景的分类；崔艳云等人利用粗糙集【3 5 3 6 1 的理论解决视频分类中的特征选择问题， 利用导出的分类规则实现视频分类；储岳中等人通过支持向量机【3 7 棚1 构建视频的 低层特征与高级语义特征之间的转化，实现语义内容上的视频分类；张建掣4 0 1 5 幂f 写颜色字间和统计区方图的场嚣分类羊目标榆测研究 等人通过构造高斯混合模型【4 1 , 4 2 1 和谱聚类的联合评价函数得到最优化分类个数 和特征窄间维数，对分类特征及分类规则的数量上进行优化，实现较好的分类效 果；此外，原野等人通过建立视频特征库，然后对视频特征属性利用分类关联规 则等技术进行数据挖掘【4 3 , 4 4 ；程文刚等人提出基于滑动镜头窗【4 5 舶】的组合能快速 有效的视频场景检测的方法，通过相关性函数来衡量镜头类的相关性；王鹏 4 7 1 等人为了更合理的对镜头相似性度量，利用了信息论联合聚类算法将特征关联性 和镜头聚类同步进行优化。a d i t y a 4 8 l 等人分别建立贝叶斯分类器和设计了不同的 策略的组合算法先将场景分为窀内和室外两种场景 4 9 , 5 0 ，然后对室内或室外场景 再精细分类；刘硕研【5 i 】等人利用基f 上下文语义信息的b a g - o f - w o r d s 模型算法， 由p l s a 自动分析得到上下文语义信息，将图像块在特征域的相似性同窄问域的 上下文语义结合，准确定义视觉单词，用其出现频率作为图像场景表示，最后用 s v m 分类器实现场景的分类。 1 2 3 目标检测国内外研究现状 目标检测是指对视频中的运动对象【5 2 , 5 3 1 或者前景【矧的检测，是视频目标行为 分析中的一个基础前提。目前，辛要的目标检测方法有：背景差分法、帧间差分 法和光流法等。 背景差分法是指定视频中的某一帧为背景帧图像，然后运用当前帧与背景帧 的差分检测运动区域的一种方法。由于背景差分法实时性好，并且一般可以提取 目标的完整特征数据，被多数实时检测系统所采用。但对背景的光照、水波波动 和树叶摇动等变化较敏感，需要不断的对背景进行更新，多研究也集中在如何有 效的进行背景更新。侯志强【5 5 】等人提出基于像素灰度归类的背景蘑构算法，利用 灰度差对像素点的灰度旷j 类，取频率最高的灰度值作为该点的背景像素值；张恒 等人采用混合高斯模型【5 6 巧9 】对每个像素点进行混合高斯分布进行建模，提出基于 样本有效因子的模氆更新方式，提高模型对背景变化的适应能力；丁德志i 删等人 采用自适应背景建模，利用动态的图像作为背景帧，更新时采用动态加权系数， 背景差分采用动态阈值。 帧间差分法是对相邻或间隔多帧的两幅视频帧图像进行差分运算，差值大f 设定阈值的部分判定为目标的一种方法。帧间差分法对动态环境自适应性好，计 6 济南大学硕卜学位论文 算量比较小，适用于实时性较高的系统。但往往不能完整提取全部相关特征像素 点，会导致运动目标内部空洞而不充实。刘艳丽【6 1 1 等人在运动目标检测算法中通 过帧间差得到运动信号，进而捕捉到场景中的运动目标；潘翔鹤 6 2 1 等人利用帧间 差分检测出梯度图像的变化区域再利用背景差分在变化区域中检测运动物体； 刘鑫【6 3 】等人为每个像素建立混合高斯背景模型，利用帧间差分将每帧图像都区分 为背景区域、背景显露区域和运动物体区域，该方法很好应用于视频中存在不确 定性因素的背景建模。 光流法主要是利用运动目标随时间变化的光流特性，将运动偏移向量作为特 征。光流法以灰度梯度或亮度不变约束假设为基础的，能够检测较完整的目标运 动信息，但是由于受噪声、阴影、多光源和遮挡等影响，此时，得到的光流场不 是很精确。另一方面，计算复杂度高，实时性不好，因此，在实时检测系统时一 般不被采用。早在1 9 9 4 年b 姗n 【6 4 1 等人对光流法的一些相关的技术进行了阐述， 给出了此方法的止电应用；屈有山【6 5 1 等人改进了光流场算法利用隔帧差分光流 场算法克服传统光流场算法不能识别帧间位移小f 一个像元的运动目标减少了 虚警和误判率；苇颖【6 6 l 等人利用光流场算法对目标跟踪和运动检测方面做了深入 的研究；张磊【6 7 】等人利用光流的大小与方向作为特征向量，用k 均值聚类算法得 到运动目标区域，用