（信号与信息处理专业论文）层次化视频语义标注与检索.pdf

串谶辩授大学博士学蠛论交臻要 摘要 随着多媒体、计算机和网络的发展，视频数据飞速增长。为了对这些海量视 频数据进行存储、管理、和索譬| ，需要研究高效的基于内容豹方法对视频数据进 行检索，而视频标注是视频索孳l 和褫频搜索的基础。本文研究如何科用机器学习 和视频的特征，尉视频进行多层次的、基予烬容的标注。 褫频在结擒上共分殴个屡次：视频( v i d e o ) 、场景( s c e 黻_ ) 、镜头s 融) 、 图教帧( m 嘲e ) 。通常视频标j 奎主要在其中的视频层和镜头麒中进行。视频层鲍 标注是对整段视频标注其类型属性。镜头层的标注主要是依据从该镜头中提取的 关键蛱，标注其对应酶语义摄念。根据掰标注麴语义概念对废翡是霉象帧漂次还 是物体层次的，镜头层标注又可进一步分为圈蒙帧层标注释物体层标注。本文研 究在视频层、图象帧层、和物体层上进行视频标注时的关键问题，主要王作和剖 新之处归纳为以下几点： 1 舀前视频类型层标注的研究工作通常仅仅标注了几种简单的类型，或者是局 限在电影、体育运动等某个特定靛类型内标注其子类型，两且使用的分类器 也过于蔫单。本文定义了一个相对完备鹩视频类型分藤袭示，分析并提取一 系列与类型棚关的时空域特征，并提出使用局部和全局优化的多类s 、，m 二 叉树提惠分类精度。实验结果表明，本文提出的局部耧全局优化豹s v m 二 叉树与另外两种典型的s v m 多类分类算法、戳及现有的视频分类工作中使 用的分类器棚比，能够获得觅高的精确度。 2 。当嚣黪撬频类型层标注工作都是采焉被动监督学瑟鲍方法，需要大薰筋谢练 数据和费时费力的手工标注。本文将主动学习引入视频类型层标注，并提出 使用后验概攀来计算分类器对未标注样本的置信度，然后依据此置信度选择 分类器最不确定翁样本，也鼯蕞拜寿露”鹃样本提供绘蘑户遴露标注，默瑟 用更少酶训练样本获得和大量训练样本避似的分类效果，减轻用户标注诩练 数据的负担。实验结果表明，本文提出豹基于囊验概率的主动学习样本选撵 哮| 嚣零粤接大学褥士掌谯论文接要 策略簧略好于现有的基于变型空问的主动学习样本选择策略、以及被动学习 的样本选择策略。 3 对予瀚象蔽层锐频标注，本文考虑一种经常遐到的实际应焉：仪拥有一小部 分糕关豹正铡，翔德学习该霜标概念翦模型。此时进行视频标注主要存在下 谣嚣个阕题：第一，对于仅鸯正铡的键练数箍，传统熬送分墅分类器懿s v 鹾 等无法衰接使餍；第= ，区分各种语义概念的底层特征蒋缦大的不阊，使是 统一的特征无法逶应各种语义概念的变化。本文提擞一个基予流形排序的关 键帧图象层视频标注框。对第一个问题，用流行排序解决仅宥正例的不足， 同时可以利用未标注数据的分布信息。对第二个闻题，定义一个特征选择准 则，引入特征选择为不同的语义概念选择不同的特征。此关键帧图象层视频 标注框架支持新定义的目标概念和新特征的引入。 4 在物体层视频标注中，传统的多实例学习表达忽略了各种语义概念之间的语 义相关性。因此本文提出蹦鼢幼嬲- - b a s 醐多实铡表达来描述这种概念闻的语 义裙关性，劳搬据蹦溆粼溉丽表达设计一种薪麴多窭饲学习算法 黼制鑫勖嫩。算法首先对铡练数据孛的每个包进行特征映射，转换成包级 特征空闻辫一个特征矢量，放两将多实例学习转换为传统购监督学习。这释 特征映射会走每个包建立一个包含大量噪声鲍蔫维特征矢量，霹以慝 a d 鑫b q o 蘸进行特征选择并构建分类器。 5 。不同的语义概念对应的底层特征肖很大的不阕，因此特征选撵对视频标注是 非常关键的一个阍题。以前的研究工作在将多实例学习应用予视频标注时， 都忽略了如何在多实例学习情况下做特征选择的问题。由于传统的单实例学 翔下的特征选择算法通常都无法在多实例学翔中宣接应用，本文提出了一种 多实例学习下的特征选择算法e b m i l ，能够在选择映射后的包级特征的同 时，选择不同的特征源( 颜色、纹理等) ，从而获得更好的视频标注效果。 关键谲：纂于内容的褫频检索视频标注视频类型分类多实例学习特征选择 半监督学习主动学习 孛藩褥技大学蹲士擎茬论文 a k ；l l 撇 焱b s 熏豫c 鼍 w 蜘饿嚣d e v 麟。黼粼嫩移f 燃毽l t l 精确 a ，c o 抛p 骓瓣f 黼di 髓抛蝴躐，饿e 糙i s 黼 联p 埝s i v 嚣i n e 羚a s o 獭e 蠛fv 醛e o d 溅捧 f 游雒i e l 蝴ts 镪臻g ；e ，黻a n 鑫鬈e 黻e n ，巍毂罐 i n d e x 赫go f 饿e s em a s s i v ev i d e od 激a w en g e d 婚 i n v 嚣s t i g 矗镣董n o 糙e 黼c i e n t e o n 翮1 弘b 韪s 硎d e or 船i e v 箍l( c 转v r )a l g o f 赫m s d e oa 1 1 n o 谂l i o ni s 捧 辩l 魏i l 黼搿嗽酝v i 舀鼯撑躐e v 越鑫遗漱麓魏， 穗氇诲纛；s s e f t 敷遗毽w 霉w 溅 n v 域i g 嶷辩基。谨埝l 溅l 耋茹e 瓣馘莪i 娃el 裁i 秘i 瓣g 戡魏戢 q 醛嚣粕莲v i 磊鼯酗羚s ，瓣 p e 曦釉1 凇嫩雌耄瓿dv o 糕羹洲i o 糕躐镬贩猎睡掣i d l e v e 坟 抵羽憋耄 瀚l 粒勤黻l 霉￥棼l s 瓤￥i d 棼os 妇e 键羚：v i 如魄s c e 薤e 警s 觏镌鞠莲貔跬瓣。 t y p i c a l l yv i d c o 猢。协t i i sp e 渤蝴e d i nv i d c o - l e w i ds h o t - l e 坩1 a n n o t a t i o ni n v l & o - l 渊i 尊li s 鼍。辐s i g 投v i d e o 群= n | i 牲如潮a t o n 釉re 瓣l lv i d c l i p a n n o 镪= i o n 融 s 魏海l e v 謦li s 糖勰纛瓣荡ee 爨蹩s p 鞘瘐n g 辩爨绷l e 髓e e 撵稻 裁站巍s 融，瓿s e d 濑 妯el o e y * 譬隐m ee x 船地df 幻瓣l l l 基s h o 气s h 酶l e v 烈v i d e oa n n 桃敝i o 髓i sf 组螺e r c l 豁s i 融避i n 姆溉a g e - l e v e l 鞠n o 耄a t i o n 鞠纛o 专_ l e 垤l 粕n o 饶t i o 瑰粒e o 埘i n g 瓠酶 鞠赣。瀛穗魏p 毫k l 渊舒玲赫鑫誉争l 钾嚣l 髓。萄e c 弘l 霉v e l 1 鼗黼s 纛l s 辩瞧a 蠢硼，黼 i 湃e 群瓣s o 掰ep l 豢m s 壤v l d 箍黥瀚辩论秘遗v l d - l e v e 毛i 黼魏g 。- l e v 搴l ，糊纛 。垮蕊l 销潮，餐靖弱艇逸燃l 搬i o 羲s 巍糕莲i 懿建o ￥采l o 萋薹s 髓魏斡e 辩爨掰斜粼鑫s 惫l l 铡蟒： l 。f 糖v i 如o _ l 斟e l 鑫黼凇；o 甄诣涨燃聪s e 敬h 粼 r k s 璐糖l 玲躺瀚玩拇s 剿e 嘲 l i m i 翻鬈c n 糟s 锵t ks u b - g e n 婵sw i 撒i n 鑫e e 嫩讯鬈e n 端，a n dl h e 珏c l 黼s i | e r s 鑫瓣 。魏矬套s 赫p 融溉曩蕤e 蠢锵l a 鼍l v e l y 蚓辩泌建s i 磷v i 蠢鬈e 羚愆硼协l o 塞蒡 鞠a l y 勰a n do 黼糟c 耋as c r i e so fs p 鑫t i 稍a n dt e m p o r 馥i 庇a t 哦s 煺l a t 喇t ov ；d e o g e 翔潜瓢 f 醒m e 黼。糙，蝴op 俺p o 辩协毽s e 鑫l o 潞lo p 耄i 糊a l 鞘d 窑l 蛰撼lo 衅i m a ls v m 基l 攒谨y 搬| 蠢辩娃瓤l 鑫s ss ￥艇棼l 鑫辩i 彝糖i o 髓谂i 辫辩铡e 晒e l 鑫s s l 董巍越i o 我 a c c u r 弘 2 c 秘艄精t 勰s e a 摊耋1w o r 砖法v i 如瓣l e v e l 躺n o 穗l l | 。髓髓s h a l l y 粼l o 辫p a s s i v el 嚣渊i 稳蚕 l l l 巾嚣辩接丈攀簿1 莹孥簸论交 a b s t r 箍髓 张l c h 蠢。f 鞋鑫纛纛氧l 塔嚣一s c 鑫l 棼r 鑫i 瑟i 魏g 纛激鑫a 爨莲i f 羚e * e q 秘s 鞋拜l ；费g 魏挂糕鑫辩l a b o l 嚣g 霉籁穗， w bi n c o 印o r a t ca c t i v ei e a m i n gi n t ov i d e og e n 揩c l a s s 讯c a t i o n ，a n dp r o p o s ea n s v 黼l i v el e a r n n ga l g o r i t h mb 技s o d 渊p o s t e r i o rp r o b a b i l i 弛w bf i r s tu s e 筘黜娃黻p 羚踌i 潍。唧滚姆s v 黼e l a s 潮e r 专oe a e u l 凝谯ee 溯霸( 1 e 黼嚣甜枣a 幽 瓣l 痨嚣 移ds 鑫黻p l e ，渊莲巍e 髓s e l o 瞧穗拈m o 鼹疆n e o n 巍d e n rs a 糊p e so ft h ec l a s s i f i 甜 稻f 娃搭论l 鑫娩氧 弧e 镰o s 妻毽乳e 岱n 蠡琏嚣掰s 鑫激砖塔a l 磷a y s 凇s 秘瞒轮热e 锄啾v 鑫l 鞋费妒s 鼗雌溉钕氐e l 熊s i 蠡琵髓羚麟麝瘩远嚣l ；垤l e 瓣i 褥s 识辩鼢 w eo 糍u s e 论戳f 搬l 舔i 赣gs a m p l 嚣s 协o b 攮涵e 黼嚣豫b l ee 嶷s 鼙淤e 爨 汰携窭髅毯糙y o b 谂i 糖醚啄l l s i 鸳l 袅琴薛一鲇a l el 怒赫i 鹊鼹礅争l 然，搬u sa l l 释l 鑫姥瓣s 獬l 箍l l 鹋e 氐瞧 3 f e rk y 一蠹醐i 嫩鑫g e l e v 麟v i d e o 瓢瞅a 主i o 壤w ed i s e 燃sa 妙p i c a lc a s e 法v 姑e o a n n o t a t i o n ：t ol e a mt h et a 曙e tc o n c e p tu s i n go n l yas m a l lf l u r n b o ro fp o s i l i v e s 塞瓣p l e s 。 a 瓣o v e l 瓣黼i 貉l d 疆蟪l ( 蕤霉殛辩莲s e 魏嚣瓣e 纛p 羿鑫酶拖e 萋( 淹氇i s p r o b l e m h o w e e r ，v i d i i 拳oa n n o t a t i o ：nn e e dl a r g e8 c a l ev i d e od 2 r t aa n dl a 螅es c a l e f e 戤u r ep 0 0 l 毫og 娃g o o dp e r 孙翩釉c e i n t h i ss i t u a t i o n ，辉i p l y i n gm a n i 稻l d 穗| 赫罐w i l li 鹣疆毽鼍垂撵受l l o w i 鲳掌哟曲l 霉m s ： 瓣纰e 款溽l ee o 黼翻瓣i 鳓e o 惑黼d 巍eo 耩搭e 舞d i 燃霉蕤s l 黻嚣职 讯i 蕈瓣。秘搿辩蝴m o d 牲l e s ，i 。e p r e f i l 考e 靠n g 黼d 甄擞翳辩l 髓鲢髑，褥专瓣e 骶辆黼爹玲b l 。戳sr c s 蕊w 皱骶l ss c 赫激e i s e x 埝巍s ；b 耘蠢 疼鑫e x i b l e ；魏蠢茗爨s 靠巍耋莲i 建鏊建孽掣铲糖鑫妻疆| 霉s 螽l 豢攮尊蠡：鑫瞧l 霉p e l ， i 撼l 蟹蠖醛e i n g 搿l 键盘蕤i 魏勃。l 秀e l i q 嚣。拄s 棼l e c t i 您g 董b 鑫l 挂# 尊敬鑫n c 垂曩魏i 雌鬈熊霉we o 转e e | ，嚣* 氛l 菇o b 强游l e ￥e lv ( 埝o8 爨n o l 融i o 蘸，魄e 鑫醛s e 壤。l 豫 稳 爨g 融鑫霉醢s 激l l yl & b e l 遘i 糕 i m a g e 1 e v e l w h i l e毫h es e m 蝴i c e c e p 挺蒜黼 i n r e g i o 魅a l l e v e b姊l 赋 s i n g l e i n s l a n c es u p e i s e dl e a r n i n gc 糊n o ll e a mt h e 毫a 蟮e tc o n c e 跳d i r e c t 取 l f 溯蠢爨。魏i 鞭a 弘鑫s 鑫l 曲e l e d 如g 醪爨越l l i p l ei 蕤s 潮霉霉s ，g 蝾馕e 辑挺融龇 i m a g ea st h ei n s t a n c e sj nt h eb a g ，o b j e c t i e v e iv i d 嚣oa n n o t a t i o nb e c o m e s at y p i c a l m u l l p l l 沙l n s t a n c el e a 瑚i n g ( m i l )p 1 o b l e f n h o w e v 。r c o n v e n t i 毡n l l 鞋珏l 磊p l 嚣。i 霸s 捻魏e el e 攫獭i n gi 秘v i d 臻oa 鼗辑粼i o nn e 鏊l e c t s 燎ee o 魏e 霉p 耄d e p e 羲d e n c i 棼s ， 串国瓣技大学簿士学位论文ab j m 粥t i 氛也e 聪l a 专i o 秘s h p 糖细e 髓p o s i t i v e 锄dn e g a t i v ec o n c e p t s 髓e r e f i o 糟，w e p r o 印t h e 纵积据凇g 搬s e dm l lf o 嘲u l a 鼍i o 蠢幻糖甜e lm ee o 珏e e p 毫p c 程d 铋e l e s ， a n dp r e s e n tam i la l g o r i t h mm i a d a b o o s ta c c o 蝴i n gl o 妣缎妞据辫- b a s e dm l l 南r m u l a t i o n m i - a d a b o o s tf i r s t l ym a p se a c ht r a i n i n gb a gi n t oaf e a t u r ev e c t o ri n an e wb a g - l e v e lf e a t u r es p a c e ，t h u st r a n s i a t i n gt h em l lp r o b l e mi n t oas t a n d a r d s i n g l e i 靛翻魏n e el ，b l e l n 弧l s 螽言i l t 珏蕈i e 獭a p p i n gw o 韬l di n d u c eah i g h d i m e n s i o n a l f e 躲l r ev e c t o fw i t b 燃u c hn o i s ef o fe 鑫c hb a g 弧l t ：f e 岛糟，w o 滥i l i z ea d 鑫8 s 耄t o p e f f o 肌f e a t u r es c l e c t i o na n db u i l dt l l e 氍雌lc l a s s 派e n 5 a st f l e r ea f eu s u a l l yi a 娼eg a p sb e t w e 跏t i l ee 矗b c t i v e 危a t u r 群向rd i 抒b r c n t s c m a n t i c n c e p t s ，f i e a t u r es e l e c t i o ni sak c yp r o b l e mi nv i d e o 柚n o t a t i o n b p i c a l 凳涨l r es e l e c t i 蛐a l g o r i l 黼如| s i n g l e i n s 耄a 粼es e 髓i n g su s 髓l l yc 雒n o t b ca d a p 绝dd 妇州y 蝴d 贸搬珏l t i 一抽嗽珏s e 蝎驾s ，i o 潞黼成so 鑫m 跑i 嚣 v i d c o 鳓n o t a t i o no 危朋n e g l e c tt l l e 兜撒鹏s e l e c t i o np r o b l e m 蚴d e rm i ls c 娃i n g s w ep p 0 a 俺a t u r cs e l e c t i o na i g o r i t h m 舱m e de b m i lu n d e rm i ls e t t i n g s e b m l li sa b l et os e l e c td i f 豫r e n tr a wf e a t u r cs o u r c e s ( c o l o r ，t e x t u r c ，e t c ) d u r i n g 辩l e 晓i 鸭m 叩p c db 鑫g l e v e l 颤髓糟s ，氆l l sa c h i e v eb e 髓c rp e r 稻嘲鞠c ei nv i d e o a n n o t a 圭i o n 。 k e yw o r d s ：c o n t e n t - b a s e dv i d c or e t r i e v a l ( c b v r ) ；v i d e oa n n 洮l t i o n ；d c o g e 翻潜 c a 嘲梦r i z 鑫t i o n ；m t l l t i p l e - l n s 组n c el e a m i n g( m l l ) ； f e a t u r es e l e “o n ； s e 辍i s 疆p c 辩i s c dl e 黻l i 甥s l ) ；a c 蛀v el 锱飘i 巍g v 串番辩赦大学游士学位论文耍蒙 插图翻录 图1 1基于内容的褫频检索框檠2 赞1 2援频瓣绪鞫缀成3 篷l - 3 视频攘注豹不瓣屡次4 盈| 毒论文结构组织9 凰2 1最优分类面示意图。1 2 阁2 - 2a d a b o o s t m 1 算法流程1 7 瘸3 一l筏频类墼分类滚程3 3 餮3 之视猿类型分层表示。3 4 翻3 3 平均铙头长发和平均色彩差异3 5 图3 4六种体育运动予类型中的“摄像枧移幼比率”3 6 图3 - 5入脸帧眈率和平均亮度3 7 鬻3 蹬类阏题时褥舞的翻酗婚3 8 图3 茹摘建分层多类s v 懿算法流程努 图3 3局部优讫麓s 涯二叉树调练流程。 醛3 - 9视频类型分类任务中得到豹s v m ：叉树褥 圈3 1 0 体育运动类型分类任务中得到的局部和全局优化的s v m = 叉树4 l 圈3 1 l 主动学习算法流稷霹3 圈3 1 2 三静不同群本选择策臻魄较戆 图4 1 本文提出的褫菝檬注框絮。4 9 臻垂- 2 基于摄像头移动的多关键帧提取示例。5 9 圈4 - 3流形排序基本算法5 l 圈分块特征提搬示意图5 5 霞枣毒s 溺特征选择算法滚程一5 雾 黧4 菇特薤选择盼效栗。匏 溺5 1g 臻e l i 热瑚潮l a p & 算法暴铡6 6 图5 2对予多样性密度定义的巍觉勰释。6 8 圈5 3直觉上定义两个包之闻距离的方法7 l 圈5 毒最大袍实铡分类阙隔细i - s 斓) 耦最大仡雹分类阕黼( 醚l - s v 醚) 酶蓬示7 2 爨5 瓣；- s 、联瓣优纯过程一笼 l x 巾国科技大学溥士学位论文晷蒙 圈5 6 豳5 7 图5 8 闼5 9 图5 1 0 图5 1 l 翔5 1 2 图5 一1 3 鹾l 。s v 麓的优鬟二过程7 3 不同的m l l 表达所对应的图承筠 本文所使用的弱分类器。7 8 本文的a d a b 0 0 s t 算法流程7 9 不同的语义概念所对应的底层特征8 l 典型的基予特征映射的m l l 算法流程和e 8 m l l 算法流疆对比8 3 实验使用的c o 跫l 图象瘁数据示铡8 4 m u s k 数攒剧用射线来寝示分子形状。8 5 x 巾雷科技大学游士学整治文霉录 表格阏录 表3 1五种不靖分类方法的分类精度4 4 裘乒l特征艨里的特征。5 5 表4 之各种不同概念对疲豹关键帧瓣数嚣帮掰占眈铡鳓 表毒。奉文提出攥絮窘两个s v 黻摸型黪平均查准率对毙6 l 袭5 1本文所提取的各种区域特征，8 2 袭5 2c o r e l 数据檠上的平均查准零8 6 袭5 0姗s k 数据集上熬分类鞲度。8 7 表5 分类器诩练氍参数选择熊时阀损耗( 分钟) 8 7 表5 毒特征选择麴效累。嚣s 瓣 中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除己特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：叁塑一 z ，口乃年月多日 中阐科技大学博士学位论文第一章绪论 第一章绪论 近年来，随着多媒体、计算机和网络的发展，人们应用处理的媒体信息每天 都呈凡何级数增长。传统的检索技术舀不畿满足现在海量视频数据检索要求，入 稻转向研究基予内容的视频检索。基予内容的视频标注就是在这个大背景下提出 来鲶。它根据视频的内容把视频按照不震的语义概念标注关键字，这是建立视频 索弓l ，进甄实现高效视频检索的必要基础。 本幸首先介缨基于内容的视频检索研究方向蛉产生、发展积存在的趣题，并 由此引出视频标注的研究意义及其中存在的关键问题，然后介绍本文的主要工作 和贡献，最后给出全文的结构安排。 l l基于内容的视频检索 视频信息的飞速增长 视频是一个源于广播电视业的术语，它是由一系列称为“帧擀的单个静止图 象连续组成酌。现在的视频概念，不仅包含静止图象的信息，还包含声音，文字 ( 字幕) 等信息。 随着多媒体、计算机和网络熬发展，人们应用处理的媒体信息每天都呈几何 级数增长。为了对这些海量视频数据进行存储、管理、和索引，需要研究高效的 基予内容的视频数据检索方法【l 】【2 】【3 】【5 】。 传统的检索技术不能满足要求 目前基于内容的文本检索系统已经得到了成功的应用，如g o o g l e ( 脚朋椭m g o o g l e c o m ) 、百度( h t c p ：价哪w b a i d u c o m ) 等搜索引擎。但是对于 图象、视频等菲结构化数据的检索仍然是个困难的问题。这是因为描述文本的单 词在某种意义上是一个语义概念，语言文字也正是人类表达语义概念的最强大的 工其。磊阉象在计算机中臻离教的二维象素点阵期的澎式存在，褫频是阕象的时 闻序列。要计算机麸离散的点阵序列中皇动理熊视频篷象孛的语义概念，嚣懿还 很不现实。 中国科技大学游圭学位论文 第1 章绪论 传统的视频检索技术是对视频进行人工分析、标注，建立类似于文本索引数 据麾，并通过检索这些数据库获得视频编号，继而利用这些编号索取实际视频。 传统的关系数据库技术就可以满足这样的要求。 但这种对视频手工建立关键词等文本描述信息的方式已越来越不适应视频 信息检索的要求，究其原因主要是存在如下三点局限性：第一，对视频标注文本 信息完全由手工完成，费时费力；第二，文本描述信息是菲常主观的，不同的入 对网一视频可能有不同的理解，这样文本描述信息就存在二义性，因此当用户在 查询酎如果输入的关键词和数糍库中的关键词不一致，就会导致查询失败；第三， 区区的几个关键词很难将视频的内容描述清楚。 闯了突破文本检索方式的诸多弊端，人们又转向研究视频图象中所包含的内 容信怠作为索引，这就是基于内容的视频信息检索。 为了方便检索多媒体数据，运动图片专家组m p e g 于1 9 9 6 年开始制定 m p e g 7 标准，也称为“多媒体内容描述接蜀”( m 毽l l i 搿o d 滚c o n t c n t 隗s c r i p t o n i n t e 觑e ) ，其舅的是制定一个多媒体内容撼述标准，支持对多媒体信息在不同层 面上的解释和理解，从而使其可以根据用户的需要进行传递和存取。但是 m p e g 7 只对内容的描述制定标准，不涉及内容特征的提取表示方法，也不涉及 搜索方法和索引方法，而这些问题正是基于内容检索的关键问题，已经吸引了大 量的研究者的研究。 基于内容的视频检索及其关键技术 一般来说，基于内容的视频检索包括特征提取、结构分析、摘要、索引、检 索和浏览五个部分【4 】【5 】，如图l l 所示。 图1 1基于内容的视频梭索框架 中国科技大学博士学位论文第l 章绪论 特征提取是一个视频检索系统的最基本的步骤，视频特征包括视觉特征( 摇 颜色、纹理、形状、运动等底层特征，以及人脸、室内、室外等中层语义特征) ， 音频特征( 如击球声、能量等) 和文本特征( 如语音识别的文字等) 。 结构分析是分割视频的对序结构，把一个连续的视频流按其内容展开的不 同，分成若干语义段落单元，比如图1 2 所示，从下到上：帧( f h m e ) 、镜头( s h o t ) 、 场景( s c 髓e ) ，和视频( v i d e o ) 。前砸已经提到，帧就是组成视频的单个静止图 象。镜头定义为摄像祝一次连续拍摄的不闻断帧序列，通常被看成是视频数据流 串的最小结构单元。场景定义为语义上褶关和时间上相邻的若干镜头，反映了视 频所蕴含的较高层语义内容，其有一定的抽象语义。 视频摘要是指对一段视频创建一个紧凑的视觉表征的过程，最常用的表征方 式就是“关键帧”。它是指在一个镜头中被挑选如来可以用来代表镜头内容的图 象。 索引根据视频结构化和摘要的结果，根据用户的查询要求建立元数据的索引 结构，最后提供给用户浏览和检索的接口。 图l - 2视频的结构组成 视频 场景 镜头 帧 1 2视频标注的研究背景、国内外现状和存在的问题 基于内容的视频标注是在传统的检索技术不能满足现在的海量视频检索要 求，人们转向研究基于内容的视频检索这个大背景下提出来的。它根据视频的内 容把视频按照不同的语义概念标注关键字，这是建立视频索引，进而实现高效视 3 中国科技大学博士学位论文第l 章绪论 频检索的必要基础。 目前，视频标注中主要采用的方法可以分为三类：手工标注、基于规则的标 注和基于机器学习的标注。完全手工标注的不足之处在前面已经提到过，这里不 再赘述。基于规则的标注是利用某领域的专家知识建立相应的分类规则进行标 注。但是，这些规则通常不能概括所有的语义内容，也就无法满足视频标注通用 性和实用性的要求。基于机器学习的方法通过对手工标注的训练视频数据的学 习，建立各语义概念的模型，然后用该模型对未标注的视频数据集进行分类，标 注对应的语义概念。由于机器学习理论相对成熟，一般认为它是解决视频标注问 题比较合适的方法，目前视频标注的研究也主要集中于如何利用机器学习理论来 提高标注的准确性。在本文中，研究工作也是围绕着基于机器学习的视频标注展 开的。 如图1 3 所示，根据所标注概念在视频结构上的不同层次，可将视频标注划 分为下面三种：视频类型层标注，关键帧图象层标注，和图象中的物体层标注。 下面就从这三个层次上分别回顾国内外的研究现状和存在的问题。 1 2 1 视频类型层标注 图1 3视频标注的不同层次 视频类型层标注，就是指对每一段视频，依据其内容产生相应的文本标注其 类型信息( 电影、新闻等) 。在这里首先回顾国际上已经提出的视频类型自动分 4 囊 中凿辩撩犬擎博士攀懒论文 繁| 攀绪论 。 类方法。然震，巍乎本文鹣分类宠法涉及s v m 多樊分类翔主动学习的爽容， 接下来将辫网顾一下这嚣个领域的相关研究工作。 。 掰前圜际上已经提出了很多视频类型的嗣动分类方法【l o 】【l l 】【1 2 】【1 3 】【1 4 】。 这些冀法通常都是对每个视频提取系剃和秘频类型相燕的特征，然后通过机器 攀习算法训练分类器，在这整特征和褫频类黧之间建蠢对应关系。 文献器铘藕f l l j 使餍c 碡5 决策褥送行褫颡类鳌瘗赫分类，箕审文献f 辨藤焉 鹣巍颗特餐是个毽捺颜蕊、运动器臻辍蔫慧鹣卡黎蒋籁鸯蹙，瓣文献i ll j 饕震 了不鼹鑫辜蒋篷，瓣锈鞭分袋了不溺瓣粪蓬。文藏瑟麓藿耀，系菇戳黉髯声誉耨 挺将撬犊分燕玉个类燮。在文黻 l 麓孛，摄像搬运穗参数拔鬻慕送努体膏运棼类 型，文献【| | ；唾1 分褥了鬻燧鐾搬影缀辑攀法，势摄撰预告嚣蛉攘息将魄影努戏誉聪 类型。 以上这些工作艇划分的视频类型要么是简单的几种类型，要么髑限枉电影或 者体育运动这样巢个特定的类型内。i 耐在现实应用中，恩然要求能够区分冤多不 同的视频类越和予类懿。而鼠很多文献中使用的分类器过于简单，陇如t i o 】和【l l 】 都使糟e 瘁5 决策树裕为分类器，和现在流行盼分类器，眈如s v m 簿裙魄，秃法 获蒋麓羝韵摧广误差。装耩令溺题就是这些方法都燕采焉被凌蕊警学霹鹩方 法，透过巍露声事宠耩注翦鞴练数据上谲练分类器，然惹黯束热熬攥避箭分粪。 这耪被动攀焉懿方法嚣要大璧懿豁注磐翁谶绦榉奉瑷获瓣薨簿翡分类教聚，罄愚 获霉逮些诞练襻奉嚣蘩耗瓣糕鸯戆手羞稼注。絮慕照爨主魏学嚣嚣蠢法选择攫 “骞爱熬样本提供绘攫户进簿标注，羰穰丈程度上撼轻照户戆标注受援。 然后我能鲤颗一下现誊般s v m 多类分类算法。s v 勰本身是个题类分类器， 将其从两类扩鼹刘多类通常有l - a g a i n s o l 【1 5 】，l * a g a i n 蜘嫦s t 【6 】，d d a i g f l 龇， 瑚e 熄c h i c l as 、r mb u i l tb y 矗m e 蝴s f l 9 】等方法。虽然融经肖上述多种方法可以解决 s v m 多类分类问题，但是分类精度更高、计算时间更短的多类s v m 算法仍然燕 研究的热点。 最后飚颥一下s v m 主动学霹方面静稽蓑互俸。这寿蔼舔黼雹露经藉禳多褶 薹 中鼹科技大学媾尘学使论文第l 牵绪论 关算法的研究【2 0 】【2 l 】【2 3 】f 2 8 】。在主动学习中，最关键的就是“有用样本的选 择策略。早期的文献【2 0 】选择最接近于分类顽的样本，但是这种方法仅局限于两 类的主动学习。后来又有一些研究者将两类的s v m 主动学习扩展到多类。其中 文献f 2 l 】全局考虑变型空间的容量减少情况进行样本选择；而在文献【2 8 】中首先 将多类分类分解为两类阕题，然后选择这些两类分类器中变型空间容量减少最多 的那个分类器所对应的样本给用户进行标注；还有文献【2 3 】中考虑损失舔数，找 到能够最小化经验损失的样本。到髓前为止，s v m 多类主动学习中更有效的样 本选择策略依然是研究的热点问题。 1 2 2 关键帧图象层标注 视频类型层标注是对整段视频进行的粗略的标注，标注的关键字仅包含类型 信息。然而这种标注显然不能满足视频检索的需要，我们还需要对视频内部的各 个小段内容进行更精细的标注。关键帧图象层标注首先通过镜头边缘检测把视频 切分成时间上连续的小段，再用关键帧提取算法从每段镜头中提取一帧图象作为 关键帧。最后基于提取出的关键帧，标注一些关键字作为对此镜头志容的搂述。 目前的视频标注主要集中在关键帧图象层，做了大量的工作。由予本文的关 键帧图象层视频标注框架是基于流形排序和特征选择的，下面主要从这两方面回 顾一下最相关的工作。 流形排序属予一种基于阔的半监督学习算法，关于这个研究课题在机器学习 领域有很多相关文献【5 5 鞋7 2 】f 7 3 】f 7 4 】f 7 5 】，并且有很多方法被应用到图象或褫频 标注中【5 6 】【5 7 】【5 8 】【5 9 】【6 0 】。 现有的特征选择方法主要可以分为下蘧三类：f i l 艟方法、w 泖p e r 方法， 和e m b e d d e d 方法。 f i l t e r 方法是把特征选择看成是一个预处理的步骤，特征子集的选择和选用 的分类器之间是独立的。最常见的f i i t e r 方法有根据相关性准则、或者交互信息 量【8 0 】【8 l 】【8 2 】f 8 3 】等指标对特征矢量每维的区分度进行排序，选择那些区分度较 高的维度。 s 中国科技大学博士学位论文第1 章绪论 w 呻p e r 方法【8 4 】是把分类器当成一个黑盒子，根据它的分类效果来决定选 择哪些特征。在用w r a p p e r 方法时，通常需要把训练数据分成训练集和验证集两 部分，因为这样才能够得到分类器的分类效果。 在e m b c d d e d 方法【8 5 】中，特征选择和训练分类器同时进行，在训练分类器的 过程中完成特征选择。这主要是指那些具有特征选择功能的分类器。 1 2 3 物体层视频标注和多实例学习 物体层视频标注比关键帧图象层视频标注更为精细，其标注的概念多和图象 中的某个区域相关。当使用图象局部区域特征时，由于目标概念和特征都是“区 域级”的，而训练数据通常只标注到了“图象级，无法使用普通的单实例学习 获得关于目标概念的分类模型。此时，将每个图象看成包含多个实例的一个包， 而图象里的每个区域对应包里面的实例，物体层视频标注就是一个标准的多实例 学习( m u h i p l e - i n s t a l l c el e a m i n g ，m i l ) 问题。可以使用多实例学习来通过“图 象级”的标注学习“区域级”的目标概念。 多实例学习的提出最早是在药物活性预测问题的研究中，d i e n c r i c h 等人提出 了多实例学习的概念，并提出多实例学习算法a p r ( a x i s - p a r a i l e lr - e c t a l 唱l e s ) 【8 9 】。 m a m n 等人最早将多实例学习应用到图象标注中【9 0 】，并提出多样性密度算法 ( d i v e r ：d e n s i 饥d d ) 。在这两个开创性工作后，人们提出了各种多实例学习算 法。下面简要回顾一下和本文最相关的一些有关多实例学习方面的研究工作。 首先回顾一下除了上面提到的两种多实例学习算法外，最经典的几种算法。 在j w 抽g 和j - d z u c k e r 的c i t a t i o n 胁m 【9 7 】中，他们对b 近邻( 七n e a r e s tn e i 曲b o r ) 算法进行了扩展，使其可以处理多示例学习问题。他们不使用常用的欧氏距离而 是使用修正的h a u s d o r f f 足巨离，这样就可以有效地计算不同的包之间的距离。此外， 还有s t u a r ta n d r e w s 等人的m i - s v m m i s v m 【9 8 】【9 9 】，他们将s v m 的多实例学习 版本表示成混合整数优化问题，并采用启发式的方法求解。 其次，由于本文中的提出的m i l 算法是一种基于特征映射的方法，在这里回 顾一下另外几种基于特征映射的m l l 算法【9 5 】【9 6 】【9 l 】【1 0 3 】。这类算法都是将多实 7 中国料鼓大学越士学位论文 第l 牵绪论 例学习中的每个包映射成薪的包级特征空间里的一个特征向量，将多实例学习转 换为标准的单实例学习问题，再进行求解。本文中的算法和这些m i l 算法的区别 主要在于特征映射策略和特征映射后所使用分类器的不同。 再次，本文探讨了不同的m i l 表达对于视频标注效果的影响。在文献 【1 0 5 】【1 0 6 】中，也提出了除经典的m l l 表达外，其它扩展的m l l 表达。 最后，本文探讨了多实例学习中如何进行特征选择的问题。在文献f 9 3 】【1 0 7 】 中，也提出了多实例学习中的特征选择方法。在【9 3 】中，m a r o n 等人使用搜索的 方法找出每维特征的最俸叔蓬而m n l i 糟z h 寰嘴【10 7 】等人使用p c a 对特征簿 维，以提高m i l 神经网络的算法性能。 在将多实例学习应用于视频标注中时，主要存在下面两点问题： 第一、经典的多实例表达并不适合描述一些复杂的概念，如果能对其进行拓 展，会更好的描述这些概念。基于这些扩展后的多实例表达薅设计的算法，在标 注效果上也会优于那些基于经典的多实例表达而设计的算法。 第二、在视频标注中，特征选择对最后的标注效果影响非常大。然而普通的 单实例学习下的特征选择算法通常都无法在多实例学习中宣接应用。现有的研究 工作很少涉及在多实例学习中如何进行特征选择的闻题。如果能够应用更有效的 多实例学习下的特征选择算法，将会获得更好的视频标注效果。 1 3论文结构和主要创糯 论文各章节间的相互关系如图l o 所示。第一章对研究背景、存在闯题、现 有方法等进行总结介绍。第二章介绍视频标注中常用的分类器和特征。第三、四、 五章按照视频标注的不同层次分别研究解决当前存在的一些问题。第三章进行视 频类型层标注的工作。第四章和第五章分别研究关键帧图象层和物体层的视频标 注。最后在第六章对全文进彳予总结与展望。 g 中国科羧大学博士学位论文第l 寮绪论 纂一章绪论 l 第二鬻视频标注中常用的 分类模型和特征 按照视频檬注r 戆不露层次 蠢毒毒 第三颦视频类第四章图象帧第五章物体层 型麽桥注研究层视频标注视频标注 毒 毒 髂六章总结与展臻 图l 堪论文结构组织 餐章豹主姜内容安捧释剖薪点懿下： 第一章主要介绍视频标注的研究背景，按照视频标注的不同层次对国内外的 主要方法帮摆关技术进行总结，爨时讨论了各种方法酶优缺点和将来可能酶研究 方翔。最后概述了论文豹主要工作、剖薪点和论文结构。 第二章介绍了视频标注中常用的分类器和特征。首先介绍了视频标注中两种 最常用酌分类器：支持随量撬( s 聃p 妒蠖魄白嚣m 鑫c ：b i 瓣，舛m ) ，帮a 挑o o 熨。 然后分颜色、纹理、形状等分别介绍在视频标注中常用的一些特征。这些背景知 识和理论是进一步进行视频标注研究工作的基础。 第三章研究褪颓类型屡标注寿法。曩翦税频类型层耩注羔作通露振注戆都是 简单的几种类型，或者是局限在电影或者体育运动这样某个特定的类型内。使用 的分类器也过于简单，并且都是采用被动监督学习的方法，需要大量的训练数据 窝费时费力熬手工标注。本文定义了一个鞠对完备戆撬频类型分层表示；分析并 提取了一系列与类型相关的时空域特征；并提出用局部和全周优化的s v m 三叉 树将s v m 由两类拓展猁多类，以撼褒分类精度f 5 键。另外，为了减少繁重的掰卢 手工标注，还将主动学习雩l 入褫频类型分类，并提出透过后验穰率来诗算置髂度， 从而选择对分类器最“有用一的样本给用户标注【5 2 】。实验结果表明，本文提出 熬局部帮全是优纯的s 鞭二叉树每另夕 两种典型的s v 醚多类分类算法、以及现 9 中国秘技大学撼士学位论文 第l 章绪论 有的视频分类工作中使用的分类器相比，能够获得更高的精确度。舔虽基予后验 概率的主动学习样本选择策略要略好于现有的基于变型空间的主动学