（计算机软件与理论专业论文）视觉媒体情感建模研究.pdf

摘要 摘要 视觉媒体包含了丰富的信息，在人们的生活与工作中起到了重要的作用，并 对人们的生理和心理产生了影响。因此，对视觉媒体与用户情绪反应之间的分析 和建模研究，己成为目前心理学、生理学和计算机科学等多学科交叉的一个重要 研究方向。 本文旨在建立一个综合视觉媒体的物理空间、用户情感心理空间和生理空间 三个空间的混合模型，具体内容包括以下三个方面。 ( 1 ) 分析了基于国际标准音频库l a d s 和国际标准图像库l a p s 的情感内容。 本文首先对i a d s 进行了多种分类方法的分析比较，并在可行性和效果方面得到 了一些可供参考的结论。而对于i a p s ，除了对它进行多种分类方法的分析比较 外，还对其进行情感维度的规则挖掘，得到一些可供参考的情感维度规则。这部 分工作主要涉及到图像和音频的物理空间与用户情感维度空间之间的研究。 ( 2 ) 提出了融合心理、生理的视频情感内容分析模型。首先项目组建立了 一个情感视频刺激库。在进行实验时，在视频刺激库中选取一部分来诱发被测试 人员的情感反应，在被测试人员对视频内容进行评估的同时，记录下相应的脑电 信号，最后构建一个综合视频，脑电和情感评价的三个空间数据库。在此基础上， 本文首先分别对视频情感心理，脑电情感心理建立单向的映射模型；然后再对 视频脑电进行双向的建模研究；最后对情感维度进行聚类分析，得出情感维度 和情感类别之间的关系。这部分的建模工作包括了视频的物理空间、用户情感的 生理空间、以及两种用户情感的心理空间，初步建立了横跨这三个空间的视频情 感模型。 ( 3 ) 提出了基于半监督学习的视频情感标注方法。当视频片段过长时，被 测试人员在进行人工情感评价时很容易产生疲劳，这会对扩大样本进行更可靠的 视频情感分析形成了一种很大的障碍。为了解决这个问题，本文使用半监督学习 的方法来完成大量视频样本的半自动标注，并给出了相关分析结果。这部分工作 主要解决了视频物理特征在用户情感空间的标注问题，对于完善视频的情感相关 研究起到了一定的补充作用。 关键词：视觉媒体脑电信号情感维度映射模型 a b s t r a c t v i s u a lm e d i ac o n t a i n saw e a l t ho fi n f o r m a t i o n ，a n di sw i d e l yi n f i l t r a t ep e o p l e s w o r ka n dl i f en o w , w h i c hp r o d u c eas u b t l ei n f l u e n c ef o rp e o p l eo np h y s i o l o g i c a la n d p s y c h o l o g i c a l t h e r e f o r e ，a n a l y s i sa n dm o d e lb u i l d i n go nr e l a t i o n s h i pb e t w e e n v i s u a l m e d i aa n dp e o p l e se m o t i o n a lr e a c t i o n s ，h a v eb e c o m ea ni m p o r t a n ti n t e r d i s c i p l i n a r y s u b j e c ta m o n gp s y c h o l o g y , p h y s i o l o g ya n dc o m p u t e r s c i e n c ea tp r e s e n t t l l i st h e s i sa i m st os t u d yt h ee s t a b l i s h m e n to fa l li n t e g r a t e dm o d e la c r o s st h ev i s u a l m e d i a sp h y s i c a ls p a c e ，u s e r se m o t i o n a lp s y c h o l o g i c a ls p a c ea n dp h y s i o l o g i c a ls p a c e t h em a i n w o r k si n c l u d et h ef o l l o w i n gt h r e ea s p e c t s ( 1 ) a f f e c t i v ec o n t e n ta n a l y s i so ni n t e r n a t i o n a ls t a n d a r d sa f f e c t i v ea u d i ol i b r a r y i a d sa n di n t e r n a t i o n a ls t a n d a r d sa f f e c t i v ei m a g el i b r a r yl a p sa r ep r o p o s e d f o r l d s a n a l y s i sw j 【t hv a r i o u sc l a s s i f i c a t i o nm e t h o d sa r ec a r d e do u t ，c o m p a r i s o n sf o r t h er e s u l t si nf e a s i b i l i t ya n de f f e c t i v e n e s so ft h e s em e t h o d sa r em a d e f o ri a p s ，i n a d d i t i o nt ot h ea n a l y s i so fc l a s s i f i c a t i o na n dc o m p a r i s o nj u s tl i k ef o r 也cl a d s ， e m o t i o n a ld i m e n s i o nr u l e sm i n i n gi sa l s oc o n d u c t e db yu s i n gi m a g e s l o w - l e v e l f e a t u r e s a n ds o m eu s e f u lr u l e sa r ea c q u i r e df o rr e f e r e n c e t l l i sp a r to ft h ew o r k m a i n l yi n v o l v et h er e s e a r c hf o rt h ep h y s i c a ls p a c eo f t h ei m a g e sa n da u d i o s ，t o g e t h e r w i t hu s e r f se m o t i o nd i m e n s i o n a ls a p c e ( 2 ) a i n t e g r a t i o ne m o t i o nc o n t e n ta n a l y s i sm o d e lf o rv i d e o ，w h i c hc o m b i n e d w i t hp y s i c h o l o g i c a la n dp h y s i o l o g i c a ls p a c e s ，i sp r o p o s e d av i d e oc l i pl i b r a r yf o r e m o t i o ns t i m u l a t i n gi se s t a b l i s h e df i r s t ，a n dt h e np a r to ft h e ma r es e l e c t e dt oe l i c i t s u b j e c t s e m o t i o nc h a n g e sa n dp h y s i o l o g y r e a c t i o n s e l i c i t e de e gs i g n a l sa n d s u b j e c t s s e l fe m o t i o n a le v a l u a t i o n sa r eb o t hr e c o r d e d ，a n dt h e nad a t a b a s e ，w h i c h c o n t e n t sa c r o s sv i d e o e e ga n de m o t i o n a ld i m e n s i o n3k i n do fs p a c e s ，i sb u i l t b a s e d o nt h i ss e l f - b u i l td a t a b a s e ，w ef i r s te s t a b l i s ht w oo n e - w a ym a p p i n gm o d e l f o r v i d e o e m o t i o na n de e g e m o t i o nr e s p e c t i v e l y , a n dt h e nm a k er e s e a r c h o nt h e t w o w a ym a p p i n gm o d e lb e t w e e nv i d e oa n de l i c i t e d e e qa tl a s t ，t oa p p l yo u r e m o t i o nr e s e a r c hr e s u l t si n t ou s u a ll i f e ，f u z z yc l u s t e r i n gi sc a r r i e do u tf o re m o t i o n a l d i m e n s i o n ，a n dr e l a t i o n sb e t w e e ne m o t i o n a ld i m e n s i o na n de m o t i o n a lc a t e g o r i e sa r e a c q u i r e d c o n s i d e r i n go ft h ep h y s i c a ls p a c ef o rv i d e o s ，p h y s i o l o g i c a ls p a c ea n dt w o k i n do ft h ep s y c h o l o g i c a ls p a c e sf o ru s e r se m o t i o n , t h em o d e l i n gw o r ko ft h i sp a r t c o m p l e t eai n i t i a lv i d e oe m o t i o n a lm o d e l a c r o s st h i st h r e es p a c e s ( 3 ) ae m o t i o nt a g g i n g m e t h o df o rv i d e o si sp r o p o s e d b a s e do nt h e s e m i s u p e r v i s e dl e a n i n g d u et ot h et i m el e n g t ho fv i d e oc l i p s ，i t i se a s yt om a k e i i i s u b j e c t sf e e lt i r e d t h i sk i n do fu s e rf a t i g u eb e c o m eag r e a to b s t a c l ef o rm o r er e l i a b l e a f f e c t i v ev i d e oa n a l y s i sw i t ht h ee x p a n s i o no fs a m p l e s t os o l v et h i sp r o b l e m ，w et r y t o c o m p l e t et h ea u t o m a t i cl a b e l i n gw o r kf o ru n l a b e l e dv i d e ob y u t i l i z i n g s e m i - s u p e r v i s e dl e a r n i n gm e t h o d s ，a n dl i s tt h ea n a l y s i sr e s u l t s t h ew o r kh e r e ，w h i c h i sc o n d u c t e dt os o l v et h ee m o t i o nt a g g i n gp r o b l e mi nu s e r se m o t i o ns p a c ef o rv i d e o s p h y s i c a lf e a t u r e s ，p l a y sac e r t a i ns u p p l y m e n tt o p e r f e c t t h ee m o t i o n r e l a t e d r e s e a r c h e s k e yw o r d s ：v i s u a lm e d i ae e gs i g n a l se m o t i o n a ld i m e n s i o n m a p p i n gm o d e l i v 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：! 茎逸奴 签字日期： 五2 旦：墨，i 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 q 么弃口保密( 年) 作者签名：二塑g 查：。 签字日期： 塑丛! 垒l 导师签名： 签字日期：。猡上4 第1 章绪论 1 1 研究背景与意义 第1 章绪论 视觉媒体包含丰富的信息，已经渗透到人们生活的各个方面。其在给人们带 来知识的同时，也无可避免地影响着人们的情绪状态。尤其是在数字卡通、影视 和游戏等数字娱乐方面，图片、动画和视频对用户情绪的影响是不可或缺的。一 方面，视觉媒体可以为用户带来愉悦或者放松等用户所期待的精神享受，另一方 面，不恰当的视觉媒体也有可能给用户造成不必要的伤害。( 例如，1 9 9 7 年1 2 月1 6 日在日本发生的p o c k e t m o n s t e r ( 口袋妖怪) 事件，6 8 5 名儿童和一些成年 人在观看动画片口袋妖怪时，对长时间的闪光画面产生过敏反应，导致昏迷， 并紧急住院治疗。1 1 】) 因此，视觉媒体与用户情绪反应之间的分析和建模研究 已成为目前心理学、生理学和计算机科学等多学科交叉的一个重要课题，其对于 促进多媒体计算、娱乐计算和情感智能的理论研究具有重要的学术价值，对于设 计和实现“以人为中心 的健康和谐的信息环境，开发个性化的数字内容创作和 数字娱乐消费市场有着重要的现实意义。 视觉媒体情感模型的研究对象是视觉媒体和用户，涉及到视觉媒体的物理空 间、用户的心理空间和生理空间这三个空间及其相互关系。因此，本文的工作将 针对这三个空间。首先针对目前图像等媒体的情感研究中，数据库来源的非标准 化问题，本文对标准图像库和音频库做了底层特征这种物理空间与情感维度这种 生理空间进行了分类分析，并对图像库进行了规则挖掘。其次，本文将脑电信号 这一生理特征引入了视频的情感模型研究工作当中，挖掘了视频的物理空间与用 户情感之间的内在关系，并建立视频的底层特征和生理信号之间的关系模型。最 后，本文引入了一种半监督学习的方法，针对视频情感标注的问题进行了研究和 分析，为解决大样本量的视频情感标注提供了一种解决方案，也为以后基于大样 本量的视觉媒体情感模型的建立奠定了基础。 综上所述，对于视觉媒体来说，本文的研究工作不仅在理论上建立了相关的 模型，为其他研究者做出了铺垫，而且在应用上也为人机交互设计与方式提供一 定的参考和借鉴的价值。 1 2 国内外研究现状 目前计算机科学中关于视觉媒体情感模型研究主要集中在图像或视频中情 l 第l 章绪论 感内容的分析，表达、情感语义分类和检索等方面 2 】。 1 2 1 图像的情感语义研究 2 0 世纪9 0 年代日本首先提出了基于图像的情感语义检测。当时他们用的是 日语单词“k a n s e i 而不是英语中的“e m o t i o n a l 或者“a f f e c t i v e ”。表1 1 中列 出了从1 9 9 8 年开始到目前为止的总体的一个研究概况，其中包含了使用到的特 征，涉及的情感状态，特征选择方法，分类器，检测效果，以及所使用的数据库 和各自的特色。表中空出的项表示文献中没有提到或者从现有文献中看来仍然不 很明晰的。 对于心理空间，绝大多数研究者采用形容词或形容词对来表示不同的情感状 态。形容词或形容词对的数目从2 到3 6 不等。对于物理空间，一般提取的是颜 色，形状和纹理等图像底层特征。有些研究者采用因子分析，主元分析或者一维 支持向量机来进行特征选择，还有些研究者通过领域知识定义敏感特征。如 e u n - j o n g 对于不同的形容词提出了不同的特征( ( e u n - j o n g & j o o n - w h o a n ， 2 0 0 8 1 3 ) 。对于用户建模，采用了两种分类器：机器学习和基于规则的方法。个 别研究者采用了交互式遗传算法( w a n g ，c h e n , l i ，& w a n g ，2 0 0 11 4 1 ) 和相关反馈技 术( b i a n c h i b e r t h o u z e & c a t a r c i ，2 0 0 31 5 ；e u n j o n g j o o n - w h o a r t , 2 0 0 8 ；3 ( o o ， 2 0 0 6 1 6 ) ) 来考虑了个性化过程。 研究者们通常使用它们自建的数据库来验证各自的情感语义分类方法，其数 据库的样本数范围在6 到5 , 6 2 5 之间。性能的评价尺度也有多种，如识别率 ( r e c o g n i t i o nr a t e ，简称r r ) ，正确率( a c c u r a c yr a t e ，简称a r ) ，预测率 ( p r e d i e t i o nr a t e ，简称p r ) ，满意率( s a t i s f a c t i o nr a t e ，简称s r ) 和召回率( r e c a l l ， 简称r ) 等等。因此，难以对这些研究方法的表现的好坏进行评价和比较。但也 有一些研究者( s ew a n g & h u ，2 0 0 9 1 7 ；y a n u l e v s k a y ae ta 1 ，2 0 0 8 1 8 ) 针对了常用 于心理研究中的国际情感图像系统i a p s ( l a n g ，b r a d l e y , & c u t h b e r t ，1 9 9 9 1 9 ) 来做 出了研究。 总之，目前图像特征语义的研究，普遍是针对形容词或形容词对的情感表示， 各自采用不同模式分类方法进行的分类和识别的工作。但形容词的语义理解存在 着一定的模糊性，不如愉悦度和唤醒度能更直接地反映人们的情绪，而且目前所 采用的数据库大都是自建的非标准库，使得研究结果无法形成一种标准。为了弥 补目前研究的不足，本文针对标准情感库i a p s 和i a d s 进行了分析研究，涉及 情感空间选用了此领域中较少被研究的愉悦度和唤醒度这两个情感维度，采用的 分析方法不仅选用了常见的模式分类方法，而且选用了数据挖掘的方法。 2 第1 章绪论 表1 1 图像情感语义研究 参考文献特征特征涉及情感状态分类效果数据特色 选择器库 ( h a y a s h i r g b 颜色， 2 7 个形容词：s u n n y , c l o u d y ,神经 r r ：1 2 0 & 投影分布。 s o i t , h a r d ，r i c h ，s o l e m n ，h o t , 网络 7 5 5 幅图 h a g i w a m ,光谱w a r m ，c o o l ，c o l d ，d r y , f r e s h , 像 1 9 9 8 ) p r e t t y , p l e a s a n t ，s t r o n g ， 【1 0 r u s t i c ，r o m a n t i c ，l o n e l y , m y s t e r i o u s ，u r b a n , c l e a r , p e a c e f u l ，c a l m ，y o u n g ， e l e g a n t , s e v e r e ，a c t i v e 8 个词：s p r i n g ，s u m m e r , f a l l ， w i n t e r , s u n s e t , n i g h t , c o u n t r y , m a r c h e n ( y o s h i d a ,亮度，红绿1 0 个形容词：典型 2 0 0通过 k a t o ，&之间的色 w a r m ，s 0 1 n a t u r a l ，c l e a r , 相关幅水用户 y a n a r u ,彩平衡，黄 e l e g a n t , c h i c ，a u t h e n t i c ， 分析彩画反馈 1 9 9 8 ) 蓝之间的 c l a s s i c ，g o r g e o u s ，d y n a m i c 调整 【1 1 】 色彩平衡权值 ( b i a n c h i b色彩，色 i n c r e a s a b l e 神经 p ：来自通过 e r t h o u z e 调，强度， 网络3 8 9 网络相关 & c a t a r c i ，形态，位 反馈 2 0 0 3 ) 置，面积。得到 长度，方 的适 向，纹理应因 子 ( s h i b a t a &颜色：r g b因子2 3 个形容词对：回归6 8 幅 k a t o ，和l a b 色彩分析l i k a b l e u n l i k a b l e ，分析街道 1 9 9 9 ) 1 2 】 模型 b e a u t i f u l u g l y , c o m f o r t a b l e 景观 u n c o m f o r t a b l e ，c a l m r e s t l e s s ，图片 空间方向： r e l i a b l e a n x i o u s ，r e l a x i n g 水平方向， d e n s e ，d e e p s h a l l o w , s p a c i o u s 垂直方向， c o n f i n e d ，d i s p e r s e d c r o w e d ， 两个对角 s o f v h a r d ，w a r m c o l d ，c h e e r f u l 线方向 g l o o m y , o r d e r l y d i s o r d e r l y , u n i f i e d n o tu n i f i e d ，l i g h t h e a v y , v a r i e d m o n o t o n o u s ， f e m i n i n e m a s c u l i n e ， n e w o l d ， m o d e m h i s t o r i c a l ，n o v e l o l d - f a s h i o n e d ，c l e a r u n c l e a r , l a r g e - s c a l e s m a l l s c a l e ， 3 第1 章绪论 i m p r e s s i v e n o ti m p r e s s i v e 续表 参考文献特征特征涉及情感状态分类 效果数据特色 选择 器库 ( s h a n gf e i颜色，形 p c a1 8 个形容词对： 支持 p ：8 4 1 0 0 4交互 w a n g ， 状，纹理 l i k a b l e u n l i k a b l e 。向量幅图式遗 2 0 0 2 1 1 3 ；b e a u t i f u l u g l y , 机冷传算 s h a n g f e i c o o r d i n a t e d u n c o o r d i n a t e d ， s v m法 w a n g ， r o m a n t i c n o tr o m a n t i c ， c h e n ，l i ，h o t c o l d ，w a r m c o o l ， & w a n g ，l i g h t d a r k ，s o f t h a r d ， 2 0 0 1 ) 1 4 】 o r d e r l y d i s o r d e r l y , c l e a r u n c l e a r , q u i e t n o i s b i m p r e s s i v e u n i m p r e s s i v e ， r e l a x i n g r e p r e s s i v e ， v a r i e d m o n o t o n o u s ， v i v i d b l e a k ， s p a c i o u s c o n f i n e d ( m a o ，分形维数7 个形容词对： 5 0 0 c h e m &( f d ) m o n o t o n o u s m u s s y , 幅图 m u t a , n o i s y q u i e t , 像 2 0 0 3 ) 15 】o p p r e s s i v e a c t i v e ， w o r l d l y e l e g a n t , d e c a d e n t i n s p i r i n g ， a r t i f i c i a l n a t u r a l ， u g l y b e a u t i f u l ( w a n g 颜色加权1 6 个形容词对：支持 s r ： 8 5 幅 w e i n i n g ， 线方向长m o d e r n h i s t o r i c a l ，向量 7 8 o 图 4 第1 章绪论 2 0 0 5 ) 1 6 度的向量 s t r o n g w e a k ，l i g h t d a r k , 机r r ：像， d r e a m l i k e p r a c t i c a l ， s v m 8 7 3 1 1 0 s i m p l e c o m p l e x , 幅图 a c t i v e o p p r e s s i v e ， 像 o r n a t e s i m p l e ， d y n a m i c s t a t i c ， r e l a x i n g d e n s e ，v i v i d b l e a k , w a r m c o o l ，s h o w y e l e g a n t , c l e a r u n c l e a r , h a p p y s a d ， c o m f o r t a b l e u n c o m f o r t a b l e ( w l u & 颜色，兴趣1 8 个形容词：神经 p ：3 0 0 n i ，域的熵 b e a u t i f u l ，w e t ，m o d e m ，l i k a b l e ， 网络 7 7 6 幅风 2 0 0 5 ) 1 7 】 r o m a n t i c ，p l e a s a n t , b r i g h t ，l i v e l 景图 y , c o m p l e x , c o l d ，q u i e t , g r a n d ，b 片 r o a d ，i m p r e s s i v e ，o r d e r l y , c l e a r v i v i d ，d e n s e 续表 参考文献特征特征涉及情感状态分类效果数据特色 选择器库 ( s 。j 。k i m ， 颜色，纹理 6 个形容词对： 基于i u k1 6 0 k i m ，j e o n g w a r m c o l d ，l i g h t d a r k ， 模糊8 4 8 幅纹 ，& k i m , c h e e r f u i d i s m a l ，t i m s o b e r , 规则理图 2 0 0 6 ) 1 8 】 s t r o n g w e a k ，h a r d s o f t 的方片 法 ( d a t t a ,亮度，色彩一维 美学打分( 范围在【1 0 7 0 】 基于 r r ：3 5 8 1 j o s h i ，l i ，饱和度，色支持 区间) 树的 7 0 1 2 幅图 & w a n g ， 度，基于小向量方法 片 2 0 0 6 ) 1 9 】 波的纹理，机 大小和长 宽比，区域 组成，形 状，低景深 指标，形状 凸度 o c o o ，3 0 个彩色1 3 个形容词对：相似r r ：6 44 5 0相关 2 0 0 6 )花纹 l i k e d i s l i k e ，b e a u t i f u l u g l y , n a t 度评 幅图反馈 颜色编码 u r a l u n n a t u r a l ，d y n a m i c s t a t i c 测 片算法 灰度编码 ，w a r m c o l d ，g a y s o b e r , c h e e r f u l d i s m a l ，u n s t a b l e s t a b l e ，l i g h t d a r k ，s t r o n g w e a k ，g a u d y p l a i n , h a r d s o f t , h e a v y l i g h t 5 第1 章绪论 ( h l i ，l i ， 纹理： 1 2 个形容词对： 模糊 2 0 0 s o n g ，& 方向性，对 h o m o g e n e o u s n o n h o m o g e n o 识别幅 c h e n ，比度， u s ，g e o m e t d c a l ，n o n g e o m e t r i c 度聚 m i t 2 0 0 7 ) 2 0 】 粗糙度a l ，s o f t r o u g h ，f i n e c o a r s e ， 类纹理 w i t h l i n e s w i t h o u t图片 l i n e s ，f l a f f n o n f l m ，r e g u l a r i r r e g u l a r , s y m m e t r i c a l a s y m m e t r i e a l ， c l e a r d a r k ，s i m p l e c o m p l e x ，d e f r e e d d i f f u s e ，n a t u r a l a r t i f i c i a l ( e u n - j o n g边缘直方 d i 自f e 3 个形容词对： 在平5 6 2 5一致 & 图，纹理同 r e n t s t a t i c d y n a m i c ，l i g h t h e a v y , 均3 1 5幅自性反 j o o n 、h 0 质描述符， f e a t uc o o l w a r m 次检然图馈和 a n ，2 0 0 8 ) 颜色结构 r e索时，片多次 描述符，颜 f o r 检索 查询 色分布描 d i 丘e 满意 的构 述符等 r e n t 度 建 a 由 9 0 续表 参考文献特征特征涉及情感状态 分类效果数据特色 选择 器库 ( f u & 纹理方向，2 个形容词 b p 神 r r ：8 4 1 6 5 c a o ，2 0 0 8 ； 纹理粗糙 o m a t e s i m p l e 经网 5 l 幅木 j i a n n i n g 度，t 纹理 络头图 & 颜色色度 片 r e s 仃e p o ， 和亮度。纹 2 0 0 8 ) 2 1 】 理的对比 度和强度 ( j i a n n i n g 通过快速3 6 个形容词对 多元6 幅 & 傅里叶变 线性形状 r e s t r e p o ， 换得到的 回归图片 2 0 0 8 ) 形状特征 分析 0 q ay e o n , 颜色，图案l o 个形容词：r o m a n t i c ，神经 p ：3 8 9 y u n h e e ， c l e a r , n a t u r a l ，c a s u a l ，e l e g a n t , 网络1 0 0 幅纹 y o u n g r a e ，c h i c ，d y n a m i c ，c l a s s i c ， r ：理图 & e t m y i ， d a n d y , m o d e m 9 9 片 2 0 0 8 ) 2 2 ( y a n u l e v sg a b o r 特征愉悦度 支持r r ：n p s k a y a e ta 1 ， w i c c e s t 特唤醒度向量 5 0 2 0 0 8 ) 征机 ( y o n g j i e 颜色，形状唤醒度 c b ar r 7队p s h l l ，和纹理特 0 6 第1 章绪论 s h a n g f e i征 w a n g ，r u i d i n g ， 2 0 0 8 ) 2 3 】 1 2 2 视频的情感语义研究 视频的情感语义研究起源于本世纪初研究中提出的计算媒体美学 ( c o m p u t a t i o n a lm e d i aa e s t h e t i c s ) ，它的定义如下： t h ea l g o r i t h m i cs t u d yo fan u m b e ro fi m a g ea n da u r a le l e m e n t si nm e d i aa n dt h e c o m p u t a t i o n a la n a l y s i s o ft h e p r i n c i p l e s t h a th a v ee m e r g e du n d e r l y i n gt h e i ru s ea n d m a n i p u l a t i o n ，i n d i v i d u a l l yo rj o i n t l y ，i nt h ec r e a t i v ea r to fc l a r i f y i n g ，i n t e n s i f y i n g ，a n d i n t e r p r e t i n gs o m ee v e n tf o r t h ea u d i e n c e 这是一个针对媒体中大量图像和听觉元素，以及其在为观众澄清，强化，和 解释某些事件的创造性艺术中的使用与操作，单独或联合中所隐含的计算分析的 原则。( n a c k ，d o r a i ，& v e n k a t e s h ，2 0 0 11 2 4 ) 表1 2 视频情感语义研究 参考文献特征涉及情分类器结果表数据库 感状态现 ( m o n c r i e f7 元能量动态标签4 种声音规则 r r ： 选自四部影片：木乃 d o r a i ，能量事 8 2 伊，漆黑，外星人， & 件尖叫 v e n k a t e s h ，2 0 0 1 ) ( k a n g ， 场景内部环境恐惧，悲使用公式 r r ：6 2 3 个视频序列：i k n o w 2 0 0 2 ) 3 2 】 场景之间环境伤，喜悦 w h a ty o ud i dl a s t s u m m e r h l g nh a r r y m e ts a l l y 和d y i n g y o u n g ( k a n g ，颜色，运动向量，镜头切换恐惧，悲 a d a b o o s tr r ：6 3 6 段3 0 m i n s 视频片 2 0 0 3 ) 率 伤，喜悦分类器 1 3 段：h o m ea l o n e ，列n g ( 特征选择方法：和t i t a n i c ( 另3 段同 a d a - b o o s t )上) ( m x u 梅尔倒谱系数，能量，5 种喜隐马尔科 r ： 4 0 分钟喜剧( f r i e n d s ) c h i a , &剧：夫模型 a b o v e 4 0 分钟恐怖电影 j i n ,预录的 9 0 ( k o r e a , f a c e ) 2 0 0 5 ) 3 3 】笑声。 p ： 对白， a b o v e 默剧， 9 0 音乐和 其他， 7 第1 章绪论 4 种恐怖 片： 恐怖的 声音， 对白， 默剧和 其他 ( w e i ， 电影颜色直方图，情绪动态8 种情感 c - s v cr r ：8 1 1 5 部全长故事片 d i m i t r o v a 直方图，主要颜色， 类别 s v m2 & c h a n g ， 2 0 0 4 ) 3 4 】 ( a r i f m & 视频的节奏和关注点信息愉悦度，2 个动态模型一3 4 段视频，7 3 8 1 个 c h e u n g ， 听觉：节奏直方图，唤醒度，贝叶斯网 r ：7 4 镜头，7 小时4 分钟 2 0 0 7 ) 3 5 】 d a u b e c h i e s 小波累计直方控制度络模型 焙刑一 7 秒 图，梅尔倒谱系数，均方根 r ：8 0 能量，频谱变迁，频谱滑动 和过零率 续表 参考文献特征涉及情分类器结果表数据库 感状态现 ( s u n &运动向量，镜头长度，声音喜悦，愤视频情感 p ： l o 个故事片：t i t a n i c ， y u ,能量，语速，平均音高，音怒，悲树+ 隐马 6 8 1 aw a l ki nt h ec l o u d s ， 2 0 0 7 ) 3 6 】 高范围，声音能量，静音率伤，害怕尔科夫模 r ：l o v el e t t e r , r a i d e r so f 和颜色特征 型7 8 7 8 t h el o s ta r k ，c o na i r , p i r a t e so ft h e c a r i b b e a n ，s e a r y m o v i e ，s p i d e r - m a n , l o r do f t h er i n g sa n d t h el i o nk i n g ( c - w 亮度，颜色，运动，节奏，动作片，使用领域 r ：7 4 5 部电影：h i t c h , w a n g ， 声音喜剧，爱知识的美 p ：5 7 g h o s t , h e r o ，t h e c h e n g ，情片学强度曲 p r o m i s e ，a n dc h a r l i e s c h e n , 线 a n g e l si i y a n g ，& w u , 2 0 0 7 ) ( y o o &平均颜色直方图，平均亮 动作，兴交互式遗 r ：7 0 3 0 0 个电视商业广 c h o ，度，品均边缘直方图，平均奋，悬 传算法 i n t h e告 2 0 0 7 ) 【3 7 镜头时长，镜头渐变率念，平t e n t h 静，放 g e n e r a t 8 第l 章绪论 松，快乐 1 0 n ( w a t a n a p视觉空间特征，视觉时域特 兴奋，喜一种独特 r r ：2 4 部电影中的1 2 0 个 a 征， 悦和悲的筛状结 8 7 6 7 片段 t h i p a k o r 伤构神经网 n ，& 络 c h a r o e n k i t k a m ， 2 0 0 8 ) 3 8 】 ( m i n x u ，唤起度特征：时长，时长关恐惧，愤模糊c 均 r r ：8 0 8 部影片，6 2 0 1 个镜 j i n ，l u o ，系，短时能量，梅尔倒谱系怒，快值聚类 7 头，7 2 0 分钟 & d u a n ， 数； 乐，悲 2 0 0 8 ) 3 9