（计算机应用技术专业论文）基于情感语义的图像检索关键技术研究.pdf

基于情感语义的图像检索关键技术研究 摘要 随着视觉传感器技术的飞速发展，数码相机、摄像机等多媒体生产设备逐渐 进入寻常百姓家。在这种情况下，人们生产、存储、分享图像信息的能力得到极 大地提高。图像等多媒体内容的数量在网络中正在以呈几何级数的速度增加，人 们越来越难以在网络的众多资源中找到自己感兴趣的图像。图像检索已经成为了 一个活跃的研究领域。图像检索技术目前可分为基于文本的图像检索、基于内容 图像检索、基于语义的图像检索。前两种技术目前已经相对成熟，但是由于其固 有的缺点，无法解决实际的问题。为克服语义鸿沟的影响，本文采用基于语义的 技术进行这方面的研究。 图像中蕴含着丰富的语义，情感语义作为一种重要的高层语义内容，在语义 图像检索的研究中占有重要的位置。情感语义描述、特征提取、情感识别是情感 语义检索领域最核心的问题。 本文深入的研究了这三个问题，提出了一种新的图像内容描述框架，并实现 了一个图像情感识别原型系统。以这个描述模型为基础，本文结合心理学、生理 学方面的知识构造了由图像的颜色、频谱、线条等特征组成的特征向量，作为反 映图像情感语义的视觉特征。由于神经网络是建立在脑科学的基础上，是对人脑 功能的抽象和模拟，能够较好的模拟人类的情感反映模型。所以本文选择b p 神 经网络作为情感识别器构造了一个情感识别原型系统，并进行了实验验证，结果 表明本原型取得了较好的效果。 颜色是与情感关系最密切的视觉特征，具有唤醒情感的力量。支持向量机 ( s v m ) 以统计学习理论为基础，在解决小样本、非线性及高维模式识别问题中表 现出许多特有的优势，正在成为机器学习领域新的研究热点。因此本文在第四章 以支持向量机作为情感识别器，主要利用图像的色调均值、色彩空间分布信息等 颜色特征进行了图像的情感语义识别。本文对提出的方法进行了实验分析，结果 证明本方法具有较好的效果。 最后论述了本文的主要工作和创新点，并给出了今后的工作展望。 关键词：图像检索：情感语义；特征提取；情感识别；b p 神经网络；支持向量机 硕士学位论文 a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to fv i s i o ns e n s o rt e c h n o l o g y , d i g i t a lc a m e r a s ，v i d e o c a m e r a sa n do t h e rm u l t i m e d i ae q u i p m e n th a v ee n t e r e dn e a r l ye v e r yh o u s e h o l d u n d e r s u c hc i r c u m s t a n c e s ，p e o p l e sa b i l i t yt op r o d u c e ，s h a r ea n ds t o r ei a m g ei n f o r m a t i o n h a sb e e ng r e a t l ye n h a n c e d t h ea m o u n to fi m a g eg r o w ss of a s tt h a tw ec a n tf i n d t a r g e ti m a g et h a tw ew a n t i m a g er e t r i e v a lh a sb e c a m ea na c t i v ea r e a n o wt h e r ea r e t h r e ek i n d so fp r i m a r yt e c h n o l o g yf o ri m a g er e t r i e v a l ：t e x tb a s e di m a g er e t r i e v a l 、 c o n t e n tb a s e di m a g er e t r i e v a la n ds e m a n t i cb a s e di m a g er e t r i e v a l t h ef o r m e rt w o m e t h o d sa r er e l a t i v e l ym a t u r e ，b u tt h e yh a v ei n h e r e n ts h o r t c o m i n g s ，w h i c hc a nn o t h e l ps o l v ep r a c t i c a li m a g er e t r i e v a lp r o b l e m s i no r d e rt oo v e r c o m et h ea d v e r s e e f f e c t so fs e m a n t i cg a p s ，t h i sp a p e ru s e ss e m a n t i c - b a s e dm e t h o d s i m a g e sc o n t a i nr i c hs e m a n t i c s a st h eh i g ha n di m p o r t a n tl e v e ls e m a n t i c s ，t h e e m o t i o n a ls e m a n t i c s p l a y s a n i m p o r t a n t r o l ei ns e m a n t i c sr e t r i e v a lr e s e a r c h e m o t i o n a ls e m a n t i cr e p r e s e n t a t i o n ，i m a g ef e a t u r ee x t r a c t i o na n de m o t i o n r e c o g n i t i o n a r et h et h r e ek e yi s s u e so nt h i sa r e a t h i sp a p e rm a k e sad e e pr e s e a r c ht ot h et h r e ei s s u e s ，p r o p o s e san e wi m a g e r e p r e s e n t a t i o nf r a m e w o r k ，a n dp r o d u c e sap r o t o t y p es y s t e mt or e c o g i z ee m o t i o n so f i m a g e b a s e do nt h ef r a m e w o r k ，t h ep a p e rs e l e c t sc o l o r 、s p e c t r u ma n dl i n e sa st h e v i s u a lf e a t u r e sw h i c hc o u l dr e f l e c ti m a g ee m o t i o ns e m a n t i c s n e u r a ln e t w o r k ，b a s e d o nb r a i ns c i e n c e ，i st h es i m u l a t i o na n da b s t r a c t i o no fb r a i n s ot h ep a p e rc h o o s et h e b pn e u r a ln e t w o r ka st h ee m o t i o nc l a s s i f i c a t i o nt ot e s tt h ep r o t o t y p e ，a n dp r o v e st h a t t h em e t h o dh a sg o o dp e r f o r m a n c e c o l o r , c l o s e l yl i n k e dt oe m o t i o n s ，h a st h ep o w e rt oa r o u s ee m o t i o n s s v m ，b a s e d o ns t a t i s t i c ss c i e n c e ，d i s p l a y i n gu n i q u ea d v a n t a g e si n s o l v i n gl i t t l es a m p l ep r o b l e m s ， a n dn o n - l i n e a r i t ya n dh i g h d i m e n s i o n a lp a t t e r n sr e c o g n i t i o np r o b l e m s ，i sb e c o m i n ga n e w l ya c t i v ea r e ai nm a c h i n el e a r n i n g i nc h a p t e rf o u r ，t h ep a p e ru s e st h es v ma st h e e m o t i o nr e c o g n i z e ra n dc o l o rm e a nv a l u ea n dc o l o rd i s t r i b u t i o na st h ef e a t u r e sf o r e m o t i o nr e c o g n i t i o n e x p e r i m e n t a la n a l y s i so nt h i sm e t h o dh a sb e e nc o n d u c t e di nt h i s p a p e ra n di t se f f e c t i v e n e s sh a sb e e np r o v e d a tt h ee n d ，m a j o rt a s k sa n dc r e a t i v ep o i n t sh a v eb e e nd i s c u s s e da n d s u g g e s t i o n s f o rf u t u r er e s e a r c hp r o v i d e d k e yw o r d s ：i m a g er e t r i e v a l ；e m o t i o n a ls e m a n t i c s ：e x t r a c tf e a t r u e s ；e m o t i o n r e c o g n i t i o n ；b pn e u r a ln e t w o r k ；s u p p o r tv e c t o rm a c h i n e i 基于情感语义的图像检索关键技术研究 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图3 1 图3 2 图3 3 图3 4 图3 5 图3 图3 图3 图3 图3 10 图3 图3 图3 图3 插图索引 图像的语义5 图像描述模型6 图像对象语义模型7 渐进式内容描述模型8 图像分割示意图1 2 分割示意图1 3 i q i 系统结构1 7 感性图像检索系统1 8 中科大情感获取系统1 8 图像内容描述模型1 9 r g b 色彩空间图2 0 h i s 色彩空间一2 1 图像分割示意图2 2 直线变换示意图2 4 参数平面分割示意图2 5 直线的标准式示意图2 5 神经元组成2 7 神经元模型2 8 b p 结构模型2 9 系统结构3 2 部分平静的图片3 3 部分有生机的图片3 4 部分荒凉的图片3 4 部分美丽的图片3 5 样本训练曲线3 7 频谱特征求取过程3 8 被正确分类为平静的图像3 8 被正确分类为美丽的图像3 9 被正确分类为有生机的图像4 0 被正确分类为荒凉的的图像3 9 最优超平面示意图4 2 v i 5 6 7 8 9 o l l l l l l 2 2 l 3 3 3 3 3 3 3 4 图图图图图图图图 硕士学位论文 图4 2 图4 3 图4 4 图4 5 i 甜 钙 拍 钾 一 一 一 一 | | ； 一 一 一 一 ；| ；| | ；| 一 一 一 一 一 一 一 一 一 | ； | | | 一 一 一 一 一 一 一 一 一 一 | | | 一 一 | | | | | | 一 一 一 | | | | | | 构图像像结意图图机示的的量割暖冷向分温冰持像分分支图部部 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：王室左日期：矽7 年6 月涉日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“4 ) 作者签名：王盔右、 刷磴氢承致、 ，、，1 日期：z , , oc 年6 月日 日期：7 1 0 c ，? 年6 月寥日 硕士学位论文 1 1 研究背景及意义 第1 章绪论 进入2 1 世纪的第一个十年，人类社会相比以前发生了深刻的变化，人们已经 进入了数字生活的新时代。数字媒体技术深入的改变了我们的生活，我们已经处 在了数字多媒体时代： ( 1 ) 国际互联网的迅速发展。进入2 0 0 9 年，我国网民总数已经超过3 亿，世 界网络人口也有了很大的发展，接触网络的人v i 占全世界人口总数的比例越来越 高。互联网网络带宽大大增加，网络已经进入了宽带阶段。网络对人类社会的影 响越来越大。 ( 2 ) 计算机等智能终端得到大规模普及。随着计算设备价格的下降，性能提 高，越来越多的普通人拥有了计算机等网络终端设备，获得了进入国际互联网的 能力。 ( 3 ) 多媒体技术取得了很大发展，视觉传感器技术深入的影响了人类社会。 目前，很多终端设备比如数码相机、摄像机、手机、摄像头等拥有了拍照的能力， 使得人们生产图像的能力大大增加。随着存储设备性能的提高，人们的数字资源 存储能力也大为提高。 ( 4 ) 互联网图像分享网站越来越流行，其内容越来越丰富。比如著名的f l i c k r 等图像分享网站拥有数以十亿计的图像资源。网上社区的出现，方便了人们交流 与分享自己的资源，这又反过来激发了了人们生产图像的热情。 在上述多种因素作用下，互联网中的图像数目正在迅速增加，在网上搜索时 人们越来越难以找到自己心目中想要的图像。在这种形式下，人类对图像资源的 组织与检索的需求日益迫切f i 习】。为了应对这种需求，人们建立了图像检索这一研 究领域，试图解决人们查找自己感兴趣图像的问题。目前图像检索领域的研究采 用的技术主要可分为基于文本的图像检索、基于内容的图像检索、基于语义的图 像检索【1 , 4 j 。前两种技术起步较早，目前的发展已经相对成熟，在实际应用中也取 得了一定的应用效果。 目前网络上的实际应用的图像搜索引擎大多采用基于文本的技术，比如 g o o g l e 图像搜索、y a h o o 图像搜索。但是由于这种技术先天具有不足，所以还不 能取得满意的效果。基于文本的技术主要是利用图像的标注信息来检索图像，标 注的准确性是影响系统性能的关键因素。而图像标注信息的获得主要是基于人工 标注或者基于其他信息源。因为目前网络上的图像数目增加越来越快，图像数目 基于情感语义的图像检索关键技术研究 越来越多，基于手工标注的方法越来越不现实。标注信息容易受到标注者主观因 素比如标注时的心态、本身的经历等等主观因素的影响，所以标注信息也常常不 能客观反映图像内容。所以这种方法无法解决目前面临的问题。图像检索系统还 可以利用其他信息源来标注图像。比如，g o o g l e 图像搜索引擎利用图像所在网页 的文本信息及图像文件名等信息来标注图像。这种方法可以实现图像的自动标注， 可以克服手工标注速度慢的不足。但是，由于图像所在网页信息并不一定能反映 图像内容，网络上对图像的描述还没有统一的规范。所以采用这种方法标注的准 确性往往很低，实际使用效果还不能令人满意。 为了克服文本检索技术的不足，人们提出了基于内容的图像检索。基于内容 的检索系统是试图利用一些图像所包含的客观的视觉信息来代表图像来进行检 索。这种视觉信息比较多的采用颜色、纹理、形状等视觉特征1 5 6 l 。经过十多年的 发展，这个领域建立了很多的原型系统，在一些特殊领域取得了很大的成功。相 比于文本检索技术取得了较大的进步【3 1 。这种技术具有简单、客观的特点，对于 特定的应用领域能产生很好的效果f 2 1 。但是，由于图像内容的丰富性，网络图像 所包含对象种类的广泛性，这种技术在通用的领域还不能取得理想的效果。这主 要是由于人们检索图像时往往以图像所包含的语义信息为依据来查找图像，而不 是以这些底层的视觉信息作为查找兴趣。图像的底层视觉特征与人类基于图像语 义的查询中存在着语义鸿沟f 2 , 7 , 8 】。由于语义鸿沟的存在，所以这种技术无法在网 络环境下复杂的图像内容检索中得到成功应用。 随着研究的深入，为了克服语义鸿沟，人们提出了基于语义的图像检索方法。 这种方法主要是依据图像内容与人们查询的一致性，试图从图像的视觉特征中提 取出图像的语义内容，然后利用提取的语义来索引图像，以此来克服语义鸿沟的 影响【9 , 1 0 】。 情感语义作为高层次的语义，是图像包含的一种重要的语义内容，在人们的 查询中占有重要的位置，因此对图像中情感语义的研究在语义图像检索领域中占 有重要的位置。目前，越来越多的学者认识到了对其研究的重要意义，纷纷投身 到这个领域的研究中来。虽然到现在为止取得了不少的成果，也有不少的原型系 统问世。但由于这个领域起步较晚，并且研究内容涉及到心理学、生理学、色彩 心理学等多个学科，具有很大的难度。所以，目前的研究还处在早期起步阶段】， 这个领域还有很大的发展潜力。 图像的情感语义研究涉及到情感计算、视觉心理学、生理学、人工智能等多 个学科，其研究成果可以反过来促进这些学科的发展。这方面的研究还具有巨大 的现实意义，可以应用到国民经济的许多领域。由于情感在人类生活中的重要地 位，所以这方面的研究可以极大的影响人们的生活，对社会的发展也有很大的积 极意义。这个领域的研究成果不仅可以应用到图像检索中，还可以广泛应用于广 硕士学位论文 告设计、教育、电子商务、产品设计、人机界面设计等领域，具有很大的应用前 景和经济价值。 1 2 本文工作 本文的研究内容主要集中在情感语义图像检索领域。这方面的研究建立在诸 如计算机视觉、模式识别、人工智能、认知科学、心理学与美学等相关学科基础 上【“l ，具有相当大的难度。目前的研究大多针对某些特定领域，还处在起步阶段。 在这个领域中，情感语义描述、图像情感视觉特征提取、情感识别是三个最核心 的问题1 1 1j 。 1 情感语义描述：这方面的研究的主要目的是全面、客观的描述图像所表达 的情感内容，即图像所能引起的观察者的情感反应。由于情感的抽象性与复杂性， 所以这发面的研究有很大的难度，需要依赖于心理学、生理学等方面的进一步发 展。本文对图像蕴含的语义内容进行了归纳和总结，并对图像的情感描述问题进 行了深入研究，在相关学科研究的基础上，采用情感形容词来描述图像的情感语 义。 2 与情感对应的图像特征提取：特征提取是从图像中抽取出客观底层特征， 主要采用计算机视觉与图像处理技术【1 2 14 1 。特征提取是c b i r 与语义图像检索领 域的核心技术，经过多年的发展，目前这方面的研究已经相对成熟。目前，人们 主要是利用图像的颜色、纹理、形状、轮廓等特征来提取图像的语义。目前在语 义图像检索领域的研究多集中于图像较低层次语义的提取，很少有学者从图像情 感语义的角度出发来提取图像的特征f i i , 1 5 l 。人们对图像蕴含的情感语义与图像视 觉特征的联系的研究也才刚刚起步，目前仅在一些特殊领域( 艺术图像、服装图 像、人脸识别) 等领域有了些成果【l6 1 。这方面的研究在情感语义图像检索领域 有着重要地位，未来还有很大的研究潜力。本文在前人研究的基础上，选取了一 组能有效表达图像情感语义的底层特征，并进行了实验验证，实验结果表明这些 特征较好的表达了图像的情感。 3 情感识别：这方面的研究目的是依据图像的视觉特征推导其蕴含的情感语 义。这方的研究需要依靠认知科学、脑科学、生理学、心理学、人工智能等很多 学科，所以其研究具有很大的难度。目前，人们主要是利用统计学、机器学习的 方法。本文第三章采用了人工神经网络方法作为情感识别算法，借鉴了人类大脑 认知的方法，构建了一个情感识别系统，实验证明这个系统取得了较好的效果。 目前支持向量机( s v m ) 在很多应用中取得了很好的成果，是机器学习领域的新的 研究热点，所以本文第四章选择s v m 作为情感识别算法，并主要基于颜色特征 进行了图像情感识别实验，实验证明这种方法有很好的性能。 本文主要从这三个方面对情感语义图像检索进行了深入研究，采用情感形容 基于情感语义的图像检索关键技术研究 词来描述图像的情感语义，选取了一些与图像情感高度相关的底层视觉特征，在 此基础采用b p 神经网络、支持向量机作为情感识别算法法，并对提出的方法进 行了实验，实验结果表明本文方法较好的实现了图像的情感识别。 1 3 本文结构 论文的结构如下： 第l 章：介绍了情感语义图像检索研究的背景和意义，并对这个领域的研究 的主要问题做了介绍，最后简单介绍了自己的工作。 第2 章：介绍了这个领域的相关研究的现状，首先介绍了图像的内容描述模 型和图像情感语义描述方法，然后介绍了与人类情感相关的图像特征的研究情况， 最后介绍了目前情感图像检索领域的图像情感识别的常用方法。 第3 章：介绍了自己的相关研究内容，首先归纳总结了图像的语义内容，然 后在这种归纳下层次下，提出了图像情感语义的描述方法，选取了与图像情感相 关的一组底层视觉特征，基于b p 神经网络技术构建了一个图像情感识别原型系 统，并进行了实验验证。 第4 章： 首先简要介绍了目前机器学习的新的热点技术支持向量机( s v m ) 。 提出了一种采用支持向量机作为情感识另0 算法，主要基于颜色特征的图像情感识 别方法，并对这种方法进行了实验并给出了实验分析。 最后对本文的工作和主要创新点进行了总结，并对下一步的研究工作进行了 展望。 第2 章情感图像检索 现在，随着数字图像资源的迅速增加，如何对其进行组织和检索成了一个急 需解决的问腮。越来越多的学者看到了这种巨大的需求。纷纷投入到这个领域中 来【3 l 。由于c b i r 技术试图用图像的视觉特征来代表图像，忽略了图像包含的丈 量的语义信息。所以其仅仅在某些语义鸿沟比较小的领域取得了一些成果”i 。而 人们是在语义这个层次上来描述和理解图像的，所以基于语义的图像检索是解决 语义鸿沟可行的途径。图像情感语义是一种重要的语义内容这方面的研究越来 越受到重视，逐渐成为了研究的热点。 2 1 图像内容描述模型 i 图像内容的描述方法。 圈2 i 图像的语义内容 俗话说“一目胜千言”，这句话形象的说明了图像中蕴含着丰富的语义信息。 如图2l 所示，副简单的图像就可能包含了人量的信息。图像整体、图像部分 区域都可能包含巨大的语义，而两者之间又相互联系互相影响，所以准确、完 基于情感语义的图像检索关键技术研究 整的描述一副图像是有很大难度的。人们检索图像就是对这些语义信息的检索， 就是从大量图像中查询含有自己感兴趣内容的目标图像。所以研究如何有效的描 述图像是图像检索领域的一个很关键的问题，众多学者对这个问题进行了研究， 这方面的研究也取得了很多的进展。 文献【1 7 】基于图像的语义分类词典建立了一种i p s m 模型来描述图像。 i p s m = m ( x ，y c ，p , q ，a ) ，该模型基于描述性特征建模方法用六个层次描述一副图 像：原始图像层：x = x l x n ，表示图像库中的n 个图像。六个层次为：图像特 征层：y = y i l ，y i i y 。) 兽，图像语义层：c = c i l ，c 驴c i 。) 当，综合概率层： p = p h ，p h 。) ，概率传播层：q = q n ，q i j q 。) 当，语义映射层： a = a i l ，a 如a 止挡。 文献【1 0 在图像基本视觉特征的基础上扩展了图像的高层内容，称为对象内 容( o b j e c tc o n t e n t ) 与场景内容( s c e n ec o n t e n t ) 。作者提出了一个图像语义描述 模型。模型由三层构成：特征内容( b a s i cv i s u a lc o n t e n t ) 、对象内容( o b j e c tc o n t e n t ) 、 场景内容( s c e n ec o n t e n t ) 。特征内容由图像视觉特征如颜色、纹理、形状等组成； 对象内容是在一组对象模型的基础上对图像的特征内容进行分析得到对象的语义 解释；场景层是在定义的一组场景模型的基础上对多个对象的场景语义解释。图 像描述结构如图2 2 所示。 s c e n e c o n t 锻砖 o b j e , t c o l l | e l a t b a i c v i 疆1 3 l c 0 1 1 1 e l , t 图2 2 图像描述模型 文献 18 作者提出了一种描述图像的模型，层次为：底层属性：比如颜色纹 硕士学位论文 理形状的；从图像中导出的特征：比如桌子周围的椅子；导出的抽象属性：比如 一场足球赛；基于人类识别的特征：比如女王召开议会；基于人类主观认识的特 征：比如高兴等。无法从图像底层特征直接导出的属性：比如图像作者，图像产 生时间和地点。经过语义分层，可以将一副图像的内容分为如图2 3 所示的结构， 并且各层之间存在关系，可以通过上次内容来推导高层内容，实现了完整的图像 描述框架。 图2 3 图像对象语义模型 文献【l9 】的作者认为如何描述图像内容，使其尽可能与人对图像内容的理解 一致，是图像检索的关键所在，也是其难点所在。传统的图像描述模型建立在低 级特征的基础上，一般以统计数据形式出现。实际上，这些统计数据与人对图像 的内容理解存在很大差异，人对图像的理解是建立在人类已有的知识的基础上的， 而这些低级特征无法反映这些经验知识。其次，图像内容具有模糊性，无法用简 单的特征矢量来描述。因此作者提出了一种渐进式内容描述模型，来比较准确的 描述图像【拇】。此模型为：d m = o i l ，m r l ，v p l ，o l ，s l 。如图2 4 所示包括： 原始图像层，有效区域层，视觉感知层，目标层，场景层，实现了图像内容的全 方位描述。 基于情感语义的图像检索关键技术研究 场景层 jl 翠 目标层 视觉感知层 jl 取 有效区域层 jl 呵 原始图像层 s l o l = t ，r ) v p l = f m e f w t ，f r d ) o i l 图2 4 渐进式内容描述模型 因为文献【l8 的描述方法简单、直观，比较完整的描述了图像内容，所以目 前得到比较多的应用。 根据文献 18 】图像对象语义模型层次可以概括为： 1 图像底层视觉特征：颜色、纹理、形状等底层视觉特征。目前c b i r 技术 主要是利用这个层次的特征进行检索。但是人们的查询往往是在语义层次进行的， 人们很少从图像的这些底层特征来判断图像是否满足自己的需求。c b i r 目前的 重要问题是存在着语义鸿沟，即图像的底层特征与人们对图像的理解之间存在着 很大的不一致性。因此，需要在更高层次上进行检索。 2 对象语义，对象及空间关系语义。这个层次的语义可以通过图像分割分割 技术识别出图像中的对象，然后进行对象空间关系分析提取出对象空间关系语义。 由于图像包含对象的复杂性，对对象的识别技术还是一个未解决的难题，这方面 的研究还有赖于图像处理等技术的发展。 3 高层语义：场景、行为、情感等。这个层次的语义可以通过其上层的图像 内容来推导。由于目前对象识别技术还远未解决，所以目前这个层次的语义主要 由图像的全局视觉特征来推导。通过提取与这个层次相关的图像特征，经过图像 语义识别器的处理，来识别图像的高层语义。 无论是那种图像描述方法，情感语义都在其中有着重要地位。由于情感在人 们的日常生活中占有非常重要的影响，情感对人们具有很大影响，所以研究图像 硕士学位论文 中的情感语义就有着重要的地位。 2 2 情感语义描述方法 情感在字典中被定义为：“对外界刺激的肯定和否定的心理反应，如喜欢、 愤怒、悲伤、恐惧、爱慕、厌恶等反应 。文献 2 0 】认为情感是一种心理状态， 是对外界刺激表示肯定和否定的强烈的心理感受。由于情感的模糊性与复杂性， 学者对其还没有形成统一的认识。本文采用上述定义，将情感定义为人对外界刺 激的反应。 在西方心理学与语言学领域，不少学者已经对情感的分类和描写进行了大量 研究。许多学者对人类的情感进行了归纳总结，试图找到人类具有的所有情感种 类1 20 1 。w h i s s e l l 归纳了1 0 7 个反映情感状态的词，p l u t c h i k 列出了1 4 2 个【2 0 1 。由 于人类情感的复杂性和多样性，目前这方面的研究还在进一步的探索中。另一方 面，在心理学中人们试图找到一些基本情感，然后由这些基本情感来合成人类的 所有情感，其他的情感被称为第二情感。比如快乐和欣慰构成激动。 人们对基本情感的研究从古代就已经开始。中国在先秦时代就开始了对基本 情感的分析，至今我国仍有“七情六欲之说。古代西方把情感分为五种：欲望、 愤怒、恐怖、喜乐、怜悯。近代e k m a n 在面部表情研究的基础上将基本情感分为： 快乐、悲伤、恐惧、憎恶、愤怒、惊讶六种。 在心理学中，人们提出了维量的思想，试图以几个影响人们情感的维量构造 情感空间，人类的任何情感都能映射为这个空间的一个点。在情感的维量研究方 面方面，冯特 2 l 】提出了“情绪三维理论 。他认为情绪需要三个维度才能有效 描述，这三个维度是：愉快和不愉快，紧张和松弛，激动和平静。美国心理学家 s c h l o s b e r g 也进行了类似的研究，他认为表示情绪的三个维度是愉快和不愉快， 拒绝和接受，激活水平。p l u t c h i k 提出了一个描述人类情感的理论模型一情感三 维模型【22 1 。情感三维模型用一个圆锥来近似代表这个模型，垂直维度代表情感维 度，截面圆上的角度代表情感感间的相似程度，八个扇区分别表示8 个基本情感 维度：愉快、信任、恐惧、惊讶、悲伤、恶心、愤怒、期望。在每个扇形中， 最强烈的情感位于扇形顶部，越往下代表的的情感强度越弱。 图像的情感语义可以认为是图像中蕴含的能引起人类某种情感反应的信息。 目前，很多的学者用情感形容词或者情感副词来描述图像的情感语义j 。根据情 感的定义，可以认为图像的情感语义是人类情感的一个子集，因此人类情感的研 究对其具有指导意义。 虽然人们对基本情感的分析众说纷纭，这种理论也没有得到证实。但这方面 的研究对图像情感语义的分析具有一定的启发意义。人们可以利用这种理论，来 提取出图像的基本情感语义，然后利用这种基本情感语义构造情感空间，即可推 基于情感语义的图像检索关键技术研究 导出图像所包含的情感语义。图像包含的每个情感都可以看成是这个情感空间的 一个点。但目前这方面的研究还有赖于人们对基本情感的分析，而且从基本特征 推导出图像的基本情感还具有相当大的难度，目前尚无这方面的理论指导。 目前只能根据实际的情况，构造一些简化的模型建立情感空间，用于描述图 像的情感语义【1 3 】。y o s h i d a 2 3 等在a r tm u s e u m 系统中，选取了十个形容词来描 述图像，并且将这些形容词分为五个强度，以此建立了一个情感空间来描述图像。 s u n g - - b a o 2 4 1 等用三个形容词：高兴、沮丧、凉爽来描述图像。c o l o m b o 等用四 个基本情感：愉快、紧张、放松、动感来描述图像。王伟凝【2 5 1 采用静感与动感作 为图像的主要情感语义来描述图像。 由于图像情感描述依赖心理学、生理学、情绪学、社会学等多种相关学科的 进展，所以目前这方面的研究还处于发展阶段。如何有效的描述图像的情感语义， 是情感图像检索的基础问题，这个方向是个在未来具有重要意义和很大研究潜 力的方向。 2 3 特征提取研究现状 特征提取是图像检索领域的一个关键问题，但在情感角度的研究还很少【1 1 1 。 目前，人们对与图像表达的情感相联想的特征的认识还很少，仅仅在比如艺术图 像、中国山水画这些比较专业的领域才提炼了一些理论【2 6 之9 1 。 这方面的研究试图提取能表现图像情感的底层视觉特征，主要是颜色、纹理 形状、图像色彩分布等方面的特征。 ( 1 ) 颜色：图像的颜色特征及其组合是与其情感语义关系最密切的一种视觉 特征【1 6 , 3 0 , 3 1j ，其具有唤醒情感的力量【2 1 , 3 2 l 。人类在长期的社会历史实践中，形成 了客观事物与人在物理生理结构，生理心理结构上的契合，由于这种契合，是 颜色具有了不同的情感意义 3 3 , 3 4 l 。在文字、图形、色彩这些要素中，色彩是最能 迅速传递信息和表情达意的，它能直接左右着人们的情绪，唤醒人们的情感联想。 色彩学研究表明：色彩不仅能引起人们在大小、轻重、冷暖、膨胀、收缩、前进、 后退等方面的心理感觉，同时还能引起人们的心理情绪变化已经兴奋、欢快、宁 静、典雅、朴素、豪华、苦涩等情感联想【3 5 , 3 6 l 。黄色是所有色相中最亮的色彩， 色觉暖和、可视性强；红色具有较为复杂的情感因素，有火热、革命、力量、暖 和、吉利、喜庆、庄严等含义；蓝色是色环中最冷的颜色，清冷而平静，有时亦 有一种淡淡的忧伤感，中国人对蓝色情有独钟，把它看作典雅、朴素、善良、智 慧的色彩；绿色处于可见光谱中间的位置，象征着青春、温柔、新生、萌发等情 感；紫色在色环中明度最低的颜色，是一个极受明度影响而使情感意味截然相反 的色彩，鲜明的紫色高贵庄重，淡化的紫色优雅而充满女性意味，灰暗的紫色象 征着黑暗和恐怖；白色是全部色彩的总称，具有一尘不染的品貌，具有清白、光 硕士学位论文 明、正值、无私、纯洁、忠贞的情感意义；黑色象征着沉默、力量、严肃、永恒、 毅力、刚正、忠义等意味；灰色给人以柔和、平凡、含蓄、中庸、消极、稳定的 印象，灰在情感上给人以消极、灰心、不开朗、不健康的感觉【3 6 1 。色彩本身没有 灵魂，它是种物理现象，但是人们却能够感受到色彩的情感，这是因为人们积 累了许多视觉经验，一旦知觉经验与外来的色彩刺激发生一定的呼应时，就会在 人的心理上产生某种情绪【3 6 1 。 色彩作为情感因素来考虑时的情感效果主要有冷暖感、轻重感、强弱感、软 硬感、明快忧郁感、兴奋沉静感和华丽质朴感等f 3 刀。 c o l o m b o 分析了艺术图像领域颜色与情感的关系【2 引。他指出了在艺术图像中 各种颜色对应的情感语义。根据艺术家在艺术图像领域表达情感的规律，他指出 暖色调能够抓住人的注意力，红色象征快乐、动感、力量，橙色象征着火热与荣 耀等等。 c o l o m b o 用二值数组表示每个区域中是否含有8 中基本色彩( 红、橙、黄、绿、 蓝、紫、黑、白) ，然后给据i t t e n 球模型关于图像颜色的理论推导出图像颜色冷暖、 和谐度、对比度等的语义描述公式，然后在根据这些公式得出图像的情感描述【3 引。 文献 3 9 】采用颜色直方图来作为图像特征。在h s v 空间，首先如下式量化h s v 各分量，然后构造特征矢量l ：2 h + s + v ，然后计算l 的一维直方图，如式所示： h = i ( h o 】，h 1 ，h 15 ) l ，以此为特征来推导图像的语义。 文献 4 0 】采用如式2 1 所示的图像的一阶矩、二阶矩、三阶矩来作为图像颜色 特征，i ( h ，s ，v ) ，n 为像素点数，p j i 表示在j 点的i 值。 e i = 吉善p ；臧= c 吉善c p ：一e i ，2 2 ，s = 吉姜c 已一e i ，3 3 c 2 - ， y o s h i d a 2 3 将图像分为3 2 x 3 2 的子块，然后计算每块的区域颜色对比度，这 样，不仅能反映图像全局色彩分布，而且也能反映图像局部区域对比度。3 个统 计量为：i = ( r + g + b ) 3 ，r g = ( r g ) 2 ，y b = ( 2 g r b ) 2 ，然后将i 、r g 、y b 组成特征 向量p i 作为输入。 日本的h a y a s h i 4 1 】等人如图2 5 所示将图像水平和竖直划分为l 个区域，使 用图像的l 个行和列的颜色r g b 分量的平均值组成的颜色向量作为图像的颜色 特征。首先，求出每一行和列的颜色总和： r o w ( j ，c ) = c o l o r ( i ，j ，c ) 和 c o l u m n ( i ，c ) = c o l o r ( i ，j ，c ) ，然后求出每个行分块和列分块的颜色总和： 面 r o w ( j ，c ) = r o w ( j ，c ) 和c o l u m n ( i ，c ) = c o l u m n ( i ，c ) ，最后在求出每一个行列 基于情感语义的图像检索关键技术研究 分块的颜色均值：c o l o r ( k ，c ) = t j _ ll 上 2 h l r o w ( j ，c ) ( w 木l 1 ，以此作为图像的特征。 c o l u m n ( i , c ) 以阢i f 列目际口。付仳。 ( h 乖l ) a v e r a g eo fr g b w i = 12w l h 图2 5 图像分割示意图 文献 4 2 】的作者分析了与情感相似的图像的美学语义相关的5 6 个底层特征。 他在文章中采用了： 1 平均亮度：e = 二酱i v ( x ，y ) ，x , y 代表像素点的坐标，i v ( x ，y ) 代表在( x ， x y y ) 坐标的亮度。 1 平均亮度：f 3 = 二謦y 卜= 0 1i h ( x ，y ) ，x , y 代表像素点的坐标，i v ( x ，y ) 代表在( x ， x y y ) 坐标的色度。 1 平均饱和度：f 4 = 二y - ，- o i 。( x ，y ) ，x , y 代表像素点的坐标，i v ( x ，y ) 代表在 x y ( x ，y ) 坐标的饱和度。 硕士学位论文 主要位置色度：f 5 = 二x 2 = x 3 ，2 y w = y 3 ，i h ( x ，y ) ，并对应提取了相应的主要位置的 x v 亮度f 6 和饱和度f 7 。 文献 3 7 1 在h s v 空间，采用量化技术构造了统计量l ，然后计算l 的直方图 来代表图像特征。首先，如式2 2 所示量化h ，s ，v 三变量： h = ：，h 7 6 , 1 5 5 1f 0 , s e 【o ，o 力f o , v e 【o ，o 力 瑟h 1 5 6 吲, 1 9 0 1 慑瓣* 匪匹蠹 亿2 ) 然后计算统计量l ：l = 9 h + 3 s + v , 得到7 2 柄的l 的直方图作为特征向量。作 者还采用水平方向、垂直方向的颜色分布，颜色的辐射状和环形分布作为颜色特 征。 文献 4 3 】的作者将图像分割成如图2 6 所示的水平与垂直l 个区域，然后求 出图像的颜色均值r a ，如公式2 3 所示求出各个区域r a 的差别r a d ，然后选出 r a d 最大的l 2 个区域作为感兴趣区域。 ( a ) 水平 p n r a = y j o i - 1 图2 6 分割示意图 c o l o r ( i ) ，r a d = i r a (