（模式识别与智能系统专业论文）基于模糊领域本体语义的图像检索关键技术的研究.pdf

江苏大学硕士学位论文 摘要 随着计算机和多媒体技术以及i n t e r n e t 的飞速发展，图像信息也急剧增长，如 何从海量的图像数据中高效快速地检索出用户所需图像成为计算机领域的一个重 要课题。然而，从图像的视觉特征到图像的语义表达之间存在巨大的“语义鸿沟一， 因此有效的图像检索系统必须要解决这个问题，充分利用图像的语义信息。于是基 于内容图像检索( c o n t e n t - b a s e di m a g er e t r i e v a l ，c b i r ) 基础上发展了基于语义的 图像检索技术( s e m a n t i c b a s e di m a g er e t r i e v a l ，s b i r ) ，s b i r 研究如何获取图像语 义信息，并根据语义检索相关图像。 本文在分析图像的语义模型、图像语义的提取方法存在的问题的基础上，基于 本体技术和模糊理论研究了s b i r 的几个关键问题，设计和实现了一个基于模糊领 域本体语义的图像检索原型系统s b i r f d o 。具体工作包括： ( 1 ) 研究了图像的底层特征( 颜色，纹理，形状) 提取方法，采用改进的k - 均 值算法以及颜色和纹理特征进行图像分割，从而提取了图像的感兴趣区域 ( r e g i o n - o f - i n t e r e s t , r o i ) ，并对分割后的区域提取形状和空间位置特征。 ( 2 ) 构建了图像语义的模糊领域本体描述模型( s e m a n t i cf e a t u r ed e s c r i p t i o n m o d e lu s i n gf u z z yd o m a i no n t o l o g y ，s f d m f d o ) ，该模型主要是将本体技术和模糊 理论相结合应用来图像特征表示上来，本体是一种用来描述概念以及概念和概念之 间关系的模型，而模糊理论能够促使图像检索技术脱离精确的计算。在传统的领域 本体基础上，给其中的概念与概念间的关系加入模糊隶属度构成了模糊领域本体 ( f u z z y3 d o m a i no n t o l o g y ，f d o ) ，用f d o 来描述图像语义特征更加符合人类的 模糊思维。 ( 3 ) 提出了一种新的基于v a g u e 集的f s v m s 语义分类方法( v - f s v m s ) ，并利用它 将图像底层特征映射到本体中的高层语义概念特征，这样系统就可以从图像的底层 特征自动地获取到图像的高层语义信息。 ( 4 ) 设计了一种基于语义网络和v a g u e 集的相关反馈算法r f s v ( r e l e v a n c e f e e d b a c kb a s e do ns e m a n t i c w e ba n dv a g u e ) 。r f s v 算法是在传统的相关反馈算祛基 础上加入真假隶属度函数，能够更加自然地描述图像相应特征在检索中的分量，根 江苏失学硕士学位论文 据用户的不同理解来更新语义结构，实现图像底层特征映射到本体中的高层语义。 ( 5 ) 设计并实现了一个基于模糊领域本体语义的图像检索原型系统s b i r f d o ， 并在标准图像库上与基于关键字的语义图像检索方法进行了对比实验。实验结果表 明，本文的方法在查询准确度与查全性方面比基于关键字语义图像检索方法都有所 改进，并且经过多次反馈以后，系统的性能逐渐改善并趋向稳定。 关键词：语义图像检索；模糊领域本体；相关反馈；支持向量机 江苏大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r ka n dm u l t i m e d i a , t h en u m b e ro fd i g i t a li m a g e k e e p si n c r e a s i n g i tb e c o m e s a l lu r g e n tp r o b l e mt h a th o wt of i n dn e e d e di m a g ee f f i c i e n t l y i n 1 a r g e s c a l ei m a g ed a t a b a s e h o w e v e r , ag r e a ts e m a n t i cg a pb r e a k st h er e l a t i o nf r o mt h e l o w - l e v e lv i s u a l f e a t u r e so ft h ei m a g et oi t s h i g h - l e v e ls e m a n t i ce x p r e s s i o n , s oa l l e f f i c i e n ti m a g er e t r i e v a ls y s t e ms h o u l db eo n et h a t 啪m a k ef u l lu s eo ft h er i c hs e m a n t i c i n f o r m a t i o no ft h ei m a g et os o l v et h i sp r o b l e m t h e r e f o r e ，f o u n d e do nc o n t e n t - b a s e d i m a g er e t r i e v a l ( c b i r ) ，s e m a n t i c - b a s e di m a g er e t r i e v a lh a sd e v e l o p e d , a n di te x t r a c t s t h es e m a n t i ci n f o r m a t i o no fi m a g e si nam u l t i - c h a n n e lw a ya n ds e a r c h e sac e r t a i ni m a g e a c c o r d i n g t ot h es e m a n t i ci n f o r m a t i o nt om e e t sp e o p l e sd e m a n d s f u r t h e r ! g r o u n d e do nt h ea n a l y s i so ft h ep r o b l e m se x i s t 崦i nt h es e m a n t i cm o d e lo fi m a g e a n dt h em e t h o d so fi m a g es e m a n t i ci n f o r m a t i o ne x t r a c t i o n , t h ep a p e rr e s e a r c h e st h e k e y t e c h n o l o g i e so fs b i rb a s e do no n t o l o g ya n df u z z ys e tt h e o r y , a n dd e s i g n sa l le f f i c i e n t s e m a n t i c - b a s e di m a g er e t r i e v a lp r o t o t y p es y s t e mb a s e d0 1 1f d o ( s b i r f d o ) 。砀em a i n w o r ki n c l u d e s ： ( 1 ) a c c o r d i n gt ot h er e s e a r c h e so nt h em e t h o d sb yw h i c hl o w - l e v e lf e a t u r e s ( s u c ha s c o l o r , t e x t u r e ，s h a p e s ) a r ee x t r a c t e d , w ep r o p o s e dam o d i f i e dk - m e a n sa l g o r i t h mb a s e d o nc o l o ra n dt e x t u r ef e a t u r e st od oi m a g es e g m e n t a t i o n , t h e nw ee x t r a c t e dt h e r e g i o n - o f - i n t e r e s t 偎o i ) o fa ni m a g e ，f i n a l l y , w ee x t r a c t e dt h es h a p ea n ds p a t i a lp o s i t i o n f e a t u r eo f t h er e g i o n ss e g m e n t e d ( 2 ) c o n s t r u c t e das e m a n t i cf e a t u r ed e s e r i p t i o nm o d e lu s m gf u z z yd o m a i n o n t o l o g y ( s f d m f d o ) t h i sm o d e lc o m b i n e do n t o l o g yt e c h n o l o g ya n df u z z ys e tt h e o r y a n da p p l i e dt h e mt os e m a n t i cf e a t u r ed e s c r i p t i o n so fa ni m a g e o n t o l o g yi sak i n do f m o d e lt h a ti su s e dt od e s c r i b et h ec o n c e p t sa n dt h er e l a t i o n so ft h e m , a n df u z z ys e tt h e o r y c a nm a k ei m a g er e t r i e v a la p a r tf r o mp r e c i s i o no fc a l c u l a t i n g b y a d d i n gf u z z y m e m b e r s h i pt ot h ec o n c e p t sa n dt h er e l a t i o n so f t h e mi nt h ed o m a i no n t o l o g y ，w eg o ta f u z z yd o m a i no n t o l o g y 伊d o ) w h i c hc o u l db eu s e dt od e s c r i b et h es e m a n t i cf e a t u r e so f a ni m a g ei naw a yc a t e r i n gf o rh t l a n sf u z z yt h o u g h t s ( 3 ) p r o p o s e dan e wm e t h o df o ri m a g es e m a n t i cc l a s s i f i c a t i o nb a s e do nv a g u es e ta n d f s v m s ( v - f s v m s ) w eu s e dt h en e wm e t h o dt om a pt h el o w - l e v e lv i s u a lf e a t u r e s 。0 f 柚 i m a g et ot h eh i g h - l e v e lc o n c e p tf e a t u r ei no n t o l o g y , t h u st h es y s t e mc o u l da u t o m a t i c a l l y a c q u i r et h eh i g h l e v e ls e m a n t i ci n f o r m a t i o nf r o mt h el o w - l e v e lv i s u a lf e a t u r e s ( 4 ) p r e s e n t e dar e l e v a n c ef e e d b a c ka l g o r i t h mb a s e do ns e m a n t i cw e ba n dv a g u e ( r f s v ) r f s va l g o r i t h ma d d e dt h et r u t h - m e m b e r s h i pa n dr a i s e - m e m b e r s h i p t o t r a d i t i o n a lr e l e v a n c ef e e d b a c ka l g o r i t h m , a n di tc o u l dm o r en a t u r a l l yd e s c r i b e 。；t h e 江苏大学硕士学位论文 i m p o r t a n c eo ft h ec o r r e s p o n d i n gf e a t u r e s b yu p d a t i n gt h es e m a n t i cs t r u c t u r ea c c o r d i n g t ot h ed i f f e r e n tu n d e r s t a n d i n g so fd i f f e r e n tu s e r s ，t h em a p p i n gf r o ml o w - l e v e lv i s u a l f e a t u r e st oi l i 曲一l e v e ls e m a n t i cf e a t u r e sr e a l i z e d ( 5 ) d e s i g n e da n dr e a l i z e das e m a n t i c b a s e di m a g er e t r i e v a lp r o t o t y p es y s t e mb a s e d o nf d o ( s b i r f d o ) w ed i ds o m ec o n t r a s te x p e r i m e n t so ns t a n d a r di m a g el i b r a r y c o m p a r i n gw i t ht h es b i rb a s e do nk e y w o r d s t h er e s u l t sp r o v e dt h a tt h em e t h o di nt h i s p a p e rw a ss u p e r i o rt ot h es b i rb a s e do nk e y w o r d si np r e c i s i o na n d r e c a l lp e r f o r m a n c e f u r t h e r m o r e ，a f t e rs o m et i m e sr e l e v a n c ef e e d b a c k , t h ep e r f o r m a n c e 。o ft h es y s t e m i m p r o v e dg r a d l l a l l ya n d t e n d e dt ob es t a b l e k e yw o r d s ：s e m a n t i c - b a s e di m a g er e t r i e v a l ，f u z z yd o m a i no n t o l o g y , r e l e v a n c e f e e d b a c k , s u p p o r tv e c t o rm a c h i n e i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口： 在 年解密后适用本授权书。 本学位论文属于 不保密t 学位做作者签名绛竣l 2 舯莎年j ) - j 弓廖日 指导教师签名： 泵缘 妒年，工月止e t 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容以外，本论文 不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全 意识到本声明的法律结果由本人承担。 学位论文作者签名：彳红梭迢一 日期：2 0 0 8 年1 2 月 第一章绪论 1 1 研究背景和意义 随着多媒体技术及i n t e m e t 网络的迅速发展，越来越多的人能够更加方便快捷地 接触到数字媒体，快速增长的海量多媒体信息让人们应接不暇。而多媒体信息量中 最大最主要的一种就是图像信息，并且图像在人们日常生活中的应用日益广泛，如 公安部门，医疗系统，商标管理等，图像已成为大众化数字信息的一种重要形式。 由于图像数据信息量大，抽象程度低，人类如何对大规模的图像进行有效的存储、 组织和管理，如何从浩如烟海的图像世界中快速、准确地找到自己所需要的信息， 即图像信息资源的检索成为国内外研究的热点。 传统的图像数据库信息检索是基于文本的检索方法，依赖于图像的文字标注， 首先对图像数据库中的每一幅图像加上具有描述性的文字或数字标签，检索时，只 对标签进行检索。基于文本的检索技术已经当成熟，目前投入商业运行的网站大多 应用的是基于文本方式的检索系统，在大部分领域取得了相当理想的效果。但是在 某些方面文本标注不适合图像检索，主要有以下原因：( 1 ) 文本标注不能充分描 述图像数据丰富多变的内容；( 2 ) 文本标注由手工完成，费时费力；( 3 ) 文本标 注缺乏统一的描述标准，并且受人的主观性影响比较大，不同的观察者对同一幅图 像可能给出不同的描述。 2 0 世纪9 0 年代初，随着图像数量的大规模增加，基于文本的图像检索中的向题 变得越来越尖锐，于是，利用图像的内容，如颜色、纹理、形状等特征来进行检索 图像的技术应运而生，即基于内容的图像检索技术( c o n t e n t - b a s e di m a g er e t r i e v a l ， c b 瓜) 。c b r 就是指利用计算机对图像的内容进行自动分析，根据分析得到的图 像视觉特征( 颜色、纹理、形状以及对象的空间位置关系等信息) 进行索引，：用户 可以针对自己的需要从目标图像集合中查询具有指定特征或包含特定内容的软件 包，而不必再冥思苦想来寻找关键词，其检索方法主要是基于图像的多维特征进行 相似性查询。此项技术的研究结合了计算机视觉、模式识别0 图象处理0 图像理解i 图像分析和数据库等多个领域的技术成果，是一个很有前途的发展方向。目前，c b i r 的很多成果已转化为应用技术，而且日益增长的应用需求反过来推动其研究向更高 江苏大学硕士学位论文 的层次发展。 在理想的状况下，用户主要根据图像的高层概念语义特征，如关键字、文本描 述等来理解图像，然而，由于计算机自动提取的图像视觉特征是底层特征，如颜色、 纹理、形状、空间位置等，这些底层特征与人所理解的图像内容存在巨大的差异； c b 瓜仍然无法满足人们检索的要求。 图像的高层语义特征包含了人对图像内容的理解，而图像底层特征和高层概念 语义特征之间不存在直接的联系，即这种理解是无法直接从图像的视觉特征即底层 特征获得的，而要根据人的知识来判断，并且需要一个根据日常生活中积累的大量 经验知识推理图像语义的过程。 同时，人们判断图像的相似性也并非仅仅建立在图像视觉特征相似性的基础 上，而是主要根据图像的含义来判断图像是否符合自己的需要，这时就要使用一些 高层次概念( 如男孩、高兴、浪漫等) ，这些高层次概念包含了人对图像所描述的 对象、事件以及表达的情感等内容的理解，即是图像的高层语义知识。所以，为了 进行高层概念语义特征的查询，c b i r 系统必须要解决图像简单视觉特征和用户理解 丰富语义之间存在的搿语义鸿沟一问题f l j 。即理想的图像查询模式即是基于图像概 念语义特征的检索。这也一直是计算机视觉、图像理解以及模式识别等领域的难题。 综上所述，基于语义的图像检索技术涉及到多个研究领域，有着广阔的应用前 景，并且仍有许多关键技术没有解决或不够完善，因此，研究该项技术既有深远的 意义也将面临巨大的挑战。 1 2c 】b 琢研究现状 1 2 1 国外现状 1 9 9 2 年，“基于内容的图像检索( c b 瓜) ”一词开始在国际上正式使用。鉴于 基于内容图像检索系统的重要性、有效性及优越性，近年来国外已纷纷投入人力物 力方法开展了研究，迄今已有许多c b i r 系统面世，其中既有各研究机构研制的演 示软件也有商业应用软件。这些系统有以下共同特点：( 1 ) 提取多种有效代表图 像主要内容的图像特征向量，且维数比较低；( 2 ) 对高维特征向量添加树型索引 结构以便有效管理这些图像特征；( 3 ) 支持多特征融合的检索方式且检索界面合 理方便。下面简单介绍几个比较知名的图像检索系统【2 】。 国际商用机器公司i b m 的q b i c i ( q u e r yb yi m a g ec o n t e n t ) 是第一个商业化基于 2 江苏大学硕士学位论文 内容图像检索系统，其系统结构包括图像入库、特征计算、查询阶段。支持基于例 子图像、手绘略图、指定特征( 颜色、纹理等) 的查询。使用的颜色特征有平均( r , o ，b ) 、 ( y ，i ，q ) 、( l ，曲) 和m t m 坐标及七个元素的颜色直方图：纹理表示是粗糙度、对 比度和方向度的结合：形状特征包括圆形度、偏心度及一组代数矩不变量，在它的 新系统中，将基于文本的关键字查询与基于内容的图像检索结合在起。 v i r a g e 是由v i r a g e 公司提出的专门从事图像和声像信息检索的系统，可以检索静 态图像和动态影像。它比q b i c 更进一步，支持组合查询，用户可以根据自己的查询 意图调整查询方式的权重。v i r a g e 技术的核心是v i r a g ee n g i n e 以及在图像对象层上的 操作。v i r a g ee n g i n e 主要有图像分析、图像比较和图像管理三方面的功能。 p h o t o b o o k 是m i t 多媒体实验室开发的用于浏览和搜索图像的一套交互式工具。 包括3 个子部分，分别用于提取形状、纹理和面部特征，用户可以在每个子部分中按 照对应特征进行查询。并在一些新版本中提出了模型集( s o c i e t yo f m o d d ) 方法，该方 法在交互式图像注释中很有效。 v i s u a l s e e k 和w e b s e e k 是由美国哥伦比亚大学开发的姊妹系统。主要特点是， 研究利用图像区域空间关系进行查询和从压缩域提取视觉特征来进行检索。系统主 要彩颜色特征和基于小波变换的纹理特征。为了加速检索过程，采用了基于二叉树 的索引算法。v i s u a l s e e k 支持视觉特征和空间关系查询。w e b s e e k 主要是面向 w w w 的文本和图像搜索工具，它包含3 个模块：图像、视频收集模块，主题分类和 索引模块，搜索浏览和检索模块，同时支持关键字查询和视觉特征查询。 以上几种检索系统主要是基于图像的全局特征，用整幅图像的颜色、纹理、形 状等特征来描述和检索图像，这种方法一般只适用于简单的图像或背景较为单一的 图像。为适应更为复杂的图像，c b 逐渐转向基于区域的图像检索方法，通过图像 分割提取出图像中的物体，然后对每一个区域使用局部特征来描述，综合每个区域 的特征得到图像的特征描述，最后使用固定的相似性度量标准来检索图像。具有代 表性的工作有：n e t m 系统、，s n v t a l i c i t y ii p u r e 等。但是由于无法使分割出的区域 与图像中的物体很好地对应起来而造成检索准确率并不高。 基于全局或是区域特征的图像检索均是对图像提前进行分析，进而提取出周定 的特征并采用固定的相似度量方法j 没有考虑用户的需求，：不能满足不用的用户检 索要求。于是出现了人机交互的思想，它借助一种相关反馈技术( r e l e v a n c ef e e d b a c k ) 3 江苏大学硕士学位论文 来猜测用户的需求，并且根据用户的需求及时调整系统检索时所用的特征和相似性 度量方法，从而尽量缩小底层特征和高层语义之间的差距。相关反馈是文本检索领 域中一个基本的技术，r u i y o n g 最先将其用到c b 取领域，实验证明它的确十分有效， 因此，此项技术成了近几年研究的热点，出现了许多相关反馈方法，代表系统有； m a r s ，p i c h u n t e r ，f o u r e y e s ，s 咖a g e 和m m r e a d e r 等。 1 2 2 国内现状 1 9 9 4 年，结合相关领域已有的工作基础上，国内也开始关注对c b i r 的研究网。 如中科院计算机技术研究所的多媒体信息检索系统m i r e s ：清华大学的i n t e m e t 上 静态图像的基于图像内容检索的原型系统等。 m i r e s 可以在网上按内容对图像影像信息或文本信息进行检索，它支持多种方 式组合查询，交互式相关反馈优化查询，采用多服务器的结构，能够提供面向 i n t e r n e t 的在线服务，并且支持大容量图像数据库检索。 清华大学的徐寅、章毓晋设计和开发的一个由抽取特征的图像检索算法测试平 台( t e s tb e df o rr e t r i e v i n gi m a g ew i t he x t r a c t i n gf e a t u r e ) ，简称t - b r i e i t l 7 。该平台是 一个对算法开放的抽取特征检索图像的算法测试平台，可以即时集成现有的多种不 同算法，而且这些算法与平台无关，便于管理，同时它还提供了包括颜色、纹理、 形状等单一特征及综合利用不同特征查询和检索手段如综合检索，渐进检索等，具 有一定的交互能力，可用于算法研究、性能比较等。 浙江大学数字媒体计算与设计实验室开发了两个原型系统j 基于图像颜色的检 索系统p h o t on a v i g a t o r ，以及基于图像形状的检索系统p h o t oe n g i n e 。前者采用颜色 聚类算法，提出了一种有效的支持颜色近似匹配方法，后者提出了基于内角的表征 方法和狭长度计算，以及一种快速的匹配算法。在以上系统的基础上，又开发了一 个基于内容的多媒体检索系统w e b s e o p e c b r ，其总体设计思想是允许用户找到包含 特定颜色、纹理和形状的图像，它支持基于关键字、全局颜色、全局纹理、对象形 状、颜色布局、纹理布局等的查询。后来又研究和开发了基于语义与内容相结合的 图像搜索引擎，支持元数据和语义、图像例子的检索，以便从海量图像数据库中快 速有效地检索出用户需要的图像， 至今，基于内容的图像检索发展还不成熟，还有很多问题有待于解决：1 如获取 的语义信息，如何与图像的底层特征结合并通过相关反馈在图像之间传递语义信息 4 江苏大学硕士学位论文 以及如何实现图像底层视觉特征向高层语义特征的映射等，以更好地表达人们对图 像的理解，提高检索的准确率等。这些正是本文所要研究的主要内容。 1 3 本文的研究内容及创新点 目前对图像检索系统的研究已经不在局限于基于图像的视觉特征或多种特征 综合的检索了，而是更多地关注于基于高层概念语义特征图像检索的研究。本文主 要做了以下工作： ( 1 ) 研究了图像的底层特征( 颜色，纹理，形状) 提取方法，采用一种改进的 k - m e a n s 算法利用颜色和纹理特征进行图像分割，从而提取了图像的感兴趣区域， 并对分割后的区域提取形状和空间位置特征。 ( 2 ) 介绍了本体理论及模糊集相关理论，并根据对常用的几种图像特征表示的方 法的分析与比较，提出了基于f d o 的图像描述模型j 来描述图像各方面的特征。 ( 3 ) 探讨了支持向量机以及v a g u e 集相关知识，并将两者结合起来，提出了一种 新的基于v a g u e 集的f s v m s 语义分类方法t w - f s v m s ) ，并利用它将图像底层特征映 射到本体中的高层语义概念特征，这样系统就可以从图像的底层特征自动地获取到 图像的高层语义信息。 ( 4 ) 对图像检索中的相关反馈技术进行了分析比较，并根据人类感知的不确定性 以及v a g u e 集的特性，将v a g u e 集引入到相关反馈中，设计了一种基于语义网络和 v a g u e 集的相关反馈算法r f s v ，该算法是在传统的基于语义网络的相关反馈算法 基础上加入真假隶属度函数，能够更加自然地描述图像相应特征在检索中的分量， 根据用户的不同理解来更新语义结构，以更好地提高检索性能。 ( 5 ) 设计了一个基于模糊领域本体语义的图像检索系统s b i r f d o ，并在标准图 像库上与文献【4 】中基于关键字的语义图像检索方法进行了对比实验。实验结果表 明，本文的方法在查询准确度与查全性方面比基于关键字的方法都有所改进，并且 经过多次反馈以后，系统的性能逐渐改善并趋向稳定。 本文的创新点如下： ( 1 ) 采用了一种改进的k - m e a n s 算法利用颜色和纹理特征进行图像分割，从而提 取了图像的r o i ，并对分割后的区域提取形状和空间位置特征- ， ( 2 ) 构建了基于模糊领域本体的图像语义描述模型s f d m f d o ，该模型能够比较 详尽地描述图像各方面的特征，而且比较符合人类对图像理解的感知模糊性，：还可 5 江苏大学硕士学位论文 以通过对本体的扩展不断地加入新的特征。 ( 3 ) 提出了一种新的基于v a g u e 集的f s v m s 图像语义分类方法( v - f s v m s ) ，该 方法不但能够解决样本权值确定不当问题，而且提高了分类性能，很好地实现了底 层特征到高层语义特征的映射。 ( 4 ) 设计了一种基于语义网络和v a g u e 集的相关反馈算法( p f s v ) ，解决了在用户 反馈中由于人类感知的不确定性带来的不合理反馈问题。 1 4 论文的组织结构 本文主要对语义图像检索中的关键技术进行研究和实践，并对语义图像检索的 发展做了一定的调查和研究。论文共分七章，其组织结构如下： 第一章，绪论。介绍了选题的背景和意义，总结图像检索的研究概况。同时介 绍了现有的图像检索系统，阐述了研究的主要内容和论文的创新点，并对论文结构 进行了安排。 第二章，综述了基于语义的图像检索( s e m a n t i cb a s e di m a g er e t r i e v a l ， s b i r ) 的研究进展。然后从图像语义模型、图像语义的提取和语义特征表示方法三个方面 介绍了s b i r 的国内外发展状况，最后介绍并分析了几种现有的图像语义检索系统。 第三章，改进的k - m e a n s 分割及特征提取。提出了一种改进的k - m e a n s 图像分割 算法，利用图像底层颜色和纹理特征对图像进行分割，然后再对分割出的区域提出 其形状特征和空间位置关系特征，完成图像底层视觉特征的提取。 第四章，基于f d o 的概念语义特征描述模型。首先介绍了本体及模糊集合相关 理论，然后设计并构建了基于模糊领域本体的概念语义特征描述模型，o n t o l o g y 和 f u z z ys e t 的有效结合可以很好的对图像语义进行描述，而且更符合人类的模糊感知。 第五章，底层特征到高层语义特征的映射。首先介绍t v a g u e 集相关知识，接着 对s v m 和f s v m 相关理论进行简单描述，并设计了基于v a g u e 集的f s v m s 分类器 v - f s v m s 完成图像底层特征到高层语义特征的映射，实现图像语义的自动获取。最 后结合关键字语义网络和v a g u e 集设计了系统的相关反馈算法r f s v 。 第六章，实验分析及比较。介绍实验的环境，使用的软硬件工具。设计了实验 系统的总体框架，介绍了系统中各模块的主要功能及算法，并对实验结果进行分析 比较，证明本文检索算法的正确性以及有效性。 第七章，总结全文，并对今后的工作给予期待和展望。 6 江苏大学硕士学位论文 第二章基于语义的图像检索综述 目前，c b i r 已经发展到一个相对成熟、稳定的阶段，c b i r 的初衷是根据人对 图像的理解和认识来衡量图像间的相似性，以此实现检索。但是在具体实现时，大 多直接采用传统的底层图像特征来描述图像内容，而这些描述一般以统计数据的形 式出现。事实上，这些统计数据与人对图像内容的理解有很大差异。 首先，人对图像内容的理解并不是依靠统计进行的，人有学习的能力；其次， 图像内容无法用简单的特征向量来完整描述；而且，人对图像内容的理解是建立在 人类已有知识的基础之上的，而这些底层特征无法反映人类的这些经验知识。这使 + 得在很多情况下，仅以图像底层特征为检索依据得到的检索结果不尽人意。 为了提高c b i r 的检索准确性，研究者们的研究重点已从设计复杂的底层特征 提取算法转移到了如何缩小视觉特征和人们所理解的语义特征之间的“语义鸿沟 问题。只要能准确有效地获取图像的语义信息，使计算机检索图像的能力接近人的 理解水平，“语义鸿沟一问题就能得到有效的解决。获取图像语义信息的过程实际 上就是解决这个问题的过程。 本章将从图像语义模型；图像语义的提取方法、图像语义特征表示三个方面介 绍和综述s b i r 技术的国内外发展动态，并根据研究现状，进一步分析如何有效解 决“语义鸿沟 的问题。 2 1 图像语义模型 目前已有不少研究者对于语义图像检索做了一定的研究。但是现存的技术和系 统一般都是在应用领域的需求推动下，分别对于某一方面的语义进行处理。要建立 通用的图像语义检索系统，并支持广泛的用户请求，对整个语义表示和处理的过程 进行一定的抽象非常必要。这个抽象的过程，即建立通用的图像语义模型，对于整 ： 合现有的系统和技术，将其纳入通用的框架也至关重要。 2 1 1 图像语义模型定义 语义模型是图像语义的直观形象的描述形式，图像语义模型的概念定义为【5 j ： 语义模型是一个对图像特征提取的一个高度抽象的描述卜它由图像固有信息和意念 信息两部分组成；固有信息包含了图像本身的颜色、纹理和形状等j ：以及图像中的 江苏大学硕士学位论文 对象、对象与对象的相对关系；意念信息由场景语义、行为语义和情感语义组成。 语义模型具有层次提炼性、网络继承性和自学习适应性等特点；它具有自身的知识 库和形式描述语言，是一个由图像信息、计算机和知识概念组成的系统。 2 1 2 图像语义模型结构 语义模型的结构是对语义模型的抽象表达，以直观、形象的方式来描述语义模 型的结构。语义模型的研究，遵循着由低级向高级发展，由粗糙到精细的过程，由 物质特性升华到意识形态，这是语义模型发展的过程。语义模型结构有层次结构、 网络结构以及意念结构三种，这里我们重点介绍图像的图像语义层次模型。 图像中包含着很多属性和特征，用户可以通过不同的内容属性进行检索。并且 图像的语义是层次化的，也可以说图像的语义是有粒度的，不同层次的语义粒度不 同，可以采用多层结构进行分析。 e a k i n s 6 根据用户查询内容的复杂性，将图像语义内容分为三层，对应着三个层 次的查询方式。图2 1 中的箭头表示语义的抽象程度，下一层次通常包含比上一层次 更高级更抽象的语义，而更高层的语义往往通过低层的语义推理而获得。 第一层为特征语义，描述图像的颜色、纹理和形状等底层视觉特征及其组合， 从本质上说，这个层次上的特征是属于图像本身的属性，并没有利用图像的语义信 息，是过去图像技术关注的内容。 第二层为对象层语义，涉及由视觉特征推导得到的特征，对应于对象语义和空 间关系语义。通过一定的逻辑推理从而识别出图像中含有的图像类别，并在此基础 上描绘这些对象的拓扑关系。 最三层为概念语义层，是对对象和场景进行更高层推理而得到的语义，属于图 像的抽象属性。包括图像的场景语义，行为语义和情感语义等。 用户可以在这三个层次之间以不同的方式进行查询，主要的差别体现在底层特 征层和对象层之间，即是否真正用到了图像的语义。一般把基于对象层、概念语义 层两个层次的检索方式称为基于语义的图像检索。而将底层特征层和对象层之间的 差距称为“语义鸿沟一网，是语义和非语义之间的真正差异所在。更确切地，把图像 底层特征有限的描述能力和用户理解的丰富语义之间的差异称为“语义鸿沟劳【刀。 壬惠锋等【8 j 给出了个语义层次模型如图2 1 所示他们认为语义具有六个层 次，自下而上依次为特征语义、对象语义、? 空间关系语义、场景语义：行为语义， 8 江苏大学硕士学位论文 以及情感语义。特征语义指底层视觉特征及其组合所得到的语义，如“红色方形。 对象语义是针对图像中的对象所给出的语义，如“岩石 。：空间关系语义是指对象 之间存在的空间关系，如“房屋门前的小河一。场景语义是整幅图像所处的场景， 如“沙滩 。行为语义指图像所代表的行为或活动，如一场篮球赛中的各种行为。 情感语义是图像带给人的主观感受，如让人兴奋。每一个层次都比其下一个层次包 含了更高级更抽象的语义。 情感语义 行为语支 i ! ! 鞋 。医鬲藩薮 j 一，。广 f _ ；i i 占 - - - o - - - - - i 特征语义 ( a ) - - 层结构 ( 2 ) 交运算：记么和曰的交集为a n b ，其隶属函数为： 8 ) = 儿 ) 鳓似) = m i n 心 ) ，心 ) ， ( 3 ) 补运算：记彳和曰的补集为才，其隶属函数为： 纷 ) = l 一心( ”) 除了并、交、补运算外，模糊集合还有如下的几种运算： 模糊集的笛卡尔积( 代数积) ：设4 0 = l ，2 ，神为论域o 寻l ，2 ，埘) 中的模糊集 合，则4 4 4 是乘积空间q “中的一个模糊集合，其隶属函数为 3 l 江苏大学硕士学位论文 心。砂x a ( u i ，材：0 ) = i i l i n 心( ) = 兀心( ) t = l 模糊集的代数和：称a + b 为模糊集合彳和b 的代数和，其隶属函数为： 心+ 口( “) = m i n 1 ，心似) + 鳓( “) 模糊集的兄截集：对v a 【o ，1 】，彳的a 截集为：以= 似l l ( u ) 名 模糊集的运算还有很多，这里我们就不一一列举了，我们可以根据实际问题选择 不同的运算。 4 4 模糊领域本体咖 定义1 ：领域本体( d o m a i no n t o l o g y ，d o ) ：本体中的对象以及它们之间的关系 是通过知识表达语言的词汇来描述的，因此一个领域本体可以定义为一套知识表达 的专门术语( 有代表性的概念) 组成的术语集。它以人可以理解的术语( 概念) 描 述领域世界的实体、对象、关系以及过程等，并通过形式化的公理来限制和规范这 些概念的解释和使用，成为人机之间，机器与机器之间相互理解的语义基础。它由 对象、对象的属性、对象之间的关系以及子领域本体构成。我们采用一种五元组的 形式来定义我们的领域本体d = ( c ，p ，d ，r ，s ) 。 其中c 为图像类别的集合，如风景，人物等。类中的每一个对象称为类的一个 实例。尸_ 表示类属性，并且这些属性值通过文字来描述。d 是领域的集合，在这里 表示图像领域。尺表示领域本体中概念关系的集合，这里我们定义5 种常用关系： i s a ， i n s t a n c e o f , p a r t - o f , e q u i v a l e n c e 和a s s o c i a t i o n 。s 是约束条件的集合。 我们通过为图像本体中的每一种关系加以隶属度来形成模糊领域本体( f u z z y d o m a i no n t o l o g y ，f d o ) ，带有隶属度的关系称为模糊关系( f u z z yr e l a t i o n ，f r ) ， 下面我们分别给出f r 和f d o 的定义。 定义2 i 模糊关系( f r ) ：一个模糊关系是从领域本体中获得的一种关系。它 是在领域本体的概念间的一系列关系上嵌入一组相关隶属度而得到的。 很明显，图像语义概念间的关系是一个度的问题，因此，用模糊关系表示再恰 当不过了。但是，理论上，本体词汇是一个经典集合，不能充分描述图像概念。图 ： 像模型中的模糊语义关系可以弥补上述不足，扩展概念q 和c ，之间的关系白成为一 3 2 江苏大学硕士学位论文 个模糊关系，并记为【吩，如】，这里的心表示概