（计算机应用技术专业论文）基于本体的图像检索系统.pdf

摘要 图像是因特网上内容的一个重要组成部分，它能够直接、形象的表达信息。 随着数字照相设备和具有拍照功能的手机的普及，数字图像的数量正在急剧的膨 胀。与此同时，图像信息的应用越来越广泛，人们对图像等多媒体数据的需求也 越来越强烈。传统的检索技术，如基于文本的图像检索，已不能完全满足人们的 要求。基于内容的检索方式，解决了图像自动索引的问题，但其使用的底层特征 通常无法解释成人类能够理解的高层概念。 近年来，本体理论在信息检索领域引起了越来越广泛的重视。本文首先介绍 了本体理论的相关内容，总结了本体在图像检索领域的应用的相关研究，然后建 立了一个较通用的用于全面描述图像的本体模型，利用这个本体模型我们可以描 述图像各方面的特征。 为了实现图像的高层语义特征的自动提取，本文介绍了支持向量机基本理论 并利用支持向量机将图像的底层特征映射到本体中的高层语义概念，这样，我们 将从图像的底层特征自动获取图像的语义注释信息。 另外，由于不同的用户对图像的理解不同，为了捕捉这种用户的不同理解， 本文构建了一个可根据用户反馈进行更新的语义结构，并提出了一种面向用户的 综合检索算法。 最后，本文实现了一个图像管理和检索实验系统，并利用该系统进行了多种 检索方式的实验，实验结果表明本文提出的综合检索算法能够提高图像的检索效 率。 关键词：图像检索；本体；支持向量机；图像标注；特征提取 分类号： a bs t r a c t i m a g e sc o n s t i t u t ea ni m p o r t a n tp a r to fc o n t e n t so fw e bp a g e so nt h ei n t e m e t ，a s t h e yc a nr e p r e s e n ti n f o r m a t i o ni nad i r e c ta n dv i v i dm a r i n e r t h ea m o u n to fi m a g e i n f o r m a t i o ni sr a p i d l yr a i s i n gd u et od i g i t a lc a m e r a sa n dm o b i l et e l e p h o n e se q u i p p e d w i t hs u c hd e v i c e s m e a n w h i l e t h ea p p l i c a t i o no fi m a g ei n f o r m a t i o ni sb e c o m i n gm o r e a n dm o r ew i d e w h i c h1 c a d st om o r ea n dm o r es 仃o n gd e m a n df o rm u l t i m e d i ad a t as u c h a si m a g e t h et r a d i t i o n a li m a g er e t r i e v a lt e c h n o l o g i e ss u c ha st e x t b a s e dm e t h o d c o u l d n ts a t i s f yp e o p l e sd e m a n d c o n t e n t - b a s e da p p r o a c hi sa b l et oi n d e xa u t o m a t i c a l l y a ni m a g ew i t hl o w 1 e v e lf e a t u r e se x t r a c t e df r o mt h ei m a g e b u tl o w 1 e v e lf e a t u r e su s e d b yi ta l w a y sc o u l dn o tb ei n t e r p r e t e dt oh i g h l e v e lc o n c e p t st h a ta r cc o m m o n l y c o m p r e h e n d e db yh u m a n o n t o l o g yt h e o r yh a s b e e n d r a w i n gm o r ea n dm o r er e s e a r c h a t t e n t i o no f i n f o r m a t i o nr e t r i e v a lf i e l di nr e c e n ty e a r s t 1 1 i st h e s i sf i r s t l yi n t r o d u c e so n t o l o g yt h e o r y a n dr e l a t e dw o r ko fi t sa p p l i c a t i o nt oi m a g er e t r i e v a l ，t h e nag e n e r a l - p u r p o s eo n t o l o g y m o d e lu s e dt od e s c r i b ei m a g e sc o m p r e h e n s i v e l yi sb u i l t ，w i t hw h i c hw ec a nd e s c r i b e d i f f e r e n ta s p e c t so fi m a g ei n f o r m a t i o n i no r d e rt oa u t o m a t et h ee x t r a c t i o no fh i g l l 1 e v e ls e m a n t i cf e a t u r eo fi m a g e ，t h i s p a p e ri n t r o d u c e st h eb a s i ct h e o r yo fs u p p o r tv e c t o rm a c h i n e ( s v m ) a n de m p l o y ss v m t om a pl o w 1 e v e lf e a t u r e so fi m a g e st oh i g h 1 e v e ls e m a n t i cc o n c e p t s w i t ht h i sm e t h o d ， w ec a na n n o t a t ea ni m a g ei na na u t o m a t i cw a y b e s i d e s ，d i f f e r e n tu s e r sm a yh a v ed i f f e r e n ti n t e r p r e t a t i o n so nas a n l ei m a g e i n o r d e rt oc a p t u r eu s e r s d i f f e r e n tu n d e r s t a n d i n g so fi m a g e s ，t h i sp a p e rb u i l d sas e m a n t i c s t r u c t u r et h a tc a nb eu p d a t e da c c o r d i n gt ol a s e r s f e e d b a c k , a n dar e t r i e v a la l g o r i t h m c o m b i n i n gl o w 1 e v e lf e a t u r e sw i t ht e x t sw a sp r o p o s e d a tl a s t a ne x p e r i m e n t a li m a g em a n a g e m e n ta n dr e t r i e v a ls y s t e mh a sb e e n i m p l e m e n t e d ，w h i c hp r o v i d e st h r e et y p e so fi m a g er e t r i e v a lm e t h o d s a ne x p e r i m e n t w a sc o n d u c t e do nt h i ss y s t e ma n dt h er e s u l ts h o w st h a tt h er e t r i e v a la l g o r i t h m c o m b i n i n gl o w 1 e v e lf e a t u r e sw i t ht e x t sc a l li m p r o v et h ee f f i c i e n c yo fi m a g er e t r i e v a l k e y w o r d s ：i m a g er e t r i e v a l ；o n t o l o g y ；s u p p o r tv e c t o rm a c h i n e ；i m a g e a n n o t a t i o n ；f e a t u r ee x t r a c t i o n c l a s s n o ： 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 向前 导师签名： 签字日期矽。艿年占月7 日 签字日期：7 0 眸6 月7 多日 | j 立童堑盔堂亟堂位迨塞独剑：眭 壹蛆 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：面葡签字日期- ：8 一年多月日 4 9 致谢 本论文的工作是在我的导师许宏丽副教授的悉心指导下完成的。在两年的研 究生学习期间，许老师不仅在学习和研究上对我进行精心指导，在我想要懈怠的 时候不断鞭策我继续前进，而且在做人处事方面也孜孜不倦地给予指导。她对待 学术严谨认真的态度和科学的工作方法也给了我极大的帮助和影响。在此衷心感 谢两年来许老师对我的关心和指导。 在实验室工作及撰写论文期间，沈新宇、陆景辉、秦卓、尹鸿峰等同学对我 的研究工作给予了热情帮助，在与他们的讨论和交流中，激发了我很多有益的想 法，在此向他们表达我的感激之情。 另外也感谢我的家人，他们的理解和支持使我能够在学校专心完成我的学业。 1 1 研究背景 1 绪论 图像是因特网上内容的一个重要组成部分，它能够直接、形象的表达信息。 随着数字照相设备和具有拍照功能的手机的普及，数字图像的数量正在急剧的膨 胀，仅仅是互联网上的图像就已经达到了相当惊人的数量。根据中国互联网络信 息中心( c n n i c ) 2 0 0 8 年1 月发布的第2 1 次中国互连网络发展状况统计报告 1 】所公布的数据，截止到2 0 0 7 年1 2 月3 1 日，在中国互联网中的中文网页中，j p g 和西f 形式的多媒体网页分别占多媒体网页数量的2 8 8 和3 3 7 ，远远高于其他 形式的多媒体网页。如何从海量的图像中找到满足自己要求的图像，也日益成为 一个人们关心的问题，也是一个嗜待解决的问题。因此，近年来，图像检索技术 已成为一个研究热点。 1 2 图像检索方法分类 有三种基本的图像检索方法：1 基于文本的图像检索( t b i r ，t e x t - b a s e di m a g e r e t r i e v a l ) 2 基于内容的图像检索( c b i r ，c o n t e n t - b a s e di m a g er e t r i e v a l ) 3 基于 语义的图像检索。 1 2 1 基于文本的图像检索 基于文本的图像检索是指由人手工为图像输入一系列的关键字，这些关键字 描述了与图像相关的信息，例如图像的创建者、图像的内容等，然后利用这些关 键字为图像建立索引，这样对图像的检索实际上就变成了对文本的检索。这种方 式简单易于实现，但是手工输入关键字的工作量过大，对海量的图像库进行关键 字输入是不切实际的。并且不同的人对同一幅图像的理解不同，给出的关键字也 会不同，因此给出的关键字会带有一定的主观性和不确定性。手工输入关键字工 作量过大的问题，在特定的应用环境下可以得到部分的解决。例如，在i n t e r n e t 环 境下，网络搜索引擎采用网页信息自动采集和标引技术，由计算机自动从包含图 像的网页中的文本中抽取关键字。这种方式避免了手工输入关键字，但是提取出 的关键字往往很粗糙，不能准确描述图像的信息。 1 2 2 基于内容的图像检索 为了克服基于文本的图像检索方法的局限性，基于内容的图像检索得到了极 大的发展。基于内容的图像检索是指利用图像的颜色( 如颜色直方图、颜色矩等) 、 纹理( 如灰度共生矩阵、边缘直方图 1 9 等) 、形状和对象的空间关系等视觉特征 进行检索。这种方法首先利用图像处理技术，抽取图像库中图像的视觉特征( 颜 色、纹理、形状等) ，然后利用这些抽取出来的视觉特征作为图像库的索引。用户 检索时，先由人机交互界面从用户的检索条件( 例如示例图片、草图、颜色组成 比例等) 中抽取相应的视觉特征，然后利用这个视觉特征检索图像库。这种方式 利用了图像本身包含的客观的视觉特征，能通过计算机自动提取图像特征和存储， 有利于实现图像的自动索引。典型的基于内容的图像检索系统有q b i c 1l 】、 v i r a g e 1 2 等。 1 2 3 基于语义的图像检索 在实际中，基于内容的图像检索系统往往要求用户提供一幅样例图片，或者 要求用户采用某种方式( 例如画出图像中对象的大概轮廓、指定图像中主要的颜 色及其比例等) 对图像的视觉特征作出描述，并以此作为检索条件。这样无疑是 把实现系统底层的领域知识带到了用户界面，要求用户具有相关的领域知识( 例 如对象的形状、主要颜色等) 。更重要的是，作为“人”的用户，处理和理解信息 最习惯、自然的层次是语义级别，而不是低级别的图像视觉特征。为了克服基于 内容的图像检索的这些不足，人们提出了基于语义的图像检索方法。这种方法的 目的是为了使得图像检索尽可能逼近人对图像内容的理解，从而使得图像检索技 术真正满足用户的个性化查询需求。但是由于众所周知的“语义鸿沟问题，从 图像中提取语义信息目前还是一个比较困难的问题。尽管如此，我们还是能够使 用人工智能、机器学习等技术从一定程度上解决这个问题。支持向量机( s v m ) f 1 3 】作为一种被证明行之有效的分类方法，近年来也越来越多地被用于图像分类和 图像的语义信息提取上。王陈飞 9 】等人对基于s v m 的多类图像分类方法进行了研 究。成洁 1 4 等人提出了一种基于s v m 建立图像低层特征与高层语义的关联的方 法，并将这种方法用于图像的语义检索中。 2 1 3 本文组织结构 第二章首先介绍了本体理论，包括本体概念的来源，本体的定义，本体的组 件，设计本体应该遵循的原则以及本体在各个领域的应用。然后对本体在图像检 索领域里的应用研究做了一个总结，最后构建了一个图像本体用于全面地描述图 像的特征。 第三章介绍了图像的视觉特征和支持向量机理论以及如何利用支持向量机实 现图像的底层特征到高层语义的映射。重点给出了本文使用的颜色累计直方图和 边缘直方图的提取方法。 第四章设计了一个支持根据用户反馈进行更新的语义结构，并介绍了如何利 用用户对检索结果的反馈来更新这个语义结构的算法，最后介绍了本文设计的基 于这个可更新的语义结构的综合检索算法。 第五章介绍了作者实现的一个图像检索实验平台，并给出了利用这个实验平 台进行三种不同方式检索的示例，最后对实验结果做了相应的分析。 第六章对本文的研究工作做了一下总结，并对本文实现的检索实验平台可能 的改进方面做了阐述。 2 1 本体 2 基于本体的图像检索系统模型 2 1 1 什么是本体 本体( o n t o l o g y ) 最早是哲学上的一个概念，从哲学的范畴来说，本体是客观 存在的解释或说明，关心的是客观现实的抽象本质。在人工智能领域，本体有很 多种定义，最早给出本体定义的是n e c h e s 等人，他们将本体定义为“给出构成相 关领域词汇的基本术语和关系，以及利用这些术语和关系构成的规定这些词汇外 延的规则的定义” 1 5 】。n e c h e s 认为，“本体定义了组成主题领域的词汇表的基本 术语及其关系，以及结合这些术语和关系来定义词汇表外延的规则。g r u b e r 在 1 9 9 3 年给出了本体最为流行的一个定义：本体是概念化的明确的规范说明 2 】。在 此基础上，b o r s t 给出了本体的另外一种定义：本体是共享概念模型的形式化的规 范说明f 1 6 。s t u d e r 等人对上述两个定义进行研究后认为，“本体是共享概念模型 的明确的形式化规范说明 4 】 。这个定义包含了四层含义：概念模型 ( c o n c e p t u a l i z a t i o n ) 、明确( e x p l i c i t ) 、形式化( f o r m a l ) 和共享( s h a r e ) 。其中， “概念模型 是指通过确定现象的相关概念对现实世界中的现象进行抽象建模； “明确是指概念及其之间的关系都被明确定义；“形式化”是指本体应该是机器 可读的；“共享”是指本体中反映的知识是其使用者共同认可的。 2 1 2 本体的组件 一个典型的本体一般由一组概念、描述概念特征的属性、概念之间的关系、 概念和属性之间的约束组成，它表示了静态的领域知识，因此一个本体可认为是 一种描述某个领域的概念模式。 本体的体系结构可以用如下的五元组来表达 7 】： o - c ，r ，h c ，r e l ，a d ) 其中，o 指o n t o l o g y ；c 和r 是两个互不关联的集合，他们的元素分别是概 念( c o n c e p t ) 和关系( r e l a t i o n ) h c 是一个概念等级体系，它是一种定向的关系， 又被称为概念分类法，何c ( c 1 ，c ：) 即是指g 是c ：的子概念；函数r e l 叙述非分类 学的概念；a d 是本体的公理集，它用恰当的逻辑语言表达，例如一阶逻辑。 4 此外，p e r e z 等人用分类法组织了本体，归纳出5 个基本的建模原语( m o d e l i n g p r i m i t i v e s ) 2 7 】： 1 、类( c l a s s e s ) 或概念( c o n c e p t s ) 类包含的含义很广泛，可以指任何事务，如工作描述、功能、行为、策略和 推理过程。从语义上将，它表示的是对象的集合，其定义一般采用框架结构，包 括概念的名称，与其他概念之间的关系的集合，以及用自然语言对概念的描述。 2 、关系( r e l a t i o n s ) 在领域中概念之问的交互作用，形式上定义为n 维笛卡儿积的子集： r ：c i q c 。，如子类关系( s u b c l a s s o f ) 。在语义关系上对应于对象元组的 集合。 3 、函数( f u n c t i o n s ) 函数是一类特殊的关系。该关系的前n 一1 个元素可以唯一决定第n 个元素。 形式化的定义为f ：c i c 2 c 一专c n 。如m o t h e r - o f 就是一个函数， m o t h e r - o f ( x ，y ) 表示y 是x 的母亲，由x 可以唯一确定其母亲y 。又如 p r i c e o f - a u s e d c a r 也是一个函数，由车型、生产日期和行驶里程数可以唯一确定二 手车的价格。 4 、公理( a x i o m s ) 代表永真断言，如概念乙属于概念甲的范围。 5 、实例( i n s t a n c e s ) 和代表元素。 从语义上讲，实例表示的就是对象，而类则是一些实例的集合。 另外，从语义上讲，本体概念间的基本关系共有4 中，如下所示： p a r t - o f ：表达概念之间部分与整体的关系。 k i n d o f ：表达概念之间的继承关系，类似于面向对象中的父类与子类之间的 关系。 i n s t a n c e 。o f ：表达概念的实例与概念之间的关系，类似面向对象中的对象和类 之间的关系。 a t t r i b u t e o f ：表达某个概念是另一个概念的属性。如价格是桌子的一个属性。 在实际建模过程中，概念之间的关系不限于上面列出的4 种基本关系，可以 根据领域的具体情况定义相应的关系。同时也不一定要严格按照上述5 类原语来 构造本体，应该根据具体情况进行扩展，以满足具体应用的需要。 2 1 3 设计本体的准则 本体设计是一个设计问题，为了指导和评估我们进行本体的设计工作，需要 一些本体设计准则。然而，到目前为止，并没有统一的本体设计准则。g r u b e r 在 1 9 9 5 年提出了五条本体设计准则 5 】，可以作为我们设计本体时的参考，这五条准 则如下： 1 、明确性( c l a r i t y ) 和客观性( o b j e c t i v e ) ：本体应该用自然语言对所定义的术语 给出明确、客观的语义定义。 2 、完全性( c o m p l e t e n e s s ) ：所给出的定义是完整的，完全能表达所描述的术语 的含义。 3 、一致一l 生( c o h e r e n c e ) ：由术语得出的推论与术语本身的含义是相容的，不会 产生矛盾。至少，定义的公理在逻辑上应该是一致的。同时，非形式化定义的概 念，比如用自然语言和例子描述的概念，也应该是一致的。 4 、最大单调可扩展性( e x t e n d i b i l i t y ) ：向本体中添加通用或专用的术语时，不 需要修改已有的内容。 5 、最小承诺( m i n i m a lo n t o l o g i c a lc o m m i t m e n t ) 和最小编码偏好( m i n i m a l e n c o d i n gb i a s ) ：最小承诺指本体预定应该最小，对待建模对象应给出尽可能少的约 束。一般地，本体约定只要能够满足特定的知识共享需求即可，这可以通过定义 约束最弱的公理以及只定义交流所需的词汇来保证。最小编码偏好是指概念的描 述不应该依赖于某种特殊符号层的表示方法，因为实际的系统可能采取不同的知 识表示法。 2 1 4 本体的应用 本体的应用可以分为以下几类： l 、人与组织之间的信息交流。本体的核心概念是知识共享，通过减少概念和 术语上的歧义，本体描述为某一组织或是工作小组提供了一个统一框架或是规范 模型，使得来自不同背景，持不同观点和目的的人员之间的理解和交流成为可能， 并保持语义上的一致性 2 、系统之间的互操作应用程序使用本体论实现异构系统之间的互操作，即 不同系统或是工具之间的数据传输语义w e b 服务就属于此类 本体在互操作，即信息系统的集成上的应用最为典型，也最为普遍，可以进 一步细分为以下3 种： 基于本体的信息检索本体在信息检索引擎中的应用的基本思路是利用本 体对信息的描述来检索知识库，从而提高检索的效率和精确度 基于本体共享的信息访问不同的应用程序开发人员在共享本体上达成一 致，即定义了一个可以双向转换的数据传输的格式 6 基于本体映射的信息访问与前一种应用不同的是，不同的应用程序之间 拥有自己独立的本体，而不存在一个共享的本体，因此它们之问的信息共享或者 数据交换只能通过不同的独立本体之间的映射( m a p p i n g ) 3 、系统工程。本体分析能够为系统工程提供以下方面的好处： 重用( r e u s a b i l i t y ) ：本体是领域内重要实体、属性、过程及其相互关系形式 化描述的基础。这种形式化描述可成为软件系统中可重用和共享的组件。 知识获取( k n o w l e d g ea c q u i s i t i o n ) ：当构造基于知识的系统时，用已有的本体 作为起点和基础来指导知识的获取，可以提高其速度和可靠性。 可靠性( r e l i a b i l i t y ) ：形式化的表达使得自动的一致性检查成为可能，从而提 高了软件的可靠性。 规范描述( s p e c i f i c a t i o n ) ：本体分析有助于确定i t 系统的需求和规范。 2 2 基于本体的图像检索模型 2 2 1 相关研究 由于人在理解一幅图像时是在高层语义概念的层次上进行的，因此用户在利 用图像检索系统进行查找图像时，也希望是基于语义概念来查找的，这就要求能 够对图像进行语义注释。最简单的标注方法就是由人工对图像输入若干个关键字 用于描述图像的内容特征，但是这种方法存在以下缺点：l 、不同的人对图像的理 解不同，因此输入的关键字不同；2 、输入的关键字之间没有任何联系，因此无法 提供图像内容领域的相关背景知识。 近年来，随着本体理论渐渐成为研究热点，越来越多的研究者在图像检索领 域中引入本体理论，在一定程度上弥补了上述基于关键字方法的缺陷，同时帮助 改善了检索系统的性能。总结一些研究者在图像检索技术中应用本体理论的方法， 可以看到，本体在图像检索中主要有下列作用： 1 、描述图像注释信息的元数据，为图像注释信息提供模板。因为不同的人关 心图像相关信息的不同方面，例如有的人可能关心图像的格式、大小，而有的人 可能关心图像中表现的内容，因此不同的人给出的图像注释信息差异性会很大。 对图像建立图像注释本体，用于规范图像的注释，为注释提供模板，其作用类似 用于网络电子文献标注的d c ( d u b l i nc o r em e t a d a t a ) 【1 0 1 。虽然利用数据库模式 也可以达到这个目的，但是数据模式是一个平坦的结构，而本体提供了灵活的分 层结构，更重要的是本体提供了比特定数据库模式更高一级的抽象层次上的模型 7 的表示方法。这样，我们就可以在不同的系统和服务之间传输、查询数据。 2 、表示图像内容特定领域的知识，为图像标注提供术语或词典。对图像内容 建立领域本体，从而提供用于描述图像内容的术语，这些术语不仅语义定义明确， 而且它们之间有明确的关系，这样不仅可以为图像检索提供背景知识，而且可以 通过本体中概念的上下位关系，对查询请求进行扩展或缩小。此外，还可以直接 利用现有的本体或词典为图像注释提供术语，例如w o r d n e t 2 2 、a a t 2 3 】、 i c o n c l a s s 2 4 等。 文献 8 为了对一批“猿猴”图像进行注释，建立了两个本体：图像注释本体 和“猿猴”领域本体，其中图像注释本体用于提供注释模板，“猿猴领域本体用 于提供与动物相关的术语，此外作者还利用了w o r d n e t 和i c o n c l a s s 来提供一 些通用的术语。文献【3 】则建立了领域本体从多方面帮助用户方便地检索赫尔辛基 大学博物馆的图像库。文献 6 】提出了一种图像检索方法，这种方法将图像的底层 特征提取出来并自动映射到被称为“对象本体 的中间层描述符，然后利用中间 层描述符来进行图像的高层概念检索。文献【2 1 】则使用注释工具对一种古董椅子进 行语义注释，这种工具利用了基于艺术标准的本体。 2 2 2 基于本体的模型结构 在图像检索领域中，有一些研究者们公认的具有明确语义的概念或术语，例 如图像的底层特征、图像的注释信息等，在设计一种图像检索方案或一个图像检 索系统时，不可避免的会涉及到这些概念或术语。因此，如果能够用本体将这些 概念及其之间的关系用形式化的方式明确的表示出来，将有助于其他研究者对该 图像检索方案或检索系统的理解。 本文通过构建图像本体，一方面用图像检索领域的知识更加清晰的描述了本 文设计的图像检索模型，另一方面该本体描述融合了图像的所有特征：文件属性、 语义描述和视觉特征，从而能够更加详尽和清楚地描述图像信息，以向用户提供 更加灵活和高性能的图像检索方式。 图像信息一般包括图像文件属性、图像视觉特征和高层语义特征。因此，为 了描述上述三种图像信息，本文构建的图像本体主要包括三个子本体：存储媒介 特征本体( m e d i af e a t u r e ) 、图像视觉特征本体( v i s u a lf e a t u r e ) 和图像注释本体 ( i m a g ea n n o t a t i o n ) 。图2 1 显示了图像本体的内容，在该图中使用英文来表示本 体中的类名和属性名，这样有利于利用工具实现本体。 下面分别介绍存储媒介特征本体、图像视觉特征本体和图像注释本体的设计 过程。 存储媒介特征本体( m e d i af e a t u r e ) 描述了图像文件属性，即有关图像是怎样 存储的的信息。它包括图像占用存储空间的大小( s i z e ) 、图像的存储格式( f o r m a t ) 、 图像的存储位置( p a t h ) 和图像的分辨率( r e s o l u t i o n ) 。这些特征都可由计算机通 过分析图像文件和图像本身来自动地获得，不需要人工干预。本文构建的存储媒 介特征本体见图2 1 中的m e d i af e a t u r e 本体部分。 图像视觉特征本体( v i s u a lf e a t u r e ) 用于描述图像的可视内容，即图像的底层 特征，例如图像的颜色、纹理、形状和空间关系。这里为了实现简单，图像内容 本体中只包括图像的颜色( c o l o r ) 特征、纹理( t e x t u r e ) 特征和形状( s h a p e ) 特征， 其中颜色特征的描述符具体选用颜色直方i 羽( c o l o rh i s t o g r a m ) ，而纹理特征的描述 符选用m p e g 7 标准中的边缘直方图( e d g eh i s t o g r a m ) ，而在具体实现中没有使用 形状特征。其他的m p e g 7 标准的描述符可以通过扩展本体加入到图像视觉特征 本体，以便丰富图像内容的信息。本文构建的图像视觉特征本体见图2 1 中的v i s u a l f e a t u r e 本体部分。 图像注释本体用于描述图像的高层语义特征。通常情况下，用户都是根据图 像内容的高层语义来检索自己想要的图像，比如某个用户可能会检索图像内容为 “荷花或“蓝天下的飞机 的图像。这里，荷花、蓝天和飞机都是图像表达的 高层语义信息。由于个人数字图像集的内容不确定性，我们参考文献 8 中设计的 用于图像注释的本体，再基于我们自己的分析来建立图像注释本体。 在建立这个本体时，我们在一些可能会互相矛盾的目标之间做了一些折衷。 我们知道，要想将图像信息描述的越详尽，本体就要建得越大越复杂，这样能够 为检索引擎提供更高的检索性能，但是维护本体的成本也会越高，依据这个本体 注释图像的工作也会越繁重越困难。因此，作者在上述两个矛盾的目标之间做了 适当的折衷，在能够提供基本的图像注释元数据的前提下，尽量简化本体。 一般说来，当用户看到一幅图像时，用户都会有一个视觉中心，即图像中表 达的最重要的语义概念，剩下的内容都是较次要的语义概念。例如一幅表现海上 日出的图像，其视觉中心是日出，所以这幅图像中最重要的语义概念是日出，而 大海则是较次要的语义概念。 基于以上分析，作者建立了图2 1 中所示的图像注释本体i m a g ea n n o t a t i o n 。 图2 1 显示了图像本体中的类( 概念) 以及类之间的关系，其中类之间的子类( i s a ) 关系用实线箭头表示，从类a 出发指向类b 的实线箭头表示类a 是类b 的子类， 或者说a 是b 的一种；类之间的其他关系用虚线箭头表示，并同时在虚线箭头的 中间位置用文字标示关系类型。值得指出的是，为了使图形清晰简洁并突出重点， 图2 1 中显示的本体包括了本体中所有的类，但是省略了一些不是很重要的属性， 例如类r e s o l u t i o n 的属性w i d t h 和h e i g h t 。本体中所有的类和属性可参见附录a 。 9 q 气? 字 、 、铷、o i 、 h - 硼稚j 零t 埘；“心 ， ， 图2 一l 图像本体 图像注释本体( i m a g ea n n o t a t i o n ) 中的事物( a g e n t ) 描述图像中最重要的语 义概念，而除a g e n t 以外的其它图像内容都由关键词列表k e y w o r dl i s t 来描述。 当图像没有任意的a g e n t 描述时，k e y w o r dl i s t 可包括本来由a g e n t 来表达的内容， 这样，当图像内容较复杂或无法准确确定a g e n t 要描述的内容时，我们可以用 k e y w o r dl i s t 来代替a g e n t 。关键词列表k e y w o r dl i s t 由一系列的关键词描述信息 k e y w o r dd e s c r i p t i o n 组成( c o n s i s t o f ) 。而关键词描述信息k e y w o r dd e s c r i p t i o n 又 包括关键词k e y w o r d 和该关键词与所描述的图像之间的相关程度w e i g h t 。 事物( a g e n t ) 的子本体可以在上层本体s u m o ( t h es u g g e s t e du p p e rm e r g e d o n t o l o g y ) 2 5 的框架下来构建。s u m o 本体的目的是构建一个标准的上层本体， 这个上层本体可以促进异构系统的数据之间的互操作，支持信息检索和自然语言 处理。 此外，在图2 1 所示的图像本体中还包括了图像语义本体i m a g es e m a n t i c 和分 类器本体( c l a s s i f i e r ) 。其中分类器本体用于描述图像分类器，利用该分类器可将 l o = e ! j ! 銮迪厶! 兰亟上：兰位隆塞基：丕鲣的幽丝逾丝丕统攫型 图像的底层特征映射到高层语义特征，具体就是将v i s u a lf e a t u r e 本体映射到图像 注释本体i m a g ea n n o t a t i o n 中的类a g e n t 和类k e y w o r dl i s t 上。图像语义本体描述 了图像库中图像的语义，它对应3 3 节中图像语义类结构中的某个语义类。 建立了卜- 述图像本体后，系统就可以根据该本体来描述图像的多种特征，并 在视觉特征和高层语义特征之i f l j 实现映射。例如，对于图2 2 中的一幅r - 1 落图像， 系统可以根据图像本体，自动提取存储媒介特征和视觉特征，然后利用3 3 节介绍 的s v m 分类器，根据视觉特征将该同落图像分到日落类，然后将描述同落类的关 键词列表作为该图像的高层语义特征，从而实现了从视觉特征到高层语义特征的 映射。 。一一 图2 2 根据本体提取图像特征实例图 2 2 3 本体模型的实现 本文将使用本体编辑工具p r o t 6 9 6 2 0 来构建本体，p r o t 6 9 6 是斯坦福大学开发 的本体论编辑和知识获取软件，开发语言为j a v a ，由于其源码开放，优秀的设计 和众多的插件，p r o t 6 9 6 成为目前使用得最广泛得本体论编辑器之一。本文利用 p r o t 6 9 6 构建的图像本体如图2 3 所示： 一 黼 瓣瓣 蕊 一 羽 一 麟 目目13l_l 鬣 一圈黼懿一豳圈嘲_-_-_r-_。_i e 立窒垣厶堂亟! ：堂位睑塞 基查鲣的幽丝丝丝丕丝楚一型 簟嗡矧蕊a m 卵礴d 0 48 s s e s ：i 瀵麴黝懒缀薹囊黪缀l 囊复蹶誊l 鬻譬l 绷 戮黪黧纛蒸黼戮黼 ! 黑纂聂纛慕寨焘塑塑等 一j 匦瑟蚕瑟瑟瑟瑟曩鍪霞滋夏至墨= 二二：二：二二： 固 弘魔蕤ij 虫象 ol o g l c 硫w 谚，p r o p e d i e s v i e w 图2 - 3 朋p r o t 6 9 6 构建的幽像本体 我们将构建好的本体保存成r d f x m l 文件，下而是以r d f x m l 的形式表示 的i m a g e 类和i m a g ea n n o t a t i o n 类及其属性，其他类和属性的具体内容见附录a 。 类i m a g e ： 属性h a s m e d i u m f e a t u r e ： 属性h a s v i s u a l f e a t u r e ： 1 2 嗍， 够殛五。馋匿| |懈璺 嚆，一一 一一 兰 。 啪一忡一一一一一一瓣薹一吣一舅 川辔彩渗渗黪黪 彩 镰移穆彩彩旗彩 窜 擘 t h el o w 1 e v e lf e a t u r e st h a tc h a r a c t e r i z ea ni m a g e 属性h a s a n n o t a t i o n ： 类i m a g e _ a n n o t a t i o n - 1 r d f s ：s u b c l a s s o t 属性k e y w o r d s ： r d f ：t y p er d f ：r e s o u r e e = ”& o w l ；f u n c t i o n a l p r o p e r t y 房 属性h a s a g e n t ： 1 3 3 图像视觉特征的提取及与高层语义的映射 3 1 图像视觉特征的提取 图像的视觉特征是计算机可以根据图像的视觉内容进行自动提取的特征，包 括颜色、纹理、形状和对象的空间关系等。在进行图像检索时，不同类型的图像 内容适合用不同的特征来表达。本文所设计的图像检索系统将提取图像本体中描 述的颜色和纹理特征来作为图像的底层特征，其中颜色特征使用颜色累计直方图 来表示，其对应的特征向量为1 8 9 维，该特征向量将映射到图像视觉特征本体v i s u a l f e a t u r e 中的类c o l o rh i s t o g r a m 上，而纹理特征使用边缘直方图来表示，其对应的 特征向量为8 0 维，该特征向量将映射到图像视觉特征本体v i s u a lf e a t u r e 中的类 e d g eh i s t o g r a m 上，最后将两种特征合起来形成2 6 9 维的特征向量用以表示图像的 底层特征。 3 1 1 累积颜色直方图 颜色是物体表面的一种视觉特性，是图像内容组成的基本要素，也是人识别 图像的主要感知特征之一。颜色特征具有对旋转、平移和尺度变化都不敏感的优 点，而且计算简单，因此成为现有检索系统中应用最广泛的特征。 累积颜色直方图反映了图像的全局颜色特征，它是在颜色直方图的基础上改 进而来。下面首先简要介绍一下颜色直方图。颜色直方图反映的是图像中颜色的 组成分布，即该幅图像中出现了哪些颜色和各种颜色出现的概率。其数学描述如 下： h ( k ) = 等k = o ，l ，三一l ( 1 ) v 其中k 代表图像的颜色取值，l 是颜色可取值的个数，n k 是图像中具有颜色值 为k 的象素的个数，n 是图像象素的总数。 当图像中的颜色不能取遍所有可能的值时，颜色直方图中会出现一些零值， 这些零值使得计算出的直方图之间的匹配值不能正确反映两幅图像之间的颜色差 别。为此，s t r i c k e r 和o r e n g o 提出了累积颜色直方图 1 7 】，其数学描述如下： 1 4 c ( k ) = h ( i ) k = o ，1 ，三一1 ( 2 ) i = 1 其中，k 和l 的含义与表达式( 1 ) 中的含义相同，h ( i ) 表示在第i 种颜色上的 象素数目。 s t r i c k e r 和o r e n g o 的研究结果以及刘忠伟的实验结果【1 8 】表明累积颜色直方图 的效果要好于全局颜色直方图。 具体提取颜色累计直方图时，我们选择r g b 颜色空间，对r ，g ，b 分别量 化为6 4 级，每幅图像将得到一个6 4 x 3 3 = 1 8 9 维的特征向量用以表示其颜色特 征。 3 1 2 边缘直方图 边缘直方图( e d g eh i s t o g r a m ) f 1 9 是m p e g 7 标准中的一种用于刻画图像纹 理特征的描述符，它表示了图像内容边缘的空间分布情况。边缘的空间分布是一 种很好的用于图像内容匹配的纹理特征，甚至当图像具有不同类型的纹理时，它 也十分有用。 边缘直方图的提取方法如下所述。 首先将一幅给定的图像划分成4 x 4 个子图像，然后计算每个子图像的局部边 缘直方图。边缘一般被归入下列五类中：垂直、水平、4 5 度对角线方向、1 3 5 度 对角线方向和无方向。因此，每个局部边缘直方图有对应于上述五类的五个b i n 。 而一幅图像被分成1 6 幅子图像，故有8 0 个b i n 。 为一 像块 将原图划分为1 6 幅子图像 图3 - 1 计算边缘直方图时图像的划分过程 为了计算边缘直方图，每个子图像被进一步划分成