（模式识别与智能系统专业论文）基于内容的图像数据库语义分类相关技术研究.pdf

基于内容的图像数据库语义分类相关技术研究 摘要 随着互联网和计算机硬件的迅猛发展，图像信息的产生、存储、传输以及 访问数最呈指数级增长，对图像信息的检索给传统的检索方式提出了挑战。采 用低层特征描述的图像检索系统还不能满足用户的检索需求，本文提出的采用 语义信息组织图像数据库的方式是实现图像有效检索的基础。 本文主要针对图像语义分类和检索进行研究，论文的主要工作归纳如下： ( 1 )针对各种图像检索系统和图像语义分类进行了综述，系统地分析了基 于内容的图像检索中所用的各种特征，并对各个特征的优缺点以及适用范围进 行，比较分析，对于后续章节中图像特征选择和新特征的提取提供了借鉴。 ( 2 )提山了一种基于支撑向量机( s v m ) 的分等级图像语义分类系统。针 对室内与室外图像分类的特点，提出了一种结合目标物体的语义特征；提出了 一种区别建筑物与风景图像的中层语义特征边缘直线束特征。实验结果表 明采用这两个特征实现的分类性能要优于其它特征。将单类s v m 分类器应用于 分类系统中解决了样本不充分的训练问题。 ( 3 1提出了图像语义分类系统的改进方案，根据不同特征的推广误差来确 定各自的权值，分别采用主成分分析( p c a ) 、线性判别分析( f l d a ) 、多元尺 度分析( m d s ) 对图像特征进行降维；通过学习的方式实现了一种基于s v m 概 率输出的拒绝机制；提出了增量学习s v m 方案来解决新增样本和大量样本的训 练问题；分析比较不同的分类器，通过结合多个s v m 分类器来提高系统的分类 能力，分别通过实验验证了以上改进方案的有效性。 ( 4 )提出了一种基于图像数据库语义索引和相似性学习的图像检索方案， 根据查询图像的语义信息来确定相应的检索图像库，缩小检索的范围进而提高 系统的查准率和检索效率；结合用户的相关反馈信息，采用回归支撑向量( s v r ) 来学习用户的检索习惯，从而在检索中预测图像之间的相似性。 ( 5 )本文将语义分类与g o o g l e 的图像检索相结合，提出了一种改进 g o o g l e 图像检索的过滤系统。实验结果表明加入过滤系统可以在一定程度上提 高检索的查准率，并为以后其它语义信息的检索提出了一种有效的解决方案。 关键词：图像分类，图像检索，s v m ，特征提取与选择，g o o g l e 图像检索 i i s t u d y o nc o n t e n t - b a s e ds e m a n t i c c l a s s i f i c a t i o no fim a g ed a t a b a s e a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e r n e ta n dt h ec o m p u t e rh a r d w a r e ，m o r ea n dm o r e i m a g e s a r e g e n e r a t e d ，s t o r e d a n dt r a n s m i t t e d t h e r ei sa g r e a tc h a l l e n g e t ot h e t r a d i t i o n a l i m a g e r e t r i e v a la n d m a n a g e m e n ts y s t e m t h e c o n t e n t - b a s e d i m a g e r e t r i e v a ls y s t e mc a n n o tm e e tt h eu s e r sd e m a n dd u et ot h el o w l e v e lf e a t u r e su s e d t o r e t r i e v a lt h ei m a g ee f f e c t i v e l y ，t h eh i g h l e v e li n f o r m a t i o ns h o u l db ee m b e d d e di n t o t h e i m a g ed a t a b a s e t h i s t h e s i si s m a i n l yf o c u s i n g o nt h e i m a g e r e t r i e v a la n d s e m a n t i cc l a s s i f i c a t i o no ft h e i n a a g ed a t a b a s e ，a n dt h e m a i nc o n t r i b u t i o n sa r ea s f o l l o w s ： ( 1 ) b a s e d o nab r i e fr e v i e wo f t h e e x i s t i n gr e t r i e v a ls y s t e m s a n di m a g es e m a n t i c c l a s s i f i c a t i o ns y s t e m s ，t h el o w l e v e lf e a t u r e su s e di nt h ei m a g er e t r i e v a ls y s t e ma r e a n a l y z e d t h e i ra d v a n t a g e sa n dd i s a d v a n t a g e so fe a c hf e a t u r ea n dt h e i ra p p l i c a t i o n s i t u a t i o na r ec o m p a r e d t h a tw i l lh e l pu s e r st or e a l i z et h ei m a g ef e a t u r es e l e c t i o na n d e x t r a c t i o no f n e wf e a t u r e ( 2 ) w ed e v e l o p e da ns u p p o r tv e c t o rm a e h i n e ( s v m ) - b a s e dh i e r a r c h i c a li m a g e s e m a n t i cc l a s s i f i c a t i o ns y s t e m an e w i m a g e f e a t u r eb a s e do nt h eo b j e c t so ft h ei m a g e i s p r e s e n t e da c c o r d i n gt o t h ec h a r a c t e r i s t i co ft h ei n d o o ra n do u t d o o ri m a g e s i n a d d i t i o n ，t h en e wf e a t u r ec a l l e dp a r a l l e le d g el i n ef e a t u r ei s a l s os u g g e s t e df o rt h e c l a s s i f i c a t i o no fb u i l d i n ga n d l a n d s c a p ei m a g e t h e s t a n d a r dt w o c l a s ss v m ， o n e c l a s ss v ma n dm u l t i c l a s ss v m a r eu s e di nd i f f e r e n ts t a g eo ft h ec l a s s i f i c a t i o n s y s t e m a n da c h i e v ea g o o de x p e r i m e n t e dr e s u l t e x p e r i m e n t r e s u l t ss h o wt h e f e a s i b i l i t ya n dv a l i d i t yo f t h e f e a t u r e sa n dt h ec l a s s i f i e r s ( 3 ) w ep r e s e n t e ds e v e r a la p p r o a c h e st oi m p r o v et h es y s t e ma c c u r a c y , w h i c h i n c l u d et h ed i m e n s i o nr e d u c t i o no ft h ei m a g ef e a t u r e sa n dt h el o c a ls e m a n t i cf e a t u r e s ， r e j e c t i o no p t i o nb a s e do n t h ep r o b a b i l i s t i co u t p u t ，i n c r e m e n t a ll e a r n i n gb a s e do nt h e s v ma n dt h ec o m b i n a t i o no fd i f f e r e n tc l a s s i f i e r s s e v e r a le x p e r i m e n tr e s u l t sc o n f i r m t h ee f f e c t i v e n e s so f t h ei m p r o v e ds y s t e m ( 4 ) i nt h i st h e s i s ，i m a g er e t r i e v a ls y s t e m s a r ep r e s e n t e db a s e do nt h eh i g h l e v e l i i i s e m a n t i ci n d e xa n ds i m i l a f i t y l e a r n i n go ft h e u s e r sf e e d b a c k s e v e r a lm a c h i n e l e a r n i n g m e t h o d sa r eu s e di n p r e d i c t i n g t h eu s e r s s i m i l a r i t y h a b i ta n dt h e e x p e r i m e n t a lr e s u l ts h o w t h ea p p l i c a b i l i t yo f t h er e t r i e v a ls y s t e m + ( 5 ) a ni m a g e f i l t e rs y s t e mb a s e do nt h eg o o g l e i m a g e s e a r c he n g i n ei sp r e s e n t e d t oo v e r c o m et h el o w a c c u r a c yo f t h ei n t e m e ti m a g er e t r i e v a l t h i ss y s t e mi sr e a l i z e d t h r o u g hc o m b i n i n gt h es e m a n t i ce x t r a c t i o nw i t ht h er e t r i e v a ls y s t e m ，w h i c hi s a c o m b i n a t i o no ft h ek e y w o r db a s e da n dv i s u a lf e a t u r eb a s e di m a g er e t r i e v a ls y s t e m t h e e x p e r i m e n tr e s u l t ss h o w t h a tt h ea c c u r a c yc a nb es i g n i f i c a n t l yi m p r o v e dt h r o u g h i n t r o d u c i n gt h ef i l t e rs y s t e m ，t h i sm o d e lo fi m a g ef i l t e rs y s t e mp r o v i d e sag o o d s o l u t i o nt oa p p l yt h ee x i s t i n gs e a r c h i n ge n g i n eb u tw i t hi m p r o v e dr e t r i e v a la c c u r a c y k e y w o r d s ：i m a g ec l a s s i f i c a t i o n ，i m a g er e t r i e v a l ，s v m ，f e a t u r ee x t r a c t i o na n d s e l e c t i o n ，g o o g l ei m a g e r e t r i e v a l i v 独创性声明 本人声明所提交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特剐加以标注和致谢的地方外，论文中不包含其 毪入已经发表或撰写过静莲蓐究藏果。与我蠲工佟戆圈志对本磅究获骰款 王褥 贡献均已在论文中 乍了明确她说明并表示了谢意。 螯名：盈殓日期：巫匪 关于论文使用授权的说明 本久完全了髂中罄科学院蠢动纯磷究瑟毒关镙整、搜鹅学位论文豹翅定， 即：中国科学院自动化硬究所有权保留送交论文的复印件，允许论文被查阅和 借阅；可以公布论文的全部或部分内容，可以采用影印、缩印或艇他复制手段 保存论文。 ( 保鬻静论文在瓣密嚣应遵守缱蕊定 签名：推导师签名：当盟日 期 兰蔓：2 墨：一 第章绪论 1 _ 1 研究背景及意义 第一章绪论 近年来多媒体数据库系统是一个非常活跃的研究领域。随着计算机视觉、 多媒体技术、i n t e r a c t 以及数据库技术的蓬勃发展，多媒体信息的产生、存储、 传输以及访问数量呈指数级增长。多媒体信息主要包括图像、音频、视频等， 其中图像占据着重要的地位，图像不仅是除文本外在网络上使用最多的多媒体 形式，也是表示其他多媒体信息最方便的方式。中国占人云“百闻不如一见”， 两方哲学家说“一幅图胜过千言万语”，说明了图像数据中包含了的大量的信息， 这是文字所不能替代的。近年来，数字图像的数量也在飞速增长。各种军用和 民用的设备每天都会生成g 字节量的数字图像、数字化的视频信号、医学图像、 遥感图像、新闻图片、扫描图片等。一些商业组织有大量的图像和视频节目， 其中包括新闻片断、体育集锦以及绘画等，这些数字化了的信息使用户在线获 取更加方便。随着数码相机和数码摄像机的出现，越来越多的用户有自己的电 子影集以及一些视频内容。如果没有对图像数据的有效管理方式，大量信息将 淹没在数据库中，在需要时无法检索出来。如何有效地组织、表达、管理、检 索这些数据是对传统数据库技术提出了重大挑战，因此开发图像管理系统以帮 助用户存储、索引和检索图像数据库是非常必要的。 图像检索自2 0 世纪7 0 年代以来一直是一个非常活跃的领域，早期的图像 检索主要基于文本( 关键词) 的检索，其主要研究集中在数据库领域。此种图 像检索的典型框架是，首先对图像用文本进行注解，然后用基于文本的数据库 管理系统来进行图像检索【1 2 。以文字为对象的传统数据库无法满足现代图像 数据库的要求，这是因为，一方面，图像与视频中包含的信息非常丰富，很难 用标准化的一些文字对它们进行精确、详尽的描述，对于同一幅图，不同的人 有不同的注解。一般而言，图像会包含几个不同的目标物体，而每个物体都有 自己的特性，其空间关系更不好标注，所以很难用文字来描述一幅图像。另一 方面，由于图像与视频数据的与日俱增，传统手工建立关键词索引的方式所需 的工作量太大，尤其是对于大型的多媒体信息库，如w 曲网络资源、数字图书 馆等。在这样的信息环境中，每天都有大量的新资料出现，需要及时地把这些 第1 页 摹于内容的阁豫数据库语义分类相关彼术研究 资料归档。没有计算机的自动或辅助处理，资料的更新周期就不能满足用户的 需要。我们希糍对进入数据摩灼图缘褪频数据的攒述可以沣l 诗箕枧快速、规范、 自动地进行。因此，如何将数字图像处理、计算机视觉技术与传统数据库技术 掇缝合，建立举予图像垂动鼓半基动搐述豹簇一l 弋图像秘凝数摇痒已经变餐搀 常迫切。 溺络技术瀚飞速发震使褥久 f j 溯薨帮检索图像成为可缆，随着两络中闰橡 数目的坷i 断增加，一些基于w e b 的图像检索系统也应运而生，如比较有名的网 t 图像检索系统： g o o g l e( h t t p ：t w w w g o o g l e t o m ) ， y a h o o ( h t t p ：w w w y a h o o c o r n ) ，a l t a v i s t a ( h t t p ：w w w a l t a v i s t a c o m ) 等，这些检索系 统大多纂予图像周围的文字、文件名和关键词信息进行检索，通过分祈这些文 字信息米描述图像，建立数搌库索弓l ，丽没有用刘图像的视觉内容。鳃果文字 信息与图像内容不符的话，图像检索将会出现漏检或者镨检；通过结合图像的 文字及毒燕觉内餐售息，将能够极大蟪提毫卿上图像检索毂准确率。 二 一世纪9 0 年代早期，由于大舰模图像数据庠的出现，研究者们提出了基 于浅容瀚窝像稔索( c 嚣 r ，在诧穆检索系统中，銎像是辗蠢英蜜身豹褫懿瘫容， 如颜色、纹理、形状等低层特征进行索引的。通过将查询图像的特征与数据库 中图豫静特征避行匹配来实糯检索霸的。蒸于内容的检索是一种近毂瓯配。在 数据库中，需要使用模式识别的方法对图像库中的图像按不同索引特征分类， 在检索的过程中，它采用某种相似能度量对图像瘁中的图像匹配获得查询的结 果。特征提取鹅索引建立可由计算机自动实现，避免了人工描述的主观性，也 大大减少了工作量。但相似饿度量与人的主观感受有关。尽管基于内容的图像 检索已缀在特征选择、特 正吸配、检索技术等方嚣取褥了擐大的进展，但是它 还有一始根本的问题未能得到解决，即怎样将图像的高层语义信息与低层特征 结合起东。 现有的基于内容的图像检索系统还不能满足用户的信息需求。通常，对于 用户而言，对圈像静检索是耩于图像麓语义信怠丽不是豳像静繇层籍馥，饲如 用户的关键词可能是“汽车”、“建筑物”等等，而不会是对物体的颜色和形状 特征的稻述。阂此，如何填补图像裣索中低层特征与高藩语义信息之闻的鸿沟 是目前研究的热点问题，按谬义信息将图像数据库进行合理的分类将大大地提 高c b i r 系统的性能。而目前的计算机视觉和模式识别技术还不能达到对韶标进 第2 贾 第1 立绪论 行识别的要求，我们主要考虑通过图像的低层特征来识别一些特定的语义概念， 通过对图像数据库的合理分类来实现对图像的有效检索。 目前的图像数据库系统还没有相关方面的自动语义分类，大多数图像数据 库是通过人为标注的，如c o r e l 图像库是根据图像中的目标物体及图像的拍摄地 等来进行标注的。通过对图像数据库进行自动语义分类，一方面可以在相对较 少的人力参与下得到图像的简单语义信息，另一方面也可以提高图像检索的效 率。如果用户想查询一幅图片，首先我们可以判断此图像在哪个类中，然后就 可以在此类图像库中进行查找，这将会大大地缩小搜索的范围，从而提高检索 的效率。因此提取图像的高层语义描述对于多媒体数据的有效检索是非常重要 的。图像的语义分类也可以应用在基于内容的图像处理方面，如智能打印机及 摄像机。如果预先知道图像的类别，就可以采用有效的滤波和打印技术对图像 进行处理。例如，室内图像常常是一些特写图像，智能打印机可以利用此信息 米打印出室内图像的细节。 1 2 国内外研究现状概述 本文主要研究工作集中在两个方面：图像数据库语义分类研究及其在基于 内容的图像检索和网上检索中的应用这两方面的工作，下面主要对这两方面的 研究工作做一些回顾分析。 l 。2 1 基于内容的图像检索综述 自9 0 年代早期开始，基于内容的图像检索已经成为一个非常活跃的研究领 域。每年都有大量相关的国际会议召开，如s p i e 的s t o r a g ea n d r e t r i e v a l f o r i m a g e a n dv i d e od a t a b a s e s ，a c mm u l t i m e d i a 等，还有一些杂志如m u l t i m e d i at o o l sa n d a p p l i c a t i o n s ，这方面的研究是这些刊物所刊登论文的重要组成部分。近几年，许 多国际上重要的刊物如i e e et r a n s o ni m a g ep r o c e s s i n g ，i e e et r a n s o np a m i ， i m a g ea n d v i s i o n c o m p u t i n g ，p a t t e m r e c o g n i t i o n 等都以此内容发表了专刊，此外 还有许多这方面的综述。国内外很多机构都在进行相关的研究工作，并开发了 各种各样的基于内容的图像和视频检索系统。如：i b m 的q b i c ( q u e r y b y i m a g e c o n t e n t ) 系统 1 4 ，m i t 的p h o t o b o o k 6 ，v i r a g e 1 6 1 7 公司开发的基于内容的图 像搜索引擎，s t a n d f o r d 的s i m p l i c i t y 4 6 】，u c b e r k e l e y 开发的b l o b w o r l d 8 4 ， u i u c 开发的m a r s 2 4 ，u c s b 开发的n e t r a 2 3 ，法国i n r i a 开发的i m e d i a 第3 页 基于内容的图像数据库语义分类相关技术研究 等等。国内的一些研究单位，如中科院自动化所模式识别国家重点实验室，中 科院计算所智能信息处理实验室，清华大学，上海交通大学，复旦大学等单位 也进行了研究并开发了一些实验系统。 所有这些系统都遵循同样的模式：即采用图像的低层特征，如颜色，纹理， 形状来表达图像内容，通过结合这些特征来实现图像检索。其中大部分的系统 都具有以下一个或几个功能特点： 随机测览功能： 基于例子的检索； 基于草图的检索； 基于文本的检索； 图片分类浏览； 下面就几个极具代表性的检索系统进行介绍，并着重分析它们各自的突出 特点。 q b i c 系统 q b i c 1 3 1 5 系统全名为q u e r yb yi m a g ec o n t e n t ，它是i b m 公司开发出来 的第一个商业化图像检索系统。该系统架构和所使用的技术对后来的图像检索 系统产生了深远的影响。q b c 系统支持根据实例检索( q u e r yb ye x a m p l e ) ，也 支持根据用户自己绘制的草图和轮廓来检索，用户也可以直接给定被检索图像 的颜色和纹理特征。在q m c 系统中，色彩特征采用( r ，qb ) 、( y ，i ，q ) 、( l ，a ，b ) 空间的平均值和颜色直方图特征等，所采用的纹理特征是改进的t a m u r a 纹理表 示法，其本质是粗糙度、对比度和方向性三个特征的结合。它的形状特征包括 面积、圆度、偏心度、主轴方向和一些矩不变量等。q b i c 是当时少数几个考虑 到了建立高维索引的系统。在它的索引子系统中，首次使用了k l 变换对特征进 行降维，然后采用r - 树建立高维索引。在它的新版本中，将基于内容的检索和 基于关键词的检索结合起来。 q b i c 的演示程序见 h t t p ：w w w q b i c ，a l m a d e n i b m c o r n 。 v i r a g e 系统 v i r a g e 检索系统【1 6 1 7 是由v i r a g e 公司开发的基于内容的图像搜索引擎。 类似于q b i c 系统，它也支持基于颜色、颜色布局、纹理和结构特征的视觉查询 第4 页 第一章绪论 功能。不过v i r a g e 比q b i c 更先进之处在于它支持上面四种查询的任意组合， 用户可以根据自己的需要调整不同特征的权重。v i r a g e 提出了一个图像管理系统 的开放框架。他们将图像的低层特征分为通用特征( 如颜色、形状和或纹理) 和专用特征( 如人脸特征) 。大量的这种“原始特征”可以根据不同需要加入到 他们的框架中。为了跳出根据实例进行图像检索的框架，g u p t a 和j a i n 1 8 还提 出了一种有九种基本元素组成的的查询语言( q u e r y l a n g u a g e ) 框架。v i r a g e 演 示在h t t p ：w w w v i r a g e c o m c g i b i n q u e r y e 。 p h o t o b o o k 系统 p h o t o b o o k 6 是m i t 多媒体实验室开发的能交互操作的图像浏览和查询工 具。p h o t o b o o k 由三个子系统( s u bb o o k ) 组成，分别负责提取形状、纹理和人 脸特征。用户可以分别在这三个子系统中根据相应的特征进行查找。然而，对 于不同的领域，没有哪一种“最好”的特征能够单独地描述一幅图像。所以， 在p h o t o b o o k 的新版本f o u r e y e s 中，p i c a r d 等人 1 9 2 1 创造性地提出了把用户加 入到图像注释和图像检索的过程的想法。并且由于人的判断是主观的，他们又 提出了“模型群落( s o c i e t yo f m o d e l ) ”的方法，把人的因素加入到了检索过程 中。实验结果证明，这种方法对于交互式图像注释( i n t e r a c t i v ei m a g e a n n o t a t i o n ) 来说非常有效。 v i s u a l s e e k 和w e b s e e k 系统 v i s u a l s e e k 2 2 和w e b s e e k 1 1 4 1 是由哥伦比亚大学开发的分别基于图像特 征和面向w w w 的基于文字及图像内容的检索系统。这两个系统的主要特点是 采用了图像区域之间的空间关系和从压缩域中提取图像特征。系统所采用的图 像特征有颜色集( c o l o rs e t ) 年1 基于小波变换的纹理特征，系统采用了基于二叉树 的索引算法来提高检索的速度。v i s u a l s e e k 同时支持基于图像特征和基于空间 关系的查询。w e b s e e k 是一个面向w w w 的搜索引擎，它由三个主要模块组成， 分别是图像视频采集模块，主题分类和索引模块，查找、浏览和检索模块。该 系统支持基于关键词和基于视觉内容的检索。演示程序主页： h t t p ：w w w e e c o l u m b i a e d u - s f c h a n g d e m o s ，h t m l 。 m a r s 系统 m a r s 系统 2 4 2 6 ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 是由u i u c 第5 页 基于内容的图像数据库语义分类相关技术研究 大学的u r b a n a c h a m p a i g n 分校开发的。m a r s 是一个多交义学科融合的产物， 包括计算机视觉、数据库管理系统以及传统的信息检索技术。m a r s 的主要特 点是结合了数据库管理系统( d b m s ) 和信息检索技术( i r ) ，并将建立索引和查询 融为一体( 即查询算法能充分利用低层的索引结构) ，还在检索过程中考虑了用 户的参与信息( 相关反馈) 。m a r s 的研究焦点并不是寻找一个单一的最优的特征 表达，而是如何去组织各种不同的可视化特征，将它们融入到一个统一的检索 框架中，并且这个框架能够动态地适应不同应用的需要和不同用户的需求。 m a r s 系统在图像检索领域中正式提出了一个相关反馈( r e l e v a n c ef e e d b a c k ) 的 架构，并且在不同检索层次上实现了这些技术。这些交互式技术包括查询向量 更新( q u e r yv e c t o rr e f i n e m e n t ) 、自动匹配工具选择( a u t o m a t i cm a t c h i n gt o o l s e l e c t i o n ) 和自适应特征( a u t o m a t i cf e a t u r ea d a p t i o n ) 。m a r s 系统的演示程序网 址：h t t p ：j a d z i a i f p u i u c e d u ：8 0 0 0 。 s i m p l i c i t y 系统 s i m p l i c i t y 系统 4 6 是由s t a n d f o r d 大学开发的，可以实现基于语义的查询。 该系统采用语义分类的方法将图像数据库分为：纹理图像( t e x t u r e ) 、非纹理图 像( n o n t e x t u r e ) 、图片( g r a p h ) 和照片( p h o t o g r a p h ) 等。通过语义分类而缩 小了图像库的检索范围，从而提高了检索系统的性能。特征提取采用基于小波 的方法。采用综合区域匹配来实现图像分割，开发了一种采用图像区域匹配来实 现整个图像度量的方法，该系统对于图像的变换相当鲁棒。 以上这些系统和以往的研究主要集中在图像的低层特征提取阶段。基于内 容的图像检索的关键是找到合适的描述图像内容的特征，包括通用特征和专用 特征。目前使用的通用图像特征包括图像全局或某特定区域的颜色、纹理、形 状及颜色布局( c o l o rl a y o u t ) 等，这些都是图像的低层特征。专用特征是与具 体应用相关联的，如人脸特征和指纹特征等，这些特征将不在本论文的讨论范 围内。虽然这些特征可以自动来提取，但是它们在图像及视频的检索中是非常 有限的。这些特征很难编入系统中，且常常只适用于特定的领域。对于不同的 应用，这些特征及其相应的权重需要进行修改。如果没有特征提取的基本知识， 用户就不能有效地使用这些系统进行查询。事实上，在使用这些系统之前，用 户需要进行足够的培训。由于自然景物图像存在各种各样的图像类别( 自然风 景，人造物体等) ，所以用户需要根据经验辨别出查询目标的类别，然后选择合 第6 页 第一章绪论 适的图像特征用于查询。例如，当查询含有建筑物的图像时，采用基于纹理的 查询比颜色更有意义；但是当查询植物如草地，采用绿色和纹理会更有意义。 因为用户需要选取一些特征融合来进行查询，所以检索的结果依赖于用户选取 的特a e 。自动选择图像特征来进行检索和自动提取图像和视频数据的高层语义 这个课题的研究显得非常重要。 现有c b i r 系统的局限性使得研究者更关注用户对图像内容的理解，只有这 样才能最终提高图像检索的效率和准确率。可以通过相关反馈的方法来洞察用 户对图像的理解，在这种情况下，用户可以介入检索系统来提高检索性能。早 期的图像检索系统强调完全自动化，并且要求特征最优，但很快发现这条路行 不通。在以后的研究中，更多地强调交互式系统。例如，i b m 的q b i c 开发组 使用了交互式区域分割，m i t 也在p h o t o b o o k 中加入了用户交互的技术，开发出 了具有交互功能的f o u r e y e s ，u c s b 开发组在他们的系统中做纹理分析时融合了 峪督学习算法，m a r s 开发组正式提出了相关反馈( r e l e v a n tf e e d b a c k ) 的体系 结构，使用人机交互以提高检索精度。尽管可以通过相关反馈来提高检索的结 果，但提取图像数据的高层语义信息仍然非常必要。大多数图像数据库系统是 通过手工来插入语义信息的，通过结合语义信息和低层图像特征实现有效检索。 因此，实现对图像数据库的自动语义索引将能够从根本上解决目前的图像检索 效率低、性能差的问题。 1 2 2i n t e r n e t 上的图像检索技术 目前网上图像检索大多支持关键词搜索和分类浏览两种检索方式，有少部 分的系统提供基于视觉信息的图像检索。主要的检索途径有以下三种： ( 1 ) 关键词检索 基于图像外部信息或人工赋予的关键词进行自由词检索。图像的外部信息 主要包括文件名、目录名、路径名、超级链接、a l l 、标签以及图像周围的文本 信息。基于这部分信息的检索是目前网上图像搜索引擎采用最多的方法。图像 搜索引擎通过察看这些外部信息来确定其关键词，所以检索性能的好坏取决于 这些信息的描述程度。有些图像搜索引擎采用人工对图像的内容( 如物体、背景、 构成、颜色等) 进行描述并分类，给出索引词。这种查询方式的准确率比较高。 其主要缺点是需要人工参与，劳动强度大，主观性强，因而限制了可处理的图 第7 页 基手内容静图像数据岸语义分类稳关技零研究 像数量，检索结果取决于用户描述的精确度。 ( 2 ) 分类目录浏览方式 图像搜索引擎将得到的图像通过自动机制或采用人工进行分类索引，为用 户掇餐蔽主瑟溯览褥检索方式。该方式适瑙于检索舀标不鞠确绒以一一般浏览为 基款的用户。如w e b s e e k 提供了窘有1 6 拿大类翻7 7 个小类毂极为事富的类爨 体系；y a h o oi m a g es u r f e r 的类目体系爨只包括了几个流行主题，但对类目的划 分比较深入，含有6 个大类，1 4 个二级类以及更多的三级类，每个类目下的图 像飘几个到几百个不等。 ( 3 ) 基予车冕整内容静检索 基予褪觉内容的图像检索我们在蓠瑟戆章节中已经进行了憨结分橱，霹嚣 基于w e b 的图像检索应用这糖技术还蠢一定的豳难，只有少部分的搜索g l 擎进 行了尝试，如y a h o o 、w e b s e e k 就提供了基于图像形状或颜色随方圈的简单的 视觉内容检索功能。 具有代表性酌几个网上胬像援索引擎简介： ( 1 ) g o o g l e ( h t t p ：n w w w g o o g l e t o m 0 g o o g l e 遵过分接受嚣土图像周围茨文字、图像栋蘑戬及许多其它元素来确 定图像的内容，主要使用关键词梭索。在意级检索中，可以将梭索续果图像限 制在g i f 、b m p 、j p e g 等格式中，也可以选择彩色图像和灰度图像等。检索结 果整示筒图、图像类型( 如j p g 、b m p ) 、图像大小。并间时缩出嗣像文件的 u r l 帮探活点煞u r l 。主要筏酝是纹潮嗣关键词，因两查准率不高。 ( 2 ) w e b s e e k f h t t p ：d i s n e y e r r , c o l u m b i a 。e d u w e b s e e k ) w e b s e e k 是幽哥伦魄亚大学开发魄耪实骏性系统。基动搜索霹视傣息势 对其进行分类，目前已分类的图像有6 6 万多幅，形成了一个极寓创新性的图像 目录，主题分类是它的主要优点。w e b s e e k 的枪索途径有三种，一是使用关键 词避行自由全文裣索，侄不支持短语检索；二是稍焉不同虢类弱等级避行主题 测蹩；三是东检出图像敬基季窭上利擐羹褪懿淘寥进一步检索。焚检索结粱显示 为没有文本的简图及图像大小。单击简图可提到原图。每个简啜下厩提供三个 链接，分别是；”c o l ”一根据该图颜色在检出图像列表中搜索相关图像；”w e b ”一 在熬个w e b s e e k 舀录中裉据该国颜色再次检索相近图像；”h i s ”一通过手韵调熬 第8 页 该图像的颜色直方图进行另一一新的检索。 ( 3 ) l y c o s ( h t t p ：m u l t i m e d i a 1 y c o s c o m j ) 图像搜索是l y r c o s 的多媒体检索功能之一，其搜索范围包括整个网络和一 个内含8 0 ，0 0 0 幅图像的图库供浏览和检索，并划分为主题目录。l y c o s 对所收录 的图像进行了详尽的内容描述，并支持短语检索，从而使其查准率大大提高。 它根据文件扩展名识别图像，在描述词、文件名、目录名或a l t 字段中查询检 索词。结果显示的信息极为丰富，包括简图、图像大小、最后检索日期、图像 文件名、图像内容描述词、图像所在页面等。点击简图将得到原图及更多的信 息，如著作权人和更多的相关图像。比较而言它的检索效果很好并且效率较高。 l 。2 ，3 图像数据库语义分类研究综述 本文所说的图像语义分类是指的整幅图像作为一个整体来考虑语义信息， 以前文献中的图像分类大多是分割的意思，即对一幅图像中的不同目标进行分 类，主要有遥感图像中的各种目标分类，相当于分割之后的目标识别。本文所 定义的几个图像语义信息主要是一种场景语义信息，不涉及具体的目标，为了 简化起见，假定每幅图像中包含的区域是一个一致的区域。 图像的语义分类是根据图像自身的语义来组织图像数据库的一种方式，自 动提取图像的语义及类别信息可以在一定程度上提高c b i r 系统的检索性能。通 常对于自然景物图像进行分类是非常困难的，同一类中的图像变化可能也比较 大，而不同类中的某些图像也可能非常相似。虽然图像语义分类受到人们对图 像理解的影响，但是图像语义分类的目标并不是去模拟人们对图像的理解，而 仅仅是按照语义的方式来组织图像数据库。图像数据库的自动语义分类是一个 相对比较难的研究课题，在目前的图像数据库系统中还没有得到应用。其中的 主要问题是只有图像的低层特征能够可靠地抽取，而高层特征如图像中包含什 么物体以及这些物体的空间关系都不能可靠地得到。例如，颜色直方图是一个 比较普通的低层特征，可以很方便地得到。而图像中有没有建筑物、天空、草 地、人等等，目前的图像处理和计算机视觉技术还不能解决这个问题。 通过图像的低层特征来提取其高层语义信息已经有了一些尝试性的工作， 表1 1 列出了一些有代表性的图像语义分类研究，这些研究都是基于两类图像分 类来获取语义信息的。c h a p e l l e 等l 5 4 1 采用支撑向量机( s v m ) 分类器实现了一 第9 页 基于内容的潮像数据瘁语义分娄相关披术研究 个基予颜色妻方銎靛图像分类系统。位 f j 麸c o r e l 图像库中选择了凡类闰像作为 图像库，其中包括：飞 极蚕片3 8 6 擦，鸟类图片5 0 t 精，船只霭片2 0 0 幅，建 筑物6 2 5 蝠，鱼类图片3 0 0 幅，人物3 5 8 蝠，车凝图片3 0 0 骥，该系统仪邋过 提取图像的颜色直方图特征来区分不同类图像魄，采用s v m 实现了图像数据库 的多类分类系统。 袭1 1 图像添义分类系统糖关= 馋比较 准确率 分类阊题特征分类器数攒库 f ) i n d o o rv s 空间颜色麓l v q1 5 ，6 3 1 9 2 7 v a i l a v a o u t d o o r 等 8 m a n m a d e边缘方向直方豳，边l v q9 ，8 9 5 9 2 3 v s n a t u r a l 缘方向相关向量 s z t m a n e ri n d o o rv s 凝色嶷方翻 x j n n t ，3 4 3 9 0 等 4 8 】 o u t d o o r g o r l a n ic i 押v 8 纹理主方向r u l e b a s e d9 89 2 9 等 5 1 jl a n d s c a p e i n d o o rv 曼。图像晷标特征k n nl ，1 0 8 9 0 + l l u o 等 9 3 j o u t d o o r v a i l a y a 等 8 提出了分等级图像语义分类的方法，采用基于v q ( 向是量化) 的b a y e s i a n 分类器。室内和室外分类所用的图像特征是空间颜色矩，正确率达 劐9 0 8 ，城市帮风景分类衙甭的图像特征是边缘方向童方图和边缘方向相关向 鬟，正确率达刻了9 5 3 。s z u n l m e r 筹【4 8 】采嚣k - n - n 分类器实骚室离和室并图 像的分类，所援的蹰像特征是羧色霸主方岛特桎，犍强豫分为4 x 4 = 1 6 个子块， 采用颜色和m r s a r 纹理特征来实现分类。他们的图像数据摩包括1 3 2 4 蜒图像， 报告的分类正确率可以达到9 0 。g o r k a n i 等 5 1 1 采用多尺度金字塔特，锻实现了 风景图片中城市和乡村图片的分类，将图像分成4 4 = 1 6 个子块，如果图像大 多数予块的主辱方向是垂真或者是水平和垂赢的，那么认为该图像为城市。所 稍的图像数据痒是一些度假照片，是由b r i t i s ht e l e c o m 提供的。在9 8 幅图像的 数据痒实验中，_ 琏：系统共谖分了7 稻图像。w a n g 4 6 实现了纹淫闫# 纹瓒图豫、 线条黟片，照片图像的分类。分类正确率可鞋达到9 5 ，鹭豫数据露分别为2 0 0 蠛和1 2 3 0 0 蝠。 遥过识别图像中载