（信号与信息处理专业论文）基于贝叶斯集成分类器的自动图像标注.pdf

西南交通大学硕士研究生学位论文 第1 页 摘要 随着互联网技术和数据存储技术的快速发展，越来越多的信息以图像的形式表现 出来，则如何有效地对大规模图像库进行管理和检索已经非常必要，其中语义清晰是 其管理的重要前提。已有的研究表明：基于内容的图像检索和人为理解图像的语义之 间存在巨大的鸿沟，即基于底层特征的图像内容和人为理解的图像语义之间存在“语 义鸿沟 的现象，而基于图像底层视觉特征的图像自动标注技术，能够实现从图像的 底层特征中提取出高级语义信息的关键字来标注图像，能很好的解决这一难题。通过 机器学习方法来自动获取图像语义内容，实现图像的自动标注具有非常重要的研究意 义。 本文的研究目标是实现基于机器学习的图像的自动标注，本文选择的机器学习算 法是贝叶斯算法，在完成贝叶斯集成学习算法设计与实现的基础之上，实现图像的自 动标注。即基于贝叶斯集成分类器，通过对图像的底层视觉特征的处理分析，实现自 动获取能够表示图像高层语义信息的关键词，并用来表示图像的含义。本文对贝叶斯 分类器采用集成的学习方法加以改进，在各成员贝叶斯分类器的基础之上，主要通过 提高集成中各成员分类器之间的多样性，来完成集成算法的实现。图像自动标注的实 现，是将贝叶斯集成分类器作为图像标注的模型，通过图像训练数据集的训练，得到 标注模型，实现对待标注图像的自动标注，即本文把图像的自动标注问题转化为图像 底层视觉特征的分类问题。本文还设计完成了w 曲图像检索系统平台，实现图像用文 本那样以同样的方式被检索，把图像的相关研究工作得以贯通表现，为以后图像的研 究处理带来很大方便，同时，也是向实现类似商业图像检索的一种学习尝试。 本文通过标准u c i 数据库和c o r e 数据库对集成的贝叶斯算法进行实验分析，验证 了集成算法的有效性。实验结果表明本文所采用的集成算法很好的提升了分类准确率， 同时，本文验证了基于贝叶斯集成算法的标注系统，能有效的实现了图像的自动标注。 关键词：图像检索；贝叶斯分类器；集成学习；自动图像标注； 西南交通大学硕士研究生学位论文 第1i 页 ! piii l ll 詈l l 皇皇皇皇暑皇暑置暑基暑詈昌| 曼鼍! 皇皇置皇皇 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h ei n t e r n e tt e c h n o l o g ya n dd a t as t o r a g et e c h n o l o g y , m o r ea n dm o r ei n f o r m a t i o ni ss h o w ni nt h ef o r mo fi m a g e s ，s oi ti sv e r yn e c e s s a r yt or e a l i z e am o r ee f f e c t i v er e t r i e v a li nl a r g e - s c a l e d i g i t a li m a g e s e m a n t i cc l a r i t yi s a l li m p o r t a n t p r e r e q u i s i t eo ft h el a r g e - s c a l ed i 舀t a li m a g em a n a g e me n t ，b u tt h ee x i s t i n gr e s e a r c hs h o w s t h a tt h e r ei sas i g n i f i c a n tg a pb e t w e e nt h ec o n t e n tb a s e di m a g er e t r i e v a la n da d v a n c e d s e m a n t i ci n t e r p r e t a t i o no fi m a g e sb yh u m a n s ，w h i c ha l s om e a n st h a ti te x i s t st h es e m a n t i c g a pb e t w e e nt h eu n d e r l y i n gf e a t u r e so ft h ei m a g ea n dt h ea d v a n c e ds e m a n t i c so ft h ei m a g e u n d e r s t o o db yh u m a n t h et e c h n o l o g yo fa u t o m a t i ci m a g ea n n o t a t i o na u t o m a t i c a l l yo b t a i n s t h es e m a n t i ck e yw o r d so fi m a g e sf r o mv i s u a lc h a r a c t e r s ，w h i c hi sv e r yi m p o r t a n tt or e a l i z e a u t o m a t i ci m a g ea n n o t m i o nt h r o u g ht h em a c h i n el e a r n i n gm e t h o d t h et a r g e to fr e s e a r c hi st or e a l i z e i m a g ea n n o t a t i o nu s i n gt h em a c h i n el e a r n i n g a l g o r i t h m t h er e s e a r c hh a ss e l e c t e dt h en a i v eb a y e sa l g o r i t h ma n dr e a l i z e da u t o m a t i ci m a g e a n n o t a t i o nt h r o u g hc o m p l e t i n gt h ed e s i g na n di m p l e m e n t a t i o no ft h en a i v eb a y e sc l a s s i f i e r a u t o m a t i ci m a g ea n n o t a t i o nb a s e do nt h ec l a s s i f i e re n s e m b l em e t h o d ，w h i c ho b t a i n s h i g h - l e v e ls e m a n t i ck e y w o r d st h r o u g hp r o c e s s i n g a n da n a l y z i n gt h eu n d e r l y i n gv i s u a l i n f o r m a t i o nf e a t u r e so f i m a g e i nt h i sp a p e r , w ep r o p o s ea l le n s e m b l ec o n s t r u c t i o nm e t h o do f t h en a i v eb a y e sc l a s s i f i e r , w h i c hc o n c e n t r a t e s0 1 1h o wt ob u i l dd i v e r s ec l a s s i f i e ra n d r e c o n s t r u c t saf u l lf e a t u r es e tf o re a c hc l a s s i f i e ri nt h ee n s e m b l e t h em o d e lo fa u t o m a t i c i m a g ea n n o t a t i o nc a r lb eo b t a i n e dt h r o u g ht r a i n i n gt h ee n s e m b l ec l a s s i f i e r i nt h i sp a p e r , t h e a u t o m a t i ci m a g ea n n o t a t i o nb a s e do nt h ee n s e m b l ec l a s s i f i e r , w h i c hr e a l i z e st h a ti m a g e a n n o t a t i o ni st r a n s f o r m e dt oc l a s s i f i c a t i o no ft h eu n d e r l y i n gv i s u a li n f o r m a t i o nf e a t u r e so f i m a g e i nt h i sp a p e r , w ed e s i g naw 曲i m a g er e t r i e v a ls y s t e mp l a t f o r m w h i c ha l l o w si m a g e s t ob es e a r c h e di nt h es a m ew a ya sw cs e a r c ht e x td o c u m e n t s i nc o n c l u s i o n t h i ss y s t e m b r i n g sag r e a tc o n v e n i e n c et ot h ef u t u r er e s e a r c hw o r k m e a n w h i l e ，i ti sal e a r n i n gt or e a l i z e t h ei m a g er e t r i e v a lo fc o m m e r c i a la p p l i c a t i o n i nt h i sp a p e r , e x p e r i m e n t sa r ep e r f o r m e dt ov e r i f yt h ee f f e c t i v e n e s so ft h ea l g o r i t h m w i t has t a n d a r du c id a t a s e ta n das t a n d a r dc o r e ld a t a s e t t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e da l g o r i t h mc a ni m p r o v et h ec l a s s i f i c a t i o na c c u r a c y v e r yw e l l a tt h es a m et i m e ， a u t o m a t i ci m a g ea n n o t a t i o ns y s t e mb a s e do nt h ee n s e m b l ec l a s s i f i e rp e r f e c t l ya c h i e v e st h e a u t o m a t i ci m a g ea n n o t a t i o n k e yw o r d s ：i m a g er e t r i e v a l ；n a i v eb a y e sc l a s s i f i e r ；e n s e m b l el e a r n i n g ；a u t o m a t i ci m a g e a n n o t a t i o n 西南交通大学硕士研究生学位论文 第1 页 1 1 研究背景及意义 第1 章绪论 随着互联网技术、数据存储和数字成像技术的快速发展，越来越多的信息以图像 的形式表现出来，则如何有效组织对大规模图像库进行管理和检索，已经成为非常重 要的研究课题。建立有效的分类和检索方式，使用户可以快速的找到自己真正需要的 图像，其中“语义清晰 是非常重要的前提，而自动图像标注技术能够很好的获取图 像的语义信息，从而成为图像检索的关键技术之一。 早期的图像标注主要采用手工的形式，即通过手工对图像进行文本注视( 包括图 像名称、图像尺寸、作者和年代等) ，建立图像和文本的关联，然后根据这些标注信息 对图像实现文本检索。但是这种检索方式带来很多问题，首先，在面对海量的网络图 像时，手工标注图像工作量太大，根本无法有效完成。其次，个人对图像的理解也不 可能完全一样，往往会带入自己的主观感情色彩，对同一幅图像手工标注，不同个体 可能会存在截然不同的理解，这样图像标注内容的客观性和完整性很难得到保障。伴 随着大规模图像数据库的出现，这种依赖人工方式实现的图像标注，已经无法满足需 求。在进2 0 世纪9 0 年代后，一种新技术：基于内容的图像检索( c o n t e n tb a s ei n f o r m a t i o n r e t r i e v a l ，简称c b i r ) 被提出来，c b i r 是根据图像的形状、颜色、纹理等底层视觉 特征，来判断图像之间的相似性，实现检索图像。然而，在实际应用中，用户习惯图 像含义的查询，即图像表达情感的查询，而非形状、颜色、纹理等特征，同时，图像 底层特征也无法直接表达出图像的主题及其属性的高层语义信息。基于语义的图像检 索中，使用标注关键词能很合理的来表达图像的语义内容，最大程度减小图像视觉特 征与高级语义之间的语义鸿沟。自动图像标注技术就是要完成从图像视觉特征中提取 出高层语义信息的关键词，然后用关键词来标注图像。为了能自动实现标注关键词和 图像底层特征之间的对应关系，机器学习方法被成功引入到了该研究领域。 本文提出一种基于贝叶斯集成学习方法的图像自动标注系统，通过一组已有标签 信息的图像数据训练集，去预测能够很好表达待标注图像内容的文本关键词，实现图 像的自动标注。借助机器学习实现图像自动标注的检索系统，会有更高的检索效率， 尽可能的减少图像底层特征和高级语义之间的语义鸿沟。将机器学习方法用于图像语 义的自动标注中，很大程度上提高标注和图像检索系统的效率，在卫星遥感图像、商 标版权管理和医学图像等众多领域具有很大的应用价值。 西南交通大学硕士研究生学位论文 第2 页 1 2 国内外研究现状 图像自动标注系统是由计算机系统通过学习，来为待标注的图像预测能够表达图 像内容的文本关键词，自动图像标注系统的框架如图1 1 简单表示。本文主要通过学 习方式的不同对图像标注研究现状进行分析。 自动图像标注 l l o w c r ， l 1 一r 葛 系统 ，r - v “， _ g r a s s 、 1 有监督学习的图像自动标注 有监督学习方法是训练集中的训练样本全部是己标注，未标注的样本不参加训练 集。自动图像标注可以采用分类的方法，针对每个图像语义关键词，都当作一个类 标签来进行分类 1 ，2 ，3 ，引。已经用于有监督学习的方法中，有决策树( d e c i s i o nt r e e ，简称 d t l 方法【5 ，6 ，1 4 3 6 1 、支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 方法【7 8 只1 0 ”、近邻算 法( k - n e a r e s tn e i g h b o r s ，简称州) 方法【1 1 1 2 西】和贝叶斯算法( n a i v eb a y e s ，简称n b ) 方法【2 3 , 2 4 , 2 5 等机器学习算法。例如h o u 1 4 】等人提出的基于决策树算法的图像自动标注 和文献【6 】等人提出的快速随机森林( f a s t r a n d f o r e s t ，简称r r t ：) 分类算法，在图像标注中 取得了较好的应用。d o n g t 8 】等人把基于图像区域的自动标注实现看作多实例学习分类 问题，并且在s v m 良好泛化能力基础之上，提出非对称的方法对图像多实例标注实现 进行研究。g a o 1 0 】等人借助层次增强算法来实现对整张图像对象的标注，同时很大程度 上提高了s v m 分类器的有效性。j e o n 1 5 等人提出一种跨媒体相关模型( c r o s s m e d i a r e l e v a n c em o d a l ，简称c m r m ) ，其具体实现方法通过计算图像内容和标注词之间的联 合概率，得出图像标注的结果就是与图像内容条件概率最大的一组关键词。 2 无监督学习的图像自动标注 无监督学习方法是分析数据集本身查找某种聚集性，无类标签，其可以不限制于 数据规模和语义个数。文献【1 6 】中提出的无监督学习图像自动标注，其用k - m e a n s 算法 将具有相同底层视觉特征的图像区域划归为同一类，并借助子空间聚类算法，来完成 图像的标注。但此种方法的结果往往会有图像的区域语义完全不同，但却用相同的文 本关键词来标注，其原因是图像底层视觉特征相同，语义可能存在很大差别，即所谓 的语义鸿沟现象。基于多示例学 - 3 ( m u t i p l ei n s t a n c el e a r n i n g ，简称m i l ) 1 7 f f f j 自动图像 标注，这种方法把概率模型和机器学 - j 方法相结合起来实现图像标注。f f i g u i 0 8 j 等人提 西南交通大学硕士研究生学位论文 第3 页 出的一种基于无监督学习的图像自动标注，用模糊聚类和无监督特征选择方法来产生 关联规则，然后借助图像底层特征和文本关键词建立的特征词典，得到的区域集群相 关特征子集的权重，最终实现对图像的标注。 3 半监督学习的图像自动标注 半监督学习方法可以说是无监督学习与有监督学习相互结合起来的一种学习方 法，其主要目标是怎样用大量的未标注样本和少量的标注样本，在学习阶段利用更多 的数据分布特征，更好的实现训练和分类的问题。所以，在总数据量较大而已标签数 据量较少的情况中，基于半监督学习方法可以取得较好的效果。比如b l a n c h a r t 等人【l 9 】 提出一种半监督学习方法，应用于卫星图像的自动标注取得较好的效果，并且与 s 3 v m ( as e m i s u p e r v i s e ds u p p o r tv e c t o rm a c h i n e ) 算法结合比较，实现的基于内容的卫星 图像检索系统有更高的效率。文献1 2 0 】提出一种基于图学习的图像标注方法，其通过以 图像间相似性为依据的图学习过程来提供图像的初始标注，然后通过以词汇间语义相 关性为依据的图学习过程，应用半监督学习于图像自动标注中，很好的改善了标注结 果。文献【2 1 】中提出一种基于重启型随机算法的半监督模型，用重启型随机算法提炼并 重排候选标注关键词，最后取相关性最高的文本作为最后标注结果。 1 3 研究目的及内容 1 3 1 研究目的 本研究课题的主要研究目标是实现基于机器学习的图像自动标注。本文选择贝叶 斯分类器来集成学习研究，在集成算法中，重点集中在如何提高集成中各成员分类器 之间的多样性，为各成员分类器重新构造完整特征训练集，且各成员分类器采用并行 的学习方法，最后进行投票分类，并且，本文将集成学习模型用于图像标注中，实现 图像的自动标注系统。同时，本文搭建了w e b 图像检索系统平台，实现图像用文本那 样以同样的方式被检索，并实现串通表现图像的相关研究工作和为以后图像的相关研 究工作带来方便。 1 3 2 研究内容 1 w e b 图像检索系统平台 在线图像检索系统平台，可以使图像以文本方式被索引和检索，类似与g o o g l e 中的图像文本检索一样。本系统采用目前比较流行的j 2 e e ( j a v a2p l a t f o r me n t e r p r i s e e d i t i o n ) 架构js t r u s t 2 + s p r i n g + h i b e m a t e s 来开发，共分三层结构：表现层、业务逻辑层 西南交通大学硕士研究生学位论文 第4 页 和持久层。搭建本系统的主要目的就是串通表现图像的相关研究工作和为以后图像的 相关研究工作带来方便，同时，也是向图像商业化应用的学习尝试。 2 贝叶斯分类器的集成学习方法实现 设计和完成贝叶斯分类器的集成学习算法，是本文的研究重点。由于集成学习能 够很好提高学习系统的泛化能力，已经广泛应用于不稳定的学习算法集成，如神经网 络、决策树等，而贝叶斯就是一种稳定的学习方法，也可以尝试应用到集成算法中， 本文就是实现贝叶斯分类器的集成算法研究。本文贝叶斯集成算法的研究中，重点集 中在如何提高集成中各成员分类器之间的多样性，以达到同时提高分类器系统准确率。 具体实现方法是：把训练集的所有属性特征划分子集，并处理所划分的属性特征子集， 最后为每个成员贝叶斯分类器构造出不同的，各自包含完整特征属性的训练集。 3 贝叶斯集成分类器在自动图像标注中的应用 本文将集成的贝叶斯集成分类器应用于图像的自动标注中，经过大量的图像训练 数据集训练学习，得到基于集成贝叶斯分类器的标注模型，实现对未标注图像的自动 标注。而分类算法的性能对标注系统有很大的影响，尽可能提高分类精度是提高图像 标注的关键问题之一。 1 4 自动图像标注系统框架 本文采用有监督机器学习的图像自动标注模型，即有标注模型的训练和标注测试 两个部分组成，其模型图1 2 所示。 在标注模型的训练阶段，首要任务是如何获取图像数据训练集。首先针对图像库 中图像定义一组相关文本关键词，接着利用图像分割方法把图像分割成许多不同区域， 根据已定义关键词，分别选择与其相关的图像分割区域，可以得到各图像分割区域与 文本关键词的对应。然后提取各图像区域的底层视觉特征( 如：颜色、纹理、形状等) ， 这些特征数据和相应的文本关键词就可以作为训练标注模型的图像数据训练集。本文 采用的机器学习方法是贝叶斯分类器集成方法，然后经过图像数据训练集的训练，可 得标注模型。 在标注测试阶段，对未标注图像依次进行分割、过滤、特征提取等处理，然后用 训练得到的标注模型对各分割区域进行标注，分别得到各区域对应的文本关键词，自 动标注完成。其标注实现的本质是：通过机器学习方法，对没有类标签的数据进行分 类，得到各自对应的类标签，即用预定义关键词来标注未知分割区域，完成图像的自 动标注。 西南交通大学硕士研究生学位论文 第5 页 训练阶段 测试阶段 一 图矽 图像分割 丫 f l o w e r 一 g r a s s 霞跪a 图像分割 p l a n ek 曩 i i ； iv 过滤过分割 特征提取 区域 c i ，t i ，s i ， 一 c 2 ，t 2 ，s 2 ， 1 r - c s ，t s ，s s ， 特征提取 j上 有监督机器学习刊己训练标注模型 0 上 标注模型 ( 标注结果) 1 5 本文结构安排 图卜2 基于有监督学习算法图像自动标注模型 在本文中主要完成w e b 图像检索系统和设计实现基于贝叶斯集成学习方法的自动 图像标注。本文中最主要的核心部分就是贝叶斯集成学习方法的设计与实现，因此， 本文的主要工作和结构安排有以下几个方面： 第2 章主要介绍w e b 图像检索系统平台搭建过程以及使用技术。w e b 图像检索 系统可以实现图像用文本那样以同样的方式被检索，并把图像的相关研究工作得以串 通表现和为以后图像的研究处理带来很大方便。同时，也是向类似g o o g l e 图像文本检 索的一种学习尝试，这部分是本文的重要组成部分。 第3 章详细阐述本文的核心部分，也就是贝叶斯集成学习算法的设计与实现。在 西南交通大学硕士研究生学位论文 第6 页 集成中把训练集的所有属性特征划分子集，并处理所划分的属性特征子集，最后为每 个成员贝叶斯分类器都构造出不同的完整特征属性训练集，即集中研究如何提高分类 器集成中各成员分类器之间的多样性，同时提高分类器系统准确率。这部分是本文最 主要的研究工作。 第4 章基于贝叶斯集成分类器的图像自动标注。主要完成将贝叶斯集成分类器应 用到图像标注中，实现图像的自动标注。标注的实现主要有两部分组成：训练阶段和 标注测试阶段，即通过训练标注模型，实现图像自动标注，这部分也是本文的重要组 成部分。 第5 章试验实现以及结果分析。利用机器学习领域常用的u c i 数据库和图像处理 领域的c o r e l 数据集，对贝叶斯集成算法和传统贝叶斯算法进行比较分析；对基于贝叶 斯分类器的图像自动标注系统进行实验分析与讨论，并对该系统的有效性加以验证。 最后，对全文所作的工作进行总结，并针对提出的模型存在的不足，讨论未来需 要进一步改进和研究的内容。 西南交通大学硕士研究生学位论文 第7 页 2 - 1 系统分析 第2 章w e b 图像检索系统平台搭建 ， 图像的研究工作涉及很多方面，包括：图像库的选取、图像的分割处理、图像特 征提取、图像标注和图像检索相关反馈等等，其中，本实验室图像课题组所涉及的研 究工作可用以下流程图2 - 1 来简单概述。 特征 图像 倒排 相关 网络 图像 图像 一f 提取 自动 反馈 数据 一 及离 文件 爬虫分割 标注算法 库 l 散化 图2 i 图像处理流程图 在线图像检索系统平台，可以使图像用文本那样以同样的方式被检索，类似与 g o o g l e 中的图像文本检索一样。本系统的具体实现是基于已有的倒排文件，搭建w e b 图像检索系统，并在检索的过程中成功引入已有的相关反馈算法，实现更友好的人机 交互和图像检索结果，本文系统检索流程如下图2 - 2 所示。 图2 - 2 检索流程 在线图像检索系统平台的搭建主要有两个目的： 西南交通大学硕士研究生学位论文 第8 贝 1 实现图像研究处理工作的串通表现，给研究工作带来方便。实验室图像课题组 的研究工作包括上述的图像分割、图像特征提取、图像标注、图像的相关反馈等等， 这样一个检索平台可以给图像的研究工作带来方便。例如，图像的相关反馈算法的研 究取得了进展，这样在保证其它图像研究工作不变动的基础之上，用新改进的反馈算 法替换现有的算法，重新加入到检索平台中，这样从最后检索反馈的效果可以更直观 验证新算法的效果。又如，当图像特征提取算法取得进展了，可以同样在检索平台得 到验证：在保证图像分割、图像标注等不变的情况下，用新改进的算法替换现有的特 征提取算法，重新生成倒排文件替换到系统，就可以有效的看到改进算法的实际效果 如何。本文所涉及图像自动标注处理算法的改进验证，同样可以做类似的检验处理。 2 向图像商业化应用的学习尝试。现已有很多非常成功的商业化图像检索的应用 案例，例如，g o o g l e 的在线图像检索等，而现在很多图像处理的研究工作，都是基于 离线的平台研究。本文初步搭建的在线图像检索平台，用户可以通过其它主机客户端 实现对本检索系统的访问使用，在便于图像研究工作的基础之上，也是向图像商业化 应用的一次小的学习尝试。 2 2 系统设计 本系统采用目前比较流行的j 2 e e 架构：s t r u t s 2 + s p r i n g + h i b e r n a t e s 来开发，使用的 j 2 e e 多层架构是w e b 开发应用主流架构，如图2 3 所示。j 2 e e 不是某一种的技术，它 实际上是一组技术规范与指南，包含各类组件、技术层次、及服务架构等，通过基于 各类组件和服务架构的应用程序模型为分布式应用程序提供标准，其中最受关注的是 s t r u t s 、h i b e r n a t e 和s p r i n g 框架，而本系统的开发正式采用这几种框架【1 3 】。 图2 - 3j 2 e e 多层架构 系统的设计开发采用三层结构：表现层、业务层和持久层。表现层主要负责与用 西南交通大学硕士研究生学位论文 第9 页 户的各种交互以及用户请求所返回数据的表现；业务层主要负责基本业务逻辑的实现， 其实现的各种功能组成了一个完整的业务流；持久层主要负责数据访问的功能，这样 所有包括数据的一致性和完整性控制等都在持久层来实现。系统采用这种分层模式， 使的各层之间的组件仅与其相连层的组件直接通信，这样可以减少系统中各个组件之 间的耦合程度，也可为以后在系统中实现“图找图 带来很大方便，能最大程度地降 低耦合度，这也是分层模式的主要优势之一。 在本系统中：s t r u t s 2 工作在表现层，s p r i n g 在业务逻辑层，而h i b e r n a t e 在持久层， 负责数据的处理，图2 4 就是s t r u t s 2 、s p r i n g 、h i b e r n a t e 多层架构示意图。 表示层 服务 业务层l 访问持久层 s t r u t s 2 - ) p 1 1 1 1 若 h i b e m a t e t r a n s a v t i o n w e b w o r k s e s s i o n c o n n e c t i o n j s p m a n a g e m e n t p o o l s t r u t sa c t i o n q u e 哆 s t r u t s - c o n f i g l a n g u a g e x m i b u s i n e s s s e r v i c e s s e r v i c e 图2 - 4s t r u t s 2 、s p r i n g 、h i b e r n a t e 多层架构图 系统中的表示层应用s t r u t s 2 架构，对s e r v l e t 和j s p 的优势进行了很好的结合， 最大化的实现了代码的复用和简化，这样可以很大程度地减轻本系统开发的工作量。 而本系统的业务层采用的是s p n n g 框架，其组件b e a n f a c t o r y 使用i o c ( i n v e r s i o no f c o n t r 0 1 ) 设计模式，将依赖性规范和应用程序的配置与实际编程序代码有效分开，用 j a v a 语言来直接编写需要的业务模块。在系统运行时，s p r i n g 就会自动读取x m l 配置 文件并且将相应的服务注入到被调用的接口中，运用此项功能，系统可以很好的降低 程序的耦合度，比如，若有新改进的图像反馈算法，就可以很方便的加载到系统之中。 持久层的h i b e r n a t e 框架，使用配置文件数据来为应用程序提供持久化服务，并利用自 身提供的工具来生成j a v a 类对象，避免编写大量的持久化代码。 2 2 1 表现层实现 本系统使用s t r u t s 2 框架来创建w e b 应用程序，w 曲层为客户端提供对图像检索平 台进行访问的接口，是基于浏览器的用户与应用程序交互的界面，其主要组成部分： 负责提供用户操作接口的j s p 和h t m l 、负责绑定后台各业务逻辑处理类、以及最终来 西南交通大学硕士研究生学位论文 第1 0 页 处理用户请求和返回处理结果的s t r u t s 标签组成。在本系统中s t r u t s 2 起到一个流程控 制的作用，输入的“字找图 等用户请求以及得到的响应都是通过其来控制进行的。 在本系统中，s t r u t s 2 的工作过程如下，其框架工作过程如图2 - 5 所示。 1 指定并初始化本系统应用服务器t o m c a t6 x 容器，按照配置文件 s t r u t s 2 c o n f i g x m l 的配置信息，加载和初始化控制器a c t i o n s e r v l e t ，并针对s t r u t s 2 的模 块初始化对应的m o d u l e c o n f i g 对象。 2 本系统h t t p 请求：h 郇：l o e a l h o s t ：8 0 8 0 i m a g e，当提交retrievalstarterhtml a c t i o n 的请求后，经过一系列过滤器( 本系统选用a c t i o n c o n t e x t c l e a n u p ，此过滤器对 s t r u s t 2 和框架集成有益处) ，由f i l t e r d i s p a t c h e r 处理请求，然后根据a c t i o n 映射器 ( a c t i o n m a p p e r ) 调用相应的a c t i o n 处理。 3 系统按照倒排文件实现“字找图”，由a c t i o n p r o x y 通过配置文件的配置信息， 找到需要调用的对倒排文件处理的相关a c t i o n 类，之后在后台运行对应的业务逻辑。 4 业务逻辑完成以后，将目标响应对象返回到总控制器a c t i o n s e r v l e t ，然后 a c t i o n s e r v l e t ( 具体由a c t i o n l n v o c a t i o n 负责，是a c t i o n p r o x y 创建的实例) 负责根据 s t r u t s 2 c o n f i g x m l 的配置信息找到对应返回的j s p 。 、 ，h 习_ 丌d ，j 一 始化 s t r u t s - e o n f i g x r n l 配置管理器 、l 、 ( 3 ) ，- i w 田 j a c t i o n f o r r n a c t l o n e 一d b 世习二i 寿 ( 2 ) h t t p 。请求 s t r u t s 2 框架总控制 f 6 、将目标 ( 4 ) 把舅；体j l f 滤 器( a c t i o n s e r v l e t )反映对象1r具体的一 l - q 器 1 基l e 三思垂 一 倦i | 器 a c t i o n f l i t e r 业务功能控制器 jl t l 5 i ) j 用田州? 1 二 s t r u t s 2 4 , 示, 签库 j 务实习 ( 8 ) l ( 7 ) 转换h t t p 请求 业务功能实现 v 到目标响应对象 j a v a b e a n h t t p 相应 视图( j s p ) 2 2 2 业务层实现 图2 - 5s t r u t s 2 框架工作实现 在本系统中，使用s p r i n g 框架来实现业务逻辑层。s p 订n g 框架可以很好服务于j 2 e e 应用程序开发，为其提供集成的框架，且框架的各部分耦合度很小，提高了程序的灵、。蠢 - 西南交通大学硕士研究生学位论文 第11 页 活性，便于系统的扩展和变更【1 3 】。这也为图像检索平台引入其他算法或更换不同的图 像检索库带来很大方便。 业务层主要是运用s p r i n g 的i o c 设计模式和a o p ( a s p e c to r i e n t e dp r o g r a m m i n g ) 技 术，基于已有的倒排文件，进行关键词检索相关图像的编程实现，同时，在系统业务 层中加入已有的相关反馈算法，实现系统检索的反馈功能。业务层中使用的i o c 设计 模式，能更好的降低系统的耦合性，更有利于系统后期的开发与维护，例如以后实现 “图找图 功能或加入其他新的图像处理算法。而利用a o p 的编程技术，将对“倒排 文件”处理的多个类封装到可重用的模块中，降低了业务逻辑管理的复杂度。 2 2 3 持久化层实现 在系统持久化层设计中使用h i b e r n a t e 框架，一个优秀的开源代码o rm a p p i n g ( o b j e c tr e l a t i o n a lm a p p i n g ) 架构，系统用它来协调应用与数据库的交互。h i b e r n a t e 通过持久化对象来操作数据库，并通过h i b e r n a t e c f g x m l 配置文件及o r m 映射等配置 文件来处理具体的数据库操作，可简单总结其工作流程为：首先，构建c o n f i g u r a t i o n 实例，把h i b e r n a t e c f g x m l 文件加载到c o n f i g u r a t i o n 实例中，然后构建一个 s e s s i o n f a e t o r y 实例；其次，s e s s i o n f a e t o r y 实例创建连接，得到s e s s i o n 实例来创建事 务操作接口t r a n s a c t i o n ；最后，通过s e s s i o n 接口提供的各种方法操作对数据库的访问。 2 3 系统实现 本系统选择的开发工具是：集成环境m y e c l i p s e6 0 和应用服务器t o m c a t6 x 。 m y e c l i p s e 集成环境对s t r u t s 2 、s p r i n g 、h i b e r n a t e 等开发框架的使用有着良好的促进作 用，而t o m c a t 是开源的应用服务器，下载以及应用配置都比较简单。 表现层使用s t r u t s 2 标签技术与j s p 技术相结合，来负责向用户展示系统消息：使 用s p r i n g 来管理业务层，其负责业务层与表现层之间的数据交互，支配用户的请求并 且选择合适的v i e w 用于显示；持久层用h i b e r n a t e 实现，使用o r m 技术把对象模型映 射到基于s q l 的关系模型数据中，本系统中各组件以及整体工作流程如下图2 - 6 所示。 本系统主要是实现了“字找图”( “图找图”部分未实现) ，即以关键字来进行图 像的检索，类似g o o g l e 实现的字查图的功能。另外，在系统中加入了已有的图像反馈 算法，这样用户在检索图像时，就可以选择自己感兴趣的图像，进行友好的人机交互， 得到更理想的检索效果。例如，用户在输入“t i g e r ”关键词，检索结果可能包含如下 情况： 西南交通大学硕士研究生学位论文 第1 2 页 此时用户就可以选择自己感兴趣的图片， 果。 利用相关反馈算法，得到自己想要的检索结 本系统实现了对初步图像检索结果前n ( n = 0 、1 、2 、3 、4 、) 页的人机交互。 用户可以直接查看初步检索结果，不进行选择感兴趣图像进行反馈，此时n = 0 ；用户 也可以只选择第一页中感兴趣图像进行交互反馈，此时n = i ；用户也选择前2 页检索 结果中感兴趣的图像再进行交互反馈，此时n = 2 ；以此类推，并且在每一页选择感兴 趣的图像时，也不必要全选，只需任意选择几张强pn - j ，总之，一切皆有用户自己决定。 图2 - 6 系统中各组件工作流程图 西南交通大学硕士研究生学位论文 第1 3 页 本系统使用的测试图像库有1 2 0 0 张图像，共定义了4 0 个关键字：g l a s s ，m o u n t a i n ， e l e p h a n t ，t r e e ，b o m b e r , p l a n e ，b i r d ，b a l l o o n ，s k y , f i r e w o r k , n i g h t ，f l o w e r , b o n s a i ，w a v e ， h e l i c o p t e r , s n o w , b u t t e r f l y , c a c t u s ，c a r , b e a r , w o l f , h o r s e ，l e a f , g o a t ，s u n s e t ，b o a t ，t i g e r , b u i l d i n g ，s t o n e ，l i g h t ，c l o u d ，s c u l p t u r e ，h o u s e ，m o n k e y , s e a , r o a d ，s a n d ，r o c k ，r i v e r , g r o u n d ， 这样每个关键字对应3 0 幅图像。 在此选择了n = 2 的检索案例( 为方便演示，选择前2 页检索结果) ，对图像系统 的检索性能进行演示，使用的检索关键字b u t t e r f l y 。结果有图2 7 、2 - 8 、2 - 9 、2 1 0 所 示。 图2 7 、2 8 有两重含义： 1 关键字b u t t e r f l y 初步检索结果的前两页显示。 2 在n = 2 时，在的初步检索结果中，选择前2 页的任意几个感兴趣的图像( 每 幅图像下标，y 为选中) 的展示。 、4 一- j - x 皇，竖：毒塑? 兰二：一”! 三。： 译冁毒勤雕张0 掌枝渣隶职口j a v 学习蟊工 盘黻昏聃 i 衄g er e t r i e v a l i 珥。r e t r i 删r 剃t ：b u ”f b k e yw o r d ： 坠堕 二二匝 i 坤u t t i r 培i m a g e 二二二二匿堑二 o p t i o n s ： ；i i 。习 陲卜、：0l 弩卜黪、i 簿 厂_ _ l 习韶：f _ 习氛j 习 亘圈堕囹r 互圃 耍圈 e 出鬯堕 i n t r o 如c i n gr e l e w a c ef e e 西a c k ：p l e b ec h o o s ep h o t o s a 锄嘲蹦腻e 对= i ，f q 屠骱重t0 面 图2 7 首页检索结果及随即选择感兴趣图像 西南交通大学硕士研究生学位论文 第1 4 页 焉= = 五= i 磊面j ；6 0 室全黼d 正式艘 争- o 卉，悔量矗无