（通信与信息系统专业论文）基于roi的文化遗产图像检索算法研究以及系统实现.pdf

摘要 摘要 随着互联网的高速发展，网上的多媒体数据呈现爆炸性的增长，相应的检索 和查询技术已成为信息时代人们生活中必不可少的重要手段之一。如何有效地提 取图像的视觉特征并用其来表征一幅图像的内容，通过特征的相似性匹配和相关 反馈技术，方便自动地检索到所需的图像，即基于内容的图像检索( c b 瓜，c o n t e m b a s e di n l a g er e t r i e v a l ) ，成为了近年来学者和机构研究的重点之一。 分析和识别出图像中最能引起用户兴趣、最能表现图像内容的某些特定区 域，通过提取这些区域的特征来描述图像重要内容，并基于这些特征进行图像内 容检索，这是c b 瓜研究中更具有挑战性，也是更符合人类视觉感知特性的新方 法基于感兴趣区域( r o i ，r e 西o no f i n t e r e s t ) 的图像检索。 本文对基于r o i 的图像检索方法的关键技术：感兴趣区域提取、区域特征描 述以及特征匹配算法进行研究，并在理论研究的基础上构建了一个实用的基于“ r o i 的图像检索系统。 本文的主要贡献和完成的工作包括： 1 ) 提出了一种基于信息突变的图像感兴趣区域自动分割算法。该算法以信 息突变理论为依据，通过一种增量式的分割算法，可以较精确的将图像的前景区 域和背景分离，实现有效的文化遗产古建筑图像感兴趣区域提取。 2 ) 定义了图像信息熵漂移( i e s ，i i l f o n n a t i o ne n t r 叩ys l l i r ) 的概念，并用这一 新概念对感兴趣区域的特征进行描述。在颜色统计特征的基础上，利用信息熵漂 移曲线模拟空间信息变化，实现了多特征融合的图像特征描述方法。 3 ) 提出了一种新的基于信息熵漂移的动态差值匹配算法。该算法将信息熵 漂移矢量的相似性匹配问题转化为二元函数特征曲线匹配的问题。曲线的变化趋 势被作为曲线匹配的特征，并借鉴语音处理中广泛应用的模板匹配算法改点匹配 为线段匹配，提高了算法的鲁棒性。 4 ) 首次将基于感兴趣区域的检索的概念应用到文化遗产保护领域，构建了 一个具有系统功能性完备、操作灵活的基于w 曲的文化遗产图像检索系统。 关键词：图像检索：感兴趣区域：图像分割；特征描述：相似性匹配 北京_ t 业大学t 学硕十学位论文 a b s t r a c t w i mt h er a p i dd e v e l 叩m e n to fh l t e m e t ，o n l i i l em u l t i m e d i ad a t ai ss h o w i i l ga n e x p l o s i v e 伊o w m 锄dn l ec o r r e s p o n d i i l gi n f o n l l a t i o nr e t r i e v a la n dq u e 巧t e c l l i l i q u e sa 阳p l a ) ，i 1 1 9a ni m p o r t a n tr o l ei l l m el i v e so fp e o p l e h o wt 0e 虢c t i v e l ye x 仃a c ti m a g ef e a t u r e st 0d e i n o r l s 衄l t ei m a g ec o n t e n t ， c o n v e i l i e n t l yr e t r i e v e l ed e s n di i i l a g et h r o u 曲f e a t i l 坨n 饿c l l i n ga l g 嘶t 1 1 m 锄dc o 玎c s p o n d i i l g f e e d b a c kt e c h n i q u e ，n a i n e l y c o n t e mb 铺e di r n a g er e 仃i e v a l ( c b r ) ，h 勰b e c o m e 孤i n l p o r t 觚t r e s e a r c hp o i n to fs c t l o l a r sa n di i l s t i t u t i o n s 豫c e m l y a m 山，z e 粕di d e n t i f ym ek e y 百o no fa i li m a g ew h i c hc o u l da r o u s e 1 em o s ti l n e r e s to fu s e 硌 锄dd e s c r i b em em a i l lc o m e n to fa ni m a g e ，d e s c r i b et l l em a i nc o n t e n to fa nh a g e 廿1 r o u g h e x 仃a c t i n gf e a t u r e so fm ek e yr e 百o n 锄dr e t i r e v ci m a g eb 豁e do nm e s ef e a t u r e si sam o m c h a l l e n 舀n gt e c l l i l i q l l ew l l i c hi sa p p l i e dw i m t 1 1 eh u m a np e r c 印t i o n ，n 锄e l y 阳g i o no fi n t e r e s t ( r o i ) b 嬲e di m a g er e t r i e v a l - 1 1 l i sp a p e rm 妇l yf o c u s e so nn l ek e yt e c h n i q u e so fr o ib 懿e d i i i l a g er e t r i e v a l ：l ee x 眈c t i o no f r o i ，地d c s c f i p t i o no fi m a g ef e a t l l r ea i l dm ec h a r a c t e r i s t i cm a t c h i n ga l g 耐t l l l l l ，b e s i d c s ，a p r a c t i c a li t o ib 船e di i i 诅g er e t r i e v a l8 y s t e mi si m p l e m e n t e db a s e d0 n l er e s e a r c h 1 1 l er e 】m 放a b l ec o n t r i b u t i o na i l dw o r kc o n l p l e t e di i lt h i sp 印e ri n c l u d e ： 1 ) a ni l l f o m l a t i o nm u t a t i o nb 弱e di m a g er o ia u t o - s e g m e n t a t i o na l g o r i m mi sp p o s e d b 舔e d 0 nt h ei n f o n l l a t i o n 舢t a t i o nt 1 1 e o t i 们u 曲a 1 1 硫崩n e n t a ls e 雕m a t i o nm e t l l o d ，蚰sa l g i r i t t l m c o u l dd i s t i n c tt l l et a r g e ta r e aa n db a c l 【伊o u n do fa ni i i l a g ea n d i l i e v et h ee 丘i c c t i v er o ie x n 鼍c t i o n o fc u l t u r a ih e r i t a g ei 眦g e 2 ) an e wc 伽c 印to fi m a g ei n f o m l a t i o ne n 仃o p ys h m ( s ) i sd e f i n e dt 0d e s c 曲e l ef e a t u r eo f r o i b 舔e d0 nm es t a t i s t i c a lc h a r a c 丽s t i co fc o i o r m i sc o n c 印ts i m u l a t e sm ec l l a l l g e so fs p a t i a l i l l f o 棚僦i o no fa ni m a g e ，孤d l u sa c h i e v e sm er n u l t i - f c a t i l r ec o m b i i l a t i o no fi m a g ef e a t l l 坞 i l e s c 邱t i o n 3 ) a ni n f o m 洲o ne n t r o p ys h i rb a s e dd ) ，l l a i l l i cm a r g i nm a t c h i i l ga l g o r i m mi sp r e s e n t e d h lm i s a l g o r i 也m ，t t l em a t c h i i l gp r o b l e mo fi 川0 m l a _ t i o ne r l t r 叩y 嘶f tv e c t o ri s 觚f o 锄e dt 0m e m a t c t l i i l go ft h ec h a r a c t e r i s t i cc 瑚eo fab i n a r yf i l n c t i o n ，a n dt i l e 仃e n do fc u n ，ec h a n g e si su s e d 弱 t 伦f e a t u r et 0m a t c h b e s i d e s ，t l l et e m p l a t em a t c h i n ga l g o r i m mi i la u d i op r o c e s s i n gi s f c l l r e dt 0 d e a lw i t l lt l l ep r o b l e mo fc u i v em a t c l l i n g 4 ) t h ec o n c e p to fr o ib a s e dh m g e 他仃i e v a li si n 缸d d u c e di m on 圮a r e ao fc u l t u m lh 碰t a g e p r o t e c t i o na t 圯觚tt i m e ，a n dah i g l l l yn e x i b l ew 曲b 嬲e dc u l t u r a lh e r i t a g e 妇a g er e t r i e v a l s y s t e mi si i n p l e m e i 】【t e d k e y w o r d s ：i i m g er e t r i e v a l ；r c g i o n o fi n t e r e s t ；i n m g es e 舯e n t a t i o n ；f e a t u r ed e s c 却t i o n ； s i i 】【l i l 鲥t ) ，m t c h i n g i i - 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：至堂日期：狸壁：圭：竺 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 妣至骂翩签名：垫毯吼呈堡： ：乡 第1 章绪论 第1 章绪论 1 1课题背景和意义 随着互联网的高速发展，网上的多媒体数据呈现爆炸性的增长，包括视频、 音频、图像等的多媒体信息大量涌现出来，因此人们对多媒体信息的检索需求也 就随之而来。传统的信息检索主要集中于文字的检索，在多媒体方面的研究并不 是很多，而互联网上的多媒体以图像为主，传统的通过对图像进行手工标注以进 行基于关键字的检索方法已经不能满足日益增长的多媒体数据检索需要。以网络 上的图像检索为核心，基于内容的图像检索已经深入到人们生活的各方各面，并 以教育培训、学术研究、企业合作解决方案等各种形式迅速的发展起来。如何管 理、存储和检索海量的图像数据成为近1 0 年来全球学术界和工业界的研究热点。 图像检索就是要从大量的图像数据中找到用户所感兴趣的图像。传统的基于 内容的图像检索技术提取图像的视觉特征并用其来表征一幅图像的内容，通过特 征的相似性匹配和相关反馈技术，方便系统自动地检索到所需的图像。c b 瓜将 图像特征描述方法从主观的手工标注方式转化为提取图像自身的底层特征，如颜 色、纹理、形状等，完成了特征提取从主观性到客观性的转变，提高了检索结果 的语义贴合性。然而，图像数据作为最有效的一种交流媒介，具有数据类型复杂， 数据量大，以及非结构性和内容解释多义性的特点，同时，在一个检索系统中， 人的因素是一个最应受到关注的点，如何捕获用户的感兴趣点，满足不同用户特 殊的检索需求，并在最终的检索结果中呈现出来，是图像检索中一个更具挑战性 也更有具深远意义的研究点。 基于i 的i 的图像检索将检索的关注点从图像全貌聚焦到了最能引起用户兴 趣、最能表现图像内容的关键区域，即：r o i ；在获取r o i 的基础上，提取区域 的特征描述图像，然后基于区域特征进行检索。这种基于r o i 的图像检索方法 区分了区域的重要程度，突出了图像的主要内容，同时在检索的过程中，运用相 关反馈技术，通过多次反复的人机交互，进一步细化检索需求，可以更好的捕捉 用户的感兴趣点，从而更好的满足用户特定的检索需求，获得更符合人类视觉感 知的图像检索结果。因此，基于r o i 的图像检索成为c b r 研究中更具有挑战性， 也是更符合人类视觉感知特性的新方法。 在一个基于r o i 的图像检索系统中，感兴趣区域的自动分割、区域特征描 述和相似性匹配算法的设计直接决定了整个检索系统的效率和性能。特别是针对 北京t 业大学t 学硕七学位论文 本文的研究对象文化遗产古建筑图像，由于其背景复杂、细节繁复，如何更 精确的提取和描述古建筑体，并制定适用于文化遗产古建筑区域特征的相似性匹 配算法，是本文研究的重点，也是难点，这些算法的研究具有重要理论价值和广 阔应用前景。 本课题得到北京市自然科学基金重点项目和北京市留学回国人员基金项目： “北京文化遗产的数字化保护、存档及检索的关键技术研究及应用系统建立 的 支持。该项目的开展对于以科技、人文为主题的2 0 0 8 北京奥运具有重要的意义， 同时对于宣传中国文化，推动北京的“2 4 8 重大示范工程，也具有重大意义。 1 2研究目标与内容 以实用性和终端用户的高体验度为目标，本文从整体出发，对基于r o i 的 文化遗产图像检索课题进行了深入研究，解决课题中的3 个关键技术：感兴趣区 域提取、图像特征描述和特征匹配算法设计：并在此基础上提出一整套解决算法 和方案，针对文化遗产古建筑图像的特点，建立一套基于b r o w s e s e n r e r 模式、 鲁棒性强、效率高的图像检索系统，使世界各地的人民通过i n t e m e t 网络可以方 便地浏览和观赏中国丰富的文化遗产图像信息，查阅对这些可视信息的解说，使 这些珍贵资料成为世界人民的共同财富。 在完成论文期间主要的研究内容包括以下几个部分： 感兴趣区域自动分割 图像分割技术是当前图像处理领域的一个研究热点，也是难点问题。特别 是对于本课题中应用的基于r o i 的图像检索策略，采用高效的图像分割算法可 以得到更精确的r o i 划分，从而保证了后续的图像处理步骤更精确、有效的进 行。因此，图像分割算法的设计是基于r o i 的图像检索算法中一个至关重要的 组成部分。传统的图像分割算法从实现方式上可以分为两类：基于边缘提取算 子的图像分割方法及基于区域的图像分割方法，这两类方法各有其优缺点。本 文在综合考虑性能和实用性的基础上，对图像前景、背景区域特点进行深入研 究，提出了一种基于信息突变的图像感兴趣区域自动分割算法。采用该算法可 以较精确的将图像的前景区域和背景相分离，确保了整个检索算法获得理想的 效果。 区域特征描述 图像特征描述和提取在图像检索系统中始终是最关键的一个技术。在检索 第1 审绪论 系统中，特征即是检索的条件，无论是在c b 瓜中，还是本文涉及的基于r o i 的图像检索中，特征提取的地位都不会动摇，始终是必不可少且是至关重要的。 传统的方法多是从图像的颜色、形状、纹理等底层特征入手，利用颜色直方图、 共生矩阵、形状不变矩等对图像进行分析，然后基于某一特征进行匹配。近年 来，信息熵被广泛应用于图像处理领域。信息熵既描述了图像颜色信息的统计 分布，又克服了直方图维数过高的问题，成为了图像处理特别是图像检索领域 的一个新的研究热点。本文从熵的数学特性入手，对图像信息熵进行了改进， 并将图像的空间位置关系引入图像特征表述中，提出了图像信息熵漂移的概念， 作为区域特征描述算子用于本文的基于r o i 的图像检索算法中。 相似性匹配算法 特征匹配是图像检索技术的一个重要的组成部分，在提取了区域特征的基 础上，是否能针对该特征的特点设计巧妙的匹配算法，对最终的检索效果起着 至关重要的作用。基于图像信息熵漂移的概念，本文提出了一种动态差值匹配 算法，将信息熵漂移矢量的相似性匹配问题转化为二元函数特征曲线匹配的问 题，曲线的变化趋势将被作为曲线匹配的特征，并借鉴语音处理中广泛应用的 模板匹配算法改点匹配为线段匹配。通过该算法，可以很好的解决图像整体亮 度改变、尺寸变换、平移等情况下出现的误检、错检等问题。 基于r o i 的图像检索系统的设计实现 本文在算法研究的基础上，针对文化遗产古建筑图像的特点，从基于r o i 的图像检索策略入手，设计并实现了一套实用的图像检索系统。其中，基于r o i 的检索通过智能化交互接口的设计得以实现。同时，面对不断改变的需求及将 来可以预见和无法预见的新的应用，本文在系统结构设计中留出了扩展接口。 如何保证结构设计的良好的扩展性和可维护性也是本论文研究的重点之一。 1 3论文的安排 本论文的结构安排如下： 第l 章为绪论，概述了课题的提出，研究内容和目标，国内外发展现状以及 论文的安排。 第2 章介绍图像检索的相关技术和发展概况，在此基础上引出了基于r o i 的图像检索技术的概念，并详细介绍了其检索策略和所用到的关键技术及研究现 状。 北京t 业大学t 学硕十学位论文 第3 章对基于r o i 的图像检索技术的研究重点之一感兴趣区域自动分 割进行研究。在分析了现有图像分割技术的发展和关键技术的基础上，提出 了一种新的基于信息突变的图像感兴趣区域自动分割算法。该算法不仅能较精确 的提取出文化遗产古建筑，更在保证分割效果的同时尽可能的对分割区域进行简 化，便于后续的特征提取等步骤的实施，从而提高整个系统的效率。 第4 章对基于r o i 的图像检索技术的研究重点之一区域特征描述和提 取方法进行研究。在分析了现有的图像特征描述方法的基础上，定义了一种 新的“图像信息熵漂移”的概念，利用信息熵漂移矢量模拟图像空间信息改变， 将图像的空间信息分布与颜色统计特征描述相结合，唯一表示一幅图像。 第5 章对基于r o i 的图像检索技术的研究重点之一特征匹配方法一 进行研究，提出了一种新的动态差值匹配算法。该算法将信息熵漂移矢量的相似 性匹配问题转化为二元函数特征曲线匹配的问题，曲线的变化趋势将被作为曲线 匹配的特征，并借鉴语音处理中广泛应用的模板匹配算法对曲线进行动态匹配。 第6 章对基于r o i 的文化遗产图像检索系统的结构进行了设计和实现。从 系统需求出发，讨论了j a v a 体系结构下的系统实现方案。 结论部分是本文的结论及工作展望，总结了研究生期间完成的工作，以及对 今后工作的进一步展望。 之后是硕士期间参加的科研项目、发表的学术论文、申请的发明专利和软件 著作权，最后是参考文献和致谢。 第2 章图像检索技术及发展状况 第2 章图像检索技术及发展状况 基于内容的图像检索是利用图像内容实现图像检索的一项综合性技术，是指 根据图像内容特征( 如图像的颜色、形状、纹理等) 以及特征组合，通过特征匹 配，从图像库中检索到含有相似内容的图像。本章以基于内容的图像检索的发展 历程为主线，对其涉及到的一些基本概念和理论、关键技术，包括图像特征描述 和提取、特征匹配等进行介绍。并在此基础上引出基于r o i 的图像检索技术， 对其检索策略、涉及到的关键技术等进行详细的分析和阐述。 2 1基于内容的图像检索技术 2 1 1基于内容的图像检索的提出 早在7 0 年代，人们就开始了图像检索技术的研究，实现了基于文本方式的 图像检索。其典型框架为：先对图像内容进行文本标注，用文本描述图像的语义， 然后在这些图像文本标注基础上应用成熟的文本搜索算法，为用户搜索预期的图 像。设计此种基于关键词或文本描述的图像检索系统相对简单易行。并且由于这 种搜索引擎可以利用成熟的关系数据库技术，所以检索比较准确，而且速度很快。 此种技术可以用来管理数量不多但比较有价值的图片库。然而，随着图像数据库 规模的增大( 例如，数十万以上) ，基于关键词或文本标注的图像检索存在的问 题【l 】就突显出来了。 首先，人工对图像进行标注太费时费力。 其次，人工标注具有主观性和不确定性。例如，对于同一幅图像，不同的人 给出的标注可能完全不同，这使得准确地响应用户的查询非常困难。 另外，图像不同于文字信息，其内容本身不能直接进行排序，不能直接进行 准确比较，具有难以用符号描述的视觉特征信息，如图像内容的空间关系、图像 颜色、纹理、形状等是难以用准确的词汇描述的。鉴于上述因素，专家学者提出 了一种新的图像检索技术基于图像自身内容的检索。 2 1 2基于内容的图像检索的原理与技术 c b 取不需要用户的参与，而利用图像自身的特征，如颜色、纹理、形状等 北京t 业大学t 学硕七学位论文 特征来进行检索，具有较强的客观性【2 3 j 。通常，可以抽取图像库中所有图像的 特征( 主要是图像的低层视觉特征，如颜色、纹理、形状等) ，用户检索的过程 一般是提供一个样例图像，系统抽取该样例图像的相应特征，然后同数据库中被 检索对象所有的特征进行比较，并将与样例特征相似的图像返回给用户，这个过 程称之为基于内容的图像检索。 基于内容的图像检索研究是一个综合的研究领域，它从图像处理、计算机视 觉、模式识别以及数据库等研究领域借鉴了很多方法。它强调如何方便快速地从 大规模的数据库中检索出满足特定要求的相似图像，其关键技术应主要围绕如下 两个核心问题展开： 1 ) 图像内容的表示问题，即以什么样的方式来表示图像内容。图像内容的 表示通过图像特征的提取完成。图像特征的提取与图像分析是密不可分 的，它研究如何通过各种图像分析方法将数字图像( 象素数组) 转换成 若干可表示的数字符或者文本特征，然后，使用这些特征来刻划图像的 内容。一般来说，这些特征的提取最好是计算机自动完成。 2 ) 图像特征的相似性匹配问题，即以什么样的方式来表示这些图像之间的 相似性，以及如何快速有效的计算这种相似性。图像经过特征提取后， 所获得的特征就可以作为图像内容的表示，因此，图像间的相似性就转 换成了特征空间中的相似性问题。图像特征的匹配问题就是研究如何获 得图像特征间相似性的有效方式，而且，这种相似性还应该与人的视觉 感知具有较好的致性。即人眼认为比较相似的图像它们间的相似性就 应该大，反之则小。通常，特征间的相似性是通过距离来刻划的，而且， 它的计算策略可随外界的反馈信息进行动态调整。 与传统的文本检索系统相比，c b 取系统具有如下特点： 1 ) 以低层视觉特征为描述内容。c b r 通过分析图像的低层可视特征( 例 如，颜色、纹理、形状、空间关系等) ，并将其表示为特征向量的形式， 以利于图像的索引和检索。 2 ) 以基于视觉特征向量的相似性为度量准则。c b 瓜的目的是找出与用户 查询要求最相似的图像，并不要求精确匹配，因为也许给定的查询信息 本身就是不精确、不完全的，因此只要求检索系统能够按照相似性度量 准则返回那些可能满足要求的图像集合，并且按照相似度大小排序。 3 ) 以相关反馈为有效手段。当用户提供一幅查询样例图像，并要求找出与 第2 章图像柃索技术及发展状况 此相似的图像时，他她的意识中已经有了相似性判别标准。理想情况下， 系统的相似性度量应该与用户的判别一致，它涉及到人类视觉系统对图 像的认知和高层语义的解释。因此通过用户的相关反馈，检索系统学习 用户的意图和准则来指导图像检索过程，有效提高图像检索的效率。 2 1 3基于内容的图像检索的发展 基于内容的图像检索研究极大地推动了图像检索技术的发展，因为它通过直 接分析图像内容获得图像的视觉特征。随着图像检索技术的不断发展和深入，各 种新的图像检索技术和理论层出不穷。这些方法多是从图像特征描述以及特征匹 配两方面入手，提出各种新的算法和理论。在图像特征描述方面，主要分成两类： 基于全局特征的方法和基于区域特征的方法。下面将分别对这两类方法进行简单 的介绍。 2 1 3 1 基于全局特征的方法 基于全局特征的方法是图像处理领域早期的主流方法，其主要思想是把图像 表示成一个d 维的特征向量，这样就把图像映射到d 维空间的一个点，度量图像 的相似问题就转化为度量d 维空间中点的距离问题。 1 9 9 1 年，s w a i n 等提出了全局颜色直方图的方法，成为图像检索领域里的经 典算法【4 1 。后来，学术界又陆续提出了主色、颜色集等其它方法。这些特征表示 方法多是从图像的颜色特征入手，探讨全局颜色信息的各类表征算子，对图像的 颜色信息进行描述，具有计算简单，对平移、旋转鲁棒性强的优点。但从另一方 面而言，由于这类全局特征无法捕捉图像颜色组成的空间关系，无法表示图像的 纹理、形状、位置等的信息，而实际上，颜色信息的不同组合和分布极大的影响 着人类对图像语义的判断，颜色成份相似的两张图像可能有完全不同的内容和语 义特征。 为了克服以上缺点，一些学者开始尝试将图像的空间位置信息引入特征描述 中，对图像的颜色分布等进行位置、布局索引等。这类方法统称为基于区域特征 的检索方法。 北京t 、大学t 学硕十学位论文 2 1 3 2 基于区域特征的方法 基于图像区域特征的方法本质上是基于全局特征的方法的扩展。它通过各种 变换对图像进行下采样，把图像用较低的分辨率表示出来。即：最低分辨率是把 整幅图像作为一块，提取全局特征；而最高分辨率就是图像本身，分块的大小是 一个像素。其基本做法为：人为的或通过颜色聚类等图像处理方法将图像划分为 适当的分块，然后基于每个分块提取局部颜色特征，块之间的差异反映了图像布 局匕的差异。 s t r i c k e r 和d i m a i 认为图像中最有意义的区域位于图像的中心【6 1 。他们把图 像划分为5 个模糊的区域，中心为一个椭圆形区域，将椭圆外的区域进行一定的 模糊化，以保证图像的颜色信息对小的平移和旋转不敏感，然后再对各个区域的 各颜色分量的前三阶矩进行统计。这种方法保留了图像颜色的一部分空间信息， 只对图像的微小旋转有不变性。h s u 和c h u a 试图结合图像的颜色和部分空间信 息对颜色的直方图进行检索【7 1 。其主要思想是按照某种方法为整幅图像提取几种 主色，然后将图像划分为一定的矩形区域，并确定个分块属于主色中的哪种。两 幅图像之间的相似度是两幅图像之间具有相似颜色区域的重叠程度。w a i ，r u s 系统用滑动的大小可变的窗口选取图像的子块，对子块做h a a r 小波变换并从低 频分量中提取子块的特征，然后把相似的子块聚类为区域。这种方法的优点是对 图像的平移和旋转不敏感。但这个优点是以计算量为代价的。c o n g 从人的颜色 感知角度出发，用n b s 距离衡量h v c 颜色空间中颜色的差异，把图像的像素聚 类为5 1 5 个相似的颜色块。 基于区域特征的方法实际上是在低分辨率上将图像表示为块，块之间的差异 反映了图像布局上的差异。这类系统还包括u c 的m a r s 系统【8 1 、麻省大学的 f o c u s 系统【9 1 、波士顿大学的h n a g e r o v e r 系统【1 0 1 等。 2 1 4国内外已开发的图像检索系统简介 q b i c 系统 m ma l m a d e n 研究中心研究开发的q b i c 系统是第一个商用的基于内容的 图像检索系统，也是基于内容检索系统的典型代表。q b i c 系统允许使用例子图 像、用户构建的草图和图画、选择的颜色和纹理模式、镜头和目标运动和其它图 形信息等，对大型图像及视频数据库进行查询【熨。 p h o t o b o o k 系统 第2 章图像柃索技术及发襞状况 该系统是m i t 的媒体实验室在1 9 9 4 年开发研制的。图像在装入时按人脸、 形状或纹理特性自动分类，图像根据类别通过语义特征压缩编码。 c o i 也系统 新加坡国立大学开发的一个基于内容的检索机。其技术特色包括：多种特征 提取方法、多种基于内容检索方法、使用自组织神经网络对复杂特征度量、建立 基于内容索引的新方法以及对多媒体信息进行模糊检索的新技术。 v i s u a l s e e k 系统 美国哥伦比亚大学图像和高级电视实验室开发的。它实现了互联网上的“基 于内容”的图像视频检索系统，提供了一套工具供人们在w e b 上搜索和检索图 像和视频。 近年来，国内在基于内容的图像检索方面也得到了很大的发展。例如，浙江 大学计算机系研究的基于图像颜色的检索系统和基于图像形状的检索系统、清华 大学的k t e m e t 上静态图像的基于内容的检索的原型系统，中国科学院计算机技 术研究正在研究的多媒体信息检索系统，可以在h l t e m e t 上按内容对图像影像信 息或文本信息进行检索。 2 2基于感兴趣区域的图像检索技术 图像含有大量的冗余信息，图像检索的目的就是滤除不必要的冗余信息，用 最有效的方式提炼必要信息来表达图像内容，提高检索效率。一幅蓝天红色花朵 图像和一幅蓝天红色太阳的图像在图像底层特征的层次甚至是基于区域的特征 上都是十分相近的，但实际上在图像语义的层次上有很大差别。因此，如何建立 起图像底层特征与实际语义特征的对应关系一直是当前图像检索领域的一个研 究热点。 就用户的检索需求而言，对于一幅信息丰富的图像，用户的关注点往往聚焦 于某一区域或某一物体，例如针对文化遗产古建筑图像，用户的检索重点实际为 图像中的塔、碑、殿等，而与背景中的树木、蓝天、草丛无关，因此，实际检索 中，可以从每幅图像自身的特征出发，首先将潜在的用户感兴趣区域从背景中分 割出来，然后基于该感兴趣区域进行特征提取和匹配，这种先分割再匹配的方法 在语义层面更进一步，增强了系统的对象描述性和用户要求的感知能力。这种方 法就是近年来一些学者提出的基于r o i 的图像检索技术。 北京t 业大学丁学硕十学位论文 2 2 1基于感兴趣区域的图像检索策略 感兴趣区域是指图像中最能引起用户兴趣、最能表现图像内容的区域。r o i 的概念最早是在机器人领域提出的，用来进行物体识别。这种基于r o i 的图像检 索策略区分了图像不同区域的重要程度，在一定程度上消除了图像冗余信息，以 图像的主要区域代表整幅图像匹配，也提高了检索效率。根据基于r o i 的图像检 索技术先分割再匹配的特点，其检索策略包含以下几步。 1 ) 首先，通过用户交互接口，由用户提交一幅样例图像。该图像可以是数 据库内的一幅图像，也可以是任意一幅图像。 2 ) 采用图像分割算法对图像进行预分割，将一幅图像分割为若干区域，作 为备选方案反馈给用户，由用户在若干备选区域中选中一块或多块区域 的组合作为用户感兴趣区域。 3 ) 根据用户选定的感兴趣区域，基于区域提取特征。 4 ) 利用相似性匹配算法将感兴趣区域的特征与数据库图像存储的特征进 行比对，返回检索结果。 2 2 2基于感兴趣区域的图像检索的关键技术分析 根据基于r o i 的图像检索策略的关键步骤，其关键技术包含以下3 方面：感 兴趣区域的提取、区域特征描述和提取以及特征匹配算法设计。 感兴趣区域提取 基于r o i 的图像检索技术的核心概念就是图像的r o i ，所有的特征提取、 匹配等技术的运用都是以r o i 为核心展开的，因此，r o i 的提取技术是基于 r o i 的图像检索的基础，占有重要的地位。 根据人类的关注程度上，一幅图像可以粗略的划分为前景和背景区域。 其中前景区域代表人类关注度较高的区域，即：比较感兴趣的区域。这种粗 略划分的方法适用于简单背景图像，应用传统的阈值分割、大津算法等可以 得到较满意的划分结果。但对于背景细节丰富的文化遗产古建筑图像，这种 粗略划分的方法就显得过于草率，且分割效果较差。目前的图像分割算法基 本可分成两大类：基于边界检测的方法和基于区域的方法。基于边界检测的 方法利用图像区域间的边缘进行分割，为了获取边缘信息，人们一般首先使 第2 章图像检索技术及发展状况 用s o b e l ，l 印l a c i a n ，c a i l l l y 等算子进行边缘检测h ，获得一系列边缘点，然 后依照一定的策略将这些点连接成轮廓，而封闭曲线所包含的像素的集合即 定义为一个区域。而基于区域的方法则基于形态学理论，利用像素间的邻接 和相似性进行区域生长和区域合并，将像素分配到不同的区域中，而相似的 像素集合即组成一个区域。这两类分割算法最后都会将图像分割成若干区 域，且这些区域都是任意形状的。 对于文化遗产古建筑类图像，由于其背景复杂、建筑物所含细节也较丰 富，若采用上述方法，当阈值设定过低，将会导致建筑物本身被分割为若干 区域的分割过细的问题；而当阈值设定过高，又会使建筑物本身与背景混杂 在一起，影响r o i 的提取效果。另外，对于r o i ，要求提取的特征描述符应 具有平移不变性、旋转不变性、尺度不变性等特点，而对于任意形状区域， 在形状特征描述算子方面，除了1 9 6 2 年由美籍华人学者胡贵明提出的不变 矩、在频域进行的傅立叶形状符等外，还没有其它非常有效的描述方法。根 据形状不变矩的定义，其在具体的实施过程中，尤其是在本文所涉及的古建 筑类图像方面，仍有一定的困难。因此，本文在r o i 提取方面的研究重点是 尽量简化图像分割算法，争取在分割算法的高效和图像的语义贴合度上达到 一个较好的平衡。 特征描述和提取 在r o i 提取的基础上，如何准确表征区域特征，唯一表示一个区域是基 于r o i 的图像检索技术的另一个研究重点。目前，特征描述主要从颜色、形 状和纹理3 方面进行。由于这些特征不需要有关领域的特殊知识或上下文的 信息，是目前广为采用的图像检索特征。其中，颜色、纹理特征提取的研究 起步较早，取得了一定的研究成果，有关形状特征提取的技术还不太成熟。 在图像检索中，颜色是图像非常重要的视觉特征。相对于几何特征而言， 颜色具有一定的稳定性，其对大小、方向都不敏感。因而利用颜色特征进行 图像检索的技术受到重视，并最早得到应用。一般采用直方图来描述图像的 颜色特征。计算每幅图像的颜色直方图，即每一种颜色在图像像素点中的比 例，作为图像的特征矢量加以保存。1 9 9 1 年，mls w a i n 和dhb a l l 砌发 表了颜色索引( c 0 1 0 ri n d e x i n g ) 一文h 1 ，使用颜色直方图求交进行图像颜色相 似性计算，迈出了基于内容检索的第一步。颜色特征一般应用于色彩较为丰 富的图景的图像检索中。 纹理作为物体的一个重要而又难以描述的特征，也是基于内容检索的一 北京t 业大学t 学硕十学位论文 条重要线索。基于纹理的特征提取在区分有相似颜色区域时是非常有用的 ( 比如天空和海洋，树叶和草地) 。各种各样的技术已经被用来计算纹理的 相似性，常用的纹理分析方法是统计方法，如基于共生矩阵的纹理分析，基 于马尔可夫随机场的纹理分析，基于小波变换的纹理分析方法等。由于纹理 分析方法千差万别，因此对不同的应用领域设计不同的纹理分析方法提取其 特征。应用纹理作为检索的特征，一般应用于图像的内容较为丰富，物体和 背景不易分割的情况。 形状特征也是人类视觉系统进行物体识别时所识别的关键信息之一。图 像的形状信息不随图像颜色等特征的变化而变化，是物体稳定的特征。特别 是对于图形来说，形状是它唯一重要的特征。基于图像内物体形状特征的检 索是基于内容检索中一个最具挑战性的问题之一，因为寻找符合人眼感知特 性的形状特征不是一件简单的工作。首要的困难是要将不同物体从图像中分 割出来，这是计算机视觉的困难问题之一，至今没有很好的解决。 特征匹配算法 图像检索的本质在于比对待检索图像与库中图像的视觉相似程度，并以 量化度量结果返回一个按相似程度排序的结果集。作为图像检索中一项非常 重要的技术，相似性度量方法的设计基本原理为：将图像的视觉特征以向量 形式表达，即将其映射为向量空间中的点，则视觉特征的相似性度量问题就 转化为向量空间中点的距离问题。目前比较常用的相似性测度包括： m i i l l 【o w s l 【i 测度、直方图相交距离、二次式距离等，这些测度可以应用于各 类特征描述子的相似性度量，通用性较好。 但从本质上讲，一个好的特征匹配方法应该是针对于某种相应的特征描 述子而设计的。这样，该相似性测度才能抓住该种特征的特点，并在特征匹 配过程中达到最好的效果。 2 3本章小结 本章从基于内容的图像检索技术入手，在详细介绍了c b 瓜的提出、原理及 技术、发展以及国内外已开发的图像检索系统简介的基础上，引出基于r o i 的 图像检索技术的概念，并对其检索策略和关键技术进行了简要的分析。到目前为 止，基于r o i 的图像检索技术的相关技术仍然蓬勃发展。后续的章节将详细介 绍本文对适用于文化遗产古建筑图像的基于r o i 图像检索技术的各关键技术的 研究过程和结果。 第3 章基于信息突变的图像感兴趣区域分割算法 第3 章基于信息突变的图像感兴趣区域分割算法 前一章从整体上介绍了图像检索的相关技术，并引出了基于r o i 的图像检 索的概念及其关键技术简介。本章将对基于r o i 的图像检索算法中的关键技术 之一感兴趣区域提取技术进行深入探讨和研究，并且根据文化遗产古建 筑图像的特点选择适合于本系统特点的图像分割算法。由上一章的介绍中可以知 道，分割算法的设计不仅要适合图像本身的特征，还要在取得良好效果的基础上 兼顾效率。因此，算法的选择和应用是一种效果与效率的折中，在能达到较好效 果的前提下要尽可能提高效率。 3 1 图像分割技术的发展和关键技术 图像分割是指将一幅图像分解为互不交叠区域的过程，其目的是把图像空间 分成一些有意义的区域。作为一种重要的图像技术，图像分割在理论研究和实际 应用中都得到了人们的广泛重视。图像分割的方法和种类有很多，有些分割运算 可直接应用于任何图像，而另一些只能适用于特殊类别的图像。值得提出的是， 没有唯一的标准的分割方法。许多不同种类的图像或景物都可作为待分割的图像 数据，不同类型的图像，已经有相对应的分割方法对其分割，同时，某些分割方 法也只是适合于某些特殊类型的图像分割。分割结果的好坏需要根据具体的场合 及要求衡量。图像分割是基于r o i 的图像检索技术的关键步骤之一，可以说， 图像分割结果的好坏直接影响对图像的理解以及检索的精确性。目前的图像分割 算法基本可分成两大类：基于边界检测的方法和基于区域的方法，下面将分别进 行简要介绍。 3 1 1基于边界检测的图像分割方法分析 基于边界检测的方法利用图像区域问的边缘进行分割，为了获取边缘信息， 一般首先使用边缘检测算子进行边缘检测，获得一系列边缘点，然后依照一定的 策略将这些点连接成轮廓，而封闭曲线所包含的像素的集合即定义为一个区域。 其中，边缘检测算子的基本原理为基于方向导数掩模求卷积的方法，得到横 向纵向的梯度图像和模值图像，然后根据梯度方向来进行模的极大值提取，获得 北京t 业大学t 学硕士学位论文 需要的物体边缘。它是对目标轮廓线或边界的检出。常用的有r o b e n s 算子、 p r e w i t t 算子、s o b e l 算子和l a p l a c i a l l 算子【1 l 】。在实际应用中，由于光照、随机 噪声等的影响，往往会使图像模糊或出现孤立的边缘点，即使采用边缘闭合的方 法进行处理，也很难得到精确的区域边缘，而前面的几种方法在不同程度上都存 在着对噪声敏感的缺点。尤其是l a p l a c i a l l 算子对噪声最为敏感，因为它采用了 二阶导数，通常需要将图像先经过平滑处理。p r e w i t t 算子对噪声虽然有抑制作 用，但由于p r e w i t t 算子并不是各向同性的，所以它提取的边缘并不是完全连通 的，有一定程度的断开，它的定位效果不如r o b e n s 好。相对来说，用s o b e l 算 子进行边缘检测得到的图像效果较好，因为s o b e l 算子提供了精确的边缘方向估 计。但是，应用s o b e l 算子得到的边缘图像存在着不连续、定位精度低、对噪声 敏感、以及边缘是多像素点的问题。c 锄y 算子是目前公认的一类具有优良性能 的边缘检测算子，但其算法复杂度较高，运算时间长，不太适用于实时检索系统 中，因为在面向用户实时检索系统中，系统反馈时间是衡量系统性能的一项非常 重要的指标。 3 1 2基于区域的图像分割方法分析 基于区域的方法基于形态学理论，利用像素间的邻接和相似性进行区域生长 和区域合并，将像素分配到不同的区域中，而相似的像素集合即组成的一个区域。 基于区域的图像分割方法可分为两大类：基于图像颜色信息的方法及基