（机械设计及理论专业论文）最大稳定极值区域在图像检索领域的应用研究.pdf

人连理工人学硕士学位论文 摘要 随着互联网的发展，图像、视频数据迅速膨胀，如何有效地检索所需要的数据信息 己成为图像处理领域的一个研究热点。传统的基于文本的图像检索技术因其人工标注的 耗时性以及检索匹配的误差已不能满足当前海量资源的检索需求。为了便于图像的检索 和识别，基于内容的图像检索技术应运而生。 基于内容的图像检索技术的关键在于图像特征的提取与描述。该文在比较多种仿射 不变性区域的基础上，选取最大稳定极值区域对图像内容进行分割和提取。该文总结了 最大稳定极值区域的定义、性质，然后归纳出一种高效实用的检测方法，使得特征提取 时间复杂度接近线性。 借鉴文本检索的思想，该文提出了基于目标区域的图像检索方法。首先从图像中提 取最大稳定极值区域，并利用熵值过滤方法去除含信息量较少的冗余区域，然后通过 s i f t 描述子对区域进行向量表述；利用改进的k 均值算法对特征向量进行聚类，由聚 类中心构造视觉关键词表；进而把图像看成是由视觉关键词组成的文档，通过倒排文档 的思想进行相似性度量实现基于全图的图像检索；通过对目标区域内视觉关键词的类属 和词频进行统计，利用投票得分的方式实现基于目标区域的图像检索。为了去除误配以 提高图像检索精度，该文还对视觉关键词之间的空间约束关系进行研究，利用视觉关键 词的空间一致性对检索结果进行重排序，大大提高了检索的准确率。 该文最后通过对图像检索技术进行推广，实现了基于最大稳定极值区域的视频拷贝 检测：首先利用颜色直方图进行视频镜头分割并提取关键帧，然后利用最大稳定极值区 域对关键帧进行匹配，最后通过时序投票方法检索定位视频片段的查询结果。 该文建立了基于最大稳定极值区域的图像检索系统和视频拷贝检测系统，并利用 t r e c v i d 数据集进行测试。实验证明，最大稳定极值区域是一种性能优异的仿射不变 性特征，以其作为底层特征的图像、视频检索系统能取得较高的查全率和查准率。 关键词：仿射不变性区域；最大稳定极值区域；视觉关键词；图像检索；拷贝检测 最火稳定极值区域在图像检索领域的应片j 研究 t h e a p p l i c a t i o nr e s e a r c ho nm a x i m a l l ys t a b l ee x t r e m a lr e g i o ni nt h e f i e l do fi m a g er e t r i e v a l a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e m e t ，l o t so fi m a g e sa n dv i d e o sa r eb e i n gp r o d u c e dq u i c k l y h o wt or e t r i e v et h ei n f o r m a t i o nw en e e dh a sb e c o m ear e s e a r c hf o c u si nt h ef i e l do fi m a g e p r o c e s s i n g t r a d i t i o n a li m a g er e t r i e v a lt e c h n o l o g yc a n ts a t i s f yt h ec u r r e n tr e q u i r e m e n ta n y m o r e ，b e c a u s ei tn e e d sag r e a td e a lo fm a n u a lw o r kt ol a b e lt h ed a t aa n dh a sal o wp r e c i s i o n t h e r e f o r e ，c o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) h a sb e c o m em o r ea n dm o r ei m p o r t a n tt o r e t r i e v ea n dr e c o g n i z et h ei n f o r m a t i o n t h ek e yp o i n to fc b i ri sh o wt oe x t r a c ta n dd e s c r i b ef e a t u r e sf r o ma ni m a g e t h i sp a p e r c h o o s e sm a x i m a l l ys t a b l ee x t r e m a lr e g i o n ( m s e r ) t os e g m e n ta n de x t r a c ti m a g ec o n t e n t ， a f t e rc o m p a r i n gs o m ea f f i n ei n v a r i a n tr e g i o n s t h ep a p e rs u m m a r i z e st h ed e f i n i t i o na n d p r o p e r t i e so fm s e r , a n dt h e np r e s e n t sh o w t od e t e c tt h er e g i o nu s i n ga ne f f e c t i v ea l g o r i t h m i nq u a s i l i n e a rt i m e t h i sp a p e rp r o p o s e sa ni m a g er e t r i e v a lm e t h o db a s e do no b j e c tr e g i o nu s i n gat e x t r e t r i e v a la p p r o a c h f i r s t ，i te x t r a c t sm s e r sf r o mt h ei m a g e si nt h ed a t a b a s e ，a n dt h e nu s e s l o c a le n t r o p yt of i l t r a t et h er e d u n d a n tr e g i o n sw h i c hh a v el i t t l ei n f o r m a t i o n a f t e ru s i n gs i f t t od e s c r i b et h er e g i o n ，a ni m p r o v e dk - m e a n sa l g o r i t h mh a sb e e nu s e dt oq u a n t i z et h e d e s c r i p t o r s v i s u a lv o c a b u l a r yi sf o r m e db yt h ec l u s t e rc e n t e r s t h ep a p e rr e g a r d sa ni m a g ea s ad o c u m e n tw h i c hc o n t a i n ss o m ev i s u a lk e y w o r d s ，a n dt h e nr e a l i z e sa ni m a g er e t r i e v a l m e t h o db a s e do ng l o b a lf e a t u r e su s i n gi n v e r t e df i l es y s t e m sa n dd o c u m e n tr a n k i n g s b e s i d e s ， t h ep a p e rd e m o n s t r a t e sa ni m a g er e t r i e v a lt e c h n o l o g yb a s e do no b j e c tr e g i o nu s i n ga n e f f e c t i v ev o t i n gf u n c t i o n t of u r t h e ri m p r o v eq u e r yp e r f o r m a n c e ，t h ep a p e ra d d sa ne f f i c i e n t s p a t i a lv e r i f i c a t i o ns t a g et or e - r a n kt h eo r i g i n a lr e s u l t s ，w h i c hg r e a t l ye n h a n c e st h er e t r i e v a l p r e c i s i o n i na d d i t i o n ，t h ep a p e ri n t r o d u c e san o v e lv i d e oc o p yd e t e c t i o nt e c h n o l o g yu s i n gm s e r ， w h i c hr e g a r d sv i d e oa sas e r i e so fc o n s i s t e n tk e yf r a m e sa n du s e si m a g er e t r i e v a lm e t h o d st o r e a l i z ev i d e os e a r c h i tu s e sg r a yh i s t o g r a mt od e t e c ts h o tb o u n d a r ya n de x t r a c tk e yf l a m e s a f t e rm a t c h i n gt h ek e yf r a m e s ，i tu s e sa l le f f e c t i v et e m p o r a lv o t i n gf u n c t i o nt oo r g a n i z et h e c o r r e c tc a n d i d a t ef r a m e sa n dd e l e t et h ew r o n go n e s a f t e rs o r t i n gb yt h es i m i l a r i t ys c o r e ，t h e v i d e oc o p i e sc a nb ed e t e c t e d 大连理t 人学硕+ 学位论文 t h i sp a p e rh a sb u i l ta l li m a g er e t r i e v a ls y s t e ma n dav i d e oc o p yd e t e c t i o ns y s t e m a f t e ra s e r i e so fe x p e r i m e n t su s i n gt r e v i dd a t a , i td e m o n s t r a t e st h a tm s e ri sa n e x c e l l e n ta f f i n e i n v a r i a n td e t e c t o r ，a n dt h er e t r i e v a ls y s t e mu s i n gm s e rc a ng e tah i g hr e c a l la n dp r e c i s i o n s c 0 r e k e yw o r d s ：a f f i n ei n v a r i a n tr e g i o n ：m a x i m a l l ys t a b l ee x t r e m a lr e g i o n ；v i s u a lk e y w o r d ； i m a g er e t r i e v a l ：c o p yd e t e c t i o n 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：量太稳定拯焦区速查图堡捡塞堡堡鲍廑周狃究 作者签名： 篡生耸 日期：圣翌墅年竺月竖日 大连理1 ：人学硕+ 研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：量太整定拯鱼匡垫查图像拴塞复垫鲍廑用盈窒 作者签名： 是盏链日期：垄丝年堡月日 导师签名： 望臣苤至 日期：竺垒年生月j 乙日 人连理t 大学硕士学位论文 1 绪论 计算机技术和网络通讯技术的飞速发展，使得数字图像等多媒体数据的规模迅速膨 胀，给用户带来了极大的方便，但也给查找所需信息的过程增加了难度。最初的信息索 引和检索都是通过人工完成的，后来借助于计算机，出现了各种使用文本信息的搜索引 擎。但是与文本信息不同，图像数据是二维的非结构化数据，不是由带有语义的独立单 元组成，必须由计算机进行处理分析才能得到图像的语义信息。传统的基于文本的图像 检索技术因其人工标注的耗时性以及检索匹配的误差已不能满足当前海量资源的检索 需求。因此，如何将数字图像处理、模式识别技术、计算机视觉技术与数据库技术结合 起来，建立基于内容的描述和检索机制已成为一个研究热点。基于内容的图像检索借助 对视觉媒体从底层到高层进行处理、分析和理解的过程获取内容并根据内容进行检索， 是一种实用性很强的技术，有着广阔的应用前景，具有很重要的应用价值【1 1 。 1 1 论文的研究背景 2 0 世纪7 0 年代，图像检索的研究主要依靠文本索引技术，即基于文本的图像检索 技术( t e x t - b a s e di m a g er e t r i e v a l ，简称t b i r ) t 2 1 ，查询操作是基于图像的文本描述。该 方法首先对图像添加关键词、文本标注以及一些附加描述信息，然后借助文本检索的方 法，利用关键字对图像进行检索。t b i r 技术发展已经比较成熟，如p a g e r a n k 方法、 概率方法、位置方法、摘要方法、分类或聚类方法、词性标注法等：然而该方法对于图 像和视频这些视觉信息的检索却具有相当大的局限性，这由视觉信息自身的特点决定 的，它们与传统的文本、数值信息相比具有如下的特点【3 】： ( 1 ) 非结构化特性。图像和视频对象具有较强的非结构化特性，许多多媒体信息以 流的形式存在( 例如视频流) ，这种媒体想要得到它的信息，必须对它先进行结构化处理， 而这种结构化不能通过简单的抽象来完成，而需要相应的媒体分割和组织技术。 ( 2 ) 内容多义性和主观性。传统文本的每一个记录所包含的语义确定而且有限。而 图像视频等多媒体对象，具体内容往往对不同的用户、不同的应用具有不同的解释，即 具有多义性和主观性的特点，这样其内容就很难通过有限的文本信息来充分描述。对多 媒体对象的检索要求根据内容相似程度进行检索，即查找内容描述与检索要求最接近的 对象。 为了克服基于文本方法的局限性，2 0 世纪9 0 年代出现了基于内容的图像检索技术 ( c o n t e n t - b a s e di m a g er e t r i e v a l ，简称c b i r ) t 4 1 ，即对图像的内容，如颜色、纹理、形状 和空间关系等进行特征分析提取，进而利用这些信息进行检索的技术。基于内容的视觉 最大稳定极值区域在图像检索领域的应用研究 信息检索旨在对视觉信息提供强有力的描述，实现视觉信息的结构化，最终达到用户能 对视觉信息内容进行自由访问的目标。基于内容的图像检索查询时针对的是图像本身的 内容而不是标注的关键字，它需要从图像数据中提取出特定的信息线索，然后根据这些 线索在数据库中进行查找，检索出具有相似特征的图像数据。基于内容的图像检索区别 于传统的基于关键字的检索，它具有以下几个特点： ( 1 ) 直接从图像内容中提取特征来建立索引，突破了传统的基于文本检索的局限， 对图像进行分析和抽取特征，利用这些描述图像内容的特征来建立索引。 ( 2 采用相似性度量对图像库中的图像进行匹配，与常规数据库检索的精确匹配方 法有明显不同。 ( 3 ) 特征提取和索引建立可由计算机自动实现，避免了人工描述的主观性，也大大 减少了工作量。 ( 4 ) 具有很强的交互能力，整个检索过程是一个用户参与，逐步逼近和相关反馈的 过程。交互性增加了用户表达查询、评价查询结果和基于这些评价上进一步检索的能力。 基于内容的视频拷贝检测技术属于计算机视觉和多媒体内容分析领域，目前主要应 用在数字媒体的版权保护、商业视频的数据挖掘( 节目标题和广告检测) 、基于视频内 容的法律调查与取证、视频搜索与视频数据库中的去冗余、个人媒体库内容自动管理、 视频智能搜索和内容索引等方面。具有仿射不变性局部特征的提取是视频拷贝检测技术 的关键所在，如文献 5 】使用局部不变量作为视频摘要进行体育视频非法拷贝的鉴别。在 基于内容的拷贝检测和视频跟踪中，针对视频序列中局部特征行为轨迹进行标注的方法 有助于保证拷贝检测过程中的时域一致性和空域一致性【6 1 。 如何从由视频组成的海量数据库中高效、快速地检索出所需信息是当前许多应用领 域的重要问题。视频检索所用到的局部不变特征的提取，例如颜色、纹理、形状、轮廓、 空间关系、时间关系、图像的语义等等，是针对大型数据库视频检索的研究基础。这种 基于局部特征的视频检索方法的价值体现在：尽管在待检目标或场景内会存在视点、光 照变化以及部分遮挡等情况，但仍能对某段视频中的某个关键帧，或者某个关键帧中的 某个部分进行实时的、快速的检索。 1 2 基于内容图像检索技术的国内外研究现状 近年来，基于内容的图像检索是当前计算机视觉、图像数据库与知识挖掘等领域最 活跃的热点之一【7 】。每年都有相关的国际会议召开，如s p i e d 的s t o r a g ea n dr e t r i e v a lf o r i m a g ea n dv i d e od a t a b a s e ，a c mm u l t i m e d i a 等：国内外很多研究机构都在进行相关的研 大连理t 大学硕十学位论文 究工作，如i b m ，u i u c ，c m u 等，国内的主要研究单位有中科院计算技术研究所智能 信息处理实验室，中科院自动化所模式识别实验室，清华大学，上海交通大学等。 近年来随着i n t e r n e td a t a b a s e 技术的发展，基于内容的图像检索技术的应用前景变得 更为诱人。越来越多的研究人员对基于内容的图像检索系统进行了研究开发，目前在国 际上c b i r 技术已经取得了一些成果，一些c b i r 原型系统已经发布到i n t e m e t 上，这 些系统的框架和查询的处理过程很相近，只是采用的特征提取算法和搜索策略各异，检 索的效果也不尽相同。 1 2 1图像检索系统介绍 自2 0 世纪9 0 年代以来，人们对图像检索技术的研究重点转向基于内容的图像检索 技术，许多机构对基于内容的图像检索技术进行了深入的研究，并且成功地开发了许多 图像检索系统。所开发出的这些图像检索研究原型系统一般实现了图像的随机浏览功 能、按图像范例检索的功能、按草图检索的功能、文本检索的功能、按图像类别浏览的 功能等。 ( 1 ) i b m 公司的q b i c ( q u e r yb yi m a g ec o m e n t ) 【8 】 q b i c 是由i b m 公司著名的a l m a d e n 实验室于2 0 世纪9 0 年代开发的第一个商业化 的c b i r 系统。q b i c 提供了3 种属性的检索功能：颜色属性、形状属性和纹理属性， 它的检索效率非常高。q b i c 除了基于内容特征的检索，还辅助利用了文本查询的手段， 例如为旧金山现代艺术博物馆的每幅作品给予标准描述信息：作者、标题、日期、内容 描述等。它是目前应用最广的基于内容的图像检索系统，被旧金山现代艺术博物馆以及 法国文化部等机构采用。 ( 2 ) m i t 媒体实验室的p h o t o b o o k 9 】 p h o t o b o o k 系统是由m i t 媒体实验室开发的用于浏览和搜索图像的实验系统，是一 套早期的较为著名的c b i r 交互系统。该系统包括3 个子系统，分别用于提取形状、纹 理和面部特征，用户还可以在每个子部分按对应的特征进行查询。其扩展版本f o u r e y e s 突出了交互式语义查询及系统学习能力，并且还应用了相关反馈的技术，系统可以保留 用户的记录，使用一个代理设施来进行学习，通过分析选择出较好的匹配模式，以改进 功能。 ( 3 ) v i r a g e 公司的v i r a g e 1 0 1 v i r a g e 系统也是一个比较著名的商业图像检索系统。它支持基于颜色、颜色布局、 纹理和边缘特征的检索，支持上述四种原子检索的任意组合，每种属性可以赋予0 到1 0 的权值，用户可以根据他们自己的要求来调整这四个原子组合的权重。在结果显示矩阵 最大稳定极值区域在图像检索领域的应用研究 中可以选择查看3 ，6 ，9 ，1 2 ，1 5 或1 8 个简图。通过对四个属性权值进行调整，显示 出不同的检索结果。简图是根据相似度降序排列的，点击简图标题将得到该图像的一些 详细说明，包括v i r a g e 计算出的相似比。 ( 4 ) 哥伦比亚大学的v i g u a l s e e k 和w e b s e e k 【l u v i s u a l s e e k 是基于视觉特征的检索工具，w e b s e e k 是一种面向w w w 的文本或 图像搜索引攀。这两个检索系统都是由哥伦比亚大学开发的。它们的主要特点是采用了 图像区域之间空间关系和从压缩域中提取的视觉特征；系统所采用的视觉特征是利用颜 色集和基于小波变换的纹理特征。v i s u a l s e e k 同时支持基于视觉特征的查询和基于空 间关系的查询。w e b s e e k 包括三个主要模块：图像视频采集模块，主题分类和索引模 块，查找、浏览和检索模块。 ( 5 ) m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 【1 2 】 m a r s 由美国i l l i n o i s 大学开发，它与其他系统的不同之处在于用到了多领域的知 识，它是计算机视觉、数据库管理系统( d a t ab a s em a n a g es y s t e m ，d b m s ) 和信息检索 ( i n f o r m a t i o nr e t r i e v a l ，i r ) 多个领域交叉的结果。m a r s 的研究特点是d b m s 和瓜的结 合( 带r a n k e d 检索的精确匹配) 、索引和检索的结合( 即检索算法如何受益于内在的索引结 构) 、计算机与人的结合。m a r s 的焦点不在于找到单一的最佳特征表达，而是如何把 不同的视觉特性组织成为一个可以动态适应于不同应用和不同用户的有意义的检索机 制。m a r s 在图像检索中形式化地提出了相关反馈结构，并在检索的不同层次上结合了 该技术，包括查询矢量优化，自动匹配工具选择和自动特征适应。 ( 6 ) m i r e s 1 3 】 m i r e s 是中国科学院计算机技术研究所开发的一个多媒体信息检索系统。m i r e s 系统 是一个综合利用语义特征和低层可视特征的图像检索系统。它通过机器学习的方法提取 图像语义类别表示图像高层内容；低层特征则集成图像的颜色、纹理、边缘特征；m i r e s 还实现了基于核函数和s v m 的相关反馈算法，可以分别调整颜色、纹理、形状所占的 权值。m i r e s 系统对各种类别的图像都能进行有效的检索，可以在i n t e r n e t 上按内容对图 像影像信息或文本信息进行检索。 1 2 2 关键技术和难点问题 基于内容的图像检索技术的关键在于特征提取，是利用图像的颜色、形状、纹理、 轮廓、对象的空间关系等客观独立的存在于图像中的基本视觉特征作为图像的索引，计 算查询图像和目标图像的相似距离，按相似度匹配进行检索。综合国内外研究现状，可 人连理t 大学硕十学位论文 将基于内容的图像检索技术分为如下几种类型：基于颜色特征的检索、基于纹理特征的 检索、基于形状及区域的检索、基于空间约束关系的检索。 基于内容的图像检索系统一般由两个子系统构成：特征库生成子系统和图像查询子 系统。特征库生成子系统主要以离线的方式工作，主要功能是图像的预处理和特征提取。 图像预处理包括对入库前的图像进行的一系列处理，如图像压缩格式转换、彩色空间转 换、滤波、图像比例调整等。特征提取该子系统的核心模块，它主要完成图像视觉特征 的提取，包括图像的颜色、纹理、形状、区域特征等。图像查询子系统完成基于内容的 检索功能。 基于内容的图像检索一般过程为：首先通过特征库生成子系统生成图像特征及索引 结构，该步骤一般为脱机运行，工作量较大；然后用户通过用户查询接口进行参数设置， 包括显示图像的数目，用户感兴趣的图像特征以及一些阈值：在用户提交了检索请求( 范 例、图像区域) 后，检索系统完成图像的相似性匹配工作，并按照相似度的大小对候选 图像进行排序，最后通过用户界面反馈检索结果。图1 1 给出了一个典型的基于内容的 图像检索系统框架副1 1 。 、- ， 图1 1 基于内容的图像检索系统框架图 f i g 1 1 t h ef r a m e w o r ko fc o n t e n t - b a s e di m a g er e t r i e v a ls y s t e m 目前基于内容图像检索技术仍然主要集中在颜色、纹理、形状、轮廓等底层视觉特 征提取的基础上，但是由于图像特征描述和特征提取及相似性度量的复杂性，其技术仍 相当不成熟，理论上有许多问题有待解决。概括起来主要表现在以下几个方面： ( 1 ) 图像特征的有效提取。颜色特征是许多c b i r 系统的一个主要研究对象，但颜 色之间的相似性度量的定义和视觉上人对颜色的判定有一定的差距；如何精确地提取图 最大稳定极值区域在图像检索领域的应用研究 像的边界形状一直是困扰图像处理领域多年的难题，对于大批量图像数据而言，这个问 题将会显得更为突出。各种形状特征表达方法对形状信息的丢失非常严重，而且目前各 种形状度量方法仍不具有很好的形状区分能力，不能有效表达形状之间的相似性。 ( 2 ) 如何实现特征的相似性度量从定性到定量的转变，目前仍无很好的解决办法。 在图像多特征的相关反馈检索中，由于不同的特征其度量空间是不一样的，如何将这些 距离转变为图像之间的相似度并能准确地表示出人对图像之间的相似性认识是十分困 难。 ( 3 ) 由于检索对象和范围的多样性，基于内容检索的研究具有广泛的内容。目前基 于内容检索还要解决多种检索手段相结合的问题，以提高检索的效率。对于单一检索手 段，由于其约束条件不足，在返回目标图像的同时往往会返回大量其它也满足此检索要 求的图像。采用多个检索手段相结合的方法无疑可提供更多的约束从而使返回图像中目 标图像的比率得到提高，多特征如何有效进行融合是所要解决的问题。 ( 4 ) 目前大多数图像检索系统研究的都是针对一般图像检索，但是对于具体专业图 像( 如商标图像、人脸图像、医学图像、植物图像等等) 的检索则具有更加现实的应用价 值。这些专业图像具有专业知识，如何将这些专业知识应用到图像特征处理以及匹配中 以提高检索精度，这也是图像检索中的一个研究热点方向。 ( 5 ) 如何评价和衡量一个检索系统的优劣还没有一个统一的标准。目前基于内容检 索结果的评价方法采用的多是信息检索中的查全率和查准率方法，其方法还不太令人满 意，主要原因在于人对图像内容认知上的主观性使得很难定义一个客观的标准。 1 3 论文研究的意义和目的 目前，基于内容的图像检索算法大部分侧重于考虑图像的全局信息，忽略了图像的 目标和背景信息。虽然图像的全局统计特征，如全局颜色直方图、全局纹理直方图等， 在一定程度上符合用户的检索意图，在基于内容的图像检索系统中也获得了一定的应 用；然而在相当多的情况下，用户并不关心图像全局相似与否，而更多关注的是图像中 具有一定语义的目标区域。因此，如何在基于内容的基础上，针对用户感兴趣区域进行 检索成为一个极富挑战性的问题。 近些年来，国外对于图像仿射不变性区域的提取技术已获得了很大的突破，提出了 多种仿射不变性区域及其检测方法，并在宽基线立体匹配，全景图拼接，场景分类，大 规模图像库检索以及视频检索等领域中得到了广泛的应用。如何利用仿射不变性特征高 效、准确地进行图像、视频检索，建立基于目标区域的图像检索系统，使得检索更能满 大连理工大学硕十学位论文 足用户的需求，是本文研究的一个重点问题。 特征检测子主要包括角点检测子和区域检测子两种，对于角点检测子而言，特征点 只集中在图像的某些区域内，其上的信息含量较为单一，难以准确而全面的代表整幅图 像的内容；同时，特征点对大视角、大尺度改变以及光照、遮挡、噪声、复杂背景等情 况较为敏感，在这些情况下难以对特征点进行准确定位。从文献 1 4 的实验对比证明仿 射不变性区域更适合作为图像的底层特征，而且区域特征大大减少了信息的冗余。 本文在比较多种仿射不变性区域的基础上，选取最大稳定极值区域( m s e r ) 对图像 内容进行分割和提取，并通过构造仿射不变量的方法，对提取出来的区域进行规整化， 进而从规整化的区域中提取s i f t 描述子，然后根据匹配目标的需要进行特征的组合、变 换，以形成易于匹配、稳定性好的特征向量，从而把图像匹配问题转化为特征的匹配问 题；通过改进的k 均值算法对特征向量进行聚类，聚类中心作为图像的视觉关键词；利 用视觉关键词的思想，把文本检索技术领域的方法移植到图像检索应用上；并研究视觉 关键词之间的空间约束关系。本文在研究m s e r 检测子和基于内容图像检索技术基础上， 开发一套基于最大稳定极值区域的图像检索系统，并通过与用户交互手段，即让用户选 择自己感兴趣的区域，获得比较准确的检索区域，从而更好地更精确地满足用户的检索 要求。在此基础上，该文把图像检索技术路线进行推广，提出了基于m s e r 的视频拷贝 检测技术，利用颜色直方图进行镜头分割并提取关键帧，然后利用m s e r 对关键帧进行 匹配，最后通过时序投票的方法检索定位视频片段，该方法在t r e c v i d 2 0 0 8 拷贝检测 视频数据集上得到了验证。从图像和视频检索两方面的应用研究，充分体现了最大稳定 极值区域在基于内容图像检索领域的应用价值。 1 4 论文的主要内容及章节安排 最大稳定极值区域是一种性能优异的仿射不变性区域检测子，对图像仿射变化具备 很好的稳定性。本文通过图像检索和视频检索两方面出发，对最大稳定极值区域在图像 检索技术领域的应用进行了研究，主要内容如下： ( 1 ) 特征提取方面 对传统颜色、纹理、形状特征进行了总结和比较，归纳了多种仿射不变区域检测子 及其性能；然后从研究最大稳定极值区域出发，分析其的本质与特点，并研究检测及提 取图片m s e r 区域的算法，通过编程实现图像特征区域的提取。研究s i f t 描述子的构 造方法，通过构造仿射不变量的手段，把s i f t 描述子与m s e r 结合，从最大稳定极值 区域中提取不变量描述子，利用1 2 8 维的空间向量来表征图像区域内容；利用改进的k 最人稳定极值区域在图像检索领域的应用研究 均值算法对特征向量进行聚类，形成视觉关键词，统计图像的视觉关键词及其相应的词 频，通过视觉关键词集来描述图像。 ( 2 ) 基于内容的图像检索系统开发 为了实现大规模图像库的快速检索，尝试把文本检索领域的技术移植到图像检索领 域，对图像关键词建立倒排索引结构，实现在大规模图像库中的快速检索。并通过与用 户交互手段，让用户主动选取目标对象，实现针对用户感兴趣区域的图像快速准确检索。 ( 3 ) 图像视觉关键词的空间约束关系 单凭有限数量的视觉关键词，容易产生误配，该文研究图像视觉关键词的空间约束 关系，利用空间一致性对检索结果进行重新排序，大大提高了检索的精度和准确性。 ( 4 ) m s e r 在视频拷贝检测上的应用 视频是包括一系列连续的帧，对视频片段的检索可以归结为对视频关键帧进行匹配 然后加上时序约束。论文把基于m s e r 的图像检索技术推广到视频拷贝检测领域，首先 利用分块颜色直方图进行镜头分割并提取关键帧，然后利用m s e r 对关键帧进行匹配， 最后通过时序投票的方法检索定位视频片段。 论文共分为五章，其中第3 章、第4 章和第5 章是本论文的重点，具体章节的安排 如下： 第1 章：绪论。首先介绍论文的研究背景和国内外现状，然后分析了基于内容图像 检索的关键技术和难点，最后提出论文的研究意义和主要内容。 第2 章：图像内容分析及仿射不变性特征提取。本章总结了颜色、纹理、形状等传 统图像内容特征，并介绍了几种最新仿射不变性区域检测子，以及相关文献对它们的测 评。 第3 章：最大稳定极值区域仿射不变性检测子。分析了m s e r 的定义及其性质，并 研究了该特征的提取算法。 第4 章：基于最大稳定极值区域的图像检索技术。从基于全局特征和基于用户感兴 趣区域两层面对基于m s e r 的图像检索技术进行分析，提出了图像检索系统的技术路 线，并提出空间约束关系对检索结果的重排算法。本章实现一个图像检索系统对论文提 出的理论和方法进行了验证。 第5 章：基于最大稳定极值区域的视频拷贝检测技术。本章介绍了m s e r 在视频拷 贝检测中的应用，是对m s e r 在图像检索领域中应用的扩展。通过颜色直方图对视频进 行分割，从中抽取关键帧；利用第4 章提出的技术基础对关键帧进行匹配；最后通过关 键帧在视频中的时序约束进行拷贝定位，从而获得准确的视频片段查询结果。 人连理t 大学硕士学位论文 2 图像内容分析及仿射不变性特征提取 基于内容的图像检索中的一个关键问题就是对图像进行分析并给出图像的内容描 述。通过对图像像素的颜色属性以及像素间的相互关系进行分析，可以得到一系列数字 特征或描述特征，这些特征可以在一定程度上描述图像本身的内容。然后，利用这些特 征可以对图像建立索引，从而达到图像检索的目的。因此，图像内容的表示问题本质上 是一个图像特征的提取问题。本章将对几种常用的图像特征进行总结和归纳。 2 1 颜色特征 颜色特征是在基于内容的图像检索中最早被使用也是被最广泛使用的视觉特征，主 要原因在于颜色特征的定义比较明确，特征提取方法比较简单，并且颜色特征能较好地 体现出图像中所包含的物体或场景。此外，与其他的视觉特征相比，颜色特征对图像本 身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。目前，在颜色特征提取 方法，常用的有颜色直方图、颜色矩、颜色集以及颜色相关图等一些方法。 ( 1 ) 颜色直方图 图像内容的一种直观的表示方式是统计图像的各种颜色的出现次数，进而得到图像 的颜色直方图。设一幅图像包含像素点个数为，图像的颜色空间被量化的块数为, ， 则颜色直方图日定义为 ，其中忽为第i 种颜色在整幅图像中具有的像素数。 颜色直方图表现的是图像的全局特征，每一幅图像具有唯一的颜色直方图，其对图像的 旋转、模糊以及缩放都具备很好的不变性，适用于全局的变换。 统计直方图 图像特征的统计直方图实际是一个离散函数【”】，形如： 日( 露) = i r t k ，k = o ，1 ，三 ( 2 1 ) n 其中k 代表图像的特征取值，三是特征可取值数，n k 是图像中具有特征值为k 的像 素的个数，为图像像素的总数。 累积直方图 为了避免统计直方图中出现零值，对计算直方图的相交带来很大影响，累积直方图 对原有统计直方图作迭代累加，形如： m ) = 等，k = o 1 ，l - 1 ( 2 2 ) 最大稳定极值区域在图像检索领域的应用研究 累积直方图受量化误差影响较小，算法要优于其它直方图的算法，从而用在基于内 容的图像检索系统中会取得比较好的效果【1 6 1 。 ( 2 ) 颜色矩 s t r i c k e r 和o r e n g o 基于概率论提出颜色矩( c o l o rm o m e n t s ) t 1 7 1 ，数学基础是图像颜色 分布可以由图像的各阶中心矩来描述。由于颜色信息集中在图像颜色的低阶距中，因此 只需要对每种颜色分量的一阶、二阶和三阶矩进行统计。图像的颜色矩有九个分量，与 其他颜色特征相比比较简洁。其计算公式如下： “= 寺弓 ( 2 3 ) o j = i 厂 n i ，2 o - = i l 丙i 缶掣- , ( 弓训2i 2 4 ) 厂1n m 铲l 专著( 弓懈户i 5 ) 以上各公式中，表示第，个像素的第i 个颜色分量，在r g b 颜色空间中i = 3 ，即 分别表示r 、g 、b 颜色分量；是图像中像素数量。一阶矩定义了每个颜色分量的平 均强度，二阶矩定义了每个颜色分量的方差，三阶矩定义了每个颜色分量的偏斜度。 颜色矩与其它的颜色特征相比是非常简洁的。在实际应用中为避免低次矩较弱的分 辨能力，颜色矩常和其它特征结合使用，而且一般在使用其它特征前起到过滤缩小范围 的作用。 ( 3 ) 颜色集 为支持大规模图像库的快速查找，s m i t h 和c h a n g 提出用颜色集( c o l o rs e t s ) 作为颜 色直方图的一种近似特征1 8 】。在该方法中，首先将图像从r g b 颜色空间转化成视觉均 衡的h s v 颜色空间，并将颜色空间量化成若干个块。然后，用色彩自动分割技术将图 像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为 一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域 的空间关系( 包括区域的分离、包含和交等操作) 。因为颜色集表示为二进制的特征向量， 可经构造二分查找树来加快检索速度，这对于大规模的图像集合十分有利。 ( 4 ) 颜色相关图 颜色相关图是颜色直方图在空间中的一种验伸，是颜色分布的另一种表达方式 1 9 】。 这种特征不仅刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜色对之 人连理t 大学硕十学位论文 间的空间相关性，具有一定的鲁棒性。颜色相关图是指对于颜色值为g 的像素点b ，与 像素点p ，相距距离为k 的另一个像素点p ，的颜色为c ，的概率。设一个距离 d r ，( j ，) ( 1 ，2 ，) ，且k ( 1 ，2 ，d ) ，定义图像，的颜色相关图为： 绣乞= p ， p 2 ，j p l 一仍i - 七，p l 七】 ( 2 6 ) 为了减少计算量，一般只考虑相同颜色之间的相关性，即颜色自相关性，其为： a i c k ) = j ( j ) ( 2 7 ) 相对以上颜色特征，颜色相关图大大提高了检索效率，但它的计算量非常大。颜色 表达的是图像的全局特征，颜色特征是图像检索中常用的一种特征。在人们对图像的印 象中，颜色占了很大的比重。但由于颜色对图像或图像区域的方向、大小等变化不敏感， 所以颜色特征不能很好的捕捉图像中对象的局部特征，当图像受到遮挡、平移、剪切等 局部变换时，利用颜色特征进行图像检索难以胜任，特别是当数据库很大时，经常有不 相关的图像被检索出来。这说明单靠颜色本身并不能完全表达出图像的所有特征信息， 事实上，基于颜色的检索方法通常和其他方法结合使用才能获得更好的效果。 2 2 纹理特征 数字图像中的纹理是相邻像素的灰度或颜色的空间相关性或是图像灰度和颜色空 间位置变化的视觉表现【l 】。纹理是图像本身的一个属性，反映图像的粗糙、光滑或规则 的程度。在计算机视觉研究中，纹理特征具有一种不依赖于颜色或亮度的反映图像中同 质现象的视觉特征，可以从微观上区分图像中不同的物体。因此，纹理特征也作为基于 内容的图像检索系统中的主要特征之一。 基于纹理特征的检索思想是：用数学或信息论的方法提取出纹理，即将图像灰度或 颜色空间的总体或各个侧面用数字特征来表征，然后用纹理分析方法检测出纹理基原和 获得有关纹理基元排列分布方式的信息。实践表面，利用纹理进行图像检索是一种非常 有效的手段。 纹理的建模和分析通常分为以下三类：统计的、频谱的和结构的。纹理统计分析主 要包括t a r n u r a 特征、共生矩阵以及自回归纹理模型等；纹理频谱分析主要包括小波变 换；纹理结构分析假定图像由较小的纹理基元排列而成，多采用句法分析的方法，由于 只适用于规则的结构纹理分析，目前研究不是十分广泛。这些纹理特征提取方法适用对 具有明显纹理特征的图像进行检索，但是对于普通图像需要结合其他特征共同检索。 最大稳定极值【x 域在图像检索领域的应用研究 2 3 形状特征 形状特征是我们认识物体的重要信息之一，它也是传递图像内容的表达手段。在2 d 情况下，形状可以定义为2 d 内一条简单连接曲线位置和方向的函数，因此形状的描述 涉及到对封闭曲线的描述，或对轮廓所包围区域的描述。形状特征是对图像中边界清晰 的目标的最好表达方式，是图像目标的一种显著特征【l 】。通常利用形状特征或主要边界 进行检索，它不同于颜色或纹理等底层特征，形状特征的表达必须以对图像中物体或区 域的划分为基础。在实际应用中，有很多查询可能并不针对图像的颜色或纹理，因为同 类