（计算机软件与理论专业论文）融合四种特征的基于内容的图像检索算法研究.pdf

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进 行的研究工作及取得的研究成果。尽我所知，除文中已经标 明引用的内容外，本论文不包含任何其他个人或集体已经发 表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的 法律结果由本人承担。 学位论文作者签名站西彳 l彳 i 徘纱月名日一 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文 的规定，即：学校有权保留并向国家有关部门或机构送交论 文的复印件和电子版，允许论文被查阅和借阅。本人授权云 南师范大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保 存和汇编本学位论文。 学戮麓乏坪“肩石。 指导教师签名：扔庑同 年月日 摘要 图像是视觉信息的表现形式和存储载体。随着多媒体、计算机、 通讯技术及i n t e r n e t 的快速发展，图像的来源越来越广泛，图像数据 库成为组织、表达、存储、查询和利用这些海量图像数据的主要手段。 图像数据库研究的一个核心问题是图像检索，其中，基于内容的图像 检索( c b i r ) 是当前国内外研究的热点之一。 本文采用了四种方法去检索图像，最后采用动态权值的方法去确 定检索出的图像的最终排名。在基于统计特征方面利用主要成份分析 的方法( p c a ) 和奇异值分解的方法( s v d ) 。在图像颜色分布方面提出了 多分辨率动态光照主色方法。在基于角点表示图像内容形状方面，本 文提出了利用图论中最优对集的思想和改进的h a u s d o r f f 算法去度量 点集相似度的方法在确定图像最终排名时，提出基于信息熵的权值 动态调整方法。采用多特征的检索方法和图像排名的动态调整方法， 提高了检索结果的鲁棒性。 关键字：主要成份析分析，多分辨率分快平均色，角点， h a u s d o r f f 距离，最优对集，奇异值分解 a b s t r a c t t h ei m a g ei sd e f i n e da st h er e p r e s e n t i n gf o r ma n ds t o r i n gc a r r i e ro fi n f o r m a t i o n i nv i s u a l w i t ht h ed e v e l o p m e n to fm u l t i m e d i a ，c o m p u t e r , t h et e l e c o m m u n i c a t i o n t e c h n i q u e ，a n di n t e m e t ，t h es o u r c eo ft h ei m a g e si sm o r ea n dm o r ee x t e n s i v e ，t h e i m a g ed a t a b a s eh a sb e e nb e c a m et h em a i nm e a n st oo r g a n i z e ，e x p r e s s ，s t o r e ，s e a r c h ， q u e r 5a n de m p l o yt h e s eag r e a td e a lo fi n f o r m a t i o n t h ei m a g er e t r i e v a li sak e y p r o b l e ma tt h ei m a g ed a t a b a s er e s e a r c h a tr e c e n t ，t h ec o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) h a sb e c o m eo n eo fk e yi s s u e st h a ts t u d i e d a th o m ea n da b r o a d t h i s p a p e ra d o p t sf o u rm e t h o d st o s e a r c h i m a g e s ，a n du s e sd y n a m i cw e i g h t m e t h o d st or a n kt h es e a r c h e di m a g e s i ns t a t i s t i cf i e l d ，w ea d o p tp r i n c i p a lc o m p o n e n t a n a l y s e s m e t h o da n ds i n g u l a rv a l u e d e c o m p o s i t i o nm e t h o d i ni m a g e c o l o r d i s t r i b u t i o nf i e l d ，w eo f f e rm u l t i p l er e s o l v i n gp o w e rd y n a m i ci l l u m i n a t i o nm a i nc o l o r a l g o r i t h m i ni m a g ec o n t e n ts h a p ef i g u r e db yc o r n e rp o i n t s ，w eo f f e ran e wa l g o r i t h m w h i c hu s e so p t i m i z a t i o np a i rs e tt h i n k i n gi ng r a p ha n di m p r o v e dh a u s d o r f fa l g o r i t h m t om e a s u r et h es i m i l a r i t yo ft w op o i n ts e t s ，a n dp r o p o s ead y n a m i cw e i g h ta d j u s t a l g o r i t h mb a s e di n f o r m a t i o ne n t r o p y m u l t i p l e f e a t u r e s r e t r i e v em e t h o da n d d y n a m i cr a n km e t h o di m p r o v e dt h es t a b i l i z a t i o no fr e t r i e v er e s u l t k e y w o r d s ：p c a ，m u l t i p l er e s o l v i n gp o w e rd y n a m i ci l l u m i n a t i o np r i m a r yc o l o r c o m e rp o i n t ，h a u s d o r f fd i s t a n c e ，o p t i m i z a t i o np a i rs e t ，s v d i x 第一章概述 1 1 简介 第一章概述 当前常规信息系统正向多媒体信息系统方向发展，多媒体信息是由视频、音频、图像、图形等 媒体承载的，因此对多媒体数据进行快速的基于内容的检索以获得所需要的信息是多媒体信息系统 要求解决的关键问题之一 过去对图像的查询主要是通过关键字来检索，用关键字表示图像的客观属性，如图像的作者、 标题、创作时间等，但是对于图像的视觉特征则难以用关键字来描述事实上在现实生活中，人们使 篇信息的方式很多情况下是靠直觉的印象例如，把商品的图片存在数据库中用户用一张照片告诉 数据库他们所要找的商品，或要求查找与用户喜爱的颜色或形状相近的商品，都属直接利用视觉印 象的查询方法 图像是视觉信息的表现形式和存储载体随着计算机和网络技术的迅速发展，大规模的图像和视 频信号的存储、传输成为可能，并且他们成为各个领域的信息载体和表现手段而对这些海量的图像 数据进行组织、表达、管理和查询，使传统数据库面临着巨大的挑战图像检索是图像数据库研究领 域的核心问题，也是近年来海量信息处理的“瓶颈”基于内容的图像检索( c b i r ，c o n t e n t e d b a s e d i m a g er e t r i e v a l ) 已经成为国内外研究的热点，并将成为2 1 世纪急需攻克的关键技术之一 基于内容的图像检索是一种信息检索技术，它关注的是以基于内容的方式快速发现信息，它和 基于关键字的检索手段不尽相同，融合了计算机视觉、图像处理、模式识别、心理学、生理学、社 会学等技术，并且要能够在分布式数据库中在用户可以接受的响应时间内查询所要求的图像这种技 术的优点有：直接从图像中提取信息；他是一种近似匹配和一般的数据库的精确匹配不同；计算机 自动完成，避免了人工描述的主观性，大大减少了工作量；支持整体信息的部分查询 应该认识到，基于内容的图像检索系统具有与传统基于文本的检索系统完全不同的构架首先， 由于图像依赖其视觉特征而非文本描述进行索引，查询将根据图像视觉特征的相似度进行用户通过 选择具有代表性的一幅或多幅例子图像来构造查询，然后由系统查找与例子图像在视觉内容上比较 相似的图像，按相似度大小排列返回给用户这就是所谓的通过例子图像的检索另外，基于内容的 检索系统一般通过可视化界面和用户进行频繁的交互，以便于用户能够方便地构造查询、评估检索 结果和改进检索结果 所谓基于内容的图像检索( c b i r ，c o n t e n t - b a s e d i m a g e r e t r i e v a l ) ，是指直接根据图像中的对象内 容进行的各种检索，其目的是从图像库中直接找到具有指定特征或内容的图像c b i r 区别于传统的 基于文本的匹配的检索方法，融合了图像理解、模式识别等技术，具有如下特点 唐立军，段文娟， 云南师范大学硕：j 。研究生学位论文融台明种特征的基于内容的图像检索算法研究 高文，2 0 0 1 7 ： 1 直接对图像作基于内容的特征线索提取 2基于内容的检索实质上是一种近似匹配技术 3 图像特征的提取与索引由计算机自动实现 ， 4 检索过程是一个逐步逼近和相关反馈的过程 5 大多采用示例查询的方 法( o u e r yb ye x a m p l e ) 下图表示了基于内容的图像检索系统的体系结构系统的核心是图像特征数据库图像特征既可 以从图像本身提取得到，又可以通过用户交互获得，并用于计算图像之问的相似度用户和系统之间 的关系是双向的：用户可以向系统提出查询要求，系统根据查询要求返回查询结果，用户还通过对 查询结果的相关反馈来改进查询结果基于内容的图像检索中的一些关键环节包括： 1 1 选择、提取和索引能够充分表达图像的视觉特征 2 1 处理基于相似度的图像检索 3 ) 处理用户对检索结果的相关反馈，改善检索结果 用户界面 f 图 f 、7 像 图像预处理 l 查询接口 结果 库 j 【 l 浏览器 查 生 询 成 un 子 子 特征提取 系 统 系 检索引擎 统、 ；离线 l 在线 t，儿 、 ) ( _ j 、 ，u l ! 像特征库jl 图像索引库j 图1 1 基本c b i r 系统的组成 在c b i r 技术中，图像特征提取占有特别重要地位，作为检索的图像特征应该具有以下几方面的 特征：描述有效性、计算简捷性、鲁棒性和易扩充性 r a i m o n d os c h e t t i n i ，g i a n l u i g ic i o c c a2 0 0 1 图像特征可分为低层物理视觉特征( 原是特征) 和高层语义特征( 逻辑特征) ，且底层物理视觉特征 2 第一章概述 和高层语义特征不存在明显的直接联系建立它们之问的映射关系是一个十分困难的问题，也是一个 急待解决的问题 王惠峰，孙正兴，2 0 0 3 8 根据查询的复杂性，可将用户查询分为三个层次：第一 层次：基于特征语义的查询，即利用图像的颜色、纹理、和形状等底层特征及其组合来进行图像相 似性查询第二层次：在导出特征的基础上，进行一定的逻辑推理并识别出图像中包含的对象类别 第三层次：主要涉及到图像的抽象属性，需要对图像所描述的对象和场景进行高级推理目前本文和 大多数其它研究者的研究工作一样，主要处在第一层次 1 2 文章的整体结构 本文共由八个部分组成，除上面的第一部分一一概述外，以下部分是这样安排的：第二部分介 绍p c a 方法：第三部分为利用奇异值进行图像检索研究：第四部分给出多分辨率分块主颜色算法：第 五部分给出基于角点的形状相似性检索；第六部分则是根据权值调整算法和每种检索方法的特点分 别设定不同的权值，来计算图像的晟终相似排名；第七部分是算法实现与实验结果和分析；第八部 分是总结及将来的工作第九部分是参考文献 云南师范大学倾，i 研究生学位论文 融台匹尊特缸鲒基于内容的幽像检索算法研究 第二章主要成份分析方法 2 1 简介 在图像检索中的很多方法都来源于模式识别的领域，主要戍份分析方法( p c a ) ，就是 其中比较典型的方法之一实践证明，它不仅在模式识别、图像检索，而且在数据挖掘、信 号处理等领域也有着广泛的应用在本文中也采用这种方法 p c a 的方法是一种降低维数和提取主要成分的方法，利用一个小的向量空间去表示一个 很大的向量空间，并且保留了原始空间的绝大部分能量 本文使用p c a 的原因是：考翩j p c a 对纹理描述的有效性，和对图像的整体把握的特点， 并且该方法有较快的检索速度试验证明，该方法有着良好的纹理检索效果 该方法的模型可以表示为：x e r “是原始向量空间，z 尺“是目标向量空间，x 和 z 的关系满足z 。1 工+ 6 且m n w 是n 肌的映射矩阵，6 尺”是偏置向量 具体来说 z = w 。x + b m c n 通过线性变换，建立了由高维空间到 低维空间的映射，达到了降维的目的 图2 1p c a 方法的降维示意图 设t z2 x t ，x 2 ，x t ) 表示n 维向量的集合，它的k 个向量都来自于尺“空间， 即：x 。e r “，i = 1 , 2 ，七 设t z2 z ，z ：，z t 表示。维向量的集合，它的k 个向量都来自于r “空间， 即：z i e r “，i = 1 , 2 ，_ i 他们之间的线性映射关系为：22 。茗+ 6 ，w 是 h 研 的映射矩阵，6 尺4 是偏 4 第二章主要成份分析方法 置向量 被重构的向量可以表示为：t i 。 x 。，x 2 ，戈r ，它的计算公式为：；= ( z 一6 ) ， 平均重构错误率为；。c ，。，= 去耋l k 。一王。i 选取的特征数越多，重构错误率就越小；反之，选取的特征数越少，重构错误率就越 大在应用中，并不是选取的特征数越多越好，因为目的是要获取主要特征，是要选取的一 个恰当的特征数，增加该放的抗干扰性：过多的特征数虽然降低了重构错误率，但过多的保 留了一些细节，也是不会提高检索效果的；过少的特征保留了主要特征，但是丢失的很多信 息，也不会提高检索效果的 m t u r ka n da p e n t l a n d ，1 9 9 1 一般来说仅仅采用原始空间很小的一个子空间，就可以取的很好的效果在本文中，原 始特征空间是2 4 5 7 6 维，新的特征空间是3 0 比例仅是0 0 0 1 2 2 2p c a 方法实现 2 2 1 建立特征向量空间 算法目标 任何一个n n 图像可以利用一 个1 向量进行表示 图2 2 假设r 是一个2 l 的向量，他对应于某一t 藩n x n 的图像上 目标是利用一组特征向量进行表示r ( 啊，呒，舷。) + c o n s t( c o n s t 是一个常量，k n 2 ) 5 ￥嘶 k y 白 i j r 西南师范人学颂t ：t i ) f j ；c 2 生学位论文 融合暇种特缸口：基于内容的图像榆索算法研究 2 2 2 构建特征图像空间( e i g e n l m a g e s ) 空间 i 获得一组大小一样的图像，用i - ，i ：，i ”表示 2 利用向量r 。去表示，( 如图2 1 ) ( 1 i 1 ) 3 计算图像的平均图舯叫。吉善7 1_ ；i f 4 把每一个图像减去平均图像：中z f 攀 5 计算协方著矩阵( c o v a r i a n c em a t r ix ) c o n o n 7 = a a 7 ( c ：n 2 、2 ) = 中i ，中2 ，中m 6 计算协方差矩阵c 的特征向量uz 注意到c 是n 2xn 2 的矩阵，一个5 0 0 5 0 0 象素的图像此 时将有2 5 0 0 0 0 维的特征向量对应的协方差矩阵是2 5 0 0 0 0 2 5 0 0 0 0 计算如此大的协 方差矩阵的特征向量在实时图像处理中是不可接受的，因此文章采取另外一种方法来计 算 来考虑a 7 a ( m x m ) 矩阵，m 是用来训练的样本数量，一般情况下有m c ( a v t ) ：u ；( a v ；) 令：u a v 得：cu i = uf u i 那么u 就是c 的特征向量这样就求# 4 t c 的e 个特征 向量，虽然不能求出c 的n2 个特征向量，但是常常不用m 个特征向量，而是用k ( k l a b j x ；j 0 4 3 3 9 1 0 0 3 7 6 2 2 0 o 1 8 9 8 6 0ji r 2 5 5 l 1 y ! = 1 0 2 1 2 6 4 90 7 1 5 1 6 90 0 7 2 1 8 2 g 2 5 5 i ! z i1 0 0 1 7 7 5 60 1 0 9 4 7 80 8 7 2 9 1 5 l1 b 2 5 5 i f o ry o 0 0 8 8 5 6 a ：5 0 0 * ( f ( x ) 一f ( y ) ) b = 2 0 0 * ( f ( y ) 一f ( z ) ) 其中f ( t ) = t l 3 f ( t ) = 7 7 8 7 t + 1 6 1 1 6 f o rt l 丑b ( r q b ) 图像 分块，并 转成新的 提取每 y - + 足 ( y ，a ，b ) 个分块 的主要 ( l , a ，b ) 图4 2 颜色转化流程图 这样本文就可以把每一分块用一个三元组( y ，a ，b ) 来表示，那么一幅图像有可以划分 为多少个快，就有多少个三元组来对应这些三元组按照一定的顺序组成一个序列，就对应 着这幅图像的特征向量 4 4 分块策略 通常，一幅图像具有若干表示主体内容的主题画面由于对原始图像事先缺乏任何先验 知识，并本文检索的图像是各种各样的普通图像，根本就没有任何先验知识，因此无法自动 确定这些主题画面在图像中的位置以及大小尽可能让表现图像内容的主题位于同一分块内 是一种好的选择基于此，本文设计了一种多分辨率的分块策略：对图像进行划分时采用多 种划分尺寸和排列方式对于任意一幅图像，本文给出了三种划分策略：( 1 ) 细分辨率划分 p f ，分块排列为5 5 的阵列；( 2 ) 中等分辨率划分p m ，分块排列为9 9 的阵列；( 3 ) 粗分 辨率划分p c ，分块排列为1 6 x1 6 的阵列考虑到主题画面可能跨越分块之间，采用这样的分 块策略可以保证这些分块在水平和垂直方向上各有一定的重叠区域 设m 和n 分别为图像的行和列，k 代表分辨率，k = 5 ，9 ，1 6 那么图锕分撇粉：c ；。嘉，。等k k 1 善t 1 6 o 1 4 第四章多分辨率分块土颜色方法 采取这种多分辨率的分块策略就有可能自动适应不同粒度以及位于不同位置的主题画 面，这弥补了单一固定分块策略在这方面存在的弊端 图4 3 小分辨率划分 图4 5 大分辨率划分 图4 4 中等分辨率划分 4 5 图像特征相似度度量方法 由于每一种分块方法将产生一个由( y ，a ，b ) 组成的向量，那么文章称这三种分块策略 对应的向量组成的大向量为此图像的特征向量 即： t f 表示小分辨率分割的向量 t m 表示中分辨率分割的向量 t c 表示大分辨率分割的向量 图像的最终向量t = t f ，t m ，t c ) 利用这种方法，本文可以把一副图像表示为一个向量在检索时，把检索图像和数据库 中的图像做欧几里得距离，距离越小，则表明检索图像和数据库图像越相似最后根据距离 从小到大排列，就可得到相似度从大至f j 4 的数据库图像序列 在实际的检索过程中，数据库中的图像的向量可以事先计算出来，以提高检索的效率 1e 云南师范人学硕i ：研究生学位论文融合四种特征的基于内容的幽像榆索算法研究 并且在实际的检索中，采用欧儿里得距离的平方作为两幅图的距离，这样就减少了开方运算 可以有效的提高检索速度 1 6 第六章融合多种检索方法的加权模型 第五章基于角点的形状匹配 5 1 简介 在基于内容的图像检索中，图像内容的形状是一个非常重要的信息形状具有比较稳定 的性质，它对光照不敏感角点就是图像中局部曲率变化比较大的地方在本文中利用图像内 容的角点去表示图像内容的形状如图5 1 ，图5 2 所示 从图5 ，l ，图5 2 中可以看到，角点可以很好的表示图像内容的形状，如果两幅图像在 角的位置上满足一一对应的关系，那么可以认为两幅图像的内容是十分相似的 本文将利用图论中最优对集的概念和完美对集匹配的思想与改进的h a u s d o r f f 口g 离来 给出两幅图像的基于角点检测的内容相似性度量 5 2 角及其角检测 角点( c o r n e r ) 定义为图像中局部曲率变化比较大的地方利用角点可以进行运动的跟 踪、对象识别、立体匹配等，因此在计算机视觉和图像理解方面，图像的角点检测( c o r n e r d e t e c t i o n ) 就变成了非常重要的任务，并且许多研究人员进行大量的研究并提出许多角点 检测算法 s m s m i t ha n djm b r a d y1 9 9 4 研究人员普遍认为个好的角点检测方法应 该满足以下特点：1 ) 全部真正的角应该被检测出来：2 ) 假的角不应该被检测出来3 ) 角的位 置应该比较精确4 ) 角检测算法应该有较强的抗噪性5 ) 角检测算法应该有比较高的效率 在各种角点检测方法中，f a r z i n m o k h t a r i a n 等人提出的曲率测量空间( c s s ，c u r v a t u r e s c a l es p a c e ) 被认为是一种非常有效的方法 f a r z i nm o k h t a r i a n ，r i k us u o m e l a1 9 9 8 ， 它可以很好的满足以上的特性，在实际中也取得了很好的应用 c s s 方法的基本思想是： ( 1 ) 用c a n n y 算子检测图像内容的边缘， ( 2 ) 对c a n n y 算子检测出的轮廓，并把中断的轮廓连接起来，去除噪音影响： ( 3 ) 采用双尺度的方法去检测轮廓上的每一个点，把具有局部曲率最大的点作为图像的角 图5 1 和图5 2 是显示了利用c s s 的进行角检测的效果图( 图中的方格表示检测出的角 点) ，图5 1 的形状较简单，而图5 2 是自然景物的灰度图，相对要复杂的多从检测的结果看， c s s 方法不仅可以检测出简单图像的角点，复杂图像内角点仍然可以被检测出而这些角点通 常可以勾画出图像内物体的基本形状，因此文章考虑利用它们表示图像的形状，并认为如果 两幅图像的角的满足一一对应或近似一对应，本文认为两幅图像相似 1 7 西南帅范人学坝：研究生学位论文 融合旧种特征的基于内容的图像检索算法研究 图5 1 简单形状图5 2 复杂形状 5 3 图像的角点匹配 根据以上的讨论可知，角点可以勾画出图像内物体的基本形状，因此图像的检索就可 以转化为角点集的匹配问题然而角点集的匹配问题是一个非常困难的问题，许多研究人员 已经做了大量的工作，并且已经取得了一些成果考虑到本文所要解决的问题，本文将利用 图论中最优对集的概念和完美对集匹配的思想与改进的h a u s d o r f f 距离来给出两幅图像基于 角点检测的内容相似性度量 偶图的完美对集【j a 邦迪，u s r 默蒂，1 9 8 4 本文在沿袭图论中的概念、方法的基础上，首先引入两个定理： 定理1 ：设g 为具有二分类( x ，y ) 的偶图，则g 包含饱和x 的每个顶点的对集当且仅当 5 n ( s ) ：l s l 对所有s c _ x 成立其中，n ( s ) 表示s 的邻集，即：与s 的顶点相邻的所有顶点 的集合 定理2 ：若g 是k 正则偶图( k 0 ) ，则g 有完美对集 由定理l 和定理2 知，在i x l 不等于i yj 情况下，g 不一定有完美对集，但若g 是k 正则偶图，则 完美对集肯定存在根据组合论知识可知，要求出完美对集可以排列所有的组合情况( 共有n ! 种) ，而后找出最优的一种组合，但这种方法通常是低效率的、不可取的k u h n - - m u n k r e s 在 假定g 是赋权的完全偶图情况下，给出个求最优对集的好算法本文借助其中的部分思想来 实现图像的相似性检索 第六章融台多壬争检索百法的加权模型 定义1 ：若在顶点集合x u y 上的实值区数l 适合f 述条件：对所有的x e x ，y y ，均有 “x ) + “y ) ：w ( x ，y ) ，则把这个函数定义为该偶图的一个可行j 冤眚标号( 实数“v ) 称为顶点v 的标号) 根据定义可得： 7 ) 5 警w ( x y ) 耘鲋( 5 - 1 ) iz ( ) ，) = 0静y 若用f 菱示可行顶点标号，则令e 。= 毋l l ( x ) + l ( y ) = w ( x ，y ) e l 表示上式中等号成立的那些边的集合 定义2 ：把具有边集e l 的g 的生成子图称为对应于可行顶点标号l 的相等子图，并用g l 表示 定理3 ：设l 是g 的可行顶点标号，若g l 包含完美对集m + ，则m + 是g 的最优对集 根据定理3 可知，只要能求出g l ，便可利用它来求出完美对集m + ，而g 。根据定义很容易求出， 然而考虑到以下几个原因本文并不需要求出完美对集，而利用g l 去直接代替m + ： ( 1 ) 本文要求的是两幅图像的相似程度，它是一种模糊的方法，而不是图论中的精确求解 ( 2 ) 如果用m + 去计算两幅图像之间的距离，时间复杂图是o ( v 2 ) ，在实际的检索中，n # j n - - 次查询都要和数据库的每一幅图像进行比较，综合考虑来说，计算量还是比较大的 ( 3 ) 实际的两幅图像的角点的个数在大多数情况下是不一样的，不一定存在完美对集，用g l 代替m + 是一种逼近完美对集的方法 图4 3 两幅简单图像匹配 在以上两幅图中，如果把两幅图像重叠，c 点和d 点的垂直距离最小，就是对应关系；a 点和b 点的匹配在当前情况下是最优的 本文的目标是寻找一种比较好的方法，去度量两个角点集合的相似性，进而估算出两幅 图像内容的相似度 1 9 i 南师范人学硕j 二研究生学位论文 融合心种特征的甚于内容的图像捡索算法研究 5 4 改进h a u s d o r f f 距离 h a u s d o r f f 距离常被用来计算两个点集之间的距离令x = x 1 ，x 2 ，x m ) 和 忙 y 1 ，y 2 ，y n ) 表示给定两个有限点集，则h u a s d o r f f 距离定义为【g r o t e ，1 9 9 1 h ( x ，y ) = m a x h ( x ，y ) ，h ( y ，x ) 】，( 5 2 ) 其中 僻，】，) = 1 搿吵l l x y i | ( 5 - 3 ) h ( x ，y ) 被称为h a u s d o r f f 距离 h d ( h a u s d o r f fd i s t a n c e ) 测量是一种相似程度，而非点对点的完全重合，强调了点 与点之间是模糊关系，而非强调图像中的点对绝对匹配因此，在图像识别中，h d 有着广泛 的运用考虑到h d 计算结果最终确取决于两个点集之间一对点之间的距离，这只能反映点集 之间局部性的特点，而不能反映点集之间的整体相似性 因此在本文的算法中，对其进行了改进 h ( x ，y ) = m a x h ( x ，y ) ，h ( y ，x ) ( 1 ( a b s ( p l p 2 ) + 1 ) ) ( x ，y ) = a v g ( 荟z 到y 的距离的最小值) 其中p l 和p 2 分别为两个集合的点的个数。这样不但考虑所有点对的平均距离，也考虑了 两个点集的个数差异。 5 5 两幅图像匹配的改进算法 s t e p l 首先利用c s s 方法检测出两幅图像角点，并用x = xz ，x 。x ) 和y = y ，y z y ) 分别表 示两个图像的角点集，用d ( i ，j ) 表示角点7 的欧式距离 s t e p 2 求具有边集e l 的生成子图g l g 。的生成方法是： ( 1 ) 求出两幅图像点集之间的距离矩阵，用d ( i ，j ) 表示 ( 2 ) 求出d ( i ，j ) 每一行的最小距离 ( 3 ) 若x i 和y j 的距离等于第i 行的最小距离，那么( x i ，y j ，d ( i ，j ) ) 就是被选出的一个三元 组所有的这些三元组就组成了带权的子图g l s t e p 3 计算这些三元组的平均值d x y s t e p 4 利用上面的方法对d ( i ，j ) 的转置矩阵进行运算，求出d y x s t e p 5 在利用h a u s d o r f f 的思想，计算这两幅图像的相似性度量：h ( a ，b ) = m a x ( d x y ，d y x ) 本文利用平均值d x y 表示有向h a u s d o r f f 距离，它反映了局部中的整体信息 s t e p 6 考虑到两幅图像的点的个数的匹配，令待查询图像的角点的个数是p l ，数据库图像的 角点的个数是p 2 ，若两幅图像的角点的个数差异甚大，那么即使求出的h ( a ，b ) 的值非常小， 第六章融合多种榆索方法的加反模型 本文也不能认为两幅图像是十分相似的因此，本文令h ( ，b ) = h ( a ，b ) ( 1 ( a b s ( p l p 2 ) + 1 ) ) 为两幅图像的最终距离 h ( a ，b ) 不仅考虑的两幅图像的角点在位置上的对应性，同时也考虑了两幅图像的角点 个数的一致性， 5 6 总结 在检索图像时，把待检索图像和数据库的每一幅图像都求距离h ( a ，b ) ，并且认为此值 越小，两幅图像就越相似然而，对于该角点检测算法在检索复杂的图像时，如：风景图像， 会产生角点检测不是很有效的情况这也是很容易理解的，对于复杂的图像，人的眼睛都很 难判断哪些是角点，哪些不是角点，用程序就更难判断了然而，本文考虑的是两幅图像的 非精确匹配，利用该检测算法在检测两幅图像时，可能出现都对或都错的情况，即对两幅图 像都存在假的角点和没有被检测出的角点，其位置分布的概率差不多利用改进的基于点集 的h a u s d o f f f 匹配方法，也能够出现良好的匹配、检测效果因为可能存在同对、同错的情况， 而且其概率都差不多在实际的试验中，这种情况确是发生了，即：普遍的检索效果是好的， 只是偶尔会出现特例 厶南师范_ 夫学坝士研究生学位论文融合四种特征的基于内容的幽像渔索算法究 第六章融合多种检索方法的加权模型 由于本文采用了四种方法去做基于内容的图像相似性检索，所以本文必须要对四种检 索方法的结果进行综合，以便得到最终的检索结果 然而在进行实际的图像检索种，四种方法的权重系数确是一个值得探讨的问题 p c a 方法是一个比较稳定的方法，在人脸识别等模式识别领域有着广泛的应用该方法 抓住了图像的主要数学特征，因而在图像有些变化时，效果仍然比较好弗且该方法求得的 数学距离和人们的感知相似度是基本一致的 奇异值方法考虑的也是图像的数学特征，并且本文从前面可以看到，奇异值有着很多 的良好的数学性质，因而该方法也是比较稳定的 多分辨率主颜色方法，考虑的是图像的颜色分布特征，它考虑的是在特定位置的图像 颜色值的相似性，并且采用了改进的l a b 空间当图像的内容受到较小的扰动时，只要不是很 大，该方法就很稳定特别地，当图像的局部有扰动，而不是全局扰动，该方法更是比较稳 。定 在考虑基于角点的方法时，本文首先引入信息熵的概念： 图像的信息熵是一个反映图像内容粗糙程度、像素值随机性的一个统计量图像内容越 粗糙、像素值的随机性越大，其信息熵就越大，否则就越小 其定义为：叩一萎肥) 1 0 9 2 p ，其中互是表示亮度的一个随机变量，p ( z i ) 该 灰度值的象素的数目 、 ， - - 一 l 一 唧q f i 图6 1 简单图形熵0 7 6 6 2图6 2 简单图形熵0 9 2 2 1 第六章融台多种检索方法的加权模型 图6 3 复杂图形熵6 5 0 8 6图6 4 复杂图形熵7 2 8 1 6 在图6 1 ，6 2 ，6 3 ，6 4 中，图像的角点已经被检测出来了( 白色的四方框的位置就是 检测出来的角点的位置) 可以看到图6 1 的角点集合可以很好的表示图像内物体的形状，当 然这些角点是带有位置信息的然而在图6 2 中，对于这个特殊的图像，角点检测算法只检测 处两个角点，这两个角点不足以表示图像内物体的形状在图6 3 中，被检测的是一个房子， 该房子的角点已经被很好的检测出来了，基本不存在假的角点和没有被检测出的角点，所以 这幅图像的检测效果比较好图像内角点的位置集合可以很好的表现房子的形状在图6 4 由 于图像过于复杂，角点检测算法的检测效果不是很好，存在着一些没有被检测出的角点，也 存在着一些假的角点 对图像的信息墒而言，本文认为图像的信息墒越大，检测效果呈下降趋势，那么基于 角点的方法可能效果不是很好但也不排除例外情况，图6 3 的信息墒是图6 2 的7 0 5 倍，但是 图6 3 的检测效果比图6 2 要好从另外一个方面来讲，若两个非常复杂即信息墒比较大的图 像，利用同一个角点检测算法去检测角点可能会出现这样的情况，即对两幅图像都存在假 的角点和没有被检测出的角点，其位置分布的概率差不多利用改进的基于点集的h a u s d o r f f 匹配方法，也可能出现良好的匹配、检测效果因为可能存在同对、同错的情况，而且其概 率都差不多在实际的试验中，这种情况确是发生了，即：普遍的检索效果是好的，只是偶 尔会出现特例 因此该方法的权值成了一个非常值得商榷的问题，试验证明该权值基本与信息墒呈反 比，同时会出现偶尔的跳跃， 当图像比较简单时，即信息墒较小时，如上图6 1 和6 2 ，角点的检测效果好，此时用 角点匹配方法去检索图像，效果较好当图像比较复杂时，如图6 2 和图6 3 ，尤其是图6 3 ， 有可能检测出一些假角点，或者漏掉一些角点或者一些不重要的角点检测出的比较多而反 西南师范入学碗l 酣究生学位论文融合删种特 ! i f ：的基于内容的圈像检索算法研究 映图像内容轮廓的关键点却没有被充分检测出来，因此本方法的权重与图像信息熵有着密切 的联系，其图像检索的效果也与图像的信息熵有很大的关系 本文采用动态权值调整的方法来决定图像的最终相似度排名即根据图像在每种方法的 排列位置和其在四种方法中的其权重来计算图像的最终相似度，也就是说每种方法的权重不 一样具体来说： 根据试验结果，本文采用权值是e ( ；) ，叩是该图像的信息熵由于采取动态的权值方法 它的适应性比较强，该权值在实际的检索中取得了良好的效果 y ：e ( ；的变化曲线图如下所示： 信息墒变化由线 图6 5 信息墒函数变化曲线 第六章融合多种检索方法的加权模型 每一种方法的检索结果是一个一维数组，位置越向前，就表示这幅图像越和查询图像 相似现举例如下： 假设用q 1 表示p c a 的检索结果，权重是1 ；q 2 表示多分辨主颜色的检索结果，权重是1 ： q 3 表示基于角点形状的检索结果，权重是e ；，q 4 表示基于奇异值的检索结果，权重是1 例如q 1 = 2 ，3 ，6 ，4 ，5 ) ：q 2 = 3 ，2 ，6 ，5 ，7 ) ：q 3 = 2 ，3 ，5 ，4 ，8 ) ；q 4 = 2 ，4 ，7 ，3 ，5 ) c = 5 表示检索出 的图像的个数，括号中的数字表示图像的序号，那么图像i 的权重： w i = ( c - i 在0 1 中的位置+ 1 ) 1 0 + ( c - i 在q 2 中的位置+ 1 ) x1 0 + ( c - i 在q 3 中的位置+ 1 ) e ；+ ( c - i 在q 4 中的位置+ 1 ) x 1 0 如：w 2 = 5 x i o + 4 x 1 + 5 x e ；+ 5 1 ( 表示2 号图像的信息墒) w 6 = 3 1 t0 + 3 1 w 8 = 1 幸10 排列 然后根据这些图像之间的权重，按权重从大到小排列图像，即得到相似度从大到小的 云南师范人学颂| 研究生学位论文融合四种特征的基于内容的图像检索算法研究 第七章实验结果及分析 7 1 图像的语义相似性简介 从语义的角度考虑，本文可以认为，如果两幅图像相似，那么存在三中可能的情况： 两幅图像的前景相似 两幅图像的背景相似 两幅图像的前景和背景都相似 在本文的检索结果中，主要成份分析方法( p c a ) 和奇异值分解方法( s v d ) 是考 虑图像的整体的纹理信息和代数特征，因此考虑的是两幅图像的前景和背景都相似基 于角点的形状检索和多分辨率主颜色方法是主要考虑图像的前景相似性在研究图像 相似性时，要考虑前景和背景的相似性1 7 2 检索结果样例 本文的检索图像这样来安排，首先是不同的方法的检索结果，最后是动态权值排名算法 的综合结果 四中方法检索的图像都是同一个图像，即图7 1 图7 1 要被查询的图像 笙主翌壅堕堕墨丝坌塑 主要成份分析方法的检索结果是，其相似度是从大到小排列 图7 2 奇异值分解( s y d ) 方法的检索结果是，其相似度是从大到小排列的 图7 3 云南师范火学坝：i ：研究生学位论文融合四种特征的基于内容的幽像榆索算法研究 多分辨率主颜色检索方法的检索结果是，其相似度是从火到小排列的： 图7 4 基于角点的检索方法的检索结果是，其相似度是从大到小排列的 图7 5 第七章实验结果及分析 7 3 综合计算 在以上的检索过程中，各种方法的检索结果如下： p c a 方法： 2 1 2 1 71 9 61 8 71 7 91 1 22 1 42 4 11 2 ： 奇异值方法： 2 11 1 51 1 01 4 38 32 0 0 1 2 61 8 5 1 5 7 ： 多分辨率主颜色法： 2 l 1 81 7 91 6 71 9 54 51 9 62 5 1 1 6 4 基于角点的方法： 1 0 8 2 3 2 1 3 01 4 72 22 6 32 9 0 2 2 1 ： 在基于角点的方法中，每幅图像对应的权值如下表所示：e ( j ) 图像编 1 0 82 32 13 01 4 72 22 6 32 9 02 2 1 信息墒 7 2 0 3 8 7 6 8 2 7 7 3 3 3 17 7 7 6 27 5 4 9 07 5 7 8 67 6 1 9 07 2 4 6 07 1 5 2 1 值 权e ( 争 1 1 4 8 91 1 3 9 01 1 4 6 11 1 3 7 21 1 4 1 61 1 4 1 11 1 4 0 311 4 8 01 1 5 0 1 利用动态权值调整算法： 比如计算图像2 1 的权值：= 9 女1 ( p c a ) + 9 - k 1 ( s v d ) + 9 1 ( 多分辨率主颜色) + 7 1 1 4 6 1 = 3 5 0 2 2 7 在权值计算中第一个是位置参数，如8 就表示位于第二个位置，9 表示位于第一个位置；第二 个是权值参数 利用上面的计算方法，本文可以得到图像的最终排名( 仅取前9 名) 图像编号 2 】1 7 91 0 81 9 62 31 81 1 52 1 7o 图像权值3 5 0 2 2 71 2 01 0 3 4 0 1l o o9 1 1 2 08 o8 o8 o7 o 图像相似性排名 l23456789 厶南师范大学顶t 研究生学位论文 融合四种特 i ：的基于内容的图像检索算法研究 最终的检索结果如下 图7 1 2 7 4 评价 在基于内容的检索中，由于检索算法比较多，需要对各种算法的检索结果进行评判和 比较，以比较其优劣基于内容的图像检索的评价标准主要集中在检索结果相似性方面而其 它方面，如对系统的响应时间、数据处理能力等指标的影响则研究的比较少 图像检索正确性的标准主要有查准率( p r e c i s i o n ) 和查全率( r e c a l l ) 若设a 为图像数 据库中和查询图像相关的图像集合，b 是检索返回的