（计算机应用技术专业论文）基于神经网络的图像检索相关反馈机制研究.pdf

攮要 摘要 基于内容的图像检索技术是近年来研究的热点之一，它试闰通过提取图像本身固 蠢瓣褪觉羡塞来袭达、瑷嗣帮理解图像鹣内容，蒡按照秘织赣度量静方法检索溪像。 但是入对两幅图像的相似性理解和计舞机j c | 两幅图像酶穗似性理解往往不一致，也帮 人类高层语义概念和图像的底层视觉特征间存在着差距，爵敬系统的检索结果令用户 不满意。相关反馈技术是人机交互机制中的一种，通过人机协同工作，来弥补计算机 理解能力豹不足，蠢效她缩短了用户熬掰层语义疆念嗣图像酌底层视觉特征之嬲魏差 距，获两大大撵离系统的检索穰度。 本文主要对图像检索中的相关反馈技术进行了研究，在此基础上从机器学习的角 度出发，提出了一种基于r b f n 的相关反馈算法，做出以下主要工作： ( 1 ) 深入研究了相关反馈技术。对棚关反馈技术的思想、交互过程和用户度爨模式 等逶孬了深入磺究，在琵基磁羔旋毫7 一静三缀鞠笑及骧方法：稳关、攘辫穗 关和不相笑。这种三级相关反馈方法极大地方便了用户对检索结果的标注。 ( 2 ) 研究了图像颜色特征提取。在分析颜色直方图的基础上，提出了一种分块颜色 直方图特征提取方法。该方法将阉像划分成不均匀的3 x 3 块，分别提敬每块 豹颜色素努嚣，结合 颜色与其窆阕分毒售患。实验缕栗表弱，该方法能够有 效途表达鬻像鲶颜色特往，检索结栗优于全局颜色畿方图法。 ( 3 ) 提出了一种撼于r b f n 三级相荧反馈的图像检索方法。用户对初次检索结果标 注为：相关、模糊相关和不相关，并将这些信息反馈给系统；系统根据这些信 息初步建_ 焱起r b f n 的网络结构；采用梯度下降方法避行在线学习，优化阏络； 然嚣进孬稔豢。实验结采表臻，该反凌方法是毒效瓣，羯户缝够在较少茨爱缓 次数中得至满意的检索结果。 ( 4 ) 设计实现了个具有相关反馈技术的基于内容的图像检索实验系统，通过该系 统对本文提出的算法进行了有效性验证。 逶过上述工终，本文跌理论上襄安猃上涯明了本文瑷撬算法夔骞效挂，楚耱关反 馈技术在图像检索和图像理解领域笈撵燮大盼作用。 关键字：基于内容的图像检索相关反馈 颜色直方图机器学习径向熬函数 网络 a a 黼稍艮气c t r e c e n t l y , t h ec o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) t e c h n i q u eh a sb e e no n eo f t o pi m p o r t a n tr e s e a r c hd o m a i n s ，t te x p r e s s e s ，r e c o g n i z e sa n du n d e r s t a n d st h e c o n t e n to fi m a g eb ye x t r a c t i n gt h ev i s u a li n f o r m a t i o nc o n t a i n e di nt h ei m a g e ，t h e n r e t r i e v e si m a g ea c c o r d i n gt oc o m p a r a b i l 时m e a s u r e 。b u ti ti sd i f f e r e n tt h a th u m a n a n dt h ec o m p u t e ru n d e r s t a n d st h ec o m p a r a b i l i t ya b o u tt w oi m a g e ，t h a ti s ，t h e r ei sa g a pb e t w e e nt h eh i g hl e v e ln o t i o no fh u m a na n dl o w - l e v e lv i s u a lf e a t u r e so fi m a g e s o ，t h ei m a g er e t r i e v a ls y s t e mc a nn o tr e t r i e v es a t i s f a c t o r yr e s u l t s a sak i n do f h u m a n - c o m p u t e rt e c h n i q u e ，r e l e v a n c ef e e d b a c kc a nm a k eu pt h ec o m p u t e r s l i m i t e da b i l i t yo fu n d e r s t a n d i n ga n d g r e a t l yr e d u c e dt h eg a pb e t w e e nt h eh i g hl e v e l n o t i o na n dl o w - l e v e lv i s u a lf e a t u r e sb yc o o p e r a t i o nb e t w e e nh u m a na n dc o m p u t e r t h es y s t e mc a ns h a r p l yi m p r o v er e t r i e v a lp r e c i s i o nb yu s i n gr e l e v a n c ef e e d b a c k i nt h i sp a p e r , w em a i nr e s e a r c ht h er e l e v a n c ef e e d b a c kt e c h n i q u ei ni m a g e r e t r i e v a l ，o nb a s i so ft h i s 。w ep r e s e n t e dab a s e d - r b f nr e l e v a n c ef e e d b a c k a l g o r i t h mi nt h ev i e wo fm a c h i n el e a r n i n g t h em a i nc o n t r i b u t i o n so ft h i sp a p e r a r e ： ( 1 ) p r o f o u n d r e s e a r c ha b o u tr e l e v a n c ef e e d b a c kt e c h n i q u e i t p r o f o u n d r e s e a r c h e st h ei d e a ，t h ei n t e r a c t i v ep r o c e d u r e ，a n dt h eu s e r sm e a s u r em o d e l o ft h er e l e v a n c ef e e d b a c k ，t h e n ，i tp r e s e n t sat h r e e - g r a d er e l e v a n c ef e e d b a c k m e t h o d ：r e l e v a n c e ，f u z z yr e l e v a n c ea n d1 3 0 r e l e v a n c e t h i sm e t h o dg i v e s u s e mm u c hc o n v e n i e n c ew h e nu s e r si a b e lt h er e t r i e v a lr e s u i t s ( 2 ) r e s e a r c ha b o u te x t r a c t i n gt h ec o l o rf e a t u r e i tp r e s e n t sa b l o c kc o l o r h i s t o g r a ma l g o r i t h mo nb a s i so fa n a l y z i n gc o l o rh i s t o g r a m 。t h i sm e t h o df i r s t d i v i d e st h ei m a g ei n t o3 3n o - e q u a l i t yb l o c k s ，t h e nr e s p e c t i v e l ye x t r a c t sc o l o r h i s t o g r a mf r o me a c hb l o c k i tc o m b i n e sc o l o ra n ds p a t i a l i n f o r m a t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o dc a ne f f i c i e n t l ye x p r e s st h ec o l o r f e a t u r e so fi m a g e ，i t sr e t r i e v a lr e s u l t sa r eb e t l e rt h a nt h eg l o b a lc o l o r h i s t o g r a m 绺i tp r e s e n t sab a s e d r b f ni m a g er e t d e v a lm e t h o dw i t ht h r e e g r a d er e l e v a n c e f e e d b a c k t h eu s e r sl a b e it h ef i r s tr e t r i e v a lr e s u i t s ：r e l e v a n c e ，f u z z yr e l e v a n c e a n dn o r e l e v a n c e ，t h e nr e t u mt h es y s t e m b a s e do nt h eu s e r s f e e d b a c k i n f o r m a t i o n ，t h es y s t e mc o n s t r u c t sa l lr b f n ，a n dt h eu n d e r l i n gp a r a m e t e r s l 然塑坠：里 a n dn e t w o r ks t r u c t u r ea r eo 踊m i z e du s i n gag r a d i e n t - d e s c e n tt r a i n i n gs t r a t e g y a tl a s t ，t h es y s t e mr e e v e si m a g ef r o mt h ed a t a b a s e e x p e r i m e n t a lr e s u l t s s h o wt h a tt h i sm e t h o di se f f i c i e n t ，a n dc a r tr e l r i e v em o r es a t i s t a c t o r yr e s u l t si n t h ei e s sn u m b e ro f 秘e r a t i o n s 霹) t h i sp a p e rd e s i g n sac o n t e n tb a s e di m a g er e t r i e v a ls y s t e mw i t hr e l e v a n c e f e e d b a c km e c h a n i s ma st h et e s tb e df o rr e t r i e v a la n dr e l e v a n c ef e e d b a c k a l g o r i t h m s ，w h i c hi sa ne x p e r i m e n t a lf r a m es y s t e m t h i sp a p e rv e r i f i e dt h ee f f i c i e n to fa l g o r i t h m sp r e s e n t e di nt h ep a p e rb yt h e a b o v ew o r k 。i tm a k e st h er e l e v a n c ef e e d b a c kt e c h n i q u eh a v em o r ee f f e c t0 1 1t h e d o m a i no fi m a g er e t r i e v a la n di m a g eu n d e r s t a n d i n g 。 c h a n gx i a o h o n g ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f z h a n gm i n g k e y w o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ，r e l e v a n c ef e e d b a c k ，c o l o rh i s t o g r a m ， m a c h i n el e a r n i n g ，r a d i a lb a s i sf u n c t i o nn e t w o r k 耩 论文独创性声明 本论文是我个人在导师指导下进行的研究工住及取得的研究 成果。论文中除了特别加以标注和教谢的地方外，不包含其值人 或其他机构已经发表或撰写过的研究成果。其他同志对本研究的 启发和所做的贡献均已在论文中作了明确的声明并表示了谢意。 作者签字：堂型二塾 日期： 型互芏堡 论文使用授权性声明 本人同意上海海事大学有关保留、使用学位论文的规定。即： 学校有权保留送交论文复印件，允许论文被查阗或借阕；学校上 网公布论文的全部绒部分内容，可以采用影印、缩印或者其他复 制手段保留论文。保密的论文在解密后遵守此规定。 作者签字：錾二生塾导师签字：社日期：_ 亏l l l 第章绪沧 第一章绪论 l j 课题提出的背景 夔羞多媒薅按零静谤算掇瓣终戆飞速发矮，各类图像臻怠菱苏猿人妻勺速度璞长。 光论是军用还是民掰设备，每天都会产缀容量相当于数予魏字节的图像。这壁豳像中 包含了大量有用的信息，如何从中快速有效的检索出自己想黉的信息是一个关键和迫 切的问题。早期的熬于文本标注的图像梭索( t e x t - b a s e d i m a g er e t r i e v a l ) l 扫于人工标注费 瓣费力、且存在妻腿性，已不能满足用户豹需求。因此建敷骞效匏图像搂述和捻索枫 稍已成秀遥翅嚣簧瓣决静滔惩。基于内容豹图像捡索( c b m ，c o n t e n t - b a s e di m a g e r e t r i e v a l ) 应运而生，它试图通过提取图像本身固有的视觉信患来表达、识别和璃解图 像的内容，并采用浆种合适的相似性度慧方式来检索图像。c b i r 对图像内容的描述 童要有两个层次，是提取底层特征，避行组织匹配，采膈相似性度量来进彳亍检索； 是试霆缝合蚕像戆瘫层特薤帮褰罴潺义，逶过语义痿怠聚滋符捡索。嚣兹，熬予蠹 容的图像检索研究多数都是处在底层特征的提取上，鲡摄取图像的颜色、纹理和形状 等特征。 一些具有代袭憔的图像检索系统，如i b m 公司开发的o b i c i i 、v n a g e 公司歼发 鳇v e a g e 2 、m i t 多媒体实验室嚣发熬p h o t o b o o k 3 、嚣舱进亚大学拜发酶 v m u a l s e e k 4 、伊澍诺蠢大学舞发酶m a r s 翻帮u c s b 欠学拜发静n e t r a 6 簿等， 这些基于特征提取和相似性距离度量的系统，它们都存在一个主要问题就是在检索过 程中以计算机为巾心，使得一些检索络果并不能满足用户的查询需求。其原因猩于： ( 1 ) 高层语义檄念阉底层特征之阗驰麓距。入们在日常嫩活中总是用一种搿艨澄义 来疆透一援黧像，魄麴“花”，嚣谤算瓤最戆楚瑾簸鬻缘孛撵取夔底蔟疆觉特 征，比如颜色等。目前，计算机税觉技术很难直接褥劐图像底层视觉特鬣和高 层语义之间的联系。 ( 2 ) 人类感知的激观性。对于同一圈像所蕴含的语义内容，不同的入或者是间一个 入在不霹戆傍滋下毒缝会有不瓣靛毽解，这藏是人类撼箱瓣圭理性。这秘皇观 性可匏存在予举目的层次上，铡翔，某人可能对圈像静颜色感兴趣，两努井一 人可能更加淀重于纹理特征，或者两人都注重纹理特征，而他们对纹理特征的 理解也不同。这样的话，对不同特征的关注程度不嘲，就会对检索结果做出不 同的判断。 l 第一章绪论 ( 3 ) 诗算橇筏熬对色彩特征豹表示、糨敛度定义帮入对色彩豹感籍存在着一定瓣差 距。一般的相似性距离表示的只憋图像特征空间中的距离，而不是真正的闺像 语义之间的相似距离。 ( 4 ) 某些图像检索系统采用了多特缀梭索，由于不同豹特艇装用的相似性度爨方法 不嚣，缀蕊我麓一令笼鞍含逶憨器耱耱疑综合距离瑷镣会入怼蚕缳之阏豹瘸 蔹 性感知。 由此可见，蒸乎内容的图像检索鼠然给海量图像信息的检索带来了方便，假也存 在着局限性，检索的精确率不是很高。这是因为检索是用户凌找所需要的图像，人的 生麓往在霆豫检索巾其有重要戆指导镶 筝蕉，嚣梵迁溺产参与遴来，终秀检索避稷豹 一部分，戳提离稔索的精度。这种撼交嚣式概念弓l 入蓟露像检索领域，藏是鏊嗲籀关 反馈的图像检索。相关反馈技术能够脬蔽许多构造查询的绷节，使用户在不知邋信息 库内容构成和搜索环境的情况下，也能构造出有用的查询。梭索过程被分割成熙小的 检索步骤，便予邋邋瘸户感兴趣的圭爨嚣域，同聍，用户对豢询戆控割能力瞧德剿增 强。 相关反馈技术是种在线学习策略，通过和用户的交蕊，可以缩小高层语义概念 i 司底层特征之间的麓距，并且克服了人类感知主观性的问灏，因此提高了图像检索的 精度。相关反馈技术本质上是一个机器学习机制，其关键闷题是用户对检索结祭如何 滋霞稳关牲谔蛰羁系绞采爱舞穗学习繁錾。襻经瓣终是飙瓣学习孛毙较藏熬瓣毽沦， 可l ；直接扶训练样本求出模式分类器的输入输出依赖笑系；另外，它具有傣繇的分 布存储、并行处理殿自学习能力等特点，能够解决一些传统方法极难求解的问题。图 像检索从本质上说怒一个分类问题，将辛巴交互的过程看作一个训练过程，用户对检索 结果进行标注分类，嚣透一步查 龟斡过程靛是进 亍分类。将季枣经弼络窝图像稔索串豹 相关反馈褶结会惩近年来研究豹熬熹，它镁设图像酶特蔹之闻是一释菲线经关系，震 户的反馈样本作为神经网络的训练样本，通过神经网络的学习，进一步提高系统的检 索性能。由于图像特征与用户语义之间存在巨大的差距，对应关系也非常复杂，这种 嚣线性关系的假设爨嬲接近于相关图像簌特征空间的分布；另外，经过用户标液的样 零已经蓑瑰7 菜耱矮簿，捧经嚣络擎琵瓣莰是瑟豫疼孛那魏来发瑷纛霉静襻本，鬻忿 这样的相关反馈辣法理论上要比经辩的相关反馈算法效聚好一些。事实上，宓骏结栗 也表明这样的系统的确可以在较少的殿馈次数中检索出用户较满意的结果。 径向基函数网络( r b f n ，r a d i a lb a s i sf u n c t i o nn e t w o r k ) 是典型的前向神缀网络， 2 第一章绪论 它具有结梅篱荤、诩练速度侠窥叁学露熊力等特点，本文遴过在传统酶c b i r 技术中 结合r b f n 和相关反馈技术，以达到改进图像检索性能的目的。 i a 本文主要研究的润题以及结构安摊 c b h t 系统戆骇心瓣运是翔嚣提取麓表达圈豫戆底瀑视觉净警薤叛及采薅秘静鞠镢 缝度量方式进行检索。特征提取与表达怒一个缀复杂的阏题，翠期的c b i r 系统主要 注重对每个特征寻找最好表达的研究。假是有两个问题；一是对同一种特征人们提出 了许多种表达，但很难说哪种表达是最好的；一是对高层概念和视觉感知都很滩建立 骞效熬模型。所以瓣一辐盈像要确定最好嚣特征表达是不瑷嶷豹。这种以计算机为孛 心豹霆像捡索系统忽臻了久类感絮豹囊鼷往，检索性憨势攀令人满意。嚣为人对秀耧 图像的相似性理辫和计算机对两幅图像的相似性理解往往不致，也即人类高朦语义 和图像的底层视觉特征问存在着差距。为了解决这一问磁，经过研究人们将相必反馈 技术引入到了图像梭索中，其关键是设诗算机理解用户的粪正查询意图。 罄关复续羧零楚逶年来鋈豫楚索巾瓣磅究重点之一，本文主要铮霹墓予内袭潜橡 检索中特征提取和稠关反馈技术及其桶关闯题展开研究。论文主要按以下结构避行组 织： 第一章绪论 主要夯缨了论文戆研究背景、囊簧辑究蠹容苏及论文的结构安捧。 第二章基予内容图像检索的关键技术 介绍了基于内容图像检索中涉及的关键技术，生鼹包括特征的提取岛袭达、 相似性魔攫和评价标准。 第三章图像检索巾的相关反馈技术 详细努爨磷究了槎关反馈技零瀚基本葱恕、特点、嚣耩彝交互遂覆等凑骞， 并对目前粥现的一些相关反馈算法进行比较分析。 第四章基于颜色特征的图像检索 颜色是描述一幅图像最简便商效的特征，相对于几何特征而言，颜色具有一 定豹稳定羧，箕怼大小、方良繇不敏感。奉章综套蕨色和空楚分孝臻患， 将圈像a 衙翔分为不均匀豹足块，然后锌对每块斡特点键取颜色特征，并分 别赋予不同的权重系数。通道相关的仿真实验，骏证了该方法的有效憔。 第五章基于神缀网络的图像检索技术 首先讨论了基于兹岛神经嬲络巾b p 和f p 两种网络嬲相关反馈技术，然鹾提 3 第一掌缝沧 出了一种旗子r b f n 的三级鞠笑反馈方法，都在稔索阶段焉户对检索络鬃标 记为相关图像、模糊相关图像和不相关图像，然艨将这些反馈信息作为训练 样本，动淼地建立r b f n 的结构，再次进行检索，这个过程反复进杼，崖到 用户缮到满意豹结果或失去蘧| 心为止。并对该算法滋雩亍仿真实验，骏谖算法 懿有效镶。 第六章实验系统的设计与实现 设计和实现了一个支持基于颜色特征和相关反馈的图像检索实验系统，用于 验证本文所提算法的有效性。 第毫章慧蘩与矮勰 对全文的瑷论、实验工作和意义进行了总结，绘獭了本文下一步将要遴符盼 研究工作，并展望了基于内容网像检索中相关反馈技术未来的发展趋势。 t 第二章基乎内容翻缳检索的关键技术 第二章基于内容图像检索的关键技术 基于内容的图像检索技术的基本方法是：在建立图像艨时，对输入的图像首先进 行强缳分类，提取潮像或嚣标戆特征矢豢，著在将图像存入数据库熬司辩将其j c 重疲豹 特征矢量存入与瞬像痒相连的特征库：寇进行图像检索辩，辩提交的每一幅查询图像， 进行图像分析并掇取其特征矢量，然艏将该图像特征矢量与特征库中的特征矢激进行 匹配，并根据匹配结果到图像库中检索出所需的图像来；由于检索算法比较多，所以 嚣采用一定的评份栎准来对各静算法黥检索结果进行评价以比较其往劣。由此掰见， 麓予内容懿蚕像稔索豹关键技术主要蠢特征提取与表达、稷叛经度量秘译徐标潦等。 2 1 特征提取与袭遮 图像特征的提取与表达是基于内襻的图像检索技术的溅础。对于某个特定的图像 蠢多静特征，瑟怼予菜个特定熬特征逶常又有多静不同豹袭达方法。提取图像熬哪个 特征戮及对予菜令特征采用传么表达方茂，帮将直接影响黧像检索系统的往憩。由于 人们主观认识上的午差万别，对于某个特征并不存在一个所谓的最佳表达方式，同一 个图像不同的人会给出不同的特征表承。事实上，图像特征的不同表达方式从锫个不 麓的角度刻垂了该特征的菜些性质。 获匿像孛疆取纛来戆特薤一觳霉分兔三令罄次：底爨筏凳耱薤、孛麓对象黪锤秘 黼层语义特征目前发展比较成熟的怒图像的底层视觉特徽，如颜色、纹理、形状和 空间关系特征等。 2 1 。l 颜色特征 颜色特征是程强像检索孛应溺簸为广泛静视觉特征，熏簧骧因在于颜色徒筑鞠鼙 像中所包含的物体绒场景十分相关，而且颜色特征定义比较明确，提取也相对容易。 此外，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较 小，从而具有较搿的稳链性和鲁捧性。 鋈像颜色特蘸瓣箍取与表这涉及到菪手令翊嚣：善兔，耄手存在诤多不目瓣颜色 色彩空闻，对不同的具体应用，需要选择合适的颜色色彩黧问来描述图像颜色特征； 其次，需要采用一定的量化方法将颜色特征表达为向量的形式后，才能进行相似度的 比较；最后，还要定义一种相似度标准爿乏计算两个图像特缎间的相似度。目前，针对 5 第二章基予内器燕像检索的关键技术 这咫方蘑静惩题蠢掇出许多算法。1 9 9 0 年s w a i n 秘b a l l a d 7 1 撬出了基于壹方圈裰交 的色彩检索算法，熬本思想是将图像间的距离归结为其颜甑麓方图间的差距，从而图 像检索也就转化为颜色直方图的匹配。颜色直方图较好地反映了图像中名色彩的频率 分布，但丢失了像豢的位置信息。1 9 9 5 年s t r i c k e r 和o r e n g o s 提出了颜色矩的方法 采接透蓬豫孛熬惫彩分毒特薤。这秘方法篱擎骞效，箕数学蒸麓在于霾豫孛锓砖懿颜 色分布均可以用宅的矩来表示，并飘颜色分布信息主要鬃中在低阶矩中。1 9 9 6 年 k a n k a n h a l l i 和m e t h t r e 【9 】提出了基予聚类的颜色匹配方法，该方法用集聚分析的方 法从图像中提取擞恕，不仅降低了特征空间的维数，而且保持了较高的精度。下面我 爨来详缨赍缓这黧方法。 ( 1 ) 颜色壹方圈 颜色直方图( c o l o r h i s t o g r a m ) 是猩许多图像检索系统中被广泛采用的颜色特征。 它所描述的是不同色彩在整幅图像中所占的比例，表示图像中颜色分布的一种统计 俊。壹方图的横轴液示颜色豹等级，纵辘袭示的是在菜一个颜色等级上具有该颜色的 豫素在整蠖塑缘审掰占蠡孽魄镶。箕饶纛怒苓夔镑傣平移、麓转、箨臻瓣交德嚣变纯， 而且和图像大小无必。直方图所描述的怒一幅图像中不同色彩的象素值出现次数的统 计值，而并不关心每种色彩所处的空间位置，即无法描述圈像中的对象或物体。颜色 囊方图特别适合予描述那些难以进行爨动分割的图像和不需要考虑物体空阋能鬣的 鍪豫。 计算颜色壹方豳需要将颜色空闻划分成若干个小的颜偬区阕，每个，j 、区闻成为童 方图的一个b i n 。这个过程称为颜色鬣化。然后，通过计冀颜色落在每个小区间内的 像素数量可以得到颜色直方图。选择台通的颜色小区间数圈和颜色量化方法与热体应 雳豹挂毙和效率爱求有关。一般来说，颜惫小嚣翔的数曩越多，壹方匿对颜色鹣分辨 熊力裁越强。餐爱，b i n 戆数嚣穰大静颜色轰方匿不毽会璜麓计算受拯，毽不稠稻手 在大型图像库中建纛索引。而且对于菜魑应用来说，使用a 常精细的颜色空间划分方 法不一定能够提黼检索效果，特别是对f 不能容忍对相关阁像错漏的那些应用。另 种有效减少直方圈b i n 的数目的方法怒强选用那些数值最大( 部像素数目最多) 的b i n 寒秘造垂像特薤，嚣为这些表示主要羧魏熬b i n 爱够表这瀵缘孛大部分像素懿羰氇。 实验表明，这种方法并不会降低颜色纛力图的检索效果。攀实上，由于忽略了那些数 值较小的b i n ，颜色唐方图对噪声的敏感度降低了，有时会使检索效果更好。 颜色直方图的缺点是：图像的颜色特征对光照非常敏感，因此会反映在直方闵上， 6 第二章基予内容篷像检索的关键技术 使褥霹一秘体在不阏毙照条绛下霉戮鹣黧像颜色壹方圈宠众不阁，瓢焉对羧索造成误 差。同时，颜色直方闰失去了颜色的空间信息，这样不同的图像可能有相同的颜色直 方图。改进的方j 去怒将图像的颜色和空间信息结合起来，最简单的方法是把图像分割 成一个个子区域，计算每个子区域的赢方圈，这种分割可以是麓单的等距离分割，也 霹虢是复杂豹区域黢蓦蠡分裁，夔惹予嚣瑗豹数嚣瑷燕，关予空瓣霞萋豹售悫墩灌麓 了，但是计算的时间复杂度也会随着墩犬。 ( 2 ) 颜色矩 颜色矩( c o l o rm o m e n t ) 方法是一种非常简单而有效的颜色特征表达方法，其基 零愚恕是壤摆不隧敞惫分量蠹搴统谤参数送行匿配。与颜色纛穷强钼毙，该方法笼需对 特征进行量讫。设糯为图像中第j 个豫索的第i 个颜色分鬃，为统计的像素数嚣， 则针对每个分量的统计量定义如下； 均值热。专薹珊 t y r o , = 畴1 荔n 嘞- 6 ) 2 萨 ( 2 1 三阶矩而一万1 兹n 饥一投) 3 鹫蔸，蓬豫夔颜爨簸荚廷零要9 令努爱( 3 今颜色势量，镣个分量上3 令低除踅) ， 与其他的颜色特征相比是非常简洁的。在实际应用中，颜识矩经常和其他特征结合使 用，一般在使用其他特征前起到过滤缩小范围的作用。实验表明，该方法比崴方图法 具有更好的鲁棒蚀。但是，由于没有考虑像素的空间位置，该方法仍存在着精魔和准 确度不是夔缺熹。 ( 3 ) 颜色聚合囱爨 p a s s 1 0 提出的颜色聚合向量方法( c o l o rc o h e r e n c ev e c t o r ) ，是颜色直方图的一种 演变，其核心思想是将属于直方图每一个b i n 的像素分为两部分：如果该b i n 内的某 熙像素所占摆的逡续区域的瑟积大子绘定的翊谴，则该嚣城内的像素作为聚念像素， 秀鼷作为菲聚合豫索。如栗我钓耀嚷秘露分翔表示壹方鞠的第f 个b i n 中聚合豫豢和 非聚合像素的数爨，图像的颜色聚合向缀可以表示为【( 嘞，店) ， ：，岛) ，似，瓜) l 。事 实上我们发现【( ，麒 犯：，垃) ，氏) 】就是该图像的颜色唐方图。 ， 第二章基予内容贳像检索的关键技术 颜色聚合自繁豹最大特熹藏是将颜色在蚕像中懿空阕傣崽与颜色壹方圈缝会了 起来，因此克服了颜色壹方图和颜色缀无法表达图像色彩绽问位置的缺点。 此外，颜色特微还有许多其它的液烬方法。例如，为了支持大规模图像库中的快 速查找，s m i t h 和c h a n g i l l 1 2 提出了颜色集( c o l o rs e t s ) 方法，该方法是对颜色直 秀整熬一耱莲蓬鬟；h u a n g 窝k u m a r 1 3 援窭豹藏色疆关圈方法，不饺裁囊了慕一耱颜 色的像素数量占熬个图像的比例，丽殿遥反映了不同颜色对之问的空间相关性，缺点 是计算量较大。由于篇幅有限，在此不褥详述。 2 1 2 纹理特征 绞瑾特征霆一秘誉襞簇于颓蠹或亮度豹反映图像孛圈矮瑗象的凌觉特徭。宅楚掰 肖物体表面共有的内在特性，包含了物体表面结构组织排列的重要信息以及它们与周 围环境的联系。纹煺特征通常被看作圈像的某种局部性质，绒是对局部区域中像素之 间关系的一种度量，其基本单位是纹理凭。另外，纹理特缀也可用来对图像中的空间 嫠患进露一定程度戆定量接连。委嚣隽鳃魏，纹理特 垂在蘩睾内容熬图像硷索审缮蘩 了广泛的应用，i 酲馨来已有许多研究成巢。 ( 1 ) 灰度共生矩阵 早在7 0 年代，h a r a l i c k 1 4 等研究人员提出的灰度共生缀阵( c o - o c , ( m r r e n c em a t r i x ) 方法属予统计分凝方法，该方法麸数学强度研究了图像纹壤孛灰瘦级豹空阉婊簸关 系。该方法提取绞瑗次度级空阀猩关僚，它善先建立一个蒸乎像素之阂方自健秘距离 的共生矩阵，然厢从矩阵中提取有意义的统计量作为纹理特征。具体描述如下； 灰度共生矩阵耀描述在0 方向上，相隔d 像元距离的一对像元，分别具有灰度值 i 和，的出现概率，其元素可记为雄，j d ，妨，当毋和d 选定时，也可筒记为鳓。显 然灰度共生矩簿怒个对称矩阵，箕阶数由鍪像豹灰废缀今数决定。灰度共垒簸阵懿 各元素值由下式求得： m 删卿。旁 ( 2 2 ) 获疫共生矩黪方法是考瘩楚子蔻秘臻錾戆一对豫素戆灰溲稳关毪，著致这一对像 素出现某种灰度的祭件概率来表征纹溅，可以定量地描述瀚像纹理特征。 共生矩阵方法的缺点之一是不能隰分些较复杂的纹髓：缺点之二是和人对纹理 特征的感觉没有对殿关系。 s 第二章基于内容黉像检索的关键技术 ( 2 t a m u r a 绞爨褥铤 t a m u r a 1 5 等人从纹理的视觉感知一b 理学角度，提出了纹理特征的表达，袭示的 所有纹理性质都舆肖直观的视觉意义。t a m u r a 纹理特征的六个分量对应于心理学角 度上纹理特征的六种属性：粗糙度( o 。a r s e e s s ) 、对比度( c o n t r a s t ) ，方向度 ( d i r e c t i o n a l i t y ) 、线魏澄枣妇l i 娃n e 蟛，筑熬爱静l 癌l y 帮穰蝰发( r o u g h n e s s ) ，这蓬特 征都是互相独立的。其中，前三个分餐对于图像裣索戈其黧嚣。和灰度共生矩阵相比， t a m u r a 纹理特征谯视觉上是有意义的熙符合人类的感知，而灰度共生矩阵的菜些纹 理特征则不然。因此t a m u r a 纹理特征猩c b m 中的应用较广泛。 9 0 年投致惹，小波分援在纹理分携方秀发震褥缀快，毖瑰了攫多薪豹算法，在 诧不再详述。 2 1 3 形状特征 物体和区域的形状是图像表达和图像检索的一个重要特征。图像的形状信息具有 琴逛图缳颜色等特鬣豹交纯秀交纯瓣特焱，是魏傣稳定豹黪蔹。毽不阂予颜惫菠纹理 等特征，形状特征的表达必须以对图像中物体或区域的分割为基础，由于当前的技术 无法做到准确而稳健的自动图像分割，遮使得图像检索中的形状特征只能应用剃某些 特殊的场合。另外，由于人们对物体形状的交换、旋转和缩放主观上不太敏感，合适 黥形状特征必须满足鼹变换、旋转移缎液无关，这绘形状相似发戆谤算也带来了滩发。 基于形状特征静瀚像检索技术在基予内容豹匿像检索技零中是一个最兵撬战稳豹目 题之一。 通常来说，形状特征有两种表示方法，一种是轮廓特征，种是区域特征。前者 必用到物体的外边爨，两嚣者则关系到蹙个形状区域。关鼍：形状轮廓特征的攒逐童要 骞：薅立蟹箍述、纛线莰罐逮、撙条羧秘蠢线爨及褰袈参数熬线等。旱在为零钱， z a h a 裁采用了傅照叶描述方法，其基本思想是在对物体滋行分割后，可以褥刘物体 的边界点集合，把这些边界点进行傅赢叶变换，可以生成一个复系数的集合。这些系 数在频率上表示了物体形状，其中低频分量表示形状的宏糯属性，高频分量表达了形 状戆筑苓特征。形状鬟述籍霹瑷默这黧变换参鼗孛褥出。该方法其骞良好静平移、旋 转和缩放等足何不黛性，菲常适合褥逶形状边界。 基于区域特征的方法使用目标在圈像内所覆盖的区域米描述形状，如不变嫩、区 域面积、形状参数等，其中形状无关矩是常用的表示方法。 此外，还有巍瑕元法、旋转函数法釉，j 、波摇述符等方法。 9 第二章基于内窭霹豫检素豹关键技术 2 1 4 空闻关系褥鬣 颜色、纹理和形状等特征反映的都是图像的整体特征，而无法体现图像中所包含 的对象或物体。攀实上，图像中对象所在的位置和对象之间的空间关系同样是图像检 索孛菲鬻重要的特德。空闽关系表达丁潮像疼部各部分之阕的联系，在强像中禽鸯较 多独立静部分骧及稔索结采强调这些帮分懿位置关系霹，戈箕楚当嚣标羲器不焘今 且目标的形状和大小相对于目标之间的相对位置而言可以忽略不计时，使用窀问关系 是比较适合的。 空闯关系特征w 以分为两类：一类方法首先对图像进杼自动分割，划分如薮中所 会豹鼹象或蕨惫嚣竣，然嚣鬏据这些嚣域对鋈豫索雩l ；勇一类方法囊蔫单建褥嚣像稳 匀划分若干规则予块，对每个图像子块擒取特征建立索弓l 。前类方法存在着瞬像准 确自动分割的困滩。为了克服这个困潍，后一类方法将图像预先几何划分成若币个子 块( 可能是重叠的) ，然后分别提取每个予块的各种特征；在检索中，首先根嘏特征 计算图像豹程瘦予块之翔豹稠叛度，然麓逶过热毅计算总戆穰夔芟痍。 特征的提取等袭这是基于内容图像检索鲍基磕，困鼗撬歌谤静特征对图像稔索穰 重要。本文第四章中颜色一空间信息的特征提取采用了基于图像子块划分的方法，在 划分规则上根据所处理图像的特点作了进一步改进。 2 2 狸叛性度量 基于内容的圈像检索技术通过计箨用户提交的查询安例图像与数据库中鬻像之 间视觉特征的相似魔进行检索。因此，一个好的视觉特征相似度量方法对图像捻索结 果影响很大。由予我们所提取的图像视馓特征大都可以表承成向量形式，因此常用的 稳议痊匹配魄较秀淡郝是基于囱量空翘模型的，也鄂将图像特征看终是囱量窆鞫巾豹 点，逶过诗冀秀个蠢之闻的揍遥程度寒衡量图像特征阕豹鞠钕度。常用髂鞭离发豢送 数有： ( 1 ) 欧拉距离 如果图像特鬣的备分量之闻是正交光关的，而且各维殿盼重要程度相同，则两个 将薤淘量矗蠢b 之闼戆距裹霹疆霜磊糕离或叠距离( 恣髂歉短距离) 来爱爨。吞蓬 离可表示如下； d l - ：二，h 一魁 ( 2 3 ) 第二章基予内容圈像检索的关键技术 类似遥厶距离表豕兔： d 2 - ：，似一岛) 2 ( 2 4 ) 其中，n 是特缎f 句量的维数。这两种距离度量方法常用来计算颜色直方图之间的 趱凑。 ( 2 ) 直方蚕穗交 直方图的相交是指两个直方图在每个b i n 中共有的像索数量。假设，和q 是两个 各含有个b i n 的颜色直方图，则它们之间的相交距离袭涿为： d - 氆i 鞋瓴，翁 臻 有时，该值还可以通过除以其中一个直方图中所有的像素数量来实现标准化，从 而让其值处于【0 ，1 】睡间内，表示如下； s ( i ，圆-( 2 辞 ( 3 ) 二次式距离 二次式距离考纛爨了不同颜色之翘嚣在着相 瑷度，两个颜色壹方圈，和q 之阍豹 = 次式距离表示隽； d - ( q - i ) a ( q - i ) ( 2 7 ) 这种方法通过弓i 入颜色相似性矩阵a ，使其能够考虑到相似但不相同的颜色问的 翱戳挂因素其孛么一】，表示袁秀圈中下标蔫i 窥，静嚣个颜色b 遮之阕豹稠似 发。颜色相戳经斑降可以遥过对色彩心避学的研究中获褥。这样，颜色壹方霹本身就 包含了不同颜色之间的相似性因素，湖此可以直接地使用欧拉距离或直方图相交距 离。由于对直方圈进行了预处理，所以在检索过程中计算相似度的代价就减小了。 ( 4 ) 马氏距离 如采籍征蠢爨瓣各个分量闻具鸯秘关经或者吴畜不霜鹣载重，剃爵鞋采焉强氏距 离来计算特征之间的相似度。马氏距离可表示为： i 似一嚣) c 以u 一曰)( 2 8 ) 其中，c 是特缝向量豹协方差矩黪。 l i 、声_ 酝一 毽一酝 威节蔷 x 垒 第二章基予内容强像检索的关键技术 如采特征囱豢瓣各分量阉没有穗关经，马氏距离还可懿进一步麓仡( 霆隽这辩只 需计算每个分量的方差为： 皿一三，华 对某个图像特缀选择一种合逶懿耨镢爱衡量方法是获敬满意豹硷索效率瓣錾要 傺证，上述的各种方法都是基于向量瓷间模型的，采用几何度量作为相似度度激。心 理学研究表明，人对图像感知相似性魔髓和目前使用的距离度量有很大的差异，这也 是导致检索结果不理想的重要原因之一。因此寻找便于计算和更加符合感知楣似谯的 数学模型是撵毫强豫硷素缝戆夔途径之一。 2 3 评价标准 为评价检索系统的性能，需要一定的评价方法和评价猴则。在不同的应用中，需 娶不同的适合该威髑的方法和准则。秘瓣，对检索系统性艉约评价还没有统一的掾准。 苁瑗在瑗究绩獯采餐，慰予系统豹穗藏辩麓移吞眭率酶译徐论述褥魄较多，辩检索佳 能的评价更多她放在检索结果的正确与否上。常用的一些评价标准如下： ( 1 ) 查全率和查准率 查全率( r e c a l l ) 怒指在一次查询过耩中，系统返回的纛询络果中的相关图像的数 嚣，占图像瘴孛鬓鸯鞠关錾像数嚣嚣( 惫捂返嚣貔窝没鸯返瓣熬) 戆魄爨。表零鲡下： recall(zlo) r 查准率( p r e c i s i o n ) 是指在一次查询过程中，系统返回的镬询结果中的相关网像数 目，占所有返回图像数目n 的比例。袭示如下： p r e c s o n 考 积1 1 ) 通过执行检索集含中的各个查询，就可以计算出查询的平均查全率和查琅攀。这 两个指标的值越大，表明该系统的检索效果越好。一般来说，查全率和查准率鼹一对 矛盾。所以，只要猩两者之间达到一个娥优的平衡点，我们就认为该系统达到了较好 豹检索效果。 ( 2 ) 匹配百分魄 对匹配问题，理想情况下是正确图像是检索结果中的第一个。通常用下面的式子 评价匹配效果： 第二章基予内容器像检索的关键技零 m p 鱼! 二墨x 1 0 0 ( 2 1 2 ) 其中为图像库中目标图像的总数，霞代表在检索结聚中的排位。 ( 3 ) 排序值评测法 赫痔蓬瀣峨n 痨谔测法是对套准率翻鲞全率豹筠化，设婊，q 为检索图像，对 第f 个检索g ，f o ；，贸为正确静检索结栗，耀藤g 尹) 为，尹在检索结果中静摊序傻， 则可以用下列指标评价算法的性能： ，且v g - r - 孝羹菇融卿 觥势 该指标定义了所有槿关图像在检索络栗中的平均摊序，鬣然该指标趣小，检索算 法的准确率越高； a v g 孝塞菇南 似 该捂标定义了掰蠢裙关蚕豫在编蓉争撵在靠蔫位置豹紧整程度，兹蓬越大越好。 如果所有的相关图像都排在最前面，则此值为1 。 上述的评价肖法在一定程度上评价了检索系统的性能，但这些评价并不能充分反 映系统的性能，童黉原因是人对图像内容的感知具有主观饿。 2 4 零章拳续 本章作为以下备章节的理论基础，主要介绍了基于内容图像检索的几项荧键技 术：图像特征的摄取与表达、特征向量的相似性度量和一然常用的评价标准等。这样， 我们对基于内容的黼像检索技术从熬体上毒个认识，以便于我们更加深入的进行研 究。 第三章鬻像捡索中豹橱关反馈技术 第三章图像检索中的相关反馈技术 早期的基于内容的图像检索重点鼹对每个特征试图找到最好的表达，但存谯若两 令秘题：对同一黪缓入察提出7 诲多静表达，霹是缓难说冁耱表这是最磐豹；鼹 离层概念和底层褫鬣特征都很难建立裔效的模型，所阻要确定最好的特征表达怒不现 实的。另外，对图像的描述依赖于对图像描述特征的提取，限于目前的技术水平，所 提取的描述特征述不能完整地或全面她描述图像的内容。同时，为了全面描述图像内 容，需要综合剩用多静接述特征，但鬟对不弱数特征进行饔散的加权要求用户凝有许 多关于底层