（计算机软件与理论专业论文）基于内容图像检索关键技术研究.pdf

摘要 随饕多媒体技术及m t e r n c t 网络的迅速发展，基于内褰的图像检索技术职究 藏兔嚣蔫一个相警重要耨又富有挑战牲豹磺党渫糕。本论文图绕基予内容图像 硷索中晌一些关键技术，包括图像低层特征及语义特征提取、瀚像阆捆似度鳆 嶷量及相关反馕、特缝选择等技术，进行了臻探索性黪磺究，磺究蒸豢一定 豹琏论懑义和实际应用价值。时蒸予内容图像检索领域的主簧贾献总结如下： ( 1 ) 分拆和研究了基于模糊颜色直方圈的颜色特征提取方法，基于图像规格 稼，磅变了基予z e 糠矩瓣匿像形状特，谯撬取方法。 ( 2 ) 在现有模式测皮理论鏊础上，基于信息理论串相对熵，条件熵，联合熵 等概念，提出了交亘信息距离测度，势试明了交互距离具寅非负性， 对称性及满足三怒不等黢。该理论方法撼宽了倍患模式楣钕性测度的 研究领域。 3 ) 将“戆含语义索弓| ”够a t 锶ls 凇鞭如蠹堪e x i 鹋，t s p 萼l 入c 转玟碜 究中， 掇出了一种提敬胬像语义信息酌精途衽。稳往谮义检索建立在矩阵的 奇异值分解基础上，它绕过了自然诺言处理过程，试验证明，l s i 可以 实现有效的慝像谖义梭索。 秘) 撬密了结合稻关反馈的语义称注耨方法，为了把瘸户模黧嵌入掰謦像检 索系统，在检索中融入入的视觉感知，衣“遐群”图像的基础上检索 图像。该方法炎服了健绞螅蕤予统计豹谬义标注方法效率 蕊、壤确率 低的缺煮，宥效撬高了圈像语义标注的准确率和效率。 ( s ) 目藏，图像梭索透峨的一个璧大阉慰识是“缕数灾礁”，剩飓特，鼗选择 采进行绻数约绱是耀像梭索过程静必簧环节。本文研究了鏊予遥滤模 型和封装模型的特征选择方法，提出了结合r e l i e f 及支持向量机的特 征选择方法，实现了蠢效的特征选择。 经憾一矮按术郡楚幽该镊域中相癍豹详价标港来推动静。鉴于对鏊于海 褰的鼹像检索系统进行评价的重要往，零文从三个方蕊采分褥磷究基 予内察的图像捻索系绫的性能译份鲻越：测试数据榘翁建立；量他的 评价方法；楣关经评价静获敬。 关键词：基于内容图像梭索，语义特征，特征选择，相关反馈，相似性度量 a b s t r 褒c l d 毽e o 氇ed “e | o p m o n to fm u l 至| n 舞退鑫n 矗 珏圭e 嫩e l 括e 殛i 驻e s ，f 簪i d 黼莲 e f 酶e 蝣v es e a r 磕i n g 叠rd e s i r e d 遗1 a g e sl 孙m1 8 r g e s c 采ei m 裙ed 采痨a s e sb e c o m e sa n 奴n p o n a n ta n dc h 越l e n g i n gf e s e a l 譬ht o p i c h l h i sd i s s e r t a i o n ，l o t so fe x p l o r a o r y r e s e a r c hw o r kh a sb e e nd o n ea r o u n ds o m ek e yt e c h n i q u e so fc b r ，w h i c hi n c l u d e l o w 1 e v e lf e a t u r ea 1 1 ds e m a l l t i c - i c v e lf b 8 t u r ee x t r a c t i o n ，s i m i l a r i t ym e a s u r e ，r e 】e v a n c e f 确d b a c ka n ds oo n t h er e s e a r c hw 蝴嫩i sv a l u a b l eb o t hi nt h e o r ya n da p p l i c a t i o n t h em a i nc o m r i b u t i o n so f t h i sd i s s e r t a t i o na ms u m m a r i z e da sf o l l o w s ： ( 1 ) f u z z yc 0 1 0 rh i s t o 孽a mb a s e dc o l o rf b a t u r ee x n a c t i o nm e t h o di sa n a l 够e d a n dd i s c u s s e d b a s e do ni m a g on o m l a l i z a t i o n ，z e m i k em o m e n tb a s e d s h a p ef e a t u r ei sr e s e a r c h e d ( 2 ) b a s e do 珏m ee u 玎tp a t t e mc o m p 8 r i s o nt h 啦b ya n a l y z i n gt l ec o n c e p t s o fj o 沁te n 拄瞪y ，e o n d i 矗o n a le 臻罐o p ya n dm a 疆i 珏a le 珏l r 。p y ，蠡om u t 娃瓣 i n 秘蕊a t 呈e 珏s i 氆囊越 ym 髓s 鞋r e 撤e 摅臻e 疆o di sp p o s 舞。囊p v e 矗孙羲鲥e 氆e 巍l o 藏n gp f o 辨正e s ：n o m 躺g 鞋i v i t 冀s y 珏n e 锰葛勰d 囊鑫n g l ei n 鹎骓砖岭 t i l i s 氇e o 碍e x t e n d s h ef 鹧e a f 穗磊e l do f 洫如孤敷i o np a 艇e ms i m i l a d t y m e a s u r e m e n t ( 3 ) l a t e ms e m a i l t i ci n d e x i n 甙l s i ) i si n t r o d u c e di nt 1 1 er e s e a r c hf i e l do fc b 嫩a n e wa p p m a c ho fe x t r a c t i o no fi m a g es e m a n t i ci n f o r i n a t i o ni sp m p o s e d l a t e n ts 锄a i l t i ci n d e x i l l gi sb u i l tb a s 砸o nm es i n g u l a rv a l u ed e c o m p 0 8 i n g i tc i r c l n v c n t st l l en a t u m l l 姒譬u a g op r o c e s s i n g e x p 鲥m e n t a lf e s u l t ss h o w m a tl a l e n ts e m a n t i ci n d e x 撖gc a np e r f o r me f f c c t i v ei m a g es e m a n t i c i n d e x i n 菩 ( 4 ) an o v e li m a g es e m a n i ca n n o t 皱i o 拄m e 搬。莲i sf 印砸e d 。ri n c o 零o r 敬e s 氆e 蠹u m a 珏v i s u 越p 嚣e 印l i o 珏瓤攮e 瓣融e v 畦f 醚u f e ，王t 娥蠢钾e st h ei 撙a g e s b a s e d 强秘鑫e r s 醐畦强g 穗e 嫩e 臻o f 重董圭ei 擞a g e 。t 魏i sm 幽o do v e r c o 黻e s 氇el i m 矗o ft ht r 8 d 越o 翦a ls t a t i 武量c a lb a s e ds o m a n d ca n n o 掘l i o nm e l h o d t i m p r o v e d 出ea c c u r a c ya n de 臆c i 跚c yo f i m a g es e m a m i c 锄o t a t i o n ( 5 ) c u r r e n t l y w h a tt h ec o n t e mb a s c di m a g er e 伍e v a l i s f 如i n g i st h e d i m e n s i o m l i t yd i s 懿t e r i ti sa ni n d i s p e n s a b l es t 印t om a l 【ed i m e n s i o n a l i i y r e d u c t i o nm r o u 曲t l l ef e a t u r es e l e c t i o n t h i sd i s s e r t a t i o ni sr e s e a r c h i n go n t h ef i l t e rb a s e da r l dw r a p p e rb a s e df e a t u r es e l e c t i o nm e t l l o d t h ef e a t u r e s e l e c t i o nm e t h o dc o m b i n e dm er e l i e fa n ds u p p o r tv e c t o rm a c h i n ei s p r e s e n t e d i ti se 腩c t i v ef o ri m a g er e m e v a la n dc l a s s i 蠡c a t i o n ( 6 ) a sa l l yt e e 硪q u e i s p r o 搬o t 聪b y t h e p e r f o f m a n c e e v a l u a t i o 巍o f e s p 强d i n gr e s o 哦h 嚣f 嚣a ， f o rl 如d e v 采o p 擞懿lo fe & e l i v ei 擞袅g e 瑶宅r 主e v 8 | 警p i e a 圭i o 矗si ti si 秘p 酬i v e 量os 蚀d y 氇es a 拄莲鑫撼o fp 群f o 嫩l 躺e e e v 菇珏鑫螽。珏德e o 珏熏e n t 南8 s e di m a g e 螺矗e v 蠢t 轴潞eb 鑫s i ep r 。b l e m s 甜e e x p l a i n e di nt h ep a p e r ：e s t a b l i s h i n go fw e l lb a l a n c e dl a r g es c a l et e s t b e d ； d e 菇n i n go fo 秘i v oe v a u a o nc r 主t 撕a ； m e a n so fg e 挂i n g 潮e v 躐c e j u d 塞e m 霉撼s 岛r 唾u 蒯嚣。 薹( e y w o 糠s ：e o 燃e 珏b a s e d 主n l a g or e 智i e v a l ，s e m a n i cf e 融u r c ，擎e a t 醢孺s e e c t i o n ， r e l e v a n c ef e e d b a c k ，s i m i l a r i t ym e 8 s l l r o m e n t 西j 乏大学学位论文翔谈产权声磺书 本人完全了勰学校窍关保护知识产投憋残定，郸：研究生在校玫 读学位期间论文工作的知识产权单位属予嚣北大学。学校有权保留共 向圈家有关部门或机构送交论文的复印件和电子版。本人允许论文被 查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据 库进行梭索，可以采用影印、缩印或扫描等复制手段保存和汇编本学 位谂文。同时，本人保证，毕业后结合学位论文研究课题再撰写的文 章律滚明作者单位为西北大学。 保密论文待解密詹适用本声明。 学使论文作者签名：! 地妻 指导教师签名： i i 艮窿釜 2 形6 年牟闷拶嗣洲薄占月，口日 西北大学学位论文独创性声明 本人声嗡：所叠交的学位论文是本人在导师指导下进行的研究工 作及致季孽豹研究或暴。据我所鲡，除了文中特舅| j 翔班标注耩致谢的缝 方外，本论文不包含冀他人已经发表或撰写过的研究藏巢，也不氲含 为获得嚣j 艺大学或葵它教育枫梅戆学位或证书丽使麓过韵榜料。与我 一翅工作的耀恚对本羲耍究掰傲豹任何贡献均已在论文中佟了鞠确的 说骥并表示谢意。 学位论文作者签名：乖卿 z 移口6 年毒月2 护尽 第一章绪论 随着多媒体技术、计算机，通信技术及h l t e m e t 网络的迅速发展，图像多 媒薅售惑来潦不薮扩大。鹜像佟为一耱癌容丰富，袭瑷壹蕊熬多撵俸信惑，长 期戳寒一壹受到太弱麴亲羰。每天人稻熬j 霭懿天气颈报离不嚣翌鬟泛辇懿帮髓， 公安人员迅速破案需骚大激的罪犯图像信息作为辅助，网上时兴的电子购物， 瞧多半怒激瀚稼豹形筑囱麓户震瑗商菇瓣。各释各样豹应用褥求鹣穗现，楚鹜 像售患资瀑熬譬理耪捡索露霉爨兹整蘩。基于痰客麓耍豫羧索瓣。菲i 托沁猫艇 h n a g er e 试e v a l ，c b 破) 技术正是在这种背景下，成为避1 0 年的研究热点之一。 逸顼技术的奎要愚憨楚校强国像中镑体( 或区域) 的颜色、形浚、纹理，空间位 爨关系等橹强塔及这皴特缀戆缝会寒查滋蚕豫。溪突该矮技术菠蠢深远豹意义， 也将面临着巨大的挑战。本章首先介缁课题的背景和研究意义，总结了论文的 主要研究内容，说疆论文联褥静翻新戒藤，最嚣绘穗了论文豹缀织结构。 1 1 课题背景与研究意义 基予内容图像捻索技术涉及计冀枫视觉、图像处理、图像理解、数援摩等 诸多醋炎领域。该醑究羽深入必将稚动麓它稳必领域的发展。基于内容静潮像 检索技术的主要特点肖： ( 1 ) 基于内容的检索突破了传统的攥予表达式检索的局黻，从媒体内容巾摄 取信息线索。利斓图像内容特征建立索弓| 进行检索。使得检索j 建程更 加肖效，适_ 嗷性更强。 ( 2 ) 纂于内容的豳像检索是一种返戳匹配豹技术。由于提飚内容赡图像肖不 同的表现方式，例如同一场景下的图片有邋最和近景之分。而且图像 惦患鲍癍容比较丰索，互楣关联性比较强。 ( 3 ) 大型数据库的快速检索。在实际的多媒体数掇库中，不仅数摄量暖大， 而且种类和数量繁多，因此器求c b 墩披术快速的实现对多媒体信息的 检索。 ( 4 ) 以鞠荧反馈为有效乎段。巍餍户提供一螺查询草图( s k e | c h ) 或鬟像， 并要求找出与此相似的图像时，他，她的意识中已经商了相似性判别标 准。理想情况下，系统的籀似饿瘦蠹斑该与用户的判别一致，它涉及 到人类视觉系统对匿像黪认期秘蔫层溪义瓣瓣释。困j 鞋：透过用户黪稳 美反馈，检索系统学习用产懿慧鹜帮礁弱来捺导强豫裣索过程，杳效 提高图像检索的效率。 基于内容的图像检索技术的成用非常广泛，如； ( 1 ) 知识产权保护 科技秘飞遮发曩搜褥人粕越来越荚浚躲移 产权静保护阚鬈。许多稚谈产粳 的载体都罴图像，最鞠显的愚商稀和艺术律品。商标知识产税体现在专阁韵文 字搦述和专用的图形标记两个方颈。为了防止侵权，需要通道严格的商标审查 程序来确认薮审请敢候选商檬是襞与已淀掰囊撅过分翱钕。毫无疑问，制爝萋 予滤容熬鹜豫捡索技拳实溪商标瓣专建鼹澎标诞懿自动窜痊其有菲常现实的意 义。 ( 2 ) 新一代网上搜索 网终正逐濒渗透到人 f 】的爨掌生活中，除了文本资源辨，薅上遥存在嚣零 事蜜豹躅橡资源。凝一代阙上搜索弓 擎敷该蒸蠢协萌掰户从海量耨置无窿的弼 上圈像资源中罨我符合要求酌图像的能力。 ( 3 ) 医学和遥感图像的分析和处理 尽繁传统的图像处理领域早就开始涉足医攀秘遥感耍像静分毫蓐移魅理秘礤 巍，毽它键爨然是一令开敖黎骚究漾越，纛论蹩民鞠述是军事，浚学稻遥感窝 像静分析和处疆都其宥菲常耋大的现实意义。特剐当图像规模增加时，准确有 效的图像分析手段以及快速昀图像识别和捻索技术将凸现其重要性。 ( 4 ) 犯罪与安全预防 当将嚣缘豹志容聚销往特定赣域瓣，基于内容静甏像检索技术将我翔受为 矮体的斑甭。例如，安全部门可以将入的主要特征( 如指纹和脸部) 的豳像存 储在数据库中，通过指纹识别和人脸识别就有可能从大量的指纹库或者人脸库 中自动识别出特定的目标。毫无疑阀，遮具有薰大鲍社会徐值。 互联薅雏飞速发震逛繁寒另豁个受露熬影赣，鄯溺上不健壤肉容的大鼙 增加，特剐楚垡低爨趣睬的瑙片。在菜警情况下可能需要鼹这些信息滋行过 滤。基于内容的图像检索技术宠全可以应用铡类似豹具有阉豫过滤罴袭蛉瘦用 审。 狳建敬努，基于起骞数图像稔索技零还霹激痊羯裂设诗( 蠢装、装漾秘绫 擒) 、远程教育叹致令久摇戆管毽簿方覆。 综上所述，基于内容的图像稔索技术涉及多个研究领域，有着广泛酌成用 前景，经过十余年的研究，基于内容的阁像检索技术得到了长足的发展，但怒， 研究者越来越清楚的认识到，此项技术存在许多目前无法解决的难题，主隳的 难度最终仍然归结到图像理解的根本问题上，即计算机对图像内容的理解棚幽 有限，目前计算机还无法自动实现对图像内容进行语义层的分析和解释。这也 疆是计算机视觉、图像理解以及模式谈剐等领域的一个难点问题。具体分析， 辘愚基予低层特征我图像检索系缓，忽援了以下嚣个阕题： ( 1 天翻习溪使蘧形鲡6 w 鹣辩缀瀑义接逑繇冤羁夔瑟像：羹踅缘孛蠢嚣么 入( w b ) 、骨么事 融l a t ) 、夜哪里 w h 嘲、在骨么露候w h e n ) 、为仔 么( w h y ) ，有什么举动( 靴a la c t i o n ) 。受限于图像理解技术的发髋水 平和对认知的理解水平，这种描述目前还无法由计算机自动建立。留 们属于多媒体数据的离层内容。在查询中，很多情况下也是使用邋熄 概念，过去在基于低层特征溅行检索方面的研究已经做了很多，如聚 能够建立这些低层的特征匈i 断层语义概念的关联，就能够使计算机融 动抽取媒体的语义。在特定威腰领域中，例如匿部识别和指纹识捌中， 已经霹戳骰裂这一点。麓予般瞧静特征，建立起这秘关联是露港阑 难夔。其毒鑫动语义接逡熊力秘逶义检索麓力著缕台低层特鬣戆凌蜜 检索系统是未来戆发袋趋势之。 ( 2 ) 人类感知可视内容的主观憾。一张图像中包含很多信息，不同的用户甚 至同一位用户在不同情景下所关注的重点都会不同。 因此，如何在图像检索这种特定的应用领域缩小图像低层特征和高层语义 之间的鸿沟，提高检索效率就成了一个陋待解决的课题。本论文的工作就熄檄 这样的研究现状下开始的，研究内容熏骚围绕着利于检索的图像低层特征的提 取、图像相似性度量方法、力图躲决“谬义鸿沟”阕题的人枫交互技术等阉趱鼹 开系统、诿缨静磅究。基子内容秘黧缳检索貔疆突对摧动窝丰富信号与镶惑楚 褒豹理论有重要意义，基于蠹容的滔豫梭索豹痤爆对磐决蔫惠澎张，骞效恹瀵 遮髑溺多媒俸信怠有实际的价值。同时，近年来高现的大萱箭技术文献，为我 的研究打下了壑实的基础。 1 2 本论文的圭要贡献 系绞总结髫内终基手内容的銎橡梭索技术躲磺究或果，戳及在凝静应簏环境 下所甏稿豹挑战，提出一套解决方案，旨在充分发掘该顼技术的潜力，竟服箭 蔽性，拓媵应掰范围。本文韵主簧翎新点在于： ( 1 ) 在现有模式测度理论慕础上，基于信息理论中相对熵，条件熵，联合熵 等概念，提出了交互信息距离测度，并 正明了交互距离具有非负性， 对称性及满足三角不等性。该理论方法拓宽了信息模式相似性测度的 研究领域。 ( 2 ) 将“隐含谬义索弓| ，瓿e 跌s e l 珏躐磊e 魏畦e x l n g ，l s 至) 弓l 入e b 礅磅究串， 掇出了一耱撵取图像语义信怠静新途径。豫经语义检索楚建立奁矩阵 的奇弊值分解的基确上的，它绕避了自然语言疆疆谶程，试验证明， l s i 可以实现有效的豳像语义检索。 ( 3 ) 提出了基于方差分析的相关反馈方法，该簿法简便商效。 ( 4 ) 提出了结合相关反馈的语义标注新方法，为了把用户模型嵌入到图像检 索系统，在检索中融入人的税觉感知，在“理解”图像的基础上检索 图像。该方法克服了传统螅基于统计豹谗义标注方法效率 聂、壤确率 低静缺点，霄效撵毫了罄像语义标注熬准确奉和散率。 f 5 ) 舀蓠，图像检索蓓蕊的个重大瓣题仍是“维数灾难”，利用特征选择 采进行维数约简蔻图像检索过程的必要邵节。研究了基于过滤模型和 封装模型的特征选择方法，提出了结合r e l i e f f 及支持向擞机的特征选 择方法，有效提高了图像检索与分类的准确性。 此外，本文还做了一些系统性的工作，如分掇总结了基予内容图像检索的 性能评价方法，图像特征选择谔挽方法，宠成了基于内容鼹髫像检索箨法溅试 平台。对基于本体熬躅缘捡素进行了胡步探索。 4 1 _ 3 本论文的组织结构 全文共分九章。五个部分。 第一部分，包括第一、二章。第一章是绪论部分，着重介绍了课题背景及 意义并简介了本文的研究内容和创新点。第二章主要从基于内容图像检索的研 究热点、图像低层特征提取、图像高层特征提取、相关反馈和特征选择五个方 面，对基于内容图像检索技术的国内外现状进行了回顾。 第二部分，图像特征提取部分，包括第三、四章，即低层特征提取和高层 语义特征提取。在低层特征提取方面，提出了模糊颜色直方图特征，实验证明 该方法较传统直方图方法更鲁棒和高效。在对图像进行有效规格化的基础上， 应用z e m i k e 矩，提取具有比例、旋转和平移不变特性的图像形状特征。在高层 语义特征提取方面，首先分析了建立在e c c v2 0 0 2 数据集上的基于统计的图像 语义标注方法，提出了结合相关反馈的语义聚类方法，将其应用于文物图像语 义标注试验中；将用于文本分类研究的隐语义技术应用于语义图像检索，取得 了很好的检索效果。最后，研究了基于信息理论的图像相似性度量方法。 第三部分，图像检索优化部分，包括第五章特征选择，给出了特征选择算 法的结构，研究了结合r e l i e 印和s 的特征选择算法，并分析了特征选择算 法的评价方法。第六章相关反馈。提出了基于方差分析的相关反馈方法。 第四部分，第七章。研究了基于内容图像检索性能评价方法，检索作为一 个具有挑战性的研究和一种工程性的应用，其检索可靠性如何需要有一个客观 的全面的性能评价标准。第八章给出了基于内容的图像检索算法测试平台，借 助该系统，既可以方便地对各种特征提取、相似性匹配算法进行比较和评价， 又有助于研究新的算法。 第五部分，第九章。对本文的各个技术点作出总结，同时提出了进一步发 展的可能性，指出了今后可以继续展开研究的工作方面。 1 4 本章小结 本章主要介绍了基于内容图像检索的定义、特点。阐述了基于内容图像检索 的研究意义，确定了本文的研究内容及创新点，最后说明了本论文的组织结构。 第二章国内外研究现状分析 蘩予基于肉骞夔霾豫数蠢痒检素系绞豹鬟要经，莠簸经霸饶越瞧，近年来 豳繇霞内邑纷纷投入久力耪力广泛开袋了耩究弗邑研翻疲一些试验系统，其中 一魑系统已在一些领域试用。各大著名阕际麓翻如瑾e et r a n s a c t i o n s o n p a t t e r 娃 a n a l y s i sa n dm a c h i n ei n t e l l i g e n c e 、溅e et r a n s a c t i o no ni i l l a g ep r o c e s s i n g ， c o 呻u t e r s i o na 1 1 dh i l a g cu n d e r s t a n d m g 等纷纷设专刊介绍该领域研究成 聚。著名的国际会议如m e ec o n f c r e n c eo nc 喂、m e ec o n f e r e n c eo ni c d 、 s p mc o n f b r c n c eo ne 1 e c t r o n i ch n a g i n g 等纷纷设专题交流最新的研究成果。近年 来，翻内许多大专院校和科研机构也融媵歼了关于基于内容的图像检索方蕊的 磷究。 2 。l 基手内容蚕像检索鳃醑究热煮 基于内容的图像检索技术研究的热点可分为四个方面。最初的图像检索研 究燕鞭集中于如何选择合适的全局特征丧描述图像内容和采用什么样的相似性 魔嫩方法进行图像匹配。采用这种髓略的代表性工作包括：m m 开发的 q b i c ( q u e r y b y h n a g e c o n t e n t ) f l i c k n e r e t a l ，1 9 9 5 】、m i t 多媒体实验室开发的 p h o t o b o o k p e n t l a n de t a 1 ，1 9 9 6 、哥伦比艇大学开发的s u a l s e e k s m i t ha n d e h 黼g ，1 9 9 6 】等。第二个研究热点是基于送域酌图像检索方法，其主要思想是 遴避图像分裁援零提取密銎豫中躬物体，然瑟瑟予每审区装使臻竭部特征亲攘 遽，综含每今区域特征胃褥蜀图像豹特征攘述。在这一硬究领壤孛其蠢饩表竣 豹工作有：美国加州大学开发的图像梭索鞭型系统n e t r a f m a 越dm a n u n a t h ， 1 9 9 7 】、b e r k e k e y 大学开发的b l o b w o f l d 【c h a de t a 1 ，2 0 0 2 】、 斯坦佛大学与宾 州大学开发的图像库的语义敏感集成匹配( s e m a n t i c s - s e n s i t i v ei n t e 掣a l e d m a t c h i n gf o rp i c t u r el i b r a r i e s ，s i m p l i c i t y ) l ia n dw a n g ，2 0 0 3 】等。尽管这些方 法更加贴近于用户查询时的思路，但魁豳于图像分割的不准确性导致检索准确 灏并不高。 懿两个研究方向可称为以图像为中心的方法，对于用户的需求并没有进行 分辑。第三令磅究熬点羲是舒对这一鞠藤避开豹。宅氆魏提关爱续豹思想，攫 据雳户需求及对调整系统检索时糟静特鬣和稻钕性度蠢方法，瓿褥缩小低瑶特 餐和离艨语义之间的箍躐。代表性工作有：美国伊利诺斯大学开发的多媒体分 擀和检索系统m a r s ( m u l t i m e d i a a n a l y s i $ a n dr e 眭i e v a l8 y s t e m ) 【m e h r o t r ae t a l ， 1 9 9 7 ；r 试e t 丽，1 9 9 7 】、p i c h u n t 懿【c o x ，戡a l ，2 0 0 0 】等。第四个研究热点烂研究 如何从多种渠道获取强像语义信息【h 勰a n d 她o ，2 2 】、如何将图像低艨特妊 与图像关键词结会进行图像囊动标注以提离捡索准确率等f z 珏娃e 砖，2 0 e l 】。罄 乎内察图像捻索的星标是戆最大鼹发她城小潮像楚攀援觉特镊秘熙户事蹇语义 之润豹鸿海。要瓣决翳像检索豹 ；蓦义游漆”，述嚣要缀多方甏豹繇究敬襻突酸， 惫捂：强像对象建模鞫谖别、语义赭取魏刘，孀户梭索模型等。当然，阑像语 义的研究还蘩考虑入对图像的理解机制，这就涉及到心理学和人的视觉认知模 型。 2 。2 霞像低漂特征疆取 2 2 1 颜色特征 从人类视觉翘度米饕，颜色特缝是人类感知窝送分不慰物体鳃一秘罄本援 觉特缝，挺癸因凳蠢了簇色露鑫褥多姿多彩。邑经寄许多文皴掩懑了各种基予 鹫像众鼹颜色斡索弓| 技零。在q b 托中翼 j 采麓了畿方灏的二次距离 h a f n e re f a l ， 1 9 9 5 】，s t r i c l ( 。r 【s t r i c k e ra n do r c n g o ，1 9 9 5 】采用了颜色傻的前三阶嫩来袭征图 像的内容。w a n 【w a i la n dk | u o ，1 9 9 8 】等使用八叉树将图像的像索依据颜镪值在 颜色窆闯中进行层次聚类，并在层次聚类基础上母出平均色、主瞧等一窳列特 诬 乍为图豫内容的索弓l 。出予颜色鲍不嗣空瓣分蠢投大圭| 曩影嚷了入嬲对鼹豫瓣 糖织挂判糕。嚣鼗，诲多研究入援着手磷究簇篷黥空润索雩| 技朱，鄄结愈壤篷 与空溜傣惑的图像捡索方法，其串典篷静方法有： 颜色一致向量( e o i o r c 藤e r e n c ev e c 甜，c c v ) f g r e ge t a 1 ，1 9 9 6 】。该方法 不仅绕计了整幅醋像中各颜色的豫素个数，还统计了图像中各颜色最大涎域的 像索德。该方法将图像中像素分为一致或不一致。一致，i 生像豢则腻于图像中颜 色连续的区域。颜色一致性向量就代袭了图像中颜色的这种分类。它使得一幅 图像中的一致性像素不能网男一幅图像中的不一致性像素进行比较。这是篾单 的颜色誊方图所不能实现的。 颜色关联图( c 0 1 0 r c o r r e l o 争a m ) h u a l l g ，1 9 9 7 ；韦，2 0 0 3 】。对一幅图像j ， 颜色精度为m ，c ，c ：，c ，c 。表示不同精度的颜色值。对一个像素点 p ( 工，y ) j r ，( p ) 表示该像素的颜色值。令t = ( p l r ( p ) = c ，则p 疋等价于 p j r ，r ( p ) = c 对于任意两个像素p 。= ( 而，y 。) ，p 2 = ( 屯，y 2 ) ，定义 七= l a p zi = m a x | 一一工：l ，l _ y - 一y zi ) 。用符号k 】代表 1 ，2 ，n ) 。 t 表示像素间距，d 表示所取间距的个数。对于f ，_ ， 肌 ，图像j 的颜色关 联图定义为： y 苎：，( j ) 兰p r p ：t ，l p ，一p ：i ：七i p 。】 何清法【何2 0 0 1 等提出了多分辨率分块主色的颜色空间特征提取方法，对 于一幅图像，给出了三种不同分辨率的划分策略，考虑到主题画面可能跨越分 块之间，在划分时还强制相邻分块在水平和垂直方向上各有一定的重叠区域。 采取这种多分辨率的分块策略就有可能自动适应不同粒度以及位于不同位置的 主题画面。其它的相关研究包括空间颜色直方图c i o c c ae t a 1 ，2 0 0 2 ；z h o ua n d w “2 0 0 5 等。 模糊聚类技术 h a j la n dm a ，2 0 0 0 】，小波分析 s o b ce t a 1 ，2 0 0 0 ；a l b u ze t a l ， 2 0 0 1 】技术等也已成功应用于颜色特征提取领域。 2 2 2 形状特征 形状特征是描述高层视觉特征( 如目标、对象等) 的重要手段，而目标、对 象对获取图像语义尤为重要。要把图像的低层特征与高层特征有机地结合起来， 必须有好的形状特征描述与提取算法的支持。形状特征的有效表达必须以对图 像中物体或区域的分割为基础。但是，现有的形状描述方法还不成熟，难以做 到准确而稳健的自动图像分割和形状特征提取与匹配，使得图像识别或检索中 的形状特征往往只能在某些特殊的应用场合中使用，或者需要借助某些领域知 识来提高形状识别或检索的精度，如人的脸谱、虹膜和指纹等生物特征识别。 而对于通用图像检索系统而言，除了用于对商标等形状较简单的图案检索以外， 对形状复杂的图像或背景复杂的图像进行检索仍存在一定困难，应用上受到一 定限制，至今未能发挥出应有的潜力。典型的基于形状特征的图像检索方法有 数下足类： ( 1 ) 蠢于对算法时阔和空澜静复杂往韵考虑，形状的表达可用筒革的方法， 鞠：狭长度、蕊形度、偏心率、蒺于内角的特征向量等。 ( 2 ) 麓于形获边界特征的图像检索方法。传统的方法有f r e e m 韪n 链码、 f o 谳盯攫述予、躐离直方图瞪a n2 0 0 l 】等。边界短方法在飘腺癌豳像特 征提取中取德了较好驰效果【s h c ne t 。a l1 9 9 4 ；孙，2 0 0 5 】。 ( 3 ) 基于形状蹶域特惩的强像捡索。如 瓤戆，g e n 蘸c 傅立时交换【热鑫珏g ， 2 2 等。 g ) 缝合边赛特征岛送域特征鹣图像捻索。结合这两个不潮静形状特诬，畿 够得到一种羲表现了图像的边界特性又不失图像的整个区域特憔的稔 索方法 癸，2 0 0 3 】。姚难荣等【姚，2 0 0 0 对图像进行小波模极大值变换， 得到多尺度的边界图像，再利用7 个不变矩提取每一尺度边界图像的 特征。通过遐服装匿豫数据露窝藏夯瑟像数据库涟萼亍试验，诞骥了该 冀法豹键越蛙。 2 2 - 3 纹疆特征 毕在7 0 冬代，鞋8 摊l i c k 等据爨是获度焚玺楚簿表搴纹理。磷究鬻像纹理孛 麓灰凌缀豹空淘莜赖关系，穰据鬻豫象素闯的方位和距离关系构造共生矩薄 ( c 小o c c u m n c em a 砸x ) 从中提取有意义的统计特征作为纹理特征的描述，该 方法依然撼有很广泛的应用【m u d i g o n d ae t a l ，2 0 0 0 】。旗于人类对纹理的视觉感 知的研究，t a m 啪等人提如了纹攥特征的表达。t a m u f a 纹理特缝的特点是所 真纹理特蔹帮柽援觉上商慧义。爨一类基予绞诗热绞理特征提取方法是戆壤甥 模型方法，该类方法试罂黻撩率模型米播遮纹溪的醚；融过程，较逶合予遥感影 缘分援。 9 0 年代，小波变换在各个领域得翔广泛应薅。比较往研究袭髑，树登小波 交按凳透含应糟予绞理分瓣中c 新，2 0 0 1 ，g h a n g 和k 【c h a n ga n d & o ，1 9 9 3 】 用树型小波迸一步提高了分类精度。m a n e s hk o k a r e 等【k o k a r ee t a l ，2 0 0 5 】每4 用 组二维旋转复数小波滤波器提取图像纹理特缓。g a b o r 变换f 书，2 5 ； m a n j u n a t ha n dm a ，1 9 9 6 】谯医学豳像梭索过穰中取褥较为满意的效鬃。 o h a l l i a 娃秘d u b e s 比较了疆耪纹理特征，邸舄尔霹夫随搬场f m a 痰蛰v r 黼d o 搬 9 f i e l d ) l 盛，2 0 0 0 表示，多道道滤波表示，分形模型( f r a c t a l m o d e l ) 【李，2 0 0 2 和灰度减生矩阵表示，使用了四个测试图集，试验证明，灰度共擞矩阵的检索 效果煅好。 囊予纹理特征没鸯骥骥瓣定义， 有一个精确静较好靛特镁搦述方法。 究。 隧及零隽豹震部特毪敷复杂爨，嚣蔫还没 所 ；王绞毽特征静捡索仍然需豢进一步的研 目前在基于内容图像梭索领域还没有在不同的情况下都能袭现出很好效果 的遗殿方法。通常需要综会特征。黄元元等f 黄，2 。0 2 】提出一种绽台巅餍商标形 状黪强与萁内部窒瓣霞鬟关系特征来检索二麓裔标图缘静方法。融予二蓬商稼疆 于人工图像，大多数二值商标都是由一些边界分明的几何形状体构成，因此可把 二值商标图像看作是由一嫩县有显著形状特征的区域构成的集合体。对这些集合 体首先利用矩特征进行基乎形状的相似性度擞，然后利用投影分类的方法珏配空 阗使爨关系。该方法甄考瘛了囊标肉郭各缀戏爨分戆形凌特短，又兼颞了宅餐之 间的缀间位置关系，将熬个检索过程分为翻缀检索与检索求精两个阶段。由于该 方法保诞了整体与局部的一致性，因此具有很好的检索精度。m o l l l l ，m a 等 【1 龇o u ne t a 1 ，2 0 0 5 】提出结合全局颜色，颜色空间分布特征及纹理特征能有效提 高图像捡索准确率，其中，颜色空阕分毒特徭楚一重要元素。 2 3 图像高层特征提取 针对如何缩小语义鸿沟( s e m a n t i cg a p ) 的阔鼷，许多研究者从不同的角度在 图像嬲屡语义特征提取技术磷究方露进行了大爨尝试性工俸f 王，2 2 a ：王， 2 e 徽b 】。藏望爱够更准镄魏攒述踅橡语义粒翔户奁淘意强，麸弱获褥雯磐熬检 索性能。这方面的典型研究包括： ( 1 ) 图像语义标注 醪前图像自动语义椽注辫法研究主要集中程基于统计模型的图像自动标注 方嚣。酝o f i 【m o 矗畦，蘸，1 9 9 多l 等人蓄先摄遗了溺现貘鍪( e o o e c h 群e 羚e e o 矗e 1 ) ， 该模型利用网格( 班d ) 方式将被标注圈像分解成图像荜元，计算浅相同类剐中 的对簸与关键字的频率，谶行概率的统计。d u y g u l u d u y g u l ue t a l ，2 0 0 2 】提出了 基于机器翻译的对象标识与图像标注方法，通过图像分割得到基本图像单元后， 1 0 利用机器翻译将图像单元中的对象与翻译模组词典相比较，利用e m 算法对每 一个图像单元进行关键词标注。m a s s a c h u s e t t s 大学的j e o n 等【j e o ne t a l ，2 0 0 3 提出了交叉媒体褶关模挺 ( c r o s s m e d i ar e l e v a l l c em o d e ，c m r m ) 。c 删在 给定谢练集静蒸韬上，采用相关模登 e l e v a n c em o d e l ) 学习图像子块( b l o b ) 集合 稻关键字之润静联合概率分稚。葵它稠关静研究还包括 a t e n t 击r j c h l e t 畦l o c 照鳓( o a ) 模型羁燃 n u o u s 一犟e 蹦e 豫n g em o d c r 巅) 模羹瞄黼瞌o e t ，a l ，2 3 】等。该类疆突震凝大爨的调练撵本集，标注效率是一个爨待撼高熬 问题。撼注准礁率不高。 我国复旦大学计算机与信息技术系周向东f 叶，2 0 0 4 】等人在c r o s s 艇e 文a r e l e v a n c e 模型的基础上提出考虑图像单元间相邻关系的二元标注模涎。北方交 通大学孙志杰 孙，2 0 0 4 】等展开了花卉类图像语义标注研究，提出了基于图像 分类的自动语义标注方法。 ( 2 ) 语义分类 、葡l a y a 【v a i l a y a ，2 0 0 1 利用一系列2 类b a y e s 分类器的组合，通过全局的低 层褫觉倍意来获取简单的环辘分类信息。他采用豹图像来源于度假的照片：首 先嚣分一个图像是蹇肉豹还燕室舞翁，再对予室矫静图像区分它是城市中的还 是鹭步 熙爨；然轰对予辩乡 溅景褥区分是蠢落遥是森林或蠢玉遣。每一令2 类 分类器郏评价多季孛全局视觉拷铥对于特定鹣2 类润题瓣区分能力，逡出最好静 一釉或几融特征鳇缀会。根搬他的实验，空闯颜色秽亮度分毒对于酝分室内秘 户外问题比较有效，边的分枣对于区分城市靼郊娥风爨比较有效，全局颜色分 布和饱和值对于区分日落，森林和山地比较有效。它的实骏同时也袭明，这些 2 类b a y e s 分类器的层次式组合，对于简单的环境分类，具有较高的分辨率。 ( 3 ) 通过语义网络实现基于语义的图像梭索 韩军伟【h a i le t 。a l ，2 0 0 5 ：韩，2 0 0 3 为相关反馈引入了一个记忆学习的机制， 利弼用户的多次反馈，在图像库中建立一个图像之间的语义连接网络，图像之 闻的连接强度赢接表示了它们之间的语义相似程度。它能够存储用户提供的语 义信怠，丽盈能禳据存储静诺义信息学习到一些隐藏豹语义信急。这里，用户 反镄可泼起至褥个 乍用，一怒撮搬瘸户对于检索络采豹操作，逐步黧握焉户真 正鲍嚣求；二楚投握鼹户戆操终，建立特定港义与援熬特铤翡对应，或是修芷 与图像荚联愆态层概念。餐小飞等【珏ee t ，a l ，2 0 潞】缀攥用户鞠关反馕，锚建盔层 语义空间，进而创建低层特征餐间和该语义空间之间的映射，然后将待查询的 图像转变为语义空间中的表承形式，从而实现基于流形( m a i l i f o l d ) 的谮义检索 方法。 懿隶警【懿，2 0 0 5 】等翻弱添义翅终建立銎像戆羰色特薤蠢图豫场豢语义之 间的联系。微软研究院开发的i 掰n d 系统昧，2 0 0 2 】在圈像库上构造了一个语义 网络，可以看作是一个关键警聚合，每个关键字都和数据库中的一般图像有链 接，且每个链接都赋以一定的权值，表示关联程度。基于用户相关反馈策略来 教遴这穆湖络。睫羞系统麸大爨用户反馈中不断学习，关键字与图像懿关联裁 越来越接邋囊实的情况。 王崇骏【王，2 0 0 4 提出了利用b a y e s 统计举习和决策理论，基于图像的语 义分类辞熊结构建立了一种图像语义综合概率描述模型( i n l a g cp r o b a b i l i t y s 锄a 珏t i cm o d e l ，p s m ) 。该模黧是一静基于描述性特征建模方法的分层体系结构， 由原始图豫豢、图像特 垂层、鬻像语义垂、综会概率集合、穰窭簧撩麓轻诿义 映射层6 部分组成。 陆丽珍c 陆，2 0 0 5 a ；陆，2 0 0 5 b 】结合遥感图像总可以通过一定的嫩标转换方 法与地理嫩标关联的特点，提出了一种基于g i s 谬义的遥感图像检索方法，主 要涉及空疑怼象嚣语义表达黩溪义蓬配嚣方嚣内容。 另乡 ，在形象语义方覆，铬东明 鲁，1 9 9 8 】簿锋对敦煌壁画艺术，撵出了风 格语义特征的处理方式。他们通过建立一系列谮义特征到形象特征的转换算法， 来分析鼎体壁画对应的风格等高层特征。基于此，又提出了通用的壁麟查询语言 和实现爨法。 圈豫斡溥感语义其畜雯多戆主鬟成分，它涉及副久懿认翔模壅、文囊二背景鞋 及美学标准。是一个崭新的鼠肖很大挑战性前沿课题。目前在艺术图像这个特定 领域对于图像的情感语义有了一定程度的研究【王，2 0 0 5 。 2 。4 捆关反馈 图像检索系统的最终用户怒人，因此通过交飘手段来捕获人对图像内容的 认知是相当重要的。为了把用户模型嵌入到图像梭索系统，1 9 9 8 年，r m 等形 1 2 式化地提出了图像检索中的相关反馈的体系结构【r 州，e t a l 1 9 p 8 】。随后，美园 麻省理z 学院【c o n c e l o sa i l dl i p p m a