（计算机应用技术专业论文）基于内容的图像检索系统及应用研究.pdf

中文摘要 厂 f 隧羞i n t e m e t 躲广泛傻用，在英上浏览麓信息包容酌范围越来越广 泛，冀中缀多是多媒体信息，因此对多媒钵数据魄检索要求就越来越离， 不仅要求速度，恧且要求精度。以前对多媒体信息的检索大多采用基于 关键词的检索，这种检索存在鼹方短的缺点，以图像数据库为例：一是 对图像的描述标注要花费大量的人力，再一个是人工对图像标注会掺杂 许多主观因素，例如不同的人对图像的理解不同，因此在检索时就会产 生许多误差。因此本世纪九十年代以来，基于内容的检索技术应运而生。 基于内容的检索从图像本身的内容出发，由计算机提取图像本身所 包含的信怠，镛如颜色信息，纹理信息，形状信息等。这样，方面以 蔚出人工的注释变为宙计算视囱动提取；勇一方面由计算机提取也减少 了许多人为因素。 基予内容的检索皇开始以来已经褥n t 逐遽发疑。懿今，在国外已 有一些通用的基于内容检索系统出现，例如i b m 公司的q b i c 系统，美 国哥伦比皿大学的v i s u a i s e e k 图像查询系统和w e b s e e k 图像及视频搜 索引擎等。在基于内容的检索技术方面也有不少研究。圊内对于基于内 容的检索技术墩有一些研究。但是总体来说，该技术还很不成熟，还存 在许多问题有待解决。 上海市服装设计及其加工公共信息服务平台是上海市针对上海服装 在国内的领先地位建立的一个服装基地，包括涉及服装的许多方面。由 于月琵装数据库包含大量的图像信息，对其检索也褶应提出了更高的要求。 本文对苏簌熬磷究技术进行了概括，并且针对服装的特点，提出了一个 w 曲上服装多媒体数据痒基于内容梭索系统的应雳框粲，由于各方面的 因素，慰予基予内容的检索技术的研究雾瑟实现还处予镑级阶段，还宥许 多方面肖待进一步探讨。 本文的创新之处在于将基于内容的检索技术应用于服装多媒体数据 库，抓住服装的特点，将基于内容检索技术的应用局限于色彩和形状， 这样就大大降低了难度。由于以前已建立了服装多媒体文化数据库，也 为本论文的研究奠定了基础。以前的系统采用基于关键词的查询，本系 统以此为基础，并不排除基于关键词的查询，而是以基于关键词查询为 辅助查询方式，以基于内容的查询方式为主要查询方式，其中基于形状 的查询搬导思想是针对服装设计，对服装的款式查询 o u 本文的第一部分是绪论，分绍了论文研究的背景，研究问题的提出， 瞬前的研究状况及本文的研究意义，主要工作和主要构成。第二部分介 绍基于内容检索的特点及一般基于内容检索系统的体系结构，荠给出了 一个较为实用的简化的体系结构，还概括了基于内容图像数据库的一般 结构，介绍了基于内容检索的应用领域。第三部分和第四部分概摄了与 本文相关的些技术。第三部分概括了目前已有的基于内容的检索技术， 包括特征抽取技术，多特征的相关反馈技术，高维索引技术，以及一些 新方法及m p e g 7 标准。由于图像分割技术在图像处理方面的重要作用， 因此第四部分介绍了常用的图像分割技术。第五部分给出了一个w e b 上 基于内容的检索技术在服装多媒体信息服务平台的应用架构，主要包括 以下几个方面：系统的体系结构；面向w e b 的接口；检索系统的特点： 系统的查询逻辑，系统的数据库结构以及系统所用到的算法及实验结果。 最后一部分是总结与展望。对本文进行了总结并对今后的研究工作提出 了建议。 关键词：基于内容梭索特征抽取服装多媒体数据库应用框架 a b s t r a c t w i t ht h ew i d eu s eo fi n t e r n e t t h er a n g eo fl n f o r m a t i o nt h a t1 si nt h e i n t e r n e tj sa l s om o r ea n dm o r ew i d e t h ei n f o r m a t i o ni n c l u d e sm u c h m u l t i m e d i ai n f o r m a t i o n ，s ot h er e t r i e v a lr e q u e s tt oi n f o r m a t i o nw i l lb em o r e a n dm o r e h i g h ，n o to n l yi nt h ew a y o f s p e e d ，b u ta l s oi nt h ew a y o f p r e c i s i o n i nt h ep a s tt i m e ，m u l t i m e d i ar e t r i e v a lw a sd o n eb yu s i n g k e y w o r d s ，w h i c h h a st w od e f e c t s 。t a k i n ge x a m p l ef o ri m a g ed a t a b a s e ，o n eo ft h ed e f e c t si s t h a t a n n o t a t i n gi m a g ew a s t e s al o to fw o r kf o r c e ，t h eo t h e ri st h a tt h e m a n m a d ea n n o t a t i o ni n c l u d e sm a n y s u b j e c t i v ef a c t o r s ，s u c ha st h ed i f f e r e n t u n d e r s t a n d i n g t ot h es a m ei m a g e s oi tw i l lc a u s e m a n y e r r o r si nt h ep r o c e s s o f r e t r i e v a l 。s os i n c e1 9 9 0 s ，c o n t e n t - b a s e di m a g er e t r i e v a lh a s a p p e a r e d ， c o n t e n t - b a s e di m a g er e t r i e v a li so nt h eb a s i so f i m a g e s c o n t e n ti t s e l f , w h i c hi se x t r a c t e db yc o m p u t e r s ，s u c ha sc o l o r , t e x t u r ea n ds h a p e t h u s ，o n t h eo n eh a n d ，f o r m e rm a n m a d ea n n o t a t i o no f i m a g e si s n o v ft r a n s f o r mt o c o m p u t e r sa u t o m a t i c a l l ye x t r a c t i n g ，o n t h eo t h e r h a n d ，c o m p u t e r s a u t o m a t i c a l l ye x t r a c t i n gr e d u c e sm a n ys u b j e c t i v ef a c t o r s c o n t e n t - b a s e di m a g er e t r i e v a lh a sb e e n d e v e l o p e dr a p i d l y s i n c ei t a p p e a r s 。n o b ；t h e r eh a v eb e e na f e wc o n t e n t - b a s e di m a g er e t r i e v a ls y s t e m s o nb o a r d ，s u c ha sq b i co fi b m ，v i s u a l s e e ki m a g er e t r i e v a l s y s t e mo f a m e r i c ac o l o m b i au n i v e r s i t ya n dw e b s e e ki m a g ea n dv i d e o 螽e q u e n c y r e t r i e v a l e n g i n ee t c t h e r ea l s o h a sm u c hr e s e a r c hi nt h i s t e c h n o l o g y o n b o a r d ，s oa sa th o m e b u ti ng e n e r a l ，t h et e c h n o l o g yi ss t i l ln o tm a t u r e ，a n d t h e r ea r em a n y q u e s t i o n st h a ta r eg o i n g t ob er e s o l v e d s h a n g h a if a s h i o nd e s i g na n dm a c h i n i n gc o m m o ni n f o r m a t i o ns e r v i c e p l a t f o r mi sp r o p o s e db ys h a n g h a ic i t yw h i c ha i ma tt h ed o m i n a t e ds t a t u so f s h a n g h a i i nt h ef i e l do ff a s h i o n i tr e l a t e st o m a n ya s p e c t s o ff a s h i o n b e c a u s ef a s h i o nd a t a b a s e si n c l u d eal o to fi m a g e s i n f o r m a t i o n ，h i g h e i d e m a n do fr e t r i e v a li sp r o p o s e d t h ep a p e rs u m m a r i z e st h ef o r m e r r e s e a r c h ， - 3 p r o p o s e d a na p p l i c a t i o nf r a m e w o r k o fc o n t e n t - b a s e dl m a g er e t r l 。v a l8 y s t e m o nf h s h i o nn 、u l t i m e d i ad a t a b a s eo n w e b b e c a u s eo f a l lk i n d so ff a c t o r s ，t h e r e s e a 托ho ft h i st e c h n o l o g ya n dt b er e a l i z a t i o n a r es t i l li np r i m a r ys t a g e ，a n d t h e r ea r em a n y a s p e c t s t h a ta r eg o i n g t ob ed i s c u s s e d t h eo r i g i n a lc r e a t i o n o ft h i s p a p e r i s u s i n g c o n t e n t - b a s e di m a g e r e t f i e v a lt o 酝s h i o nm u l t i m e d i ad a t a b a s e ，w h i c hg r a p e s t h ef e a t u r eo ff a s h i o n a n dm a k et h eu s eo f c o n t e n t b a s e di m a g er e t r i e v a li nt h er a n g eo f c o l o ra n d s h a p et h a tm u c hr e d u c e st h ed i f f i c u l t y + b e c a u s et h e r e h a sb e e naf a s h i o n m u l t i 。m e d i ac u l t u r ed a t a b a s e ，t h er e s e a r c ho ft h i sp a p e rt h e nm a k ei t a sa b a s e t h ef o r m e rs y s t e mu s e sk e y w o r d s b a s e dr e t r i e v a l ，b e c a u s et h es y s t e m m a l si ta sab a s e ，i td o e s n te x c l u d ek e y w o r d sb a s e d r e t r i e v a l 。i tm a k ei ta s aa s s i s t a n tr e t r i e v a lw a ya n dm a k ec o n t e n t _ b a s e di m a g er e t r i e v a la sam a i n w a v 。i 毪w h i c ht h eg u i d a n c et h i n k i 嚣go fs h a p e b a s e di m a g e r e t r i e v a li sf a c i n g f a s h i o nd e s i g na n dq u e r y i n gf a s h i o nd e s i g n d a t a b a s e t h ef i r s t p a r t o ft h i s p a p e r i si n t r o d u c t i o n ，w h i c h i n t r o d u c e st h e b a c k g r o u n d o ft h i sr e s e a r c h ，t h ep r o p o s a l o ft h i sr e s e a r c h ，t h e c u r r e n t r e s e a r c hs t a t u s ，t h er e s e a r c hm e a n i n g ，t h em a i n w o r ka n dt h em a i ns t r u c t u r e o ft h i sp a p e r t h es e c o n dp a r to f t h i sp a p e ri n t r o d u c e st h ec h a r a c t e r i s t i co f c o n t e n t - b a s e d i m a g e r e t r i e v a la n d a g e n e r a ls y s t e m s t r u c t u r eo f c o n t e n t - b a s e di m a g er e t r i e v a l ，p r o p o s e sas i m p l yp r a c t i c a ls y s t e m s t r u c t u r e i ta l s os u m m a r i z e st h eg e n e r a l d a t a b a s es t r u c t u r e ，a n d i n t r o d u c e st h e a p p l i c a t i o n f i e l do fc o n t e n t - b a s e di m a g er e t r i e v a l t h e t h i r dp a r ta n dt h e f o r t hp a r ti n t r o d u c es o m et e c h n o l o g yr e l a t e d t ot h ep a p e r , t h et h i r dp a r t s u m m a r i z e st h ec o n t e n t b a s e dr e t r i e v a lt e c h n o l o g yt h a th a sb e e np r o p o s e d ， w h i c hi n c l u d e sf e a t u r ee x t r a c t i n g ，c o r r e l a t i o n f e e d b a c ko fm u l t i f e a t u r e s ， h i g hd i m e n s i o ni n d e x ，a f e wn e wm e t h o d sa n dm p e g 一7 b e c a u s eo ft h e i m p o r t a n t a c t i o ni ni m a g e sp r o c e s s i n g ，t h et e c h n o l o g yo fi m a g es e g m e n t a t m n i si n t r o d u c e di nt h e f o r t h p a r t t h e f i f t h p a r tp r o p o s e s a n a p p l i c a t i o n f r a m e w o r ko f c o n t e n t b a s e di m a g er e t r i e v a ls y s t e mo nf a s h i o nm u l t i m e d i a 4 一 d a t a b a s e0 1 1w e b ，w h i c hm a i n l yi n c l u d e dt h eh e r e i n a f t e ra s p e c t s ：t h es y s t e m s t r u c t u r e ，t h ew e bi n t e r f a c e ，t h ef e a t u r eo fr e t r i e v a ls y s t e m ，t h eq u e r y i n g l o g i co f t h es y s t e m ，t h ed a t a b a s es t r u c t u r eo ft h es y s t e m ，a r i t h m e t i cw h i c hi s u s e di nt h i s s y s t e m a n dt h er e s u l t so f e x p e r i m e n t s t h e l a s t p a r t i s s u m m a r i z i n ga n de x p e c t a t i o n ，w h i c hs u m m a r i z e st h ep a p e ra n dp r o p o s e s s o m ea d v i c eo f t h ef u t u r er e s e a r c hw o r k z h a n gg u a n g h u i ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e d b y ：v i c ep r o fy a n gj i a m i n g ，p r o f c h e nj i a x u n k e yw o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ，f e a t u r ee x t r a c t i n g ，f a s h i o n m u l t i m e d i a d a t a b a s e ，a p p l i c a t i o nf r a m e w o r k 第一章绪论 1 1 论文研究的背景 逐年来，数字图像集的姬模在迅速增长。每一天，无论是军灞还是 民用麴设备产生大量的圈像，臣量的信患产生了。然褥，我 | 、弦# 不能访 阕或运用这些信患，除嚣它们被合理姥组织以便能够有效遗浏览、轰我 和检索。从七十年代以来，伴隧着数据库篱瑾释计算梳秘觉两类主要毳拜 究溷然懿贪入，阁像检索就是一个非常活跃的研究领域。这两类团体从 不弱的惫度磷究图像检索，一个是基予文本的，一个是基于视觉的。 基于文本豹图像检索可以追溯到七十年代后期。一个菲常流行的图 像检索框粲楚先对图像进行注释，然后用基于文本的数据库篱瑾系统完 成图像懿检索。许多高级技术，例如数据模型，多维检索，查询评价已 经被运用到此研究中。然而，逐存在两个主要的困难，尤萁楚当图像集 穰大时。一个是需要大萋的入力手工对图像进行注解；勇一个是查询结 果包含许多豁主糯因素。氇就是说，同一副图像，不同的人可以有不同 的灌解。淫鳞的主观性和注释的不精确往爵致以后查询中无法修复的匹 器己错误。 丸十年代早期，随着大规模图像集的出现，面向手工注解方法的两 个| 、蠢惑交得越来越尖锐。为了克服这些问题，基于内容的图像检索就应 运褥生。基于内容的图像检索就是，逐渐取代基于文本关键词的手工注 解，圈像通过它们自身可视化的内铎被检索，比壹颜色和纹理。自此， 许多这一研究方向的技术被发展起来，也出现了一些图像检索系统，包 括研究的和商业的。 基于内容的检索方法从一个新的角度已经建立了个通用的图像检 索框絮。然而，在检索系统应用到实际中之前，还有许多待解决的研究 问题。关于基于内容的检索，对以前几年所取得的成果和对潜在的研究 方向的调瓷是十分需要的。 1 2 研究问熬的穗潞 多媒体数据库艟广泛应鼷攘动了检索技术麴发展，对其要求也越来 越高，所以非常有必要对基于内容的检索技术进行探讨，另外如何将基 予内容的检索技术应用予特定实际系统中，也是迫切要解决的问题，也有 褥于进一步的硬究。 上海市服装设计及其加工公共信息服务平台是上海市针对上海服裟 巍凿内的领先遥位建立的一个服装基地，包括涉及服装的许多方丽。本 文提出了一个w e b 上服装多媒体数据库基于内寮检索系统鲢应躅框架， 它是服务平台的一部分。由于服装数据库包含大量的图像信息，对其检 索也福瘫提灞了更赢酶要求。困扰就提密采用基于内容的图像检索技术， 以达到技术上的进一步提升。这也是提出本论文研究课题的主要原因。 1 3 目前的研究状况 近十年来，基于内容的检索是当前计算机视觉、数字图书馆、图像 数据瘴与翔谈挖掘( k n o w l e d g ed i s c o v e r y ) 等领域最活跃鳃研究热点之 一。每年都有相关的国际会议褐开，如s p i e 的s t o r a g e a n dr e t r i e v a lf o r i m a g ea n d v i d e o d a t a b a s e s ( 到2 0 0 0 年已经开了六届) ，a c m m u l t i m e d i a 等，还霄一些耨剑铡的杂志，懿：m u l t im e d i at o o l sa n d a p p l i c a t i o n s ，这 方面的研究怒这些杂志发表的论文的重要组成部分。近几年，许多国际 上被s c i 收录的羹要学术期刊，都以此内容发表了专刊。如：i e e e c o m p u t e r ， i e e et r a n s a c t i o n so i lp a t t e r n a n a l y s i s a n dm a c h i n e i n t e l l i g e n c e ，p a t t e r nr e c o g n i t i o n ，i m a g ea n d v i s i o nc o m p u t i n g 。 基于内容图像检索技术从提出到现在，取得了很多令人瞩目的成就： 技术上各种颞鲍方法层出不穷；许多原来磷究计算极视觉科磷小缝都开 展了基于内容图像检索方面的研究；应用上已经取得了初步成果并得到 了社会各界的广泛关注和支持；国内外一整大学在这方面早己开展了相 当多的研究工作。鼹前，在i n t e m e t 网上爨经鸯许多关于基于内容检索 的原型系统与数字图书馆系统，大多数的图像检索系统支持以下一- , e e 或 凡群选顼： 随机浏览 通过示例查询 通过草图查询 通过文本查询 定制的图形目录导航 基于内餐检索的图像和视频数据库的典型代表主要有：i b m 的基于 内容的图像及视频检索系统q b i c ，美圈哥伦比弧大学的v i s u a l s e e k 图 像查询系统和w e b s e e k 图像及视频搜索引擎，m i c h i g a n 大学和麻省理 工学院( m i t ) 多媒体实验室开发的v i r a g e 系统，i m a g e r o v e r 系统等。 并程些领域如数字图书馆得到了应用。除此之外，还有许多优秀的原 型系统如u i u c 开发的m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) ， 麻省理工学院( m i t ) 媒体实验室开发的p h o t o b o o k ，加利祸尼皿大学 b e r k e l e y 分校开发的c h a b o t 系统，加利福尼亚大学圣巴巴拉分校开发的 n e t r a 基予内容的图像检索系统，c a r n e g i em e l l o n 大学的i n f o r m e d i a 项目，结合语音识别、视频分祈和文本检索技术支持视频广播的检索； m u s c l ef i s h 是个商业化的基予音频感知特征的音频检索引擎； m a r y l a n d 大学的v o i c e g r a p h 结合基于内容和基于说话入的查询，检索已 知的说话入和词语，并设计了一种音频图示查询接翻；j a c o b 基于内容 瀚视频检索系统，诧系统可进行视频自动发段并从中抽取代表帧，并可 按彩色及纹理特征鼓代表帧描述基于内容髂检索。 i b m 的q b i c 系统提供了基于颜色、纹理、形状和手绘草图的图像 素弓| 方法。蘸色特链的表达采用了平均色秽颜色直方图两种方法；纹理 特征的表达采用了纹理的粗糙魔、对眈度和方向往3 者的综合；形状特 链的袭达采桶了形状的面积、匮形度、离心率、主率囱方向以及一组变换 无关斑等描述方法。誉前，q b i c 系统的基于离容稳索技术已经在i b m 数字瀚书馆中得到了应溺，i b m 数字图书馆集成了多种信怠存储、管疆 和分配的技术，实现了自动索弓i 、j j j 并、对眈、特征抽取和翻译功能。 诧计翔已应爝予多个顷强。如在印第安鄢大学的v a r i a t i o n s 课题是第一 个尝试遥过校园潮发布数字信患( 数字音频、全动态丰觅频等) 的大规模 多媒体计翊，目前已经建立了萋于内容检索的音乐数字图书馆。 v i s u a l s 糙激提供了基于色彩和纹理的索弓l 方法。在v i s u a l s e e k 中， 整幅图像色彩的分布使用了全局色彩直方图，区域色彩的索引用二进制 色彩集表达方法。它采磺基予小渡交换豹方法采表示黼像的纹理特征。 现已在数字图书馆等领域得到了一些应用1 1 1 。 加利福属贬大学圣融巴拉分校开发的n e t r a 系统已在a l e x a n d r i a 数字霪书馆矮基( a l e x a n d r i ad i g i t a ll i b r a r y ) 中褥到了应雳。 基于内容的检索技术还在如下数字图书馆中得到了广泛应用，如加 肉基梅隆大学的信息媒体数字视频图书馆( i n f o r m e d i ad i g i t a lv i d e o l i b r a r y ) 项强直接建立了一个大型的在线数字巍频图书馆，霹基子蠹容 和知识的检索。美闺堪萨斯大学的数字视频图书馆系统( d v l s ) ，该系 统的磊标是存储、索弓| 及检索声视频信怠并通过因特潮及国家信怒基础 ( n i i ) 设施实现视频共事技术，已经建立了一个称为v i s i o n 的殿型系 统及一个视频数据库。 1 4 本文的研究意义和主要工作 1 4 1 研究意义 随篱多媒体数据库的广泛液用，对英检索的速度和精度提出了越来 越高的要求，单纯基于关键词的查询已不能满足这一要求，综合馒用关 键词的检索魁多媒体数据库检索的必然趋势。 本课题是上海市夏装设诗及萁船工公共信怠黢务平台酌一部分。由 于包含大量的服装款式图像，对信息平台检索的速度和精度提出了更高 的要求。所以对基于内容的图像检索系统和技术的探讨和对这一多媒体 数据库媳检索系统进行磷究是葚暑常鸯意义麴。 ，4 2 主要置作 本文的主要工作分为薅部分：一是磅究基予内容图像检索系统蛉体 系结构及关键技术；一是设计w e b 上服装多媒体数据库基于内容检索系 统的应用框架，它也是上海市服装设计及箕加工公共信惠服务平台的 郝分。 对于前者的工作鬻妥收集大量鳇资料，对露翁已熹憋基予内容捻索 关键技术热戬综合和魄较，主要是特镊抽敬技术，这是王爻十分繁琐僵 报有意义的工作。 后者的工作是针对服装的特点，将前者的技术应用于服装多媒体数 攫麾，包始系统的总体架构，及检索算法等。 5 本文魏主簧幸留成 本文分为六豢，第一章绪论，主要阐述了论文列究的鹜景，阀题的 提出，嗣前的研究状况及研究意义；第二辈基于肉容检索系统，主要分 析了基予内容检索的特点，给出了般体系的结构及数据库结构，介绍 了基于内容检索的敷耀领域；第三道基于内容检索棚关技术，主要包援 特链抽墩技术，图像多特，征的栩关反馈技术，离维索弓 技术及些鼗的 技术，默及基于内容捻索接术与m p e g 一7 瓣关系；第凝章墨像分割技术， 从两方蘧介绥该技术，一个是戳颜色捆翟悭蕊基确麴蓠缘分害| l 援术， 个是多边影类的圈像分割；第五章基予内容梭索技术在服装多媒体数据 麾中的应磺框架磺究，跌六个方面避行阐述，分剜为系统麴体系结构， 丽囱w e b 的接霸，检索系统的特点，系统酶奁谲逶辑，系统酶数攒蓐 结构，系统所涉及的算法及窳验；第六章总结与震望，对本文进行总缩， 提出了今藤的研究工作。本文缩构图壹髓圈1 1 所示。 黼l l 车文豹薅系结鹞 第二章基于内容检索系统 2 1 多媒体内餐 多媒体数攥的“内容”表示含义、耍旨、主题、包含和显藩的性质、 实质性的东西、物理细节等，它区别于“形式”这个词。对于多媒体数 据寒说，其内容概念可以在多个层次上说明： 1 概念级内容表达对象的语义。典型地利用文本形式的描述，通过 分类和目录来组织层次浏览，用链来组织上下文关联。 2 。感知特性视觉特性，如颜色、纹理、形状、轮廓、运动；听觉特 性，如音高、脊包、音矮等。 3 逻辑关系音视频对象的时间和空间关系，语义和上下文关联等。 4 信号特性通过信号处理方法获褥的明显的媒体区分特征，例如通 j 璧小渡分毒厅得濑的媒体特链。 5 特定领域的特征与应用相关的媒体特征，例如人的面部特征、指 纹特征。要用到领域知识。 获褥媒体痰容麴方式可以是久王方式移童动方式。有些滤容可以叠 动提取，但有些内容则很难，即使能够提取，准确度也不高，镪棒性不 好。因此，可以用半自动方式，使人和计算机各自发挥特长，通过交互 秽学习获取媒体髓凌容。 2 2 基于内容检索的特点 基于内容检索具有翔下特点 2 i ： 1 直接从图像媒体内容中提取信息线索。它突破了传统的基于表达 式检索的局限，童接对图像进行分析君琦抽取特征。幂l j 罔这些描述图像内 容静特征来建立索弓| 。 2 基于内容的图像检索嶷质上是一种近似匹配的技术。在梭索过程 中，它采用某种相似性量度对图像库中图像进行匹配，以获得查询结果。 3 。特薤提取鞠索弓l 麴建立，霹壶诗簿祝耋动实现，避免了久工箍速 的主观性，也大量减少了工作量。 4 整个过程是一个逐步逼近和相关反馈的过程。在基于内容检索系 统中，应具有很强的交互能力，用户参与整个检索的过程。 2 3 一般基于内容图像检索系统框架 一般基于内容检索系统的框架如图2 1 所示： 完整的c b i r 系统一般由两个子系统构成，即数据库生成予系统和 查询子系统。每个子系统由相应的功能模块和部件组成【3 l 。 ( 1 ) 对象标识：为用户提供一种工具，以全自动或半自动( 需用户部分 干预) 的方式对图像中用户感兴趣的区域标识，以便针对对象进行特征提 取、描述和查询。如果进行整体内容的检索，则可利用全局特征，而不 用对象标识功能。对象标识是可选的。 ( 2 ) 特征提取：对图像自动或半自动地提取用户感兴趣的、适合检索 要求的特征。特征提取可以是全局性的，如针对整幅图像，也可以是针 对某个对象的，如图像中的子区域等。 ( 3 ) 数据库：数据库由图像库、特征库和知识库组成。特征库包含用 户输入的客观特征和预处理自动提取的内容特征；知识库包含领域知识 和通用知识，其中的知识表达可以更换，以适应不同领域的应用要求。 ( 4 ) 用户查询和浏览接口：主要以示例查询( q b e ) 和模糊描述等可视 查询形式向用户提供查询接口。查询允许针对对象、整体图像以及任意 特征的组合形式来进行。由于图像数据的视觉特性，不仅查询时需要通 过浏览确定查询要求，而且查询后返回的结果也需要浏览。 ( 5 ) 检索( 匹配) 引擎：检索是利用特征之间的距离函数来进行相似性 匹配，模仿人类的认知过程，近似得到数据库的认知排序。在检索( 匹配) 引擎中包括一个较为有效、可靠的相似性测度函数集。 ( 6 ) 索引过滤器：检索引擎通过索引过滤机制来达到快速搜索的目 的，从而可以应用于大型图像数据集中。过滤器作用于全部数据，过滤 出的数据集合再用高维特征匹配来检索。索引用于低维特征，可以利用 r 树，以加快检索。 图2 1 基于内容检索的图像系 统体系结构图 2 3 1 一种简化的较为实用的基于内容图像检索系统体系结构 一种简化的较为实用的基于内容图像检索系统的体系结构如图2 - 2 所示： 在这个系统体系中，有三个数据库。图像集库包含用于视觉显示的 原始图像。在不同的图像检索阶段，需要有不同的图像处理。图像处理 和理解研究将用于该数据库。 视觉特征库存储从图像中抽取的视觉特征。这就是支持基于内容检 索的所需要的信息。对于这个数据库的操作，需要研究计算机视觉和图 像理解技术。 文本注释数据库包括图像的关键词和任意文本描述。就目前来讲， 有一点越来越清晰，就是：基于内容的图像检索并不是要替代基于文本 的图像检索，两者相辅相成，只有两者结合才能达到满意的检索效果。 要想达到快速的检索速度并且使对于大规模图像集检索系统得到真 正的升级，一个有效的多维检索模块是整个系统中不可缺少的一部分。 计算几何，数据库管理和模式识别的研究将对建立这种模块起推动作用。 检索引擎模块包括一个查询接口子模块和一个查询处理子模块。为 了用友好的方式与用户交互，查询接口是图形化的。界面收集来自于用 户的需求信息并且显示给用户检索结果。用户心理和用户界面方面的研 究进步对于提高用户界面设计有很大帮助。然而，来自于一个用户的同 一个查询可以不同的方式被处理。查询处理子模块要完成以最好的过程 处理。这涉及到数据库管理技术。 这个体系结构有两个主要特征。一个是它的多学科性和学科交叉性， 一个是人和计算机之间的交互性。( 注意：从用户到三个数据库，箭头是 双向的) 。总而言之，多种学科，多种信息源，人和计算机，这所有的结 合才能形成一个成功图像检索系统。 图2 2 一种简化的较 为实用的体系结构 2 3 2 基于内容检索查询过程 基于内容的查询和检索是一个逐步求精的过程，检索经历了一个特 征调整、重新匹配的循环过程，如图2 ，3 所示。 ( 1 ) 初始查询说明：用户查找一个对象时，最初可以用q b e 或查洵 语言来形成一个查询。系统提取该示例的特征或把查询描述映射为具体 的特征矢量。 ( 2 ) 相似性匹配：将查询特征与特征库中的特征按照定的匹配算法 进行相似匹配。 ( 3 ) 相似度排列：满足一定相似性条件的一组候选结果，按相似度大 小排列后返回给用户。 ( 4 ) 特征调整：对系统返回的查询结果，用户可以通过浏览来挑选， 直至得到满意的结果，或者从候选结果中选择一个示例，经过特征调整 后，形成一个新 图2 - 3 查询过程流程图 2 4 基于内容的图像数据库结构 有关支持基于内容检索的图像数据库系统的结构一直是人们所关注 的一个重要问题，由于研究的角度不同，可以分为图像数据库的体系结 构和框架结构。较完善的图像数据库的体系结构是c h a n gs k ( 1 9 9 2 年) 提出的五层结构1 4 】，分为用户视图、语义特征视图、图像特征视图、特 征表达、特征的组织和检索。在图像用户视图层，用户信息主要是面向 高层的事件，其主要任务是进行图像的空间推理。语义特征层主要对某 一图像特征在特定领域中的语义信息进行描述，例如，在语义层中的“轮 子”对应于特征层中的“圆”。在图像的特征视图层，其主要是分析图像 的内容，如图像的空间关系、形状、色彩等，这一层用户主要关心图像 所包含的视觉内容。对于一种视觉内容特征来说，由于其特征的表达不 是唯一的，如“圆”可以用其轮廓来表示，也可以用圆心和半径来表示， 因此在特征层应支持同一特征的多种表示。图像的特征组织层等价于传 统数据库中的物理存储结构( 如b 一树，h a s h 表等) 。可以说这是对一个 图像数据库发展整体框架的总体概括，从图像数据库发展的阶段来看， 目前正处在第3 阶段，即支持图像内容的检索阶段。目前虽然有一些图 像数据库以关键词方式对图像语义特征进行检索，但这种检索是脱离图 像的具体内容的。 在w e b 环境下实现一个基于内容检索的图像数据库系统的框架结 构可分为两个部分：一是图像特征索引的离线创建，二是在线图像检索。 一般来说，图像特征的分析和索引的创建是在服务器端离线完成的，其 主要功能包括图像入库前的预处理、图像的内容特征的提取与分析、图 像特征描述的编码和存储。对于图像的在线检索，其主要的任务是将用 户感兴趣的图像实例提交给服务器对其内容的特征进行提取和表示，然 后调用图像检索引擎按一定的相似检索方法进行图像之间的相似度计 算，对查询得到的相似图像按它们的相似距离从d , n 大进行排序，并将 结果返回给用户。 2 5 基于内容检索系统的应用领域 基于内容的多媒体信息检索是一项实用的高技术，有着广阔的应用 前景。目前主要应用于以下几个方面：将基于内容检索引擎嵌入到常规 数据库管理系统中，以实现多媒体数据的检索；在信息检索系统中，对 专用领域的视频、图像和文档库进行检索；对i n t e m e t 上包含在w e b 信 息网中h t m l 页面上的多媒体数据进行基于内容检索等。 早期的全文信息检索、罪犯头像的识别和管理、指纹的识别和管理 都是基于内容检索的一些尝试，现在这种技术将扩展到任何媒体和更广 泛的领域。例如，艺术画廊和博物馆管理、建筑与工程设计、地理资源 遥感与管理、地理信息系统、商标及版权数据库管理、数字视频图书馆、 w w w 信息浏览、多媒体c a i 应用、多媒体出版、电子会议、远程教学、 远程医疗、天气预报、服装设计、军事指挥系统等方面。 第王耄基于内容检索相关技术 3 。1 特征抽取技术 特缝( 内容 弦取楚基于惑容检索豁基础。麸广义上讲，蒋疆可以 既包括基予文本的特授( 关键词，注释) ，又包括视觉特征( 颜色，纹理， 形状) 。但是，既然基于文本的特征抽墩技术已经成熟，这里只指视觉特 征抽取技术。在视觉特征范曝，特征可以拔进一步分为邋用特征襁领域 特剃特薤。裁者包括颜色，绞理秽形状，露或者是基予应潮的。铡熟， 爵戮氡捂入黢稻指纹。 本章中的特征抽取技术概括图如阁3 一l 所示。 图3 1 特镀擒敬技术概括阐 3 1 1 基予颜色特征的查询 基于颜色特征的检索韪基于内容的图像检索中墩基本的方法。颜色 是物体表面的一种视觉特性，每种物体都膏其特有的颜色特征。颜色是 图像内容组成的基本要素，是入识剐图像的主要感知特征之一。 蕨色的独特性 栩对予其链特征，颜色特征# 常稳定，对予旋转、平移、尺度交纯， 甚至各种彤变都不敏感，表现凑摆警强的鲁捧性，蠢且颜色特征计葬篱 单，因此成为现有检索系绕中应用最广泛的特缝。 对于颜色的最早磷究 用颜色特征进行检索可以遗溯到s w a i n ( 1 9 9 1 年) 5 1 提出的基于颜 色赢方图检索方法，它计算两幅图像的三维颜色直方图的每一个颜色单 位，并进行细致的比较。 基于颜色检索的重要性 由于颜色直方图具有简单且随图像的大小、旋转变化不敏感等特点， 得到了研究人员的广泛关注，目前几乎所有的基于内容检索的图像数据 库系统都挹颜色检索方法作为检索的一个重要手段，并提出了许多改进 方法。 分类 采用方法憋总体分类熬纳起来分为薅类：全局颜色特征索零| 暑蠢弱部 颜色特征索弓l 。 3 。1 全局簇色特征索亏| 方法概述： 鞠色赢方图 全局灏色特征索弓| 方法目前采糟最多的是颜色直方图的方法，s w a i n 懿主要思想是撮据颜色整方圈统计每种颜色在胬像中出现的概率，然后 采熙颜色壹方图酶交来度量强拯匿像颜色的相似瞧，英最大的缺点楚完 全丢失了塑像颜色的空闯信怠。 颜色直方豳的改进 冷颜色聚合矢量法 c c v 方法p a s s 等( 1 9 9 6 年) f 6 1 提出以图像的颜色聚合矢量 c c v ( c o l o rc o h e r e n c ev