（模式识别与智能系统专业论文）基于内容的商标图像检索研究.pdf

摘耍 摘要 基于内容的图像检索，就是根据描述图像内容的特征矢量进行相似性检索，其 中图像内容的提取可以是通用的，也可以是基于特定领域的。基于特定领域的图像检 索技术可以充分利用有用的领域知识，其检索结果相对通用的技术来说更能符合用户 的需求。箍着市场经济的发展，商标在社会生活中扮演着越来越重要的角色，而基于 内容的图像检索技术在商标检索领域得n t 非常广泛的应用。本文对基于内容的商标 图像检索进行了研究，主要提出了三种新的商标图像检索方法，并设计了一套基于多 特征融合的商标图像人机交互检索系统。 首先，本文提出了基于距离分布直方图的商标图像检索方法。采用基于目标像 素外接圆的方法提取图像目标区域，然后采用同心圆的方法对目标区域进行划分，得 到一系列子图像并产生距离分布直方图，最后对距离分布直方图进行归一化。其次， 本文提出了基于区域方向傅立叶变换的商标图像检索方法。基于边界的傅立叶变换是 一种重要的形状描述方法，其只利用了图像的边界信息，而忽略了图像的区域信息。 为了克服基于边界傅立叶变换的缺点，本文提出了基于区域方向的傅立叶变换并将其 应用于商标图像检索。最后，本文提出了基于分块图像特征的商标图像检索方法。对 图像进行分块，每个分块图像特征能够反映图像的局部特征，而多个分块图像特征的 结合又能够对区域的整体形状进行描述。分块时采取了由粗到细的分层结构，可以从 多个层次较好地描述图像的形状特征。对比实验表明，基于距离分布直方图的商标图 像检索方法优于基于单个h u 不变矩的检索方法，基于区域方向傅立叶变换的检索方 法优于基于h u 不变矩和基于边界傅立叶变换的检索方法基于分块图像特征的检索 方法优于基于h u 不变矩和基于网格特征的检索方法。 对于基于内容的图像检索，目前还不存在一个完美的特征能够使得检索结果符 合所有人的主观感受和所有应用的实际需求，必须融合多个特征进行检索，并通过人 机交互的方式使得检索结果尽可能地满足人的主观需求。本文所提的三种商标图像检 索方法，在基于视觉一致性的评价下很难分出优劣，其检索结果的风格各不相同，在 基于多特征融合的检索系统中作为提供给用户的一种有效选择是必不可少的。本文设 计了一套基于多特征融合的商标图像人机交互检索系统，其设计目标是一个实验性的 框架系统，既可以作为各种检索算法的测试平台，也可以融合多种特征进行检索。 关键词：基于内容的商标图像检索，距离分布直方图，区域方向傅立叶变换，分块图 像特征，多特征融合，相关反馈 a b s t r a e t a b s t r a c t c o n t e n tb a s e di m a g er e t r i e v a li st op e r f o r mt h es i m i l a r i t yr e t r i e v a la c c o r d i n gt ot h e i m a g e f e a t u r e sr e p r e s e n t i n gt h ei m a g ec o n t e n t ，w h i c hm a yb ee x t r a c t e di nt h eg e n e r i co r s p e c i f i cd o m a i n s p e c i f i cd o m a i nb a s e di m a g er e t r i e v a lc 眦b e n e f i tf r o mt h eu s e f u l d o m a i n k n o w l e d g e a n dt h e c o r r e s p o n d i n g r e t r i e v a lr e s u l t sc a l lm e e tt h eu s e r s r e q u i r e m e n tb o r e rt h a nt h eg e n e d co n e w 讹t h ed e v e l o p m e n to fm a r k e te c o n o m yt h e t r a d e m a r kp l a y st h em o r ea n dm o r ei m p o r t a n tr o l ei nt h ec u r r e n ts o c i e t ya n dt h ec o n t e n t b a s e di m a g er e t r i e v a lt e c h n i q u eh a sb e e nw i d e l yu s e di nt h et r a d e m a r kd o m a i n ，t h i s p a p e r d o e sr e s e a r c hm a i n l yo nc o n t e n tb a s e dt r a d e m a r ki m a g e r e t r i e v a l ，p r e s e n t i n gt h r e e n e wt r a d e m a r ki m a g er e t r i e v a lm e t h o d sa n dah u m a n - c o m p u t e ri n t e r a c t i v et r a d e m a r k i m a g e r e t r i e v a ls y s t e mb a s e do nm u l t i f e a t u r ef u s i o n f i r s t l y ，t h i sp a p e rp r e s e n t st h et r a d e m a r ki m a g er e t r i e v a lm e t h o db a s e do nd i s t a n c e d i s t r i b u t i o n h i s t o g r a m n l ei m a g eo b j e c tr e g i o n i se x t r a c t e da c c o r d i n gt ot h e o b j e c t p i x e l s c i r c u m c i r c l ea n dt h e np a r t i t i o n e db a s e do nt h ec o n c e n t r i cc i r c l e st op r o d u c ea s e r i e so fs u b i m a g e s ，a c c o r d i n gt ow h i c ht h ed i s t a n c ed i s t r i b u t i o nh i s t o g r a mi sp r o d u c e d a n dt h e nn o r m a l i z e d s e c o n d l y , t h i sp a p e r p r e s e n t st h et r a d e m u r ki m a g e r e t r i e v a lm e t h o d b a s e do n r e g i o no r i e n t a t i o nf o u r i e r t r a n s f o r m t h ee d g ef o u r i e rt r a n s f o r mi sa n i m p o r t a n t s h a p ed e s c r i p t o r , b u ti tm a k e s u s eo f o n l yt h ei m a g ee d g ei n f o r m a t i o ni g n o r i n gt h ei m a g e r e g i o ni n f o r m a t i o n t oo v e r c o m et h ed i s a d v a n t a g eo ft h ee d g ef o u r i e rt r a n s f o r m ，t h i s p a p e rp r e s e n t st h er e g i o no r i e n t a t i o nf o u r i e rt r a n s f o r ma n da p p l i e si tt ot h et r a d e m a r k i m a g er e t r i e v a l l a s t l y , t h i sp a p e rp r e s e n t st h et r a d e m a r ki m a g er e t r i e v a lm e t h o db a s e d o n s u b - b l o c k i m a g e f e a t u r e s ，t h e i m a g e i s p a r t i t i o n e d i n t os e v e r a ls u b - b l o c k s e a c h s u b b l o c ki m a g ef e a t u r e sr e f l e c tt h e i m a g el o c a li n f o r m a t i o na n dt h ec o m b i n a t i o no f m u l t i p l es u b b l o c k s i m a g ef e a t u r e sd e s c r i b et h ew h o l er e g i o ns h a p e t h eh i e r a r c h i c a l f r o m - c o a r s e - t o - f i n es u b - - b l o c k - - p a r t i t i o n i n gs t r u c t u r ec a nd e s c r i b et h ei m a g es h a p ef e a t u r e f r o mt h em u l t i p l el e v e l s t h ec o m p a r i s o ne x p e r i m e n t ss h o wt h a tt h et r a d e m a r ki m a g e r e t r i e v a lm e t h o db a s e do nd i s t a n c ed i s t r i b u t i o nh i s t o g r a mi ss u p e r i o rt ot h eo n eb a s e do n s i n g l eh ui n v a r i a n tm o m e n t ，t h eo n eb a s e do nr e g i o no r i e n t a t i o nf o u r i e rt r a n s f o r mi s s u p e r i o rt ot h eo n eb a s e do nh u i n v a r i a n ta n dt h eo n eb a s e do ne d g ef o u r i e rt r a n s f o r m ， a n dt h eo n eb a s e do ns u b - b l o c ki m a g ef e a t u r e si s s u p e r i o r t ot h eo n eb a s e do nh u i n v a r i a n ta n dt h eo n eb a s e do ng r i di m a g ef e a t u r e s ， i i 摘要 c u r r e n t l yt h e r ei sn op e r f e c tf e a t u r ef o rc o n t e n tb a s e di m a g er e t r i e v a lt om a k et h e r e t r i e v a lr e s u l tm e e ta l lt h ep e o p l e sv i s u a lp e r c e 。p t i o na n da l lt h ea p p l i c a t i o n s p r a c t i c a l r e q u i r e m e n t sv e r yw e l l s oi t i sn e c e s s a r yt of u s et h em u l t i p l ef e a t u r e sa n d p e r f o r mt h e h u m a n c o m p u t e ri n t e r a c t i o ni nt h ei m a g er e t r i e v a l t h et h r e et r a d e m a r ki m a g er e t r i e v a l m e t h o d s p r e s e n t e di nt h i sp a p e r a r ea l m o s tt h es a m ew i t he a c ho t h e ru n d e rt h ee v a l u a t i o n o fv i s u a lc o n s i s t e n c y , b u tt h ec o r r e s p o n d i n gr e t r i e v a lr e s u l t sh a v ed i f f e r e n ts t y l e s a l lo f t h e ma l ea b s o l u t e l yn e c e s s a r ya st h ee f f e c t i v ea l t e r n a t i v e sp r o v i d e dt ot h eu s e ri nt h e r e t r i e v a l s y s t e mb a s e do nm u l t i f e a t u r ef u s i o n t h i sp a p e rd e s i g n sah u m a n - c o m p u t e r i n t e r a c t i v et r a d e m a r ki m a g er e t r i e v a l s y s t e mb a s e d o nm u l t i - f e a t u r ef u s i o n ，w h i c hi s e x p e r i m e n t a ls y s t e ma n dc a n b eu s e dt ot e s td i f f e r e n tr e t r i e v a la l g o r i t h m so rf u s et h e mt o p e r f o i t f lt h ei m a g e r e t r i e v a l k e y w o r d s ：c o n t e n t b a s e dt r a d e m a r ki m a g er e t r i e v a l ，d i s t a n c ed i s t r i b u t i o n h i s t o g r a m ， r e g i o no r i e n t a t i o nf o u r i e rt r a n s f o r m ，s u b b l o c ki m a g ef e a t u r e s ，m u l t i - f e a t u r e f u s i o n , r e l e v a n c ef e e d b a c k 博士学位论文基于内容的商标图像检索研究 2 0 0 3 年1 0 月 1 1 引言 1 绪论 随着多媒体技术和网络技术的普及和发展，一方面，在许多领域如数字图书馆、 天气预报和医疗图像等，每天都在不断产生和使用海量的图像和视频等多媒体资源， 另一方面，网络成了多媒体信息发布和获取的重要来源。人们将有用的多媒体信息发 布在网络上，便于信息的共享。随着多媒体数据库的广泛应用，对多媒体信息的有效 检索手段逐渐引起人们的重视。因此，如何将数字图像处理、计算机视觉技术与传统 数据库技术相结合，建立基于对图像内容自动或半自动描述的新一代图像视频数据库 就成为迫切的需求。近年来，基于内容的图像检索技术成为国内外研究热点。也成为 未来信息高速公路、数字图书馆等重大项目中的关键技术。 商标是商品经济的产物，是随着商品经济的发展而发展的。商标是商品的一个重 要标识，用以区分不同生产者和经营者所拥有的商品，维护他们的经济利益，不允许 侵犯或者混同。另外，商标还代表了商品的质量与生产厂家的信誉在市场经济中起 着重要的作用。注册商标受到法律的保护。商标管理部门建立和管理商标库就是要将 待注册的商标与商标库中已经注册过的商标进行比照，以决定该商标是否具有注册资 格。近年来，由于注册商标的数目不断增加，人工已经难以胜任大量商标图像的相似 性比较，因此建立一种准确高效的商标自动检索系统具有重要的意义。 本章对基于内容的图像检索进行了综述，其中包括基本框架、应用领域、主要 方式、检索技术和未来研究方向。进一步地，本章对基于内容的商标图像检索进行了 专门回顾，主要包括传统的商标查询方法和著名的商标图像检索系统。最后，本章对 于本文的主要研究工作和内容安排进行了阐述。 1 。2 基于内容的图像检索 数字图像作为一种重要的信息载体，具有直观、内容丰富、无语言的限制和便 于交流等特点，是一种常用的多媒体资源。最早的图像检索可以追溯到2 0 世纪7 0 年代末期，那时，通用的图像检索方法是用文字特征，如标题、关键字等对图像进行 手工注释，然后用基于文字的数据库管理系统进行检索，这也称为基于文字的图像检 索。然而，基于文字的图像检索存在着几个问题，首先，对图像进行手工注释需要大 第一章绪论 量的人力，其次，图像内容是非常丰富的，很难进行确切的描述，例如图像的颜色、 纹理和空间分布等特征以及内在含义等通常难以通过注释来充分说明。另外，更重要 的困难来源于人对图像理解的主观性，即对相同的图像，不同人的理解是不同的，这 种理解的主观性很难使得注释非常精确，进而导致图像检索过程不可避免地会出现一 些错误。另外一个困难问题是，随着资源的网络化，越来越多的图像数据库实现了网 络共享，这时不同语言之间的障碍也会影响文字注释方法的效果。 9 0 年代初，随着大规模图像集合的出现，对图像进行手工注释方法越来越不能 满足需求。因而，人们提出了基于内容的图像检索( c b i r - - c o n t e n tb a s e di m a g e r e t r i e v a l ) 【k a n m 9 2 1 【8 a r r l 蜕】。所谓基于内容的图像检索，是指直接根据描述媒体对象 内容的各种特征进行检索，它能从数据库中查找到具有指定特征或含有特定内容的图 像，它区别于传统的基于关键字的检索手段，融合了图像理解、模式识别等技术，具 有如下特点： 1 直接从媒体内容中提取信息线索。基于内容的检索突破了传统的基于表达式 检索的局限，它直接对图像和视频进行分析并抽取特征，利用这些描述图像 内容的特征建立索引。 2 基于内容的检索是一种近似匹配。在数据库中，要使用模式识别的方法对图 像库中的图像按不同索引特征进行分类；在检索的过程中，它采用某种相似 性度量对图像库中的图像进行匹配获得查询的结果。这一点与常规数据库检 索的精确匹配方法有明显不同。 3 特征提取和索引建立可由计算机自动实现，避免了人工描述的主观性，减少 了工作量。但相似性度量与人的主观感受有关( 任意给幅图像，问数据库 中的图像有哪些与它在观感、风格和某些特定内容上相似? 显然，这与人的 主观性有关) ，因此常常需要用人机交互的方法，学习人的主观相似度感受。 研究和开发基于内容的图像检索系统是目前研究的热点。它把图像处理、图像 理解、计算机视觉、认知心理学、数据库管理以及用于处理用户接口的计算机图形学 等几个领域的技术成果结合起来，是一个有前途的发展方向p 9 m e l 9 9 9 1 【7 r t “1 9 9 9 1 。 1 2 1 图像检索的基本框架 基于内容的图像检索系统主要分为两个部分：图像库的索引，以及图像的查询。 图1 1 给出了一个基于内容的图像检索系统的基本框架，其中左边部分为对已有的图 像数据库进行图像特征的提取以及索引结构的建立；右边部分为用户查询图像的过 程。用户输入查询图像后，系统自动地进行特征的提取以及相似性的度量，按照相似 博士学位论文基于内容的商标图像检索研究 2 0 0 3 年1 0 月 度的大小输出与查询图像相似的图像，接着，用户可以根据自己的需要，将自己对查 询结果的意见反馈给系统，进而重新检索和输出。 r i 图1 1图像检索系统的基本框架 1 2 2 图像检索的应用领域 经过几十年的研究，现在已经出现了很多商用和研究用的c b i r 系统。前者如 i b m 的q b i c ，v i r a g e ，a t t r a s o f t 公司的i m a g e f i n d e r ，y a h o o 的i m a g es u r f e r 等等。 后者如麻省理工学院的p h o t o b o o k 和加利福尼亚大学的b l o b w o r l d ，伊利诺斯州大学 的m a r s ，哥伦比亚大学的v i s u a l s e e k 等等。c b i r 的应用领域非常广泛，包括： 犯罪预防。如在国家的安全部门中，可以建立图像数据库，存放有过犯罪纪 录入的人脸图像和指纹图像等等，这样当有案件发生时，一旦找到嫌疑人的 照片或指纹就可以搜索图像库进行人脸识别或者指纹识别，查询相关情况。 知识产权保护。随着知识经济的到来，知识产权日益受到重视，并得到法律 的保护。当注册商标的时候。需要对已有的数据库进行查询，检查是否已有 重复或类似的图像，这时就需要用到图像检索的方法。 另外还有：军事用途、地理信息系统和遥感、医疗图像管理和辅助病情诊断、网 络销售、时装设计、教育和培训、家庭娱乐等等。 第一章绪论 1 2 3 图像检索的主要方式 基于内容的图像检索方式主要有三种，用户可以用任何一种适合的方式从图像 数据库中查找自己需要的图像。这三种方式分别为： 示例查询：即用户给出查询图像，系统根据查询图像提取特征进行查询。如 用一幅人脸图像查询图像库中是否有另外一些该人的图像； 主色查询：即用户给出查询图像的主要颜色或颜色的分布，系统根据主色的 信息进行查询。如要查询蓝天下的雪山，就可以选择上面颜色为蓝色下面为 白色的颜色分布来查询； 轮廓查询：即用户借助系统提供的画图工具，画出所需图像的轮廓图，系统 根据轮廓图查找相似的图像。 其中示例查询为最通用也是最为方便的查询方式，一般的图像检索系统都为用户提供 了这种方式。而主色查询一般用于彩色图像的检索，轮廓查询则多用于对于给定目标 的查询，比如有意义的物体等。 1 2 4 图像检索的主要技术 因为图像使用者的需求不同，基于内容的图像检索可分为三个层次：1 利用原 始特征，包括颜色、纹理、形状以及空间结构的查询，例如检索包含黄色或者蓝色的 星星的图片；2 利用导出特征或逻辑特征的检索，其中加入了对于图像中目标的识别 和描述，例如检索火车通过桥梁的图片；3 抽象语义特征如场景描述，包含对目标意 义的复杂推理，例如检索壮观景色的图片。目前绝大多数检索系统，无论是商业系统 还是实验系统，一般只能够在第一层次上取得较好的效果 j p m e1 9 9 9 】，少量的实验系统 正在进行第二级的研究。 特征抽取是基于内容的图像检索的基础【7 r n 9 9 9 1 ，特征包括文字特征( 如关键字、 注释等) 和视觉特征。视觉特征中，针对诸如入脸识别“s p “1 9 9 2 l 【车避2 0 卿的特殊应用， 有一些专用的基于知识的特征，而这里讨论的主要是一些可以广泛用于图像检索的原 始视觉特征。目前比较成熟的特征是颜色、纹理、形状和物体之间的方位关系等，另 外基于区域、目标以及语义描述方面的研究也逐渐增多。 1 2 4 1 颜色特征 4 在基于内容的彩色图像检索中，颜色特征是最可靠、使用最广泛的视觉特征， 博士学位论文基于内容的商标图像检索研究 2 0 0 3 年1 0 月 具有与生俱来的旋转不变性。它对复杂背景图像相对健壮，与图像大小和方向无关， 而且颜色特征计算简单。所以在基于内容的图像检索中，颜色是使用最广泛的特征之 一，但是通常颜色的r g b 三色表示法不符合人眼视觉特性，因此比较时一般需要把 r g b 空间转化到其他颜色空间中处理，如h s v 空间就更加符合人眼的视觉感受。 在颜色检索中，颜色直方图是最通用的颜色特征表示形式。它运用了统计学的 方法。表示出三个颜色通道分布密度的联合概率。1 9 9 0 年s w a i n 和b i l l a d 提出了直 方图相交算法d h l 9 9 ”，成为这一方面的奠基性工作，目前这一算法仍被广泛使用。 其它主要的算法有：s t r i c k e r 和o r e n g o 提出的累积直方图以及颜色矩方法【8 m o m l 9 9 5 】； c a r s o n 提出的基于区域的直方图查询方法k a c 81 9 9 7 】；m e h t r e 等提出的参考颜色表方法 t b m l v l 81 钾5 】；s m i m 提出的二进制集合颜色集方法【j 0 8 8 1 蛳】；k a n k a n h f l i 提出的主要颜色 表示法【m 8 8 m1 9 9 5 】；h l i i l a g 提出的颜色相关图【o a l 9 9 7 】法等等。 m p e g 7 当前的实验模型( x m e x p e r i m e m a lm o d a l ) 9 0 版 a y m p2 0 0 1 1 定义了5 个 量化视觉颜色描述子，分别为颜色分布( c o l o rl a y o u t ) 、颜色结构( c o l o rs 眦t u r e ) 、 g o f g o p 颜色、主色o m i n a n tc o l 0 0 和可伸缩颜色( s c a l a b l ec o l o r ) 。0 ：j a l m a 2 0 0 2 】比 较了除g o f g o p 颜色以外的其它几个实验模型颜色描述子在语义图像类中的检索结 果，颜色空间均采用h s v 空间，图像的相似性度量采用直方图求交的算法，实验表明 颜色结构的检索效果最好，但是其计算量也是最大的。 1 2 4 2 纹理特征 纹理是与物体表面材质有关的图像特征，目前也是基于内容检索系统中的一条 重要线索。纹理通常定义为图像的某种局部性质，或是对局部区域中像素之间关系的 一种度量。多年来，纹理分析方法分为两大类：统计分析方法和结构分析方法。前者 从图像有关属性的统计分析出发；后者则力图找出纹理基元，再从结构组成上探索纹 理的组成规律【 r 8 81 9 7 0 】【8 7 5 7 3 1 。一般来说，统计分析方法能够取得较好的效果，所 以一直占据着主导地位。 早在7 0 年代早期，h a r a l i c k 等提出用灰度共生矩阵来表示纹理特征1 8 m 51 9 7 孙， w e s z k a 等人从实验中发现由灰度共生矩阵计算出来的简单统计量如熵，角二阶矩等 比复杂统计量更有效1 8 。8 1 9 7 6 1 。t a m u r a 等人采用了多个视觉纹理特，征【h t 8 9 78 1 ，分别 是粗糙度、对比度、方向性、线性度、规则度和平滑度，实验证明这几个特征符合人 的主观视觉感受，取得了很好的效果。p a s c h o s 提出一种可以快速识别彩色纹理图像 的染色体矩法【g e 队2 0 0 0 】，h e i d c l w2 0 0 2 1 等提出一种基于纹理谱特征的纹理抽取方法，将 图像分为3 3 的纹理基元，由纹理基元的分布频率得到纹理谱特征。o j a l a 等 t o m p 2 0 0 2 1 提出用局部二进制模式( l b p l o c a lb i n a r yp a a e m ) 进行灰度纹理分类，这种方法有较 第一章绪论 好的尺度和旋转不变性。另外，还有用小波变换来表示纹理的方法【j r 8 1 9 叫【8 8 w 71 9 9 6 1 ， 包括正交小波变换、双正交小波变换、树结构小波变换和g a b o r 小波变换等，其中 g a b o r 小波变换的效果最好，但是其复杂度较高。 m p e g 一7 当前的实验模型9 0 版 a y m p 2 0 0 1 定义了3 个量化视觉纹理描述予，分别 为边缘直方图( e d g eh i s t o g r a m ) 、均匀纹理( h o m o g e n e o u st e x t u r e ) 和纹理浏览( t e x t u r e b r o w s i n g ) 。o j a l a ”“在o u t e x 纹理库上对l b p 方法和m p e g 7 的三个纹理描述 子进行了比较，使用了3 1 9 幅纹理图像，实验结果表明l b p 描述子在检索性能和计 算复杂度方面都更加出色。 1 2 4 3 形状特征 形状是刻画物体的本质特征之一，因此利用形状检索可以提高检索的准确性和 效率。但是，形状相似性在基于模式的视觉中是一个困难的问题。理想情况下应该可 以抽取用于描述图像视觉特性的最佳形状特征，但是至今对于形状如何描述还没有正 式的框架。从计算的角度来说，一个好的形状特征应该满足对于噪声、遮挡和几何变 形的鲁棒性以及对于图像微小变化的稳定性。另外，相似的形状其特征向量应该近似， 并且与其它特征向量有较大不同。 总的来说，形状表示法可以分为两类，基于边界的和基于区域的，如图1 2 。前 者仅仅使用形状外边界，而后者则用了整个形状的区域信息。 圈1 2 形状描述方法分类 基于边界较为简单的特征有形状数、周长、圆形性和紧密度等等。通常，它们 只能用来识别差异较大的形状，因此大多用于初步过滤或者和其它的形状特征结合起 博士学位论文基于内容的商标图像检索研究 2 0 0 3 年1 0 月 来使用。 边界矩【m 8 v h1 9 9 3 1 可以减少边界表示的维数，其优点是易于实现，但是只有少量 低阶矩有物理意义。基于边界的f o y e r 描述子【c 1 r z1 9 7 2 1 将笛卡尔坐标系下的图像边界 进行等间距抽样，然后将复数形式的点坐标进行离散f o x i e r 变换，得到一系列的 f o y e r 系数，对图像的形状进行描述。这种表示方法可以将2 d 问题转化为1 d 问 题，并且前几个f o y e r 系数可以用于近似表示边界的形状，这种方法需要提取出图 像的近似外边界。边界方向直方图【a k a v1 9 9 6 】用c a n n y 边界检测算子进行边界检测并提 取边界方向特征，其具有尺度不变性，能够描述图像的大体形状，并且对于图像中有 局部噪声的情况鲁棒性比较好，但是它不具有旋转不变性。b i m b o 和p a l a 提出用弹 性匹配的方法【a d p p 。州进行基于形状的图像检索，变形模板由初始模板和变形函数叠 加而成，但是这种方法的计算和匹配复杂度都比较高，因此不适用于在线检索。 m o k h t a r i a n 等提出的c s s f c u r v a t u r es c a l es p a c e ) 方法 5 m o k 1 9 9 5 1 【5 m 8 a1 9 9 6 儿8 a 5 m1 州【8 a f m ”叫是一种对平面曲线曲率零交叉点的多尺度描述，并将图像转化为尺度空间图像的 匹配，这种方法的复杂度相对也比较高。 总的来说，全局的边界描述方法将图像的全局边界形状特征用于图像的形状描 述，形状的匹配可以在空域或者特征域中进行。通常需要形状抽取尽可能准确，同 时，也需要特征尽可能简洁以便简化特征的索引和匹配。因此，实现时需要折衷考虑。 早期的c o n e l a z z o 等人用链码串来描述商标的形状特征【“，首先对商标图 像提取边界并用边界树表示出图像的结构信息，只有结构相同的图像才进行下一步 的相似性比较。然后对图像内的每一个边界用8 链码表示，再用字符串匹配方法来度 量对应链码串的相似程度，但这种方法对于结构的同构性要求过于严格。p e n g 等人 f p e c h 怫7 1 提出用闭合的边界信息进行商标图像的相似性检索，将商标图像分解为多个 闭合边界的集合每一个都用相应链码的差分码得到角码字符串，并用一个两步字符 串匹配算法计算闭合边界的相似性，最后，用闭合边界相似性的最大值和平均值得到 最终的图像之间的相似度。但是，上述方法在衡量边界相似性时没有考虑相邻角码的 方向关系。y i n 等人【9 。o 。2 0 0 2 1 在p e n g 的基础上分析了相邻角码的方向关系，提出2 一 级边界的字符串表示方法，并且结合区域面积和对称性等特征进行商标图像检索。 这几种基于边界结构的方法能够较好地处理图像中的遮挡问题和局部相似的问 题，但是计算复杂度比较高，而且容易忽略图像的全局形状特征。另外，边界的变化 可能导致局部结构的变化因此全局形状特征更值得信赖。 基于区域的方法简单的有面积、重心和偏心率等等，用于对区域形状做最基本 的描述。其它的更通用的方法有矩不变量和网格等等。 矩是一种完备的数学表示，其优点是能够直接作用于包含感兴趣目标的目标区 域而不需事先把目标分离出来。区域的矩是用所有属于区域内的点计算出来，因而不 第一章绪论 太受噪声的影响，矩在图像检索中得到了广泛的应用。1 9 6 2 年h u 证明了利用二阶和 三阶中心几何矩组成的h u 矩组，在物体平移、缩放和旋转时保持不变。j m n 等将h u 矩组用于商标图像检索，取得了不错的检索结果 a k a v1 9 9 6 1 。h u 不变矩组存在的主要 问题是少量的低阶矩包含的信息还不足以充分地描述形状特征，而高阶矩又比较难于 取得。q b i c 中使用了代数矩不变量| w l q v , b 啪3 1 ，其由前m 个中心矩计算得到，与h u 矩不同的是，可以构造出任意阶的代数矩。然而文献【b 8 8 81 9 9 4 1 中的结果显示，代数矩 的方法用于检索的效果有时很好而有时则很差。在几何矩中用正交多项式代替原有的 核函数，可以得到矩的通用形式，若分别带入l e g e n d r e 多项式和z e m i k e 多项式，就 可以得到l e g e n d r e 矩和z e m i k e 矩，由于l e g e n d r e 多项式和z e m i k e 多项式都是正交 基的完备集，因此l e g e n d r e 矩和z e m i k e 矩被称为正交矩，正交矩可以准确地重构图 像。k h o t a n z a d 【“”0 1 等将z e m i k e 矩用于图像的识别取得了不错的识别效果。t e h o h r t ”8 】等比较了各种正交矩和非正交矩，发现z e m i k e 矩性能更为出众。k i m 将z e m i k e 矩用于商标图像检索【7 8 w 7 9 9 8 l i w y y s2 0 0 0 l ，其结果符合人的视觉感受。l u 【0 l 6 81 9 9 8 】提出 基于网格的形状描述子，对图像从左到右、自上而下进行扫描，如果网格被形状覆盖， 则值为l ，否则为0 ，结果得到一个位图。这样形状就可以用二值特征向量来表示。 c h a k r a b a r t i 等人使用a r ( a d a p f i v er e s o l u t i o n ) 表示来改善网格描述子并用于m a r s 系 统【k c m 0 2 舯们。 基于区域的形状表示方法将区域形状当作一个整体来看待，有效地利用了区域 内的所有像素，因而受到噪声和形状变化的影响相对较小。基于区域的方法中使用最 普遍的是矩方法，它们描述了区域像素的统计分布特征。低阶矩有着相应的物理意义， 而高阶矩则比较难于解释。基于网格的方法是从人观察图像的方式出发，其不能够很 好地反映形状的统计分布，而且不如矩方法精确。 形状表示法中f o u r i e r 边界描述子，c s s 方法和z e m i k e 矩已经被m p e g 一7 实验 模型定义为视觉形状描述子。 1 2 4 。4 其它特征 在图像检索中，除了颜色、纹理和形状这几个基本的视觉特征外，还有其它的 一些特征，如轮廓特征，以及图像中各个对象的空间关系等等。w i n g 等【w h l 。2 0 0 2 】提 出用轮廓特征进行商标图像检索，对每幅图像需要判断用提边缘的方法还是细化求骨 架的方法提取轮廓特征。l i u 等1 z q 押1 9 9 1 l 使用直角坐标的方法对物体之间的关系进行了 分级性表示，既有粗略的表示法又有精确的表示法。s i s t l a 等 a r c ”l 定义了一套基 本关系集来表达空间关系，主要包括：上、下、左、右、前、后等。另外由于在很多 情况下，人们感兴趣的并不是整幅图像，而是图像中的某些区域或者目标，因此通常 博士学位论文基于内容的商标图像检索研究 2 0 0 3 年1 0 月 先进行分割，然后再利用感兴趣的部分进行检索【a n 8 1 1 9 9 7 1 。 综上所述，图像处理和计算机视觉中所研究的很多视觉特征如颜色、纹理和形 状等，在图像检索领域中都得到了很好的运用。针对不同的应用和不同的图像库，人 们采用了各种特征表示方法，并作了一些比较。实验表明，通常来说颜色和纹理检索 比形状匹配能够得到更好一些的结果，但是单一的特征抽取和描述方法一般不能取得 令人满意的效果，所以大多数系统将各种特征结合起来使用。 1 2 5 未来主要研究方向 总的来说，现有的c b i r 技术在专门领域中的颜色或形状匹配的应用中已发挥着 重要的作用，但在系统能够完成语义级的识别和索引之前还需要关键性的技术突破。 因此，c b i r 目前还不能取代手工索引的文字级的图像查询，在该领域还有很多问题 值得今后进一步的研究。 1 2 5 1 网络检索 随着网络的飞速发展，以及多媒体技术的广泛应用，如i n t e m e t 图像库、电影库、 视频库、数字图书馆和艺术馆等的出现，迫切需要基于网络的图像搜索引擎。虽然现 在这方面已经取得了一些进展【3 8 m 。1 9 9 9 l ，但是与人们可以接受的结果相比较，还存在 着很大的差距。其中的困难是必须解决特征维数的压缩问题以及图像在网络中传输速 度问题，这样才能获得足够的网络检索速度。 1 2 5 2 高维索引技术 随着网络和多媒体技术的发展，产生了大量的大型图像数据库，但是目前大多 数检索算法都只是在小型数据库上进行实验，因此能够基本满足实时性的要求。但是 对于大型的数据库，尤其是面向网络的检索时，数据量非常大，建立合理的索引结构 就显得非常重要了。目前，一般采用压缩特征维数，然后再采用适当的多维索引的方 法。在这个领域，已经取得一些进展，如k d 树，r + 树，以及改进的索引树结构【“刈o 7 1 ，但是每种结构都有其优点和不足，有的局限于某些特定的领域，有的则不能和 其它结构同时存在，因此，如何使得高维索引结果更加有效还需要进一步研究。另外， 特征数据的存储方法，以及相似性度量的方法对于索引结构的建立也有定的影响。 第一章绪论 1 2 5 3 基于语义的检索( 智能检索) e a k i r l s j p e a l 9 9 8 1 提出图像查询可以分为三个级别：第一级为基于原始特征的查询， 如颜色、纹理、形状以及空间结构；第二级为基于导出特征或逻辑特征的检索，其中 加入了对于图像中目标的识别和描述：第三级为基于抽象语义的检索，包含对目标或 场景意义的复杂推理。目前绝大多数检索系统无论是商业的还是实验的，都停留在第 一级的检索上，少量的实验系统正在进行第二级的研究。 基于语义特征的图像检索目前比较活跃的领域有p 9 队2 0 0 2 l ： 1 在所有的图像集中进行自动场景分类【m 8 r p l 9 9 8 l ，般使用基于统计的技术。 2 自动目标分类和识别，使用以下两种方法，一种为基于知识的技术g d u r l 9 9 9 1 ， 其依赖于目标的细节模型，另一种为类似于场景分类中的统计技术8 8 儿1 9 蚓。 3 对由用户制定的标识进行学习和繁殖。 1 2 5 4 文字特征和视觉特征的结合 由于视觉特征难以表达图像的语义特征，所以研究者们尝试将文字信息和视觉 特征结合起来进行基于内容的图像检索8 8 m 。1 9 蚓。文字特征来源于h t m l 文档中包含 的路径名、标题等文字，而视觉特征则使用图像的颜色和方向直方图。实验结果表明， 这种方法要优于单独的视觉特征检索。 1 2 5 。5 人机交互 目前，在基于内容的图像检索技术中所抽取的图像特征基本上是图像的底层视 觉特征，它们与图像的实际语义是脱离的，底层视觉特征目前还没有能力辨别出图像 中所包含的物体及其语义含义。因此，无论在图像检索中抽取什么样的特征或者定义 何种相似性的测度，图像检索的最终用户是人，因而人对图像的理解直接影响图像检 索的结果和性能评价。 早期基于内容的图像检索系统强调特征提取和检索过程的完全自动化，试图找 出能够解决一切检索问题的最佳视觉特征，但是计算机视觉和图像理解技术的发展程 度以及图像内容的多样化使得这种方法没有取得理想的效果。所以，我们需要人和计 算机的协作，越来越多的研究现在开始重丰见交互系统”，关注人在其中的作用 c h s f l 9 9 9 s s m l 1 9 9 9 。 博士学位论文基于内容的商标图像检索研究 2 0 0 3 年1 0 月 1 2 5 6 性能评价准则 早期的系统开