（计算机应用技术专业论文）基于颜色和形状特征的图像检索技术研究.pdf

摘要 基于颜色和形状 特征的图像检索技术研究 专业名称：计算机应用技术 申请者姓名：吕成伟 导师姓名：李岩教授 随着多媒体和互联网的普及，计算机硬件技术的发展，各种图像信息呈爆 炸性增长，传统的文本关键词检索方法不能适应图像信息的检索要求。近年来， 在数据库系统和计算机视觉，人工智能等研究领域的推动下，基于内容的图像 检索技术( c o m e m b a s ei m a g er e t r i e v a lc b i r ) 成为多媒体领域的研究热点。本文 在对基于内容的图像检索关键技术分析的基础上，重点探讨基于颜色特征和形 状特征的图像检索方法。 c b i r 技术的核心是图像内容特征的表达，包括颜色特征，形状特征和纹理 特征的表达。颜色特征计算简单，性质稳定，作为图像的一种重要视觉信息， 在c b i r 中已得到广泛应用。本文分析现有h s v 颜色空间颜色量化算法，结合 人类视觉模型，提出新的h s v 颜色空间非均匀颜色量化算法，根据人视觉中心 通常集中在图像中心区域且由图像中心向四周递减的特点，使用了模糊图像区 域划分。在此基础上提出基于h s v 颜色空间非均匀颜色量化和模糊图像区域划 分的颜色特征提取算法，它使用新颜色量化算法并结合模糊图像区域划分统计 图像颜色直方图作为颜色特征向量。通过使用不同的颜色量化算法和是否结合 模糊图像区域划分统计直方图进行比较验证新算法有效性。 形状特征是图像重要可视化内容，是人类进行物体识别时的关键信息。本 文分析现有的图像形状特征提取算法，针对形状特征较少应用于自然图像检索 i i 的空白着重研究基于形状的自然图像检索。使用c a n n y 算法结合 e t c ( e d g e t e x t u r ec h a r a c t e r i z a t i o n ) 算法去除图像中的纹理信息来优化自然图像 的形状检测，然后使用改进的广义傅立叶描述符算法提取形状特征。实验表明， 新算法在图像包含大量纹理背景信息时，图像数据库的检索精度高于传统的广 义傅立叶描述符算法。 在讨论新的图像特征提取算法的基础上，本文设计开发了基于内容的图像 检索实验平台f r e e d o m ，实现新的图像特征提取算法。通过与其他特征提取 算法比较，验证新算法的有效性。 关键词：基于内容的图像检索，h s v 颜色空间，非均匀颜色量化，模糊图 像区域划分，广义傅立叶描述符，e t c 算法，图像数据库 a b s t r a c t i n 甚g er e t ri e v a ib a s e do ns h a p ea n dc o i o r m a j o r ：c o m p u t e ra p p l i c a t i o nt e c h n o l o g y n a m e ：l vc h e n g - w e i s u p e r v i s o r ：p r o f l iy a n t l 硷h i g hp o p u l a r i t y i nm u l t i m e d i aa n di n t e r n e ta n dt h ed e v e b p m e mo f c o m p u t e rh a r d w a r eh a v ec a u s e dt h ee x p l o s i v ei n c e n s e m e n to fa l lk i n d so fi m a g e i n f o r m a t i o n t r a d i t i o n a lt e x tk e y w o r d b a s e dr e t r i e v a lm e t h o di su n a b l et of u l f i l lt h e d e m a n do fi m a g er e t r i e v a l w k ht h ep r o m o t i o no fd a t a b a s es y s t e m , c o m p u t e rv i s i o n a n da r t i f i c i a l i n t e l l i g e n c e ，c b i r ( c o n t e n t - b a s e di m a g er e t r i e v a l ) b e c a m et h e r e s e a r c hh o t s p o ti nm u l t i m e d i af i e l di nr e c e n ty e a r s t h i sp a p e ri n v e s t i g a t e dt h e m e t h o d so fe x t r a c t i n gi m a g ei n f o r m a t i o nb a s e do nc o l o ra n db a s e do ns h a p ea f t e r a n a l y z e dt h ek e yt e c h n o l o g yo fc o m e n t b a s e di m a g er e t r i e v a l t h ec o r et e c h n o l o g yo fc b i ri st h er e p r e s e n t a t i o no fi m a g ec o n t e n t ，i n c l u d i n g c o l o r , s h a p ea n dt e x t u r e a si m p o r t a n tv i s u a li n f o r m a t i o n , c o l o rf e a t u r eh a sb e e n w i d e l yu s e di nc b i rs y s t e m sb e c a u s eo fi t ss i m p l i c i t yi nc o m p u t a t i o na n ds t e a d y q u a l i t y b a s e do nt h es t u d yo nc u r r e n th s v c o l o rs p a c eb a s e dc o l o rq u a n t i z a t i o n m e t h o d ，an e wh s vc o l o rs p a c eb a s e dn o nu n i f o r mc o l o rq u a n t i z a t i o nm e t h o dw a s p r o p o s e di nc o m b i n a t i o nw i t ht h ec h a r a c t e ro fh u m a nv i s u a lm o d e l 缸h u m a n v i s i o na l w a y sl i e so nt h ec e n t e ro fi m a g ea n dd e c r e a s ef r o mc e n t e rt ob o r d e r s ，f u z z y i m a g er e g i o nw a sa l s ou s e di nt h i sp a p e r a n dan e wi m a g ec o l o rf e a t u r ee x a c t i o n m e t h o db a s e do nt h em e t h o d sm e n t i o n e db e f o r ew a sp r o p o s e da n di t se f f e c t i v e n e s s w a sv e r i f i e db yu s i n gd i f f e r e n tc o l o rq u a n t i z a t i o nm e t h o da n db yw h e t h e rf u z z y i m a g er e g i o ni su s e do rn o t s h a p ef e a t u r ei so n eo ft h ei m p o r t a n tc o n t e n t si ni m a g ea n dt h ek e yv i s u a l f e a t u r eo fh u m a nr e c o g n i t i o no fo b j e c t s a c c o r d i n gt ot h eb l a n k n e s so fs h a p ef e a t u r e l v e x a c t i o ni nn a t u r a li m a g e s , t h i sp a p e rs t u d i e dc u r r e n ta l g o r i t h m so fi m a g ef e a t u r e e x a c t i o nb a s e do ns h a p ea n dd i dr e s e a r c ho nt h er e t r i e v a lo fn a t u r a li m a g e sb a s e d0 1 1 s h a p e t h eo p t i m i z a t i o no fi m a g ee d g ee x t r a c t i o nw a sa c h i e v e db yt h ec o m b i n a t i o n o fc a n n ye d g ed e t e c t o ra n de t cm e a s u r e m e n t a n dt h ec h a r a c t e ro fs h a p ei s d e s c r i b e db yt h ei m p r o v e dg e n e r i cf o u r i e rr e s c r i p t o r e x p e r i m e n t ss h o w e dt h a t w h e nal o to f t e x t u r ei n f o r m a t i o ni sc o n t a i n e di ni m a g ec o n t e n t ，b e t t e rr e s u l tw a sg o t t h i sp a p e rd e v e l o p e dac b i rs y s t e mn a m e df r e e d o ma c c o r d i n gt o d i s c u s s i o n st ot h en e wm e t h o d s i ti m p l e m e n t e dt h en e wi m a g ef e a t u r ee x a c t i o n m e t h o d sa n dv e r i f i e dt h e i re f f e c t i v e n e s sb yc o m p a r i n gt h e mw i t ho t h e ri m a g ef e a t u r e e x a c t i o nm e t h o d s k e yw o r d s ：c o n t e n t b a s e di m a g er e t r i e v a l ，h s vc o l o rs p a c e ，n o n - u n i f o r m c o l o rq u a n t i z a t i o n , f u z z yi m a g er e g i o n ，g e n e r i cf o u r i e rd e s c r i p t o r , e t ca l g o r i t h m , i m a g ed a t a b a s e ，s i m i l a r i t ym o a s u r e v 图目录 图1 ：颜色商方i 鳘l 误检示意图4 图2 ：典型的c b i r 系统的基本框图1 3 图3 ；r g b 颜色空间示意图19 图4 ：h s v 颜色空间示意图2 0 图s ：人眼不同锥体对于可见光的敏感度2 3 图6 ：h s v 颜色空间h 方向图2 3 图7 - h s v 空间s v 平面截图2 4 图8 ：h s v 颜色空间中h 方向截面图。2 5 图9 ：h s v 颜色空间s 方向变化图2 5 图1 0 - 原始l e n ab m p 图像2 8 幽11 ：使用成员关系函数分割之后l e n ab m p 的结果2 8 图1 2 - 基于h s v 颜色空间非均匀颜色量化和模糊图像区域划分的图像颜色特征提取 算法的流程2 9 图1 3 ：模糊图像区域划分权重图3 0 图1 4 - 试验使用的查询用例图片3 4 图1 5 - 试验7 ，8 ，1 5 ，1 6 使用的查询图片。3 5 图1 6 - 试验1 6l h b h 算法3 5 图1 7 - 试验1 6h b h 算法3 6 图1 8 试验1 6f rh s v 算法3 6 图1 9 - 试验1 9l h b h 算法3 7 图2 0 - 试验1 9h b h 算法3 7 图2 1 ：试验1 9f rh s v 算法。3 8 图2 2 ：使用e t c 算法和c a n n y 边缘检测算法的提取图像边界流程4 3 图2 3 ：边缘检测l e n a 效果图4 4 图2 4 - 改进的广义傅立叶描述符算法流程。4 8 图2 5 ：改进傅立叶描述符试验检索i 型像l 5 0 图2 6 ：鸟类检索图片边缘提取结果5 1 图2 7 ：改进傅立时描述符试验检索图像2 。5 1 图2 8 ：花卉类检索图片边缘提取结果5 2 图2 9 ：闪电类别检索p r 和r r 图5 3 图3 0 ：山脉类别检索p r 和r r 图。5 3 图3 l ：鸟类2 类别检索p r 和r r 图5 4 图3 2 ：花卉2 类别检索p r 和r r 图5 4 图3 3 ：闪电类别检索效果图5 5 图3 4 ：山脉类别检索效果图。5 5 图3 5 ：鸟类2 类别检索效果图5 6 图3 6 ；花卉2 类别检索效果图5 6 图3 7 ：r e e d o m 图像检索体系系统架构5 8 图3 8 ：图像颜色特征入库流程6 2 图3 9 ：f r e e d o m 系统启动界面6 3 幽4 0 ： 幽4 1 ： 图4 2 ： 幽4 3 ： 幽“： f r e e d o m 系统图片格式转换界匾6 4 f r e e d o m 系统阔像入库界面“ f r e e d o m 系统选择商洵图片6 5 f r e e d o m 系统钮饩洵图片后界面6 , 5 f r e e d o m 系统捡索结果界面6 6 i 表l 表2 表3 表4 表5 表目录 基于h s v 颜色空间和图像模糊区域划分的图像颜色特征提取算法结果统计3 1 改进的广义傅立叶描述符算法检索结果4 9 数据库系统信息表6 0 一个典型的图像信息特征表结构6 0 c + + 中调用m y s q la p i 接口6 1 x 华南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。 本人完全意识到此声明的法律结果由本人承担。 论文作者签名：涨年 日期：加呼年多月2 日 学位论文使用授权声明 本人完全了解华南师范大学有关收集、保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版和纸质版，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在年后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 论文作者签名：昌乍鼽争 日期：坼年6 月2 - e i 导师签名： 袭乞 孑 日期：伽古年彦月弓日 第一章绪论 随着计算机和网络技术的快速发展，特别是2 0 世纪9 0 年代以来互联网的普 及，计算机逐渐成为人们日常生活中不可或缺的一部分。网络的宽带和网络上的 信息量也飞速增长，互联网成为了名副其实的海量信息库。数字媒体信息的数量 和种类不断膨胀，出现了声频、视频、数字图像和文本等多种形式，涉及到包括 学术、医学、气象、交通、军事等各个领域。随着数字媒体信息的几何级数增长， 大容量稳定的存储设备的出现，产生了大容量的图像数据库。因此如何迅速准确 地从浩瀚的图像数据库中检索到所需要的图像成为图像数据库的一项基本功能， 当传统的基于关键字的文字搜索不能满足需求时，人们提出了基于内容的图像检 索( c o n t e n t b a s e di m a g er e t r i e v a l 简称c b i r ) ，并迅速成为多媒体领域的研究热 点之一。 本章首先介绍本课题的背景和研究意义，然后讨论国内外的研究现状和热 点，接着说明本论文的组织结构和主要创新点。 1 1 基于内容的图像检索与本文研究意义 随着图像数据的爆炸性增长，对图像的管理和检索成为图像数据库的关键。 早期图像检索系统采用传统的文本检索方法。首先对图像的标题、作者、制作时 间、内容描述、文件大小等预定义的关键信息采用文本的形式进行人工注释，建 立图像索引数据库，然后按照文本数据库管理，采用关键词检索图像。传统图像 检索技术简单方便，但是它存在两个无法克服的缺点：一个是文本描述使用人工 标注，存在一定的主观性，且简短的人工文本描述难以体现图像丰富的内容，还 有时根本无法添加人工描述，比如指纹图像。另一方面手工输入文本描述效率低， 随着图像数量的增加，系统维护代价高。 为了克服传统文本检索方式的缺点，二十世纪9 0 年代以后，使用图像的视 觉特征来描述图像的内容，基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ， 简称c b i r ) 成为研究热点，出现了许多商业的图像检索系统或者供研究用的图像 检索系统【i 】，其主要思想是使用图像的视觉特征来描述图像的内容，进行图像信 息检索。建立图像数据库时根据图像所包含的颜色、纹理、形状、空日j 关系以 及它们的组合特征等信息提取为其对应的特征向量，在图像入库时存储图像以其 对应的特征向量。在图像检索时，通过图像特征向量间的距离进行相似性度量， 然后将最相似的若干图像返回给用户。由于利用图像本身的物理内容描述图像， 而且特征的提取由计算机自动实现，因此避免了人工标注的主观性，减少了人工 标注的工作量。而且c b i r 综合应用了图像工程、数字信号处理、人工智能等相 关学科的知识，直接比较图像的内容，检索的结果更符合人的视觉习惯。由于此 项技术的广阔应用前景和巨大的商业价值，因此迅速成为研究热点。国际上，各 大国际著名杂志如：( ( i e e et r a n s a c t i o n so np a m ) ) 、( i e e et r a n s a e t i o n so ni m a g e p r o c e s s i n g ) ) 、( i e e et r a n s a c t i o n so nm u l t i m e d i a 、l e 髓t r a n s a c t i o n so nc s v t ) 、 ( ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、( ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e r v i s i o n ) ) 、( ( p a t t e r nr e c o g n i t i o n ) 、s i g n a lp r o c e s s i n g 等纷纷设专刊介绍该领域最 新的研究成果。著名的国际会议如：i e e ec o n f e r e n c eo nc v p r 、i e e e i n t e r n a t i o n a lc o n f e r e n c eo na s s p 、( ( a c mc o n f e r e n c eo nm u l t i m e d i a 、( s p i e c o n f e r e n c eo ne l e c t r o n i ci m a g i n g ) ) 等纷纷设专题交流最新的研究进展。与此同时， 各大研究机构和公司纷纷推出了自己的图像检索系统，据不完全统计，截止至 2 0 0 0 年，互联网上出现的c b i r 系统原型超过5 6 个【n 。比较典型的有i b m 公司 推出的最早c b i r 系统q b i c 2 1 ，v i r a g e 公司的v i r a g e t 3 1 图像搜索引擎，麻 省理工学院( t ) 多媒体实验室开发的p h o t o b o o k 4 1 蛩像检索系统原型，伊利 诺斯大学的m a r 5 1 原型系统，哥伦比亚大学v i s u a l s e e k 和w e b s e e k t 6 】等。 尽管基于内容的图像检索技术研究已达数十年，取得了长足的进展，但仍无 法满足用户的检索要求。理想的基于内容的图像检索希望采用图像处理与计算机 视觉技术自动地从图像中获得语义内容，但是由于图像语义的内在复杂性，目前 还很难实现图像语义的自动提取。目前基于内容的图像数据库检索系统是建立在 基于图像的底层视觉特征对比基础上。由于计算机视觉以及人工智能发展的不成 熟，目前各种图像特征提取算法的结果都不能够精确表示图像的内容，理论上仍 有许多问题需要解决，图像的底层视觉特征提取仍是基于内容的图像检索技术的 研究热点。 2 1 2 图像底层视觉特征提取的研究现状 图像的底层视觉特征包括一般可以分为颜色，形状和纹理等。调查报告中l l l 统计的c b i r 系统原型中，提供使用颜色特征进行检索功能的有4 6 个，占8 2 1 ； 提供使用形状特征进行检索功能的有3 6 个，占6 4 3 ；提供使用纹理特征进行 检索功能的有3 0 个，占5 3 7 。从以上数据可以看出，在三种底层视觉特征中， 颜色和形状仍是当前研究的热点。 1 2 1 颜色特征 颜色是物体表面的最直观、最明显的视觉特征，每种物体都有其特有的颜色 特征，同一类事物往往有着相似或相同的颜色特征，因此可以利用颜色特征来区 分不同物体。作为图像内容组成的基本要素，相对于其它底层图像特征而言，颜 色具有与生俱来的旋转不变性和尺度不变性，具有很强的鲁棒性，而且颜色特征 计算方便，因此基于颜色的查询是基于内容的图像检索中应用最广泛和最重要的 方法【7 】。 s w a i n 和b a l l a r d s 在19 9 0 年提出的颜色索引( c o l o ri n d e x ) 的基本思想和 方法和1 9 9 1 年提出的直方图相交 9 ( h i s t o g r a mi n t e r s e c t i o n ) 算法奠定了图像 的颜色特征提取算法的基础。后来的大多算法都是基于颜色索引的基本思想，到 目前为止这一算法仍然被广泛使用。给定一幅图像( 厶h 。，厶表示象素点( x ，y ) 处的颜色值，mxn 表示图像的尺寸，图像所包含的颜色集为c ，则图像的颜色 直方图可以表示为：吃2 面面1 z 刍v j - - i 磊i v - - i 万( 兀一c ) ，v c c 。颜色直方图作为一种重要 的基于颜色特征进行图像检索的方法，具有特征提取和相似度计算简便，并且随 图像尺度、旋转等变化不敏感的特点。但是该算法只考虑了图像中各种颜色的统 计分布，没有包含任何颜色的空间分布信息，颜色空间分布明显不同的图像可以 具有相同的颜色直方图f 如图1 所示的两幅图像就有相同的直方图，但是人的感 觉是图a 和图b 的差异较大l ，因此可能造成图像的误检。 3 图片a 图片b 图l ：颜色直方图误检示意图 除了颜色直方图之外，也可以使用其他数学量来表达图像的颜色特征。 s t r i c k e r 和o r e n g o 1 0 1 使用颜色矩( c o l o rm o m e n t s ) 来表示图像中的颜色分布。由于 颜色分布信息主要集中在低阶矩中，因此常采用颜色直方图特征的一阶矩 ( m e a n ) 、二阶中心矩( v a r i a n c e ) g l 三阶中心矩( s k e w n e s s ) 来表达图像的颜色特征。 与颜色直方图相比，该方法无需对颜色进行量化。颜色矩和其它颜色特征相比是 非常简洁的，但图像低阶矩检索精度较低。在实际应用中往往将颜色矩同其它图 像特征联合应用，首先采用颜色矩过滤缩小检索范围，再应用其他颜色特征进行 检索。j o h n t “】根据颜色直方图特性和信息论中信息熵的概念，提出采用图像颜色 的信息熵来表示图像的颜色特征。将图像的颜色直方图由多维降低到一维，并采 用城市距离进行图像间的距离度量虽然采用熵的方法有效降低图像直方图特征 的维数，但在利用颜色熵进行图像检索时，其分辨能力是较低的。 近年来，随着对人类视觉模型研究的深入，人们发现h s v 颜色空间颜色的 相似性与颜色的距离关系和人类的视觉系统一致。因此人们普遍认为在c b i r 系 统中使用h s v 颜色空间要比使用r g b 颜色空问更能提高检索的效率。出现了各 种基于h s v 颜色空间的图像颜色特征提取方法。与基于r g b 颜色空间的类似， 在基于h s v 颜色空间中的图像特征提取算法也是对图像进行直方图统计并采用 相交直方图计算不同的颜色特征向量之间的距离。但是，目前图像通常都采用 r g b 颜色空间来存储，因此首先要将图像由r g b 颜色空间转换到h s v 颜色空 间。在转换的过程中，r g b 颜色空间量化和h s v 颜色空间量化并不是一一对 应的关系，需要首先确定h s v 颜色空问的量化对应关系然后再进行从r g b 颜色 4 空间到h s v 颜色空间的转换。确定h s v 颜色空间量化对应关系实质上就是确定 h s v 颜色空间上颜色小区问数目和区间划分方法。颜色小区f b j 的数目对应于颜色 特征的维度，而区间划分方法决定了不同颜色与人类视觉系统的对应关系。曹莉 华等1 1 2 1 提出h s v 颜色空间的非等间隔量化方案，该方案将h 、s 、v 三个分量按 一定方式进行非等间隔的量化，把色调h 分成8 份，饱和度s 和亮度v 都分成3 份，并根据颜色的不同范围进行量化。量化后，h 、s 、v 三个分量在一维矢量上 分布开来，可以获得7 2 柄颜色分量。另外一种常见的h s v 颜色空间量化方案是 使用( 1 6 ：4 ：4 ) 的划分方案，将色调h 分成1 6 份，饱和度s 和亮度v 都分成4 份， 共获得2 5 6 柄颜色分量。文献【1 3 1 分别从建立特征索引所花费时问以及检索准确 率两个方面比较两种量化方法。( 8 ：3 ：3 ) 量化方案最后得到的颜色分量较少，因此 计算复杂度较小。但是它忽略了颜色间的细微差别，影响了图像检索的精度。而 i6 ：4 ：4 ) 量化方案具有很强的颜色分辨能力，并且它对图像区域划分与人的视觉 感知也比较一致，但是计算复杂度大。其他常见的方法还包括李国辉【1 4 l 提出了 使用非均匀化的颜色量化算法将将该空间划分为7 2 个区间。 无论基于r g b 颜色空间和h s v 颜色空间的颜色特征提取，上述基于图像直 方图的方法在图像的特征向量中都没有包含颜色在图像中的分布信息。仅仅利用 这些特征进行图像检索时极易造成误检现象。如图1 所示的两幅图像基于直方图 的统计方法是不能将其区分开来的。在实际应用中，常常需要在图像的颜色特征 向量中添加图像的颜色空间分布信息。一般引入颜色位置信息的方法就是图像进 行划分【2 1 。 为了在颜色直方图中加入图像的颜色空间分布信息，p a s s 1 5 】等人提出了颜色 聚合向量的方法。其核心思想是将属于颜色直方图每一个区间内的像素分为两部 分聚合像素和非聚合像素。如果该区间内的某些像素所占据的连续区域的面 积大于给定的阀值，则将该区域内的像素作为聚合像素，否则作为非聚合像素。 由于颜色聚合向量包含了图像颜色的空间分布信息，因而取得了相对于颜色直方 图更好的检索效果，但如果所选择连通区域的阈值不合适，则可能造成错误的检 索。h u a n g l _ 1 6 利用图像中像素间的颜色关系来描述图像颜色空问分布，提出颜 色相关图( c o l o rc o r r e l o g r a m s ) 的特征表示法。颜色相关图不但刻画了某一颜 色的象素占整个图像的比例，还反映了不同颜色对之间的空间相关性，具有较高 5 的检索精度。实验表明，颜色相关图比颜色直方图、颜色矩和颜色聚合矢最具有 更高的检索精度。但该方法计算复杂性大，需要较大的额外空间来存储颜色相关 图。y o o p z j 利用固定尺寸的网格将图像划分为不同的区间，并提取每一区间的颜 色直方图作为图像的索引。但是，该方法需要对图像的内容进行预判，以便于确 定网格的大小。网格划分太小不利于空间信息的表达而网格划分太大将导致索引 维度和计算量的增大。s t e h l i n g t l s l 提出了一种改进的方法c s h c o l o f - s h a p e h i s t o g r a m s ，它统计不同颜色在每一个局部分块的统计特征，与固定尺寸的网 格划分不同，c s h 方法可以动态根据图像中颜色的数目调整网格戈| j 分大小，并 将网格数目控制在一个比较小的范围之内。s e b e 1 9 采用多分辨率的图像空间划 分方法，使用不同分辨率的网格将图像划分为不同等级。在进行图像划分时，各 分块问采用可重叠的方式，然后提取每一分块的主颜色或颜色矩作为该分块的颜 色特征。由于使用不同尺寸的矩形，该方法能够处理图像中不同尺寸的物体和区 域，而且可互相重叠的分块划分方法保证了在给定尺度下图像中的所有物体都能 被一个区域包含，因此提高了检索的精度。 通过以上分析可以得出，基于h s v 颜色空间的颜色直方图方法能够有效地 表征图像的全局颜色信息，不需要对图像中的物体加以分割和识别，其计算效率 也比较高，因此在c b i r 系统中使用h s v 颜色空间能取得更好的检索效果。但是 由于它主要是基于固定的颜色集，存在亮度敏感性和噪音敏感性较强的弊端，且 它丢弃了反应颜色的空间分布信息，导致系统的查准率和查全率下降。因此有必 要在图像颜色直方图中加入图像颜色空间分布信息。为了取得良好的检索效果， 恰当的h s v 颜色量化方案和图像划分方法是图像颜色特征提取的关键。本文基 于以上两点的考虑，结合人类视觉模型，提出了新的h s v 颜色量化方案和模糊 图像区域划分的空间划分方法。实验表明，新的颜色特征提取算法与原有的基于 h s v 颜色空间算法取得了更好的检索效果。 1 2 2 形状特征 形状是图像的重要可视化内容；是人类视觉系统进行物体识别时所需要的关 键信息之一。它不随周围环境如亮度等的变化而变化，是物体的稳定信息。人们 对一幅图像的理解很大程度上有赖于对图像中目标形状的区别和感知，因此基于 6 形状特征的图像检索越来越受到人们的重视。 形状是刻画物体的最基本特征，也是最难描述的图像特征之一主要有三个 原因：1 ) 形状特征的提取受图像分割效果的影响，而目前，图像分割在理论上 仍缺乏简单易行又准确可靠的广义的方法。2 ) 目标形状的描述相当复杂，至今 还没有找到与人对形状的感觉完全一致的对形状的确切的数学定义。3 ) 从不同 视角获取的图像中的目标形状，可能会有很大差别，为了准确进行形状匹配，还 需要解决受噪声污染、平移、尺度、旋转变换以及闭塞等的不变性的问题。 在二维图像空间中，形状通常被认为是一条封闭的轮廓曲线所包围的区域。 因此，形状特征包括轮廓和区域的描述，前者只用到形状的外边界，而后者则关 系到整个形状区域。从方法上来讲，图像的形状视觉特征提取算法可以分为基于 轮廓和基于区域两种。 基于轮廓的形状描述符是对包围目标区域的轮廓的描述。常见的轮廓的描述 符有：链码表示法，傅立叶描述符，边界矩和边界几何形状不变量。19 6 1 年， f r e e m a n 在介绍一种可以对任意几何结构进行编码的方法时提出链码的概 念。通过使用一组顺序的方向向量长度和一组方向的集合来表示边界，其基本思 想为对下一个取样点相对于当前取样点的方向进行编码，基于边界的连接情况可 以使用4 连接模型或者8 连接模型。19 7 8 年f r e e m a n t 2 _ 1 基于先前的工作，提 出了广义链码，解决先前链码的起点敏感问题，并通过相邻链码值相减的方法， 获得旋转和缩放不变形，将原来的4 连接或者8 连接模型扩展到2 州模型。 f r e e m a n 2 2 还利用链码来抽取关键点从而生成一种相对于平移、旋转、尺度不 变的旋转表示方法。l i v a r i n e na n dv i s a 2 3 通过对链码上各个方向出现的个数进 行统计，提出了链码直方图的概念，该特征对于形状的缩放和旋转具有不变性， 但是仅局限与9 0 。的旋转。虽然链码具有实现简单，快速，而且经过改进的链码 对于形状的平移，旋转和缩放具有不变性，但是链码对于边界的噪音极为敏感， 轻微的噪音就会对检索的效果造成极大的影响。傅立叶描述符的基本思想是用物 体轮廓的傅立叶变换系数作为形状描述，由于傅立叶变换的高频分量对应形状细 节而低频分量对应整体轮廓特征，可采用傅立叶变换后低频分量的傅立叶系数来 近似描述边界形状。c h a d e s 2 4 用图像傅立叶变化系数来表示图像物体的形状。 对于使用一系列离散点坐标表示的形状，该方法首先使用形状签名将二维的系数 7 变换成一维的函数，再对一维函数实施离散傅立叶变换并提取其傅立叶系数作为 形状的特征向量。边界矩也是描述形状边界信息的有力数学工具。s o n k a 2 s i 使 用边界矩降低边界描述的维数，并对边界矩进行归一化处理，使得边界矩能够在 旋转，缩放和平移的变换中保持不变。边界距的易于计算和实现，但是高阶边界 矩不能和形状的物理意义相联系，而低阶矩对于形状的分辨力不高。边界几何形 状不变量，如、周长、长轴、短轴、主轴方向等都可以用来描述形状的某一个特 征，且具有旋转不变等特性。但是它们的提取依赖于图像的分割，而且轻微的噪 音也会对最终的计算结果造成巨大的影响。 基于区域的形状描述符是利用区域内的所有像素集合来获得描述目标轮廓 所包围的区域性质的参数。常用的方法有几何不变矩 2 6 1 ，z e r n i k e 矩 2 7 1 ，广义傅 立叶描述 2 9 ( g e n e r i cf o u r i e rd e s c r i p t o r ，g f d ) ，小波重要系数法鳓和网格法。 h u 2 6 基于形状不变矩 m o m e n ti n v a r i a n t s ) 提出了一系列分别具有变换、旋转 和缩放无关性的7 个矩。使用7 个矩的计算结果构成七维向量来表示形状，该方 法具有计算快速和存储开销少的特点。y a n gf 2 7 】根据正交多项式的原理提出用正 交矩来恢复图像，并引进了z e r n i k e 矩。其思想和傅立叶变换思想类似，将信号 展开成一系列的正交基，但z e r n i k e 矩无需知道边界信息，更适合于描述复杂形 状，与基于几何不变矩的方法相比，z e r n i k e 矩可以最高计算到3 6 矩阶，具有 极强的形状分辨能力，但高阶矩的计算复杂，目前常使用的为z e r n i k e 矩的前 1o 阶矩。由于z e r n i k e 矩的计算需要首先对图像进行归一化处理，而在归一化 处理的过程中会对图像的像素进行重新取样和映射，因此引入了新的误差。 k a m i l a 2 8 提出使用改进的z e r n i k e 矩进行特征提取，即( 伪z e r n i k e 矩) 解决重取 样的误差问题。广义傅立叶变换是将2d 傅立叶变换应用于使用极坐标表示的图 像。该方法易于计算，是纯频率域特征，在形状区域的径向和角度可以做多分辨 率分析。z h a n g 2 9 在其博士论文中提出了广义傅立叶描述符( g f d ) 的算法，该算 法对图像的像素在极坐标上进行2 d 傅立叶变换，并使用变换后的傅立叶系数为 特征向量。该方法对图像的平移和缩放具有较好的鲁棒性，z h a n g 将该方法与 目前m p e g 7 标准中推荐的z e r n i k e 2 7 】算法相比，通过实验得到该方法优于 z e m i k e 算法的结论。t i e n gp o 将小波变化应用到形状特征表述领域，使用g a b o r 小波基将离散点变换到频率域。该特征能多尺度表达形状空间信息，但是丢失的 8 形状的局部特征，而且相似度量计算复杂度太大。l ua n ds a j j a n h a r 3 1 1 使用一 个最小外包矩形覆盖整个形状，并通过网格将外包矩形划分成固定的单元格。依 据每一个单元格与形状的覆盖情况，超出阈值则设置为l ，否则设置为0 通过自 上而下，自左向右的方式顺序扫描作为形状的特征描述。该方法计算简单、容易 实现。但是对于形状的旋转变换敏感。为此g o s h t a s b y 3 2 提出使用形状矩阵来 表述形状，与网格的固定划分不同，通过使用极坐标变换和最小外包圆，计算极 径与形状的相交程度作为特征，解决了旋转变换敏感的问题。 由于目前的图像分割算法尚未成熟，形状本身数学上并没有明确的表示意 义，因此基于形状的图像特征提取一般应用于特定的领域图片，如二值的商标图 片等。而对于自然图像的形状特征提取，目前则极少应用。为了提取自然图像的 形状特征，首先要提取自然图像的形状，之后再提取形状特征向量。在自然图像 的形状检索方面，目前主要工作有y u p e n g 叫捌的( a ne f f e c t i v es h a p e d e s c r i p t o rf o rt h er e t r i e v a lo fn a t u r a li m a g ec o l l e c t i o n s ) 等， u 1 3 3 1 使用 c a n n y 算法提取自然图像的形状信息，然后使用z h a n g 2 9 提出广义傅立叶描述 符( c - f d ) 提取图像的形状特征，但是效果不明显，区分度较低。 本文试图提高自然图像的基于形状特征的检索的效率，从自然图像的形状特 征提取的两个阶段入手，分别改进自然图像的形状提取算法和形状特征提取算 法。 1 2 3 纹理特征 纹理是图像中一个重要而又难以描述的特性，至今没有公认的定义，但却受 到了广泛的研究和重视。一种定义是把图像中局部不规则，而在整体上表现出某 种规律的特性称之纹理。 纹理特征通常被看作图像的某种局部特征，它不仅反映图像的灰度统计信 息，而且反映图像的空间分布信息和结构信息。在自然界中，如树木、织物等， 均具有各自的纹理特征。在计算机视觉中，人们发现，纹理特征具有一种不依赖 于颜色或亮度的反映图像中同质现象的视觉特征，可以从微观上区分图像中不同 的物体。因此，纹理特征也作为基于内容的图像检索系统中主要特征之一。 基于