（信号与信息处理专业论文）基于颜色与形状特征的图像检索技术研究及系统的设计与实现.pdf

摘要 本文利用图像处理、计算机视觉与数据库等技术，针对基于内容的图像检索的关键 技术展开研究。特征提取时，基于图像本身蕴含的信息复杂且庞大，主要研究了如何充 分、有效描述图像的颜色、形状特征。在颜色特征方面，主要基于颜色直方图与颜色矩， 在不影响特征描述准确度的同时出于降低直方图维数的目的，改进了现有的颜色直方 图，并在此基础上融合了颜色矩信息，同时在检索的时候，考虑到检索的时效问题，利 用图像的平均色相似性系数与主色相似性系数构造出两幅图像的颜色相似性系数，通过 设定阂值进行图库的过滤，搜索出一个大致符合检索要求的图像集，在过滤后的图像集 中进行颜色特征的匹配与相似度量，从而缩小了图库的搜索范围，提高了检索速率。 在形状特征方面，主要研究了c a n n y 边缘提取算法的双阈值问题，以及基于多结构 元的彩色形态学边缘提取算法，并结合5 个推广的不变矩与7 个h u 不变矩构成形状检 索矢量进行图像形状的检索，由于增加了一些细节因素的思考，提高了检索的性能。 基于单一特征的图像检索往往顾此失彼，无法综合各特征的优势。本文在单一的颜 色与形状特征提取与检索研究基础上，综合了二者信息，实现了基于颜色相似性系数过 滤图库的多特征综合图像检索。此处，形状特征的提取为基于多结构元彩色形态学边缘 图像的边缘方向直方图描述子。 通过研究分析图像检索系统模型，利用v i s u a lc + + 6 0 实现了一个图像检索的原型 系统。从c o r d 图库中任意抽取1 0 0 0 幅图像组成测试图像集，利用该系统，对上述方法 进行了验证，实验表明：算法能够提高检索速率以及图像匹配的准确度。 关键词 基于内容的图像检索，图库过滤，颜色特征，形状特征，多特征综合检索 a b s t r a c t t h i sp a p e ru t i l i z e si m a g ep r o c e s s i n g ，c o m p u t e rv i s i o na n dd a t a b a s et e c h n o l o g yt om a k ea s t u d yo ft h ek e yt e c h n o l o g yi nc o n t e n t - b a s e di m a g er e t r i e v a l ( c b i r ) w h e ne x t r a c t i n gt h e i m a g e s f e a t u r e , w em a j o r r e s e a r c ho nh o wt of u l l ya n de f f e c t i v e l yd e s c r i b et h ei m a g ec o l o r , s h a p ef e a t u r e s ，a st h ei m a g ei t s e l fi sc o m p l e xa n dc o n t a i n sm a s si n f o r m a t i o n t h ec o l o r f e a t u r ei sm a i n l yb a s e do nc o l o rh i s t o g r a ma n dc o l o rm o m e n t s w i t h o u ta f f e c t i n gt h ea c c u r a c y o ft h ef e a t u r e sd e s c r i b e d ，f o rt h ep u r p o s eo fr e d u c i n gh i s t o g r a md i m e n s i o n , w ei m p r o v et h e e x i s t i n gc o l o rh i s t o g r a m ，a n dt h e ni n t e g r a t ei tw i t hc o l o rm o m e n ti n f o r m a t i o n t a k i n gt h e r e t r i e v a le f f e c t i v i t yi n t oa c c o u n t , w ec o n s t r u c tt h ec o l o rs i m i l a r i t yc o e f f i c i e n to ft w oi m a g e s b ym e r g i n gi m a g e s a v e r a g ec o l o rs i m i l a r i t yc o e f f i c i e n t 丽t hi m a g e s m a i nc o l o rs i m i l a r i t y c o e f f i c i e n tt of i l t e rt h ei m a g ed a t a b a s eb ys e t t i n ga na p p r o p r i a t et h r e s h o l d ，w h i c hr e d u c e st h e i m a g el i b r a r y ss e a r c h e ds p a c ea n di m p r o v e st h er e t r i e v a lr a t e a f t e rs e a r c h i n ga l li m a g es e t w h i c hr o u g h l ym e e t st h er e q u i r e m e n t s ，w ef o c u so ns t u d y i n gt h ec o l o rc h a r a c t e r i s t i c so ft h e m a t c h i n ga n ds i m i l a r i t ym e a s u r ei nt h ef i l t e r e di m a g e ss e t i nt h e s h a p ef e a t u r e , w em a i n l ys t u d y t h ed u a l t h r e s h o l dp r o b l e mo fc a n n ye d g e d e t e c t i o na l g o r i t h ma n dc o l o rb a s e d - - o nm u l t i - s t r u c t u r ee l e m e n t sm o r p h o l o g i c a le d g ed e t e c t i o n a l g o r i t h m a f t e rt h a t ，w ec o m b i n e f i v ep r o m o t e dm o m e n t sw i t hs e v e nh ui n v a r i a n tm o m e n t s t oc o n s t i t u t es h a p er e t r i e v a lv e c t o rf o ri m a g e s s h a p er e t r i e v a l t h er e t r i e v a lp e r f o r m a n c ei s i m p r o v e da st h ea d d i t i o no fs o m es h a p ed e t a i l sf a c t o r s s i n g l ef e a t u r e - b a s e di m a g er e t r i e v a lo f t e nc a t c h e so n ea n dl o s e sa n o t h e r , s oi t c a n t i n t e g r a t et h ea d v a n t a g e so fe a c hf e a t u r e a f t e rs t u d y i n gb a s e d o nc o l o rf e a t u r eo rs h a p e f e a t u r ei m a g er e t r i e v a l ，w ec o m b i n et h eb o t hi n f o r m a t i o n ，a n dr e a l i z em u l t i f e a t u r ei n t e g r a t e d i m a g er e t r i e v a lw h i c hf i l t e r st h ei m a g ed a t a b a s eb ym e r g i n gi m a g e sa v e r a g ec o l o rs i m i l a r i t y c o e f f i c i e n tw i t l li m a g e sm a i nc o l o rs i m i l a r i t yc o e f f i c i e n t h e r e ，t h es h a p ef e a t u r ed e s c r i p t o ri s i m a g ee d g eo r i e n t a t i o nh i s t o g r a md e s c r i p t o rw h i c he x t r a c t e df r o mc o l o re d g ed e t e c t e db y b a s e d o nm u l t i s t r u c t u r ee l e m e n t sm o r p h o l o g i c a le d g ed e t e c t i o na l g o r i t h m t h r o u g hs t u d y i n g a n da n a l y s i s i n gi m a g er e t r i e v a ls y s t e mm o d e l ，w ei m p l e m e n ta p r o t o t y p ei m a g er e t r i e v a ls y s t e mw i t l lv i s u a lc + + 6 0 u s i n gt h i ss y s t e ma n da t e s ti m a g es e t c o m p o s e db y 10 0 0i m a g e ss e l e c t e dr a n d o m l yf x o mc o r o lg a l l e r yt ov a l i d a t et h ea b o v e m e t h o d s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t ：t h e s em e t h o d sc a ni m p r o v et h er e t r i e v a lr a t e a n da c c u r a c yo fi m a g em a t c h i n g k e y w o r d s c o n t e n t - b a s e di m a g er e t r i e v a l ，f i l t e rg a l l e r y , c o l o rf e a t u r e ，s h a p ef e a t u r e ，m u l t i - f e a t u r e l u i m a g er e t r i e v a l 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许 论文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。同时授权中国科学技术信息研究所等机构将本学位论 文收录到中国学位论文全文数据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：李艰删 指导教磐签名：撕弓 l q 年6 月f 了日洲。年6 月) 日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本论 文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：咨r 风俐 沙l o 年月门日 西j 匕大学硕士学位论文 第一章绪论 1 1 选题背景与意义 基于内容的图像检索c b i r ( c o n t e n t - b a s e di m a g er e t r i e v a l ) 是当前多媒体检索中研 究最为广泛的一种【l 】。c b i r 指把图像自身的视觉特征( 如颜色、形状、纹理等) 作为图 像的内容表示，进行查找、匹配，然后把与样例图像相似的图像返回给查找用户。它涉 及到多个领域的研究内容：如计算机视觉、图像处理、图像理解、模式识别、人工智能、 数据库技术、支持向量机学习、贝叶斯学习、决策树学习及相关反馈交互式学习等。在 生物特征识别【2 】、知识产权保护3 1 、医学图像检索与医疗诊断f 4 1 、卫星图像检索嘲、数 字图书馆等科研和工业领域得到了广泛的应用。 虽然当前已经提出了很多图像特征的提取技术以及图像检索的方法，但这些技术不 够成熟，系统性能评价没有统一的评价标准，检索效果不够理想，返回结果中经常混杂 一些无关内容，当图像库增加的时候区分度变得越来越差，检索速率也越来越慢，因此 有待进一步的深入研刭1 1 。 本文就是立足于现状，依据图像自身蕴含的丰富信息，利用图像处理、计算机视觉 与数据库等技术，研究了如何充分、有效地描述图像的颜色、形状特征，并探讨了多特 征的综合检索。在此基础上实现了一个图像检索的原型系统，验证了检索的性能。 1 2 图像检索的发展历程 图像检索可以追溯到上世纪7 0 年代，当时的研究者用自由文本或关键字对图像进 行描述，然后把图像的存储路径与该关键字对应起来，其查询操作为基于该图像的文本 描述进行的概率匹配或精确匹配，有些还有词典支持。这种方法的实质是把图像检索转 换为与该图像对应的文本检索，因此又叫基于文本标注的图像检索。随着图像数据库数 量的飞速增长，基于文本标注的图像检索存在的几个问题就显现出来了【6 】：一是手工对 图像的标注无法自动完成，所需的工作量太大，随着图像数量的急剧增加，这种缺点更 加突出；二是图像文本标注的的主观性：由于个人感知的差异，不同的人对相同的图像 可能有不同的理解，以标注者定义的关键字检索，就很可能产生误匹配：三是图像所包 含的丰富视觉特征往往无法用文本进行准确、客观地描述，即“一图含千语 ；此外， 随着i n t e m e t 的不断深入，越来越多的图像数据库实现了网络共享，这使不同国家语言 之间的障碍也会影响文本标注方法的效果。 上世纪9 0 年代初，为了克服上述问题研究者提出了基于内容的图像检索【7 1 ，本质上 第一章绪论 讲，它是一种近似匹配技术，融合了计算机视觉、图像处理、图像理解、人工智能、数 据库等多领域的技术成果。c b i r 的特点剧8 】：直接从媒体内容中提取信息线索，由计 算机自动实现图像的分析、特征提取和索引，采取某种相似性度量方法对图像库中的图 像进行匹配获得查询结果，从而避免了人工描述的主观性，减少了工作量。目前是一个 非常活跃的研究领域。 1 3 基于内容的图像检索系统通用模块及检索过程 一个典型的基于内容的图像检索系统框图如图1 ： 图1c b i r 系统的通用系统结构 c b l r 系统大致由两个子系统构成：图像数据库子系统和图像检索子系统。 图像数据库子系统主要完成对图像的获取、分析及特征的提取，并将图像及图像的 特征分别存入相应的图像库和图像特征库，以离线的方式进行工作。关键是图像的特征 提取，主要对入库前的图像进行色彩空间转换、滤波等一系列预处理，然后提取颜色、 纹理、形状等视觉特征。 图像检索子系统通过查询接口、检索引擎和结果显示三个接口完成基于内容的图像 检索，以在线的方式进行工作。查询接口的功能主要是读入待查询的图像、设置查询参 数和结果显示的图片数目；检索引擎的主要任务为提取待查询图像的视觉特征，与特征 库中的图像特征进行比较计算相似度，按照一定的相似度量算法完成图像的相似性匹 配，并按相似度对图像进行排序；结果显示接口用来显示检索结果。为了提高检索准确 度，有的系统还会添加用户相关反馈模块进行人机交互的学习以获取用户的先验检索要 求。 2 西北大学硕士学位论文 在c b l r 系统中，一般的检索过程为【8 】： 分析图像的内容，提取各图像的视觉特征，存储在特征数据库中，并将图像的原始 数据存入对应的图像库； 用户在进行图像检索时，给出图像的模糊描述，如提供一个样例图像或描绘一幅草 图等，选取某种特征提取方法提取该例图的特征； 选取相似性比较方法，将该例图的特征与特征库中的特征一一进行比较匹配，计算 出相似度； 将与查询特征相似的图像按相似度进行排序，并将检索结果返回给用户； 当结果返回给用户，有时用户可通过人机交互进行相关反馈的学习，进行新一轮检 索，直到最终得到满意的查询结果。 1 4c b i r 系统国内外研究现状 1 4 1 国外研究现状 在国外，c b i r 技术是伴随着美国启动的“数字图书馆项目 的研究热潮逐渐发展 并成为一个研究热点的。数字图书馆主要存在两个方面的检索问题：一是解决目前 i n t e r a c t 的信息检索问题，二是多媒体信息的检索。图像检索的问题在两个方面中都存 在。 目前，c b i r 商业软件包的图像检索系统已经问世，网上的演示版本也相继出现。 最著名的产品可能是i b m 公司的q b i c 系统9 1 。它是i b ma l m a d e 实验室于2 0 世 纪9 0 年代开发的第一个商业化的c b i r 系统。它的查询接口支持基于示例图像、用户 构造的草图、文字关键词、选择颜色、纹理和形状的查询。采用平均色和颜色直方图方 法来表达颜色特征；采用改进的t a m u r a 纹理表示法表达纹理特征；采用形状的面积、 离心率、主轴方向以及一组变换无关量等描述方法表达形状特征。该系统只能用在大规 模数据库中的“粗查”或部分检索。更细致的检索和查询需要借助某些领域知识的方法 或由人工进行精确定位。其演示网址为：h t t p ：w w w , q b i c a l m a d e n , i b m t o m 。 m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m s ) 1 0 j 是u r b a n a - c h a r n p a i g n 分校 u i u c 开发的系统，能提供自动匹配工具的选择、查询矢量优化和自动特征适应等功能， 用到了多领域知识：包括计算机视觉、图像数据库检索和信息检索等。该系统的突出特 点是最早提出相关反馈机制：根据用户的交互，利用正反馈图像集的各维均方差来改变 特征权值，动态的组织和优化查询，提高检索效率。其演示网址为： h t t p ：j a d z i a i f p u i u c e d u ：8 0 0 。 3 第一章绪论 v i s u a l s e e k 1 和w e b s e e k 都是美国哥伦比亚大学开发的图像检索原型系统。 v i s u a l s c c k 采用颜色集和基于小波变换的纹理特征作为图像的视觉特性。该系统还开发 出了二叉树的索引算法来提高检索的效率。w e b s e e k 则是面向w e b 的搜索工具，它支 持基于关键字和视觉内容的查询。其演示网址为：h t t p ：w w w c t r c o l u m b i a e d u w e b s e e k 。 另外还有p h o t o b o o k 、v i m s y s 、c o r e 、v i r a g e 和c h a b o t 系统等。 这些产品的共同特征是【1 2 】：图像特征库中的每一幅图像都是一个不超过5 0 0 个元素 的特征矢量描述；查询时自动识别用户的搜索要求；搜索时为基于特征矢量的查询，并 用特征矢量之间的距离作为相似性度量的准则，然后按照距离从小到大的排序给出查询 结果。 1 4 2 国内研究现状 国内清华大学的章毓晋、徐寅等设计和开发了一个由抽取特征来检索图像的算法测 试平台t b r i e f ( t e s tb e df o rr e t r i e v i n gi m a g ew i t he x t r a c t e df e a t u r e ) d 3 。该平台可以集成 现有的多种不同算法，便于管理，同时提供了综合检索、递进检索功能，可用于算法研 究、性能比较。另外，些高校和研究机构也有这方面的研究，比较有名的有国防科技 大学多媒体实验室，中科院自动化所，浙江大学计算机系，复旦大学，上海交通大学等 【1 2 】 o 1 5 目前存在的主要问题 图像的内容不仅包含颜色、纹理、形状、空间关系等低层视觉特征，还包括对象、 表情、手势等高层语义的特征。由于高层语义的自动提取往往牵扯到目标对象的分割1 4 】， 而图像的分割一直是图像研究领域中的一大难点，因此，目前，虽然前端的图像检索研 究是基于高层语义的，但基于低层视觉特征的图像检索技术由于涉及的研究领域很多， 并且图像本身蕴含的信息不仅丰富而且复杂，使得这一技术仍有很多理论与技术问题函 待解决【1 5 1 。主要表现在以下几个方面： ( 1 ) 图像的特征索引【1 6 , 1 7 。颜色特征索引的缺陷是相似性度量的定义与人对颜色视 觉上的判断仍有一定差距，需要对人类色彩特征的视觉感知及颜色物理进行深入的综合 研究，来进一步提高检索的效果；纹理特征索引的缺陷是各种方法的纹理特征集依赖于 具体的纹理图像，使得检索对具有明显纹理模式的图像有效，但对于背景复杂的自然图 像则会出现问题；形状特征索引的缺陷是形状特征的提取是一项繁重的工作，对于图像 这种数据量大的媒体更为明显，各种形状特征表述方法对形状信息的丢失非常严重，其 4 西北大学硕士学位论文 本身的区分能力有限，但较之于颜色和纹理特征，形状特征更加接近于对象水平，因此 对形状的检索研究仍具有挑战性。目前提取形状特征的很多算法都具有计算量大的缺 点。图像的高层语义特征索引精度高，但提取困难，如何找到一种高层语义概念与低层 视觉特征之间的映射方式以缩短人机对图像相似性的感知是目前主要的难点【1 8 1 。 ( 2 ) 统一的标准测试图库。对同一幅待查询图像及其查询结果，因主观性等因素， 不同的用户可能有不同的评价结果，为了体现出评价的客观性，需要预先指定一组标准的 查询图像以及与其相应的视觉相似图像集。目前虽然做了很多基于内容的图像检索的研 究工作，但是仍然没有一个统一的标准测试图库，这样使得不同的检索研究在横向比较 方面缺乏一个统一的图库集，使得不同研究者的最终评价往往建立在不同的图库集的基 础上，难子衡量优劣。目前的做法主要是图库选择可以由研究者自由选定，一旦选定， 就在同一个选定的图库集的基础上比较几种不同的检索算法。很多研究者使用c o r d 图 库，通过精心选择有代表性的测试集，在一定意义上解决性能评价中的主观性。 ( 3 ) 统一的系统检索性能评价准则1 1 9 j 。任何技术都是由其相应领域的性能评价准则 向前推动的。由于图像内容不但丰富，而且具有很大程度上的主观性，所以其统一的检索 性能的评价标准制定起来相当困难。目前主要基于信息检索中的查全率和查准率方法， 但这种方法并不能完全正确的评价检索系统的性能。 ( 4 ) 友好界面的设计及相似性度量准则的选取【2 0 】。不同的用户有不同的图像检索要 求，如何设计一个友好的、更具亲和力的人机交互界面也是c b i r 面临的一个难题。现 代多媒体信息系统的一个重要特征就是信息获取过程的可交互性，除了提供示例和描绘 查询基本接口之外，用户的查询接口应提供丰富的交互能力，使用户在主动的交互过程 中表达对图像语义的感知，以此获得满意的查询结果【2 。这里涉及到如何从交互过程中 获取用户的内容感知，以及如何把用户的查询要求转换为可执行检索的特征矢量，以便 选择合适的检索特征。此外，不同的查询目的应选用不同的特征，不同特征应采用与本 特征相匹配的相似性度量准则田j 。 ( 5 ) 多特征组合检索。图像检索的对象和范围多种多样，单一检索手段的信息约束 不强，返回的相似图像往往夹杂着一些无关图像。采用多特征组合检索可以提供更多的 约束信息，进行特征间的优势互补瞄】，进而提高返回图像的检索准确率( 查准率) ，但 是多特征检索手段的组合是一个要解决的问题。 第一章绪论 1 6 本论文的主要工作与内容结构安排 1 6 1 本论文的主要工作 本文在阅读了大量参考文献的基础上，对基于内容的图像检索领域的相关关键技术 进行了总结讨论，并深入探讨了基于颜色特征与形状特征的检索，提出了自己的一套方 案，通过实验，证明了方案的可行性。具体如下： ( 1 ) 以v i s u a lc + + 6 0 及s q ls e r v e r 2 0 0 0 数据库为软件开发平台，搭建出基于内容 的图像检索系统原型：检索子系统和图库管理子系统，共4 个模块：图像库与特征库的 管理模块、查询模块、匹配与相似度量模块、检索结果显示模块。整个研究工作的测试 将在此系统平台下进行。 ( 2 ) 由基于内容的图像检索系统基本框架来看，检索性能优劣关键在于图像特征 的描述、特征提取算法的选择以及图像的匹配与相似度量标准。基于此，特征提取方面， 本文主要研究了如何将一幅图像所蕴含的丰富信息尽可能地描述出来。在这里主要研究 提取图像的颜色与形状特征。 颜色特征的描述主要有：颜色直方图、颜色集、颜色聚合矢量、颜色相关矩、颜色 矩等，各自有其优缺点，并且以上描述也有多种具体算法实现。虽然这方面的研究很多， 但都没有考虑过将这几种描述进行融合。基于此，本文在分析各自优缺点的基础上，出 于降低颜色特征维数的目的，改进经典的7 2 柄颜色直方图( h s v 空间) ，并添加颜色矩 ( r g b 空间) 特征来共同描述颜色。在检索的时候，先依据每幅图像的主色与平均色， 构造出描述两幅图像的颜色相似性系数，利用该颜色相似性系数过滤测试图像库，将主 色和平均色与查询图像不一致的图像过滤掉，然后在过滤后的图库中进行颜色特征的匹 配与相似性度量，最终实现检索，从而缩小检索的搜索范围，提高了检索效率。 形状特征的描述有傅里叶形状描述子、z e r n i k e 矩、h u 不变矩及边缘方向直方图等。 由于人眼对图像边缘非常敏感，因此对图像边缘计算其形状特征符合人类的视觉特性， 这里涉及到图像的边缘提取。边缘提取的算法有很多：s o b e ! 算子、r o b e r t s 算子、p r e w i t t 算子、l o g 算子、小波模极大值算法、模糊算法、形态学算法、c a n n y 算子等，本文主 要对c a n n y 算子的双阈值问题进行了探讨，并深入研究了基于多结构元的彩色形态学边 缘提取算法。对于基于形状特征的检索研究，提出结合5 个推广的不变矩与7 个h u 不 变矩构成形状检索矢量进行图像形状的检索，由于增加了一定的细节因素的思考，提高 了检索的性能。此外还研究了基于多结构元的彩色形态学边缘矢量图像的边缘方向直方 图提取算法。 6 西北大学硕士学位论文 ( 3 ) 多特征的组合在特征匹配时，需要考虑各个特征的归一化问题，本文总结了 特征归一化的多种方法。提取改进的2 4 b i n 颜色直方图及r g b 颜色空间的颜色矩作为 图像颜色视觉特征的描述，提取基于彩色形态学边缘矢量图像的边缘方向直方图作为图 像形状特征的描述，将二者组合，实现了基于颜色相似性系数过滤图库的综合颜色与形 状特征的图像检索。通过实验验证了该图像检索方法的有效性。 1 6 2 内容结构安排 围绕本论文的研究工作，文章的内容结构组织情况如下： 第一章：简要介绍了课题的研究背景与意义，基于内容的图像检索系统的通用框架、 基本的检索流程，以及图像检索技术的发展历史、目前国内外的研究现状、存在的主要 问题，同时也说明了本文所进行的主要研究工作和内容结构安排。 第二章：分析了基于内容的图像检索的关键技术：包括特征提取技术、相似匹配与 度量准则、相关反馈技术及检索性能评价准则。 第三章：详细说明基于颜色特征的图像检索方法，并在此基础上提出了改进的2 4 b i n 颜色直方图方法；比较了分别用r g b 和h s v 颜色空间的颜色矩进行图像检索的检索效 果；利用图像的主色与平均色构造出任意两幅图像的颜色相似性系数k c ，以此系数过 滤测试图库后，以2 4 b i n 颜色直方图和9 维的颜色矩组成3 3 维的检索矢量进行图像检索， 及相应的实验结果分析与比较。 第四章：详细说明基于形状特征的图像检索方法，探讨了c a n n y 边缘提取算子的双 阈值对图像边缘提取的影响问题，并设计出合适的阈值用于形状特征的边缘提取，提出 了基于边缘不变矩推广的图像形状检索，以及相应的实验结果分析。研究了基于多结构 元的彩色形态学边缘检测算法，以及对检测的彩色边缘矢量提取5 个边缘方向直方图作 为图像形状特征的描述的方法。 第五章：基于第三章与第四章的研究，将二者的特征进行组合，实现了一个基于颜 色相似性系数过滤图库的颜色与形状特征综合的图像检索，及相应的实验结果分析与比 较。 第六章：介绍基于内容的图像检索系统的设计所考虑的主要问题及部分主要的代 码。 第七章：对全文进行总结，概括主要的研究成果与创新点，存在的一些问题，并对 下一步工作及未来的研究发展方向进行了展望。 7 西北大学硕士学位论文 第二章基于内容的图像检索的关键技术 2 1 特征提取技术 好的特征描述子能更好地描述人对图像的视觉感受，因此图像特征的提取与表达 是c b i r 技术的基础和核心技术。基于内容的图像视觉信息主要有两层含义：1 图像 信息的低级特征，如颜色、形状、纹理与空间关系等，这是客观的、最低层的图像信息 模型，也是图像固有的物理属性，能被人的感官直接觉察出来；2 图像内容的语义描 述，即与人类认知领域相关的图像内容，也称为图像高层信息。图像特征的分类情况如 图2 ，本文特征提取主要研究的是低级特征的提取。 图2 图像特征的分类 2 1 1 颜色特征的提取技术 颜色是人类认识事物的一个重要信息来源，标识着目标的基本特征，并且与图像的 空间位置信息无关。颜色与生俱来就拥有旋转、平移及尺度不变的特性，因而鲁棒性极 好。在基于内容的图像检索中，颜色特征是应用的最为广泛的视觉特征【川。目前主要有 以下的一些颜色特征描述： ( 1 ) 颜色直方图 颜色直方图是图像重要的统计特征，最早在1 9 9 1 年由s w a i n 和b a l l a r d 提 2 5 1 。在 特定的颜色空间中，它从数学的角度统计了不同的颜色在整幅图像的比例。对于灰度图 像，假设一幅图像含有m 个像素，图像的灰度等级为l 级，则直方图可表示成e2 云 ( f 0 ，l 一1 】) ，其中吩表示图像中具有灰度值为i 的像素总数。对于彩色图像，若要计 算直方图，往往要经过颜色量化( c o l o rq u a n t i z a t i o n ) 的过程：将颜色空间划分为若干 不同的颜色区间，每个小区间称直方图的个柄( b i n ) ，通过统计颜色落入每个区间的 频数即可得到彩色直方图。目前已有很多颜色量化的方法，比如向量量化【2 6 1 、聚类方法。 颜色直方图的最大优点是计算简单，鲁棒性高口7 】。但本质上来说，它具有一个缺点：无 法反映出颜色的位置信息，因此两个内容不同的图像可能具有相同的颜色直方图。如图 9 第二章基于内容的图像检索的关键技术 3 ，( a ) 、( b ) 具有相同的颜色直方图，但两幅图的内容完全不同。 ( a )( b ) 图3 直方图对比 ( 2 ) 颜色矩 颜色矩也是基于数学统计的，它的思想【2 8 1 在于认为图像中任何颜色的分布情况均可 以用它的矩来表示，并且颜色信息主要集中在图像色彩的低阶矩中，因此仅采用颜色的 一阶矩、二阶矩盯和三阶矩s 就可以表达图像的颜色特征。、仃和s 分别表示图像 的平均颜色、标准方差和三次根非对称性。彩色图像的颜色矩一共需要9 个分量( 3 个 颜色分量，每个分量上3 个低阶矩) 。颜色矩是表达颜色特征的一个非常紧凑的方法， 在检索图像中只包含一个目标的时候非常有效，但分辨能力较弱，实际应用中经常与其 它特征结合使用。 “2 面茜善善助 弘【志e 阔e 阐( p o 叫) 2 】 ( 2 1 ) j = 万与善善( 助一】 ( 3 ) 颜色集 颜色集由s m i t h 和c h a n g e 提出【2 9 1 。它是对颜色直方图的一种近似。颜色集的设计 思路为：首先将图像从r g b 颜色空间转换到某种视觉均衡的颜色空间，用色彩量化技 术将颜色空间量化成若干b i n ，再用颜色自动分割技术把图像分成若干区域，每一区域 用该区域的颜色b i n 来索引，从而将图像表达成一个二进制的颜色索引集；图像匹配时， 比较色彩区域的空间关系和不同图像颜色集之间的距离。该特征描述由于采用了二进制 的特征向量来表达颜色集，可通过相应的二叉树加快检索速度，故十分有利于大规模的 图像集合检索。 ( 4 ) 颜色聚合矢量 p a s s 等提出以图像的颜色聚合矢量c c v ( c o l o rc o h e r e n c ev e c t o r ) 作为图像的索引来 改进颜色直方图无法表达图像色彩空间位置的缺点【3 0 1 。其核心思想是考虑颜色分布的连 续性，将属于直方图每一个b i n 的像素进行以下比较：如果该柄内的某些像素占据的连 1 0 1叼 西北大学硕士学位论文 续区域面积大于给定的阈值，则将该区域内的像素作为聚合像素，否则作为非聚合像素。 假设q 与匆分别代表直方图的第i 个b i n 中聚合像素和非聚合像素的数量，那么图像的 颜色聚合向量表达为 ，其中n 为量化颜色个数。可见：它是 颜色直方图的一种演变，在某种程度上保留了图像颜色的空间分布信息，故这种方法的 检索精度比直方图的检索精度要高，但计算复杂度大，且受阂值的影响很大。 ( 5 ) 颜色关联图 这种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不同颜色 对之间的空间相关性，比颜色聚合矢量和颜色直方图具有更高的检索效率，但是计算复 杂度也大m 1 。颜色相关图可以表达为：，；哆k 毋吐尼e ，l 昱l ( f ) 1 1 日一昱i - 七j ，其中i 表示 整张图像的全部像素，l ( f ) 表示颜色为c ( i ) 的所有像素，i 毋一昱i 表示像素p 1 和p 2 之间 的距离，f ，j 1 ，2 ，) ，七 1 ，2 ，d ) 。如果考虑每个颜色之间的相关性，那么颜色相关 图就会变得非常庞大，这样很不可取。一种简化的方式是仅仅考察具有相同颜色的像素 间的空间关系，也就是颜色自相关图。 ( 6 ) 基于分块方式的颜色特征 为了表达图像颜色特征的空间位置关系，还有人提出分块的思想【3 2 】：首先将图像预 先分成若干子块( 可能重叠) ，然后分别提取每个子块的颜色特征；在检索时，根据颜色 特征计算图像的相应子块之间的相似度后，通过加权计算出总的相似度。图4 展示了两 种图像分块的方式：图( a ) 代表3 * 3 的分块法，虽然能够包含一定的空间信息，但破 坏了图像的全局旋转不变性；图( b ) 代表圆环分块法，能够克服图( a ) 破坏了图像全 局旋转不变性的缺陷。虽然这类方法从概念上来说非常简单，但这种普通规则的分块并 不能精确地给出局部色彩的信息【3 3 】，而且计算和存储的代价都比较大。 ( a ) 3 * 3 分块 c o ) 圆环分块 图4 图像分块示意图 2 1 2 形状特征的提取技术 人类识别物体往往还会通过物体的形状特征进行区分。同一类物体，可能具有不同 第二章基于内容的图像检索的关键技术 的颜色，但其形状总是相似的。图像的形状信息不随图像颜色等特征的变化而变化，是 物体稳定的特征。目前对形状的描述主要分为两类：基于区域的和基于轮廓的，主要的 描述子有傅里叶描述子【3 4 】、h u 不变矩【3 5 】、z e m i k e 矩3 6 1 、边缘方向直方副3 7 1 等。 ( 1 ) h u 不变矩 h u 提出的7 个不变矩具有平移、尺度、旋转不变性，满足人类视觉对形状的感知【3 引。 矩是对图像的一种统计形式，用到了图像所有相关的像素点，是从全局的角度对对象整 体的描述。对于一幅数字图像f ( x ，y ) ，其p + g 阶矩m w 定义为： m 朋= 矿y 覃f ( x ，y ) ( 2 2 ) 工 y 很容易推出：零阶矩表示区域的灰度和。它的p + q 阶中心矩“丹是以区域重心 ( ；，歹) 为坐标原点的矩： “月= z z ( x - x ) p ( y 一- ) 9 f ( x ，y ) ，p + q = 2 ，3 ( 2 3 ) l y ( ；，歹) 表示重心坐标，具体为：；：鱼，歹= 塑。中心矩表示图像内灰度相对 m o om o o 于灰度重心的分布情况，在应用中通常对其进行归一化处理：刀朋2 等，其中 ，：旦堕+ 1 。 2 h u 对这些归一化后的中心矩进行组合，得到了7 个具有平移、尺度、旋转不变性 的h u 不变矩，可用于反映物体的形状并用于模式识别。 ( 2 ) 傅里叶描述子( f o u r i e r - b a s e ds h a p ed e s c r i p t o r s ) 傅里叶描述子是对物体边界信号频域分析的结果，主要思想是用图像边界信息的傅 里叶变换作为形状的描述，具体为【蚓：利用区域边界的封闭性和周期性，以边界上某一 固定点a 为起始点，沿边界曲线上的动点b 的坐标变化就是一个周期函数，对这个周期 函数可以用傅里叶级数展开，这些傅里叶级数中的一系列系数就被称为傅里叶描述子。 傅里叶系数一般为复数，它的低频分量表达了形状的宏观属性，高频分量代表着形状的 细节特征。采用傅里叶变换后，就可以用较少的参数包纳很复杂的边界信息。 ( 3 ) z e m i k e 矩 z e m i k e 矩是一种以一个在单位圆内的完备正交集为多项式基的正交复数矩，由于 1 2 西北大学硕士学位论文 z e r n i k e 矩是正交矩，所以能保证所提取的特征相关性小、冗余性小、抗噪能力强，并 且具有旋转不变性【3 9 1 ，在基于形状特征的图像检索中应用广泛，但该形状特征描述子不 具备平移和尺度不变的特性，并且计算复杂度较大。 ( 4 ) 边缘方向直方图 以建立对音频与视频等多媒体信息的标准描述( 包括制定一组描述符与描述方案) 为目的的m p e g 7 标准( 多媒体内容描述接口) ，定义了一个边缘方向直方图描述符【3 7 1 。 该描述符统计了5 种边缘的空间分布特征，如图5 。主要包括水平方向、4 5 。方向、垂 直方向、1 3 5 。方向和无方向。提取这5 种边缘特征的计算复杂度较低，但由于图像特征 信息太少，单独检索的性能不好，很少直接单独用这种描述符来检索图像。该描述符的 目标在于通过示例或草图的图像与图像间的匹配，特别适合于边缘分布不规则的自然图 像，常被用于与其它特征描述符结合，以此提高图像检索的性能。 嗣屠口圈囡 图5 边缘方向示意图 2 1 3 纹理特征的提取技术 纹理是指图像在局部区域内可能呈现出不规则性，而在整体上却表现出某种规律 性，这种规律性被称为纹理，其本质是刻画像素的领域灰度空间分布规律。它是人类视 觉感知的重要组成成分，也是图像的一种基本视觉特征。图像纹理反映的是图像的一种 局部结构化特征，具体表现为图像像素点某邻域内像素点灰度级或者颜色的某种变化， 而且这种变化是空间统计相关的。根据入眼视觉特性的研究，纹理可以有效地反映视觉 图像中不同区域的结构、方向、粒度和规则性的差异。目前提取纹理特征的方法可分为 统计法、基于模型的结构法和基于信号处理的频谱法等。当纹理较细微时，统计方法特 别适用；当纹理基元较为粗大且规律性较强时，采用结构化方法比较准确。 ( 1 ) t a m u r a 纹理特征 t a m u r a 等人基于人类视觉的心理学研究后，给出了几个不同的描述纹理特征的术 语：粗糙度( c o a r s e n e s s ) 、对比度( c o n t r a s o 、方向度( d i r e c t i o n a l i t y ) 、线性度 ( l i n e l i k e n e s s ) 、规则度( r e g u l a r i t y ) 、粗略度( r o u g h n e s s ) 等，每一个属性都代表一定的 视觉含义，被认为是图像检索中非常有效的纹理描述 4 0 1 。 ( 2 ) 灰度共生矩阵 1 3 第二章基于内容的图像检索的关键技术 灰度共生矩阵属于统计分析法。h a r a l i c k 等人利用像素相对位置的空间信息提出了 用共生矩阵来表示纹理特征【4 l 】。该方法构造出一个基于图像像素间方向和距离的二阶灰 度统计特征的共生矩阵，并且从矩阵中提取出角二阶矩、对比度、相关、方差、逆差矩、 和平均、和方差、差方差、差嫡、相关信息度量、最大相关系数等统计量作为特征量表 示纹理特征。该特征在精细纹理中随着距离变化迅速，而在粗糙纹理中变化缓慢。由于 没有明确的视觉意义，目前没有t a m u r a 纹理特征应用的广泛。 ( 3 ) 频谱法 频谱法主要是借助于小波变换或g a b o r 变换等信号处理手段将图像转换到频率域， 利用频率特