（计算机应用技术专业论文）基于内容的图像检索技术研究与嵌入式系统实现.pdf

摘要 摘要 随着多媒体技术及工业视觉的迅速发展，嵌入式的图像信息资源的检索已成为国内 外研究的热点。基于各种嵌入式平台建立有效的图像描述和检索机制已成为迫切需要解 决的问题，基于内容的图像检索技术应运而生。本文在对基于内容的图像检索技术进行 研究分析的基础上，针对国内外现有技术中的不足或局限性，系统而深入地探讨了基于内 容的图像检索通用技术中若干重要问题，提出了一套完整的解决方案，并基于嵌入式系 统实现，通过大量实验，验证了方案的合理性。 本文的研究工作主要有： 在图像特征提取方面，详细分析研究了颜色、形状、纹理、空间关系等低层特征和 图像语义等高层特征的多种提取方法，并在此基础上提出了若干优化策略：在颜色特征 中采取自组织聚类方法优化像素点颜色量化过程，采取加权子块颜色对表法获取像素点 空问信息；在基于形状的特征提取中提出了基于模糊c 均值聚类分割的h u 不变矩法和 基于灰度闽值划分的c a n n y t 算法，并通过实验分析了两种改进分别适用的不同场合。 在系统实现方面，实现了一个基于内容图像检索的嵌入式实验系统。该系统实现了 基于颜色( 颜色直方图、累积直方图) 、形状( s o b e l 、c a n n y 边缘检测下的边缘直方图) 特征的经典方法检索以及基于文中的相关改进算法的检索。实验证明，文中的相关改进 图像检索方法在一定程度上提高了图像检索的查准率和查全率，具有一定的理论和现实 意义。 关键词：图像检索聚类子块颜色对表h u 不变矩c a n n y t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h em u l t i m e d i at e c h n o l o g ya n di n d u s t r i a lv i s i o n ，t h e r e s e a r c ha b o u te m b e d d e di m a g er e t r i e v a lb e c o m e sah o tr e s e a r c ha th o m ea n da b r o a d t h e e s t a b l i s h m e n to fa ne f f e c t i v ei m a g ed e s c r i p t i o na n dr e t r i e v a lm e c h a n i s mb a s e do nv a r i o u s e m b e d d e dp l a t f o r m sh a sb e c o m ea nu r g e n tp r o b l e mt os o l v e a sar e s u l t ，t h et e c h n o l o g yo f c o n t e n t b a s e di m a g er e t r i e v a lw a sb r o u g h tt ol i g h t b a s e do nt h er e s e a r c ha n da n a l y s i so f c o n t e n t - b a s e di m a g er e t r i e v a lt e c h n o l o g y , a i m i n ga tr e m o v i n gt h ed e f e c t sa n dl i m i t so f e x i s t i n gt e c h n i c s ，t h i sa r t i c l ee x p l o r e ss e v e r a li m p o r t a n tp r o b l e m si nt h ec o m m o nt e c h n i c so f c o n t e n t - b a s e di m a g er e t r i e v a ls e a r c hs y s t e m a t i c a l l ya n dp r o f o u n d l ya n dp r o p o s e sa ne n t i r e s o l u t i o nw h i c hi s p r o v e dt ob ef e a s i b l et h r o u g ht h ei m p l e m e n t a t i o nb a s e do ne m b e d d e d s y s t e ma n dt h r o u g hl a r g ea m o u n t so fe x p e r i m e n t s m a i nr e s e a r c h e so ft h i sa r t i c l ea r e ： o nt h ea s p e c to ft h ei m a g ef e a t u r ee x t r a c t i o n ，l o wl e v e lf e a t u r e sl i k ec o l o r , s h a p e ，t e x t u r e a n ds p a t i a lr e l a t i o na n dh i g hl e v e lc h a r a c t e r i s t i c sl i k es e m a n t i c so fi m a g ea r ea n a l y s e da n d r e s e a r c h e di nd e t a i l a n do nt h i sb a s i s ，s e v e r a lo p t i m i z a t i o ns t r a t e g i e sa r ep r o p o s e d ：i nt e r m so f t h ef e a t u r ee x t r a c t i o nb a s e do nc o l o r , as e l f - o r g a n i s e dc l u s t e r i n gm e t h o di sa d o p t e dt oo p t i m i z e t h ec o l o rq u a n t i z a t i o np r o c e s s at a b l e s e a r c h i n gm e t h o do fw e i g h t e dp a r to fc o l o ri sa d o p t e d t oa c q u i r et h es p a t i a li n f o r m a t i o no ft h ep i x e l i nt e r m so ft h ef e a t u r ee x t r a c t i o nb a s e do n s h a p e ，h u sm o m e n t si n v a r i a n t sa l g o r i t h mb a s e do nt h ev a g u e ca v e r a g ec l u s t e r i n gs p l i r i n g a n dc a n n y - ta l g o r i t h mb a s e do ng r e yt h r e s h o l dv a l u ea r ep r o p o s e d t h r o u g he x p e r i m e n t sa n d a n a l y s i st h ep r o p e rs i t u a t i o nf o rt h et w oo p t i m i z a t i o nm e t h o d si sd e t e r m i n e d o nt h e a s p e c t o fs y s t e mr e a l i z a t i o n ，ac o n t e n t - b a s e di m a g er e t r i e v a le m b e d d e d e x p e r i m e n t a ls y s t e mi sr e a l i z e d t h es y s t e mr e a l i z e sb o t ht h et r a d i t i o n a lw a y o fr e t r i e v a ls u c h a sb a s e do nc o l o r ( c o l o rh i s t o g r a m ，a c c u m u l a t i v eh i s t o g r a m ) ，s h a p e ( e d g eh i s t o g r a mb a s e do n s o b e l ，c a n n ye d g ed e t e c t i o n ) a n dt h eo p t i m i z e dw a yo fr e t r i e v a lm e n t i o n e di nt h i sa r t i c l e t h e e x p e r i m e n t sp r o v et h a tt h eo p t i m i z e dm e t h o dm e n t i o n e di nt h i sa r t i c l ec a ni n c r e a s et h e c o r r e c t n e s sa n dc o m p l e t e n e s so f i m a g er e t r i e v a l a n di tb e a r sat h e o r e t i c a la n dp r a c t i c a l m e a n i n g k e y w o r d s ：i m a g er e t r i e v a l ，c l u s t e r i n g ，t a b l eo fs u b b i o c k sc o l o rp a i r , h u si n v a r i a n tm o m e n t s ，c a n n y - t 独创 生声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签 名 塑造 e l 期：d 孑。7 f 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名： 塑丝 导师签名： 第一章绪论 第一章绪论弟一早珀下匕 1 1 研究背景、热点及意义 基于内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l ，简写为c b i r ) 是门2 0 世纪9 0 年代兴起的新技术，c b i r 涉及信息检索、图像处理、计算机视觉、机器学习、 人工智能等诸多研究领域，是一个有发展前途的研究方向。 2 0 世纪7 0 年代末，主要通过对图像进行人工文字注解，利用文本检索实现对图像 特征的查捌。这种采用对图像建立关键词等文本描述信息的方式已越来越不能适应网 络信息检索的要求，不仅费时费力，而且文字也很难反映图像的完整内容【l 】。 2 0 世纪9 0 年代初，随着大规模图像集不断涌现，研究人员相继提出了基于内容的 图像检索。使用颜色、纹理、形状及区域等视觉特征，成为图像检索技术研究的主流。 根据例图在大图像集中进行检索，实现了图像视觉内容特征的检索，这种以图找图的查 询模式是对“以关键字找图”的一大突破1 2 】。 根据图层的表层视觉特征进行检索还不能满足基于图像语义的智能检索需求，基于 语义图像检索已成为解决图像简单视觉特征和用户检索丰富语义之间存在的“语义鸿 沟”问题的关键，这也是计算机视觉、模式识别领域的一个难点。 基于内容的图像检索技术研究的热点可分为4 个方面。最初的图像检索研究主要集 中于如何选择合适的全局特征去描述图像内容和采用什么样的相似性度量方法进行图 像匹配。第二个研究热点是基于区域的图像检索方法，其主要思想是通过图像分割技术 提取出图像的物体，然后对每个区域使用局部特征来描述，综合每个区域特征可得到图 像的特征描述。前两个研究方向可称为以图像为中心的方法，对于用户的需求缺乏分析。 第三个研究热点就是针对这一问题展开的，借助相关反馈的思想，根据用户需求及时调 整系统检索时用的特征和相似性度量方法，从而缩小低层特征和高层语义之间的差距。 第四个研究热点是研究如何从多渠道获取图像语义信息，如何将图像底层与图像关键词 结合进行图像自动标注以提高检索准确率等。 c b i r 的应用非常广泛，随着嵌入式技术的发展和计算机视觉的不断拓展延伸，c b i r 与嵌入式图像采集，压缩，网络传输等技术相结合的机器视觉技术越来越凸显出重要的 意义，机器视觉技术将计算机和电子系统的高速计算能力、可重复性、快速反应能力与 人眼视觉的高度智能化和抽象能力、判断能力结合，是实现仪器设备精密控制、智能化、 自动化的有效途径，堪称现代工业生产的“机器眼睛”。将近8 0 的机器视觉系统主要 用在检测方面，包括用于提高生产效率、控制生产过程中的产品质量、采集产品数据等。 产品的分类和选择也集成于检测功能中。与传统的传感器和人工操作相比，机器视觉具 有精度高、非接触、可持续、快速定量分析、高效低耗等优点。目前，基于嵌入式系统 的图像检索技术被广泛应用于军事、医疗、金融和公共安全等领域。有关的理论研究和 实践探索也日益增多。 江南大学硕士学位论文 1 2 技术发展与应用现状 鉴于基于内容图像数据库检索系统的重要性、有效性和优越性，近年来国外已纷纷 投入人力物力广泛开展了研究并已研制成一些系统。其中既有各研究机构研制的演示软 件，也有商业应用软件。一些比较典型且已成熟的图像检索系统主要有： i b m 公司的q b i c ( q u e r yb yi m a g ec o n t e n t ) 4 1 国际商用机器公司i b m 的q b i c 是第一个商业化的基于内容图像检索系统。它的系 统结构包括图像入库、特征计算、查血阶段。支持基于例子图像、手绘略图、选择的颜 色、纹理等的查询，同时支持基于文本的关键字查询。 v i r a g e 公司的v i r a g e l 5 1 v i r a g e 是由v i r a g e 公司开发的基于内容的图像搜索引擎。支持基于颜色、颜色布局、 纹理、边缘的查询，同时支持上述4 种原子查询的任意组合，用户可以根据自己的查询 意图调整4 个查询的权重。v i r a g e 技术的核心是v i r a g ee n g i n e 以及在图像对象层上的操 作。v i r a g ee n g i n e 主要有图像分析、图像比较和图像管理三方面的功能。它将查询引擎 作为一个插件，既可以应用到通用的图像查询中，也可以对其进行扩展并应用到特定的 领域。 m i t 多媒体实验室的p h o t o b o o k 6 】 p h o t o b o o k 是m i t 多媒体实验室开发的用于浏览和搜索图像的一套交互式工具。 p h o t o b o o k 包括3 个子部分，分别用于提取形状、纹理和面部特征。用户可以在每个子 部分中按照对应特征进行查询。 哥伦比亚大学的v i s u a l s e e k t 7 1 和w e b s e e k 8 】 v i s u a l s e e k 是基于视觉特性的搜索工具，系统采用的视觉特征是颜色集和基于小 波变换的纹理特征，为了加速检索过程，采用了基于二叉树的索引算法。其姊妹系统 w e b s e e k 是一种面向w w w 的文本图像搜索工具。主要包括图像、视频收集模块，主 题分类和索引模块，搜索浏览和检索模块3 部分。 u c s ba l e x a n d r i ad i g i t a ll i b r a r y 的n e t r a l 9 】 n e t r a 是u c s b 大学亚历山大数字图书馆项目组开发的图像检索系统原型。n e t r a 系 统的主要特点是基于g a b o r 滤波器的纹理分析和基于神经网络的图像分类构造。 m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) b o m a r s 是多媒体分析和检索系统的英文缩写，是美国伊利诺斯大学开发的。m a r s 系统在图像检索领域正式提出了相关反馈的体系结构。并在检索中不同层次上结合了该 技术，包括查询矢量优化、自动匹配工具选择和自动特征适应。m a r s 的研究焦点不在 于找到单一的最佳特征表达，而是研究如何把不同的视觉特征组织成为一个可以动态适 应于不同应用和不同用户的有意义的检索机制。 s i m p l i c i t y | 1 1 1 图像库的语义敏感集成匹配( s e m a n t i c s s e n s i t i v ei n t e g r a t e dm a t c h i n gf o rp i c t u r e l i b r a r i e s ，s i m p l i c i t y ) 是斯坦福大学与宾州大学开发的图像检索系统。系统中提出了一 2 第一章绪论 种综合区域匹配算法来定义图像的相似度。它具有旋转和平移的不变性，允许区域间一 对多的匹配，对不准确的分割比较稳健。 i m a g er o v e r i m a g er o v e r 是基于w w w 的图像导航器，用户通过点击小图标的方法可以查询到 自己所需要的图文信息。i m a g er o v e r 内部成功运用了基于内容的图像检索技术，特点 是通过h t m l 文件将可视化信息和文本信息统一起来。由文件采集子系统和图像检索 系统两个部分组成。 从总体上看，研究主要集中在特征提取和结构化、检索算法、索引结构和查询接口 方法。对于特征提取，主要研究如颜色、纹理和形状特征。在索引结构上，主要研究高 维索引的低维化和新的索引机制。对于用户查询接口方面，主要研究图形化的示例查询 接口，以及相关反馈学习接口，提交内容查询。 目前的检索系统大多是基于图像低层特征的，主要利用诸如颜色、纹理、形状等与 人的主观判断无关的特征进行图像内容描述及相似性匹配检索，有一定的通用性。然而， 这类图像检索系统，却又因缺少高层的语义知识支持，与人类视觉特性相距甚远，检索 精度差，效率低，若要真正实用，在理论上和技术上均有许多问题等待解决。其中，有 些缺陷，在海量数据的图像检索中表现得尤为明显。譬如，两幅毫不相关的指纹和岩石 图像，经过基于形状特征提取和计算，它们的边缘方向直方图非常相似，如果仅根据边 缘方向直方图来检索，这两幅图像根本无法区分开。当然，若是综合利用颜色、纹理、 形状等不同特征进行组合检索，可以在某种程度上解决一些问题。但是，完全根据图像 低层特征进行图像检索，并非总能符合一般用户的检索需求。同时，由于嵌入式系统种 类繁多，各种不同嵌入式系统的软硬件差别较大，各种图像检索方法对于不同嵌入式系 统的普适性差别也比较显著，如何基于嵌入式系统的一般特性设计出可移植性强、检索 精确度高的检索方法，也是目前基于内容图像检索嵌入式系统设计中需要着重考虑的问 题。 1 3 本文的主要研究工作 系统地总结国内外基于内容的图像检索技术的研究成果，深入分析现有技术的优势 与缺陷，在此基础上实现了一套完整的基于内容图像检索嵌入式系统。针对现有原子特 征提取算法中存在的不足进行尝试性改进。主要研究工作概述如下： 1 对基于内容的图像检索系统中典型的图像视觉特征的提取方法，如从颜色、纹理 和形状等方面对特征提取方法进行了分析和研究，并介绍了空问关系特征和高层语义特 征。 2 针对基于颜色的索引因忽略了像素空间关系从而导致低效索引，提出了图像加权 分块后计算二次距的思想，针对颜色量化过程中的冗余现象和颜色丢失现象提出了一种 基于白组织的模糊聚类方法，实验证明，此方法在降低数据运算量的同时能够最大限度 的减少颜色丢失，符合嵌入式系统对于实时性和稳定性的要求。在基于形状特征的图像 检索中，分别针对基于区域特征提取方法和基于边缘特征提取方法，提出了改进。在区 江南大学硕士学位论文 域特征提取中，提出了基于模糊c 均值聚类图像分割下的h u 不变矩检测思路，通过模 糊聚类对图像进行区域分割，再结合h u 不变矩七个向量计算欧式距离，得到图像相似 度；在边缘特征提取中，提出了c a n n y t 算法，将图像预处理，通过设定一个阈值将图 像分割为前景和背景，以阈值为界限将图像转化为二值图像以获取c a n n y 算子边缘强度 经验阈值，再根据c a n n y 边缘强度值进行边缘提取。实验证明，这些改进算法在提高了 检索效果的同时，也保证了一定的算法执行效率，较好的实现了图像检索技术与嵌入式 系统的耦合。 3 实现了一个完整的基于内容图像检索嵌入式系统，此系统的硬件平台为成都英创 公司的e m 9 0 0 0 开发板，其内核c p u 为2 0 0 m h z 的a r m 9 2 0 t 。系统除了支持基于颜 色、形状的经典图像检索方法外，还支持文中提出的相关改进算法。通过大量系统实验， 证明了本文提出的基于内容图像检索改进算法的可行性和有效性。同时，本文的工作和 实验室他人的关于嵌入式图像采集、解压、显示和网络传输工作一起，形成了一个图像 技术与嵌入式技术相结合的工业视觉系统。 1 4 本文的组织结构 本文共分六章，具体章节安排如下： 第一章：介绍了基于内容的图像检索研究背景、热点及意义，国内外技术发展和应 用现状，本文的主要研究工作以及本文的组织结构。 第二章：基于内容图像检索相关技术研究，对颜色特征、形状特征、纹理特征等一 些经典特征提取算法进行了分析和研究，最后介绍了空间关系特征和高层语义特征。针 对嵌入式系统实现，指出了现有技术中存在的一些不足并提出改进思路。 第三章：实现了一个基于内容图像检索的嵌入式系统，系统硬件平台是以2 0 0 m h z a r m 9 2 0 t 为内核c p u 的e m 9 0 0 0 ，软件平台为w i n d o wc e5 0 操作系统，开发工具为 m i c r o s o f t 的e m b e d d e dv i s u a lc + + 4 0 ，支持基于颜色直方图、累积直方图、s o b e l 边缘检 测直方图、c a n n y 边缘检测直方图以及文中相关改进方法的图像检索。 第四章：针对嵌入式系统中采用基于颜色直方图特征提取方法造成的错检率和漏检 率较高的问题，提出相关改进，通过模糊聚类优化颜色量化过程，通过加权分块构造子 块颜色对表，有效获取到像素的空间信息。并通过系统实现的实验结果验证改进算法。 第五章：针对嵌入式系统中基于形状特征提取方法中存在的不足，从区域特征和边 缘特征两个方面入手，分别提出了基于模糊c 均值聚类分割的h u 不变矩法和c a n n y t 算法。实验表明二者在不同的场合下改进效果不尽相同，可通过加权实现基于区域、边 缘综合形状特征的图像检索，提高算法的普适性。 第六章：总结与展望，对本文的工作进行了总结，并给出了下一步的工作方向。 4 第二章基于内容图像检索相关技术研究 第二章基于内容图像检索相关技术研究 基于内容图像检索中的“内容”，指的是图像本身包含的备种特征，这些特征在某 种程度和某种意义上，代表并唯一标识了一幅图像，利用这些特征建立索引，就可以实 现图像的检索。因此，基于内容的图像检索，本质上就是对于这些特征建立索引并检索 的过程。 就其特征本身而言，其内涵非常广泛而丰富，总的来说，可以分为两类，即低层特 征和高层特征。其中，低层特征包括图像的颜色特征、图像中对象的形状特征以及图像 的纹理特征等等，而高层特征是指与人的认知领域相关的的图像内容，即图像的语义特 征。本章主要探讨基于低层特征，即基于颜色、形状和纹理特征的提取过程，并对空间 关系特征和高层语义特征进行介绍。虽后，针对嵌入式系统实现，指出了现有技术中存 在的一些不足并提出改进思路。 2 1 颜色特征 颜色特征是图像的基本特征之一。颜色特征也是图像检索中应用最为广泛的视觉特 征，与其他视觉特征相比，颜色特征对图像本身的尺寸、方向和视角的依赖性较小。颜 色特征的提取也相对容易，因而基于颜色特征的图像检索研究受：l l l f 泛的重视和研究。 2 1l 颜色模型 大自然中各种各样的颜色都是由3 种颜色( 红、绿、蓝) 按照不同比例混合而成， 它们称为三原色，它们构成了r g b 颜色模型。此外，人们根据r g b 模型，还提出了一 系列其他颜色模型，较为典型的有：c m y 和c m y k 颜色模型、y u v 颜色模型、y c r c b 颜色模型、h s v 颜色模型和h s i 颜色模型等等。为了研究不同的颜色空间模型对颜色 的描述性能，本节对常见的颜色模型及相互变换关系进行了分析。 1r g b 颜色模型 r g b 颜色模型可以通过一个彩色立方体加以图解，如图21 所示 b 图2 lr g b 彩色王方体 f i 9 21 r g bc o l o r f u lc u b e 原点对应黑色，离其最远点对应白色，3 个坐标轴顶点分别对应红绿蓝3 原色，其 余3 个点分别对应为原色的补色( 青、品红、黄) ，所有的颜色都可以表示为从原 出 江南大学硕士学位论文 刚眯 弦分 w = t ? r r c - 0 2 9 9 0 5 8 7 0 1 1 4 【- o 6 1 5一o 5 1 5 一o 1 0 0 j w c = t y c k b v c 6 第二章基于内容图像检索相关技术研究 r=瞄5000三0戮4187捌08131687-03 3 1 3 05 0 0 0 亿3 ，妒曲：lo 一一o ( 2 3 ) i 一0 1 图2 2h s v 颜色模型 f i g2 2 h s vc o l o rs p a c e r g b 颜色模型到h s v 颜色模型的转换关系如下： 对r ，g ，b e 【o ，1 】，根据以下公式计算对应的h , s ，v e 【o ，l 】： 1 ，：m a ) 【( 广，g ，6 ) s ：v - m i n ( r , g , b ) v 定义 ，=v-m生in(r,g,b)g = 石而v - g6 = 瓦而v - b h = 5 + b 1 一g 1 + r 3 一b 3 + g 5 一厂 若r = m a x ( r ，g ，6 ) 且g = m i n ( r ，g ，b ) 若r = m a x ( r ，g ，6 ) 且g m i n ( r ，g ，6 ) 若g = m a x ( r ，g ，6 ) 且b = m i n ( r ，g ，6 ) 若g = m a x ( r ，g ，6 ) 且b m i n ( r ，g ，6 ) 若b = m a x ( r ，g ，6 ) 且r = m i n ( r ，g ，6 ) 其他 7 ( 2 4 ) 江南大学硕士学位论文 h = h 6( 2 5 ) 6 h s i 颜色模型【1 6 】 当人观察一个彩色物体时，用色调、色饱和度和亮度( h s i ) 描述它。其中，色调是描 述纯色的属性( 纯黄色、橘色或红色) ，反过来，饱和度给出一种纯色被白光稀释程度的 度量。亮度是一个主观的描述子，实际上它是不可能测量的。它体现了无色的强度概念， 并且是描述彩色感觉的关键参数。h s i 颜色模型如图2 3 所示。这个模型有两个特点， 或者说基于两个重要的事实：其一，1 分量与图像的彩色信息无关；其二，h 和s 分量与人 感受颜色的方式是紧密相连的。这些特点使得h s i 模型非常适合于借助人的视觉系统来 感知彩色特性的图像处理算法。将r g b 空间转换为h s i 空间后，信息结构更加紧凑， 各个分量的独立性增强颜色信息丢失少，易于进行分割和识别等处理。 葺 组 l 图2 3h s i 颜色模型 f i g2 3 h s ic o l o rs p a c e 若给出一幅r g b 彩色格式的图像，则每一个r g b 像素的h 分量可用下面的方程 得出： ：j 0 要腿g ( 2 6 ) i3 6 0 0 若b g 、 其中， 0 = a t c o s i 圭 ( r g ) + ( r b ) 】 i 【( r g ) 2 + ( r b ) ( g b ) 】2 饱和度分量由下式给出： s = 1 3 ( 尺+ g + b ) 最后，亮度由下式给出： m i n ( r ，g ，曰) 】 ( 2 7 ) ，= ；( 尺+ g + b ) ( 2 8 ) 假设r g b 值已归一化到范围 0 ，1 】，角度0 是点与h s i 空问的红色轴之间的夹角，将由h 的公式中得出的所有结果值除以3 6 0 ，色度可归化到范围 o ，l 】。若给出的r g b 值在【o ，1 】 之间，则剩下的两个h s l 分量自然就会在 o ，1 之问。 8 第二章基于内容图像检索相关技术研究 2 1 2 颜色特征的表达 颜色是描述图像内容的最直接的视觉特征，已经有许多文献给出了各种基于颜色的 图像检索技术：s w a i n 首先提出了使用颜色直方图作为图像内容的索引特征，即首先将 颜色空间划分成若干固定子空间，然后对每幅图像统计属于各个子空间的像素的数目， 图像之间的相似性度量则采用直方图的交【1 7 1 ；类似地，h a f n e r 在q b i c 中则采用了直方 图的二次距离作为图像的相似性测度【他】；另外，s t i c k e r 采用了颜色值的另外3 个统计量， 即前三阶矩来表示图像的内容。f u n t 和f i n l a y s o n 扩展了s w a i n 的方法，提出了常量颜 色索引的方法。w a n 等使用八叉树将图像的像素依据颜色值在颜色空间中进行层次聚 类，并在层次聚类基础上导出平均色、主色等一系列特征作为图像内容的索引。 1 颜色直方图 图像中颜色的分布可以用直方图来表示。对于给定的图像i x , y ，它的颜色直方图 可以由下式给出：其中，x ，y 分别为图像的宽度和高度。 跏，= 薹黜纵絮掰 弦9 ， 颜色直方图定义了图像或图像中区域的颜色分布。 颜色直方图具有与生俱来的旋转不变性和缩放不变性。 颜色直方图具有明显的优点，也存在一些缺点。优点在于：它能简单描述一幅图像 中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自 动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色 的局部分布及每种色彩所处的空间位置，即无法描述图像中的某具体的对象或物体。 所以在利用传统的颜色直方图进行检索时容易产生不一致的情况。对此，本文提出了一 种图像预处理方法，即在绘制颜色直方图之前，先将图像分割成大小相等的若干份，再 分别求取个图像子块的颜色直方图，最后利用颜色表法计算相似度，详细说明见第四章。 关于颜色直方图的改进有累积颜色直方图，累积直方图被证明是比颜色直方图更健 壮的一种方法【1 9 】，给定一幅图像i 的颜色直方图h ，对应的累积直方图数学表示如下： h ( i ) = 【h 1 ，h 2 9 e eh n 】 ( 2 1 0 ) 这里，励= 罗h j ，g 和o 分别代表颜色直方图第i 个和第j 个索引的颜色值。可以用隶 面 属度矩阵m = 【脚f ， 疗刀r 来表示累积直方图。这里，n = n 。 f 1 ，c = c j m i j 2 1 0 ，其他 则 h n x i = m q xh h n x i 2 二值颜色集 图像或图像区域有关颜色的内容可以用更紧凑的二值颜色值来表示。设b m 为m 维的二值空间，其中的每一维对应一个颜色，相应的索引为m 。 二值颜色集例是一个二值向量，定义了图像或图像区域中的颜色集合 m 。 9 江南大学硕士学位论文 二值颜色集等价于阈值化的直方图，阈值使得每个直方图中的每一个值转化为两个 可能的等级之一。例如，为颜色r n 给定阈值tm 相应的二值颜色集可以从下式得到： 酬= 怯舭巍钿 亿 二值颜色集仅描述了有哪些颜色是大于阂值的，但在表达区域性的颜色是很有效 的。当某个颜色不能在某个颜色区域中有效表示，比如，颜色低于阈值时，这个颜色将 被忽略。这样，用二值颜色集的方法，只有在区域中较为突出的颜色所包含的颜色内容 能得到表达。 3 颜色矩 颜色矩( c o l o r mo m e n t s ) ，是s t r i c k e r 和o r e n g o 等人所提出的另一种简单而有效的 颜色特征提取与匹配方法【1 9 】。这种方法的数学基础在于：图像中任何的颜色分布均可以 用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的 一阶矩( m e a n ) 、二阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 就足以表达图像的颜色分布。所 以，图像的颜色矩一共只需要九个分量。与颜色直方图相比，该方法的另一个好处在于： 它无需对颜色特征进行向量化。颜色的三个低次矩的数学表达形式如下： i = 专n ( 2 1 2 ) 1n 2 盯卢 寺( 岛一，) 】“2 ( 2 1 3 ) v 3 = 1 1 n 3 s t = 峙( 岛一) 】l ，3 ( 2 1 4 ) 上式中，p j i 是第j 个像素的i 个颜色分量，i l ，2 ，3 ) ，在r g b 颜色空间中分别表 示r ，g ，b 颜色分量：n 是图像中像素数量。其中，一阶矩定义了每个颜色分量的平均强度， 二阶矩定义了每个颜色分量的方差，三阶矩定义了每个颜色分量的偏斜度。在实际应用 中，为避免低阶矩较弱的区分能力，颜色矩常和其他特征结合使用，并且起到在使用其 他特征前缩小范围的作用。 除了上面三个低次矩以外，在数学上可以证明，正交矩作为一种特征的矩，具有优 越的性能。因此，己有一些研究者结合正交矩和小波对颜色特征进行提取和匹配，也取 得了较好的效果。 4 颜色聚合向量 p a s s ，z a b i h 等人提出以图像的颜色聚合向量c c v ( c o l o rc o h e r e n c ev e c t o r ) 【2 l 】作为 图像的索引。此方法旨在克服颜色直方图无法表达图像色彩空间位置的缺陷。该方法是 颜色直方图的一种演变，其核心思想是：将属于直方图每一个b i n 的像素分成两部分，如 果该b i n 内的某些像素所占据的连续区域的面积大于给定的阐值，则该区域内的像素作 为聚合像素，否则作为非聚合像素。假设0 【i 与1 3 i 分别代表直方图的第i 个b i n 中聚合像 素和非聚合像素的数量，图像的颜色聚合向量可以表达为 。其中n 为量化颜色的个数而 就是该图像的颜 1 0 第二章基于内容图像检索相关技术研究 色直方图。在图像检索过程中匹配目标图像的聚合向量和检索图像的聚合向量，由于聚 合向量包含了颜色分布的空间信息，对需要比较物体的空间位置的图像，颜色聚合向量 能比颜色直方图达到更好的检索效果。 2 1 3 相似性度量 图像的相似度度量，是基于内容图像检索技术中一个关键问题2 2 1 。它是建立在图像 内容的基础上，由图像内容的相似度得到图像相似度的一种比较方法。下面对于现有的 基于颜色特征的相似度度量方法进行讨论。 设q 为查询例图，t 为目标图像，1 1 q 表示查询直方图；h t 表示目标直方图。下面的 方法也完全可以推广应用到图像的其他特征。 1 m i n k o w s k i 距 m 1 1 d z ，( q ，f ) = ( 眦肌】一h 枷】陟 ( 2 1 5 ) m = o 2 直方图相交距 m i n ( h a m ，h ，【聊】)川 眈( ) _ 1 一业 可_ 一，阼萎h ( 2 1 6 ) 另一种形式的相交距为 m i n ( h q m ，h f 【聊 ) d 加固卜卜鼍词矿 q 1 7 3 欧几里得距 欧几里得距是r = 2 时求得的m i n k o w s k i 距， m 一1 1 应 f ) = ( 吲一办咧2 ) - ( 2 1 8 ) m = o 4 艽2 统计距 n ，八掣( 【m 卜d 所】) 2 q 砌2 荟型焉型 这里，d 【垅】= 掣 5 k l 距 嘁t ，mi 捌- g 篇 眈( q ，t ) = 罗m l g 竺 卜uh l 。j 6 m a h a l a n o b i s 距 ( 2 1 9 ) ( 2 2 0 ) 江南大学硕士学位论文 d m ( q ，t ) = ( h n h t ) 1 一( - h ，) 其中，。1 表示协方差矩阵。 ( 2 2 1 ) 2 2 形状特征 形状是图像表达和图像检索中的一个非常重要的特征内容，在二维图像空间中，形 状是一个非常直观的特征，因此具备良好的可区分性，但是不同于颜色和纹理等特征， 形状特征的提取必须以建立在对图像中物体或区域的边缘提取和分割基础上。区域分割 与形状提取是一个两难问题，要很好的分割图像，必然要求对图像的内容，即图像中包 含的物体在形状方面的特征有一个很好的了解，而人们对图像进行分割的目的，正是想 得到物体的形状特征口3 1 。为了得到较好的图像分割效果，有必要进行图像增强处理，图 像增强后，对图像进行分割，目前图像分割方法包括基于边缘检测的分割和基于区域的 分割，以及二者相结合的分割方法。此外，图像的规格化步骤也是必不可少的，否则不 能确保在二维模式三种失真形式( 平移、旋转、伸缩) 下检索的正确性。在完成以上的 处理步骤后，再通过各种形式的描述子来表达具体分割对象的形状特征，基于这些特征 计算相似度，完成检索过程。 2 2 1 图像增强、图像分割、图像规格化 图像增强处理方法很多，如直方图均衡化，小波变换，模糊增强等。根据处理域可 以分为频域处理法和空域处理法两类，根据处理过程可分为直接处理法和模糊处理法两 类【2 4 1 。 1 频域处理法 频域处理法的基础是卷积定理，是把原图像进行某种变换( 如傅里叶变换) ，在变 换域中进行处理以达到增强目的。通常，这种方法的计算量较大，并且变换参数的选取 人工干预较多。 2 空域处理法 空域处理法是直接对原始图像进行处理，基本上是以灰度映射变换为基础。所用的 映射变换取决于增强的目的。主要算法包括直方图均衡、直方图变换、边缘提取、平滑 滤波、局部灰度和增益控制等。 图像分割的目的是把图像空间分成一些有意义的区域。常见的分割包括基于边缘检 测的分割、基于区域的分割、边缘与区域相结合的分割等。 1 基于边缘检测的分割 基本思想是先检测图像中的边缘点，再按一定策略链接成轮廓，从而构成分割区域。 其难点在于边缘检测时抗噪性和检测精度的矛盾，若提高检测精度，则噪声产生的伪边 缘会导致不合理的轮廓；若提高抗噪性，则会产生轮廓漏检和位置偏差。为此提出了各 种多尺度边缘检测方法【2 5 1 。 1 2 第二章基于内容图像检索相关技术研究 2 基于区域的分割 基本思想是根据图像数据的特征将图像空间划分为不同的区域。常用的特征包括直 接来自原始图像的灰度或彩色特征、由原始灰度或彩色值变换得到的特征，方法有阈值 法、区域生长法、聚类法、松弛法等。 3 边缘与区域相结合的分割 边缘与区域组合分割的主要思想是结合二者的优点，通过边缘点的限制，避免区域 的过分分割，同时通过区域分割补充漏检的边缘，使轮廓更完美。例如，先进行边缘检 测与连接，再比较相邻区域的特征( 灰度直方图、方差) ，若相近则合并，得到最终分 割结果【2 6 1 。 图像规格化是图像分析与模式识别技术中一种非常重要且常用的方法，通常情况下 二维模式有3 种失真形式：平移、旋转和伸缩。下面给出针对上述3 种形式失真图像进 行规格化的方法。 设f ( x ，y ) 表示区域q 的二值图像，平移不变性通过将图像原点移至图像重心得到。 设均值向量为c = 【c x ，c y 】t ： c x = f o x f ( x ，y ) d x d y c v = l ( x ，y ) d x d y ( 勋，矽) = f ( x i - - c x ，y j o ) 对象的平均半径为： f t ( x i ，y i ) ( # + 巧2 ) 厂2 二f r 一 夕( 札少j i )厶厶- ，1 、，7 j = 1j = l 则尺度因子为： ， s = 一 尺 ( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) ( 2 2 5 ) ( 2 2 6 ) 其中，r 为对象面积的四分之一。 乃s ( x ，y d = f t ( s x j ，s y j ) ( 2 2 7 ) 以下为旋转不变性的求解过程： , uk ，= e ( x c ，) ( 】，一cj ，) 7 2 j l ( x g ) ( j ，一o ) 7 ( x ，y ) d x d y ( 2 2 8 ) 图像的协方差矩阵定义为： m ：p 朋叫 ( 2 2 9 ) l l l 0 2 - j 其中，z ，是由式( 2 2 7 ) 定义的中心距。首先计算m 的