（计算机软件与理论专业论文）基于内容图像数据库检索的技术研究.pdf

摘要 摘要 传统的基于文本的检索方法是对图像数据库中的每一幅图像进行关键字描 述，根据关键字对用户给定的图像进行检索，基于内容的图像检索是使用图像 的颜色、纹理和形状图像内容，建立特征向量，对给定的图像和图像数据库中 的特征向量进行相似度计算，来完成图像检索。这种方法不需要用户事先输入， 具有方便，工作量小，查询更加全面等优点。 文中首先回顾了基于内容的图像检索理论及其应用研究的发展过程，对基 于内容的图像检索( 颜色、纹理、形状等) 的技术和现状作了综述，并分析了各自 的优缺点。 再详细介绍了基于颜色的检索方法，并针对经典的基于颜色特征的直方图 法没有包含颜色的空间分布信息，难以区分颜色组成相似但是空间分布不同的 图像。提出了基于像素相关的检索方法，利用各相邻像素之间的相关性，统计 每个像素到其相邻像素的变化概率。试验表明，与传统的基于颜色直方图的检 索方法相比，基于像素相关的检索方法提高了检索效果。 最后详细介绍了基于纹理的检索方法，介绍了各种纹理的提取方法，重点 介绍了l b p 纹理的提取方法，并提出了基于l b p 纹理的检索方法。该方法是： 首先使用l b p 纹理生成纹理矩阵，计算纹理矩阵的直方图，再使用直方图进行 检索。试验表明，与传统的基于灰度共生矩阵和基于统计纹理的检索方法进行 了比较，基于l b p 纹理的检索方法提高了检索效果。 关键词：图像检索；像素相关；颜色直方图；l b p 纹理；灰度共生矩阵；统计 纹理 a b s t r a c t a b s t r a c t t h et r a d i t i o n a lt e x t b a s e di m a g ed a t a b a s er e t r i e v a lm e t h o di sf o re a c hk e y w o r d a l li m a g ed e s c r i p t i o n ，a c c o r d i n gt oag i v e nk e y w o r dt h eu s e r i m a g er e t r i e v a l c o n t e n t - b a s e di m a g er e t r i e v a li st ou s et h ei m a g e sc o l o r t e x t u r ea n ds h a p eo ft h e i m a g ec o n t e n tt h ee s t a b l i s h m e n to ff e a t u r ev e c t o r sf o rag i v e ni m a g ea n dt h ei m a g e d a t a b a s eo ff e a t u r ev e c t o r sf o rs i m i l a r i t yc a l c u l a t i o n ，t oc o m p l e t et h ei m a g er e t r i e v a l t h i sm e t h o dd o e sn o tr e q u i r eu s e r st oe n t e ri na d v a n c e ，证t l lc o n v e n i e n c e ；t h e w o r k l o a di ss m a l l ，c h e c kam o r ec o m p r e h e n s i v ea n ds oo n t h ep a p e rr e v i e w e dt h ec o n t e n t - b a s e di m a g er e t r i e v a lt h e o r ya n di t sa p p l i e d r e s e a r c hi nt h ed e v e l o p m e n tp r o c e s s i td e t a i l st e c h n o l o g ya n ds t a t u so fc o n t e n tb a s e d i m a g et h a ti n c l u d e sc o l o r , t e x t u r ea n ds h a p e a n da n a l y z eo ft h e i ra d v a n t a g e sa n d d i s a d v a n t a g e s t h ep a p e rd e t a i l st h ec o l o r - b a s e dr e t r i e v a lm e t h o d c o l o rh i s t o g r a mi st h em o s t c o m m o nm e t h o di nc o l o r - b a s e dr e t r i e v a l b u ti ti sd i f f ic u l tt od i s t i n g u i s hi m a g e st h a t h a v es i m i l a rc o l o r sb u th a v ed i f f e r e n ts p a t i a ld i s t r i b u t i o n s o ，p i x e l b a s e dr e t r i e v a l m e t h o di sp r o p o s e d i ts t a t i s t i c sf o re a c hp i x e lt oi t sa d j a c e n tp i x e l sc h a n g ei nt h e p r o b a b i l i t yb yt h ec o r r e l a t i o nb e t w e e na d j a c e n tp i x e l s t e s t ss h o w e d ：t h er e l e v a n t p i x e l - b a s e dr e t r i e v a lm e t h o di m p r o v e st h er e t r i e v a le f f e c t i v e n e s sa g a i n s tt oc o l o r h i s t o g r a m t h ep a p e rd e t a i l st h et e x t u r e - b a s e dr e t r i e v a lm e t h o d i ti n t r o d u c e dav a r i e t yo f t e x t u r ee x t r a c t i o nm e t h o d s i th i g h l i g h t st h el b pt e x t u r ee x t r a c t i o nm e t h o da n du s e l b pt e x t u r et or e t r i e v ei m a g e t h em e t h o du s e sl b pt e x t u r et og e n e r a t et e x t u r e m a t r i x a n di tg e t sh i s t o g r a mb yt e x t u r em a t r i x i tr e t r i e v ei m a g ei ni m a g ed a t a b a s e b yh i s t o g r a m t e s t ss h o w e d ：t h er e l e v a n tl b p t e x t u r er e t r i e v a lm e t h o di m p r o v e st h e r e t r i e v a le f f e c t i v e n e s sa g a i n s tt oo t h e rt e x t u r em e t h o d k e yw o r d s ：i m a g er e t r i e v a l ；p i x e l r e l a t e d ；c o l o rh i s t o g r a m ；l b pt e x t u r e ；g l c m ； s t a t i s t i c a lt e x t u r e n 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得直昌盔堂或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名( 掏诵俊签字嗍巧年棚汩 学位论文版权使用授权书 本学位论文作者完全了解直昌太堂有关保留、使用学位论文的规定，有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权南昌大学可以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。同时授 权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位敝储签名c 矧：稻假翮签名c 矧：姑雾 签字日期：砷引嗍炒 答字醐刁引叼炒 第一章绪论 1 1 课题的来源与意义 第一章绪论 图像数据具有直观性，易读性，包含的信息量大等优点，在当今世界使用 越来越广泛。特别是近年来计算机速度越来越快，存储容量越来越大。信息传 递速度越来越快，越来越方便。尤其是互联网的发展。在当今网络世界里，存 储有成千上万的图片、语音、视频。这些非文字信息给检索带来了巨大的挑战。 传统的检索方法是对图片、语音、视频进行关键字标注，通过对关键字的检索 来完成对图片、语音、视频的检索。在图片、语音、视频的检索不多的情况， 使用关键字检索的方法还具有可行性，但是随着图片、语音、视频的检索数据 量的急剧膨胀，这种传统的检索方法却有着不可避免的缺陷【l 】：( 1 ) 所有的关键 字都是使用手工录入，不仅工作量大，效率低，而且极易出错。录入需要大量 的人力，物力才能完成。( 2 ) 由于每个人的知识，偏好，以及理解不同。对同 一幅图像，不同的人有不同的理解，因此给出的关键字有很大的主观性，但是 传统的检索方法只能使用关键字检索，所以当用户理解的不同，给出的关键字 与系统录入人员的理解不同时，将查询不到所需要的图像。( 3 ) 图片含有大量 的信息，如果要对一幅图像完全描述清楚的话，可能需要几千乃至上万字，对 图像进行关键字标注是件很困难的事情。而且关键字对图像中物体的位置，纹 理是很难描述清楚的。为了解决这种检索方式的局限性，提高检索的精确度， 基于内容的图像检索方式应运而生。 基于内容的图像检索1 2 1 ，是使用图像的颜色、纹理和形状作为图像内容，建 立特征向量，对给定的图像和图像数据库中的特征向量进行相似度计算，来完 成图像检索。它由用户给出示例图像，或者是给出图像大致草图描述，从图像 数据库中找到相似的图像。与传统的基于关键字的检索方法不同，这种方法融 合了图像处理、模式识别、计算机视觉、数据挖掘、数据库管理等多种技术。 其主要思想是对图像数据库中的图像进行特征计算，并存入图像数据库。再对 用户给出的示例图像或者是草图进行特征计算，与图像数据库中的图像特征进 行相似度计算，返回计算结果最大的若干种。在进行特征提取时，可以使用图 第一章绪论 像的颜色、纹理、形状，或者是上述特征的综合。图像的颜色、纹理、形状是 图像所固有的特征，只要给定算法，计算机库可以自动进行提取，不需要人工 的干预。因此不仅减少了工作量，而且检索结果更加客观。很好的解决了基于 文本检索存在的问题。 与传统的文本检索相比较，基于内容的图像检索技术有以下突出的特点【3 】： ( 1 ) 图像的颜色、纹理、形状是图像所固有的特征，只要给定算法，计算机可 以自动进行提取，不需要人工的干预。因此不仅减少了人的工作量，而且避免 了人主管上的差异； ( 2 ) 只要给定算法，计算机库可以自动进行提取，所有图像都是使用同一种标 准，所以对图像的描述非常客观； ( 3 ) 融合了机器视觉、图像理解等新技术技术，对特征向量，根据给定的方案 进行相似度计算，可以实现模糊匹配，而传统的基于文本的检索其实是对文本 的精确匹配； ( 4 ) 可以采用相关反馈技术，改进检索算法，使算法更加智能。 1 2 图像检索的发展阶段 ( 1 ) 基于文本的图像检索 基于文本的图像检索方法【4 】可以追溯到上个世纪7 0 年代，那个时候，因为 计算速度慢，存储容量小，通信速度慢等特点，图像数据量小。人们对每一幅 图像采用关键字进行描述，并把每一幅图像的所有关键字描述和图像存储路径 一起存入关系数据库。在进行图像检索时，先由用户给出关键字，在数据库中 检索出相同的关键字，通过图像的存储路径读出图像。其本质是把图像检索转 换为文本检索。 ( 2 ) 基于内容的图像检索 当今计算机速度和容量的飞速发展，处理图像已经不再是件很困难的事情， 加上人们需要获取的信息量越来越大，特别是9 0 年代出现的互联网计算，人们 获取信息越来越方便，获取的信息量越来越大，对所有的图像进行关键字描述 几乎是件不可能的事情。于是研究者根据图像的颜色、纹理以及形状，提出了 基于内容的图像检索。 ( 3 ) 基于相关反馈技术的检索阶段 2 第一章绪论 先前的基于内容的图像检索，根据给定的检索算法和相似度计算方法，完全 采用计算机自动完成计算。但是由于检索算法的限制，检索处理的结果往往不 如人意。于是人们采用了对检索结果进行评价，将结果反馈给计算机，从而改 进检索算法和相似度计算方法，这就是基于相关反馈的图像检索技术。 1 3 国内外研究现状 1 3 1 国外研究现状 基于内容的图像检索从2 0 世纪9 0 年代早期就开始成为一个热门话题。许 多研究机构和公司不仅研究原型系统，而且开发了产品，部分产品还成为了商 业系统，获得了广泛的用途。这些系统有着共同的特征【5 】：( 1 ) 能够提取多种维数 较低的特征，作为属性组成图像的特征向量。( 2 ) 对高维的特征向量进行降维处 理或者添加高维索引结构，使对高维特征计算起来更加高效。( 3 ) 采用多种检索 算法进行检索。( 4 ) 设计人性化的用户接1 2 1 ，方便用户查询。 数字图书馆对国外的基于内容的图像检索技术的发展有着直接的推动作 用，随着数字图书馆发展和成熟，基于内容的图像检索技术渐渐发展成为一个 研究热点。虽然当前基于内容的图像检索技术检索结果还不能完全满足用户需 求，检索算法还不是很成熟。 下面是一些成功的商业系统： o q b i c 系统 i b m 公司最早的用于商业运作的图像检索系统是q b i c 6 】系统，该系统也是 用于商业的图像检索系统中最具有代表性的一个系统。它提出了商业的图像检 索系统的框架和相关技术，对之后系统的开发具有重要的借鉴意义。q b i c 支持 用户采用多种方法进行查询，用户可以提供示例图像，待检索图像的缩略图， 提供颜色，纹理以及形状进行图像检索。而用户提供的图像又可以是多种格式 的，可以采用r g b 、y i u 颜色、l a b 颜色和m t m 坐标或者多维颜色直方图。 纹理特征采用的是粗糙度、对比度和方向性的综合，是对t a m u r a 纹理表示法的 一种改进方法。形状特征有：离心率、主轴方向、圆周率和一些代数不变矩。 由于其优良的性能，q b i c 应用越来越广泛，被用于艺术图像检索和医学等一 些商业图形图像检索领域。 第一章绪论 v i r a g e 系统 v i r a g e 是一个图像图形搜索引擎系统，也成功的应用于a vp h o t of i n d e r 系 统，它具有很强大的图像检索功能。v i r a g e 能支持纹理特征，颜色特征、形状特 征、图像结构以及它们之间的综合。用户可以给定示例图像，或者是自己画出 草图，甚至可以指定上述特征进行图像查询。v i r a g e 系统比q b i c 系统的改进之 处在于：它不仅支持纹理特征，颜色特征、形状特征、图像结构的组合查询， 而且还支持用户调整它们之间的比例。 m a r s 系统 m a r s 系统也是一个成功的图像数据库检索的商业系统，它综合了计算机 视觉、数据库以及检索领域等多领域知识。m a r s 系统最大的创新之处在于： 它能够把不同方法检索出来的特征进行有效的组合，实现动态匹配；还用到了 相关反馈技术，用户可以在不同的检索层次进行信息反馈。 1 3 2 国内研究现状 国内的图像检索。专统主要是使用颜色特征和形状特征进行图像检索。在实 际应用中也取得的很大的成果。清华大学开发了i n g r e t r 系统，该系统能够判断 敦煌壁画的绘制年代，通过采用g s s 树作为索引，对颜色和提取出来的轮廓采 用欧式距离进行相似度计算。中科院的m i r e s 系统【_ 7 j 能够在互联网上进行图像 检索和匹配，它既使用底层特征和语义高层特征，还使用了相关反馈技术。国 防科技大学开发的n e w s v i d e o c a r 系统能够对视频进行有效的匹配检索。 1 4 图像检索技术面临的问题 尽管目前的图像检索已经有了成功的商业软件，与传统的基于关键字的图 像检索技术相比，基于内容图像检索在图像检索方面具有速度快，效率高，但 目前仍能有未能解决的难题： 首先，图像在计算机中的存储方式以及内部数据结构，既对图像的编码问 题。现如今还找不到一种方式可以适用于任何领域，所以的编码千差万别，目 前还没有一个统一的标准出台。 其次，语义理解【8 1 难题。目前，计算机对图像的理解仍能停留在颜色、形状 4 第一章绪论 和纹理上，与人对图像的理解有很大的差别，怎么把计算机对图像的理解与人 对图像的理解联接起来，仍能是一个没有解决的难题。这也是数字图像检索的 一个热点。 最后，如何实现人机接口。人的需求是变动的，又或者是开始没有找到有 效的表达方式。所以良好的人机接口是必不可少的。系统给用户提供何种查询 方式，能否实现反馈技术，用户是否可以设置不同特征之间的比例，以及用户 是否需要相关的专业知识才能进行查询。都是实现人机接口需要考虑的问题。 1 5 本文的主要工作 本文首先简要介绍了基于内容的图像检索理论及其应用研究的发展过程， 对基于内容的图像检索( 颜色、纹理、形状等) 的技术和现状作了综述，分析了各 自的优缺点。并提出了几种新的检索方法，通过实验表明，本文提出的新方法 在检索效果上均有提高。各章内容如下： 第一章，详细介绍基于内容的图像检索课题的来源与意义；图像检索在国 内外的发展现状，以及该领域研究还没有解决的难题；最后还介绍了图像检索 在各领域的应用。 第二章，介绍了图像检索的基础知识，各种颜色空间；颜色特征；纹理特 征；形状特征；用于图像检索的相似性距离度量模型；特征向量的归一化方法： 如何评价图像检索算法的性能。 第三章，介绍了基于颜色的各种检索方法，并针对经典的基于颜色特征的 直方图法没有包含颜色的空间分布信息，难以区分颜色组成相似但是空间分布 不同的图像。提出了基于像素相关的检索方法，利用各相邻像素之间的相关性， 统计每个像素到其相邻像素的变化概率。试验表明，与传统的基于颜色直方图 的检索方法相比，基于像素相关的检索方法提高了检索效果。 第四章，介绍了基于纹理的各种检索方法，重点介绍了l b p 纹理的提取方 法，并提出了基于l b p 纹理的检索方法。试验表明，与传统的基于灰度共生矩 阵和基于统计纹理的检索方法进行了比较，基于l b p 纹理的检索方法提高了检 索效果。 第五章，总结与展望。 第二章基于内容的图像检索相关技术综述 第二章基于内容的图像检索相关技术综述 2 1 颜色空间介绍 颜色是一种重要视觉特征，计算机能够方便的存储图像颜色，而且人对图 像的理解也在很大的程度上依赖于颜色。但是，对图像颜色的编码却有多种表 达方式，他们分别用在不同的场合，所以首先需要了解图像的各种编码以及转 换方法。下面将着重介绍几种常用的重要颜色空向。 2 1 1r g b 颜色空间 r g b 分别代表红、绿、蓝三种颜色，从光学原理角度来说，r g b 颜色之间 的不同组合可以表示人类视力所能感知的 所有颜色，因此被广泛的应用于工业。r g b 颜色空间最常用的一种表示方式是r 、g 、 b 各占一个字节，取值范围为 0 ，2 5 5 】，0 最低，2 5 5 为最高。如果三个值相同，则为 灰色。r g b 颜色空间虽然只是用了三个变 量，但是他们之间不同的组合却可以表示多 达1 6 7 7 7 2 1 6 种颜色。如果把r 、g 、b 当作 空间直角坐标系的3 个坐标轴，把取值范围 从【o ，2 5 5 之间的整数归一化为 0 ，l 】之间 图2 1r g b 彩色空间 g 的实数，就可以得到如图2 1 所示。将原点( o ，0 ，0 ) 作为黑色，强度值沿坐标轴 方向递增到达位于对角线( 1 ，1 ，1 ) 处的白色。一个r g b 组合( r ，g ，b ) 表示代表 一个给定颜色的点在立方体内部、表面或者边上的三维坐标。这种表示方法使 得在计算两个颜色相近程度时只需简单计算它们之间的距离：距离越短颜色越 接近。 目前计算机中的颜色表达方式有：r g b l 、r g b 4 、r g b 8 、r g b 2 4 、r g b 3 2 。 其中r g b l 、r g b 4 、r g b 8 为调色板格式，r g b 3 2 格式中有一位作为保留位不 用。 6 第二章基于内容的图像检索相关技术综述 人是根据光对人眼的刺激才产生视觉。通常颜色都有3 个刺激量，它们与 r g b 之间的关系如下式【9 1 ， x = 0 4 0 9 r + o 3 l o g + 0 2 0 0 b y = 0 1 7 7 r + 0 8 1 3 g + 0 0 1 0 b ( 2 - 1 ) z = 0 0 0 0 r + 0 0 1 0 g + 0 9 9 0 b 色系数x ，y ，z 定义如- f 9 1 ， x x + y 七z y ( 2 2 ) v = 一 x + y + z z x + y + z 其中x + y + z = 1 。 但是r g b 颜色空间与人对颜色的感知方式【1 0 】不同，同时也不够直观；其次， 颜色空间的距离大小并不能很好的表示颜色之间的视觉差异【1 1 】。 2 1 2h s v 颜色空间 h s v 分别代表色相( h u e ) ，饱和度( s a t l i r a t i o n ) ，亮度( v 甜u e ) 9 1 。这种模式符 合人对颜色的感知模式f 1 0 1 ，因此更加直观。 色相( h ) 是色彩的基本属性，就是平常所说的颜色名称，如红色、黄色等， 取值范围为0 3 6 0 度的圆上，( 也有用0 1 0 0 的方法确定的) 。 饱和度( s ) 是指色彩的纯度，值越大色彩 越纯，取值范围为：o 1 0 0 。纯色中掺杂的白 光越多，这纯度越低。 亮度( v a l u e ) 是颜色给人的明暗程度，取值 c y a n 范围为0 1 0 0 。 如果把色相( h u e ) ，饱和度( s a t u r a t i o n ) ，亮 度( v a l u e ) 用三维坐标的形式表示，则可以得到 如果2 2 所示的一个三维空间纺锤体。其中v 坐标代表亮度，圆周上各点代表不同的色相， v g r c f n 、y e l l o w 久、一 ；y m 。 b i u r 一 m a g o o , a 价h 一： 7图2 2h s v 颜色空间 第二章基于内容的图像检索相关技术综述 饱和度为从圆周到圆心，越靠近圆心，饱和度越低。 h s v 中的色相( h u e ) ，饱和度( s a t u r a t i o n ) ，亮度( v a l u e ) 相互独立。因此，在 基于人的视觉系统的图像处理算法【1 2 】通常都使用h s v 颜色。如果应用h s v 颜 色来进行图像检索，则更符合用户的视觉判断。 由于计算机对图像的存储多用r g b 表示，而且工业上也大都使用r g b ，所 以需要建立一个r g b 和h s v 之间的转换关系式，r g b 归一化为【o ，1 】之间的 实数。则，r g b 转换为h s v 的关系式如下【1 3 】， ：尺+gv+b1(”z-j) = 苫【尺+ + 】 v j s ：1 一害1 1 1 i n ( r ，g ，b ) ( 2 - 4 ) h = 2 二0g g b 其机c o s - l ；2 7 一 。 三【( r g ) + ( 犬一b ) 】 ：- ( r - g ) 2 + ( r - b ) ( g - b ) ( 2 5 ) 除了上述的关系，r g b 转换为h s v 还有下面转换公式【2 2 1 ， v = m a x ( r , g ；b ) ( 2 6 ) s ：v - m i n ( r , g , b ) ( 2 - 7 ) v 令，k 瓦而v - r，g = f 而v - g，6 = 瓦而v - b ，则有， h 2 5 + b ，r = m a x ( r ，g ，b ) 且g = m i n ( r ，g ，曰) 卜g ，r = m a x ( r ，g ，b ) r g m i n ( r ，g ，b ) 1 3 二b ；，g g 三叫m a x ( 灭r ，g g ，篙b 兰m i n ( r r ，g g ：暑 p 8 ， 一，=，b ) 且，b ) 、7 3 + g 。，g = m a x ( r ，g ，b ) r r = m i n ( r ，g ，b ) 5 一，其它 h = 6 0 h 其中：h e 【0 ，3 6 0 ，s 【0 ，l 】，v 【0 ，1 】。 从h s v 颜色转换为r g b 颜色的公式如下【2 2 】： 1 当h 【o 。，1 2 0 。) 时 8 ( 2 - 9 ) 第二章基于内容的图像检索相关技术综述 r = 万v 【1 + 面s e 万o s ( h 面) 】，b = 万v ( 1 一s ) ，g = 西一尺一召 ( 2 1 。) 2 当h 【1 2 0 。, 2 4 0 。) 时 g = 去叶鬻， 3 当日【2 4 0 。, 3 6 0 。) 时 口= 砉叶鬻l 2 1 3 c i e l a b 和c i e l u * v + 颜色空间 ( 2 1 1 ) ( 2 - 1 2 ) c i e l * a * b * 和c i e l * u * v * 颜色空间是一种均匀的颜色空间【1 4 1 。均匀颜色空间 模型是一种从视觉感知方面更加均匀的模型，人眼对颜色的感知差异越大，则 它们之间的欧式距离越大；反之，人眼对颜色的感知差异越小，则他们之间的 欧式距离越大。所以，这两种模型以及被用作a d o b ep h o t o s h o p ，t i f f 和p d f 文档中。 c i e l * a * b * 和c i e l * u * v * 颜色空间是迄今为止提出的最完备的用来描述人 眼可见的所有颜色的色彩模型，是国际照明委员会( c i e ) 提出的。这两个空间 是在c i e1 9 3 1 年公布的x y z 空间的基础上得到的，下面是它们与r g b 颜色空 间之间的转换公式【1 5 】。 r g b ，c i e x y z 刚瓣强 r l g i ( 2 1 3 ) b j c i e x y z c i e l * a * b * = 1 1 6 ( r r 。) 3 - 1 6 i f 、心p q 0 0 8 8 5 6 f = 9 0 3 3 ( r k ) i f y y 0 0 0 8 8 5 6 r = 9 0 3 3 ( r lk ) i fy y n 弋 ：忽，(217),t，= 一夕， u q = 陶) 2 厂 q = 陶州 - ( 2 1 8 ) ( 2 - 1 9 ) 第二章基于内容的图像检索相关技术综述 其中，矗，第i 种颜色的颜色直方图，1 1 表示一种颜色的颜色数量。颜色矩是 一种非常简洁高效的颜色表达方式，检测出来的特征向量长度只有九，且也不 包含颜色的空间分布，所以实际应用中，检索效率很低，通常只能作为前期的 筛选以缩小检索范围或者与其他方法配合使用。 3 颜色熵 熵的概念最早是在热力学中提出来的，是用来度量不能做功的能量总数， 也可以用来计算系统的混乱程度，分布越均匀，值越大，分布越集中，值越小。 图像的信息熵【2 4 】业借用了热力学的概念，用来描述图像颜色分别得不均匀程度， 它只有一个量，计算公式如下： l e ( h ) = 一吃l 0 9 2 ( 吃) 肌c ( 2 - 2 0 ) c = l 其中见是颜色直方图。 熵计算出来只有一个量，因此分辨能力很低，和颜色矩一样，只能作为前 期的筛选以缩小检索范围或者与其他方法配合使用。 2 2 2 空间颜色特征 上文介绍的方法都是把图像的颜色作为一个整体进行计算，丢弃了颜色的 空间分布，对两幅颜色相同，但空间分布不同的图像分辨能力很弱。因此，为 了提高检索效率，有必要考虑颜色的空间分布特征。这些方法通称为空间颜色 特征。 1 改进的颜色直方图 图像的边缘，也是一种图像颜色的空间分布信息。因此，在颜色直方图中 加入图像的边缘信息瞄1 ，可以有效的提高基于颜色的检索效率。提取图像的边 缘有多种方法，比如s o b e l 算子，p r e w i t t 算子，拉普拉斯算子等。下面给出的改 进颜色直方图的公式中，图像的边缘信息a ( i ，j ) 时是用拉普拉斯算子提取出来 的。 j ；( 加委丢姒q ) 矗高，比“( 2 - 2 1 )l = u ，= u， j ；( c ) = 万( 乃- c ) a ( i ，j ) ，v c c ( 2 - 2 2 ) 1 2 第= 章基于内容的图像检索相关技术综述 其中，在式( 2 2 1 ) 中，如果a ( i ，j ) 越大，则计算出来的结果越小，因此，它弱化 了边缘信息。相反，在式( 2 2 2 ) 中，a ( i ，j ) 越大，计算出来的记过越大，所以， 它强化了边缘信息。 在上面理论的基础上，c o n s t a n t i u m 等【2 5 】提出了进一步的改进方法，该方法 被称为加权颜色直方图，其计算公式如下： m 一1 ，- 1 j ；( c ) = 万( - c ) ( k + a ( i ，动口，v c c ( 2 - 2 3 ) i = 0j = o 其中，伍和k 的不同取值，得到的效果是不一样的。当a = o 时，上式其实就是一 般的颜色直方图，当e 0 且 k 一0 时，弱化了平坦区域，强化了边缘。 2 颜色聚合向量( c o l o rc o h e r e n c ev e c t o r ) p a s s 等人【2 6 】提出了颜色聚合向量的方法。其核心思想是计算连续区域的面 积，并设定阈值，如果面积大于阂值，这作为区域的聚合像素，如果面积小于 阈值，这作为非聚合像素。这样就把颜色直方图的每个颜色分为聚合像素和非 聚合像素两部分。笫i 种颜色的聚合像素和非聚合像素分别用仅i 和bi 表示，图 像的颜色聚合向量可以用以下表达式表示： ( ( ，a ) ，( 吃，展) ，( ，风) ) ( 2 2 4 ) 这种方法考虑了颜色的空间分布，所以检索效果比传统的检索方法提高了 很多。 3 颜色相关图( c o l o rc o r r e l o g r a m ) 传统的颜色直方图描述的是每一种颜色的像素数所占的比例，颜色相关图 则加入了颜色和距离的关系【2 6 】，假定一幅图像为，用毛i ) 表示颜色c ( f ) 的集合， 则颜色相关图的公式为： 哆2 a 。点麓。，【e l ( 护jp l p 2 。后i a l ( f ) 】( 2 - 2 5 ) 其中f ， 1 ，2 ，z ) ，刀表示图像的灰度数，k l ，2 ，d ) ，d 计算时设 定的距离阈值， l a 一仍i 表示像素a 和p 2 的欧式距离。颜色直方图组成了一张 索引表，索引表式由颜色对 组成，其中 的第k 个分量表示颜色为 c ( ) ) 和c ( j ) 的像素欧式距离为k 的概率。如果考虑所有的图像颜色对之间的所有 距离的相关性，颜色相关图的空间复杂度高达o ( n 2 d ) 。所以必须进行简化，简 第二章基于内容的图像检索相关技术综述 化的方法有只考虑相同颜色之间的距离，这时的空间复杂度为o ( n d ) ；或者只考 虑所有像素，但是某一固定距离，这时的空间复杂度为o ( n 2 1 。 4 局部颜色特征 h u s 等1 2 7 】把图像划分成若干个矩形区域，统计每个矩形的颜色概率，从中挑 出若干个概率值最大的图像作为代表，使用2 幅图像相似颜色区域的重叠程度 作为图像的相似性。文献【2 8 2 9 , 3 0 1 把图像划分成若干个固定大小的网格，提取每个 网格的直方图作为图像的索引，使用这种方法，即使需要包含所有的颜色特征， 即使图像中没有该颜色，所以会浪费存储空间。所以，s t e h l i n g 3 l 】提出了一种改 进的方法c s h ( c o l o ，s h a p eh i s t o g r a m s ) ，它不是通过统计不同的网格中图像 的直方图，而是统计每种颜色在不同的网格内的分布特征。这样，当图像不包 含某种颜色时，就无须存储，大大的节约了存储空间。 一般的情况下，我们认为图像的每个部分的重要程度都是一致的，但是 s t r c k e r 和d i m a i 3 2 】认为图像的不同部位，重要程度是不一致的，图像的中心最重 要，边缘的重要程度要次一些，根据这种思想，他把划分为5 块，中间一块为 椭圆形区域，把椭圆周围的其它4 块区域进行模糊化处理，然后再统计5 个区 域的颜色矩作为特征向量进行图像匹配。 2 3 纹理特征 纹理特征反应了物体的质地【5 0 1 ，是颜色的有规律分布，它不依赖于图像的 亮度，是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征。 2 3 1 灰度共生矩阵法 灰度共生矩阵【3 2 1 用两个位置的象素的联合概率密度来定义，它不仅反映亮 度的分布特性，也反映具有同样亮度或接近亮度的象素之间的位置分布特性， 是有关图象亮度变化的二阶统计特征。它是定义一组纹理特征的基础。也是分 析图象的局部模式和它们排列规则的基础。它的数学表达式如下： p ( i ，_ ) = ( x l ，y 1 ) ，( x 2 ，y 2 ) m x n l f ( x l ，y 1 ) = f ，f ( x 2 ，y 2 ) = ) ( 2 - 2 6 ) 其中 l ，y 1 ) ，( x 2 ，y 2 ) 为坐标，f ( x l ，y 1 ) ，( x 2 ，y 2 ) 为( x l ，y 1 ) ，( x 2 ，y 2 ) 的颜色值。 加入图像的颜色总数有l ，则p 的大小为l 2 。统计出所有的尸( f ，) 值，并进 1 4 第二章基于内容的图像检索相关技术综述 行归一化，则得到灰度共生矩阵。 从灰度共生矩阵可以派生出一系列反映图像的参数，比如反差、熵、逆差 距、灰度相关、能量等。图像的颜色数为l ，则上述的图像参数可以定义如下： ( 1 ) 反差( 主对角线的惯性矩) ( 2 2 7 ) 反差可以用来度量纹理的粗细程度，纹理越粗，p v 的数值则集中在主对角 线附近，l l t 时i - j l 的值较小，所以反差也较小；反之，纹理越细，p i j 的数值分 布比较均匀，因此，反差较大。 ( 2 ) 熵 厶- - e zf - s i l o g ：岛 ( 2 2 8 ) f = 0d = o 是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机 性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几 乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均 匀程度或复杂程度。 ( 3 ) 逆差矩( 局部均匀性) 驴委嘉南 q 2 9 ) 其中，七1 。逆差矩是反映图像纹理的同质性，度量图像纹理局部变化的 多少。逆差矩越大则说明图像纹理的不同区域间缺少变化，局部非常均匀。 ( 4 ) 灰度相关 工2 z 委丢( f 一以) ( 一以) 弓 ( 2 3 0 ) 式中： 灰度相关用来描述矩阵中行或列元素之间的灰度相似度。 乃 t r 一 “脚 脚 = 石 弓 “枷 h 舢 = ，弓 瑚 瑚 = 以 弓 枷 r 一 p 脚 j j 州， 己 脚 v j虬 一 九v “汹 = 畔。 第二章基于内容的图像榆索相关技术综述 ( 5 ) 能量矩( 角二阶矩) ( 2 - 3 1 ) 是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均 匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则a s m 值小；相反，如 果其中一些值大而其它值小，则a s m 值大。当共生矩阵中元素集中分布时，此 时a s m 值大ja s m 值大表明一种分布较均匀和规则变化的纹理模式。 2 3 2 自回归纹理模型法 随机场模型在近年来进行了大量的研究，并获得了广大的应用，其中最成 功的是m a r k o v 马可夫随机场( m a r k o vr a n d o mf i e l d ，m i 心) 模型。m i 强模型的一个 重要的应用实例是自回归纹理模型【3 4 l ( s i m u l t a n e o u sa u t o r e g r e s s i v e ，s a r ) 。 在s a r 模型中，像素的颜色值是一个随机变量，如果用s 代表图像的颜色 值，则其强度值g ( s ) 可以表达为它的相邻像素强度值的线性叠加与噪音项g ( s ) 之 和：g ( s ) = + ：秒( ，) g ( s + ，) 十占( s ) 历 其中u 是基准偏差，是整幅图像的平均强度值，d 表示了s 的相邻像素集。 秽( ，) 是一系列模型参数，用来表示不同相邻位置上的像素的权值。e ( s ) 是均值 为0 而方差为盯2 的高斯随机变量。 2 3 3 小波纹理算法 小波【3 5 】纹理算法是一种新兴的纹理检测算法，由于小波具有良好的频域和 时域特性，因此被广泛的应用于信号处理和图像处理领域。可以采用金字塔小 波变换，树状小波变换，正交镜像滤波器q m f c 和小波滤波器簇f b 。它首先提 取纹理生成类似于颜色直方图的纹理直方图，在对颜色直方图进行检索。 2 4 形状特征 虽然图像的形状特征会随着图像的放大缩小操作，转换视角操作而发生改 变。但是图像的形状却包含了大量丰富的语义，这是图像的颜色特征和纹理纹 1 6 西 脚 栅 = f ” 第二章基于内容的图像枪索相关技术综述 理特征所不能比拟的，而且人们对图像的轮廓和形状非常的敏感，因此形状是 一种非常重要的图像特征。基于形状的检索通常分为以下步骤：l 、图像分割； 2 、目标形状描述；3 、解决平移，尺度，旋转不变性的问题。 图像的形状包括图像的边缘和图像中物体的形状，图像的边缘特征提取的 最典型的方法是图像的边缘；图像中物体形状特征提取的最典型方法是形状无 关矩。下文将详细介绍这两种特征提取方法： 2 4 1 傅立叶形状描述符 傅立叶形状描述符3 6 】( f o u r i e rs h a p ed e s c r i p t o r s ) 是基于图像轮廓的一种描 述方法，对分割出来的图像轮廓进行傅立叶变换，作为特征向量存储。假定，n 是图像提取出来的轮廓上像素的总数，轮廓上任意一点的坐标表示为( 置，r ) ， 其中0 s n 一1 。从图像的傅立叶形状描述符可以推出曲率函数( c u r v a t u r e f u n c t i o n ) 、质心距离( c e n t r o i dd i s t a n c e ) 和复坐标函数( c o m p l e xc o o r d i n a t e s f u n c t i o n ) 。 曲率函数k ( s ) 的数学表达式为： k ( s ) ：旱秒( s )( 2 3 2 ) 其中o ( s ) 是轮廓线的切向角度，定义为： 秒( s ) ；a r g t a n i 埤l ( 2 3 3 ) 砖 式中：允= 车，越= 车。 a sa s 质心距离定义为从图像中物体轮廓上的点到物体中心( t ，y c ) 的距离，数学 表达式如下： r ( j ) = ( 一t ) 2 + ( 只一儿) 2 ( 2 - 3 4 ) 用复数所表示的像素坐标称为复坐标函数： z ( s ) = ( t 一砭) + ( 苁一y c ) ( 2 - 3 5 ) 图像的傅立叶形状描述符的低频图像的傅立叶形状描述符有效的解决了 图像形状的平移、尺度、旋转不变性的问题。 1 7 第二章 基于内容的图像检索相关技术综述 2 4 2 形状无关矩 形状无关矩【3 7 1 ( m o m e n ti n v 撕a n t s ) 是物体形状的描述符。首先对图像进行 二值化处理，假设生成的二值图像为r ，则二值图像r 的第p + q 阶形状中心矩 为： 以。= ( x 一艺) p ( y 一咒) g ( 2 3 6 ) 其中( t ，儿) 是图像中物体的中心。通常会对作，。进行标准化，标准化以后 的表达式为： 2 急护半 p 3 7 ， h u 3 7 1 在上面的基础上提出了具有变换、