基于内容的图像检索-毕业论文

厦门大学软件学院本科毕业设计 I 本科毕业论文本科毕业论文 (毕业设计) 题题 目：基于内容的图像检索目：基于内容的图像检索 姓 名： 学 院：软件学院 系： 专 业：软件工程 年 级： 学 号： 指导教师（校内）： 职称： 年 月 日 厦门大学软件学院本科毕业设计 I 摘摘 要要 基于内容的图像检索(CBIRCBIR)是多媒体检索研究的前沿课题。利用颜色 特征作为索引进行图像检索是最重要的技术。 本文以基于颜色特征的图像检索实例系统为基础，研究 RGB 与 HSI 颜 色空间内，全局直方图，累积直方图，局部累加直方图对图像的描述。以 之为特征，再引入欧氏距离的相似性度量方法实现基于内容的图像检索。 根据实验结果比较，总结颜色空间、特征描述方法对检索系统性能的影响， 从而得出不同算法所适合的应用范围。 本文第一章介绍了本课题的研究背景和问题概要解决方案。第二章通 过对基于颜色特征的图像检索技术的深入分析，得出实例系统使用的核心 方法论，包括 RGB 与 HSI 空间的转换，三种直方图实现公式，和欧式距离 计算方法等。第三章基于 VC+ .net 技术，阐述了图像检索系统实现的设 计思路与执行方法，重点介绍之前提出的核心方法论在系统中的实现算法。 第四章对不同算法条件下的实验数据进行分析比较，总结不同颜色空间或 特征描述方法对检索系统效率的影响。第五章分析设计工作中的问题，提 出在进一步的工作中，结合 web 搜索的相关技术，进行了相关讨论。 关键词：关键词：基于内容的图像检索，颜色特征，直方图，相似度 厦门大学软件学院本科毕业设计 II ABSTRACT Content-based image retrieval (CBIR) is an advanced project in the recent research area of multimedia retrieval. Indexing by color features is the important technology of image retrieval. This dissertation is chiefly contributed to the CBIR study of color specification. Based on practical system experiment, under RGB and HSI color space, we do research on the efficiency of global color histogram, global accumulated color histogram, and partial accumulated color histogram, which describes the distribution of colors in each image. By this means, color histogram dissimilarity is brought in to achieve high efficiency in color histogram query process. Thus, a research background and essential solutions is introduced in this topic. Then by further analysis on color-based image retrieval, we make out the key methodology, including: the transfer of RGB and HSI space, formulas to three kinds of color histogram and similarity distance solutions, to fulfill in instance system. Thirdly, from the view of VC+.net development, we put emphasis on how those key methodology is carried out. In Chapter 4 we make analysis from results of system experiment, and summarize the influences by different means. Finally, vision work is put forward. Key Words: CBIR, color specification, color histogram, similarity distance 厦门大学软件学院本科毕业设计 III 目 录 摘摘 要要2 ABSTRACT3 第一章第一章 引言引言6 1.1 基于内容的图像检索的研究背景.6 1.2 图像检索的关键技术.7 1.3 国内外典型系统概况.9 1.4 本文的研究内容.10 第二章第二章 基于颜色特征的图像检索基于颜色特征的图像检索11 2.1 颜色模型11 2.1.1 RGB 模型.11 2.1.2 HSI 模型 12 2.2 颜色特征的提取与表达14 2.2.1 全局直方图.14 2.2.2 累积直方图.15 2.2.3 局部累加直方图.15 2.3 颜色特征的相似性度量16 第三章第三章 图像检索系统的设计图像检索系统的设计19 3.1 系统总体构架19 3.2 颜色空间内特征提取21 3.3 特征匹配过程25 3.4 附 RGB 和 HIS 直方图显示方法25 第四章第四章 实现结果实现结果29 4.1 样本集的分析29 4.2 颜色空间的比较30 4.3 特征表达方法的比较31 第五章第五章 结束语结束语33 5.1 论文工作总结33 5.2 基于内容的图像检索技术展望34 致致 谢谢36 参考文献（参考文献（REFERENCES）.37 厦门大学软件学院本科毕业设计 IV Contents 摘 要2 ABSTRACT3 Chapter 1 INTRODUCTION.6 1.1 The Background of CBIR Research.6 1.2 The Pivotal Technology of CBIR.7 1.3 General Situation of Domestic and Abroad Representative System 9 1.4 Research Content10 Chapter 2 Color featrue Based Image Retrieval11 2.1 Color Model11 2.1.1 RGB Model11 2.1.2 HIS Model12 2.2 Abstract and Expression for Color feature .14 2.2.1 Global Histogram.14 2.2.2 Cumulate Histogram 15 2.2.3 Part Accumulate Histogram.15 2.3 Similarity Measurement of Color feature 颜色特征的相似性度量.16 Chapter 3 The design of CBIR.19 3.1 Overall Framework.19 3.2 Abstract feature in Color Space21 3.3 Feature Matching25 3.4 The Display for RGB and HIS Histogram25 Chapter 4 Result and Enablement.29 4.1 analysis of Sample Set29 4.2 Comparison of Color Space30 4.3 Comparison of Feature Expression.31 Chapter 5 The End33 5.1 Summation33 5.2 Expectation of CBIR 34 Thanks.36 References.37 厦门大学软件学院本科毕业设计 1 第一章第一章 引言引言 1.1基于内容的图像检索的研究背景基于内容的图像检索的研究背景 图像检索自 70 年代来一直是个非常活跃的研究方向。早期的图像检索 是基于图像关键字的检索 (TBIR)。该方法需要人工对每幅图像按其内容进 行标注，然后将标注信息存到文本数据库中用于后来的检索。显然，随着 图像的增多，人工标注非常困难，而且，每个人对图像内容的理解不同会 造成标注的主观性过强，不利于用户检索。同时，图像的某些可视信息， 例如：纹理，形状等，很难用文本准确描述。 20 世纪 90 年代以后，图像检索的研究重点是基于图像内容的检索 (CBIR)。CBIR 指的是在图像数据库中找出满足某一特定的视觉特征描述的 图像的过程。它的基本思想是通过分析图像的视觉特征和上下文联系来进 行检索。 下图为基于内容的图像检索一些主要研究技术罗列： 体系结构 支持基于内容检索 基 图像数据库的结构 框架结构 全局颜色特征索引 于 颜色特征索引 局部颜色特征索引 内 容 形状特征索引 形状轮廓特征索引 的 支持基于内容的图 形状区域特征索引 图 像检索的索引技术 像 纹理特征索引 纹理结构特征索引 检 纹理统计特征索引 索 主 空间特征索引 2D-String 及其变种的索引 要 空间对象点集拓扑关系 研 几何度量方法 究 图像内容的相似度量方法 技 基于集合理论的度量方法 术 图像多特征的相关反馈 基于内容的图像检索效果评判 厦门大学软件学院本科毕业设计 2 图 1-1 基于内容的图像检索主要研究技术 CBIR 的研究目标是在没有人类参与的情况下能自动识别或理解图像重 要特征。其中，图像内容是通过图像的特征来反映的，可以将图像的特征 分为两大类，即底层物理特征(如颜色、纹理、形状、轮廓、图像内容的空 间、时间关系等)和高层语义特征(是人们对图像内容概念级的反映，一般是 对图像内容的文字性描述)。CBIR 突破了传统的基于关键字的表达式检索 的局限，直接对图像内容进行分析和特征提取，利用这些描述图像内容的 特征建立索引。 目前，基于内容的多媒体信息检索的主要工作集中在识别和描述图像 的颜色、纹理、形状、空间关系上，对于视频数据，还有视频分割、关键 帧提取、场景变换探测等问题。由此可见，这是一门涉及面很广的交叉学 科，需要利用图像处理、模式识别、计算机视觉、图像理解等领域的知识 作为基础，还需从认知科学、图像处理、数据库管理系统、人机交互、信 息检索等领域引入新的媒体数据表示和数据模型，从而设计出可靠有效的 检索算法、系统结构以及友好的人机界面。 CBIR 的特点主要有： 基于内容的图像检索是一种近似匹配，即按照某种相似性度量，比较 图像特征间的相似度。相似度较高的图像将作为检索结果返回给用户。 特征提取和匹配可由计算机自动完成。 为了提高检索的准确性，整个过程是个逐步逼近和相关反馈的过程。 用户的交互性增强了表达查询、评价查询结果和基于评价结果进行进 一步检索的能力。 1.2图像检索的关键技术图像检索的关键技术 目前，对于通用的静止图像检索，用于检索的特征主要有颜色（Color） 、 厦门大学软件学院本科毕业设计 3 纹理（Texture） 、形状（Shape）等，其中颜色、纹理、形状应用尤为普遍； 活动视频检索脱胎于序列图像分析中的技术。本文主要研究对静止图像检 索。 对于目标图像和检索图像进行颜色空间转换、亮度图像的边缘提取和 二值分割、提取目标区域的颜色特征。颜色内容包含两个一般的概念，一 个对应于全局颜色分布，一个对应于局部颜色信息。按照全局颜色分布来 索引图像可以通过计算每种颜色的像素的个数并构造颜色灰度直方图来实 现，这对检索具有相似的总体颜色内容的图像是一个很好的途径。局部颜 色信息是指局部相似的颜色区域，它考虑了颜色的分类与一些初级的几何 特征。比如 Smith 等提出了颜色集合(color set)方法来抽取空间局部颜色信 息并提供颜色区域的有效索引1。 运用颜色直方图进行检索有如下三种方式： （1）指明颜色组成：该法需要用户对图像中的颜色非常敏感，而且使用起 来也不方便，检索的查准率和查全率并不高，因此暂时不做进一步开发。 （2）指明一幅示例图像：通过与用户确定的图像的颜色直方图的相似性匹 配得到查询结果，这是该课题研究方法的根本。 （3）指明图像中一个子图：分割图像为各个小块，然后利用选择小块来确 定图像中感兴趣的对象的轮廓，通过建立更复杂的颜色关系（如颜色对方 法）来查询图像，该方法是进一步优化检索的一个设想。 在颜色空间选取方面，最常用的颜色空间是 RGB 颜色空间。通常，人 们采用欧氏距离来刻画两种颜色之间的差异，RGB 空间存在的一个严重问 题是其中所计算出来的两种颜色之间的距离无法正确表征人们实际所感知 到的这两种颜色之间的真实差异。 HSI 空间比较直观并且符合人的视觉特性。HSI 颜色模型有两个重要的 特点作为基础。首先，I 分量与彩色信息无关，其次 H 和 S 分量与人感受 彩色的方式紧密相连，其中 H 分量尤其影响人类的视觉判断。这些特点使 得 HSI 模型非常适合基于人视觉系统对彩色感知特性的图像处理。 厦门大学软件学院本科毕业设计 4 得到图像特征的统计直方图后，不同图像间的特征匹配可借助计算直 方图间的相似性距离来进行。一般意义上直方图匹配方法有直方图相交法， 直方图匹配法，欧氏距离法，中心矩法，累积直方图匹配法共 6 种。本文 重点讨论欧氏距离法，并将其作为系统编程实现的主要方法。 所以，颜色特征的图像检索关键技术路径如下图： 图 1-2 颜色特征的图像检索关键技术路径 1.3国内外典型系统概况国内外典型系统概况 目前已有许多通用目的的图像搜索引擎，例如，在商用领域，IBM 首 先研制出了 QBIC 系统；在学术研究领域，MIT 的 Photobook 系统，新加坡 国立大学的 CORE 系统，美国哥伦比亚大学的 VisualSEEK 系统，加利福尼 亚大学 Santa Barbara 分校的 Netra，伊利诺依大学的 MARS，CMU 的 Infomedia 以及哥伦比亚大学的 VideoQ 等。 下文就其中几个作简要介绍： 1QBIC 系统 IBM Almaden 研究中心研究开发的，是基于内容检索系统的典型代 表 QBIC 系统允许使用例子图像、用户构建的草图和图画、选择的颜色和纹理 模式、镜头和目标运动和其他图形信息等，对大型图像和视频数据库进行 查询。 2Photobook 系统 MIT 的媒体实验室在 1994 年开发研制的。图像在装入时按人脸、形状 或纹理特性自动分类，图像根据类别通过显著语义特征压缩编码。 3CORE 系统 新加坡国立大学开发的一个基于内容的检索机。其显著技术特色包括: 颜色空间相似度量特征表达 厦门大学软件学院本科毕业设计 5 多种特征提取方法、多种基于内容检索方法、使用自组织神经网络对复杂 特征度量、建立基于内容索引的新方法以及对多媒体信息进行模糊检索的 新技术。 4VisualSEEK 系统 美国哥伦比亚大学图像和高级电视实验室开发的。它实现了互联网上 的“基于内容“的图像/视频检索系统，提供了一套工具供人们在 Web 上搜 索和检索图像和视频234 (a)基于颜色直方图的检索(b)基于主颜色块的检索 B 图 1-3 J.R Smith 的 webseek 系统 1.4本文的本文的研究内容研究内容 从图 1-2 的技术路径分析，结合设计要求，我们需要对要素工作具体化， 目的是使系统试验简单高效而又不失代表性。 颜色空间选取 面向硬件的 RGB 空间和面向视觉的 HSI 空间 颜色特征的表达 全局直方图，全局累加直方图，局部累加直方图 相似性度量 欧氏距离计算方法 这些要素分析将在第二章中做详细阐述。 厦门大学软件学院本科毕业设计 6 第二章第二章 基于颜色特征的图像检索基于颜色特征的图像检索 2.1 颜色模型颜色模型 颜色是彩色图像的最显著的特征，与其它特征相比，颜色特征具有非常 稳定，对于旋转、平移、尺度变化都不敏感，表现出很强的鲁棒性，又由 于颜色特征计算简单，因此基于颜色的查询成为现有基于内容的图像检索 系统中应用最基本的方法。 国际标准 MPEG-7 正式推荐了一种颜色描述符颜色空间（color space） （ISO/IEC 2001） 。它给出了可用于其他颜色描述夫的颜色空间： RGB，YCbCr，HSV，HMMD 等。 考虑到颜色模型的用途（包括基于内容的图像检索） ，常用到的颜色模 型可分为两类。一类面向诸如彩色显示器或打印机之类的设备（但可以与 具体设备相关，也可独立于具体设备） 。另一类面向以视觉感知或颜色处理 分析为目的的应用，如动画中的彩色图形，各种图像处理算法等。前者对 应于 RGB 模型，而后者则分析 HSI 模型5。 2.1.1 RGB 模型模型 众所周知，当我们将两种不同的颜色按一定比例混合可以生成另一种 颜色，通过混合三种不同的颜色我们就可以得到我们想要的颜色，这就是 三基色颜色模型的基本原理。 我们的眼睛通过三种可见光对视网膜的椎状细胞的刺激来感受颜色。 这些光在波长为 630nm(红)530nm(绿)和 450(蓝)时的刺激达到高峰。通过对 各刺激强度的比较，我们感受到光的颜色。这种视觉理论就是使用红、绿、 蓝三种基色来显示彩色的基础，称之为 RGB 颜色模型。 RGB 模型中三基色的大小可以限定到一定的范围，如0，1，255， 我们把这种约定称为 RGB 格式。每个像素（实际上任何可能要量化的颜色） 厦门大学软件学院本科毕业设计 7 都能用三维空间中第一象限的一个点来表示，如下页图 2-1 中的立方体所示。 三色图像的灰度级直方图是 RGB 空间的点分布。 图 2-1 RGB 空间模型 在 RGB 彩色空间的原点上，任一基色均没有亮度，即原点为黑色。三 基色都达到最高的亮度时则表现为白色。亮度较低的等量的三种基色产生 灰色的影调。所有这些点均落在彩色立方体的对角线上，该对角线被称为 灰色线。彩色立方体中有三个角对应于三基色红、绿和蓝色。剩下的 三个角对应于二次色黄色、青色和品红。 一幅图像可以看作从点坐标映射到 R、G、B 空间。如果在图像中点的 位置忽略掉，图像可以认为是 R3空间中的点集6。 2.1.2 HSI 模型模型 另一种有用的彩色方案由色度、饱和度和强度（或亮度）组成的 HSI（Hue, Saturation , Intensity）格式，它是 Munseu 提出的彩色系统格式， 经常为艺术家所使用。这种设计反映了人观察彩色的方式，同时也有利于 图像处理。 在 HSI 格式中，I 表示强度或亮度。H 由可见光谱中各分量成分的波 R 厦门大学软件学院本科毕业设计 8 长来确定，是彩色光的基本特性。S 反映了彩色的浓淡，它取决于彩色光中 白光的含量，也就是彩色光的纯度的反映。HSI 坐标是柱形彩色空间。灰 度影调沿着轴线以底部的黑变到顶部的白，具有最高亮度最大饱和度的颜 色位于圆柱上顶面的圆周上如图 2-2 所示。 图 2-2 HIS 空间模型模型 RGB 空间到 HSI 空间的坐标转换计算比较简便。 公式 1： 值得注意的是，当 R=G=B 时色度无定义；HSI 坐标系为柱形坐标系。 从两个图像可以看出 RGB 空间中灰度线是彩色立方体的对角线，而在 HSI 空间中是垂直中轴。 厦门大学软件学院本科毕业设计 9 HSI 模型有两个重要的特点。首先亮度分量与色度分量是分开的，I 分 量与图像的彩色信息无关，它表示光的强度。其次是 H 及 S 分量与人感受 彩色的方式紧密相连(这里强调颜色的重要性，因为人对光的感知与 I 分量 有关)。这些特点使得 HSI 模型非常适合人的视觉系统对彩色感知特性进行 处理分析的图像算法7。 在 HSI 模型中，H 分量对彩色描述的能力相对来说最与人的视觉接近， 区分力也比较强。在许多应用中当将彩色图像由 RGB 空间转换到 HSI 空间 进行检索时，可仅用 H 分量而将检索缩小到 1-D 空间，从而简化运算，加 快计算速度8。 2.2 颜色特征的提取与表达颜色特征的提取与表达 自从 1991 年 Swain 和 Ballard 提出的将颜色直方图作为图像的索引以 来，在基于内容的图像检索中得到了广泛的关注9。其主要思想是根据颜色 直方图统计颜色空间中每种颜色出现的概率，然后对颜色之间的距离采用 直方图相交来度量每个颜色直方图之间的相似性。直方图描述了图像颜色 （或灰度）统计特征，反映了图像颜色的统计分布和基本色调。具体地， 对于一幅图像 I，其颜色（或灰度）由 L 级(C1 , C2 , CL)组成，CI 为第 i 级颜色值。在整幅图中，具有 CI值的象素个数为 hi ,则一组象素的统计值 h1,h2, ,hL就称为该图像的颜色直方图。用 H(h1,h2, ,hL)表示。 2.2.1 全局直方图全局直方图 图像特征的统计直方图实际上是一个 1-D 的离散函数10，即有 公式 2：H(k) = nk/Nk = 0,1,L-1 式中 k 代表图像的特征取值，L 是特征可取值的个数，nk 是图像中具 厦门大学软件学院本科毕业设计 10 有特征值为 k 的像素的个数，N 是图像像素的总数。例如，设计系统中 RGB 空间内采用 256 个直方条（bin） ，对应图像中 8 种会读像素数载总像 素数中的比例即为象限中的纵坐标值。 (a) RGB 全局直方图 (b) HIS 全局直方图 图 2-3 直方图对真彩 JPG 图的表达 2.2.2 累积直方图累积直方图 当图像中的特征并不能取遍所有可取值时，统计直方图中会出现一些 零值。这些零值的出现会对计算直方图的相交带来很大影响，从而使得算 出的匹配值并不能正确的反映两图间的颜色差别。 图像特征统计的累积直方图也是一个 1-D 的离散函数，即对原有统计 直方图作迭代累加。显然，当 k = L-1 时，累积直方图的纵坐标值为 1，因 为根据所有条件概率求全概率的值为 1。 对彩色图像，可对其 3 个分量分别做累积直方图。 厦门大学软件学院本科毕业设计 11 2.2.3 局部累加直方图局部累加直方图 在 HSI 空间里，H=0 基本对应红色，H = /3 基本对应黄色，H = 2/3 基本对应绿色。这样在 H 轴上黄色与红色间，黄色与绿色间距相等。但从 人的视觉感知来讲，黄色与红色间，黄色与绿色间本无所谓哪两个更相似。 这表明色度信号的分布从视觉意义上讲，并不满足累加直方图应用的前提。 所以，对色彩比较复杂的自然景物图像，一般累加直方图算法在检索中就 会将不同色度的信号混淆起来。 另外，一幅图像的颜色一般非常多，尤其是真彩色图像，因此直方图 矢量的维数会非常高。如果能采用局部累加后降维，则计算量要少得多。 系统设计中，我们采用 /3 为区间的长度，将 H 轴共分成 6 个不重叠 的局部区间60k, 60(k+1)，k=0,1,5，通过分别计算每个局部区间的累加 直方图进行检索。 上述方法都保留了颜色在图像中出现的概率信息，但也丢失了很多颜 色的空间信息，因此不同的图像有可能具有相同颜色特征表示。许多人提 出了颜色索引的改进方法-局部颜色特征索引。从划分局部区域的角度来 说可分为：基于固定块的图像分割、基于手工的区域分割、采用交互的半 自动的区域分割以及一些自动的颜色分割方法。局部区域中的颜色信息可 以表示为平均颜色、主颜色、颜色直方图和二进制颜色集等来表示。 本文 中暂不做讨论。 2.3 颜色特征的相似性度量颜色特征的相似性度量 对于一种颜色特征表示，其距离度量方法又可以有很多种，例如在文献 7中，作者比较与评价了颜色直方图的 8 个度量方法：直方图的交、直方 图欧氏距离、直方图余弦距离、二值集 hammimg 距离、直方图二次距离度 量、二值集二次距离、直方图 Mahalanobis 距离。这里我们只简要介绍一下 我们系统中常用的直方图的交、直方图欧氏距离两种距离度量方法。 厦门大学软件学院本科毕业设计 12 直方图的交集的方法 直方图的交集算法，根据颜色索引检索出查询图像的颜色直方图，将其 与图像库中的每一图像的直方图取交集，根据交集的值来选出最佳匹配图 像。 直方图交集的公式如下 公式 3: N kji b N Kji ba ba kjiH kjiHkjiH HHD , , ),( ),(),(min ),( 其中为查询图像直方图，为图像库中的任一图像直方图， a H b H 为两图像的匹配值。，它的值越接近 1，则两),( ba HHD) 1 , 0(),( ba HHD 图像越相似。 直方图交集方法能对两幅图像进行详细的比较，然而对于许多合成的图 像，如商标等，它们有大量的一致颜色，三维直方图只有几个域的值很高， 而其它许多域的颜色信息变化有限。因而，对于这样的图像进行过细的比 较是不必要的。又由于在扫描图像时容易产生一些噪音，所以这种过细的 比较容易产生错误的结果。 欧氏距离方法 我们可以利用欧基里德距离公式（Euclidean Distance）来计算距离。对 于两个 N 维直方图 x,y，两者的欧氏距离可以表示如下： 公式 4：)()()(.)()(),( 22 22 2 11 2 yxyxyxyxyxyxd T nn 此距离公式虽然简单，但是与特定的颜色分布无关，因此我们可以引入 相关权值 A,这里 A 是一个维矩阵，此时距离公式可以表述如下：NN 厦门大学软件学院本科毕业设计 13 公式 5：)()(),( 2 yxAyxyxd T 为了简化计算，将直方图 x,y 规范化使其满足： ，矩阵，权表示颜色 i 与颜色 j 之11,0 i i i iii yxyx且, ij aA ij a 间的相似度。若取 z=x-y,则有，取定了距离公Azzdzz T i i i 2 , 11, 0 式后，我们需要确定 A 的取值，且要保证此矩阵 A 能够使,我们用0 2 d 表示颜色 i 与颜色 j 在 RGB 颜色空间的距离。取 ij d 。有)(max),/1 ( maxmaxijijijij dddda其中， 公式 6： ijijij ijjijiijji T ddzzzzddzzAzzd maxmax 2 / )()/1 ( 因为. ii iji T i dHzHzzddz, 0.)/1(, 0 max 2 其中，则 模糊方法 1965 年，Zadeh 提出了他著名的模糊集理论，从此创建了一个新的学 科模糊数学。 模糊集理论是对传统集合理论的一种推广，在传统集合理论中，一个 元素或者属于一个集合，或者不属于一个集合；而对于模糊集来说，每一 个元素都是以一定的程度属于某个集合，也可以同时以不同的程度属于几 个集合。对人们现实生活中大量使用的一些含义确定但又不准确的语言表 达，比如“今天天气很热” 、 “车速过高，需要适当踩刹车”等，用模糊数 学可以很好的表达。 本文主要运用欧氏距离方法实现相似度计算。其他提及的方法暂时不 做进一步研究。 厦门大学软件学院本科毕业设计 14 第三章第三章 图像检索系统的设计图像检索系统的设计 3.1 系统总体系统总体构架构架 系统的整个业务流程可以用如下框图表示： 用户 待查图像内容 特征分析抽取 按相似度排列 的检索结果集 特征信息标引 特征匹配 特征信 息抽取 特征信息 标引 特征信 息索引 库 图像 数据 图像 索引 库 计算相似度 图像检索 图 3-1 基于彩色特征的图像检索系统业务流程 我们可以从系统框图中抽象出四个层次或者功能模块： (1) 颜色空间内特征提取 对图像数据进行自动或半自动的特征提取，提取用户感兴趣的、适合 检索要求的特征。颜色空间实现为 RGB 和 HSI。对于图像全局的特征表达 为全局统计直方图和累计直方图，对于图像局部的特征表达为局部累计直 厦门大学软件学院本科毕业设计 15 方图。 (2) 图像匹配 在选取了特征之后，需要选择或寻找适当的判别准则，从而判断出待 识别的图像的特征与数据库中的哪些图像的特征最接近。该系统使用的相 似度量方法为欧氏距离法。 (3) 特征索引 当数据库中包含大量图像数据时，为了有效地查询，合适的存取、访 问结构就变得非常的重要了。在常规数据库中采用像 B 树的索引结构，提 供有效的访问机制，即向用户返回满足查询条件的记录，而不需要逐个检 查数据库中的每个记录。 本系统为最小系统实现，即未使用数据库管理系统这样的中间件。在 图像库特征化的离线模块中直接在相应目录内生成二进制文件，以存储特 征表达的相关信息。这样节约成本和降低系统安装要求。当用户在线检索 图像时直接索引已生成的文件，达到预期同样的效果。 图 3-2 在线离线模块与数据的索引 查 询 子 On Line 系 统 库 生 成 子 系 统 Off Line 用户界面 图象预处理 特征提取 数据索引文件 特征库，图象库，文本标注库 查询 接口 结果图象 浏览器 检索引擎 厦门大学软件学院本科毕业设计 16 (4) 用户反馈 基于用户反馈（Relevance Feedback）的检索是将人包括在检索环路中， 以弥补自动语义分析面临的困难，通过交互式的反馈，来决定采用何种类 型特征组合及多大特征权值进行检索，从而使数据库中的图像分类更接近 使用者的愿望，使检索结果符合使用者的个性化要求11。 本系统的实现方法是在.net 环境下，检索样本的图像库，根据欧式距 离升序排列前 40 个样本，并人工判断检索正确性。从而为各种算法对检索 效率的影响比较提供试验数据。参看下图 图 3-3 示例搜索结果 3.2 颜色空间内特征提取颜色空间内特征提取 特征分析抽取待查图像，生成 RGB 颜色直方图12。 下面是程序实现代码： bool CSystemDlg:LoadImageRGB(CString filePath, CString fileTitle, CString fileExt, int* RGBArray)/加载图像文件的 RGB 颜色直方图 CFile infile; 厦门大学软件学院本科毕业设计 17 CString filePathName=filePath+fileTitle+“.“+fileExt; if (infile.Open(filePathName,CFile:modeRead)/判断图像文件存在性 infile.Close(); CImage image; image.Load(filePathName); m_lastimageDPI=image.GetHeight()*image.GetWidth(); if (infile.Open(filePath+fileTitle+“.rdat“,CFile:modeRead) /判断是否存在图像的颜色直方图文件“*.rdat” /存在则直接读取进入 RGBArray 数组当中 if (infile.GetLength()=256*3*sizeof(int) infile.Read(RGBArray,256*3*sizeof(int); infile.Close(); return true; infile.Close(); GetBitmapRGB( /计算图像 RGB 颜色直方图，详见下文 CFile outfile; if (!outfile.Open(filePath+fileTitle+“.rdat“,CFile:modeWrite) /不存在“*.rdat”颜色直方图文件，创建它；否则继续 if (!outfile.Open(filePath+fileTitle+“.rdat“,CFile:modeWrite|CFile:modeCreate) return true; 厦门大学软件学院本科毕业设计 18 outfile.Write(RGBArray,256*3*sizeof(int); outfile.Close(); return true; return false; 其中，GetBitmapRGB 为计算图像的 RGB 颜色直方图函数 bool CSystemDlg:GetBitmapRGB(CImage* srcImage, int* destRGBArray, bool rngMode, int startX, int startY, int endX, int endY) if (srcImage!=NULL) for (int i=0;iGetWidth(); size.cy=srcImage-GetHeight(); DWORD pixel; BYTE col; if (!rngMode) for (i=0;iGetPixel(j,i);/获得像素点的颜色值 厦门大学软件学院本科毕业设计 19 col=BYTE(pixel); /截取一个字节内的数值，使其恰好为 RGB 空间坐标内 一/个坐标点上的值 *(destRGBArray+col)+=1;/对应的 blue 的值 col=BYTE(pixel8);/移位 *(destRGBArray+256+col)+=1;/green col=BYTE(pixel16); *(destRGBArray+512+col)+=1;/red return true; else if (startX=0 | startY=0 | endXGetPixel(j,i); col=BYTE(pixel); *(destRGBArray+col)+=1;/blue col=BYTE(pixel8); *(destRGBArray+256+col)+=1;/green col=BYTE(pixel16); *(destRGBArray+512+col)+=1;/red 厦门大学软件学院本科毕业设计 20 return true; return false; return false; HSI 空间与之类似，仅计算直方图数据的公式有所不同，先取出 RGB 值，根据转换公式计算出 H 值，存入 news (序号).hdat 3.3 特征匹配过程特征匹配过程 计算出例子图像的颜色直方图与图像库中所有图像的颜色直方图间的欧 氏距离。根据相似距离从小到大排列各图像，距离越小，即认为两幅图像 越相似，当距离为零时，可以认为是同一幅图像。 欧氏距离的定义：两项间的差是每个变量值差的平方和再平方根，目的 是计算其间的整体距离即不相似性。 基于欧氏距离的相似度比较的核心公式是： 公式 7：searchresulti+=pow(double(m_rgbarrayj)/m_MainIndexImageDPI- double(indexarrayj)/m_lastimageDPI,2); 3.4 附附 RGB 和和 HIS 直方图显示方法直方图显示方法13 RGB 颜色直方图屏幕显示方法： void CSystemDlg:DrawRGBTangleBmp(CDC* destDC, int* srcRGBArray, UINT nRGB) 厦门大学软件学院本科毕业设计 21 int v=*(srcRGBArray); for (int i=0;iFillSolidRect(0,0,size.cx,size.cy,RGB(0,0,0); destDC-FillSolidRect(260,0,size.cx-260,size.cy,RGB(128,128,128); double d=size.cy*0.8/v; POINT origin; origin.x=0; origin.y=int(size.cy*0.9); int curx=0; destDC-SetBkMode(TRANSPARENT); CPen newpen,*oldpen; if (nRGB curxSelectObject( destDC-MoveTo(curx+2,origin.y); destDC-LineTo(curx+2,origin.y-int(d*(*(srcRGBArray+curx); destDC-SelectObject(oldpen); if (nRGB=RGB_G | nRGB=RGB_RGB) newpen.DeleteObject(); newpen.CreatePen(PS_SOLID,1,RGB(0,255,0); oldpen=destDC-SelectObject( destDC-MoveTo(curx+2,origin.y); destDC-LineTo(curx+2,origin.y- int(d*(*(srcRGBArray+256+curx); destDC-SelectObject(oldpen); if (nRGB=RGB_R | nRGB=RGB_RGB) newpen.DeleteObject(); newpen.CreatePen(PS_SOLID,1,RGB(255,0,0); oldpen=destDC-SelectObject( destDC-MoveTo(curx+2,origin.y); destDC-LineTo(curx+2,origin.y- int(d*(*(srcRGBArray+512+curx); destDC-SelectObject(oldpen); 厦门大学软件学院本科毕业设计 23 HIS 颜色直方图屏幕显示方法： void CSystemDlg:DrawHSITangleBmp(CDC* destDC, int* srcHSIArray, UINT nHSI) int v=*(srcHSIArray); for (int i=0;iFillSolidRect(0,0,size.cx,size.cy,RGB(0,0,0); double d=size.cy*0.8/v; POINT origin; origin.x=0; origin.y=int(size.cy*0.9); int curx=0; destDC-SetBkMode(TRANSPARENT); CPen newpen,*oldpen; if (nHSI oldpen=destDC-SelectObject( for (;curxMoveTo(curx+2,origin.y); destDC-LineTo(curx+2,origin.y-int(d*(*(srcHSIArray+curx); destDC-SelectObject(oldpen); 第四章第四章 实现结果实现结果 4.1 样本集的分析样本集的分析 实验目的是：在 RGB 空间下比较统计直方图和累积直方图的性能；在 HSI 空间下比较统计直方图、累积直方图和局部累积直方图的性能；在累 积直方图的条件下比较 RGB 空间和 HSI 空间对检索系统的影响。 我们所提及的系统性能是指系统对样本集中大量的相似内容图片的查 全性和少量特殊图片的识别性。 样本库图片共 300 张，均来自新闻视频的 352*264 的 JPG 图片。为了 顾及特殊情况而不失一般性，我们将样本集预先人工分类并总结特点如表 一所示。 编号类名数量(N)特点 1女新闻播音13构图简单，人物单一 2美国国旗36数量大，可检验查全率 3黄色的教室19颜色特征较明显 4棕色螺旋形21形状特征明显 5印度游行10构图复杂 6卡通画8颜色构成简单 7黑暗36形状特征不明显，颜色偏暗 8药瓶5数量少，颜色特征明显 9地图6构图复杂 厦门大学软件学院本科毕业设计 25 10红衣服年轻人39颜色特征明显 11鹰11形状特征明显 12沮丧3颜色特征明显，数量少 13善良的老人4数量少 14新闻白发老人6构图复杂 15其他84干扰图片 表 4-1 样本集分类 算法分类编号 统计直方图RGB-NHRGB 空间 累加直方图RGB-CH 统计直方图HSI-NH 累加直方图HSI-CHHSI 空间 局部累加直方图HSI-PH 表 4-2 5 种检索算法及其编号 假设系统提取出的总图像数为 T（本系统为 40） ，N 为图像库中相似图 像总数，n 为提取出的相似图像数，P 为相似图像出现的位置权系数，那么 很容易得出判断检索性能的评分结果 S。例如：取类编号为 1 的实验， T=100，N=13，n=13，则前 13 个检索结果显示位置的 P 为 1，超过 13 每向 后一位 P 递减 0.1。若实际检索结果有 10 个目标在前 13 位，其余在 15 和 20 位，则评分结果为 S = 10*1+1-(15-13)*0.1+1-(20-13)*0.1=11.1。 我们再取相对效率：S/N，以方便系统效率的比较。 4.2 颜色空间的比较颜色空间的比较 在实验的检索条件下，HSI 的检索效率要高于 RGB 空间。在特殊图片 和查全率方面，HSI 空间的相应算法也要优于 RGB 空间。另外，对于检索 厦门大学软件学院本科毕业设计 26 结果中的非命中图片，如下页图 4-1 所示： (a) RGB 空间累加 直方图搜索实例 (b) HSI 空间局部 累加直方图搜索实例 图 4-1 两种空间内搜索的区别 从实例中可以总结出，HSI 空间内搜索的非命中结果更符合人眼感觉。 4.3 特征表达方法的比较特征表达方法的比较 分析得出，在 RGB 和 HSI 空间内，累加直方图法比统计直方图有明显 的优越性。在 HSI 空间内，局部累加直方图算法要优于一般累加直方图。 当图像的特征不能取遍所有可取值时，统计直方图中会出现一些零值。 这些零值的出现会对计算直方图的相交带来很大影响。累加直方图便很好 的解决了零值问题14。 在以欧式距离为相似度测量时，累加直方图能体现信号在分布轴上各抽 样点间的相关性，即分布轴上相对某个抽样点距离近的点，在某种特殊意 义上就越相似于该抽样点。在 HSI 空间里，H=0 基本对应红色，H=/3 基 本对应黄色，H=2/3 基本对应绿色。这样在 H 轴上黄色与红色之间，黄色 与绿色间本无所谓哪两个更相似。也就是说，虽然