基于纹理的图像检索.doc

科研训练（论文） 课程名称： 科研训练 题 目： 图像检索技术的应用研究 院 （系）： 信息与控制工程系 专业班级： 通信工程1202 姓 名： 学 号： 10 指导教师： 2015年01月04日 西安建筑科技大学华清学院科研训练（论文）任务书专业班级：通信工程1202 学生姓名： 黄佳文 指导教师（签名）： 一、 科研训练（论文）题目图像检索技术的应用研究二、本次科研训练（论文）应达到的目的通过科研训练让学生较深入地理解信息网技术在通信工程专业系列课程中的地位、作用和意义；加深对基本概念和基本原理的理解和应用，并能够用所学知识分析、初步设计和解决与网络应用相关的现实技术问题，在实践中能够举一反三。 三、本次科研训练（论文）任务的主要内容和要求（包括原始数据、技术参数、设计要求等） 主要内容：1）掌握信号处理的相关概念；2) 掌握图像检索的基本方法；3）给出图像检索技术的应用案例要求：1）掌握处理数字图像的基本方法；2）掌握图像边缘检测算法；3）完成图像边缘检测相关算法的程序设计。四、应收集的资料及主要参考文献： 1） 在Internet网上搜集视频检测的相关技术资料；2） 数字视频处理，A. Murat Tekalp著，电子工业出版社3） 数字视频图像处理，全子一主编，电子工业出版社4） /tag 五、审核批准意见教研室主任（签字） 摘要本文从纹理图像特征入手，研究如何有效地抽取图像纹理特征对图像进行描述，基于抽取的图像特征对图像进行检索。通过统计分析法，结构方法和频域法进行特征描述和特征提取，重点研究了基于纹理元模式的统计方法进行特征描述和特征提取。提出了基于纹理元模式的灰度共生矩阵特征提取方法，设计并实现了一个基于纹理特征的图像检索系统。给出了系统的流程图，并介绍了系统的查询模块、特征提取模块、匹配模块和图像显示模块及其各个模块的功能。采用灰度共生矩阵算法提取图像的纹理特征。最后通过实验对给定的图像进行检索。关键字：图像检索，纹理特征，特征描述，特征提取，共生矩阵 目录第一章 绪论11.1课题研究的目的及意义11.2国内外研究的现状21.3研究方向5第二章 基于纹理的图像检索62.1灰度共生矩阵 6 2.2 Tamura 纹理特征72.3 小波纹理特征82.4 LBP 纹理特征82.5基于纹理的图像检索系统92.6基于纹理的图像检索系统的反馈10第三章 应用案例12第四章 总结16参考文献17 第一章 绪论随着多媒体技术和计算机技术应用的迅速发展，图像、视频数据呈现几何级数的增长趋势，大容量存储设备和数字化设备普及，于是出现了大容量图像或视频数据库。然而，数字化设备本身并没有提供图像库的管理方法，用户还需要利用特定的分类与检索技术来管理和查询图像。因此，如何迅速、准确地从浩瀚的图像数据库中检索到所需要的图像成了近十多年来多媒体领域的研究热点之一。 1.1课题研究的目的及意义随着科学技术的发展和应用，全世界的信息量迅速增长。在信息急剧膨胀的情况下，如何快速的提取有用的视觉信息越来越受到人们的重视。对图像的有效检索成为了我们获取图像信息的关键问题。在图像检索系统中，以往的基于文本的检索由于其局限性而失去了其用武之地，而基于内容的图像检索日益成为当前信息领域的重要研究热点。基于内容的图像检索是指对图像从低层到高层进行处理、分析和理解的过程获取其内容并根据内容进行检索。它涉及到对图像的视觉信息进行有效的查询、索引、浏览、搜索和提取，而且这些工作是直接根据图像的内容含义而展开和进行的。目前，基于内容的图像检索主要有三个研究方向：基于图像颜色的检索，基于图像纹理的检索和基于图像形状的检索。本课题主要是研究基于纹理特征的图像检索。本文从图像纹理特征入手，研究如何有效地抽取图像纹理特征对图像进行描述，基于抽取的特征对图像进行搜索，从而更好地对图像进行检索，提高检索效率和检索性能。纹理的特征提取最终就是找到图像合适的纹理特征来提高检索的性能，是我们能方便快速地从大规模的数据库中提取出满足特定要求的图像。纹理在图像处理中起着重要的作用。它被广泛应用于气象云图分析、卫星遥感图像分析、生物组织和细胞的显微镜照片分析等领域。此外，在一般的自然风景图像的分析中，也具有重要的作用。例如利用纹理来识别图片中的对象，进行目标检测，将图像中指定的目标分离出来。纹理研究的目的就是有效的表示图像和区域的纹理，抽取图像的纹理特征，然后依据抽取出来的特征来分类和分割图像，以及进行目标的理解和识别。纹理在图像检索中的作用越来越受到人们的重视，一个图像检索系统的性能好坏关键在于特征提取。基于纹理的特征提取最终就是找到图像合适的纹理特征来提高检索性能。1.2国内外研究的现状自90年代以来，基于内容的图像检索已经成为了一个非常活跃的研究领域。从目前的研究现状来看，基于内容的图像检索可分为3层。下层是基于颜色、纹理、形状等反映图像基本物理特征的检索，是最直接也是最基本的层面，用到图像信息处理、图像分析和相似性匹配技术。中间层是基于图像对象语义的检索，如图像中实体及实体之间的空间关系的检索，对象级检索技术建立在下层特征基础上，并引入了对象模型库、对象识别和人工智能等图像理解技术。最上层是基于图像概念级语义的检索，其技术建立在对象层语义特征提取的基础上，引入了对象和场景之间的逻辑、情感等高层语义的描述及识别，需要用到知识库和更加有效的人工智能和神经网络技术。 到目前为止，已有许多商业的或是用于研究的图像检索系统问世。QBIC(Query ByImage Content)图像检索系统是IBM公司90年代开发制作的图像和动态景象检索系统，是第一个基于内容的商业化的图像检索系统。用户无须提供文字检索词，只要输入以图像形式表达的图像检索要求就可以检索出一系列相似的图像。Virage是由Virage公司开发的基于内容的图像检索引擎。同QBIC系统一样，它也支持基于色彩、颜色、布局、纹理和结构等视觉特征的图像检索。Jerry等人还进一步提出了图像管理的一个开放式框架，将视觉特征分为通用特征(如颜色、纹理和形状)和领域相关特征两类。 Photobook是美国麻省理工学院的多媒体实验室所开发的用于图像查询和浏览的交互工具。它由两个子系统组成，分别负责提取形状、纹理、面部特征。因此，用户可以在这两个子系统中分别进行基于形状、基于纹理和基于面部特征的图像检索。 VisualSEEK是基于视觉特征的检索工具，WebSEEK是一种面向www的文本或图像搜索引擎。这两个检索系统都是由哥伦比亚大学开发的。VisualSEEK同时支持基于视觉特征的查询和基于空间关系的查询。WebSEEK包括两个主要模块：图像视频采集模块，主题分类和索引模块、查找、浏览和检索模块。 Netra系统是加利福尼亚大学的A1exandria数字化图书馆项(AlexandriaDigital Library)中用于图像检索的原型系统。它从分割后的图像区域中提取颜色、纹理、形状和空间位置信息，并依靠这些信息从数据库中查找相似的区域。Netra在研究方面的主要特点包括：采用了基于Gabor滤波器的纹理特征：基于神经网络的“图像词典”的构造和基于边缘流的图像分割。 MARS(Multimedia AnalysiS and Retrieval System)是美国伊利诺斯大学开发的，它无论在研究角度还是应用领域都和其他的图像检索系统有很大的差异。MARS是计算机视觉、数据库管理系统以及传统的信息检索技术多个领域交叉的结果，它的主要特点包括：数据库管理系统和信息检索技术的结合；索引技术和检索技术的融合以及计算机和人的融合。MARS系统的重点在于根据实际的应用环境和用户的需要，在检索框架中动态地组合和调整各种不同的图像特征。MARS在图像检索领域正式提出了相关反馈的体系结构。相关反馈技术在各种层次上融合到检索的过程中，包括查询向量的优化，相似度算法的自动选择，以及图像特征权重的调整。 国内的一些研究单位已相继开展了基于内容的图像检索的研究工作，并开发了一些实验系统。主要有清华大学在视频检索方面的研究，国防科大在多媒体数据库检索系统方面展开研究，浙江大学也于1995年开始了这方面的研究工作。西北大学可视化技术研究所从1998年开始研究基于内容的图像检索，研究成果在医学影像数据库和数字考古博物馆中已有应用，理论研究和具体实践都取得了可喜的进展。中科院计算机所智能信息处理重点实验室智能科学课题组开发的多媒体信息检索系统Mires开始尝试在药植物数据库、遥感图像检索系统等方面展开应用。2002年，吴冬生、吴乐南提出对JPEG图像的DCT系数利用多分辨率小波变换的形式进行重组，对整个数据库中的所有图像的DCT系数重组得到的若干子带，分别建立子带能量直方图，而后采用Norton顺序建立图像的索引，并采用B树结构组织图像数据库用于图像检索。 1.3研究方向基于纹理的图像检索仍然是一个开放性的研究课题,其研究将涉及认知科学、人工智能、模式识别、图像处理、信息检索等多个领域。对于基于纹理的图像检索中存在的重要问题,在图像处理和模式识别方面今后较长的时间内仍需要继续完善图像特征的提取、表达、相似性度量。目前国际上 MPEG 标准化组织正在制定的 MPEG-7 标准,其目标就是实现集高层语义特征和低层视觉特征的基于内容的多特征综合检索,今后研究的热点将是高层的基于语义内容的图像检索。 第二章 基于纹理的图像检索纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，因此被广泛应用于模式识别和计算机视觉等领域中。本节我们将着重介绍在基于内容的图像检索中所常用的那些纹理特征，主要有灰度共生矩阵、Tamura 纹理特征、小波变换和其他的纹理特征等形式。 2.1灰度共生矩阵 灰度共生矩阵有15个特征参数，根据各自的意义通常在图像检索中选用6个： （1） 角二阶矩： （2-1）是灰度共生矩阵各元素的平方和，又称为能量，反映了图像灰度分布均匀程度和纹理粗细程度。 W1大则纹理粗糙，W1小则纹理细致。 （2） 对比度： （2-2）表征纹理的清晰程度，图像越清晰，相邻像素对的灰度差别就越大，W2就越大。 （3） 相关度： （2-3）式中： ； （2-3.1）； （2-3.2）； （2-3.3）； （2-3.4）度量灰度共生矩阵元素在行或列方向上的相似程度如果图像的某方向上纹理性较强，则该方向的W3将大于其他方向的值因此，W3可用来判断纹理方向。 （4）熵： （2-4）代表了图像的信息量，表示纹理的复杂程度，是图像内容随机性的度量。无纹理熵为0，有纹理熵最大。 （5）方差： （2-5）式中：m为的均值，方差反映了纹理的周期，值越大，表明纹理的周期越大。 （6）逆差距： （2-6）度量图像纹理局部变化的大小。纹理规则，则W6就大；反之亦然。 2.2 Tamura 纹理特征 Tamura 等人根据人类对纹理的视觉感知心理学的研究，提出了纹理特征的表达。Tamura 纹理特征的六个分量对应于心理学角度上纹理特征的六种属性，分别是粗糙度（coarseness）、 对比度（contrast）、方向度（directionality）、 线像度（linelikeness）、规整度（regularity） 和粗略度（roughness）。其中，前三个分量对于图像检索尤其重要。 2.3 小波纹理特征 小波变换（wavelet transform）也是一种常用的纹理分析和分类方法。由于小波变换在频 域和时域具有良好的局部化特性，已被广泛应用于信号处理和图像处理等领域中。在图像的 在每个层次上，二维的信号被分解为四个子波段，根据频率特征分别称为 LL、LH、HL和HH。小波变换表示的纹理特征可以用每个波段的每个分解层次上能量分布的均值和标准方 差。例如三层的分解，PWT 表达为 3x4x2 的特征向量。 2.4 LBP 纹理特征 LBP(Local Binary Pattern, 局部二值模式)是一种用来描述图像局部纹理特征的算子；它的作用是进行特征提取，提取图像的局部纹理特征。 原始的 LBP 算子定义为在 3*3 的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。3*3 领域内的 8 个点可产生 8bit 的无符号数，即得到该窗口的 LBP 值，并用这个值来反映该区域的纹理信息。 gc 为中心像素点，gp 为邻域像素点 LBP 纹理特征向量，一般以图像的分块 LBP 直方图表示，具体计算步骤如下：1).将图像划分为 N*N 的图像子块，计算每个子块中每个像素的 LBP 值 2).对每个子块进行直方图统计，得 N*N 图像子块的直方图 3).利用 N*N 个子块的直方图，描述该图像的纹理特征 2.5基于纹理的图像检索系统一般可把该系统看作是介于信息用户和(多媒体)数据库之间的一种信息服务系统。这类系统的通用框架如图1所示。在此系统中,用户发出查询要求,系统将查询要求转化为计算机内部描述,并借助这些描述与数据库中的信息进行匹配,提取出需要的信息数据,用户可通过人机交互界面利用相关反馈技术改进查询条件进行新一轮检索。 基于纹理的图像检索系统主要具有以下的特点： (1) 从图像内容中提取信息线索。基于内容的检索突破了传统的基于关键词检索的局限，直接对图像进行分析并提取特征，使得检索结果更加接近图像对象。 (2) 提取特征的方法多样化。在基于纹理的图像检索系统中，则用对纹理的提取来获取信息。 (3) 基于纹理的图像检索系统具有很强的交互性，用户可以参与检索过程。 (4) 基于纹理的图像检索是一种近似匹配。 2.6基于纹理的图像检索系统的反馈相关反馈的基本流程为： 用户给出检索需求； 系统会显示检索结果； 用户反馈。满意的结果为正例，不满意的结果为反例； 调用反馈算法； 如果用户在反馈时有更新检索的要求，转；否则转； 如果用户希望继续进行另一个新的检索，转；否则退出。 如图： 第三章 应用案例 本文采用以Gabor滤波器为基础的多分辨率分析进行纹理特征的提取，以下简称为Gabor纹理特征。在信号处理技术领域中，Gabor变换是被公认的信号表示尤其是图像辨识的最好方法之一.从心理学的角度，人类辨识同类纹理是同时依赖于形状相似性(即空间属性)和组织结构相似性(即频域属性)的，这就要求在一种能同时对空域和频域进行有效描述的方法。Gabor变换已经被证明是在二维测不准情况下，对信号空间域和频率域的最佳描述.生物学领域的研究也发现，二维Gabor滤波器能够很好的描述脊椎动物大脑初级视觉皮层部分的单细胞可接收信息域的分布，两者在空频域均具有相似的局部特点，这与人类的视觉系统也是一致的.Gabor滤波器可以被视为方向和尺度均可变化的边缘和直线(条纹)的检测器，并且，对于一个给定区域中的这些微观特征的统计，通常可以用来表示基本的纹理信息。大量的实验结果表明，在各种小波变换形式中，Gabor基小波变换的检索效果最好。 图3.1单纹理图像检索实例 图3.2多纹理图像部分匹配检索实例 图3.3自然图像检索实例图3.3是一个以豹子作为查询主体的自然图像检索实例。图3.3 (a)中豹子身体的部分纹理被“拣”出，设定其权值为1096。图3.3( b)中显示的是前8