图像检索PPT课件

1、4.3 图像检索 （以图搜图） 3 基于内容的图像检索 问题的提出 当我们的数字图像数量很多时（达到上千张、甚至上百万张），如何 快速有效地找到需要的数字图像是一项有挑战性的工作。 从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是 基于文本的图像检索技术（Text-based Image Retrieval，简称 TBIR），利用文本描述的方式描述图像的特征，如绘画作品的作者、 年代、流派、尺寸等 那么，如何利用计算机辅助检索图像呢？（与文本检索不同，图像与 图像之间的比较是一个复杂的问题） 3 基于内容的图像检索 传统的图像检索方法 通过图片的元数据或标引文字进行检索 例：图像

2、元数据例：图像元数据 宽度：宽度：210210 高度：高度：172172 主题：玻璃瓶与草主题：玻璃瓶与草 背景：淡灰背景：淡灰 内容：内容： 6 6个有草的玻璃瓶个有草的玻璃瓶 3 3个瓶有红色液体个瓶有红色液体 3 3个瓶有透明液体个瓶有透明液体 3 基于内容的图像检索 传统的图像检索方法 标引文字的检索的局限性是： p图片的标引文字主要靠人工输入。 对大数据量的场合（如WebWeb资源、数字图书馆等）应用困难 p标引文字无法精确完整的刻画图片内容 文字描述一维线性的媒体，而图片是二维非线性的媒体 生成或利用元数据的过程实质是在两种差异很大的媒体间的翻译过程，有 很大的随意性和信息损失 3

3、 基于内容的图像检索 基于内容的图像检索方法 p 一图胜千言，考虑绕过这些转换（翻译）过程直接利用图片去一图胜千言，考虑绕过这些转换（翻译）过程直接利用图片去 检索图片，这就是基于内容的检索的出发点检索图片，这就是基于内容的检索的出发点 p 基于内容的图像检索的英文缩写：基于内容的图像检索的英文缩写：CBIR Content-Based Image Retrieval p到到90年代以后，出现了对图像的内容语义，如图像的颜色、纹理、年代以后，出现了对图像的内容语义，如图像的颜色、纹理、 布局等进行分析和检索的图像检索技术，即基于内容的图像检索。布局等进行分析和检索的图像检索技术，即基于内容的图

4、像检索。 综合利用颜色、纹理、形状特征，逻辑特征和客观属性等，实现图像检索 3 基于内容的图像检索 基于内容的图像检索方法 大量原型系统已经推出, ,技术正在逐步走向成熟，已经出 现一些商用系统。 商用系统如：IBMIBM的QBICQBIC、 VirageVirage的VIR Image EngineVIR Image Engine。 原型系统如：UCBUCB的BlobWorldBlobWorld（形状）、 StanfordStanford的系统（颜色）。 检索效果仍需改进。 3 基于内容的图像检索 相似图片搜索 相似图片-百度 3 基于内容的图像检索 商品图像搜索 1. Like （被Goo

5、gle收购） 2. 淘淘搜 3. Ebay 3 基于内容的图像检索 移动图像搜索和识别 1. Google Goggles 2. Kooaba 3. 百度识别（Mobile） 3 基于内容的图像检索 3 基于内容的图像检索 OCR识图 3 基于内容的图像检索 基本原理 基于内容的图像检索，利用图像本身固有属性，如颜色，形状，纹理，空间布局等来表达和检索图像。 3 基于内容的图像检索 基于内容的图像基于内容的图像检索系统检索系统 基于内容的图像基于内容的图像检索系统的检索系统的4种检索方式：种检索方式： 1）利用图片样本检索（）利用图片样本检索（Query By Example） 可以由用户准备

6、图片样本可以由用户准备图片样本 可以在图片库中浏览可以在图片库中浏览 系统给出各类代表图像系统给出各类代表图像 从系统中随机抽取（检索是一个逐步求精的过程）从系统中随机抽取（检索是一个逐步求精的过程） 基于内容的图像检索系统 基于内容的图像检索系统的检索方式 2 2）利用草图检索 3 3）利用图像特征模板检索 如颜色特征模板，指定各种颜色的比率等。 4 4）以上方式结合 先用草图或指定特征获取图片样本，再用图片样本检索 左侧的就是一个颜色模板 举例：用颜色特征模板进行检索举例：用颜色特征模板进行检索 3 基于内容的图像检索 l基于内容的图像检索的必要性 l三种层次特征描述图像内容： l低层特征

7、：颜色、纹理和形状等特征 l中层特征：图像中的对象、背景以及空间关系 l语义特征：场景、事件、情感等 l图像特征分类：颜色、纹理、形状和空间关系 3.1 基于颜色特征的图像检索 定义：颜色是一种全局特征，描述了图像或图像区域所对 应景物的表面性质。 颜色特征优势和缺陷 是图像物理特征中最直接的视觉特征，颜色特征非常稳定， 而且颜色特征计算简单。 不能很好的描述对象的空间特征 颜色特征描述方法 直方图法、累积直方图法、局部累积直方图法、颜色布局法、 中心矩法等。 3.1 基于颜色特征的图像检索 使用颜色特征进行图像检索需要解决三个主要问题：选择合 适的颜色空间描述颜色特征、表示成向量以便建立索引

8、和相 似性匹配、计算距离显示结果； 颜色空间模型 颜色直方图，其检索模型，存在问题及改进 颜色矩：一阶矩、二阶矩和多阶矩； 颜色聚合向量 颜色相关图。 内容匹配的主要策略 n三种主要颜色匹配策略 颜色比率匹配 颜色布局匹配 色彩空间匹配 3.1 基于颜色特征的图像检索 1）颜色比率匹配 两幅相似的图像各自所包含的各种颜色的比率是相似的，因此可以利用描述颜色构成比率的特征进行检 索。如彩色直方图、累积直方图、主色调等。 3.1 基于颜色特征的图像检索 颜色比率匹配举例颜色比率匹配举例2 2：从：从1 1万张图片中检索的结果万张图片中检索的结果 3.1 基于颜色特征的图像检索 颜色比率匹配举例颜色

9、比率匹配举例2 2：从：从1 1万张图片中检索的结果万张图片中检索的结果 3.1 基于颜色特征的图像检索 2）颜色布局匹配）颜色布局匹配 颜色比率匹配法的缺陷：颜色比率匹配法的缺陷： 只能描述颜色的全局统计信息，不能描述颜色的空间分布只能描述颜色的全局统计信息，不能描述颜色的空间分布 颜色布局匹配颜色布局匹配 通过比较图像与样本的颜色分布位置的相似程度进行匹配。这类通过比较图像与样本的颜色分布位置的相似程度进行匹配。这类 匹配选取的特征如匹配选取的特征如图像的分块直方图图像的分块直方图、颜色对距离直方图颜色对距离直方图等。等。 3.1 基于颜色特征的图像检索 彩色布局匹配举例彩色布局匹配举例1

10、 1：从：从1 1万张图片中检索的结果万张图片中检索的结果 3.1 基于颜色特征的图像检索 彩色布局匹配举例彩色布局匹配举例2 2：从：从901901张图片中检索的结果张图片中检索的结果 3.1 基于颜色特征的图像检索 3）色彩空间匹配 色彩空间对特征有重要影响，如在HSV空间中可以忽略亮度 信息的影响。 一般来讲，在HSV空间中利用分块累积直方图的检索效果较 好 3.2 纹理特征匹配 4.3.2 纹理特征匹配 纹理是一种不依赖颜色或者亮度并能反映图像中同质现象的全局性特征， 它描述了图像或图像区域所对应景物的表面性质。 3.2 纹理特征匹配 4.3.2 纹理特征匹配 纹理图像的灰度分布具有某

11、种周期性，即便灰度变化是随机的，也具有 一定的统计特性和规律性。 基本属性： 粗糙度 对比度 方向度 线像度 规整度 光滑度 2.纹理特征匹配 1）基本原理： 粗糙度反映纹理的尺寸 2.纹理特征匹配 1）基本原理： 对比度反映纹理的清晰度 2.纹理特征匹配 1)基本原理： 方向反映实体是否有规则的方向性。 包含多个纹理区域的图象包含多个纹理区域的图象 纹理是以像 素的邻域灰 度空间分布 为特征； 是图像强度 局部变化的 重复模式 一些典型的纹理图象 2.纹理特征匹配 用于测量灰度级分布随机性的一种特征参数叫做熵，定义为： 用灰度级共生矩阵还可以定义能量特征、对比度特征和均匀度特征： ij ji

12、PjiP,log,熵 ij jiP, 2 能量 ij jiPji,)( 2 对比度 ij ji jiP |1 , 均匀度 纹理的结构分析法分为三步：图像增强；基元提取；计算纹理基元的特征 参数及构成纹理的结构参数 4.3.3 形状 1)基本原理基本原理 形状是刻划物体的本质特征之一形状是刻划物体的本质特征之一 ,通常与目标联系在一起，可以针通常与目标联系在一起，可以针 对对面积面积 (可用象素点的个数计算可用象素点的个数计算 )、环形性环形性 (即周长即周长 *周长周长 /面积面积 ,周周 长也用象素点的个数表示长也用象素点的个数表示 )、主轴方向主轴方向、偏心率偏心率、圆形率圆形率、连通性连

13、通性、 正切角正切角等形状特征进行匹配。等形状特征进行匹配。 p 形状通常分为两种类型：形状通常分为两种类型： 一类是基于一类是基于轮廓特性轮廓特性的，如傅里叶描述的，如傅里叶描述 一类是基于一类是基于区域特性区域特性的，如几何不变矩的，如几何不变矩 形状的描述方式： 通过全局形状性质来比较两个形状； 形状直方图 边界匹配 轮廓匹配 通过局部形状性质来比较两个形状； 形状参数 偏心率 球状性等 匹配方法举例：边界匹配 两种表示边界的方法 象素序列表示法：将轮廓表示成沿轮廓曲线长度的函数。 多边形近似法 三种边界匹配方法 Fourier Descriptors 多边形匹配法 弹性匹配 匹配方法举

14、例：边界匹配 匹配方法举例：边界匹配 l体现图内对象之间的关系称为空间关系； l空间关系的分类：拓扑、方位和距离等； l基于空间关系的图像检索，首先对图像进行自动分割，划分出 图像中所包含的对象或颜色区域；然后定义拓扑、方位、距离 等各种空间关系；最后依据这些定义提取出每幅图像的空间关 系向量。 4.4.4 空间 空间关系匹配 4.4.4 空间 检测出图象中所包含的物体后，可以确定它们之间的空间关系，如拓扑、方位、 距离等空间关系，然后可以利用这些空间关系进行图象检索。 基于空间关系特征检索的步骤基于空间关系特征检索的步骤 l将图像数据库中的所有图像映射为多维特征空间的点； l对应每种相似性准

15、则来定义一个距离度量； l建立多维特征点的索引； l将所查询的图像映射到特征空间中的一个点或一个区域，然后 选取与查询点靠近或者位于查询区域范围内的点； l作为检索结果，返回选择点所对应的图像。 l不同图像特征的特点总结 l颜色特征：对图像的方向、大小等变化不敏感 l纹理特征：是区域中的统计特征，具有旋转不变性 l形状特征：与目标相关 l空间关系特征： l不同特征的比较 4.3.2 相似度比较 颜色、纹理、形状等图像特征被提取出来后，形成特征向量，就可以利用这些特征向量来表达对应图像。 p 相似度度量方法： 闵可夫斯基距离 二次型距离 马氏距离 库尔贝克-莱博乐散度 杰弗里散度 4.3.3 索

16、引方案建立 图像特征向量具有较高的维度，因此不适合传统的索引结构，建立一个高效的索引方案前，通常需要降 维。 p 降维方法： 主分量分析 K-L变换 4.3.4 用户交互 图像检索实现的是“人机交互、相互反馈”的方式，图像检索系统包括 查询说明部分和结果浏览部分。 p 查询说明： 类别浏览 概念查询 草图查询 示例查询 局部查询 65 Google Goggles 名片 n条形码 QBIC 允许使用颜色, ,颜色比例, ,纹理和草图以及关键词等视觉信息查询大的数据库. .在它的新系统中, ,基于文本的 关键字与基于内容的相似性结合在一起； 网站：http:/ VisualSEEK和WebSEE

17、K VisualSEEK和WebSEEK都是由哥伦比亚大学开发的一种实验性系统。采用代理自动搜索可视信息并对其都是由哥伦比亚大学开发的一种实验性系统。采用代理自动搜索可视信息并对其 进行分类，目前已分类的图像有进行分类，目前已分类的图像有6666万多幅，形成了一个极富创新性的图像目录。主题分类是它的主要优点。万多幅，形成了一个极富创新性的图像目录。主题分类是它的主要优点。 WebSEEKWebSEEK的检索途径有三种，一是使用关键词进行自由全文检索，但不支持短语检索；二是利用不同的检索途径有三种，一是使用关键词进行自由全文检索，但不支持短语检索；二是利用不同 的类目等级进行主题浏览；三是在检出

18、图像的基础上利用其可视属性进一步检索。的类目等级进行主题浏览；三是在检出图像的基础上利用其可视属性进一步检索。 Virage VirageVirage公司的产品它为图像管理提供了一个开放的框架公司的产品它为图像管理提供了一个开放的框架 VirageVirage引擎表达了图像原色等视觉特征，原引擎表达了图像原色等视觉特征，原 色可以是非常一般的，如颜色，形状和纹理，或针对具体域的，如面部征和癌细胞特征色可以是非常一般的，如颜色，形状和纹理，或针对具体域的，如面部征和癌细胞特征 网址：网址：http:/http:/ Photobook 它是媒体实验室开幕的一套交互式图像数据库浏览和查询的 工具它包括三个子部分，分别用于抽取形状，纹理，面部等特 性用户可以在每个子部分中按照对应的特征进行查询； 在最近版本ourEyes中，icard提出了在图像注释和检索