基于内容的图像检索概述.ppt

1、基于内容的图像检索（ Content-based image retrieval）,目前大家比较熟悉的计算机检索技术，大多是基于文字的检索。不论是文章的查询、图片的搜索、音乐的查找甚至视频的检索，都是通过文字的描述或者标引实现的。 文字检索的薄弱环节在于对多媒体信息描述上，用文字描述难以避免主观性。这样，就产生了基于内容的检索需求，不论是图片、声音、视频还是动画。于是各种基于内容的检索技术就应运而生了。基于内容的图像检索技术是其中的一项重要技术。,二、什么是基于内容的检索技术,从20世纪70年代开始，有关图像检索的研究就已开始，当时主要是基于文本的图像检索技术（Text-based Image

2、 Retrieval，简称TBIR），利用文本描述的方式描述图像的特征，如一张照片，配以文字说明照片拍摄的时间、地点、事件的主要内容等等。,1、什么是基于内容的检索技术,1.1 基于文本的图像检索技术 TBIR,1、什么是基于内容的检索技术,1.1 基于文本的图像检索技术 TBIR,存在的问题：,一是这种方法需要较多的人工参与，而且随着图像数目的增加，这种方法很难实现；,二是由于图像所包含的信息量庞大，不同的人对于同一张图像的理解也不相同，这就导致对图像的标注没有一个统一的标准，因而检索的结果不能很好地符合用户的需求。,图2-2 不同的人关心不同的内容,到90年代以后，出现了对图像的内容语义，

3、如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索（Content-based Image Retrieval，简称CBIR）技术。,1.2 基于内容的图像检索 CBIR,CBIR指的是查询条件本身就是一个图像，或者是对于图像内容的描述，它建立索引的方式是通过提取底层特征，然后通过计算比较这些特征和查询条件之间的距离，来决定两个图片的相似程度。,2 基于内容的图像检索原理,1、提取特征值：利用一些数学的规则（公式），把图像进行一个量化的描述，按照色彩、形状、图案、纹理等不同要求，把一张图片转化为一组数字，我们称其为特征值。由于是采用的同样的规则，所以每一张图片都能提取

4、出一组特征值。,2、特征值的比对：由于采用的规则是相同的，如果两张图片是一样的，提取的特征值也会相同，这样就可以把两张图片的内容比较转化为两组特征值的数字比较，也就是用数字量的比较代替了模拟量的比较；,3、结合语义分析：相同特征值的图片不一定就是相同的内容，结合图片的语义进行分析判断。,如果两张图片是相似的，提取的特征值也是相近的；反过来讲，如果两张图片相差很大，其特征值也会有很大的差距；,对于图像的低层特征，主要采用的是图像的颜色、纹理及其形状等特征。,2.4图像的低层特征值提取,2.4.1颜色特征,颜色特征和图像的大小、方向无关，而且对图像的背景颜色不敏感，因此颜色特征被广泛应用于图像检索

5、。颜色特征中包括颜色直方图、颜色相关图、颜色矩等。,图2-3颜色特征颜色布局示例,2.4.2纹理特征,纹理特征代表了物体的视觉模式，它包含了物体表面的组织结构以及与周围环境之间的关系。常用的方法有相关矩阵法，粗糙度、对比度等纹理表示方法，以及小波变换等。,图2-4纹理特征,2.4.3形状特征,形状特征则包括两种，一种是基于边界的形状特征，另外一种则是基于区域的形状特征。最常用的表示方法有傅利叶变换和不变矩等。,这些低层的特征将通过各种方法抽取出来，并形成一组特征向量，建立相关索引并存储到数据库中。,灯管 杯子 基于边缘的形状表示 基于区域的形状表示,单纯使用图像的底层特征值，容易产生混淆，因为

6、不同的图像也会有近似的特征组合，例如：一个冰箱和一个洗衣机，从正面看二者有较大的区别，但从后面看其后视图时，二者的差距很小，相似度较高，无法有效区分；,2.5单独使用低层特征值的弊端,冰箱,图2-6 冰箱与洗衣机的后视图对比,洗衣机,2.6 建立语义特征,由于低层的特征并不直接代表图像的语义信息，还需要抽取图像的语义特征。,3.1 属于模糊查询，检索结果不是唯一的,三、基于内容的图像检索技术的特点,基于内容的图像检索与文字检索的一个主要区别是，基于内容的检索都是属于模糊查询，一般不会给出单一的检索结果，输出的是一个结果排序集合，按照图像的相似程度，从最像到最不像。,最后需要由人来判断最终的结果是否满足检索需要，是人机结合的典范；由计算机来做大量简单烦琐的工作，由人做分析工作。,通过设置检索输出门限值，也可以控制检索结果的输出数量。,检索结果的显示需要考虑显示效率和显示效果的矛盾。,图3-2 不同数量的显示（6*9）,3.2检索结果是逐渐逼近,在检索过程中不断修订检索条件，可以逐