多媒体信息检索

1、基于内容的图象检索基于内容的图象检索u 发展历史发展历史u 基于内容基于内容CBIRCBIR的图象检索的图象检索u 基于语义的图象检索基于语义的图象检索u 未来趋势未来趋势n问题的提出问题的提出n当我们的数字图像数量很多时（达到上千张、当我们的数字图像数量很多时（达到上千张、甚至上百万张），如何快速有效地找到需要的甚至上百万张），如何快速有效地找到需要的数字图像是一项有挑战性的工作数字图像是一项有挑战性的工作n那么，如何利用计算机辅助检索图像呢？（与那么，如何利用计算机辅助检索图像呢？（与文本检索不同，图像与图像之间的比较是一个文本检索不同，图像与图像之间的比较是一个复杂的问题）复杂的问题）

2、图像检索研究发展的三个阶段图像检索研究发展的三个阶段基于文本的图象检索基于文本的图象检索基于文本的图象检索基于文本的图象检索n传统的图像检索方法传统的图像检索方法n通过图片的元数据或标引文字进行检索通过图片的元数据或标引文字进行检索例：图像元数据例：图像元数据宽度：宽度：210210高度：高度：172172主题：玻璃瓶与草主题：玻璃瓶与草背景：淡灰背景：淡灰内容：内容：6 6个有草的玻璃瓶个有草的玻璃瓶3 3个瓶有红色液体个瓶有红色液体3 3个瓶有透明液体个瓶有透明液体n传统的图像检索方法传统的图像检索方法n标引文字的检索的局限性是：标引文字的检索的局限性是：n图片的标引文字主要靠人工输入图片

3、的标引文字主要靠人工输入,工作量大工作量大,主观性主观性强。强。对大数据量的场合（如对大数据量的场合（如Web资源、数字图书馆资源、数字图书馆等）应用困难等）应用困难n标引文字无法精确完整的刻画图片内容标引文字无法精确完整的刻画图片内容n文字描述一维线性的媒体，而图片是二维非线性的媒体文字描述一维线性的媒体，而图片是二维非线性的媒体n生成或利用元数据的过程实质是在两种差异很大的媒体生成或利用元数据的过程实质是在两种差异很大的媒体间的翻译过程，有很大的随意性和信息损失间的翻译过程，有很大的随意性和信息损失基于文本的图象检索基于文本的图象检索享乐的花园享乐的花园 西班牙马德里普拉多艺术馆西班牙马德

4、里普拉多艺术馆基于内容的图象检索基于内容的图象检索n基于内容的图像检索方法基于内容的图像检索方法n一图胜千言，考虑绕过这些转换（翻译）过一图胜千言，考虑绕过这些转换（翻译）过程直接利用图片去检索图片，这就是基于内程直接利用图片去检索图片，这就是基于内容的检索的出发点容的检索的出发点n基于内容的图像检索的英文缩写：基于内容的图像检索的英文缩写：CBIRContent-Based Image Retrieval n90年代初，国际上就开始了对基于内容的年代初，国际上就开始了对基于内容的多媒体信息检索方面的研究。多媒体信息检索方面的研究。n基于内容的图像检索基于内容的图像检索方法方法n大量原型系统已

5、经推出大量原型系统已经推出,技术正在逐步走向技术正在逐步走向成熟，已经出现一些商用系统。成熟，已经出现一些商用系统。n商用系统如：商用系统如：IBM的的QBIC、 Virage的的VIR Image Engine。n原型系统如：原型系统如：UCB的的BlobWorld（形状）、形状）、 Stanford的系统（颜色）。的系统（颜色）。n检索效果仍需改进。检索效果仍需改进。基于内容的图象检索基于内容的图象检索某些存在的系统nPhotobook, MITnface, texture and shape databasenWebSeek, Columbia UnWWW image search en

6、gineninclude more than 650,000 imagesnImageRover, Boston UnWWW image search enginenuse 32 robots to collect one million images monthlynVideoBook, HKUSTnvideo retrieval systemnQBIC, IBMncommercial system (trademark)nMARS, Illinoisnimage retrieval with relevance feedback mechanismnVideoClip, Columbia

7、Unvideo parsing and editingnPrinceton Universitynhigh-level video representationnNeTra, UCSBnobject-based video representationhttp:/www.cs.sfu.ca/mmbook/furtherv2/node18.htmlhttp:/www.cs.sfu.ca/mmbook/furtherv2/node18.html基于语义的图象检索基于语义的图象检索Semantic Gap，从图像视觉特从图像视觉特 征到图像语义征到图像语义的差异的差异系统对用户特系统对用户特殊、主观

8、和个殊、主观和个性需求的分析性需求的分析和理解和理解用户用户语义特征语义特征视觉特征视觉特征语语义义鸿鸿沟沟用用户户需需 求求图象检索应用示例n艺术画廊艺术画廊/博物馆博物馆n照片存档照片存档n纺织品数据库纺织品数据库n商标库商标库n医学库医学库n人脸库人脸库n设计库设计库n地质数据库地质数据库n卫星图象库卫星图象库 CBIRn整体框架整体框架n主要检索策略主要检索策略 基于颜色特征的图象检索基于颜色特征的图象检索 基于纹理特征的图象检索基于纹理特征的图象检索 基于形状特征的图象检索基于形状特征的图象检索 综合特征检索综合特征检索n相关反馈和自动标注技术相关反馈和自动标注技术 n检索效果评判检

9、索效果评判整体框架整体框架特征提取模块特征提取模块图片图片提取模块提取模块特征匹配模块特征匹配模块查询查询处理模块处理模块数字图像库数字图像库 特征索引库特征索引库n基于内容的图像基于内容的图像检索系统检索系统n基于内容的图像基于内容的图像检索系统结构检索系统结构1）利用图片样本检索（）利用图片样本检索（Query By Example）n可以由用户准备图片样本可以由用户准备图片样本n可以在图片库中浏览可以在图片库中浏览n系统给出各类代表图像系统给出各类代表图像n从系统中随机抽取（检索是一个逐步求精的过程）从系统中随机抽取（检索是一个逐步求精的过程）2）利用草图检索）利用草图检索3）利用图像特

10、征模板检索）利用图像特征模板检索 如颜色特征模板，指定各种颜色的比率等。如颜色特征模板，指定各种颜色的比率等。4）以上方式结合）以上方式结合 先用草图或指定特征获取图片样本，再用图片先用草图或指定特征获取图片样本，再用图片样本检索样本检索CBIR的的4种检索方式种检索方式内容匹配的主要策略内容匹配的主要策略特征的表达特征的表达+特征匹配算法特征匹配算法n颜色特征匹配颜色特征匹配n纹理特征匹配纹理特征匹配n形状特征匹配形状特征匹配内容匹配的主要策略内容匹配的主要策略n颜色特征匹配颜色特征匹配n基本原理：基本原理： 颜色具有一定的稳定性。在许多情况下颜色具有一定的稳定性。在许多情况下 ,颜色是描述

11、一幅图像最简便而有效的特征颜色是描述一幅图像最简便而有效的特征。 用图像的颜色信息作为图像之间进行匹配用图像的颜色信息作为图像之间进行匹配的特征依据。的特征依据。颜色特征的表达颜色特征的表达n直方图直方图n累计直方图累计直方图n主色调主色调n图像的分块直方图图像的分块直方图n颜色对距离直方图颜色对距离直方图 颜色分布颜色分布n颜色比率颜色比率直方图HueRGB累计直方图SIHue 局部累计直方图局部累计直方图n计算直方图距离的方法计算直方图距离的方法n直方图相交法直方图相交法n直方图距离法直方图距离法(欧氏距离欧氏距离)n中心矩法中心矩法n计算直方图距离的方法计算直方图距离的方法n直方图相交法

12、直方图相交法令令: HQ(k)为查询图像为查询图像Q的直方图的直方图 HD(k)为图片库图像为图片库图像D的直方图的直方图则两图之间的匹配值为：则两图之间的匹配值为： L-1 L-1P(Q,D) = minHQ(k), HD(k) / HQ(k) k=0 k=0 n直方图距离法直方图距离法(欧氏距离欧氏距离) L-1 P(Q,D) =( HQ(k)- HD(k)2 )1/2 k=0 颜色矩颜色矩（Color Moments） n图像中任何的颜色分布均可以用它的矩图像中任何的颜色分布均可以用它的矩来表示来表示 ；n矩也是图形处理中常用概念矩也是图形处理中常用概念31)(1(31iNjijipNs

13、NjijipN1121)(1(21iNjijipN一次矩一次矩（mean） 二阶矩（二阶矩（variance）三阶矩（三阶矩（skewness）颜色比率匹配举例颜色比率匹配举例2 2：从：从1 1万张图片中检索的结果万张图片中检索的结果颜色比率匹配举例颜色比率匹配举例2 2：从：从1 1万张图片中检索的结果万张图片中检索的结果彩色布局匹配举例彩色布局匹配举例1 1：从：从1 1万张图片中检索的结果万张图片中检索的结果彩色布局匹配举例彩色布局匹配举例2 2：从：从901901张图片中检索的结果张图片中检索的结果 内容匹配的主要策略内容匹配的主要策略n纹理特征匹配纹理特征匹配n基本原理：基本原理：

14、 虽然图像的纹理特征在局部区域内可能没有规虽然图像的纹理特征在局部区域内可能没有规则则 ,但在但在整体上却往往呈现出一定的规律性整体上却往往呈现出一定的规律性 。 纹理特征主要由纹理的纹理特征主要由纹理的均匀度均匀度、对比度对比度和和方向方向的特征量表示。的特征量表示。n均匀度反映纹理的均匀度反映纹理的尺寸尺寸 n对比度反映纹理的对比度反映纹理的清晰度清晰度n方向反映实体方向反映实体是否有规则的方向性是否有规则的方向性。 内容匹配的主要策略内容匹配的主要策略n纹理特征匹配纹理特征匹配n常用的匹配方法有：常用的匹配方法有：n基于传统数学模型的共生矩阵法基于传统数学模型的共生矩阵法nK-L变换法变

15、换法n纹理谱分析法纹理谱分析法n基于视觉模型的多分辨率分析法基于视觉模型的多分辨率分析法n小波方法小波方法纹理特征匹配举例纹理特征匹配举例1 1：从：从1 1万张图片中检索的结果万张图片中检索的结果纹理特征匹配举例纹理特征匹配举例2 2：从：从1 1万张图片中检索的结果万张图片中检索的结果3.2 内容匹配的主要策略内容匹配的主要策略n形状特征匹配形状特征匹配n基本原理基本原理n形状是刻划物体的本质特征之一形状是刻划物体的本质特征之一 ,可以针对面可以针对面积积 (可用象素点的个数计算可用象素点的个数计算 )、环形性、环形性 (即周长即周长 *周长周长 /面积面积 ,周长也用象素点的个数表示周长

16、也用象素点的个数表示 )、主轴方向、偏心率、圆形率、连通性、正切角主轴方向、偏心率、圆形率、连通性、正切角等形状特征进行匹配。等形状特征进行匹配。n形状检索主要有两种方法形状检索主要有两种方法1）针对）针对图像边缘轮廓线图像边缘轮廓线进行的检索进行的检索2）针对）针对图形矢量特征图形矢量特征进行的检索进行的检索傅立叶描述符、小波描述符、不变矩等傅立叶描述符、小波描述符、不变矩等综合特性检索基于内容的图像检索基于内容的图像检索的早期工作的早期工作n找到所谓的找到所谓的“最佳最佳”特征或特征组合；特征或特征组合；n基于基于“最佳最佳”特征或特征组合提高图像检索精确度特征或特征组合提高图像检索精确度

17、 ；假设已经有了最佳特征假设已经有了最佳特征n用户来选择他所关心的一种或多种图像视觉特征；如用户来选择他所关心的一种或多种图像视觉特征；如果用户选择了多个特征，则还需要用户来指定各特征果用户选择了多个特征，则还需要用户来指定各特征之间的权重；之间的权重； n根据用户所选定的特征和指定的权重，以及相应特征根据用户所选定的特征和指定的权重，以及相应特征的的“最佳最佳”表示，由检索系统找出与用户提交的作为表示，由检索系统找出与用户提交的作为查询范例（查询范例（query example）的图像相似的其他图像。）的图像相似的其他图像。 图象检索中的相关反馈机制图象检索中的相关反馈机制Review of

18、 Multimedia Information Retrieval ModelnObject Representation: a collection of features nQuery Model: query-by-examplenRetrieval Model: matches a query to an object matches each feature individually in each feature space combines answers from each feature to determine the overall similaritynIssues:

19、initial query representation may not capture the users information need.the weights (i.e., relative importance) of individual features may not be known a priori.niiiiageQueryceDisWSimilarity1)Im(tan*nDistanceDistance是检索系统定义的是检索系统定义的距离距离；nQueryQueryi i 和和Imagei分别是例子图象和被检索图象对应分别是例子图象和被检索图象对应的的特征特征；nW

20、Wi i是用户指定的是用户指定的特征权值特征权值，它反映了用户的偏好。，它反映了用户的偏好。相关反馈技术分类相关反馈技术分类 n查询向量优化（逐步查询向量优化（逐步改变目标改变目标） ；n特征权重调整（逐步特征权重调整（逐步限制目标限制目标） 查询向量优化查询向量优化根据用户反馈信息来调整查询点，使之更加接近理根据用户反馈信息来调整查询点，使之更加接近理想查询点，再用调整后的查询点去重新计算检索结想查询点，再用调整后的查询点去重新计算检索结果。在每次相关反馈中，用户都会提交一些他所认果。在每次相关反馈中，用户都会提交一些他所认为的与查询相关或者不相关的例子（文本或图像）为的与查询相关或者不相关

21、的例子（文本或图像），称为，称为反馈正例反馈正例和和反馈负例反馈负例。查询向量优化算法的。查询向量优化算法的具体做法是移动查询点，使之更加靠近反馈正例在具体做法是移动查询点，使之更加靠近反馈正例在特征空间中所对应的点，同时远离反馈负例所对应特征空间中所对应的点，同时远离反馈负例所对应的点，通过这种方式来接近的点，通过这种方式来接近理想查询点理想查询点。大量实验。大量实验结果表明，采用优化后的查询点重新计算的检索结结果表明，采用优化后的查询点重新计算的检索结果明显优于前一次的查询结果。果明显优于前一次的查询结果。 )1()1(NRDiiNDiiRDNDNQQ反馈反馈正例正例（positive e

22、xample） DR和负例和负例（negative example DN ）。可以根据这些）。可以根据这些反馈对初始查询反馈对初始查询Q进行调整，具体做法是提高进行调整，具体做法是提高相关关键字相关关键字/特征向量（正例的关键字）的权特征向量（正例的关键字）的权重，降低无关关键字（负例的关键字）的权重重，降低无关关键字（负例的关键字）的权重。查询向量优化查询向量优化特征权重调整特征权重调整以图像检索为例，每幅图像都对应着特征空间中一以图像检索为例，每幅图像都对应着特征空间中一个个N N维特征向量，而检索开始时特征空间每一维度上维特征向量，而检索开始时特征空间每一维度上的的权重都是相等的权重都是

23、相等的。在相关反馈中，检查所有反馈。在相关反馈中，检查所有反馈正例和负例的特征向量：假设所有反馈正例在某个正例和负例的特征向量：假设所有反馈正例在某个维度上的值相差很大，则说明这个维度和用户查询维度上的值相差很大，则说明这个维度和用户查询的关系并不密切，因此可以的关系并不密切，因此可以降低降低该维度上的权重；该维度上的权重；反之，如果所有正例在某个维度上的值非常接近，反之，如果所有正例在某个维度上的值非常接近，则说明该维度很好地反映了查询中的某个特点，因则说明该维度很好地反映了查询中的某个特点，因此应该此应该提高提高该维度的权重。该维度的权重。特征权重调整特征权重调整图像检索相关反馈过程描述图

24、像检索相关反馈过程描述图像检索相关反馈过程描述图像检索相关反馈过程描述图像检索相关反馈过程描述图像检索相关反馈过程描述1st iterationUserFeedbackDisplay2nd iterationDisplayUserFeedbackEstimation &Display selectionFeedbackto system niiiiageQueryceDisWSimilarity1)Im(tan*n向量优化向量优化改变的是改变的是Query；n特征权重特征权重调整改变的是调整改变的是W；n因此，每次反馈后，与前次检索结果对因此，每次反馈后，与前次检索结果对比，总会发生改

25、变比，总会发生改变n一般而言，一般而言，Distance函数函数保持不变保持不变；相关反馈中的两个重要步骤相关反馈中的两个重要步骤n归一化归一化（使每类特征的值域相同，存在可比使每类特征的值域相同，存在可比性性）n权值调整权值调整（使每个特征的重要性不同，体现使每个特征的重要性不同，体现主观性主观性）反馈与非反馈的区别反馈与非反馈的区别n在非反馈中，可以认为存储在数据库中的图像对象都在非反馈中，可以认为存储在数据库中的图像对象都是客观的，它们的各级特征权重都是固定的。对于查是客观的，它们的各级特征权重都是固定的。对于查询询Q，在以计算机为中心（非交互式）的方法中，也，在以计算机为中心（非交互式

26、）的方法中，也被认为是被认为是客观客观的，即其所有权值也是固定的。由于固的，即其所有权值也是固定的。由于固定了权值，该方法往往不能有效反映出图像的高层语定了权值，该方法往往不能有效反映出图像的高层语义和用户的查询要求。此外，该方法还要求用户在查义和用户的查询要求。此外，该方法还要求用户在查询中指定一组精确的权值，这对于一般用户来说是难询中指定一组精确的权值，这对于一般用户来说是难以做到的。以做到的。n与此相反，采用相关反馈的交互式检索方法将查询看与此相反，采用相关反馈的交互式检索方法将查询看成是成是主观主观的。在检索过程中，它根据用户的反馈信息的。在检索过程中，它根据用户的反馈信息动态调整特征

27、权重，因此更准确地体现了用户的信息动态调整特征权重，因此更准确地体现了用户的信息需求，还解除了要求用户指定权重的负担。需求，还解除了要求用户指定权重的负担。ReferencenMultimedia Analysis and Retrieval System (MARS)Yong Rui et al. Relevance feedback: A powerful tool for interactive content-based image retrieval. - 1998Using weight to capture users preferencenPic-HunterIngemar J

28、. Cox et al. The Bayesian image retrieval system, pichunter, theory, implementation, and psychophysical experiments. - 2000Images are associated with a probability being the users targetBayesian learning难点与挑战n被检索出来的结果总是小部分，能否依赖小部分结果去判断整个图象数据库中正例与反例？nLittle labeled Samples (Negative or Positive)nLarg

29、e Unlabeled Samples;nUnbalance ViewnUsers feedback is sometimes inconsistent, how to deal with?nLong term relevance feedback难点与挑战基于内容的图像检索效果评判基于内容的图像检索效果评判 查全率查全率(precision): 在一次查询过程中，用户所查在一次查询过程中，用户所查到的相关图像的数目和数据库中与目标图像相关到的相关图像的数目和数据库中与目标图像相关的所有图像数目之比；的所有图像数目之比；查准率查准率(recall): 次查询过程中所查到的相关图像次查询过程中所

30、查到的相关图像数目同该次查到的所有图像数目之比，数目同该次查到的所有图像数目之比，用户在评价算法的时候，可以预先选定含有特有目标的图像用户在评价算法的时候，可以预先选定含有特有目标的图像作为一组相关的图像，然后根据返回的结果计算查全率和查作为一组相关的图像，然后根据返回的结果计算查全率和查准率查全率和查准率越高，说明该检索算法的效果越准率查全率和查准率越高，说明该检索算法的效果越好好基于语义的图象检索基于语义的图象检索图像检索系统的用户往往是根据图像的语义内容，直观地进行图像检索系统的用户往往是根据图像的语义内容，直观地进行分类并判别图像之间的相似性。这就包含了高层语义特征，这分类并判别图像之

31、间的相似性。这就包含了高层语义特征，这些浯义内容包含了人对图像内容的理解，这种理解是无法直接些浯义内容包含了人对图像内容的理解，这种理解是无法直接从图像的视觉特征获得的，而需要用一些概念来表达。为了提从图像的视觉特征获得的，而需要用一些概念来表达。为了提高现有基于内容图像检索系统的能力，必须利用更多的语义方高现有基于内容图像检索系统的能力，必须利用更多的语义方面的信息，共中面临的主要困难来自两个方面：面的信息，共中面临的主要困难来自两个方面：提供高层语义的描述方式；提供高层语义的描述方式；有将低层的图像视觉特征映射到高层浯义的方法，有将低层的图像视觉特征映射到高层浯义的方法，即图像语义提取方法

32、即图像语义提取方法 情感语义情感语义空间关系语义空间关系语义场景语义场景语义行为语义行为语义特征语义特征语义对象语义对象语义特定的形状、颜色、纹理特特定的形状、颜色、纹理特征及其组合，如征及其组合，如“红色的圆红色的圆”对象的出现，如对象的出现，如“一匹马，长一匹马，长城城”对象之间的空间关系，如对象之间的空间关系，如“房房子前面的人子前面的人”对象所处的场景，如对象所处的场景，如“日出，日出，沙滩沙滩”图像所表示的行为或活动，如图像所表示的行为或活动，如“一场足球赛一场足球赛”图像给人带来的主观情感，图像给人带来的主观情感，“让人兴奋或让人害怕的图像让人兴奋或让人害怕的图像”逻辑语义逻辑语义抽