图象检索中的相关反馈机制

1、图象检索中的相关反馈机制图象检索中的相关反馈机制基于内容的图像检索基于内容的图像检索的早期工作的早期工作n找到所谓的找到所谓的“最佳最佳”特征或特征组合；特征或特征组合；n基于基于“最佳最佳”特征或特征组合提高图像检索精确度特征或特征组合提高图像检索精确度 ；假设已经有了最佳特征假设已经有了最佳特征n用户来选择他所关心的一种或多种图像视觉特征；如用户来选择他所关心的一种或多种图像视觉特征；如果用户选择了多个特征，则还需要用户来指定各特征果用户选择了多个特征，则还需要用户来指定各特征之间的权重；之间的权重； n根据用户所选定的特征和指定的权重，以及相应特征根据用户所选定的特征和指定的权重，以及相

2、应特征的的“最佳最佳”表示，由检索系统找出与用户提交的作为表示，由检索系统找出与用户提交的作为查询范例（查询范例（query example）的图像相似的其他图像。的图像相似的其他图像。 Review of Multimedia Information Retrieval ModelnObject Representation: a collection of features nQuery Model: query-by-examplenRetrieval Model: matches a query to an object matches each feature individuall

3、y in each feature space combines answers from each feature to determine the overall similaritynIssues: initial query representation may not capture the users information need.the weights (i.e., relative importance) of individual features may not be known a priori.niiiiageQueryceDisWSimilarity1)Im(ta

4、n*nDistanceDistance是检索系统定义的是检索系统定义的距离距离；nQueryQueryi i 和和Imagei分别是例子图象和被检索图象分别是例子图象和被检索图象对应对应的特征；的特征；nW Wi i是用户指定的是用户指定的特征权值特征权值，它反映了用户的偏，它反映了用户的偏好。好。早期检索系统本身还有如下工作早期检索系统本身还有如下工作可以深入可以深入n特征提取；特征提取；n相似度度量函数；相似度度量函数；n检索响应时间提高；检索响应时间提高；根据加州大学伯克利分校根据加州大学伯克利分校Peter Lyman和和Hal Varian最近的报告，全球每年产生的信息量约最近的报告

5、，全球每年产生的信息量约1到到2EB字节字节（exabyte，100亿亿），这些信息的亿亿），这些信息的绝大多数以图像、声音和数据的形态存在，印刷绝大多数以图像、声音和数据的形态存在，印刷文档只占总量的文档只占总量的0.003%。越来越多新出现的信息。越来越多新出现的信息以数字形式创建、存储、检索，超过以数字形式创建、存储、检索，超过90%的信息的信息采用数字方式存储。采用数字方式存储。 假设按照旧有方法计算相似度假设按照旧有方法计算相似度n对一年产生的图象信息检索，查询一张对一年产生的图象信息检索，查询一张图片，按照目前图片，按照目前G级级CPU计算速度，计算速度，29天后返回结果。天后返回

6、结果。总之，传统检索系统称为以总之，传统检索系统称为以计算计算机为中心机为中心的图像检索系统。尽管的图像检索系统。尽管这种方法奠定了这种方法奠定了CBIR（Content-Based Image Retrieval）的基础，但是它的检索性能并的基础，但是它的检索性能并不令人满意不令人满意为什么要引入相关反馈机制为什么要引入相关反馈机制n高层语义概念同底层特征之间的高层语义概念同底层特征之间的差距差距；n人类感知的人类感知的主观性主观性；红色红色旗子旗子苹果苹果房屋房屋More相关反馈技术分类相关反馈技术分类 n查询向量优化（逐步查询向量优化（逐步改变目标改变目标） ；n特征权重调整（逐步特征权

7、重调整（逐步限制目标限制目标） 查询向量优化查询向量优化根据用户反馈信息来调整查询点，使之更加接近理根据用户反馈信息来调整查询点，使之更加接近理想查询点，再用调整后的查询点去重新计算检索结想查询点，再用调整后的查询点去重新计算检索结果。在每次相关反馈中，用户都会提交一些他所认果。在每次相关反馈中，用户都会提交一些他所认为的与查询相关或者不相关的例子（文本或图像）为的与查询相关或者不相关的例子（文本或图像），称为，称为反馈正例反馈正例和和反馈负例反馈负例。查询向量优化算法的。查询向量优化算法的具体做法是移动查询点，使之更加靠近反馈正例在具体做法是移动查询点，使之更加靠近反馈正例在特征空间中所对应

8、的点，同时远离反馈负例所对应特征空间中所对应的点，同时远离反馈负例所对应的点，通过这种方式来接近理想查询点。大量实验的点，通过这种方式来接近理想查询点。大量实验结果表明，采用优化后的查询点重新计算的检索结结果表明，采用优化后的查询点重新计算的检索结果明显优于前一次的查询结果。果明显优于前一次的查询结果。 特征权重调整特征权重调整以图像检索为例，每幅图像都对应着特征空间中一以图像检索为例，每幅图像都对应着特征空间中一个个N N维特征向量，而检索开始时特征空间每一维度上维特征向量，而检索开始时特征空间每一维度上的的权重都是相等权重都是相等的。在相关反馈中，检查所有反馈的。在相关反馈中，检查所有反馈

9、正例和负例的特征向量：假设所有反馈正例在某个正例和负例的特征向量：假设所有反馈正例在某个维度上的值相差很大，则说明这个维度和用户查询维度上的值相差很大，则说明这个维度和用户查询的关系并不密切，因此可以的关系并不密切，因此可以降低降低该维度上的权重；该维度上的权重；反之，如果所有正例在某个维度上的值非常接近，反之，如果所有正例在某个维度上的值非常接近，则说明该维度很好地反映了查询中的某个特点，因则说明该维度很好地反映了查询中的某个特点，因此应该此应该提高提高该维度的权重。该维度的权重。1st iterationUserFeedbackDisplay2nd iterationDisplayUser

10、FeedbackEstimation &Display selectionFeedbackto system Similarity Measure: Audio Clip RetrievalRelevance Feedback: Audio Feature LevelRetrieval result is updated according to features weightAudio FeatureWeightsPreferredRelevance Feedback: Audio Clip LevelUser could choose preference audio clip f

11、or relevance feedbackPreferredUser PreferenceRetrieval result is updated according to users preference Relevance Feedback ResultsniiiiageQueryceDisWSimilarity1)Im(tan*n向量优化改变的是向量优化改变的是Query；n特征权重调整改变的是特征权重调整改变的是W；n因此，每次反馈后，与前次检索结果对因此，每次反馈后，与前次检索结果对比，总会发生改变比，总会发生改变n一般而言，一般而言，Distance函数函数保持不变保持不变；基于查询

12、向量的相关反馈基于查询向量的相关反馈n来源于文本检索；来源于文本检索；文本检索模型文本检索模型文本信息检索模型包括一个文档模型（文本信息检索模型包括一个文档模型（怎样表怎样表示文档示文档）、一个查询模型（）、一个查询模型（如何进行查询如何进行查询）和）和一个计算文档和查询之间相似度的模型（一个计算文档和查询之间相似度的模型（如何如何计算相似度计算相似度） 三个模型的解释三个模型的解释n文档模型（一般是提取关键字，组成文档模型（一般是提取关键字，组成向向量量）；）；n检索模型（检索模型（基于关键字基于关键字进行检索，图象进行检索，图象是是基于图象例子基于图象例子的）；的）；n相似度匹配模型（计算

13、关键字或特征之相似度匹配模型（计算关键字或特征之间的间的欧拉距离欧拉距离）与相关反馈密切的技术与相关反馈密切的技术n文本关键字文本关键字权重权重计算计算n文本检索相关反馈模型文本检索相关反馈模型 所谓权重，就是给不同的关键字赋予不同的所谓权重，就是给不同的关键字赋予不同的重要性重要性文本关键字权重计算文本关键字权重计算n在文本检索模型中，每个文档都是由在文本检索模型中，每个文档都是由关键字的集合关键字的集合来来表示的，而每个关键字的权重是根据关键字对文档的表示的，而每个关键字的权重是根据关键字对文档的相对重要相对重要程度来确定的；程度来确定的；n假设假设tk (k=1，N) 代表字典里的关键字

14、（代表字典里的关键字（N为字典中为字典中关键字的数量），而关键字的数量），而ik为文档为文档Di中关键字中关键字tk的权重。的权重。 ,.,.,1iNikiiD一篇文档就可以如上表示一篇文档就可以如上表示文本关键字权重计算文本关键字权重计算n如果某个关键字如果某个关键字t tk k 在文档在文档D Di i中的出现频率非常高，则中的出现频率非常高，则该关键字的权重该关键字的权重ikik也应该很高。引入也应该很高。引入关键字频率关键字频率tf（term frequency）来反映这种变化关系；来反映这种变化关系；n同时，仅仅依赖出现频率同时，仅仅依赖出现频率tf不足以正确估计关键字的权不足以正确

15、估计关键字的权重。比如，某个关键字在几乎所有的文档中都是反复重。比如，某个关键字在几乎所有的文档中都是反复地出现，即使它的出现频率很高，也不能给它以很高地出现，即使它的出现频率很高，也不能给它以很高的权重，因为它不具有将一个文档的权重，因为它不具有将一个文档区别区别于另一个的分于另一个的分辨能力；辨能力；n引入了引入了逆文档频率因子逆文档频率因子idf（inverse document frequency）来体现这种关系来体现这种关系 需要考虑两个因素需要考虑两个因素文本关键字权重计算文本关键字权重计算计算权重的两个因素计算权重的两个因素Niikktttf1/1log2kkdfMidfkkki

16、dftfW*关键字关键字k在某个文章的重要性在某个文章的重要性dfk 是包含关键字是包含关键字tk的文档数目，而的文档数目，而M是所有文档的数目，表示了区别度是所有文档的数目，表示了区别度关键字关键字k k在文档中的最终权重，这在文档中的最终权重，这就是广泛采用的就是广泛采用的tfidf模型模型 基于权重的文档相似度比较基于权重的文档相似度比较,.,.,1qNqkqQ,.,.,1iNikiiDQDDQQDSim),(查询文本（可以查询文本（可以看成权重相等的看成权重相等的关键字）关键字）被检索文本被检索文本相似度相似度基于查询向量的相关反馈基于查询向量的相关反馈理论阐述理论阐述在向量模型中，查

17、询在向量模型中，查询Q中的中的关键字权重关键字权重qk是非常重要是非常重要的，因为的，因为D和和Q的相似度是以它为基础的。但是，由用的相似度是以它为基础的。但是，由用户根据他的查询需求来主观地确定关键字权重是比较户根据他的查询需求来主观地确定关键字权重是比较困难的。初始查询时的查询向量困难的。初始查询时的查询向量Q一般是通过比较简单一般是通过比较简单的方式确定的，比如认为所有关键字的权重都是相同的方式确定的，比如认为所有关键字的权重都是相同的。因此，初始的查询向量的。因此，初始的查询向量Q无法精确地反映用户的查无法精确地反映用户的查询需求。为了克服这个困难，人们使用了相关性反馈询需求。为了克服

18、这个困难，人们使用了相关性反馈的技术。相关性反馈是在查询过程中，根据用户对以的技术。相关性反馈是在查询过程中，根据用户对以前返回的查询结果的反馈意见来前返回的查询结果的反馈意见来自动调整当前的查询自动调整当前的查询向量向量，使之更加接近用户真实的信息需求。，使之更加接近用户真实的信息需求。基于查询向量的相关反馈基于查询向量的相关反馈本质本质本质是本质是改变关键字的权重改变关键字的权重；由于文档就是使用关键字权重来表示的，因此也就是由于文档就是使用关键字权重来表示的，因此也就是改变了查询目标改变了查询目标具体实现手段具体实现手段假设在所有被检索文档中，已经知道与查假设在所有被检索文档中，已经知道

19、与查询相关的文档集合询相关的文档集合DR，以及与查询不相以及与查询不相关的文档集合关的文档集合DN，则可以通过以下的公则可以通过以下的公式来计算最优的查询向量式来计算最优的查询向量QoptNRDiiRTDiiRoptDNNDNQ11问题有二个：问题有二个：一是如何知道相关文档和不相关文档一是如何知道相关文档和不相关文档二是被检索信息很大时，相关与不相二是被检索信息很大时，相关与不相关文档难以全部获取关文档难以全部获取简化的实现手段简化的实现手段在实际中在实际中DR和和DN都无法事先知道。但是，可以从用都无法事先知道。但是，可以从用户的反馈中得到户的反馈中得到DR和和DN的的近似值近似值。 假设

20、用户在上一次返回的查询结果中，选取了一些他假设用户在上一次返回的查询结果中，选取了一些他认为的相关文档认为的相关文档DR和无关文档和无关文档DN，即所谓的反馈即所谓的反馈正正例例（positive example）和和负例负例（negative example）。）。将将DR和和DN分别作为分别作为DR和和DN的近似值。因此，可以根的近似值。因此，可以根据这些反馈对初始查询据这些反馈对初始查询Q进行调整，具体做法是提高相进行调整，具体做法是提高相关关键字（正例的关键字）的权重，降低无关关键字关关键字（正例的关键字）的权重，降低无关关键字（负例的关键字）的权重。（负例的关键字）的权重。)1()1

21、(NRDiiNDiiRDNDNQQ根据新的查询向量，继续开始查询，直到满根据新的查询向量，继续开始查询，直到满意结果得到意结果得到niiiiageQueryceDisWSimilarity1)Im(tan*向量优化算法改变的查询向量！向量优化算法改变的查询向量！根据新的查询向量，继续开始查询，直到满根据新的查询向量，继续开始查询，直到满意结果得到意结果得到)1()1(NRDiiNDiiRDNDNQQ向量优化在图象相关反馈中应用向量优化在图象相关反馈中应用图象中不存在图象中不存在关键字关键字；如何将视觉特征表示如何将视觉特征表示关键字权重形式关键字权重形式基于这个权重来表示整幅图象基于这个权重来

22、表示整幅图象难点难点,.,.,1iNikiifffF 图像的特征向量表达图像的特征向量表达 ,.,.,1iNikiifffF表示图象有表示图象有N类类特征；特征；同一个特征向量的不同分量同一个特征向量的不同分量fik的的物理含义物理含义可能不同可能不同，比如常见的表现图像纹理的特征向量中，有的分，比如常见的表现图像纹理的特征向量中，有的分量可能代表图像对比度，有的则代表粗糙度等量可能代表图像对比度，有的则代表粗糙度等；不同分量的不同分量的值域范围值域范围因此可能是千差万别的因此可能是千差万别的如下定义两个人之间的相似度如下定义两个人之间的相似度n年纪年纪+毛细孔数目毛细孔数目+体重体重+身高，

23、以这些性身高，以这些性质的总和来比较两个人之间的相似性；质的总和来比较两个人之间的相似性；n25+1000000000+100+171=毛细孔数目毛细孔数目n值域的不同使得某些分量完全可以不需值域的不同使得某些分量完全可以不需要了要了；n统计学中，一般要对所有分量做归一化统计学中，一般要对所有分量做归一化处理处理将视觉特征表示为权重形式将视觉特征表示为权重形式nRui和和Huang针对图像检索领域提出了针对图像检索领域提出了分量重分量重要性因子要性因子ci（component importance）和和逆集逆集合重要性因子合重要性因子ici（inverse collection importa

24、nce）的概念的概念nci因子反映了某个分量在一个特征向量中的因子反映了某个分量在一个特征向量中的相相对重要程度对重要程度，而，而ici因子体现了某个分量将一个因子体现了某个分量将一个特征向量区别于集合中其他图像的特征向量的特征向量区别于集合中其他图像的特征向量的分辨能力分辨能力如何计算如何计算分量重要性因子分量重要性因子n为了估计为了估计ci因子，就必须注意到因子，就必须注意到ci和分量值和分量值fik具具有非常相近的含义，前者表现的是某个分量在有非常相近的含义，前者表现的是某个分量在向量中的向量中的相对重要性相对重要性，后者则表现了某种特征，后者则表现了某种特征在图像中出现的在图像中出现的

25、显著程度大小显著程度大小 n为了消除分量之间因为了消除分量之间因值域不同值域不同所带来的不可比所带来的不可比较性，采用如下较性，采用如下归一化归一化方法来从方法来从fik值计算值计算ci： ,.,.,11NjNkikiimeanfmeanfmeanfci其中其中meank表示分量表示分量fik在所有图像的特征向量中在所有图像的特征向量中的的平均值平均值 如何计算如何计算逆集合重要性因子逆集合重要性因子)2(log),.,2(log),.,2(log2212viNikiiici其中其中ik为所有图像的为所有图像的ci向量的第向量的第k个分量值的个分量值的标准方差标准方差。从该公式中可以看到，如果

26、某个分量值在所有图像中都十从该公式中可以看到，如果某个分量值在所有图像中都十分接近，则它的标准方差就比较小；相反，如果某个分量分接近，则它的标准方差就比较小；相反，如果某个分量值在不同图像之间差别很大，则它的标准方差也很大。标值在不同图像之间差别很大，则它的标准方差也很大。标准方差具有的这种规律使准方差具有的这种规律使ici因子倾向于那些具有分辨不同因子倾向于那些具有分辨不同图像能力的分量，而减弱了那些没有分辨能力的分量的影图像能力的分量，而减弱了那些没有分辨能力的分量的影响。由此可见，响。由此可见，标准方差是衡量标准方差是衡量ici因子的一个很好的尺度因子的一个很好的尺度。图象图象1图象图象

27、2图象图象3图象图象4)5.0,3.0,2.0()34.0,45.0,21.0()05.0,75.0,2.0()1.0,7.0,2.0(ci因子表示图像中同类特征的因子表示图像中同类特征的重要性重要性，而，而ici表表示这个特征将自己所属图象与其他图象示这个特征将自己所属图象与其他图象区区别别开来的能力开来的能力图象特征的权重表示图象特征的权重表示iiiiciciW在将特征向量在将特征向量Fi转化为权重向量转化为权重向量Wi后，就后，就可以采用基于文本关键字方式所描述的相可以采用基于文本关键字方式所描述的相关反馈模型来对图像检索结果进行反馈和关反馈模型来对图像检索结果进行反馈和优化优化基于特征

28、权重改变的相关反馈基于特征权重改变的相关反馈n向量优化方法是根据用户反馈来向量优化方法是根据用户反馈来优化查优化查询向量询向量Q，而不是调整特征权重。事实上而不是调整特征权重。事实上，图像特征所有分量的权重在检索开始，图像特征所有分量的权重在检索开始前就已经计算好了，在相关反馈的过程前就已经计算好了，在相关反馈的过程中并不随之改变中并不随之改变n调整特征权重为途径的相关反馈方法则调整特征权重为途径的相关反馈方法则则通过动态地则通过动态地调整图像特征的权重调整图像特征的权重来达来达到改进检索结果的目的到改进检索结果的目的 niiiiageQueryceDisWSimilarity1)Im(tan

29、*特征权重相关反馈结构特征权重相关反馈结构 nD是原始图像数据，例如是原始图像数据，例如JPEG格式的图像格式的图像nF=fi是此图像底层特征的是此图像底层特征的集合集合，这些特征包，这些特征包括颜色、纹理和形状特征等括颜色、纹理和形状特征等nR=rij是某种给定特征是某种给定特征fi的表达形式，如颜色直的表达形式，如颜色直方图和颜色矩都是颜色特征的表达方式。每一方图和颜色矩都是颜色特征的表达方式。每一种特征表达种特征表达rij本身可能就是由许多分量组成的本身可能就是由许多分量组成的向量，可以写成如下形式：向量，可以写成如下形式： 定义图像的三元组定义图像的三元组RFDII,.,.,1ijKi

30、jkijijrrrr颜色颜色颜色相关图颜色相关图颜色矩颜色矩颜色直方图颜色直方图Bin1Bin1BinkBinkFiFiRijRijRijkRijk模型优点模型优点n该模型允许采用多个特征（及特征表达）对图该模型允许采用多个特征（及特征表达）对图像进行描述，每个特征都有动态权值与之对应像进行描述，每个特征都有动态权值与之对应n图像特征权值存在于上述模型的每一级上，图像特征权值存在于上述模型的每一级上，Wi、Wij和和Wijk分别对应于图像特征分别对应于图像特征fi、特征表达特征表达rij和特征表达的每一分量和特征表达的每一分量rijk。n相关反馈就是找到最能体现用户信息需要的每相关反馈就是找到

31、最能体现用户信息需要的每个特征个特征恰当权值恰当权值n以前章节中所说的图像特征等价于上述图像模以前章节中所说的图像特征等价于上述图像模型中的特征表达形式型中的特征表达形式rij，模型中的图像特征模型中的图像特征fi指指的是的是抽象概念上抽象概念上的图像特征，而并非具体的数的图像特征，而并非具体的数学表达形式。学表达形式。 相关反馈涉及的因素相关反馈涉及的因素n一个一个图像模型图像模型和和一组相似度算法一组相似度算法M=mij一起构一起构成了成了CBIR模型模型n相似度算法相似度算法M是用来计算两个图像对象之间的是用来计算两个图像对象之间的相似度。不同的特征可能采用不同的相似度算相似度。不同的特

32、征可能采用不同的相似度算法，例如法，例如欧拉距离欧拉距离适用于纹理向量特征，而适用于纹理向量特征，而直直方图相交方图相交适用于颜色直方图。适用于颜色直方图。nMij表示对图象表示对图象i的第的第j类特征所赋予的相似度函类特征所赋予的相似度函数数 图像检索相关反馈过程描述图像检索相关反馈过程描述图像检索相关反馈过程描述图像检索相关反馈过程描述图像检索相关反馈过程描述图像检索相关反馈过程描述 Wijk Wi1k W11 W1j Wi1 Wij W11k fi f1 I ri1 r1j r11 rij r11 r1j rij ri1 f1 fi Q 图 像 特 征 特 征 表 示 相 似 度 度 量

33、 特 征 表 示 特 征 查 询 W1jk 反馈与非反馈的区别反馈与非反馈的区别n在反馈中，可以认为存储在数据库中的图像对在反馈中，可以认为存储在数据库中的图像对象都是客观的，它们的各级特征权重都是固定象都是客观的，它们的各级特征权重都是固定的。对于查询的。对于查询Q，在以计算机为中心（非交互在以计算机为中心（非交互式）的方法中，也被认为是式）的方法中，也被认为是客观客观的，即其所有的，即其所有权值也是固定的。由于固定了权值，该方法往权值也是固定的。由于固定了权值，该方法往往不能有效反映出图像的高层语义和用户的查往不能有效反映出图像的高层语义和用户的查询要求。此外，该方法还要求用户在查询中指询

34、要求。此外，该方法还要求用户在查询中指定一组精确的权值，这对于一般用户来说是难定一组精确的权值，这对于一般用户来说是难以做到的。以做到的。n与此相反，采用相关反馈的交互式检索方法将与此相反，采用相关反馈的交互式检索方法将查询看成是查询看成是主观主观的。在检索过程中，它根据用的。在检索过程中，它根据用户的反馈信息动态调整特征权重，因此更准确户的反馈信息动态调整特征权重，因此更准确地体现了用户的信息需求，还解除了要求用户地体现了用户的信息需求，还解除了要求用户指定权重的负担。指定权重的负担。 红色红色旗子旗子苹果苹果房屋房屋More客观客观主观主观相关反馈相关反馈相关反馈中的两个重要步骤相关反馈中

35、的两个重要步骤n归一化（归一化（使每类特征的值域相同，存在可比使每类特征的值域相同，存在可比性性）n权值调整（权值调整（使每个特征的重要性不同，体现使每个特征的重要性不同，体现主观性主观性）为什么要归一化为什么要归一化n图象相似度是通过每个特征相似性的图象相似度是通过每个特征相似性的线线性组合性组合得到的得到的 jijijirSWfSiiifSWS为什么要归一化为什么要归一化在线性组合中，需要假设每一特征的相似度在线性组合中，需要假设每一特征的相似度S(rij)都在都在同一值域区间同一值域区间内，即从内，即从0到到1之间，否则之间，否则将各个将各个S(rij) 进行线形组合来计算进行线形组合来

36、计算S就变得没有意就变得没有意义义因为如果某一因为如果某一S(rij)的值域范围较大，那么它就的值域范围较大，那么它就削弱削弱了其他值域较小的了其他值域较小的S(rij)对对S的贡献。的贡献。同样，在采用同样，在采用mij计算计算S(rij)之前，也同样需要将之前，也同样需要将该特征向量的各分量该特征向量的各分量rijk进行归一化操作。进行归一化操作。把对把对rijk的归一化称为的归一化称为特征内归一化特征内归一化（在某个特（在某个特征征rij内部进行），而对内部进行），而对S(rij)的归一化为的归一化为特征间归特征间归一化一化（在不同的特征之间进行）。（在不同的特征之间进行）。特征内部的归

37、一化特征内部的归一化 n特征内部归一化过程的目的在于使特征向量特征内部归一化过程的目的在于使特征向量rij的的各分量各分量rijk具有同等的重要性。具有同等的重要性。 n由于特征向量的不同分量可能具有完全不同的由于特征向量的不同分量可能具有完全不同的物理含义，它们各自的变化幅度也可能有很大物理含义，它们各自的变化幅度也可能有很大差异，如果不经过归一化操作直接用来计算相差异，如果不经过归一化操作直接用来计算相似度就会引起很大似度就会引起很大偏差偏差。n因此有必要将特征向量的各分量归一化到因此有必要将特征向量的各分量归一化到一致一致的范围中去。的范围中去。 特征内部的归一化过程特征内部的归一化过程

38、 特征内部的归一化过程特征内部的归一化过程 特征内部的归一化过程特征内部的归一化过程 假设假设3张图片，其直方图特征为张图片，其直方图特征为5645112899152783421249120200内部归一化就是将每一列的值进行操作，内部归一化就是将每一列的值进行操作，保证每个值最终属于保证每个值最终属于0，1Bin1Bin2Bin3Bin4图象1图象2图象35645112899152783421249120200Bin1Bin2Bin3Bin4图象1图象2图象3第一列的归一化结果： （112-9）/（112-9）=1（89-9）/（112-9）=0.78 （9-9）/（112-9）=0特征之间

39、的归一化特征之间的归一化 n特征内部归一化保证了特征向量特征内部归一化保证了特征向量rij中的中的每一分每一分量量rijk具有具有相同相同的重要性的重要性n特征间归一化保证了构成总相似度特征间归一化保证了构成总相似度S中的中的每一每一特征特征相似度相似度S(rij)具有具有相同相同的重要性的重要性n由于相似度算法由于相似度算法mij的区别，由的区别，由mij计算所得特征计算所得特征相似度相似度S(rij)的值可能处在差别很大的取值范围的值可能处在差别很大的取值范围内。为了避免任何一个内。为了避免任何一个S(rij)由于具有较大的取由于具有较大的取值范围而值范围而减弱减弱了其他了其他S(rij)

40、值在值在S中的相对重要中的相对重要性，必须进行特征之间的归一化操作性，必须进行特征之间的归一化操作 特征内归一化使得特征内归一化使得图象直方图图象直方图每个每个Bin值域为值域为0，1；特征之间归一化保证对；特征之间归一化保证对应的应的颜色和纹理颜色和纹理相似性在相似性在0，1之间之间特征之间的归一化过程特征之间的归一化过程 特征之间的归一化过程特征之间的归一化过程 特征之间的归一化过程特征之间的归一化过程 总结总结n特征内部的归一使得每类特征内部值位特征内部的归一使得每类特征内部值位于于0，1之间，如颜色直方图的几个之间，如颜色直方图的几个Bin；n特征之间的归一使得每类特征的相似度特征之间

41、的归一使得每类特征的相似度位于位于0，1之间，如色彩总相似为之间，如色彩总相似为0.6，纹理总相似为纹理总相似为0.7等等；等等；ijkijijijWrmrS,jijijirSWfSiiifSWS图象特征权值的调整图象特征权值的调整n经过上述的特征内部和特征之间的归一经过上述的特征内部和特征之间的归一化过程后，特征向量化过程后，特征向量rij中的每个分量中的每个分量rijk都都具有具有相同的重要性相同的重要性，总相似度，总相似度S中的中的每个每个特征相似度特征相似度S(rij)也具有了相同的重要性也具有了相同的重要性。这种客观公正性是非常重要的，从而。这种客观公正性是非常重要的，从而对某个特定

42、查询时，来动态调整（特征对某个特定查询时，来动态调整（特征内部或特征之间）权重以反映特征的不内部或特征之间）权重以反映特征的不同的重要性。同的重要性。n权值调整分为权值调整分为特征之间的权重调整特征之间的权重调整和和特特征内部的权值调整征内部的权值调整 调整调整Wij（特征之间的权重）特征之间的权重） nWij对应于对应于不同特征向量不同特征向量rij的权重的权重，它反，它反映了用户对总相似度中各特征的注重程映了用户对总相似度中各特征的注重程度的大小，动态调整度的大小，动态调整Wij能够使用户更准能够使用户更准确的表达自己的查询需求。确的表达自己的查询需求。调整调整Wij（特征之间的权重）特征

43、之间的权重） 调整调整Wij（特征之间的权重）特征之间的权重） 调整调整Wijk（特征内部的权值）特征内部的权值） nWijk反映的是反映的是分量分量rijk对特征向量对特征向量rij的贡献的贡献大小。例如，在小波纹理特征中，子波大小。例如，在小波纹理特征中，子波带的平均值可能被光照情况破坏，而其带的平均值可能被光照情况破坏，而其标准方差则与光照情况无关。从这一角标准方差则与光照情况无关。从这一角度考虑，应该把较大的权值赋给标准方度考虑，应该把较大的权值赋给标准方差分量，而把较小的权值赋给平均值分差分量，而把较小的权值赋给平均值分量。允许特征分量具有不同权重这一特量。允许特征分量具有不同权重这

44、一特点使系统能够构造更为准确可靠的特征点使系统能够构造更为准确可靠的特征，从而获得更好的检索性能。，从而获得更好的检索性能。权重调整相关反馈优点权重调整相关反馈优点 以往以计算机为中心的方法力图找到一种以往以计算机为中心的方法力图找到一种“最佳最佳”的通用特征。与之相比，相关的通用特征。与之相比，相关反馈技术则致力于如何组织多种特征，反馈技术则致力于如何组织多种特征，使得在恰当环境中采用（或强调）合适使得在恰当环境中采用（或强调）合适的特征。多特征方法使系统能更好的模的特征。多特征方法使系统能更好的模拟用户的拟用户的感知主观性感知主观性。多特征性多特征性权重调整相关反馈优点权重调整相关反馈优点

45、 与以计算机为中心的全自动化方法相比与以计算机为中心的全自动化方法相比，此方法本质上是交互的。，此方法本质上是交互的。交互性交互性使系使系统能够同时发挥计算机和人的特长，取统能够同时发挥计算机和人的特长，取长补短，从而获得更好的检索效果。长补短，从而获得更好的检索效果。交互性交互性权重调整相关反馈优点权重调整相关反馈优点解除用户的负担解除用户的负担n在查询提交阶段，不再需要由用户指定精确的在查询提交阶段，不再需要由用户指定精确的权值。用户只需和系统交互作用，在系统返回权值。用户只需和系统交互作用，在系统返回的检索结果中指出他所认为的与查询相关或不的检索结果中指出他所认为的与查询相关或不相关的图

46、像。根据用户的反馈，系统能够动态相关的图像。根据用户的反馈，系统能够动态调整相应特征的权值。调整相应特征的权值。解除计算机的负担解除计算机的负担n不再需要依赖计算机去理解高层语义，而是根不再需要依赖计算机去理解高层语义，而是根据用户反馈，系统自动精化包含着高层语义的据用户反馈，系统自动精化包含着高层语义的特征权值。特征权值。动态性动态性ReferencenMultimedia Analysis and Retrieval System (MARS)Yong Rui et al. Relevance feedback: A powerful tool for interactive content-based image retrieval. - 1998Using weight to capture