《信息存储与检索》课件-第九章 信息检索评价与实验

第九章信息检索评价与实验

本章目录9.1引言9.2

信息检索相关性理论9.3

信息检索评价指标体系9.4

信息检索评价的过程与方法9.5

经典的信息检索评价实验9.6

信息检索评价实验平台：TREC信息存储与检索》第一节引言信息检索系统评价的内容包括：资源的收录状况、数据的质量、检索的功能与效率、系统的功能以及检索结果的反馈形式等。

数据的评价主要从两个方面考察：一是数据的录入质量，如数据的错误率，数据的结构是否合理，数据的完整性如何，数据的著录是否完备等；二是数据的加工质量，如数据的加工深度，数据的标引质量，数据的分类是否合理等。信息存储与检索》第一节

引言检索的功能与效率的评价主要考察检索入口能否满足用户的需求，检索的组配是否丰富，查准率和查全率是否得当，检索的响应速度如何等。检索功能和效率与检索算法有密切的关系，由于检索算法难以分辨出优劣，因此，可以通过检索界面、查全率和查准率以及检索响应时间等来判断检索的效率。信息存储与检索》第一节

引言近年来，信息检索评价研究已从系统的输入方面的特性逐渐向检索者输入方面的特性转移，开始注重研究检索专家的特性（如教育背景、经验、个性等）与检索成功率之间的关系。有些评价者还考察了采用不同检索键所引起的变化，例如，分别用题名关键词、文摘关键词、叙词、原文中的词，或者分别用主题词与引文对相同的课题进行检索时，检索结果之间的差异。信息存储与检索》第一节

引言整体而言，信息检索评价活动范围扩大了，评价水平在不断提高，积累了大量有价值的试验或调查数据，初步揭示了检索系统及其各组成部分的运行机制及对系统性能的影响。不过需要指出的是，就目前状况而言，我们对用户需求相关性判断和系统行为的本质方面的探索还显得不足，有些评价方法还需要进一步完善，评价结果的解析和验证也有待进一步深入和加强。信息存储与检索》第二节

信息检索相关性理论9.2.1相关性概念及其特征19.2.2影响相关性判断的变量29.2.3面向系统的相关性339.2.4面向用户的相关性4信息存储与检索》

9.2.1相关性概念及其特征

（一）相关性的概念相关性问题的出现：1958年，著名学者B.C.Vickery在ICSI（theInternationalConferenceforScientificInformation）上的两篇会议论文引发对“相关性”概念的最初讨论，“相关性”问题由此得到明确提出。所谓“相关性判断”，是指信息检索中判断者在某一时刻对某种相关性的一种赋值操作。这个定义中包含了相关性判断的四个基本组成要素，分别是：相关性类型、判断者类型、判断时间和判断结果表达方式。信息存储与检索》

9.2.1相关性概念及其特征

相关性类型，指基于何种相关性进行判断；判断者类型，指实施判断的主体，通常分为用户（user）与非用户（non-user）两大类，其中，用户指检索系统的真实用户，非用户则包括检索系统设计者、检索中介等在内的各类人员；判断时间，很明显在不同的时间点，相关性判断的结果可能是不同的，所以判断时间也是相关性判断的基本组成要素；判断结果的表达方式，指对相关性的赋值方法。信息存储与检索》

9.2.1相关性概念及其特征

（一）相关性的特征1关系2直觉3多维4动态信息存储与检索》

9.2.2影响相关性判断的变量

（一）文献与文献表示文献与文献表示是检索的对象，对人的相关性判断有直接影响。人们比较了题名、题录、文摘和全文对相关性判断的不同影响，分析了文献的风格和内容专指性与相关性判断的联系，发现：文献的主题内容是影响判断的最重要因素。文献内容愈具体，愈有利于相关性判断。文献的风格也可能影响判断。对同一文献，分别根据其题名、题录、文摘、全文来判断与特定提问的相关性，判断结果有差异。信息存储与检索》

9.2.2影响相关性判断的变量

（二）提问提问促使文献作为答案输出、提问的专指性，判断者在不同研究阶段的知识状态以及提问的措辞等方面对判断均有影响。判断者对提问本身了解越多，对提问与答案的推断越深入，判断的一致性就越高。提问文本与相关文献文本之间似乎存在着较高的相似性和关联性，而在提问与非相关文献文本之间却未发现这种相似性。此外，判断者对提问本身知道得愈少，判断文献为相关的倾向性就愈大。信息存储与检索》

9.2.2影响相关性判断的变量

（三）判断环境与条件这里主要指判断时间、人们对相关性的解释及其它环境因素。一些实验发现：实验条件的变化可能导致判断的变化；判断环境中的压力（如时间紧迫感）越大，会导致相关率越高；对相关性的不同解释并不一定导致不同的相关率。信息存储与检索》

9.2.2影响相关性判断的变量

（四）判断表达模式这个变量是指供判断者用来表达判断的方式或手段，如文献相关性的等级划分、分支设置方法等。一些实验发现：不同的相关性分级方法对判断差异影响很小：分级越多，判断越方便；问卷方式对表达判断较有利；对一组相关度较高的文献，及时判断者的背景不同，也可望使判断达到显著的一致性。信息存储与检索》

9.2.2影响相关性判断的变量

（五）判断者的特性这里主要指判断者的教育程度，特别是专业教育水平和身份。一些试验发现：判断者的专业知识越高深，相关性判断的一致性就越好；高级专业人员的判断一致度为0.55-0.75，情报服务人员为0.45-0.60；专业知识越少，相关性判断就越宽大；非专业人员（如图书情报人员）倾向于赋予较高的相关性比例；文献利用目的不同，可能会产生判断差异；判断相关不同于判断非相关，前者的一致率低于后者。信息存储与检索》9.2.3面向系统的相关性面向系统的相关性（system-orientedrelevance）是把信息检索定位于一种单方向的信息处理过程，系统根据用户的提问输出检索结果，用户是信息的接受者。这种理解把相关性看做是系统方面的属性，用户提出的查询请求只是被拿来与已经确定的文档相比较，二者之间匹配、比较的主要标准就是文档内容与提问的“主属性”（topicality）。因此，系统角度的相关性也被称为“主题相关”或“算法相关”。信息存储与检索》9.2.4面向用户的相关性面向用户的相关性（user-orientedrelevance）主要观察并考虑用户对检索结果的反应，是系统检索结果向用户需求的再投射。随着检索系统日益广泛的应用及专家检索模式向最终用户检索模式的转变，检索评价研究开始更多地思考相关性判断中人的因素和影响。事实上，信息检索不应是一个单向的处理过程，而是一个不断迭代、交互的人机对话过程。在检索性能评价过程中，脱离用户谈相关是不现实的，也是不可能的。一篇检出文档是否具有相关性，很大程度上取决于用户的主观判断，往往涉及用户的知识状态（stateofknowledge），待处理和解决的问题、任务及所处的情境或者用户的目标、动机等众多因素。信息存储与检索》第三节

信息检索评价指标体系

9.3.1系统性能指标19.3.2系统效益指标29.3.3费用／效果指标339.3.4费用／效益指标49.3.5Web检索系统性能评价存在的问题5信息存储与检索》9.3.1系统性能指标传统的信息检索效果评价，通常以查全率、查准率和响应时间3个指标为主

信息存储与检索》9.3.1系统性能指标（一）查全率当进行检索时，检索系统把文献分成两部分，—部分是与检索策略相匹配的文献，并被检索出来，用户根据自己的判断将其分成相关的文献(命中)a和不相关的文献(噪音)b；另一部分是未能与检索策略相匹配的文献，根据判断也可将其分成相关文献(遗漏)c和不相关文献(正确地拒绝)d。一般情况下，检索出来的文献数量为(a+b)，相对整个系统规模来说，是很小的，而未被检出的文献(c+d)数量则非常大。此时，查全率为：

信息存储与检索》9.3.1系统性能指标查全率是指从检索系统检出的与某课题相关的文献信息数量与检索系统中实际与该课题相关的文献信息总量之比率。对于数据库检索系统，查全率为检索出的款目数与数据库中满足用户检索式需求的款目数之比；而对因特网信息检索来说，文献总量是很难计算的，甚至连估算都困难。要按传统的方式计算查全率，就要检验检索工具反馈的所有检索结果，而检索结果的数量有时是极大的。为此，相对查全率是一种可以实际操作的指标，但从其定义可以看出，人为因素的影响较大。信息存储与检索》9.3.1系统性能指标（二）查准率查准率（relevanceratio）可定义如下：当进行检索时，检索系统把文献分成两部分，一部分是与检索策略相匹配的文献，并被检索出来，用户根据自已的判断将其分成相关的文献(命中)a和不相关的文献(噪音)b。信息存储与检索》9.3.1系统性能指标同样，对因特网信息检索来说，真实查准率也是很难计算的。因为，对于命中结果数量太大的检索课题来说，相关性判断工作量极大，很难操作。为此可以定义一个相对查准率如下：信息存储与检索》9.3.1系统性能指标（三）查全率与查准率的发展（1）R查准率R查准率就是在返回的结果排序结果的第R个位置计算查准率，产生排序结果的单值度量。文档集合中，假设与查询相关的文档总数为R，在按与查询相关程度输出检索结果的系统中，输出从高相关位到R相关位的检索结果称为R查准率（R-precision）。R查准率是一种评价按相关顺序输出检索结果有效性的度量。R查准率方法对于观察一种算法在试验中每个查询的有效性是非常有用的。信息存储与检索》9.3.1系统性能指标（2）F调和均值排序结果中第j个文档的查全率与查准率的调和均值称为调和均值（F-measure）。调和均值取值范围在[0，1]范围内，当查全率和查准率双方的值都大时，取的值大。取值越大表示性能越好。信息存储与检索》9.3.1系统性能指标（3）E均值均值（measure）允许用户指定是对查全率更感兴趣还是对查准率更感兴趣。E均值定义如下：B是表示重视查全率还是查准率的参数。b=1表明查全率和查准率是同等重要。b﹥1表示与查全率相比，更看重查准率。b﹤1表示与查准率相比更重视查全率。E的取值范围是[0，1]，E取值越小表示性能越好。当比b=1时，E的值中用1减去的部分就是F的值。信息存储与检索》9.3.1系统性能指标Ranking指标信息存储与检索》9.3.1系统性能指标（四）响应时间响应时间（responsetime）指在一次检索过程中，用户从开始向信息检索系统提问到系统输出检索结果的全部时间。

一般来说，响应时间越短，查全率和查准率越高，那么信息检索效果就越好。

信息存储与检索》9.3.1系统性能指标（五）常用的其它性能指标

收录范围（coverage）又称数据覆盖率，数据库收录范围指标被作为衡量查全率的一项辅助指标，用以揭示数据库的涵盖范围。它的计算公式为“给定时间内系统收录的文献总量”与“同期相关领域中的实际文献量”之比。一个信息检索系统收录范围直接影响到用户信息需求的满足程度。新颖率（noveltyratio）指某一次检索中检出新的相关文献的能力。特别是用于评价SDI服务。计算公式为检出的新的相关文献量与检出的相关文献总量之比。信息存储与检索》9.3.1系统性能指标囊括值（generalitynumber）指与某一提问相关的文献在指定文献集合中的分布密度。通常，分度密度愈大愈易检出。其计算公式为给定集合中与某一提问相关的文献量与给定集合中的文献总量之比。用户负担（usereffort）是用户在检索过程中所消耗的物力、财力乃至精力的总和。输出形式（outputdisplayformat）是系统检索出文献信息的形式，可能是文献号、题录、文摘或全文等。输出的信息越多且便于浏览，用户越容易做出相关性判断。输出形式影响着用户对检索结果的选择和利用。信息存储与检索》9.3.2系统效益指标情报检索系统的效益包括社会效益和经济效益，综合体现在以下方面：信息和知识的传播速度；信息资源的有效利用率；节省获取信息的时间和费用；改进决策方式，提高决策水平；避免重复研究；促进新发明新发现的产生，提高科研效率。信息存储与检索》9.3.3费用／效果指标对用户来说，接受检索服务时需要支付的费用或成本可能有以下几种：检索服务收费，或检索工具或数据库的订购费；学会使用某系统所付出的时间和精力；检出信息时所付出的时间和精力；其他费用（如交通费等）。相应地，系统的费用／效果水平可分别表示为：检出每条相关记录的单位成本；检出每条新的相关记录的单位成本；获得每篇相关文献原文的单位成本。信息存储与检索》9.3.4费用／效益指标系统经营者为了向用户提供具有一定质量的服务和产品，必须投入一定数量的资源，如系统设备费、系统研制开发费、数据库购置费和建设费、系统运营维持费、广告费、培训费、房租水电费等。它的收益包括用户缴纳的检索费，出售有关产品能和服务的收入等。由于普遍缺乏对信息产品和服务费用的实际计算，各系统的费用开支很少公开，而且缺乏较完善的信息价格政策，信息服务的价格常被扭曲，所以，计量费用／效益比的难度很大。信息存储与检索》9.3.5Web检索系统性能评价存在的问题Web检索系统性能评价存在的问题（1）指标没有量化，常常是搜索引擎之间定性的比较；（2）指标体系不完善，要么是指标不能全面反映搜索引擎的总体状况，要么是权重的得出主观性太强；（3）指标体系无法操作或无法长期进行跟踪。信息存储与检索》第四节

信息检索评价过程与方法

9.4.1确定评价对象及目标19.4.2选择评价方式2

9.4.3设计评价方案339.4.4实施评价方案45信息存储与检索》9.4.1确定评价对象及目标对象可以是整个系统、几个系统或其中的某些子系统。评价目的可以是测定系统的性能或费用／效果水平，或检验某种假设、观点，某种关系。评价范围可以使全面性的或局部性的，通常表示为问题大纲，既要通过评价来回答的问题。评价者一定要与委托人充分讨论、协商，明确委托人的目标和要求。信息存储与检索》9.4.2选择评价方式可以采用的评价方式有：单系统调查分析法；多系统比较分析法；问卷调查法；检索试验评价法。信息存储与检索》9.4.3设计评价方案设计评价方案是信息检索评价成功的关键。设计时要考虑的方面有：需获得哪些数据？采用哪些评价指标（即设定哪些变量）？采用什么方法去获得有关系统性能的定性描述和定量描述？如何分析各种性能与特定变量之间的关系？必须确保评价结果能准确的反应系统的性能和回答委托人提出的各种问题。信息存储与检索》9.4.4实施评价方案以检索试验评价法为例，介绍其实施步骤如下：（1）取样。。（2）测试.（3）数据收集与记录。（4）数据处理分析。（5）评价结果分析和解析。（6）改进系统性能与效益。信息存储与检索》第五节

经典的信息检索评价实验9.5.1MEDLARS系统评价实验19.5.2Cranfield试验2

9.5.3SMART检索试验39.5.4STAIRS工程49.5.5WRU检索实验59.5.6SDI服务评价69.5.8讨论879.5.7手工与联机回溯检索的费用／效果比较信息存储与检索》9.5.1MEDLARS系统评价实验

试验方法和过程介绍如下：（一）选取试验用的提问集合（二）检索（三）向用户提交检索结果（四）用户填写“相关性评估表”。（五）初步统计分析信息存储与检索》9.5.1MEDLARS系统评价实验

MEDLARS是美国国家医学图书馆（NLM）1964年建成的一个批式检索系统。这一试验是在MEDLARS的运行数据库上进行的，这是一个生物医学文献数据库，它的索引款目是从一个医学标题表叙词表（MeSH）中选取出来的。MEDLARS试验的目的是对当前系统进行评价，并寻找改进系统性能的途径。在试验期间MEDLARS服务系统可访问的文献集合中包含约700000条款目，当时该系统每年处理3，000多个检索课题。这项评价的目的是研究用户的检索需求，确认MEDLARS满足用户需求的程度，分析鉴别影响系统性能的不利因素，寻找改进系统性能的途径。信息存储与检索》9.5.1MEDLARS系统评价实验

试验过程如下：（一）选取试验用的提问集合（二）检索（三）向用户提交检索结果（四）用户填写“相关性评估表”。（五）初步统计分析（六）估计被遗漏的文献量（七）综合统计（八）检索失误分析（九）提交评价报告信息存储与检索》9.5.2Cranfield试验（一）Cranfield１工程对检索系统首次深入的评价研究是在C.W.Cleverdon的指导下，在英国的格连菲尔德（Cranfield）进行的，被称为Cranfield１工程。首次Cranfield研究始于1957年，Cleverdon对此次研究作了报告。信息存储与检索》9.5.2Cranfield试验（二）Cranfield２工程第二次Cranfield试验是一个受控实验，其目的是评估索引语言的组成要素对检索系统性能的影响。实验所采用的方法是：依次改变每一要素并保持其它要素不变，从而对每一要素的作用进行评估。通过概念组配方法共产生了29种检索语言，并将其在1400篇文献上进行了试验。信息存储与检索》9.5.3SMART检索试验SMART系统是在1964年设计的，其设计意图在很大程度上是将其作为一个试验工具，对多种不同形式的分析检索过程的效率进行评价。文摘的自动标引提问语句的自动化分析文献聚类的自动生成聚类文档与提问语句的匹配按相关性递减顺序输出显示相关性反馈和提问重构最终输出评价信息存储与检索》9.5.4STAIRS工程1985年，Blair和Maron在进行了大量实验的基础上发表了一篇实验报告。他们的实验目标是对全文检索和检索系统的检索效率进行评价。这一工程被称为STAIRS（存储和情报检索系统）研究。STAIRS中所使用的数据库包含近40000篇文献，代表某大型合伙诉讼案在申诉时使用的约350000篇硬拷贝文献。每篇文献的全文都可以通过联机方式获取，并且可以通过意义明确的简单词汇或其布尔逻辑组合检索得到。用户可以通过一个叙词表——TLS（叙词表语言系统）和广义词、狭义词或相关词的使用来操作检索。STAIRS的一个重要特点是，使用这一系统准备法庭辩论的律师规定他们必须能够检索到与一给定提问相关的所有文献的75%。STAIRS评价的主要目的是评估系统检索出与某一给定提问相关的全部文献的能力。为此，试验中对查全率和查准率进行了测算。信息存储与检索》9.5.5WRU工程1963-1968年间，美国开斯西方储备大学（CaseWesternReserveUniversity，简称WRU）文献学与通讯系统比较试验室进行了一项检索系统评价研究。研究目标是：确定文献检索系统的基本成分，建造一个系统模型；对影响系统性能的各种变量进行分析鉴别；设计一种实验方法去获得有关系统性能的量化信息；建造一个实验性系统，评估其性能与特定变量之间的关系；进一步揭示检索系统内各种变量和过程及实验方法。信息存储与检索》9.5.5WRU工程该实验得出的结论是：预先编制一部叙词表可能是不值得的，但这并不意味着借助叙词表的提问扩展方式是不必要的。相反，它是提高查全率和“效率”的必要步骤。其他结论是：职号的作用较小；拓宽检索式就可以达到最大的查全率，但其代价是查准率非常低；为改善提问分析、构造检索策略方面的决策是影响性能的主要因素。评价和最后提出的看法是：检索系统的效率通常是低的，我们必须学会与这一事实相处。信息存储与检索》9.5.6SDI服务评价这是1970-1972年间由莱格特（P.Leggate）等人在英国牛津ExperimentInformationUnit进行的评价研究。评价对象是若干种营运中的SDI服务。目的是测定服务的效果和效率。信息存储与检索》9.5.7手工与联机回溯检索的费用／效果比较这是1976年由美国能源署（ERDA）资助的一个评价项目，主持人是埃尔切森（DennisR.Elchesen）。评价目的是：采用费用／效果分析法比较手工与联机回溯检索，查明哪一种检索方式的速度更快，费用更低和更有效。

信息存储与检索》9.5.8讨论Blair和Maron：大型的文件很可能会导致“输出超载”。Schamber：尽管相关性判断对于情报检索系统的评价是基础性的环节，但是情报学家还没有在如何定义相关性的核心概念上达成一致意见。Horman：由于情报检索系统的评价研究越来越趋向于用户的参与，从而使得这一研究出现了一个重要的问题，即全面的评价不仅要求对用户与检索系统的交流程度做出评价，而且还要对用户情报检索的熟练程度做出评价。Roberson和Hancock-Beaulieu：建议开展诊断性和操作性更强的系统评价试验，这些试验中使有大量的评价工具，包括一个真实用户参与的可操作性环境，一个或多个现场数据库。Ledwith：在评价使用等级检索查询STN联机服务中的大型科学文摘的适用性时，陈述了三个主要的问题：一是关于研究中用于试验的数据集的构成和规模的；二是关于实验数据集所采用的提问的性质；三是从费用-效果比来看，分级检索模型是否在性能上对布尔检索模型有足够大的改进。信息存储与检索》第六节

信息检索评价实验平台：TREC9.6.1TREC的产生与发展19.6.2TREC的组织机制

2

9.6.3TREC的试验数据集合39.6.4TREC主要评价项目49.6.5部分往届TREC简介59.6.6关于C-TREC的一些思考6信息存储与检索》9.6.1TREC的产生与发展TREC是“文本检索会议”（TextRetrievalConference）的简称，1992年由美国国家标准与技术局（theNationalInstituteofStandardsandTechnology，简称NIST）和国防部高级研究项目计划局（theDefenseAdvancedResearchProjectsAgency，简称DAPRA）共同发起并主办，是国际文本检索领域最最具权威性的年度评测活动。信息存储与检索》9.6.1TREC的产生与发展TREC活动的主要目标：通过提供大型的语料库、统一的测试程序及系统整理评测的结果数据，来促进信息检索技术的发展。强调检索技术的先进性与实用性的有机结合。为学术界、工业界、政府部门等提供交流研究思想的公开论坛，促进各部门之间的合作与交流。经由对真实检索环境的模拟与重要改进，加速将实验室研究技术转化为商业产品。信息存储与检索》9.6.2TREC的组织机制

从1992年开始，TREC每年举办一次，提供一些不同的测试子项目，如交叉语言检索、信息过滤等。每年年初（约在1-2月），NIST会通过多种方式向有关机构、研究部门发出或发布参加新一届TREC评价活动的通知或邀请，并接受参加者提出的参评申请。主办者向会员发送参加试验需要使用的标准实验数据和检索提问式，收到实验数据后，各参会会员按照试验要求对自己的检索系统进行测试，把检索结果数据返回给TREC主办方，最后期限一般在8月份。9-10月份，NIST邀请、组织职业信息分析员对各个检索系统获得的结果数据进行统一的定量分析和评价，并按试验结果进行系统排名，同时将评价结果反馈到每个参与者。年底（一般在11月份），TREC大会举行。信息存储与检索》9.6.3TREC的试验数据集合TREC是选拔优秀信息检索系统的权威性会议，为信息检索研究人员提供了一种标准的用于比较信息检索系统的评价平台。作为一项国际性的大型检索试验与评价活动，TREC主办者从一开始就致力于建设并不断完善一个大规模公用测试数据集合。目前，TREC已拥有一个动态更新、来源多样、类型与语种多样的实验用文本数据集合，数据集合的规模也在逐年稳定增长。众多机构和部门都向NIST免费提供其具有的知识产权的文档资料，也有少数采取象征性收费策略提供TREC需要的预料，而TREC活动的成员只要限于试验目的，即可无偿使用。

信息存储与检索》9.6.4TREC主要评价项目一年一度的TREC活动主要由一系列评测“项目”（tracks）组成，每个项目涉及一个特定的检索任务。世界各地的TREC参与者正是通过携带自己开发、设计的检索试验系统，参与当年设立的全部或部分评测项目的评价活动，来实现对自身系统检索技术先进性与实用性的检验和验证的。信息存储与检索》9.6.5部分往届TREC简介（一）TREC-11992年11月，NIST举行了首届文献检索会议（TREC-１）。这一会议由DARPA和NIST共同举办，在会议中情报检索研究人员聚集在一起，对他们各自的不同系统在一个新的大型试验数据集（TIRSTER集合）上所得到的试验结果进行了对比。TREC-１的试验结果揭示了以下事实：从自然语言提问的表述中自动生成提问是可行的；基于自然语言处理的技术与基于向量或概率方法的技术相当，所有方法中的最优方案几乎是同效的。