第2章 信息检索基础理论

第2章信息检索基础理论信息检索模型信息检索效果评价10/25/2023华中师范大学信息管理系2.1信息检索模型－简介为了更准确和更严密的表述和论证信息检索的基本原理，需要依靠数学工具，尤其在信息检索系统中信息检索模型指信息检索的数学模型，就是运用数学的语言和工具，对信息检索系统中的信息及其匹配处理过程加以翻译和抽象，表述为某种数学公式目前信息检索模型主要有经典模型、结构化模型和浏览模型等经典模型使用一组具有代表性的关键词（索引词）来描述信息集合中的每篇文档，并可以为每一篇文档中的关键词分配一个数组权重来确定关键词的重要性。（与语法无关；与结构无关；与元信息无关）经典模型包括布尔检索模型、向量模型及概率模型10/25/2023华中师范大学信息管理系2.1信息检索模型－布尔检索模型简介布尔检索模型基于集合论在布尔模型中，每篇文献用一组标引词标识，例如特定文献i，可表示为：Di=(T1,T2,...,TM)每个提问则标识为标引词的布尔组配。例如特定的提问j表示为：Qj=(T1ANDT2)OR(T3AND(NOTT4))系统对提问的响应是输出一个包含该提问式的组配元且符合组配条件的文献集合10/25/2023华中师范大学信息管理系2.1信息检索模型－布尔检索模型逻辑算符布尔逻辑算符含义：逻辑或OR：AORB两个检索词A和B只要其中一个出现在结果中逻辑与AND：AANDB两个检索词A和B必须同时在结果中逻辑非NOT：ANOTB所连接的两个检索词应该包含A而不包含B逻辑异或XOR：AXORB检索结果是含有检索词A但不含有检索词B的文献或者是包含检索词B但不含有检索词A的文献10/25/2023华中师范大学信息管理系2.1信息检索模型－布尔检索实例简单实例q=病毒AND（计算机OR电脑）ANDNOT医

•d1:…据报道，计算机病毒近日猖獗…•d2:…小王虽然是学医的，但对研究电脑病毒也很感兴趣，最近发明了一种…•d3:…计算机程序发现了爱滋病病毒的传播途径…

哪些文档会被检索出来？10/25/2023华中师范大学信息管理系2.1信息检索模型－布尔检索模型结果分析假设在信息集合中包含检索词A的文献有m篇，包含检索词B的文献有n篇，则不同算符有不同结果：MAX(m,n)=<AORB<=m+n0=<AANDB<=min(m+n)0=<ANOTB<=m0=<AXORB<=m+n布尔逻辑虽然简单，但想构造一个好的检索式却不是一件容易的事10/25/2023华中师范大学信息管理系2.1信息检索模型－布尔检索模型评价优点：该模型结构简单、容易实现和快速检索不足传统的布尔检索逻辑非常严格，限制性强无权重设计查询结果不易控制，要不查到要不就查不到，没有相关、相近的存在无法提供定量比较无法满足特殊查询因此为了改进该模型，人们提出了很多新的检索模型，例如模糊集合论模型和扩展布尔检索模型，增加了权值10/25/2023华中师范大学信息管理系2.1信息检索模型－向量检索模型简介是20世纪70年代中期，由杰拉尔德.索顿提出的检索系统代数模型他定义了文献向量、提问向量、文献提问相关系数以及属性-文献相关矩阵、属性相关矩阵、文献相关矩阵等10/25/2023华中师范大学信息管理系2.1信息检索模型－向量假设系统有n个记录的文献集合D=(d1,d2,d3,…dn)，用来描述文献集合的m个索引词形成集合A=(a1,a2,…am)文献向量di=(ai1,ai2,…aim),aij表示di中具有索引词aj的程度，这种程度用数值表示出来,若di具有aj，则aij=1,否则为0。提问向量：用索引词向量表示特定提问式Q=(q1,q2,…qm)，其中qj表示提问中含有集合A中属性的程度，Q包含aj，则qj=1；否则为0在上述的两种向量表达中往往还需要考虑索引词的权值，则aij和qj的取值范围为[0，1]每篇文献和每个提问均采用等长的向量这样就可以通过向量空间的相对距离（称为文献相关系数）来表示二者之间的匹配关系（最常见的方法是计算两个向量夹角的余弦函数），若越大，则表示二者匹配性越强，d就越能作为Q的命中文献而输出10/25/2023华中师范大学信息管理系2.1信息检索模型－向量比较相似度：文档与查询越相关，则它们在向量空间中的位置越近.相似程度用向量关系来计算.实际上是比较两个向量的角度

计算方法：有很多，目前常用的是计算夹角的余弦Cosine值10/25/2023华中师范大学信息管理系2.1信息检索模型－向量检索模型评价优点：该模型比布尔检索模型更深刻、更准确地模拟出文献之间的关系，即相似度的值范围在0和1之间，不仅能判断是否相关，还可以定量化表示系统中所有文档与某一提问的相关度大小检索基于聚类文档，属性相似的文献尽量聚集在一起，提高的检索速度不足每篇文献主题词数量一致，反映不了文献信息量的差异提问向量和文献向量一致，不符合用户检索习惯计算相关系数工作量大，标引词权值难以确定在向量基本模型的基础上还衍生了很多代数模型，但因为向量模型的应用代价高，最初少有系统支持，随着自动化程度的提高，很多Web搜索引擎也开始采用此模型10/25/2023华中师范大学信息管理系2.1信息检索模型－概率检索模型简介基于概率排序原理，即文献应该根据自身与提问的相关概率来排序输出在经典概率模型中，文档和用户的提问仍然采用向量模型中的索引词向量表示，不过每个索引词的权值为二值{0,1}通过赋予标引词概率值来表示这些词在相关文献集合或无关文献集合中出现的概率，然后计算某一给定文献与某给定提问相关的概率，最后系统以此做出检索决策基于贝叶斯Bayes决策理论10/25/2023华中师范大学信息管理系2.1信息检索模型－概率检索模型评价优点以严格的数学理论为依据采用相关反馈原理，可开发出理论更为坚实的检索方法避免布尔算符的使用，文献可按重要性程度降序排出不足增加存储和计算资源的开销参数估计难度较大10/25/2023华中师范大学信息管理系2.1信息检索模型－结构化检索模型前提：文献是结构化的，单独文献有结构，文献与文献之间有结构目的：允许输出单元集合常见模型：基于非重叠链表的模型、基于邻接节点的模型10/25/2023华中师范大学信息管理系2.1信息检索模型－浏览模型由用户浏览系统文献，然后决定最终检索结果种类很多：平坦浏览模型、结构向导浏览模型和超文本浏览模型

10/25/2023华中师范大学信息管理系2.1信息检索模型－检索模型总结输入和过滤检索时采用的模型有经典模型和结构化检索模型，其中经典模型有布尔模型（衍生的有模糊集合论模型和扩展布尔模型）、向量模型（衍生的有广义向量模型、潜语义标引模型、神经网络模型）和概率模型（衍生的有推理网络模型、信任度网络模型），结构化检索模型包括非重叠链表模型和邻近结点模型浏览时采用的模型主要是浏览模型，包括平坦浏览模型、结构向导浏览模型和超文本浏览模型

10/25/2023华中师范大学信息管理系2.2信息检索效果评价－评价的含义评价：发现和收集关于某种服务或活动的数据，并从中判断该服务或活动的质量及其达到预定目标程度的行为主要价值：提高系统资源分配的合理性找出系统存在的缺陷及其原因比较各种检索技术的优劣有助于新系统的设计丰富信息检索理论10/25/2023华中师范大学信息管理系2.2信息检索效果评价－评价的类型功能测试与分析：侧重分析是否达到预期目标以及错误诊断检索性能评价：时间（响应时间）、空间（存储空间）、相关性等检索效益评价：经济效益和社会效益10/25/2023华中师范大学信息管理系2.2信息检索效果评价－相关性及其判断标准相关性：检索系统针对用户的信息需求从文档集合中检出的文档与用户需求之间的匹配关系相关性的本质特征：关系、直觉的、多维的、动态的判断标准:二值相关判断多值相关判断多维相关判断10/25/2023华中师范大学信息管理系2.2信息检索效果评价－面向系统的评价指标传统评价指标体系：收录范围、查全率、查准率、响应时间、用户负担、输出方式（实验室评价模式）目前的评价指标体系：资源规模范围、索引方法、检索功能、检索结果处理、分类功能、用户界面、其他（如响应时间、稳定性等）10/25/2023华中师范大学信息管理系2.2信息检索效果评价－系统评价2*2表在系统性能评价的指标中，查全率R和查准率P是最重要和最常用的查全率和查准率的计算可以使用2*2表来说明同时通过该表还可以计算其他指标：非相关检出率、囊括值、漏检率和误检率等10/25/2023华中师范大学信息管理系2.2信息检索效果评价－查全率RecallRatio=检出的相关文献量/检索系统中的相关文献总量并不能精确获知，主要是系统中未检出的相关文献量不能精确获取，有很多方法估算，如预设相关文献集合法、汇集法、引文法、pooling法查全率与漏检率

10/25/2023华中师范大学信息管理系2.2信息检索效果评价－查准率PrecisionRatio=检出的相关文献量/检出的文献总量查准率与误检率

10/25/2023华中师范大学信息管理系2.2信息检索效果评价－查全率与查准率的不足从上面可以看出，查全率与查准率有密切关系，反应了检索结果集合的不同方面的特性，但查全率与查准率存在不足：大型文献集合来说，查全率很难估计对交互式的处理而言，不是十分合适如果文献检索结果排序过，比较容易测度，若不排序，则不太满足要求因此评价时不能仅看一个指标，人们提出了将二者结合形成某种单一指标或平均值指标的方法10/25/2023华中师范大学信息管理系2.2信息检索效果评价－其他测度方法其他测度方法：平均查全率与平均查准率调和平均值：F=2/（1/R+1/P）E指标:E=1-（1+b2）/(b2/R+1/P),b的值由用户设定参数，b>1时，意味着P的重要性大于R10/25/2023华中师范大学信息管理系2.2信息检索效果评价－平均查全率与查准率平均查全率与查准率可以通过3点平均值计算和11点平均值计算的方法获得3点平均值选择查准率值为（0.25,0.5,0.75）或者（0.2，0.5，0.8）时求查全率的平均值，反之亦然11点就是选择11个点值作为平均值计算的依据10/25/2023华中师范大学信息管理系2.2信息检索效果评价－面向用户的评价指标相关性很大程度取决于用户的主观判断，涉及用户的知识状态、待处理/解决的问题类型、任务及其所处情境、用户目标等涵盖率：实际检出相关文献中用户已知的相关文献占用户已知文献集合的比例新颖率：实际检出相关文献中用户未知的相关文献所占比例相对查全率：系统检出文献的数量与用户希望检出的相关文献数量之间的比值，如用户检索到了到所预期的全部文献，就会停止检索，这时相对查全率为1查全努力：用户期望检出的相关文献的数量与要检出这些文献所需检索的文献总数的比值期望查找长度、满意度、挫折度等10/25/2023华中师范大学信息管理系2.2信息检索效果评价－评价研究的历史20世纪50年代中期-20世纪60年代中期：第一项检索评价研究是美国文献公司于1953年进行；随后有很多评价试验，Cranfield比较主要20世纪60年代中期-20世纪70年代中期：研究对象主要集中于实用和试验性检索系统；评价指标较以往更完善，增加了新颖率、费用效益等指标20世纪70年代中期-90年代初期：评价集中在联机检索以及其他计算机检索系统上；评价研究重点逐渐向系统方面转移到用户方面20世纪90年代-今：TREC时代

10/25/2023华中师范大学信息管理系2.2信息检索效果评价－著名评价项目Cranfield主要评价对象：是标引语言，标题词、单元词、UDC和一部专业分面分类法->单元词、受控词、自然语言短语、取自题名和文摘的关键词主要评价方面：标引时间、标引深度、标引人员素质->不同控制模式，如词型、同义词、相关参照等对检索效果的影响评价文献集合：18000研究报告和期刊论文->1400篇研究报告评价检索提问：1200检索提问->221个提问评价方法：3名不同人员、不同标引语言的标引结果，文献作者拟定的检索提问评价结果

10/25/2023华中师范大学信息管理系2.2信息检索效果评价－著名评价项目MEDLAS评价主要评价对象：医学文献分析与检索系统主要评价方面：确认MEDLAS对用户的检索需求满足的程度，分析不利因素评价文献集合：70万条生物医学书目记录评价检索提问集合：真实检索课题抽样302个，通过和用户沟通，有工作人员按照MeSH编制检索式评价方法：检索后结果由用户填写“相关性评估表”，同时结合用户提交的近期相关文献目录以及其他信息，估计遗漏相关文献，统计查全率和查准率评价结果

10/25/2023华中师范大学信息管理系2.2信息检索效果评价－著名评价项目SMART评价主要评价对象：Systemformechanicalanalysisandretrievaloftexts主要评价方面：SMART中的自动标引技术评价文献集合：1268篇图书馆学文献评价检索提问集合：领域人提供的检索提问48个评价方法：首先由检索提问者判断1268篇文献的相关性，再由其他6人判断提问与文献集合中文献的相关性；采用不同自动标引方法（词形法、词干法和词表法）将文献集合和提问进行分析和检索匹配；评价结果

10/25/2023华中师范大学信息管理系2.2信息检索效果评价－上述评价研究的缺憾主要以小型测试集为基础，反映不出大型文献环境下存在的主要问题不同研究机构的研究角度不同，即使是使用相同的测试集，检索结果也不相同缺乏正式固定的框架作为基础缺乏健壮、稳定的实验平台和基准测试10/25/2023华中师范大学信息管理系2.2信息检索效果评价－著名评价项目TREC主要评价对象：参与TREC的机构、部门的数据主要评价方面：每年有不同检索评价任务评价文献集合：来自于参加TREC的各部门，多领域、多语种、多类型，都用SGML标记评价检索提问集合：自然语言的检索问题集合，用SGML标记评价方法：采用二值判断模式建立正确答案集合，并采用pooling相关性判断技术创建相关文献集合。评价结果：不同项目不同发展：中国很多单位参与到了TREC，目前中国有意举办C-TREC10/25/2023华中师范大学信息管理系2.2信息检索效果评价－TREC中的概念TrackTREC的每个子任务，QA、Filtering、Web、Blog等Topic预先确定的问题，用来向检索系统提问topicquery(自动或者手工)Question(QA)Document包括训练集和测试集合(TIPSTER&TRECCDs、WT2G、WT10G、GOV2)RelevanceJudgments相关性评估，人工或者半自动10/25/2023华中师范大学信息管理系2.2信息检索效果评价－TRECtopic示例<num>Number:351<title>Falklandpetroleumexploration<desc>Description:WhatinformationisavailableonpetroleumexplorationintheSouthAtlanticneartheFalklandIslands?<narr>Narrative:AnydocumentdiscussingpetroleumexplorationintheSouthAtlanticneartheFalklandIslandsisconsideredrelevant.DocumentsdiscussingpetroleumexplorationincontinentalSouthAmericaarenotrelevant.10/25/2023华中师范大学信息管理系2.2信息检索效果评价－中国的检索评价项目近几年，中国有很多单位参与到了TREC，如清华大学、北京大学语言研究所、中科院计算机中心等SEWM（SymposiumofSearchEngineandWebMining，全国搜索引擎与网上信息挖掘学术会议）主要对Web检索进行评测采用了类似TREC的方法。网址：

10/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容10/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容——

评价的目的技术评测为科研提供了一种统一的评价基准评测技术本身的进步，对科学研究的进展也起着不可忽视的促进作用技术评测还对技术的发展起到一种引导作用爱因斯坦1938年在《物理学的进化》中说:“提出一个问题往往比解决一个问题更为重要”在某种意义上，技术评测就可以起到一个提出问题的作用3810/25/2023华中师范大学信息管理系392.3信息检索系统评价补充内容——

评价评价一般是指评估某个系统的性能、某种产品的质量、某项技术的价值，或者是某项政策的效果等等信息检索评价则是指对信息检索系统的性能（主要是其满足用户信息需求的能力）进行评估的活动从信息检索系统诞生以来，对检索系统的评价就一直是推动其研究、开发与应用的一种主要力量10/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容——

信息检索的评价针对一个检索系统，可以从功能和性能两个方面对其进行分析评价功能评价可通过测试系统来判定是否支持某项功能，因此相对来说较容易性能评价对于检索系统的性能来说，除了系统的时间和空间因素之外，要求检索结果能够按照相关度进行排序4010/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容——

相关性相关性理论假定：对于一个给定的文档集合和一个用户查询，存在并且只存在一个与该查询相关的文档集合检索系统的目标就在于检出相关文档而排除不相关文档4110/25/2023华中师范大学信息管理系422.3信息检索系统评价补充内容——

评价IR系统的困难相关性不是二值评价，而是一个连续的量即使进行二值评价，很多时候也很难从人的立场上看，相关性是：主观的，依赖于特定用户的判断情景相关的，依赖于用户的需求认知的，依赖于人的认知和行为能力时变的，随着时间而变化10/25/2023华中师范大学信息管理系432.3信息检索系统评价补充内容——

检索的评价检索性能的评价检索结果的准确度检索任务批处理查询交互式查询实验室环境下主要是批处理查询，具有良好的可重复性和可扩展性10/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容评价和比较检索系统的检索性能需要以下条件：一个文档集合C。系统将从该集合中按照查询要求检出相关文档一组用户查询要求{q1,q2,…,qn}。每个查询要求qi描述了用户的信息需求对应每个用户查询要求的标准相关文档集{R1,R2,…,Rn}。该集合可由人工方式构造一组评价指标。这些指标反映系统的检索性能。通过比较系统实际检出的结果文档集和标准的相关文档集，对它们的相似性进行量化，得到这些指标值4410/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容——

相关性判断在早期的检索实验集合中,相关性判断是全方位的,就是说,由专家事先对集合中每一篇文献与每一个主题的相关性做出判断。由于TREC的文献集合如此庞大,全方位的判断是不可行的。因此TREC相关性判断基于检索问题所来自的测试文档集合，并采用一种“pooling”的技术来完成。4510/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容“pooling”方法两个假设假设绝大多数的相关文档都收录在这个文档池中没有进行判断的文档即未被认为是不相关的“pooling”技术的具体操作方法是：针对某一检索问题，所有参与其检索试验的系统分别给出各自检索结果中的前K个文档（例如K=100），将这些结果文档汇集起来，得到一个可能相关的文档池“pool”由检索评价专家进行人工判断，最终评判出每一文档的相关性4610/25/2023华中师范大学信息管理系47相关文本检索出的文本全部文本集合检出且相关未检出且相关检出且不相关未检出且不相关检出未检出相关不相关2.3信息检索系统评价补充内容——

准确率和召回率（查全率和查准率）召回率(Recall)=检出的相关文档数/相关文档数准确率(Precision)=检出的相关文档数/检出文档数假设：文本集中所有文献已进行了检查10/25/2023华中师范大学信息管理系482.3信息检索系统评价补充内容——准确率和召回率的关系101准确率召回率返回最相关的文本但是漏掉了很多相关文本理想情况返回了大多数相关文档但是包含很多垃圾10/25/2023华中师范大学信息管理系492.3信息检索系统评价补充内容——举例Example

Rq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}通过某一个检索算法得到的排序结果：

1.d123

6.d9

11.d38

2.d84 7.d511 12.d48

3.d56

8.d129 13.d250

4.d6 9.d187 14.d113

5.d8 10.d25

15.d3

(precision,recall)(100%,10%)(66%,20%)(50%,30%)(40%,40%)(33%,50%)10/25/2023华中师范大学信息管理系502.3信息检索系统评价补充内容——一个查询的11个标准查准率11个标准查全率水平所对应的查准率:0%,10%,20%,…,100%02040608010012020406080100120interpolationprecision10/25/2023华中师范大学信息管理系512.3信息检索系统评价补充内容——

平均准确率上述准确率召回率的值对应一个查询每个查询对应不同的准确/召回率曲线为了评价某一算法对于所有测试查询的检索性能，对每个召回率水平下的准确率进行平均化处理，公式如下：Nq:thenumberofqueriesusedPi(r):theprecisionatrecalllevelrforthei-thquery10/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容——

多个查询下进行检索算法的比较对多个查询，进行平均，有时该曲线也称为：查准率/查全率的值。如下为两个检索算法在多个查询下的查准率/查全率的值。第一个检索算法在低查全率下，其查准率较高。另一个检索算法在高查全率下，其查准率较高10/25/2023华中师范大学信息管理系532.3信息检索系统评价补充内容——

适应性合理估计需要了解集合的所有文献这两个指标相互关联，评价不同方面，结合在一起形成单个测度更合适测的是批处理模式下查询集合性能，对现代信息检索系统，交互式是重要特征，对量化检索过程的性能指标可能会更合适10/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容——

新的评价指标随着测试集规模的扩大以及人们对评测结果理解的深入，更准确反映系统性能的新评价指标逐渐出现单值概括10/25/2023华中师范大学信息管理系552.3信息检索系统评价补充内容——

单值概括（1）已检出的相关文献的平均准确率逐个考察检出新的相关文献，将准确率平均Example

1.d123

(1) 6.d9

(0.5) 11.d38

2.d84 7.d511 12.d48

3.d56

(0.66)8.d129 13.d250

4.d6 9.d187 14.d113

5.d8 10.d25

(0.4) 15.d3

(0.3)(1+0.66+0.5+0.4+0.3)/5=0.5710/25/2023华中师范大学信息管理系562.3信息检索系统评价补充内容——单值概括（2）R-Precision计算序列中前R个位置文献的准确率R指与当前查询相关的文献总数1.d123

6.d9

2.d84 7.d511 3.d56

8.d129 4.d6 9.d187

5.d8 10.d25

R=10and#relevant=4R-precision=4/10=0.41. d123

2. d84

3. d56

R=3and#relevant=1R-precision=1/3=0.3310/25/2023华中师范大学信息管理系572.3信息检索系统评价补充内容——

单值概括（3）准确率直方图多个查询的R-Precision测度用来比较两个算法的检索纪录RPA/B=0:对于第i个查询，两个算法有相同的性能RPA/B>0:对于第i个查询，算法A有较好的性能RPA/B<0:对于第i个查询，算法B有较好的性能10/25/2023华中师范大学信息管理系582.3信息检索系统评价补充内容——

单值概括（3-1）0.00.51.01.5-0.5-1.0-1.512345678910QueryNumber2810/25/2023华中师范大学信息管理系592.3信息检索系统评价补充内容——

单值概括（4）概括统计表查询数检出的所有文献数量相关文献数应检出的相关文献数……10/25/2023华中师范大学信息管理系2.3信息检索系统评价补充内容MAP-MeanAveragePrecisions平均查准率q1

1.d123

(1) 6.d9

(0.5) 11.d38

2.d84 7.d511 1