信息检索系统的评价.ppt

,提 问 1 试解释信息检索系统的内涵。 2 什么是”评价”？,第十一章 信息检索系统评价 11.1 评价研究概述,一、意义 评价（Evaluation）：发现和收集关于某种活动的数据，从中判断该项活动的质量及达到预期目标程度的行为。 简单地说，评价就是对系统的价值和效率进行测评。 信息检索系统评价：根据给定的指标体系，采用一定的方法和程序，对信息检索系统的功能、特性和运营状况进行评测，或对有关假设、预期效益、性能值进行验证，以确定系统达到了何种水平、投入成本是否值得、是否可以改进和如何改进，乃至系统是否应生存下去。,第十一章 信息检索系统评价 11.1 评价研究概述,一、意义 信息检索系统的评价研究，一直是信息检索领域的一项重要研究内容。多年来人们进行了大量的评价试验和多角度的探索。 原因在于，检索系统评价工作在为研究者验证检索系统效益、比较各种检索技术的优劣、改进现有检索系统、开发新的应用领域等方面，都具有不可替代的作用。,第十一章 信息检索系统评价 11.1 评价研究概述,一、意义 主要意义： 了解已有检索系统的功能，找出缺陷并改进； 比较各种检索系统的优劣； 提高提高效率和效益； 有助于新的检索系统的设计； 丰富信息检索的理论。,第十一章 信息检索系统评价 11.1 评价研究概述,二、评价范围与类型 信息检索系统是一个有众多功能模块组成的集合体。 评价可以从不同角度、基于不同目的和方法来进行。 评价范围：各种类型的检索系统及组成要素。 评价类型： 宏观评价：着眼于检索系统的宏观方面，如情报源类型、系统结构、收录范围、利用率等。 个别评价：仅对系统的某一性能、功能进行评价。 性能评价(performance evaluation)：面向用户的评价，测定检索系统的质量或服务效果。也称为检索效果评价(effectiveness evaluation)。,第十一章 信息检索系统评价 11.1 评价研究概述,二、评价范围与类型 评价类型： 效益评价（benefits evaluation）：测定系统或用户获得的的经济效益和社会效益。 (有直接的、潜在的；难以直接计量) 费用/效果评价（cost effectiveness evaluation）：考察系统达到的性能与费用消耗之间的关系。（用户、系统两方面） 费用/效益评价（cost benefits evaluation）：考察系统的服务效益与费用消耗间的关系。（计量难度较大） (详见P207的解释),第十一章 信息检索系统评价 11.2 评价指标,一、评价指标体系 要评价一个检索系统，必须有一套科学的评价标准。 建立检索系统评价指标体系应遵循的原则： 各指标应定义单一、明确，具有可操作性。 评价指标最好能够量化或计量。 指标要完善、细致、全面。 下面给出传统检索系统评价指标体系模型：（供参考）,第十一章 信息检索系统评价 11.2 评价指标,逐一评价这些指标，可以判定检索系统的优劣。 其中，比较重要的是检索性能指标。,11.2 评价指标,问 题: 什么是查全率、查准率?,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 1查全率和查准率 查全率(Recall ratio，R)：衡量一次检索中与提问相关的文献有多少篇被检出。（衡量检出相关文献的能力）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 1查全率和查准率 查准率(Precision ratio，P)：衡量被检出的文献中有多少篇与提问相关。 （衡量检索的精确度）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 例： 设某检索系统的数据库中共有相关文献20篇。针对某一个提问，检出文献总数为30篇，其中相关文献数为15篇。求查全率R、查准率P。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 为便于分析，我们给出数学语言描述：设某文献库所存储的文献总量为L。对某一给定提问， a表示被检出的与提问相关的文献数；（前例 a=15） b表示被检出的与提问无关的文献数；（误检，前例 b=15） c表示与提问相关，但未被检出的文献数（漏检，前例 c=5）,显然，p,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 1查全率和查准率 下面讨论与查全率、查准率有关的几个问题。 （）查全率和查准率的相互关系 一个理想的检索系统，应是、。 但实际上是不可能的。 一般说来，二者之间存在着反变关系，即： 若要提高查全率，查准率往往就会下降； 若要提高查准率，查全率又就会下降。 （二者相互制约）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 （）查全率和查准率的相互关系 与的关系可由下图描述：（称为图）,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 1查全率和查准率 （）影响查全率、查准率的相关因素 文献库编制质量 文献收集是否齐全，索引体系是否完善，检索途径的多少，都会影响到查全率。 对情报需求的理解 要达到较高的查全率和查准率，应较好地理解情报需求，制定好检索策略。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 （）影响查全率、查准率的相关因素 检索语言的一致性 检索的实质就是提问标识与文献标识的异同比较。 为此，需要不同人员表达文献主题的语言一致，更需要标识提问与标识文献的语言一致。即，标引语言和检索语言的一致性，对查全和查准起着支配作用。 标引的网罗性 对文献主题分析得越透彻，抽出的检索词越多，检索时可检出的相关文献就越多，即查全率越高。但检出的文献并非全部适用，因而查准率降低。 反之，如果标引时只标出中心主题，检出的文献必然比较适用，即查准率较高。但漏检会增多，从而降低查全率。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 （）影响查全率、查准率的相关因素 检索词的专指性 检索词选得词意越狭窄、越具体、越专深，检出的文献就会越对口，查准率就越高。但命中文献就越少，查全率就会降低。 相反，如果检索词定得较笼统、较宽泛，检出的文献就会增多，查全率会提高。但不相关的文献也会增多，查准率会降低。 检索策略和提问构造 对检索词的选取，需恰当地确定网罗度和专指度。 当采用布尔组配时，若使用AND较多，即限制严，则下降，而上升；反之，若使用OR较多，则上升，而下降。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 （）影响查全率、查准率的相关因素 检索软件的功能 检索软件功能是否完善，结构是否合理，影响到是否会漏检和误检。 检索者的熟练程度 检索人员的专业知识水平、使用系统的熟练程度，对R和P影响很大。往往是系统一方的检索者自拟定检索式时查准率高，而检索用户编制检索式时，因不熟悉系统和不善于使用系统，就容易造成误检、漏检。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 1查全率和查准率 （）对查全率和查准率的要求 作为一个检索系统，应同时具备较强的查全能力和查准能力。但并不是每个用户在任何时候都需要高查全率和高查准率，不同用户有不同要求。 通常，根据不同的情报需求，可分为四种要求： a要求查全率= 如申请专利、发明或评定某项成果，需要对世界范围的有关情报作全面了解，才能作出客观的评价。此时往往要求=的检索。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 （）对查全率和查准率的要求 b要求较高查全率 例如编写教材、综述某学科或技术领域的发展，往往需要较全面地获得有关文献或情报。此时对查全率有较高要求，但不一定要求。 c要求较高查准率 例如要了解某种具体产品的有关信息，解决某一具体问题或查新等，往往只需了解某一方面或某一时期的有关情报。此时要求查准率较高。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 （）对查全率和查准率的要求 d对查全率、查准率无具体要求 有些情报需求，用户本身不能作出确切表达。因此，用户对查全率和查准率也无法提出具体要求。 从上面的讨论可以看出，在分析和评价某一检索的检索质量时，不能千篇一律地追求查全率和查准率，而应具体问题具体分析。,二、主要性能指标及分析 2响应时间（response time） 对任何计算机应用系统，响应时间都是一个重要指标。 信息检索的响应时间可分为两种情形： （1）委托检索，表示从用户送交提问到收到检索结果所花的时间； （2）非委托检索，表示用户实际的检索时间。 计算响应时间一般都是针对某一个提问而言，不同的提问对应的响应时间不同。（因提问式长短、复杂程度而不同） 有时给出平均响应时间T。ti表示对第i个提问的响应时间，k为提问个数,第十一章 信息检索系统评价 11.2 评价指标,问 题: 检索响应时间与哪些因素有关?,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 2响应时间 通过对检索响应时间的分析，我们可归纳出影响该指标的因素： (1)文献库规模 规模越大，检索时间越长，响应时间值也就越大。 (2)机器速度 主机运行速度越快，响应时间越短。 (3)检索软件 检索软件是关键，其性能越好，检索时间就越短。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 2响应时间 (4)存储设备类型和数据的存贮结构 存储设备的访问速度越快，数据的存贮结构（外存贮）越合理，检索越容易，响应时间也就越短。 (5)提问组配形式 检索式的构造需要有一定的专业技能和检索经验，是一个不断修改和完善的过程。 (6)信息中心与检索者的距离 通信传输时间与距离有关。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 存贮空间开销 包括系统所占用的内存空间和外存空间。 对内存空间，当检索系统采用大、中型计算机时，一般不必考虑；而当系统采用小型、微型机时，因内存空间有限，就需合理分配。 对外存空间，不同的文档结构所需存储空间差别很大。例如，顺排文档检索和倒排文档检索所需空间不同；而对倒排检索，系统仅提供布尔检索功能与提供正文检索功能相比，所需的空间也大不一样。,第十一章 信息检索系统评价 11.2 评价指标,二、主要性能指标及分析 其它