《智能信息检索与生成式AI应用》课件-1.信息检索技术的基本原理 1.3 信息检索技术

信息检索技术基本原理01理解索引技术的基础原理02掌握信息检索的三大经典模型及其核心思想学

习

目

标检索系统如何“思考”？

当你在搜索框输入几个词，系统凭什么决定把哪些结果排在最前面？问题信息检索的目的及原理信息检索的目的在信息用户与信息源之间充当媒介信息检索的原理在对信息进行整理排序，形成检索工具的基础上，按照用户的要求利用检索工具或者检索系统，讲用户检索提问与已形成的存储在系统中的信息存储标识进行匹配和比较，若取得一致，则匹配，即达到用户的检索要求信息资源信息用户信息检索系统匹配与选择信息检索三大模型布尔模型精确的“集合”匹配向量空间模型灵活的“相似度”排序概率模型与语言模型基于“可能性”的排序布尔模型——精确的“集合”匹配核心思想将文档与查询视为词语的集合，用逻辑运算符（AND,OR,NOT）进行精确匹配特点类似数据库查询，严格遵循逻辑规则优势与局限简单、明确、可预测属于二元判定，无法排序，对用户表达能力要求高查询：(精通PythonAND有大数据项目经验)ANDNOT(求职岗位:销售)结果：像筛子一样，严格筛选出同时满足所有条件的简历，但无法判断哪份简历最优秀示例向量空间模型——灵活的“相似度”排序核心思想将文档和查询都视为高维空间中的向量，通过计算向量间的夹角余弦值（相似度）进行排序特点利用核心权重的方式实现相关性排序（如词频、文档重要性等）优势与局限实现了排序、直观易懂、支持相关反馈忽略词序与语义音乐推荐系统：每首歌被表示为向量（流行度、节奏、乐器、情感标签…）。你喜欢的几首歌构成“偏好向量”。系统计算所有歌曲与你的“偏好向量”的相似度，并按相似度从高到低排序推荐示例概率模型与语言模型——基于可能性的排序核心思想按“文档与查询相关”的概率大小进行排序。系统不断学习相关与不相关文档的特征来优化概率估计为每个文档建立一个“语言模型”，看查询由哪个文档模型生成的可能性更大特点引入了不确定性处理和统计理论优势与局限实现了排序、直观易懂、支持相关反馈忽略词序与语义垃圾邮件过滤器：系统学习大量“垃圾邮件”（不相关）和“正常邮件”（相关）中词语的分布特征。当新邮件到达时，计算它属于“垃圾邮件”的概率。如果概率超过阈值，则判为垃圾邮件。这正是概率思想的应用示例倒排索引问题为什么需要索引？倒排索引结构词典：所有关键词的列表。倒排记录表：每个关键词对应一个出现该词的文档ID列表及位置信息工作原理查询时，先查词典，再快速合并相关文档ID列表原理对实践的影响与选择没有最好的模型，只有最适合的模型模型核心思想优势局限典型应用场景布尔模型集合论，逻辑运算简单、明确、可控、可预测；适合系统性、合规性检索。二元判定，无法排序；对用户表达要求高；不够灵活。法律案例检索、专利查新、系统性文献筛选向量空间模型几何空间，相似度排序实现了有效排序，直观易懂，计算相对高效，支持相关反馈。忽略词序与语义（词袋模型），高维稀疏，无法解决词汇不匹配根本问题。通用网页搜索引擎、文本相似性比较、早期文本分类概率/语言模型概率论，可能性排序理论基础坚实，直接对相关性建模，提供概率输出，为学习排序奠基。假设可能不成立，参数估计依赖数据，计算复杂，早期需相关反馈。垃圾邮件过滤、早期个性化推荐、现代排序算法的理论基础案例：用原理分析一次学术搜索在中国知网搜索“深度学习

图像识别”查询处理索引查找模型应用结果呈现系统对查询分词

（“深度学习”、“图像识别”）在倒排索引中分别找到包含这两个词的文档ID列表使用模型计算每篇文档与查询的总体相似度；或切换到高级检索转为布尔模型按选择模型计算出的相关性得分进行排序展示小

结信息检索的目的是在信息用户与信息源之间充当媒介信息检索的原理：在对信息进行整理排序，形成检索工具的基础上，按照用户的要求利用检索工具或者检索系统，讲用户检索提问与