第四讲 信息检索技术 4.2.pdf

第四讲第四讲 信息检索技术信息检索技术信息检索技术信息检索技术 课程体系结构 匹匹 匹匹检检检检 信信 息息 用户需求用户需求 需求状态需求状态 检 索 检 索 系系 系统描述系统描述 界面功能界面功能 匹匹 配 框 配 框 架架 匹匹 配 函 配 函 数数 检检 索 策 索 策 略略 检检 索 技 索 技 术术 息息 用 户 用 户 需求状态需求状态 状态转换状态转换 提问分析提问分析 系系 统统 工工 具具 界面设计界面设计 数据库数据库 检索服务与评价检索服务与评价 架架 数数略略术术 提问分析提问分析 具具 基本概念 基本理论 基本历史 基本方法与实例系统基本概念 基本理论 基本历史 基本方法与实例系统 检索服务与评价检索服务与评价 基本信息环境基本信息环境 2014 11 122 主要内容主要内容主要内容主要内容 1 了解和掌握各种文本信息检索的相关技1 了解和掌握各种文本信息检索的相关技 术 2 掌握信息检索非文本信息的检索技术 图像 视频 声音 图像 视频 声音 第四讲 信息检索技术 一 布尔检索 布尔检索 二 截词检索 三 限制检索 四 位置检索 五聚类检索五 聚类检索 六 加权检索 七 多媒体检索 2014 11 124 一 布尔检索 1 布尔检索的概念布尔检索的概念1 布尔检索的概念布尔检索的概念 运用布尔算符联接各检索项组成表达用户信息 需求的检索式并将检索式与倒排档进行匹配与 比较的方法和技术 2 布尔检索的基本类型布尔检索的基本类型 逻辑与检索 逻辑与检索 逻辑或检索 逻辑非检索 2014 11 125 逻辑与检索 检索课题信息生态 检索课题 信息生态 检索概念 信息 A 生态 B 检索式 A and B 检索系统信息集合检索系统信息集合 ABAB 2014 11 126 逻辑或检索 检索课题 环境问题 检索课题 环境问题 检索概念 概念环境环境有多种表现形式 如 it A1 di A2 environment A1 surroundings A2 检索式 A1 or A2 检索系统信息集合检索系统信息集合 A1A2A1A2 2014 11 127 逻辑非检索 检索对象没有蕾丝的连衣裙 检索对象 没有蕾丝的连衣裙 检索概念 连衣裙 A 蕾丝 B 检索式 A not B 检索系统信息集合检索系统信息集合 BAB 2014 11 128 一 布尔检索 3 布尔检索的主要特点布尔检索的主要特点3 布尔检索的主要特点布尔检索的主要特点 优点优点 符合人类逻辑思维习惯 便于用户准确表达检索要求和便于系统实现 局限局限 对于某些检索要求仅使用布尔检索技术难以 准确表达或虽可表达但形式上非常繁琐准确表达 或虽可表达但形式上非常繁琐 2014 11 129 一 布尔检索 4 应用布尔检索应注意的问题应用布尔检索应注意的问题 逻辑运算符的运算顺序 逻辑运算符的运算顺序 善用or善用 慎用not 2014 11 1210 逻辑算符的运算顺序 以DIALOG系统为例以DIALOG系统为例 A1 or A2 or A3 and B1 or B2 not C 141 2 4 3 5 2014 11 1211 善用or 检索课题环境污染问题 检索课题 环境污染问题 检索策略 检索词选择 环境 空气 水体 土壤 环境 空气 水体 土壤 污染 公害 破坏 检索式 检索式 环境 OR 空气 OR 水体 OR 土壤OR AND 污染 OR 公害 OR 破坏OR 2014 11 1212 慎用not 检索课题检索课题 计算机软件计算机软件 检索课题检索课题 计算机软件计算机软件 检索策略 检索词选择 Computer system software hardware Computer system software hardware 检索式 Computer or computers or computing or and software NOT hardwareand software NOT hardware 2014 11 1213 提问的逆波兰变换提问的波变换 表达式特点共同点表达式特点共同点 中缀表达式运算符在运算项中间 1 运算符个数致 中缀表达式运算符在运算项中间 1 运算符个数一致 2 运算项个数一致 前缀表达式运算符在运算项前面 且前后次序不变 3 前后缀表达式 前缀表达式运算符在运算项前面 3 前 后缀表达式 无括号 更简洁后缀表达式运算符在运算项后面 提问的逆波兰变换提问的逆波兰变换提问的逆波兰变换提问的逆波兰变换 计算机内存开辟三个工作区 1 结果保留区 逆波兰输出区 2 算符保留栈 算符栈 2 算符保留栈 算符栈 3 检索词表存储区 检索词表 3 检索词表存储区 检索词表 提问的逆波兰变换规则 遇运算符遇运算符 若其优先级高于栈顶若其优先级高于栈顶 b 遇检索词 将其置入检索词表中 词表地址送入逆波兰输出区 b 遇检索词 将其置入检索词表中 词表地址送入逆波兰输出区 提问的逆波兰变换规则 c c 遇运算符遇运算符 若其优先级高于栈顶若其优先级高于栈顶 运算符 则压入栈内 不高于则取出 栈顶运算符送入逆波兰输出区 依此 运算符 则压入栈内 不高于则取出 栈顶运算符送入逆波兰输出区 依此 a 先从左到右逐个扫描提 问式字符 予以适当转移 a 先从左到右逐个扫描提 问式字符 予以适当转移 d 遇 无条件置入栈内 d 遇 无条件置入栈内 类推 直到遇到高于栈顶运算符类推 直到遇到高于栈顶运算符 e 遇 则将栈内与其对应的左 括号之间的运算符盘出 送入逆波 e 遇 则将栈内与其对应的左 括号之间的运算符盘出 送入逆波 兰输出区兰输出区 清除这对括号清除这对括号兰输出区兰输出区 清除这对括号清除这对括号 f 遇 栈内算子依后进先出顺 f 遇 栈内算子依后进先出顺 序逆输序逆输序序出栈送入出栈送入逆逆波兰波兰输输出区出区 课堂练习 将下列逻辑提问式进行逆波兰变换课堂练习 将下列逻辑提问式进行逆波兰变换 A B C D E A B C D E AB C D E F G H A B C D E F G H A B C D E F G H 检索指令表的生成 将逆波兰表达式加工成适当的可用于倒排文档检索的一系列检索指令 逆波兰输出区 检索词表 检索指令表 工作区 工作区管理表 准波兰转换准波兰转换 这个方法是对福岛法的优化 它通过对逆波兰式的改这个方法是对福岛法的优化 它通过对逆波兰式的改 写 得到一个所需工作区最少的后缀表达式 而这种 最节省工作区的后缀式被称为 准波兰式 准波兰变换法准波变换法 任何一个逻辑式都可以化成逻辑二叉树 其 中 逻辑式中的运算项为逻辑二叉树的树叶 而运算符则为逻辑二叉树的根或子树的根 准波兰转换准波转换 A B C D A B C D A B C D E F G A A B CD A B CD C AB D E F G AB 准波兰变换法 上述分析发现规律上述分析 发现规律 当 子 树根的两棵子树不对称时若先 当 子 树根的两棵子树不对称时 若先 处理大的那个分枝 占用的工作区个数少 其次 具有相同个数运算项组成的逻辑式 其对应的逻辑树层次越多所需工作区越少其对应的逻辑树层次越多 所需工作区越少 反之亦然 准波兰变换法 总结以用以方法实提问式的准波兰变换 准波变换法 总结 可以用以下方法实现提问式的准波兰变换 首先把一个中缀表达的逻辑式化成逻辑二叉树树形 首先把个中缀表达的逻辑式化成逻辑二叉树树形 式 然后比较该逻辑二叉树每个层次上的两枝是否对称 若不对称把大的一枝调到左边小枝移到右边 若不对称把大的一枝调到左边 小枝移到右边 每个层次都经过比较调整之后 采用后序遍历法周 游该树 得到的后缀式即为准波兰式 准波兰变换法 提问式提问式A B C D 准波变换法 提问式提问式 A B C D A A A A B A B A B CD B A CDCDCD 逻辑二叉树第一次调整第二次调整逻辑二叉树第一次调整第二次调整 提问化为范式法 这种方法的出发点是通过改进提问式的书写来改善作区的使这种方法的出发点是通过改进提问式的书写来改善工作区的使 用状态 其理论依据为 任一提问逻辑式都可化成与之等价的 析取 合取 范式 这是数理逻辑中的一条基本定律 析取范式一般形式 析取范式一般形式 P11 P12 P21 P22 P 1 P 2 P11 P12 P21 P22 Pn1 Pn2 合取范式一般形式 合取范式一般形式 P11 P12 P21 P22 Pn1 Pn2 提问化为范式法提问化为范式法 运用这种方法 只需要在内存开辟4个工作区 其中一个用来存放前次运算的中间结果 一个存 前算前算放当前运算的结果 另外两个存放当前的运算项 由于中间结果能够立即投入下次运算4个工作由于中间结果能够立即投入下次运算 4个工作 区足够使用 提问式提问式 A B C D E F G 化为析取范式为化为析取范式为 A C B C D F D G E F E G A C B C D F D G E F E G 工作区使用情况 工作区使用情况 A C B C D F D G E F E G 提问化为范式法 优点优点 这种方法通过适当改变提问逻辑式的写法 采用逐 字扫描提问式的检索处理不仅比福岛法减少了内存工作字扫描提问式的检索处理 不仅比福岛法减少了内存工作 区 而且处理速度也较快 将提问逻辑式化成析取 合取 范式的工作可以让计算机自动完成 缺点缺点提问式化为范式后范式中同一检索项可能多次重缺点缺点 提问式化为范式后 范式中同一检索项可能多次重 复出现 这样在检索时 访问倒排文档的次数也就随之增 加 从而增加了检索次数 给集合的逻辑运算带来多余的 负担 负担 第三节 信息检索技术 一 布尔检索 布尔检索 二 截词检索 三 限制检索 四 位置检索 五聚类检索五 聚类检索 六 加权检索 七 多媒体检索 2014 11 1229 二 截词检索 1 1截词检索的概念截词检索的概念1 1 截词检索的概念截词检索的概念 截词截词 word truncationword truncation 截词截词 检索者将检索词汇在合适的地方截断 截词检索截词检索 是指在检 截词检索截词检索 word truncationword truncation 是指在检 索标识中保留相同的部分 用相应的截词索标识中保留相同的部分 用相应的截词 符代替可变化部分 截词符号截词符号 不同检索系统规定了不同的截词符号 2014 11 12 不同检索系统规定了不同的截词符号 30 二 截词检索 2 截词检索技术的基本类型截词检索技术的基本类型2 截词检索技术的基本类型截词检索技术的基本类型 按截断字符数的多少按截断字符数的多少 有限截断 用 表示 有限截断 用 表示 即在检索词后后截几个有限的字符字符字符字符 如名词的单复数 动词的词尾变化等 如 输入如 输入stud 表示截表示截 断处有断处有0 3个个字符字符字符字符变化 可检出变化 可检出study studies studied studing 无限截断 用 表示无限截断 用 表示 表示该词后可加任意个字符字符字符字符 使用无 限截词 所截词根不能太短 否则会输出许多无关文献 造 成误检 如 如 如 如 computercomputer 可检出可检出 可检出可检出p p computers computering computered computerizationcomputers computering computered computerization 2014 11 1231 二 截词检索 2截词检索技术的基本类型截词检索技术的基本类型2 截词检索技术的基本类型截词检索技术的基本类型 按截断按截断的的位位置置按截断位按截断位 后截断 单复数 年代 作者 同根词 前截断 前截断 中间截断中间截断 2014 11 1232 截词例子 例1 检索20世纪90年代有关物理方面 例1 检索20世纪90年代有关物理方面 的文献 检索式 physic 199 例2 检索物理化学 生物化学 光化例2 检索物理化学 生物化学 光化 学等方面的文献 检索式 检索式 chemitry 例3 检索有关硫的颜色方面的文献 例3 检索有关硫的颜色方面的文献 检索式 sul ur corl r 2014 11 1233 截词例子 2014 11 12 p g p 34 二 截词检索 截检索的功能截检索的功能3 截截词词检索的检索的主要主要功能功能 本质上相当于逻辑或或运算 提高查全率本质上相当于逻辑或或运算 提高查全率 例 截词检索式brows 相当于Bro se or Bro ser or Bro sers or 相当于 Browse or Browser or Browsers or Browsing or Browsings or 2014 11 1235 第三节 信息检索技术 一 布尔检索 布尔检索 二 截词检索 三 限制检索 四 位置检索 五聚类检索五 聚类检索 六 加权检索 七 多媒体检索 2014 11 1236 三 限制检索 1 限制检索的概念限制检索的概念限制检索的概念限制检索的概念 即将检索范围限制在一定范围内的检索 2限制检索的主要类型限制检索的主要类型2 限制检索的主要类型限制检索的主要类型 字段限制检索字段限制检索 限定检索词仅在某一字段中出现 二次检索次检索 在检索结果中进行再次检索 2014 11 1237 EI的字段符号 2014 11 1238 1 字段限制检索 字段限制符类型字段限制符类型字段限制符类型字段限制符类型 主题字段 AB TI DE CC ID 非主题字段AUCSDTJNLAPY等 非主题字段 AU CS DT JN LA PY等 例子例子 课题 查寻2000年以后有关个人计算机的文献 要求 主题词只出现在叙词与题名中要求 主题词只出现在叙词与题名中 2014 11 1239 1 字段限制检索 在在DIALOG系统中系统中 检索式 Microcomputer DE TI or personal p p computer DE TI and PY 2000 在在EI系统中系统中 在在EI系统中系统中 检索式 Microcomputer or personal computer wn DE or Microcomputer or personal computer wn TI and 2000 wn PY wn 或者或者within是是EI 2014 11 1240 wn 或者或者within是是EI 规定的字段检索符号规定的字段检索符号 2 二次检索 2014 11 1241 三 限制检索限制检索 限制检索的主要功能限制检索的主要功能3 限制检索的主要功能限制检索的主要功能 限定检索结果在命中信息中的出现位置 限定检索结果在命中信息中的出现位置 提高查准率查准率查准率查准率 本质上是更为严格的受限布尔检索 本质上是更为严格的受限布尔检索 2014 11 1242 第三节 信息检索技术 一 布尔检索 布尔检索 二 截词检索 三 限制检索 四 位置检索 五聚类检索五 聚类检索 六 加权检索 七 多媒体检索 2014 11 1243 四 位置检索 1 位置检索的概念位置检索的概念1 位置检索的概念位置检索的概念 以原始自然语言文本中的词与词的特定位置 关系为对象的检索又称全文检索原文检关系为对象的检索 又称全文检索 原文检 索和自由文本检索 原文检索的主要类型原文检索的主要类型2 原文检索的主要类型原文检索的主要类型 邻接检索邻接检索 同句检索 同字段检索 同字段检索 同记录检索 2014 11 1244 篇名作者关键词摘要篇名作者关键词摘要 标标 题题 副标副标 题题 第一第一 作者作者 第二第二 作者作者 关键 关键 词词1 1 关关 键键 句子1 句子 句子1 句子 2 2 题题题题作者作者作者作者词词1 1键键 词2词2 2 2 同记录检索 要求2个检索词出现在同一记录下同记录检索 要求2个检索词出现在同一记录下 同字段检索 要求2个检索词出现在记录的同一字段下同字段检索 要求2个检索词出现在记录的同一字段下 同句检索同句检索 要求要求2 2个检索词出现在记录的同个检索词出现在记录的同一一个句子或短语中个句子或短语中 同句检索同句检索 要求要求2 2个检索词出现在记录的同个句子或短语中个检索词出现在记录的同个句子或短语中 邻接检索 要求2个检索词具备一定邻接关系邻接检索 要求2个检索词具备一定邻接关系 2014 11 1245 1 邻接检索 proximity search 邻接检索概念邻接检索概念 邻接检索概念邻接检索概念 以原始记录中的词间位置为对象的检索 最严格的位置检索 最严格的位置检索 词位置检索的类型词位置检索的类型词位置检索的类型词位置检索的类型 W 算符和 nW 算符 Word 或With检出结果必须同检索式完全相同 Word 或With 检出结果必须同检索式完全相同 词序不能调换 N 算符和算符和 nN 算符算符 N 算符和算符和 nN 算符算符 Near 检索词紧密相联 但词序可颠倒 2014 11 1246 邻接检索例子 课题课题信息检索的相关问题信息检索的相关问题 课题课题 信息检索的相关问题信息检索的相关问题 检索词 information retrieval 检索词 information retrieval W 算符算符和和 nW 算符检索式算符检索式 算符算符 算符检索式算符检索式 Information W retrieval information 2W retrieval N 算符和算符和 nN 算符检索式算符检索式 Information N retrieval information 2N retrieval Information N retrieval information 2N retrieval 2014 11 1247 2 同句检索 同句检索的概念同句检索的概念同句检索的概念同句检索的概念 检索词只需在同一句子中出现 先后顺序不先后顺序不 受限制受限制用S sentence 表示受限制受限制 用S sentence 表示 课题 信息检索的相关问题课题 信息检索的相关问题 检索式检索式 信息 or 情报 S 检索 or 搜索 or 查寻 信息 or 情报 S 检索 or 搜索 or 查寻 information or intelligence S retrieval or search or query search or query 2014 11 1248 同字段检索同字段检索 3 同字段检索 同字段检索的概念同字段检索的概念 要求检索词在同一字段中出现要检索词在同字段中出现 同字段检索的类型 F 算符 field 检索词在同一字段中出现 词序 可变 L 算符 link 要求检索词在叙词字段中出现 并且词间具有等级关系 上下位类主副叙词 并且词间具有等级关系 上下位类 主副叙词 教材教材P98 101 同字段检索例子同字段检索例子 检索课题 环境影响 检索课题 环境影响 要求在叙词和题名字段中出现 检索式 it F it DE TIenvironment F impact DE TI 检索课题 铁的腐蚀 要求在同一字段中出现 检索式检索式 iron F corrosioniron F corrosion 教材教材P98 101 4 同记录检索 同记录检索的概念同记录检索的概念同记录检索的概念同记录检索的概念 检索词在同一记录中出现 符号 符号 r record c citation 课题课题 重金 重金属属污污染染课题课题属染属染 在书目数据库而言 检索式hl ll i 检索式 heavy metal c pollution 等同于 heavy metal and pollution 2014 11 1251 四 位置检索 3 位置检索的功能位置检索的功能3 位置检索的功能位置检索的功能 是增强的布尔逻辑与检索 增强选词的灵活性 解决其它检索技 术不能解决的问题术不能解决的问题 2014 11 1252 综合检索实例综合检索实例 检索 残疾人用的人造臂残疾人用的人造臂 方面的资料 具体要求是不要 综合检索实例综合检索实例 机 动的 机械控制的 其余如电动 气动 机电等都 要 要 步骤步骤1 分析课题 选词分析课题 选词 医用非机动人造臂医用非机动人造臂 医用 人造臂 机械医用 人造臂 机械 prosthesesprostheticsartificial armfore armprostheses prosthetics artificial arm fore arm upper arm mechanically 综合检索实例综合检索实例综合检索实例综合检索实例 检索 检索 残疾人用的人造臂残疾人用的人造臂 方面的资料 具体要求是不 方面的资料 具体要求是不 要机动的要机动的 机械控制的机械控制的 其余如电动其余如电动气动气动机电机电要机动的要机动的 机械控制的机械控制的 其余如电动其余如电动 气动气动 机电机电 等都要 等都要 步骤步骤2 布尔运算符的应用 布尔运算符的应用 prostheses OR prosthetics AND artificial arm OR fore arm OR upper arm NOT mechanically 综合检索实例综合检索实例综合检索实例综合检索实例 检索 检索 残疾人用的人造臂残疾人用的人造臂 方面的资料 具体要求是不 方面的资料 具体要求是不 要机动的要机动的 机械控制的机械控制的 其余如电动其余如电动气动气动机电机电要机动的要机动的 机械控制的机械控制的 其余如电动其余如电动 气动气动 机电机电 等都要 等都要 步骤步骤3 截词符的应用 截词符的应用 prosthe AND artificial arm OR fore arm OR upper arm NOT mechani 综合检索实例综合检索实例综合检索实例综合检索实例 检索 检索 残疾人用的人造臂残疾人用的人造臂 方面的资料 具体要求是不要机 方面的资料 具体要求是不要机 动的动的 机械控制的机械控制的 其余如电动其余如电动 气动气动 机电等都要机电等都要 动的动的 机械控制的机械控制的 其余如电动其余如电动 气动气动 机电等都要机电等都要 步骤步骤4 位置算符的应用位置算符的应用步骤步骤4 位置算符的应用位置算符的应用 prosthe AND artificial W arm OR fore W arm p OR upper W arm NOT mechani 综合检索实例综合检索实例 检索检索 残疾人的人造臂残疾人的人造臂 方的资料方的资料体求体求 综合检索实例综合检索实例 检索检索 残疾人残疾人用用的人造臂的人造臂 方方面面的资料的资料 具具体体要要求求是不要是不要 机动的机动的 机械控制的机械控制的 其余如电动其余如电动 气动气动 机电等都机电等都机动的机动的 机械控制的机械控制的 其余如电动其余如电动 气动气动 机电等都机电等都 要 要 步骤步骤5 如有必要 还可进行限制检索 如有必要 还可进行限制检索 prosthe AND artificial W arm TI OR fore W OR W AND PY 1990 NOTarm OR upper W arm AND PY 1990 NOT mechani 第三节 信息检索技术第三节 信息检索技术 一布尔检索一 布尔检索 二 截词检索截词检索 三 限制检索 定性检索 四 位置检索 五聚类检索五 聚类检索 六 加权检索 定量检索 六 加权检索 七 多媒体检索 2014 11 1258 五 聚类检索 聚类检索的概念聚类检索的概念1 聚类检索的概念聚类检索的概念 在信息检索时按定标准把信息分类并 在信息检索时 按一定标准把信息分类 并 以类为对象进行的检索类象行检索 2 聚类检索的基本方法与技术聚类检索的基本方法与技术 基于向量空间的聚类 2014 11 1259 聚类检索聚类检索 向量空间模型向量空间模型 vector space modelVSM 向量空间模型向量空间模型 vector space model VSM 文献向量矩阵文献向量矩阵文献向量矩阵文献向量矩阵 Doc1 T1 T2 Tm 相似度计算相似度计算 提问向量提问向量 Doc2 T1 T2 Tm Q T1 T2 Tm 相似度计算相似度计算 余弦函数余弦函数 Docn T1 T2 Tm 余弦函数余弦函数 基于向量空间的聚类 基文档的向量表进行聚类成聚类文档 基于文档的向量表示进行聚类处理 形成聚类文档 接受用户提问 并将检索提问转换为提问向量接受用户提问并将检索提问转换为提问向量 选择相似性计算函数 计算提问向量与聚类文档中各 文档向量的相似度文档向量的相似度 选择相似度大于给定阈值的类作为下一步的检索对象 在选择的类向量中 把提问向量逐一与各文档向量进 行匹配计算 输出大于指定阈值的为命中结果行匹配计算 输出大于指定阈值的为命中结果 2014 11 1261 五 聚类检索 3 聚类检索与分类检索的比较聚类检索与分类检索的比较3 聚类检索与分类检索的比较聚类检索与分类检索的比较 联系 都是基于类的检索 区别区别 比较 对象 基础动态性分类过程 对象 分类分类 检索检索 基于事先设置的基于事先设置的 分类表分类表 固定的先组式的 固定的先组式的 静态静态 由总到分由总到分 检索检索分类表分类表静态静态 聚类 检索 基于文献相似性 的分类 没有分类表 动态由分到总聚类 检索 基于文献相似性 的分类 没有分类表 动态由分到总 2014 11 1262 五 聚类检索 聚类检索的特点聚类