计算机检索技术及搜索引擎应用.ppt

第二讲 计算机检索技术及搜索引擎应用,必须找？ 哪里找？ 如何找？,第一节 计算机检索技术,计算机检索的实质：匹配运算 计算机检索技术,检索提问,检索表达式,扫描、匹配,识别,数据库,检索词的组配技术,计算机检索技术,检索表达式的构成规则,检索词：主题词、关键词、名称、分类号分子式等。,检索表达式：运用各种运算符，把检索词连接组配。,布尔 逻辑,位置 逻辑,截词,字段 限制,加权,计算机检索技术,其他,1.1,1.2,1.3,1.4,1.6,1.5,1.1 布尔逻辑检索技术,布尔逻辑检索技术就是利用布尔逻辑算符进行检索项的逻辑组配，用以表达检索者的提问概念。 布尔逻辑算符指规定检索词之间相互关系的运算符号，在检索表达式中起着逻辑组配的作用,复杂概念的 检索式,1.1 布尔逻辑检索技术,常用的布尔逻辑运算符： 逻辑“与(AND)” 逻辑“或(OR)” 逻辑“非(NOT)” 运算顺序,1.1.1 逻辑“与”,运算符：AND 或 * 用于交叉概念或限定关系的组配，实现检索词概念范围的交集。 表达式：,A and B 或 A*B,And两侧的检索词必须同时出现在检索字段中,检出同时含有检索词A和检索词B的记录,1.1.1 逻辑“与”,作用 缩小检索范围，提高查准率。 举例 检索“人口控制”或者“控制人口”方面的文献信息。 人口 and 控制,返 回,1.1.2 逻辑“或”,运算符：OR 或 + 用于检索词并列关系（同义词、近义词）的组配，实现检索词概念范围的并集。 表达式：,A or B 或 A+B,在文献记录中只要含有检索词A和检索词B中的任何一个即算命中,检索出的记录含有检索词A或者检索词B,1.1.2 逻辑“或”,作用 扩大检索范围，防止漏检，提高查全率。 举例 检索“计算机” 方面的文献信息。 计算机 or 电脑 使用的注意事项 如果检索词涉及表达整体概念，要针对具体情况分别列出每个表达部分概念的检索词，否则将出现漏检。,返 回,1.1.3 逻辑“非”,运算符：NOT 或 - 一种排斥关系的组配，用来从原来的检索范围中排除不需要的概念。 表达式：,A not B 或 A-B,适用于排除含有某个指定检索词的记录,检索出的记录含有检索词A，但同时不含检索词B,2.1.3 逻辑“非”,作用 缩小检索范围，增强检索的准确性。但使用不当，易排除有用文献信息，从而导致漏检 举例 检索有关能源方面的文献信息，但不包括核能。 energy not nuclear 使用的注意事项 两个关系紧密的检索词不宜用not,返 回,1.1 布尔逻辑检索技术,优先级高,优先级低,布尔逻辑运算符的运算顺序,返 回,1.2 位置逻辑检索技术,位置逻辑检索 利用位置逻辑算符限定检索词之间的位置，或指定检索词在记录中某一特定位置进行检索。位置算符又称邻接运算符。 位置逻辑检索的作用 表达各个检索词之间的顺序与相对位置关系。 与布尔逻辑检索的区别 使用布尔逻辑检索时，计算机只判断参加运算的检索词在数据库记录中出现与否，不能确定检索词之间的相对位置关系。而通过与位置算符配合使用可以减少检索误差。,1.2 位置逻辑检索技术,Dialog系统中的几种位置算符 同词位检索 （W）（With / Word）、 （nW） （N）（NEAR）、（nN） 同字段检索 （F）（Field） （L）（Link） 其他位置算符 （S）（Subfield） （C）（Citation）,1.2.1 同词位检索,允许在连接的两个词之间最多夹入n个其他单元词，只强调插入单元词个数没限定插入单元词的具体范围，同时词序不能颠倒,此算符两侧的检索词必须按输入时的前后顺序排列，而且所连接的词之间除可以有一个空格或一个标点符号或一个链接号外不得夹有任何其他单词或字母,1.2.1 同词位检索,允许两个检索词之间最多可以插入n个单词，且这两个检索词的词序任意,此算符两侧的检索词必须紧密相连，所连接的词间不允许插入任何其他单词或字母，但词序可以颠倒,（N）举例,检索式 chemistry（N）physics,命中,含有chemistry physics或physics chemistry的文献,返 回,检索式 economic（2N）recovery,（nN）举例,命中,含有economic recovery或recovery of the economic的文献,返 回,（W）/（）举例,检索式 American （） Literature,命中,有关American Literature或American，Literature的文献,返 回,（nW）举例,检索式 knowledge（1W）economy,命中,有关knowledge economy或knowledge-based economy的文献,返 回,2.2.2 同字段检索,表示此算符两侧的检索词必须同时出现在同一字段内。如：篇名字段、文摘字段、叙词字段等，但两词的词序中间插入的次数不限。,表示两个检索词之间存在从属关系或限制关系。如果其中一个为一级主题词，另一个就为二级主题词。,（L）举例,检索式 control（L）stability,命中,标题含有control和stability两个检索词的文献记录。,返 回,（F）举例,检索式 economic（F）knowledge,命中,标题为“the Economic Impact of Knowledge-Based”的文献记录。,返 回,原因：,算符两侧的检索词在同一标题字段中,1.2.3 其他位置逻辑检索,（S）（Subfield） 表示在此算副辆车的检索词必须出现在同一个子字段中，顺序不变，中间可插入词数不限。 举例 （basic or cobol or pascal）（S）（program* or compil*）,Basic (S) program* basic (S) compil* Cobol (S) program* cobol (S) compil* Pascal (S) program* pascal (S) compil*,1.2.3 其他位置逻辑检索,(C)（Citation） 表示两侧的检索词只能出现在同一条记录中，且对它们的相对位置或次序没有任何限制，作用和布尔算符and完全相同,1.2.4 位置逻辑检索技术,严谨,宽松,返 回,1.3 截词检索技术,实质 截词检索就是用截词符号将检索词截断，用检索词的片段进行匹配运算。 注意 在截断时，截断的词干不能太短，词干一般应在3个字符以上，以免增加检索时间，产生误检。,1.3 截词检索技术,截词形式 按截词的字符数量 有限截断、无限截断 按截词的位置 右截断、左截断、中间截断,1.3.1 按截词数量截断,有限截断 指限定截去有限个字符。 截断符号 ?截断1个字符 ?截断2个字符 依此类推。 举例 输入：product? 结果：含有product、products的记录,1.3.1 按截词数量截断,无限截断 检索词词干可变化两个以上字符时，连续使用若干个“ ? ”或“ * ”代替变化字符。 用法 可同时查找含有该词干的所有文献记录，亦可用于年代的查找。,1.3.2 其他截断方式,1.把截词符号置放在一个检索词的中间； 2.中截断不允许有限截断,1.将截词符号放在一个字符串左方，表示其左的有限或无限个字符不影响该字符串的检索； 2.实质：后方一致检索,1.最常用的截词检索技术； 2.放在字符串右方，表示其右有限或无限个字符不影响该字符串的检索； 3.实质：后截断是前方一致检索,后截断,前截断,中截断,举例,举例,举例,返 回,后截断举例,输入： computer * 检索结果,computeracy computerise computerization computers,后截断注意事项,后截断主要使用于如下几种情况： 检索词的单复数的描述； 如：book? 同根词的表达； 如：chemi*可以检索出chemical、 chemistry、chemist等同根词 年代的表达； 如：20?（21世纪），199?（20世纪90年代） 作者 如：Moyer*可以检索出所有姓Moyer的作者,返 回,前截断举例,输入： *computer 检索结果 microcomputer minicomputer,返 回,中截断举例,输入： organi ? ation 检索结果 organization organisation 中截断主要使用于如下几种情况： 检索词的拼写方式存在美式、英式之分； 检索词在某个元音位置出现的单复数不同； 如：man与men 作用 扩大检索范围，提高检全率，减少检索词的输入量,返 回,1.4 字段限制检索技术,在检索系统中，通常有一些缩小或约束检索结果的方法，称为限制检索。 限制检索的方式,1.4.1 字段限制检索,特点及作用 使检索出的文献信息达到一定的专指度。将检索词限制在记录的某个特定字段内检索，不但可以减轻机器负担，提高运算速度，还可以使检索结果更准确。 用法 将需要检索的内容限制在相关的字段内。 如：作者姓名 作者字段 关键词 关键词或题名字段,1.4.1 字段限制检索,字段种类 基本字段：表达文献内容特征的字段 辅助字段：表达文献外表特征的字段 字段检索形式 1. 通过菜单选择检索字段 2. 用命令的方式输入字段限制算符,篇名字段、文摘字段、叙词字段、分类类目等,作者、机构、文献类型、语种等,返 回,1.4.2 使用限制符检索,Web检索方式通常通过菜单选择检索字段，在联机Web高级检索中，还可以用表示语种、文献类型、出版国家、出版年代等额字段标识符来限制检索范围。在Dialog系统中，用专门的字符表示不同字段。,1.4.2 使用限制符检索,前缀限制字符 AU= 限查特定作者 JN= 限查特定刊名 LA= 限查特定语种 PN= 限查特定专利号 PY= 限查特定年代 后缀限制符 /TI 限在题目中查 /AB 限在文摘中查 /DE 限在叙词标引中查,查找2004年出版的英文或法文的宏观经济学方面的期刊 检索式： (macroeconomics/de, ti, ab) AND PY=2004 AND (LA=EN OR FR) AND DT=Serial,返 回,1.5 加权检索技术,与其他检索技术的区别 基本方法 1. 在每个检索词后面给定表示重要程度的数值，称为权 值。 2. 检索时，查找这些检索词在数据库记录中是否存在 3. 计算存在的检索词的权值总和。 4. 权值之和达到或超过预先给定的阙值，即为命中,返 回,1.6 其他辅助检索技术,1.6.1 信息的浏览式检索与链接技术 1.6.2 检索结果的翻译和多语种(或跨语种） 检索技术 1.6.3 检索结果的后处理技术,1.6.1 信息的浏览式检索与链接技术,用 户,在计算机检索系统中，“浏览”方式的实现主要得益于超文本链接技术的成功应用。,某种信息组织结构 （或导航机制）,链 接,信 息,访问、探寻,提 供,1.6.1 信息的浏览式检索与链接技术,搜索引擎 目前，基于浏览式检索的技术方法已在网络搜索引擎中得到了广泛应用，以Yahoo为首创的一类网络搜索引擎就是通过分类目录导航机制实现对同络信息的浏览式检索的。 此外，超文本链接技术在传统的基于关键词匹配的信息检索系统中，也越来越显现出重要的应用价值。,1.6.1 信息的浏览式检索与链接技术,参考文献链接 (Cited Reference),相关记录链接 (Related Records),被引次数链接 (Times Cited),被引次数链接举例,在系统检索结果列表中，该链接点首先给出该文献的被引用次数，单击该链接点，系统会进一步显示引用该篇文献的所有其他文献；,点击,参考文献链接举例,该链接点不仅可以显示该检索结果文献所使用的参考文献数量，单击它还可显示这些参考文献的具体列表；,点击,相关记录链接,通过该链接点可以查看在不同年份中与当前所检索的记录共同引用同一篇(或多篇)参考文献的一组文献，即相关记录，并按共同引用参考文献的多少排序。,1.6.1 信息的浏览式检索与链接技术,外部链接 与原始文献的链接； 与图书馆馆藏OPAC系统的链接，了解该文献 记录所在期刊的馆藏情况； 与其他数据库服务系统的链接。,返 回,1.6.2 检索结果的翻译和多语种 (或跨语种）检索技术,目前检索结果翻译这一检索辅助功能主要出现在网络搜索引擎中。目前，一些大型、综合性搜索引擎在检索结果翻译方面已经展开研究，并开始提供这一服务功能。 与检索结果翻译问题密切关联的另一个问题是多语种(或跨语种)检索问题。检索结果的翻译功能毕竟有限，更重要的应是多语种(或跨语种)检索功能的实现。鉴于自然语言理解的困难性，真正意义上的多语种检索实现技术目前仍处于研究中。,返 回,1.6.3 检索结果的后处理技术,排序输出 最常用(或默认)的排序标准：相关度(relevance)排序，,检索结果条目,用户检索请求,匹 配,结 果 （按匹配程度大小从高到低排序）,1.6.3 检索结果的后处理技术,联机聚类 联机聚类技术可以动态地把检索结果集合划分、安排到一个由聚类计算面生成的类目等级结构中，用户通过在这一目录结构中进一步浏览其感兴趣的结果，可以节省大量的联机时间。 去重合并 存在原因： 1. 国际联机检索系统的多数据库(或跨数据库)检索； 2. 网络搜索引擎的信息检索。 目前，独立搜索引擎对检索结果中的重复信息很少进行过滤处理。不过，元搜索引擎则普遍具有对来自不同引擎重复检索结果的合并和去重功能。,第二节 搜索引擎,2.1 搜索引擎的定义、原理、分类 2.2 Google及其使用技巧 2.3 其它搜索引擎,2.1.1 搜索引擎的定义,搜索引擎是一个提供信息“检索”服务的网站，它使用某些程序把因特网上的所有信息归类以帮助人们在茫茫网海中搜寻到所需要的信息。 搜索引擎常常是用户利用网上资源的第一途径。,2.1.2 搜索引擎原理,从互联网上抓取网页建立索引数据库在索引数据库中搜索排序。 大多数搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。 搜索引擎也不能真正理解网页上的内容，它只能机械的匹配网页上的文字。,2.1.3 搜索引擎的分类,按检索机制划分 按检索内容划分 按数据来源划分,（1）按检索机制划分,全文搜索引擎 目录式搜索引擎 元搜索引擎,全文搜索引擎,从互联网上提取的各个网站的信息而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户。 从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序，并自建网页数据库，搜索结果直接从自身的数据库中调用；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。 优点：是查询全面、充分，用户能够对各网站的每篇文章中的每个词进行搜索，检索直接、方便，而且可使用布尔逻辑检索、短语检索等高级功能。 缺点：繁多而杂乱的感觉。 代表性的全文搜索引擎是Google、百度。,目录式搜索引擎,通过用户浏览层次类型目录来寻找所需信息。 分类一般按主题分类，并辅之以年代、地区等分类。 网站多以此方式组织。例如：新浪分类目录计算机与互联网 硬件行情报价。 优点：使用户清晰方便地查找到某一大类信息，尤其适合那些希望了解某一范围内信息，并不严格限于查询关键字的用户。 缺点：搜索范围较全文搜索引擎要小许多，尤其是当用户选择类型不当时，可能遗漏某些重要的信息源。 代表性的目录式搜索引擎是Yahoo、搜狐、新浪网站,元搜索引擎,同时在其他多个引擎上进行搜索，并将结果返回给用户。 没有自己的数据库，利用一个统一的界面，查询其他独立的搜索引擎。 优点：快捷，信息覆盖面更加广泛 缺点：高级检索功能不完善，检索结果没有经过处理 著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有北斗、等。,图 Dogpile界面,MetaCrawler 1995年由华盛顿大学推出，1997年被InfoSpace购买。 支持调用12个独立搜索引擎，提供涵盖近20个主题的目录检索服务。 检索特性非常丰富，包括常规检索、高级检索、定制检索、国家或地区的资源检索等检索服务模式。 高级检索模式可实现：搜索引擎的选择调用，基于域名、地区或国家的检索结果过滤，最长检索时间设置，每页可显示的和允许每个搜索引擎返回的检索结果数量的设定，设定检索结果排序依据（包括相关度、域名、源搜索引擎）等。以上内容均可作为定制检索的个性化选项并予以保存。 检索结果中包括一个以1000为最大值的相关度指标。,一款理想的元搜索引擎应具备的特点和功能,含盖较多的搜索资源，可随意选择和调用源搜索引擎； 具备尽可能多的可选择功能，如资源类型（网站、网页、新闻、软件、FTP、MP3、图像等）选择、返回结果数量控制、结果时段选择、过滤功能选择等 强大的检索请求处理功能（如支持逻辑匹配检索、短语检索、自然语言检索等）和不同搜索引擎间检索语法规则、字符的转换功能（如对不支持“NEAR”算符的搜索引擎，可自动实现由“NEAR”向“AND”算符的转换等 详尽全面的检索结果信息描述（如网页名称、URL、文摘、源搜索引擎、结果与用户检索需求的相关度等） 支持多种语言检索。,（2）按检索内容划分,通用型 专题型,通用型搜索引擎,通用型搜索引擎在采集标引信息资源时不限制资源的主题范围和数据类型，又称为综合型检索工具。如：Google、百度、AltaVista、Excite、Yahoo等也有这种混合功能。右图是Yahoo的检索界面，既有检索窗口，也有分类浏览目录。,专题型检索工具,专题型检索工具指那些专门用来检索某一类型信息和数据的检索工具，如查询地图的检索工具“MapBlast”、查询图像的检索工具“WebSEEK”等。,图 G的界面,（3）按数据来源划分,独立搜索引擎 拥有独立的采集标引机制和独立的数据库 元搜索引擎 没有自己的数据库，它利用一个统一的界面，查询其他独立的搜索引擎,2.2 Google及其使用技巧,由两个斯坦福大学博士生Larry Page与Sergey Brin于1998年9月发明。 约搜索30亿张网页，包括35个国家和地区的语言的资源。 已占有全球搜索市场的80%。Google 在中国的搜索市场的市场份额也已突破30%，并且增长速度迅猛，在中文搜索市场有举足轻重的作用。,2.2.1 Google检索步骤,确定检索需求 构建检索策略 点击检索 评估检索结果 点击浏览 保存所需信息,2.2.2 Google检索技巧,使用正确的方法 合理利用 “与/或”的搜索：OR 搜索中包括或不包括的词：+、- 搜索近似词： 搜索特定词组：“ ” 列出相似页面：类似网页 利用高级检索 使用“更多”功能,Google高级检索,查找其他类型文件,Google可以支持13种非HTML文件的搜索。除了PDF文档，Google现在还可以搜索Microsoft Office (doc, ppt, xls, rtf） 、Shockwave Flash (swf)、PostScript (ps)和其它类型文档。新的文档类型只要与用户的搜索相关，就会自动显示在搜索结果中。 例如，如果您只想查找 PDF或Flash 文件，而不要一般网页，只需搜索： 关键词 filetype:pdf 关键词 filetype:swf”,货币转换 要使用我们的内置货币转换器，只需在 Google 搜索框中键入您需要完成的货币转换，并单击“回车”键或 Google Search 按钮即可。 【实例】 3.5 USD =? GBP 10新加坡元等于多少印度卢比 8人民币换成泰国的货币 30 人民币每公升 =? 美元每加仑,计算器 Google 为用户提供了一个内置计算器。只需要在搜索字段中输入算式，按一下回车键或者搜索就可以了。这个计算器可以用来做所有简单的计算，一些复杂的科学计算，单位换算，以及提供各种物理常数。 【实例】 5+2*2 220 sqrt(-4) 一磅=？克 光速乘以二秒等于多少公里,符 号 功 能 示 例 + 加 3+44 - 减 13-5 * 乘 7*8 / 除以 12/3 的次方 82 % 模 (除之后的余数) 8%7 选 组合运算X选Y表示在X个单位中选Y个有多少种选法 18选4 开次方 计算一个数的n次方根 32开5次方 sqrt 平方根 sqrt(9) sin, cos, etc. 三角函数 （括号中的数字单位为弧度） tan(45) ln 以 e 为底的对数 ln(17) log 以 10 为底的对数 log(1,000) ! 阶乘 5! % 百分之 20%,按链接搜索 有一些词后面加上冒号对 Google 具有特殊的含义。其中的一个词是“link:”。查询 link: 显示所有指向该网址的网页。例如，“link:”将找出所有指向 Google 主页的网页。不能将 link: 搜索与普通关键词搜索结合使用。 指定网域 有一些词后面加上冒号对 Google 有特殊的含义。其中的一个词是“site:”。要在某个特定的域或站点中进行搜索，可以在 Google 搜索框中输入“site:”。,如何辨别网站的性质,.edu 教育学术 .gov 官方政府单位 .net 网络管理或服务机构 .org 财团法人或基金会等非官方的一般机构 .int 国际性组织 .com 代表商业企业团体与组织 . 中国科学研究机构,天气查询 用 Google 查询中国城市地区的天气和天气预报，只需输入您要查询的城市地区名称和一个关键词（“天气”、“气象”、“tq”、“tianqi”、“tian qi” 等，任选其一）就能在搜索结果页面的最上方看到当日及未来二至三天的天气情况。当鼠标移动到天气图标上时，还可以显示对应的天气情况细节。,金融信息 在搜索框中输入股票和基金的名称或代码, 可查询最新的股票和基金信息。 邮编区号 用Google 查询邮政编码或长途电话区号，您只需输入关键词（“邮编”,“yb” 和“YB” 任选其一；“区号”， “qh” 和“QH” 任选其一）和要查的城市地名或邮政编码或电话区号即可。Google 会为您提供相关的所有信息，包括所在地的省市名称，邮政编码及长途电话区号。,手机号码 用Google 查询手机电话号码归属地，您只需直接输入要查的号码即可（不需要任何关键词）。Google 能自动识别以13开头的11位数字为手机号码而返回相关的网站链接，让您即刻便知道答案。 定义 要查看字词或词组的定义，只需键入“define”，接着键入一个空格，然后键入您需要其定义的词。如果 Google 在网络上找到了该字词或词组的定义，则会检索该信息并在搜索结果的顶部显示它们。 通过包含特殊操作符“define:”，并使该操作符与您需要其定义的字词之间不留空格，还可获得定义的列表。,Google更多功能,得心 “In”手：intitle / inurl / intext 人在旅“图”：/ “学”海无涯：/schhp?hl=zh-CN “书”林漫步：/ 新闻“快讯”：/alerts?hl=zh-CN 热门“榜”单：/rebang/home 关注“趋势”：/trends?hl=zh-CN,国外搜索引擎,AltaVista AskJeeves Excite MetaCrawler ,AltaVista （） DEC公司1995年12月推出,AskJeeves ( / ),Excite（/ ） 斯坦福大学1993年8月创建,MetaCrawler(http:/www.MetaC/),常用的学术搜索引擎,专注于科学搜索引擎与目录，还包括一些科学杂志以及其他的工具等,提供了一种通过引文链接检索文献的网络学术信息搜索工具,Google 学术搜索提供可广泛搜索学术文献的简便方法,专为搜索高度相关的科学信息而设计的搜索引擎,Scirus 由 Elsevier 开发，是目前互联网上最全面、综合性最强的科技文献门户网站之一，Scirus引擎的信息源主要是两部分：网页和期刊。为科学家们在网络上和专有数据库中快速查找所需的信息打开了一道便捷之门，此外，还可以对网络中所搜索到的结果进行过滤，然后只列出包含有科学信息的成分。 目前 Scirus 可搜索 4.5 亿个与科学相关的网页，信息来源包括同行评审期刊论文、预印本、报告、科学数据、发明专利及有关网页，大多是网上开放获取资源（如电子打印稿件 ArX 、 RePEc 、 MIT 开放课程资料等），也含部分商业收费资源（如 LexisNexis 、 Science