第二讲 搜索引擎与网络信息资源检索.ppt

1、第二讲 搜索引擎与网络信息检索,卢 坚 L,1.网络信息资源的种类,按信息内容的表现形式和内容划分: 全文型信息：网络电子期刊，网络报纸，印刷型期刊的电子版，网络学院的各类教材，政府出版物，标准全文等； 事实型信息：新闻事件、天气预报，节目预告，火车车次，飞机航班，城市或景点介绍，工程实况、IP地址等； 数值型信息：主要是指各种统计数据； 数据库类信息：如DIALOG，万方等，是传统数据库（如光盘数据库）的网络化； 微信息（web2.0特征）：如博客、播客，BBS，聊天，邮件讨论组，网络新闻组等。 其它类型：投资行情和分析，图形图象，影视广告等。,按信息资源的主题划分：,新闻信息资源 商业信息

2、资源 法律信息资源 教育信息资源 娱乐信息资源 ,按所采用的网络传输协议可分为：,WWW网络资源：因特网信息资源的主流，它使用http协议，使用简单，功能强大，能方便迅速的浏览和传递分布于网络各处的文字、图象、声音和多媒体超文本信息。 FTP信息资源：它使用ftp协议，该协议主要用于连网计算机之间传输文件。FTP相当于在网络上两个主机之间复制文件。目前仍是发布、传递软件和文件的主要方法。 TELNET信息资源：telnet是远程登陆协议。telnet信息资源包括硬件资源和软件资源。许多机构都提供远程登录的信息系统，如图书馆的公共目录系统，信息服务机构的综合信息系统等。 用户服务组资源：包括新闻

3、组，电子邮件组等。这些电子通信组形式所传递和交流的信息资源是网络上最自由、最具有开放性的资源。,2.网络信息资源的特点,信息类型多、范围广 信息数量巨大而庞杂 分布式、跨平台 信息动态性高 信息缺乏管理，质量良莠不齐 信息有序与无序并存 所以在网络信息检索中，我们常常要借助于网络检索工具比如搜索引擎来帮助我们“大海里捞针”。,3.搜索引擎的概念,搜索引擎是以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航目的的网络检索工具。 它并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。,搜索引擎的工作原理就像超市,索引生成器 （

4、网页数据库）,爬行器 （搜索软件）,查询检索器 （用户查询）,因特网,利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。,第一步：从互联网上抓取网页,因特网,第二步：建立索引数据库,由索引系统程序对收集回来的网页进行分析，提取相关信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重 要性），然后用这些相关信息建立网 页索引数据库。,第三

5、步：检索界面的建立,当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。 最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。,每个搜索引擎都必须向用户提供一个良好的信息查询界面，一般包括分类目录及关键词两种信息查询途径。,4.搜索引擎的发展历史,第二代 全文式搜索,搜索引擎分类：目录式,目录式搜索引擎 是指通过专职编辑人员把因特网中的资源地址收集起来，按主题分成不同的类目，再一层层地进行细分，形成可供浏览的树状结构，类似图书馆

6、的分类表，类目除按主题分类外,并辅以年代、地区等加以区分。 优点：信息准确、查准率高，可以使用户清晰方便地查找某一大类的信息，适合那些希望了解某一范围内信息，并不严格限于查找关键词的用户 缺点：搜索范围较小，可能会遗漏掉某些重要的信息源。代表性的目录式分类搜索引擎是Yahoo、新浪、搜狐、DMOZ（),/,新浪（,搜索引擎分类：元搜索引擎,元搜索引擎：这类搜索引擎没有自己的索引数据库，它利用一个统一的 界面将用户的查询请求同时向多个搜索引擎递交，将检索结果整合后返回给用户。 有代表的 ： 比比猫 万维搜索/ 飓风搜索 http:/www. s

7、earch. Com（国外）,http:/www. widewaysearch. com/,搜索引擎分类：全文式,基于机器人（robot）程序也叫蜘蛛程序（spider）提取站点上的网页 索引器为搜集到的信息建立索引 检索器按输入检索词检索索引库并返回结果 优点： 信息量大、更新及时 缺点： 返回信息过多，有很多无关信息，需要用户进行筛选。,搜索引擎分类：综合（水平）型,范围广、信息量大 中文 谷歌、百度、新浪、网易、搜狐 英文 AltaVista 、Google、AllTheWeb、 HotBot,搜索引擎分类：专题（垂直）型,针对特定领域、特定人群或特定需求 特点：“专、精、深” 音乐、视

8、频、图片、地图、博客、学术、FTP、论坛、答案,天网资源：Web、FTP、Maze等,视频（）,科学视频（),学术搜索（）,Ask jeeves (答案搜索）,百度知道（知识搜索）,Web2.0社区,更多专业搜索引擎,搜索引擎举例：Google及其使用技巧,Google简介,Google搜索引擎由斯坦福大学博士生Larry Page与Sergey Brin于1999年创立。 “Google”来自于数学名词“Googol”， Googol表示一个 1 后面跟着 100 个零。,WHY Google？,80 亿网址世界上最大的搜索引擎 PageRank使网页排名客观公正 遵从关键词的相对位置只返回

9、包含所有关键词的网页,WHY Google？,条条大路通Google,Google的高级检索语法,逻辑检索： Boolean operator（AND 、OR 、NOT） 检索限制： “” define: site: filetype: inurl: intitle: 其他： link: related: cache: index of,布尔逻辑语法_and,A AND B :,检索结果要求包含两个及两个以上关键词,布尔逻辑语法_or,A OR B,检索结果至少包括两个（或多个）检索词中的一个,布尔逻辑语法_not,A NOT B:,检索结果要求不包含某个检索词,限定检索 “” 语法,检索结果

10、必须包括双引号中词,限定检索 filetype： 语法,.ppt .pdf .ps .doc .txt .xls,.swf .rtf .lwp .mw .wri .ans .wdb,查找不同文件类型,限定检索 site： 语法,.com .edu .gov .mil .net .org,.aero .biz .coop .info .museum .name .pro,在特定网站中检索,语法 inurl: intitle:,网址中搜索 网页标题中搜索,语法“cache：”查缓存页面,用来搜索google服务器上某页面的缓存，通常用于查找某些已经被删除的死链接网页，相当于使用普通搜索结果页面中的

11、“网页快照”功能。 示例：查找google缓存的中文yahoo首页搜索：“cache:”,语法“link:”（友情链接）,Google的便利工具,Google工具栏,中英文词典翻译fy,词语定义:define,天气 邮编,计算器 度量换算,股票查询 手机号码,世界时区转换,Google的特色功能,图林漫步,学海无涯,人在旅“图”,新闻快讯,个性订阅,热门榜单,环“球”旅行,技术“演练场”,搜索技巧,.提炼搜索关键词,学会从复杂搜索意图中提炼出最具代表性和指示性的关键词，对提高信息查询效率至关重要，这方面的技巧是搜索技巧的基础。 如：1)交通银行是什么性质的银行?可提炼出关键词:”交通银行” “

12、性质” 2)搜索与秦朝历史文化有关的资料，可提炼关键词：“秦始皇”、“兵马俑”。 3)搜索”公元907年-公元950年”我国处于哪个朝代。分析出关键词”历史年表”,.细化搜索条件,搜索条件越具体，返回的结果就越精确，有时多输入一两个关键词效果完全不同。 如： 1）要了解中国戏剧中京剧的服饰及脸谱知识，搜索词可为“京剧”、“脸谱”。 2）“钓鱼”与“钓鱼”、“网络”,.用好搜索引擎的高级检索功能,检索工具是通过利用其高级检索功能来反映对提问表达式的精确与深度构造，所以从某种程度上讲，高级检索功能是反映其总体搜索水平高低的重要指标。学会用布尔逻辑、限制检索和一些特殊功能可以提高检索效果。,.不总是google,每种搜索引擎具有不同的特点，用不同的搜索引擎进行查询得到的结果常常有很大的差异，只有选择合适的搜索工具才能得到最佳结果。,.学习搜索的经验,多向高手学习、多查询介绍搜索技术的信息，多交流、多总结优秀搜索工具和数据库，在利用搜索工具前先阅读一下引擎相关指令、自身的操作、定义符及规则。 中文搜索引擎指南网 搜索研究院/9238 搜索引擎直通车http:/www.se-,搜索引擎指南网,搜索研究院,搜索知识学习(BLOG),WWW信息资源 FTP信息资源 Blog信息资源 Telenet信息资源 BBS 、新闻组信息资源