因特网信息检索与应用.ppt

Web信息检索,搜索引擎的应用现状,从用户使用的角度，国外的调查发现： 网上搜索信息的人很少考虑如何找到他们所需要的信息，因此搜索信息时象动物猎食般盲目； 只有18%的用户表示总能在网上搜索到需要的信息。68%的用户说他们对搜索引擎很失望； 平均每个搜搜者在12分钟的徒劳搜索后就感到恼火和受挫。 46%的人只会用同一个关键词搜啊搜啊，而且是在同一个搜索引擎。,国外的应用状况,那些每周平均花5个小时以上时间上网的人，将其上网时间的71%都花在了搜索引擎上； 人机界面高手nielsen（google的设计者）研究表明： 略超过1/2的互联网用户属于search-dominant, 约1/5用户属于 link-dominant, 其它用户的搜索倾向属于混合行为型。 search- dominant在到达一个网站后直接就奔向搜索按钮，他们对浏览网站不感兴趣，他们有明确的目的，倾向于以最快速度找到信息。 相反，link-dominant喜欢点击浏览一个网站，即使他们想找特殊信息时也是这样，只有在他们用点击超链的方法已经实在找不到了，才会想起搜索按钮。,国内的应用状况,国内的调查发现： cnnic2004年1月的调查： 61.6%的中国互联网用户经常使用搜索引擎（仅次于E-mail）。 83.4%的中国互联网用户得知新网站的主要途径是搜索引擎。 赛迪咨询的搜索引擎调查：截止2000年8月，92.9%的网民使用过搜索引擎，同时有六成左右的网民将搜索引擎列为经常使用的网络服务。 新浪搜索的统计表明：第1条搜索结果获得的点击量，是第2页第1条的150倍。,信息检索工具及其分类,1.目录型检索工具 由信息管理专业人员广泛搜集网络资源，并进行加工整理的基础上，按照某种主题分类体系编制的一种可供检索的等级结构式目录。典型：yahoo！搜狐 2.搜索引擎 使用自动检索软件来发现、收集并标引网页，建立数据库，以web页形式提供给用户一个检索界面，供用户输入关键词、词组或短语等检索项，代替用户在数据库中查找出与其提问匹配的记录并返回结果，且按其相关度顺讯输出。典型：Google，Baidu,搜索引擎的基本功能,1.一般检索功能 Boolean（布尔逻辑检索）+、- Phrase（词组检索）“” Truncation（截词检索）* ？ Fields（字段检索） 2.特殊检索功能 自然语言检索 多语种检索 区分大小写的检索,值得推荐的几个中文搜索引擎,全文搜索 衡量搜索引擎的指标： 查全率 查准率 速度 Google: 新浪使用了它的全文搜索引擎服务 百度： 21CN使用了它的全文搜索引擎服务 中国搜索（原来的慧聪搜索） 网易、搜狐、263使用了它的搜索引擎。 北大天网： 大量教育网内的资源，提供FTP搜索 几大门户网站也有自己的搜索引擎，有时也能发挥作用。,推荐的搜索引擎,网站分类目录搜索 新浪：其网站搜索最好 搜狐：网站的分类目录整理最好，最适合于浏览 网易：开放式目录，有许多网上高手加盟 中文Yahoo 另类：网络实名 新浪图片搜索: 新视科技：www.VisionN，提供多媒体搜索 找地图 城市通： 图行天下： ,使用Google进行搜索,Google简介 Google是一个搜索引擎，由两个斯坦福大学博士生Larry Page与Sergey Brin于1998年9月发明，Google Inc. 于1999年创立。2000年7月份，Google替代Inktomi成为Yahoo公司的搜索引擎，同年9月份，Google成为中国网易公司的搜索引擎。1998年至今，Google已经获得30多项业界大奖。 Google支持多达132种语言，包括简体中文和繁体中文； Google网站只提供搜索引擎功能，没有花里胡哨的累赘； Google速度极快，据说有15000多台服务器，200多条T3级宽带； Google的专利网页级别技术PageRank能够提供高命中率的搜索结果； Google智能化的“手气不错”功能，提供可能最符合要求的网站； Google的“网页快照”功能，能从GOOGLE服务器里直接取出缓存的网页。,福布斯富豪榜所有排名 1 William Gates (比尔-盖茨） 2 Warren Buffett（沃伦-巴菲特） 3 Sheldon Adelson（谢尔登-阿德尔森） 4 Lawrence Ellison（劳伦斯-埃里森） 5 Sergey Brin（谢尔盖-布林） 6 Larry Page（拉里-佩奇） 7 Kirk Kerkorian（柯克-科克莱恩) 8 Michael Dell（迈克尔-戴尔） 9 Charles Koch（查尔斯-科赫） 10 David Koch（戴维-科赫）,文本搜索,文本搜索 目前Google已经收集索引了40多亿张网页 使用单个关键词进行搜索 理解什么是“关键词”，跟普通意义上的关键词不同。 想象目标网页上应该有的若干个词。 网页的排名问题 使用两个及两个以上关键词进行搜索 直接输入多个关键词，关键词之间用空格，这样就表示“AND”关系； 用减号“-”表示“非”，用于表示要求搜索结果不包含某些特定信息； Google的帮助网页上说，不支持OR关系，实际上是支持得不好； 使用一句话进行搜索 加上双引号。这在查找名言警句或专有名词时显得格外有用。 Google对网络上常见得英文单词及一些标点符号作忽略处理,图象搜索,目前Google可搜索8.8亿张图片,自称为“因特网上最好用的图像搜索工具” I或点击Google主页上的“图象搜索”链接。 目前的图象搜索主要是基于文件名的搜索，不是基于图象内容的。 用法： 关键词的输入方法同文字搜索，不过搜索图象一般不会用太长、太复杂的关键词。 图象搜索中，使用英文作关键词可以搜到许多准确的结果，使用中文，效果较差，但有时Google会自动转换为英文或中文的拼音去搜索（有时欠稳定，其他内容的搜索也有此现象）。 可以指定图片文件的类型：JPG或GIF 如 panda filetype:jpg,搜索特殊格式的文件,目前可搜索的文件格式： DOC、PPT、XLS、RTF、PS、TXT、Lotus文件； PDF格式 最精彩的，可搜索Flash文件： SWF文件 方法： 关键词 filetype:* 搜索包含关键词的文档（但又不尽然）。搜索到后，可点击打开，也可右键快捷菜单用“另存为”。对于Office文档，还可以用HTML方式打开，以避免病毒的袭击。,其他特殊的搜索,搜索的关键词包含在URL链接中 Inurl:mp3 yesterday once more 可用于搜索MIDI、MP3等文件 搜索的关键词包含在网页标题中 Intitle:Foshan University 搜索指定的网站范围 在图象搜索中，用：Panda site: 搜索有多少链接到某个地址的网页 Link:,Google的高级搜索,Google的高级搜索可实现前面所说的各种特殊的搜索，免除用户记忆语法结构。 在Google的网页上，点击“高级搜索”即可。 推荐大家使用英文版的Google,以及英文版的帮助文档。/about.html,天网的FTP搜索,地址： 缺点：死链接太多，许多是学生的服务器，运行不稳定 简单搜索 输入要查询的文件名， 可以包含“*”号(通配所有字符)、“?”号(通配一个字符)、空格(表示几个查询的并)。 按类别搜索文件 点击“分类搜索”下的各种类型，如“图像”、“声音”、“视频”、“压缩”、“文档”、“程序”、“目录”、“源代码”，则搜索引擎在指定的类型里搜索文件。比如点击“图象”，则在所有的图象文件里查找与匹配串相符的文件。 使用快捷方式(已经做好的分类） 天网搜索引擎为用户常用的搜索提供了快捷方式，使用起来极为简单，直接点击快捷方式下所要的内容即可。,天网FTP,FTP复杂搜索： 从FTP检索页面里点击“FTP复杂选项”进入“FTP复杂搜索”页面。在复杂搜索页面里，如果没有填写或者没有选择，表示使用缺省值。 文件大小过滤： 文件日期过滤： 页面显示个数： 文件类型： 限定搜索的站点范围 结果显示： 每个结果前的图标是该文件的文件类型图片， 表示“图像”、“声音”、“视频”、“压缩”、“文档”、“程序”、“目录”、“源代码”或者 表示搜索引擎系统未定义的文件类型； 图标后是文件名，点击可以打开文件；文件名后是文件的创建时间和文件的大小； 文件名下方是该文件所在的目录，点击可以在新的窗口里打开该目录。,关于软件的搜索,软件下载网站主要有三类： 大型软件下载网站 主要提供普通的免费和共享软件。如： 软件主页 一些最新版本的共享软件以及软件的补丁，或者软件公司推出的免费软件。如：Microsfot、Adobe、Lotus等公司的站点 个人主页下载 可以找到正式网站找不到的内容。 在教育网内，许多情况下可以用天网的FTP搜索。 如果用搜索引擎，则选择关键词很重要。通常可用以下关键词： 软件名 下载 版本 cdkey 软件大小,使用网络实名,登陆, 为自己的电脑开启网络实名功能。 “3721网络实名”是新一代的网络访问技术，它具有十大功能，其中智能推测、拼音使用等功能可以帮助我们搜索那些名称不确切的网址。 访问新浪，只要在地址栏打入“新浪”或“xinlang”即可 例如：在浏览器地址栏中输入上市公司股票代码，就可以获取实时行情,为什么搜索引擎搜不到？,有些内容，网上明明存在，但是用搜索引擎搜不到。如果事先理解搜索引擎能做的和不能做的，就可以设计更佳的搜索策略。而搜索之前思考一下搜索策略，是搜索成功最关键的一步。 这样的内容，主要有3类： 1、网上有，但是搜索引擎库里没有 spider未能正确处理的网页性质及文件类型 （如某些动态网页及frame、数据库） 没有指向链接的孤岛网页 spider访问时因为某些原因正好是死链接 被认为是劣质网页而不抓 因为/色情/反动/spam/等问题而不抓的非法网页 需要输入用户名、密码方可打开的网页 网站用robots协议拒绝搜索引擎抓取的网页 搜索引擎还未来得及抓取的新网页,为什么搜不到？-之二,2、搜索引擎库里有，但是未能正确索引网页中信息 分词引起误差 图型中的文字信息你看得懂但搜索引擎看不懂 停用词等搜索引擎故意不索引的信息 搜索引擎对某些网页有选择的索引，未索引全部网页信息 3、搜索引擎正确索引了网页中信息，但和你用的关键词不同 你用的搜索关键词中含有错别字 网页作者用了错别字 没有错别字，但网页作者用的词汇和你的关键词不同，毕竟，文字的特性，允许有n种方式表达同一种信息 简体繁体不同编码,用户自己的错误,初学者搜索时容易犯的6个低级错误和解决方法 常见错误1：错别字 经常发生的一种错误是，你输入的关键词含有错别字，改正了就好。 常见错误2：关健词太常见 搜索引擎对常见词的搜索存在缺陷，因为这些词曝光率太高了，以至于出现在成百万网页中，使得它们事实上不能被用来帮你找到什么有用的内容。比如说搜索“电话”。 常见错误3：多义词 要小心使用多义词，比如搜索“java”，你要找的信息究竟是太平洋上的一个岛、一种著名的咖啡、还是一种计算机语言。,用户自己的错误,常见错误4：不会输关键词，想要什么输什么 搜索失败的另一个常见原因是类似这样的搜索：“现代爱情故事歌词” 常见错误5：在错误的地方搜索 有些信息不适合搜索，应该直接到网站浏览，如论坛的内容。 常见错误6：停用词 停用词主要见于英文搜索引擎中，指的是使用过于频繁的单词，如“is”、“i”、“what”、“it”等。一些搜索引擎在它的网页库里碰到这些词时不会搜,优秀的电子信息资源,查找论文等，就不需要使用普通的搜索引擎了。 中国期刊网(CNKI)： 万方数据：/ 各个专业都有自己的专业信息资源 如中文的新闻类： 中新社 新华社 外交部各国资料：,如何才能有效地搜索？,理解搜索引擎的原理和基本的使用技术 对于中文，要理解“分词”。 勤奋：大量实践，仔细体会每个搜索引擎的特色和功能。搜索时的坚持不懈。 积累：平时多注意积累优秀的专业网站和数据库 学问：要博学多闻 天资：主要是想象力、判断力,搜索引擎的分类及原理,按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类： 1目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。,搜索引擎分类,2机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛