网络搜索引擎

1、运城学院计算机科学与技术系Modern Information Retrieval课程网站 http:/ 搜索引擎的工作原理搜索引擎的工作原理 搜索引擎的工作过程搜索引擎的工作过程 搜索引擎的分类搜索引擎的分类3搜索引擎的英译名为搜索引擎的英译名为Search Engine，是收录网页全文索引的数据库。当是收录网页全文索引的数据库。当使用搜索引擎时，实际上是在检索使用搜索引擎时，实际上是在检索这些被搜索到的网页的数据库，而这些被搜索到的网页的数据库，而不是检索网络本身。不是检索网络本身。4搜索程序搜索程序搜索引擎的数据库搜索引擎的数据库标引程序和索引标引程序和索引检索引擎检索引擎HTMLHTM

2、L界面界面5 搜索程序搜索程序(crawlers(crawlers、spiders)spiders)： vv识别搜索引擎上的新的网站；识别搜索引擎上的新的网站； vv识别已经覆盖但有变化的网站。识别已经覆盖但有变化的网站。 搜索程序收集来自网站的网页内容的信息，并将该信搜索程序收集来自网站的网页内容的信息，并将该信息送给搜索引擎的数据库。息送给搜索引擎的数据库。 有许多搜索引擎，在搜索网站时，总是更为全面和经有许多搜索引擎，在搜索网站时，总是更为全面和经常地搜索常用的网站（例如用户经常点击和带有许多链接常地搜索常用的网站（例如用户经常点击和带有许多链接的网站），对不常用的网站则不屑一顾。搜索程

3、序对搜索的网站），对不常用的网站则不屑一顾。搜索程序对搜索的深度、广度或者二者均做了限定。在深度上，不仅搜索的深度、广度或者二者均做了限定。在深度上，不仅搜索主页，而且还搜索那些网页的附属网页。在广度上，只是主页，而且还搜索那些网页的附属网页。在广度上，只是搜索更多的网页，而不去搜索网站的附属网页。搜索更多的网页，而不去搜索网站的附属网页。搜索引擎的数据库搜索引擎的数据库 全部单个网页储存信息的集合构成了搜索引擎全部单个网页储存信息的集合构成了搜索引擎的数据库。的数据库。 数据库中不仅包括被搜索程序搜索到的网页，数据库中不仅包括被搜索程序搜索到的网页，而且还越来越多地包括被其他资源和技术搜索到

4、的而且还越来越多地包括被其他资源和技术搜索到的网页。网页。 我们在使用搜索引擎时，不是直接在检索网我们在使用搜索引擎时，不是直接在检索网站，而是在检索一个数据库，它包含了描述网站上站，而是在检索一个数据库，它包含了描述网站上一部分网页的记录。记住它，可以帮助我们避免对一部分网页的记录。记住它，可以帮助我们避免对搜索引擎实际功能期望过高！搜索引擎实际功能期望过高！标引程序标引程序 标引程序检查数据库中储存的信息，并在索引中列出标引程序检查数据库中储存的信息，并在索引中列出合适的款目。在输入提问式后，正是使用这个索引来识别合适的款目。在输入提问式后，正是使用这个索引来识别匹配的记录的。匹配的记录的

5、。 搜索引擎只是把认为是单词的进行了标引。有些搜索搜索引擎只是把认为是单词的进行了标引。有些搜索引擎列出了一个禁用词表，对这些词不加标引；有些搜索引擎列出了一个禁用词表，对这些词不加标引；有些搜索引擎不标引冠词和连接词；有些不标引其他高频出现但却引擎不标引冠词和连接词；有些不标引其他高频出现但却有潜在用途的词，如有潜在用途的词，如webweb和和internetinternet 标引策略的不同，会影响到检索结果。因此有的网页标引策略的不同，会影响到检索结果。因此有的网页就在搜索引擎的数据库内，但是就是检索不到。就在搜索引擎的数据库内，但是就是检索不到。 检索引擎检索引擎 检索引擎是一种程序，它

6、接收提问式，然后检检索引擎是一种程序，它接收提问式，然后检索索引，识别并回复与提问式匹配的记录。索索引，识别并回复与提问式匹配的记录。 步骤：步骤： (1) 检索引擎利用检索引擎利用“检索算法检索算法”识别被匹配的识别被匹配的记录；记录； (2)然后采用特殊的排序方式对检出的款目进然后采用特殊的排序方式对检出的款目进行排序，显示给用户。行排序，显示给用户。HTML界面界面 在用户连接到一个搜索引擎后，所看到的是在用户连接到一个搜索引擎后，所看到的是HTML界面。该界面收集用户的提问式数据，并界面。该界面收集用户的提问式数据，并将这些数据送给搜索引擎进行检索。将这些数据送给搜索引擎进行检索。 它

7、最为明显的功能，是为用户提供规定提问的它最为明显的功能，是为用户提供规定提问的手段。然而，这个界面还起到另外几种作用，包手段。然而，这个界面还起到另外几种作用，包括为广告商提供广告空间，提供检索各类入口，括为广告商提供广告空间，提供检索各类入口，提供帮助和有关服务的其他信息的链接。提供帮助和有关服务的其他信息的链接。按检索方式的不同可将搜索引擎分成两按检索方式的不同可将搜索引擎分成两大类：大类：基于关键词的检索基于关键词的检索 分类目录型的检索分类目录型的检索 6InternetInternet搜索引擎就像信息海洋中的导航员搜索引擎就像信息海洋中的导航员, ,能帮助人能帮助人们快速找到所需的信

8、息。然而随着各种信息的巨量增们快速找到所需的信息。然而随着各种信息的巨量增长长, ,人们使用搜索引擎也遇到了许多困难人们使用搜索引擎也遇到了许多困难, ,相同的搜索词相同的搜索词在不同的搜索引擎中得出不同的结果在不同的搜索引擎中得出不同的结果, ,在质量和数量上在质量和数量上都有所不同。产生这种现象是因为不同的搜索引擎采都有所不同。产生这种现象是因为不同的搜索引擎采集信息的方法、标引的内容以及检索功能是有所区别集信息的方法、标引的内容以及检索功能是有所区别的的, ,下面详细介绍一下各种搜索引擎的特征并对它们进下面详细介绍一下各种搜索引擎的特征并对它们进行比较和评析。行比较和评析。7谷歌中文谷歌

9、中文 http:/ http:/雅虎中文雅虎中文 http:/中国搜索中国搜索http:/ 891.1.概况概况 GoogleGoogle搜索引擎诞生于斯坦福大学的一个学生宿搜索引擎诞生于斯坦福大学的一个学生宿舍里，然后迅速传播到全球的信息搜索者。舍里，然后迅速传播到全球的信息搜索者。 Google Google 目前被公认为万维网上最大的搜索引擎，目前被公认为万维网上最大的搜索引擎，它提供了简单易用的免费服务，使用户能够访问一个它提供了简单易用的免费服务，使用户能够访问一个包含超过包含超过 80 80 亿个网址的索引。亿个网址的索引。 “Google”Google”来自于数学名词来自于数学名

10、词“Googol”Googol”， GoogolGoogol表示一个表示一个 1 1 后面跟着后面跟着 100 100 个零。个零。Google Int.Google Int.使用这使用这一术语体现了公司整合网上海量信息的远大目标。一术语体现了公司整合网上海量信息的远大目标。10Sergey Brin Larry PageGoogle Google 秉持着秉持着“完美的搜索引擎需要做到确解用户完美的搜索引擎需要做到确解用户之意，切返用户之需之意，切返用户之需”的信念，开发了自己的服务基的信念，开发了自己的服务基础结构和础结构和PageRank PageRank 技术，使得搜索方式发生了根技术，

11、使得搜索方式发生了根本性变化。本性变化。Google Google 使用使用 PageRank PageRank 技术检查整个网络链接结技术检查整个网络链接结构，并确定哪些网页重要性最高。然后进行超文本匹构，并确定哪些网页重要性最高。然后进行超文本匹配分析，以确定哪些网页与正在执行的特定搜索相关。配分析，以确定哪些网页与正在执行的特定搜索相关。 11查找非HTML文件：可以支持13种非HTML文件的搜索，如PDF, DOC, PPT, XLS, SWF。例如 查找doc文本文件，只需搜索“关键词 filetype:doc”即可。12网页快照：Google 在访问网站时，会将看过的网页复制一份网

12、页快照，以备在找不到原来的网页时使用。单击“网页快照”后，将看到 Google 将该网页编入索引时的页面。Google 依据这些快照来分析网页是否符合您的需求。（不好用）类似网页 ：如果你对某一网站的内容很感兴趣，但又嫌资料不够，单击“类似网页” Google 会帮你找到其他有类似资料的网站；1314n按链接搜索：查询按链接搜索：查询 “link:” 显示所有指向该网址显示所有指向该网址的网页。例如，的网页。例如，“link:”将找出所将找出所有指向有指向 网易主页的网页。不够准确，或是迷惑，网易主页的网页。不够准确，或是迷惑，采用：采用： -site:n手气不错：按下手气不错：按下“手气不错

13、手气不错”按钮将自动进入按钮将自动进入 Google 查询到的第一个网页。查询到的第一个网页。n指定网域：如果要在某个特定的域或站点中进行指定网域：如果要在某个特定的域或站点中进行搜索时可输入搜索时可输入“* site:*.com”。如在新浪网。如在新浪网中搜索中搜索“新闻新闻”可输入可输入“新闻新闻 site:”1516查看哈尔滨工业大学研究生招生简章查看哈尔滨工业大学研究生招生简章中英文字典：英译汉输入中英文字典：英译汉输入“fy apple”fy apple” 汉译英输入汉译英输入“翻译翻译 苹果苹果”定义：输入定义：输入“定义：文献定义：文献”或或“define:HTML”define

14、:HTML”计算器：计算器：Google Google 为用户提供了一个内置计算器。为用户提供了一个内置计算器。天气查询：检索天气查询：检索“哈尔滨哈尔滨 天气天气”或或“shanghai tq” Googleshanghai tq” Google返返回的网站链接会提供最新的当地天气状况和天气预报。回的网站链接会提供最新的当地天气状况和天气预报。邮编区号邮编区号: :输入输入“邮编邮编 哈尔滨哈尔滨”、“YB 150000”YB 150000”、 “区号区号 0451”0451”、“哈尔滨哈尔滨 QH”QH”手机号码手机号码: :输入输入13123456789”可查询

15、手机号的归属地。可查询手机号的归属地。股票查询：输入股票查询：输入“中国石化中国石化 股票股票”或或“GP 600028”GP 600028”可查询股可查询股票价格及股市行情。票价格及股市行情。17181920一、一、概况概况 百度（百度（BB，IncInc）于）于19991999年底成立于美年底成立于美国硅谷，国硅谷，20002000年，落户中国。年，落户中国。 20002000年年5 5月，百度首次为门户网站月，百度首次为门户网站硅谷动力硅谷动力提供搜索技术服务。提供搜索技术服务。 20012001年年8 8月，发布月，发布BB搜索引擎搜索引擎BetaBeta版，版，从后台服务转向独立提供

16、搜索服务，并且在中国首创从后台服务转向独立提供搜索服务，并且在中国首创了竞价排名商业模式。了竞价排名商业模式。 20012001年年1010月月2222日正式发布日正式发布BaiduBaidu搜索引擎。搜索引擎。 20052005年年8 8月月5 5日，百度在美国纳斯达克上市。日，百度在美国纳斯达克上市。21李彦宏李彦宏徐勇徐勇 v“ “百度百度”二字取自辛弃疾的二字取自辛弃疾的青玉案青玉案 “ “众里寻她千众里寻她千百度百度” 。v现在百度已成为世界上最大的中文搜索引擎。用户现在百度已成为世界上最大的中文搜索引擎。用户能够访问超过能够访问超过6 6亿的中文网页，亿的中文网页，50005000

17、多万张图片、多万张图片、500500多万首中文多万首中文mp3mp3及各种格式的音乐。及各种格式的音乐。22百度搜索引擎由四部分组成：蜘蛛程序、监控程序、百度搜索引擎由四部分组成：蜘蛛程序、监控程序、索引数据库、检索程序。索引数据库、检索程序。百度的核心技术：超链分析百度的核心技术：超链分析超链分析技术，是新一代搜索引擎的关键技术，超链分析技术，是新一代搜索引擎的关键技术，已为世界各大搜索引擎普遍采用，百度总裁李彦宏就已为世界各大搜索引擎普遍采用，百度总裁李彦宏就是超链分析专利的唯一持有人。在学术界，一篇论文是超链分析专利的唯一持有人。在学术界，一篇论文被引用得越多就说明其越好，学术价值就越高

18、。超链被引用得越多就说明其越好，学术价值就越高。超链分析就是通过分析链接网站的多少来评价被链接的网分析就是通过分析链接网站的多少来评价被链接的网站质量，这保证了用户在百度搜索时，越受用户欢迎站质量，这保证了用户在百度搜索时，越受用户欢迎的内容排名越靠前。的内容排名越靠前。231.百度快照 2.相关搜索 3.拼音提示 4.错别字提示 5.英汉互译词典 6.计算器和度量衡转换 7.专业文档搜索 8.股票、列车时刻表和飞机航班查询 9.高级搜索语法 10.高级搜索、地区搜索和个性设置 2425Yahoo！是在网上最早出现的检索工具，一直是一种功能较强的搜索引擎。Yahoo！属于目录索引类搜索引擎，可

19、以通过两种方式在上面查找信息，一是通常的关键词搜索，一是按分类目录逐层查找。以关键词搜索时，网站排列基于分类目录及网站信息与关键字串的相关程度。包含关键词的目录及该目录下的匹配网站排在最前面。以目录检索时，网站排列则按字母顺序。Yahoo于2004年2月推出了自己的全文搜索引擎，并将默认搜索设置为网页搜索。262005年11月9日 阿里巴巴公司在完成对雅虎中国的收购与整合之后,重新发布了进入中国市场7年之久的雅虎网站, 未来雅虎在中国的业务重点方向将全面转向搜索领域，这也是自8月11日阿里巴巴宣布收购雅虎中国时就从没改变的方向。阿里巴巴CEO马云表示: 阿里巴巴在搜索领域既有决心更有信心，在中

20、国，雅虎就是搜索，搜索就是雅虎。27（原慧聪搜索）是国内领先的搜索引擎公司。自2002年正式进入中文搜索引擎市场以来，中国搜索（原慧聪搜索）取得了一系列令人瞩目的成绩。在一年多的时间里，发展成为全球领先的中文搜索引擎公司，先后为新浪、搜狐、网易、TOM等知名门户网站，以及中国搜索联盟上千家各地区、各行业的优秀中文网站提供搜索引擎技术。目前，每天有数千万次的中文搜索请求是通过中国搜索实现的，中国搜索也被公认为第三代智能搜索引擎的代表。 2829搜狗是搜狐公司于2004年8月3日推出的完全自主技术开发的全球首个第三代互动式中文搜索引擎，是一个具有独立域名的专业搜索网站-“搜狗”（）。以一种人工智能

21、的新算法，分析和理解用户可能的查询意图，给予多个主题的“搜索提示”，在用户查询和搜索引擎返回结果的人机交互过程中，引导用户更快速准确定位自己所关注的内容，帮助用户快速找到相关搜索结果，并可在用户搜索冲浪时，给与用户未曾意识到的主题提示。3031“爱问”搜索引擎产品由全球最大的中文网络门户新浪汇集技术精英、 耗时一年多完全自主研发完成，为首款中文智慧型互动搜索引擎，新浪搜索引擎突破了由GOOGLE、百度为代表的算法致胜的搜索模式。它在保留了传统算法技术在常规网页搜索的强大功能外，以一个独有的互动问答平台弥补了传统算法技术在搜索界面上的智慧性和互动性的先天不足。通过调动网民参与提问与回答，新浪搜索

22、引擎能汇集千万网民的智慧，让用户彼此分享知识与经验。3233 http:/ 50,000主题分类，500,000优选网站，人工精选分类http:/ Google 的网路目录内容是依据Open Directory，经由全球各地的义务编辑人员精心挑选，再由 Google 著名的网页级别技术（专利申请中）分析，让网页依照其重要性先后排列出，并透过网页介绍里的横线长度，来标明此网页的重要程度。 34http:/ 一个由网上的志愿人员编辑的分类网站目录。 http:/ 由新浪搜索专业编辑挑选和分类的网站结果。35搜索引擎直通车搜索引擎直通车 http:/www.se- http:/ http:/ http:/ ht