Google的工作原理分析---分词与索引库.ppt

1、Google的工作原理分析-分词与索引库,主讲人：harry,深圳市多来咪科技有限公司-培训教材,大纲目录,1. 检索库 2. 检索库的分类 3. 分词,深圳市多来咪科技有限公司-培训教材,Google每天的工作,Google每天都在做什么呢？ 简单的说，首先Google 尽可能多的从互联网上面抓取页面，然后在用户搜索的时候把最相关的结果反馈给用户。那么在这个过程之中会有几个问题。,深圳市多来咪科技有限公司-培训教材,1. 检索库,首先，用户输入关键词以后，Google 如何在很短的时间里面从众多的网页中反馈出相关的结果呢？ 大家都知道，搜索一个词的时候，Google的反应时间正常情况只有零点

2、零几秒。在数以亿计的网页中，如何快速的找出相关内容呢？ 。,深圳市多来咪科技有限公司-培训教材,1. 检索库,其实办法就是建立索引库（index). 这个就类似于我们查字典时候的检索表，或者是图书馆的书目检索。Google的蜘蛛在抓取网页之后，就把这些页面放到对应的索引库里面。在用户搜索的时候，只需要到相应的检索库里面搜索相应的信息，而不是从所有的页面当中。,深圳市多来咪科技有限公司-培训教材,1. 检索库,深圳市多来咪科技有限公司-培训教材,2. Google索引库的分类方法,字典或者图书馆的分类都是按照字母来分的。Google的索引库是如何处理的呢？ 互联网上的页面呈爆炸式的增长，如果只是

3、按照26个字母分类，每个检索库里面的页面数量还是有几亿个，而且数量会不断递增。这样检索的效率会越来越低。 因此，搜索引擎索引库的分类基本都是用词语来分类的。Google， 百度 都是如此。,深圳市多来咪科技有限公司-培训教材,2. Google索引库的分类方法,这样处理的好处是： 其一，用户搜索时就是用词语来搜索的。我们这样分类正好可以返回相应结果。 其次，因为每种语言的词语的数量都是相对固定的。我们知道英语大概有一百多万个单词100亿 1百万 = 1 万，这样把抓取到的页面放到不同的检索库里面，每个索引库里面的页面数量平均只有1万，Google反应速度也就随之变快了。,深圳市多来咪科技有限公

4、司-培训教材,2. Google索引库的分类方法,深圳市多来咪科技有限公司-培训教材,3. 分词,Google的蜘蛛抓取页面以后，如何把页面放到对应的检索库里面呢？ 因为检索库是按照词语分类，所以只需要把页面里面的词语分开，然后放到检索库当中。所说的把词语分开也就是分词了。英文页面的分词比较简单，因为英语的每个单词之间是用空格分开的，不过还是要处理一些单复数，缩写，变体，等等。,深圳市多来咪科技有限公司-培训教材,3. 分词,按照这个原理只要某个词语在一个页面出现一次，就会被放到相应检索库当中，索引的时候就有可能索引到。（用google搜索一个词，下边显示的About . Results就是相应的索引量。 通过这个可以在一定程度判断词语的流行度） 因此，为了网页排名方便，索引中还需存有大量附加信息，诸如每个词出现的位置、次数等等。,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,3. 分词,Learn more: .hk/ggblog/googlechinablog/2006/05/blog-post_3044.