Google的工作原理分析分词与索引库

1、google的工作原理分析-分词与索引库主讲人：harry深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材大纲目录大纲目录n1. 检索库n2. 检索库的分类n3. 分词深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材google每天的工作google每天都在做什么呢每天都在做什么呢？简单的说，首先google 尽可能多的从互联网上面抓取页面，然后在用户搜索的时候把最相关的结果反馈给用户。那么在这个过程之中会有几个问题。深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材1. 检索库首先，用户输入关键词以后，google 如何在很短的时间里面从众

2、多的网页中反馈出相关的结果呢？大家都知道，搜索一个词的时候，google的反应时间正常情况只有零点零几秒。在数以亿计的网页中，如何快速的找出相关内容呢？ 。深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材1. 检索库其实办法就是建立索引库索引库（index). 这个就类似于我们查字典时候的检索表，或者是图书馆的书目检索。google的蜘蛛在抓取网页之后，就把这些页面放到对应的索引库里面。在用户搜索的时候，只需要到相应的检索库里面搜索相应的信息，而不是从所有的页面当中。深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材1. 检索库深圳市多来咪科技有限公司深圳市多

3、来咪科技有限公司-培训教材培训教材2. google索引库的分类方法n字典或者图书馆的分类都是按照字母来分的。google的索引库是如何处理的呢？n互联网上的页面呈爆炸式的增长，如果只是按照26个字母分类，每个检索库里面的页面数量还是有几亿个，而且数量会不断递增。这样检索的效率会越来越低。n因此，搜索引擎索引库的分类基本都是用词语用词语来分类来分类的。google， 百度 都是如此。深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材2. google索引库的分类方法n这样处理的好处是：n其一，用户搜索时就是用词语来搜索的。我们这样分类正好可以返回相应结果。n其次，因为每种语言的

4、词语的数量都是相对固定的。我们知道英语大概有一百多万个单词100亿 1百万 = 1 万，这样把抓取到的页面放到不同的检索库里面，每个索引库里面的页面数量平均只有1万，google反应速度也就随之变快了。深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材2. google索引库的分类方法深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材3. 分词ngoogle的蜘蛛抓取页面以后，如何把页面放到对应的检索库里面呢？ n因为检索库是按照词语分类，所以只需要把页面里面的词语分开，然后放到检索库当中。所说的把词语分开也就是分词了。英文页面的分词比较简单，因为英语的每个单词

5、之间是用空格分开的，不过还是要处理一些单复数，缩写，变体，等等。深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材3. 分词n按照这个原理只要某个词语在一个页面出现一次，就会被放到相应检索库当中，索引的时候就有可能索引到。（用google搜索一个词，下边显示的about . results就是相应的索引量。 通过这个可以在一定程度判断词语的流行度）n因此，为了网页排名方便，索引中还需存有大量附加信息，诸如每个词出现的位置、次数等等。深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材流程深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材流程深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材流程深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材流程深圳市多来咪科技有限公司深圳市多来咪科技有限公司-培训教材培训教材3. 分词nlearn more: nhttp:/ nhttp:/.hk/ggblog/googlechinablog/2006/05/blog-post_3044.htmln以上内容只是对之前的看到的一些资