搜索引擎工作原理

第2章搜索引擎工作原理2.1搜索引擎开展历史搜索引擎历史11994年-1997年雅虎诞生与SEO开始早起搜索引擎MSN，Lycos，AltaVista，Hotbot和InfoSeek。AltaVista最早提出自然语言搜索，具备了网站内容分析、智能处理的能力。这段时间寻找网站就上Yahoo。提供人工归类。SEO有了雏形，分为黑白两道。“出门找地图，上网找搜狐〞另个聪明的学生孕育着一个新型的搜索引擎。搜索引擎历史21998年-1999年Google出现和SEO理论的浮现1998年，Google收到10万美元的风头，走出了斯坦福校园，成立Google公司。域名为google。并首次将链接流行度作为排名的标准之一。其他搜索引擎也飞速开展。1999年，Google获得两千五百万的资金，全面开展。搜索引擎历史32000-2001年百度的出现和搜索引擎的革新大多搜索引擎都染上了金钱。而Google的精确搜索开始稳固它在搜索引擎中的地位。首先出局的是InfoSeek，98年被迪士尼买下，变为go，自那以后InfoSeek被抛弃。1999年，InfoSeek的一位华人工程师离开驶向北京。由于一句中国古词“众里寻他千百度，暮然回首，那人却在灯火阑珊处〞的启发，创立了搜索引擎“百度〞，这就是百度的创始人李彦宏搜索引擎历史4搜索专业人才即便在硅谷也是凤毛麟角，所以中文搜索引擎的开展速度赶不上引文搜索引擎。李彦宏本省是一位搜索专家，他在96年就解决了基于网站质量的排序与基于相关性排序完美结合的问题。百度搜索巧妙地解决了数据更新的瓶颈。中文搜索开始开展。2001年收费登录大为红火，搜索引擎市场大清洗，许多搜索引擎被yahoo收购。欢送来到Google时代！这个时代，“有了Google，就有了一切〞。搜索引擎历史52002-2004年，GoogleDance和SEO不眠夜Google开始定期更新它的索引。网站排名发生剧烈变化。这种现象几乎每月一次，SEO实践者称为GoogleDance。2002年是SEO滥用的一年，SEO实践者采用大量门户网页，重复网站，伪装网站，隐藏链接来欺骗Google。Google不断增加鉴别技术。2003年Google的〞佛罗里达更新“2004年Google的〞AustinUpdate“搜索引擎历史62005年之后，搜索引擎的战国时代Googleupdate不再是定期活动，而是每天的递进更新。SEO实践者能够很快看到自己的成果。比尔盖茨看不下去了，于是MSN发布搜索引擎。从此美国成了三足鼎力，Google、Yahoo和MSN的〞三国演义“。在中国，Google和Yahoo始终不能在市场份额上和百度相争。Yahoo中国交给了马云。Google启用中文域名google和中文译名〞谷歌〞尚奇传讯的到来，揭示搜索引擎的战场从美国开辟到了中国。2.2搜索引擎分类全文搜索引擎目录搜索引擎元搜索引擎2.3搜索引擎工作原理页面收录页面分析页面排序关键字查询搜索引擎三段式工作流程搜集批量搜集，增量式搜集；搜集目标，搜集策略预处理关键词提取；重复网页消除；链接分析；索引效劳查询方式和匹配；结果排序；文档摘要搜集整理效劳搜索引擎系统的体系结构搜索引擎对页面的收录页面收录流程页面收录原理页面收录方式广度优先深度优先用户提交防止重复收录转载页面镜像页面页面维护方式定期抓取增量抓取分类定位抓取页面存储页面分析页面索引页面分析分词：字符串匹配分词，统计分词关键字索引：关键字列表，页面与关键字对应关系关键字重组：关键字反向索引表页面排序W(page)=W(relevance)+W(link)+W(user)页面相关性关键字匹配关键字密度关键字位置分布关键字标签权重链接权重内部链接外部链接默认权重用户行为关键字查询查询流程分词对查询短语进行分词匹配