周恒_搜索引擎原理.ppt

1、搜索引擎原理采用Perl、周恒LinuxME、搜索引擎原理(使用Perl )的主要目的，介绍典型的Web搜索引擎原理使用Perl，与大家一起完成简单的Web搜索引擎的主要部分(PerlBEE )，与大家交流考虑普及式pperl的搜索引擎原理(使用perl ) perl bee搜索引擎假设不同的组织维护多个Http和Ftp服务器，并且为学校提供服务。 使用perl创建一个简单的搜索引擎来检索这些个服务中的资源。 接受linuxapachemysqlperl (old version )、搜索引擎原理(使用perl )的基本请求、接受用户提交的关牛鼻子字(q )、匹配该用户查询的网页信息列表(l

2、) 接受的时间：在接受匹配的时间内返回的网页收集：预处理：服务提供：搜索引擎原理(使用Perl )网页收集，网页数据库的基本策略：1)定期收集：2)增量收集：网页捕获策略：1) url的维护优点：实现简单的缺点：开销大，两次收集的时间间隔不短，“时新性”不高，搜索引擎的原理(使用Perl )增量搜索，首先收集一次，然后：1.新出现的web 收集过程从被赋予的开始url集合s开始，沿着网页中的网络链接，以一定的策略(先深/先宽/others )进行扫描。这个过程是蜘蛛(spider )在蜘蛛网(Web )上爬行(crawl )，搜索引擎的搜索引擎原理(使用Perl )存储网页，收集的网页存储在知

3、识库中。 知识库中包含了各页的docID、长度、URL以及页的所有HTML。因为网页的数量很多，所以网页在容纳到知识库中时进行压缩处理。 搜索引擎原理(使用perl ) perl bee的网页收集部手动执行脚本，将从维护的url列表中取得url子通讯端口http和ftp连接协议的网页以文件形式保存在知识库中。 搜索引擎原理(使用Perl ) Perl bee的网页收集部为了快速找到网页原文而将知识库目录索引化，包括搜索引擎原理(使用perl )预处理、网络链接分析网页重要性水平修正计算牛鼻子词提取、搜索引擎原理(使用perl ) 网络链接分析网络链接分析网页的重要信息1 .网络链接描述文字正确

4、反映网页内容2 .网页间的网络链接关系，反映网页重要性水平(PageRank Google )，搜索引擎原理(使用Perl )网页的重要性水平修正计算，page rank n个页面形成nn个矩阵。搜索引擎原理(使用Perl )关键词提取、倒排索引英文分词对外汉语的分词、搜索引擎原理(使用Perl )对外汉语分词技术、对外汉语分词是基于中文搜索引擎的核心对外汉语分词技术、字符串匹配的基于化学基的分词方法、基于系统修订的分词方法、搜索引擎原理(使用Perl ) 基于字符串匹配的正向减字最大配对法(MM )反向减字最大配对法(RMM )将上述两种方法结合，作为搜索引擎原理(使用perl ) perl bee的预处理部分，读取的网页英语以空格隔开对外汉语，用正向/反向最大匹配的方法对单词进行索引归档搜索引擎原理(使用Perl )搜索引擎原理(使用Perl )与搜索方式匹配