华南木棉信息检索

1、全国搜索引擎与网上信息学术研讨会sewm 2006-中文web检索 木棉检索队:张元丰,陈晓志,陈晓锋http:/2目录目录 木棉搜索引擎现状木棉搜索引擎现状 数据格式转换数据格式转换 关键技术介绍关键技术介绍 结果提交结果提交 分析与展望分析与展望3木棉搜索引擎现状木棉搜索引擎现状 基于基于nutch的实现；的实现； 对对url、title、anchor、content进行索引；进行索引； pagerank算法的应用；算法的应用； 中文分词；中文分词； 基于集群系统的并行化搜索引擎。基于集群系统的并行化搜索引擎。4木棉搜索引擎现状木棉搜索引擎现状网页预处理中文分词链接分析文档库索引库网页噪音

2、模板库链接库 综合采用多种去噪算法，噪音的去除，可以减少索引量，可以避免噪音对检索结果的影响对站内站外链接赋予不同的权重，保留锚点文本信息链入锚点文本网页url网页标题网页主题内容链出锚点文本基于词频的中文分词google pagerank算法简单pagerank算法5木棉搜索引擎现状木棉搜索引擎现状用户输入查询词索引库二次排序结果6目录目录 木棉搜索引擎现状木棉搜索引擎现状 数据格式转换数据格式转换 关键技术介绍关键技术介绍 结果提交结果提交 分析与展望分析与展望7数据格式转换数据格式转换8数据格式转换数据格式转换 将3700万网页分成70个part进行处理 对每个part建立web db

3、合并所有的web db 用完整的web db更新每一个part的数据 对每个part分别建立索引 合并索引9目录目录 木棉搜索引擎现状木棉搜索引擎现状 数据格式转换数据格式转换 关键技术介绍关键技术介绍 结果提交结果提交 分析与展望分析与展望10关键技术介绍关键技术介绍 td 搜索相关主题的文章，主要查找入口页面。搜索相关主题的文章，主要查找入口页面。 nphp 查找首页或者指定页面查找首页或者指定页面 。11关键技术介绍关键技术介绍 td 扩展查询 利用description对查询词进行扩展，比如：number:td146股票分析description:股票分析的网站，专家评论，论坛和软件扩

4、展后为：股票分析、股票论坛、股票评论、股票软件； 用扩展后的查询词搜索，每个查询词均返回300条结果； 合并扩展查询结果。 12关键技术介绍关键技术介绍 td 二次查询优化 截取每个查询结果的前200条结果； 对这200条结果进行站内聚合，并将每个网站内的root、subroot、url深度小于3的path的url提前； 对所有被提前的网页按照得分排序，并尽量保证前十条出现不同网站的url，将这些网页放在结果集的前面； 对其他网页按照得分进行排序，顺序排列在得到的结果之后。13关键技术介绍关键技术介绍 nphp 对于所给的查询集，我们根据查询词很容易就可以分辨出该查询的意图：hp or np。

5、我们手工对查询词进行判断（rank4 和 rank5没有这一步骤），添加h（homepage）或n（namepage）标记。这一步骤主要是查询优化时使用； 在索引库中查询，并返回200条搜索结果； 对搜索结果进行二次排序。算法主要是基于华南理工大学胡俊刚等的基于url类型优先级入口页面查询算法。同时判断查询词的h标记或者n标记，把结果中的主页提取到前面（h）或放到后面（n）。14关键技术介绍关键技术介绍 page rank google page rank 在要求不高的情况下，迭代计算5次即可。 简单 page rank 可以反映网页的重要程度。1()()()niiip r tp rpcc t

6、( )ln()pr pc inlink15目录目录 木棉搜索引擎现状木棉搜索引擎现状 数据格式转换数据格式转换 关键技术介绍关键技术介绍 结果提交结果提交 分析与展望分析与展望16结果提交结果提交 cwt200gtd序号中文分词扩展查询pr二次排序run1简单run2简单run3简单run4简单run517结果提交结果提交 cwt200gnphp序号中文分词手动标记pr二次排序run1简单run2简单run3简单run4简单run5简单18结果提交结果提交 cwt20gtd序号中文分词扩展查询pr二次排序run1标准run2标准run3标准run4简单run5简单19结果提交结果提交 cwt20gnphp序号中文分词扩展查询pr二次排序run1标准run2标准run3标准run4标准run5标准20目录目录 木棉搜索引擎现状木棉搜索引擎现状 数据格式转换数据格式转换 关键技术介绍关键技术介绍 结果提交结果提交 分析与展望分析与展望21分析与展望 对网页各组成部分进行索引并赋予不同的权重可以提高检索精度； nphp查询结果好；td查询在一些情况下不能很好的将用户引导到最有价值的页面； 人工标记和二次排序对提高检索准确率有很大的帮助； 查询响应时间