搜索引擎相关关键词推荐的对比研究

1、 总第180期2009年增刊4实验及结果分析4.1实验1用户对相关词的满意度研究(1数据来源该实验使用的数据来自2007年3月Sogou搜索引擎发布的部分网页查询需求及用户点击情况的网页查询日志数据集合一,总体数据规模约为2000万条查询与点击信息。包含的用户行为信息有:用户提交的查询、用户点击的结果URL、该uRL在返回结果中的排名、用户点击的顺序号(就是用户点击的第几个页面、由系统自动分配的用户标识号等,不涉及用户的个人信息,如IP地址等。本文的实验选取Mini版日志中10000条记录中的查询词,形成一个词库,然后利用Excel中的随机函数,产生出30个查询词(关键词用来进行实验。(2评测

2、步骤经过对现有中文搜索引擎的比较,选取用户量最多的三个搜索引擎G009le、百度和雅虎进行实验。分别将这30个查询词作为关键词输入三个不同搜索引擎进行检索,得到每个搜索引擎推荐的相关词列表。由于有的搜索引擎推荐10个相关词,有的搜索引擎推荐8个或更多,为了统一比较,选取每个搜索引擎推荐的前5个相关词,形成列表。随机抽取10名用户根据相关词与关键词的相关度进行主观评价,并利用5分法打分。在整个打分过程中对用户隐藏搜索引擎名称,称为SEl、SE2和sE3,以免用户由于对搜索引擎的偏向影响实验结果。将10名用户的评分进行统计分析,得出三个搜索引擎在关键词推荐上的优劣。(3结果分析将用户的打分结果进行

3、汇总,利用统计软件求出三个搜索引擎对每个关键词给出的每个相关词的平均得分,得出如图1所示的结果。关键词推荐得分Google2.876,百度2.537,雅虎2.679。综合来看,本实验证明G00出e的关键词推荐功能较能使用户满意,雅虎其次,百度最差。即便如此, 2.876这个分值离用户的最佳满意度4分还有非常大的差距,说明目前搜索引擎的关键词推荐功能还有待完善。然而,在实验后对这几名用户体验进行调查时,大图1实验1搜索引擎人工打分平均分比较(注:SEl代表G009le,sE2代表百度,SE3代表雅虎部分用户认为SE3(雅虎的关键词推荐功能在三个搜索引擎中处于最差的地位。因为sE3(雅虎推荐出的很

4、多相关词跟关键词的差距比较大,这些用户认为可能是由于雅虎挑选相关词时限制太多,因此挑选出的相关词不能令用户满意。由此可见,搜索引擎采用的切分词技术对相关词推荐影响也非常大。即便所有搜索引擎对于大部分关键词给出了比较相近的相关词,对于一小部分词各搜索引擎给出的相关词差异非常大。如今绝大多数搜索引擎的关键词推荐功能都是在统计用户日志的基础上实现的,当切分词技术不同时匹配得到的相关词差异也会比较大,有的相关词甚至与关键词有非常大的出入。4.2实验2用户对利用相关词检索结果的满意度研究(1实验概述事实上,并不是所有的相关词都表征了其字面意义的搜索结果。也就是说,当用户点击进入搜索引擎推荐的相关词时,其

5、搜索得到的网页列表是否令用户满意是不确定的。实验2是在统计用户对点击搜索引擎推荐的相关词链接后得到的网页列表满意度的基础上进行的分析。(2评测步骤仍利用实验1中的30个关键词得到的450个相关词进行统计。对于每个关键词在每个搜索引擎中得到的前5个相关词,分别点击其链接进入搜索得到的网页列表,然后根据这些网页内容同用户满意度之间的匹配程度进行打分。打分后,对30个关键词得到的450个打分结果进行统计分析。(3结果分析计算得分的算术平均值,得到G009Ie、百度和雅虎xIANDAI TusHu QINGBAo JIsHu 团的网页列表平均得分为G00de2.887,百度2.307,雅虎2.455。

6、图2实验2网页列表平均得分柱状图从图2可以看出,Goode的反应最好、得分最高,雅虎次之,百度最低。这说明相对而言,G00de向用户推荐的相关词,用户点击进入之后,最有可能找到令用户满意的结果。雅虎和百度跟G00de的差距比较大。虽然雅虎得分略高于百度,但实际上两者差距并不大。虽然三个搜索引擎反应的得分都高于打分中值2,但是与满分4差距比较大。这说明当前主流的搜索引擎向用户推荐的相关词,用户点击其链接,得到的网页列表同用户满意度的匹配并太不好,有较大的改进余地。4.3实验3搜索引擎对同义词推荐的研究(1实验概述实验3通过人工筛选的一些同义词对,对搜索引擎的相关词推荐功能进行评价。(2评测步骤通

7、过查询同义词词典、网络同义词词库,以及同周围用户进行交流。反复比较,最终筛选出26对同义词。前10对同义词如表1所示:表l26对同义词的前lO对关键词同义诞紫禁城周树人小甜甜脚踏车推拿石头记番茄熊猫闪存盘北大故宫鲁迅布兰妮自行车按摩红楼梦西红柿大熊猫U盘北京大学圄圈现代图书情报技术在Google、百度和雅虎这三个搜索引擎中分别将这些关键词输入检索框,进行检索,判断搜索引擎推荐的相关词中是否包含这个同义词。如果包含,则数量加1;否则,记为0。最后统计数目。(3结果分析经过检索实验,得出每个搜索引擎的命中数,即在26对同义词中命中的数目。表2三个搜索引擎对同义词对的命中比较如表2所示,分别利用Go

8、ogle、百度和雅虎检索实验中的26个关键词检索时,其同义词在相关搜索列表中出现的数目分别为10、19和14。转化成百分比,则Goode、百度和雅虎的命中比例分别为:38.5%、73.1%、53.8%。可以看出,百度搜索引擎在这项实验中表现最好,命中了最多的同义词对,雅虎次之,G009le最差。百度的命中比例几乎等于G009le命中比例的2倍。实验说明,百度在理解中文上面更加具有优势,更能够理解词义,并将很多词的同义词和近义词反映在其相关搜索中,而Google在这方面的表现不太好。5实验结论通过三个实验的数据统计和分析,可以得出如下结论:(1对于固定的一两个关键词,搜索引擎Goo舀e、百度和雅

9、虎推荐的相关词令用户满意的排序为: G00de最好,雅虎次之,百度最差。Google显著地好于后两者,百度和雅虎的差别不是很大。三个搜索引擎中最好的G00出e,其推荐的相关词用户满意比例也仅为71.9%,因此当前流行的搜索引擎在推荐相关词方面还有待改进。(2搜索引擎采用的切分词技术对相关词推荐功能具有较大影响。对于同一个关键词,在不同搜索引擎中得到的相关词推荐列表差距非常大,对于字数相对较多的关键词或较为生僻的关键词来讲更是如此。很多搜索引擎对于某些关键词的意思理解得非常差,推荐的相关词不能满足用户的检索需求。 (3用户如果使用搜索引擎推荐的相关词进行二 搜索引擎相关关键词推荐的对比研究 作者

10、： 作者单位： 刊名： 英文刊名： 年，卷(期： 引用次数： 姜文彬， Jiang Wenbin 北京大学信息管理系,北京,100871 现代图书情报技术 NEW TECHNOLOGY OF LIBRARY AND INFORMATION SERVICE 2009，(z1 0次 参考文献(9条 1.崔航.文继荣.李敏强 基于用户日志的查询扩展统计模型期刊论文-软件学报 2003(9 2.韩圣龙 网络信息检索工具评价指标期刊论文-情报学报 2001(4 3.Chu H T.Rosenthal M Search Engines for the World Wide Web:A Comparativ

11、e Study and Evaluation Methodology 1996 4.韩冬梅 后控词表的设计开发与利用期刊论文-情报学报 1994(4 5.王源 后控规范的计算机处理 1993(2 6.凤元杰.刘正春.王坚毅 搜索引擎主要性能评价指标体系研究期刊论文-情报学报 2004(1 7.张莉扬 网络检索工具性能评价标准浅议期刊论文-情报科学 2001(10 8.章成志.徐小琴 信息检索系统的相关词提示技术与评测期刊论文-情报理论与实践 2007(1 9.用户查询日志(Sogou 2008 相似文献(1条 1.期刊论文 刘琦.卜佳俊.陈纯.LIU Qi.BU Jia-Jun.CHEN Chun 基于Apriori算法的关键词推荐在面向主题的用户 个性化搜索中的应用 -模式识别与人工智能2006,19(2 对传统协作过滤方法在关键词推荐系统中的应用进行分析.