网页搜索评测方法介绍

1、网页搜索评测方法介绍提 纲 评测词选取 Fitness评测 NDCG评测 整体人工评测 Case跟踪 盲测 在线相关性监测评测词选取评测词选取(1/7)1.介绍 评测系统的源头，影响评测结果的可信度和准确性。 进行科学客观的检索串抽样，尽可能覆盖用户实际的检 索分布。 特征维度：频次、长度、类型、类别、时间评测词选取评测词选取(1/7)2.分类 导航型（navigation） 检索意图明确，准确定位目标网站（I want to go xxx） 示例：QQ邮箱、新浪网、北京大学 信息型（information） 查找围绕关键词的全方位描述，以期对该关键词有所了解 （I want to know

2、about xxx） 示例：刘谦、士兵突击、九寨沟评测词选取评测词选取(1/7)2.分类（续） 事务型（transaction） 检索意图明确，只是不知道该需求应该在哪个网站获得 （I want to get xxx） 示例：2009考研大纲、超级兔子下载、越狱在线观看 常规型（common） 检索意图不明确、类型特征模糊、错误串等评测词选取评测词选取(1/7)3.方法FitnessFitness评测评测(2/7)1.介绍 计算两个排序之间的拟合度 综合考虑位置得分、位置和相对位置 自主设计 每个query在两家引擎结果的拟合度 多个query在两家引擎结果的平均拟合度FitnessFitne

3、ss评测评测(2/7)2.计算公式njjjjjiiselfrankstdrankselfrankweightNFitness1*)1 () 1|(|*1其中：a:为可调参数，0a j ，并且第i项权值大于第j项，则第i和第j项称为一个逆序对。fn(a,b) 定义为查询词 返回结果的权值序列中区间 a, b 内的逆序对占总数对的比例。则 NnnfNRPR1)10, 1 (110整体人工评测整体人工评测(4/7)5)指标MSL10含义：Mean Search Length，平均查找长度。该值越大表明引擎的相关性越差。计算方法：对于每个查询词qn（n=1,N），在第k家搜索引擎，定义第一条得分大于1

4、(Excellent/Good)的结果出现的位置为Pkn，则 NnknPNkMSL11)(10整体人工评测整体人工评测(4/7)3.2覆盖度指标1)指标DPR10含义：Duplicate Rate，结果重复率。计算方法：若两条结果内容相同，则认为两者重复。对于每个查询词qn（n=1,N），在第k家搜索引擎，定义重复结果数为Dkn，（抓取前10条）实际返回结果数为Ckn，则NnknknCDNkDPR11)(10整体人工评测整体人工评测(4/7)2)指标LAC10含义：Lack，未达链率，返回结果未达10条的查询词数占总查询词数的比例。计算方法：需要返回10条结果，但对于查询qn（n=1,N），搜

5、索引擎k返回的实际结果数为Ckn，则LAC10计算如下：其中，NnnqfNkLAC1)(1)(10)10()10(,10)(knknnCifCifqf整体人工评测整体人工评测(4/7)3)指标DSR含义：Displayed Search Result Number，引擎自身显示的平均返回结果数。计算方法：对于查询qn（n=1,N），抓取搜索引擎k返回页面显示的结果数为Cnk，则NnnkCNkDSR11)(整体人工评测整体人工评测(4/7)4)指标ASR含义：Actual Search Result Number，引擎实际返回的平均结果数计算方法：构造一个晦涩查询词表（由M个返回结果数在1至40

6、0的词语构成），对于其中的每个查询词qn（n=1,M），在同一天抓取各个引擎实际返回的结果数Cnk，则MnnkCMkASR11)(整体人工评测整体人工评测(4/7)3.3时新度指标1)指标MAG10含义：Mean Age，结果页面的平均年龄。计算方法：对于每个查询词qn（n=1,N），在第k家搜索引擎的第i条结果记为Rkni，f(Rkni)定义为第i条结果的年龄，计算方法为：从快照库中获取引擎抓取该条结果的时间戳，以天为单位计算与当前日期的时间差。则NnikniRfNkMAG1101)(1011)(10整体人工评测整体人工评测(4/7)2)指标MDR10含义：Mean Dead Rate，首页

7、死链率(可根据位置加权)。计算方法：对于每个查询词qn（n=1,N），在第k家搜索引擎的第i条结果记为Rkni，则NnikniRfNkMDR1101)(1011)(10)()(,01)(不是死链为死链kniknikniRifRifRf整体人工评测整体人工评测(4/7)3)指标NAP10含义：New Average Precision，新词及热点词查询准确率。计算方法：对于每个查询词qn（n=1,N），在第k家搜索引擎的第i条结果记为Rkni，则其中， U为标准答案集合。)()(,01)(URifURifiRfkniknikniNnikniRfNkNAP1101)(1011)(10整体人工评测整

8、体人工评测(4/7)4)指标HHIT含义：Hot Hit，热点命中率计算方法：用最新网页在各搜索引擎中的命中率来衡量搜索结果的新鲜度指标。采取抽样方法，选取一定数量的最新网页，建立样本池，各搜索引擎对样本池中网页的平均命中率可以作为衡量新鲜度的指标之一。整体人工评测整体人工评测(4/7)3.4展示功能指标1)指标THR10含义：Title Highlighted Rate，查询词在结果标题中高亮显示的比例。计算方法：对于长度小于8bytes（四个汉字）的每个查询词qn（n=1,N），在第k家搜索引擎的第i条结果记为Rkni，则NnikniRfNkTHR1101)(1011)(10otherwi

9、se)(,01)(标题高亮显示查询词knikniRifRf整体人工评测整体人工评测(4/7)2)指标AHR10含义：Abstract Highlighted Rate，查询词在结果摘要中高亮显示的比例。计算方法：对于长度小于8 bytes（四个汉字）的每个查询词qn（n=1,N），在第k家搜索引擎的第i条结果记为Rkni，则NnikniRfNkAHR1101)(1011)(10otherwise)(,01)(摘要高亮显示查询词knikniRifRf整体人工评测整体人工评测(4/7)3.5用户行为指标1)指标RCTR含义：Result Click Through Rate，用户在返回结果链接中的

10、点击率。计算方法：对于用户查询行为输入的每个查询词qn（n=1,N），用户在搜索引擎返回页面中点击的结果链接数为Cn ，则NnnCNRCTR11整体人工评测整体人工评测(4/7)2)指标TRCTR含义：Top Result Click Through Rate，用户在前10条返回结果中的点击率。计算方法：对于用户查询行为输入的每个查询词qn（n=1,N），用户在搜索引擎返回的前10条结果中点击的结果链接数为Cn，则NnnCNTRCTR11整体人工评测整体人工评测(4/7)3)指标ATCTR含义：Also Try CTR，推荐相关词的点击率。计算方法: 对于用户查询行为输入的每个查询词qn（n=

11、1,N），用户在搜索引擎返回的结果页面中点击推荐查询词的次数为Cn ，则NnnCNATCTR11整体人工评测整体人工评测(4/7)4)指标SCTR含义：Spelling CTR，拼写提示词点击率。计算方法：对于用户查询行为输入的每个查询词qn（n=1,N），用户在搜索引擎返回的结果页面中点击拼写提示词的次数为Cn ，则NnnCNSCTR11整体人工评测整体人工评测(4/7)5)指标RRLC含义：Reciprocal Rank of Last Click，最后一次点击结果链接的位置倒数。计算方法：对于用户查询行为输入的每个查询词qn（n=1,N），用户在搜索引擎返回的结果中最后一次点击的链接的位

12、置为 Pn，则NnnPNRRLC111整体人工评测整体人工评测(4/7)3.6结果2009.02.10部分相关性指标CaseCase跟踪跟踪(5/7)1.介绍 Case跟踪，即针对检索串及其检索结果在我们引擎和对手引擎中的状态跟踪和相关性分析 主要用于收集相关性效果不好的案例，分析产生的具体原因，并分配到相关人员予以解决 是确定下一步搜索引擎优化方向的依据和驱动之一CaseCase跟踪跟踪(5/7)1.介绍（续） 将搜搜和百度结果差别较大的检索串，提交给自动分析程序和质量专员分析具体原因 周期性自动输出报表，汇集bug问题给相关负责人处理，并自动输出到bugtrace 对质量专员要求高，涉及相

13、关性、平台、下载多类数据和多个系统 全面、精准、耗时费力CaseCase跟踪跟踪(5/7)2.系统CaseCase跟踪跟踪(5/7)2.系统(续)CaseCase跟踪跟踪(5/7)2.系统(续)CaseCase跟踪跟踪(5/7)2.系统(续)CaseCase跟踪跟踪(5/7)2.系统(续)CaseCase跟踪跟踪(5/7)2.系统(续)CaseCase跟踪跟踪(5/7)2.系统(续)盲测盲测(6/7)1.介绍 Side by Side Logo-Hide 以实际用户体验衡量引擎的整体质量 决定能否上线的重要依据 内部用户到外部用户盲测盲测(6/7)2.系统盲测盲测(6/7)2.系统(续)盲测盲测(6/7)3.结果在线相关性监测在线相关性监测(7/7)1.介绍 实时相关性监测 ：fitness指标 五种类别：导航、信息、事务