评估方案搜索的主观体系-国玉晶wise

1、国玉晶Wise 搜索的主观评估体系怎样评价一个搜索引擎的好坏？客观指标收录数量 响应时间召回率 准确率主观指标Query相关性评估单次搜索满意度评估（Session）目录主观评估的方法&标准？ Query相关性评估 单次搜索满意度评估怎样开展具体的评估工作，指导产品计划？ 评估标准的灵活移植：小说/软件 指导后续产品计划：问题拆解&聚类主观评估：从用户角度出发，将用户体验分级量化，全面评估搜索引擎的质量Query相关性评估什么是相关性情感易用效 果可用狭义相关性：文本相关性，用来描述文本的匹配程度；广义相关性：对用户需求满足程度的相关性，及用户最终是否快速获取信息找到所求。表征搜索结果及其浏览

2、体验能否以及多大程度上满足了用户搜索的期望。0-4五档分制：4 极好甚至完全满足用户需求。3 能满足用户大部分需求，或者是相当部分的用户得到很好的满足。2 能满足用户少部分需求。1 结果对用户帮助较小，但可满足用户一小部分需求。0 结果对用户的价值极小甚至没有，用户的需求没有得到任何满足。主流用户 核心需求相关性7要素相关性语义相关需求比例便捷性有效性丰富度时效性权威性相关性7要素Query=浏览器下载语义相关：结果和用户的搜索需求描述的是同一件事关注手机用户核心需求相关性7要素Query=NBA需求比例：能够满足更多人的需求结果更佳考虑用户的实际水平相关性7要素Query=600600便捷性

3、：获得目标信息的难易程度Query=扑热息痛说明书手机用户操作不便翻页成本大相关性7要素Query=600600有效性：能否最终满足需求相关性7要素Query=诺基亚N8丰富度：更加全面的信息对于用户的需求满足度更佳相关性7要素Query=张柏芝时效性：用户想获得最新信息，最典型-突发事件相关性7要素Query= 2011北京限价房排队时间权威度：信息来源、网站类型、网站知名度相关性7要素相关性语义相关需求比例便捷性有效性丰富度时效性权威性分数计算方法情感易用效 果可用 某个query最终的相关性分值是：Q(q1*1.0+q2*0.4+q3*0.3)/6.8Q0,1其中q1、q2、q3分别指第

4、1、2、3项的相关性分值。 抽样Query所体现出来的整体网页搜索质量水准，目前用简单的平均值来衡量：Q=Qn /n 问题标注情感易用效 果可用问题标签偏SE问题语义相关性差时效性差信息不全面权威性差标题摘要问题偏TF问题主体：资源类不可观看下载主体：图片/内置链接死链主体：精确需求类主体缺乏主体：泛浏览需求类导航缺乏布局：页面布局较乱交互：交互操作不可用死链协议死链内容死链重复作弊站具体问题具体分析单次搜索满意度评估Session与单次搜索情感易用效 果可用Session：某用户的一连串行为记录单次搜索：用户的一次搜索行为-最基本的搜索单元，一个session包含多个单次搜索-表现在sess

5、ion上，是始于搜索某个query，终于点击相关搜索、搜索扩展、翻页、更改query或者无任何行为的离开。“用户翻页，相当于面临一次新的选择，就需要重新评判新选择下的满意程度”-竞文如何判断是否满意情感易用效 果可用step1： 通过session上下文判断用户的真实需求无法获知时，抛弃该单次搜索时间动作QueryURL19:58:34搜索天堂的孩子你好吗-19:59:20搜索汪晓林-19:59:32点击第 9 条结果汪晓林 19:59:50主动修改Query汪晓林博客-19:59:52点击第 1 条结果汪晓林博客 20:03:45搜索天堂的孩子,你还好吗 mp3-20:03:49点击第 1

6、条结果天堂的孩子,你还好吗 mp3 如何判断是否满意情感易用效 果可用step2： 通过查看最终结果获知用户是否满意一般来说用户点击结果视为满意，但也有例外：展示型阿拉丁最终结果中不包含用户所求信息，或较为隐蔽两种评估方法的对比情感易用效 果可用Query相关性单次搜索满意度评价角度站在相对客观角度上，对主流用户的意图进行猜测站在单个用户某单次搜索的角度，评估个人的、主观的满意度评价粒度分级打分；对问题进行详细标注；简单地评价为满意/不满意；对问题进行简单标注；评价作用热门需求*+长尾需求通用策略长尾需求优化、细化，追查具体问题考虑到无线所处阶段，会使用query相关性作为主要例行评估评估标准

7、的移植小说垂搜相关性评估情感易用效 果可用相关性7要素的移植：语义相关 当query为小说名或作者名这类明确名词，能够清晰的给出对应小说，山寨小说至少没有排在第一位；资源质量 小说章节完整、无残缺或少残缺（不可读即视为残缺章）、无重复；时效性 小说章节更新基本与首发站同步（更新是否及时以最终能够阅读为准，如果最新章仅是给出了章节标题而实际无法阅读也要扣分），系列小说中更新较晚的排在前面；指示性 搜索结果的标题信息是否正确，对连载小说是否给出最新章提示；阅读效果 小说正文页翻页、目录链接无缺失，页面无垃圾软件垂搜相关性评估情感易用效 果可用3：语义相关，描述完整（包括图片），热门且应用版本最新，

8、平台/机型覆盖全面，有包，无死链。2：语义相关，描述完整，版本不是最新，覆盖主力平台/机型，有包，无死链。 1：语义相关，描述不全或版本不新，覆盖主力平台/机型，有包，无死链，基本可用。0：语义不相关或无包、平台过少或无支持机型（包括不相关平台，如iphone）、死链、零结果。评估标准的移植情感易用效 果可用遵循原则 维度灵活评价方法与实现策略是互通的：质量因子利用评估指导产品计划不同标签维度的统计情感易用效 果可用Query分类问题标签页面类型不同标签维度的统计情感易用效 果可用Query分类问题标签页面类型不同标签维度的统计情感易用效 果可用Query分类问题标签页面类型指导下一步产品规划情感易用可用目标量化，清晰可控：拆解到具体项目的分数提升