【毕业学位论文】（Word原稿）个性化检索中的相似用户群的获取与更新-计算机软件与理论

哈尔滨工业大学工学硕士学位论文 - - I 摘要 下一代搜索引擎的一个突出特点是个性化，个性化信息检索是以用户为中心的信息检索技术，它获取以多种形式表达的用户需求（包括显式的、隐式的以及相关用户的需求），并综合利用这些用户信息，提高信息检索系统的性能。 作为个性化检索中的重要研究子课题，相似用户群的建立与更新的任务是，通过对用户检索和浏览历史的分析，建立兴趣相似的用户群，并随着 用户信息 和检索领域 的 变化 对相似用户群进行更新。 相似用户群的建立与更新任务面临的主要问题是，缺乏合理的任务划分和标准评测集，无法对相似用户群系统进行公正的评价。因此， 本文通过对个 性化检索进行合理的任务划分 ，将相似用户群划分为一个独立的子任务， 并 利用开发的语料标注辅助系统，为其 建立 了 标准评测集 ， 使得可以对相似用户群的系统进行公正的评价和比较 。 在相似用户群的研究中， 由于用户间共同 评价过的网页较少， 数据稀疏成为 限制相似用户群建立效果的重要问题， 因此， 本文对相似用户群建立的研究主要集中在解决数据稀疏问题上。 本文 提出了基于 相关性模型 的 相似用户群建立 方法 ， 采用相关性模型， 利用相似领域中的相似用户，对当前领域中的用户查看数据进行扩充，以解决数据稀疏问题。同时，根据实际情况，随着领域的不同对相似 用户群不断进行更新，以使相似用户群的建立更加准确。实验语料为标注者针对天网 100G 语料进行的检索行为和标注的答案，评测指标采用错检率、漏检率和系统性能损耗代价。此方法的性能在 测试语料集 上比 法提高 了 说明 基于相关性模型的相似用户群 方法可以很好地解决数据稀疏， 同时 由于 利用用户群兴趣挖掘单个用户兴趣，防止 了 用户兴趣判断的偏差， 提高相似用户群建立的效果。 关键词 个性化检索 ； 协作过滤 ；相似用户群； 相关性模型 哈尔滨工业大学工学硕士学位论文 - - n of is on It in of of to of of is an of is to of by be of in is of s of it to of of by of on of a on It in to of in by be of of to of In on of of s by in of of 尔滨工业大学工学硕士学位论文 - - I 目录 摘要 . I . 1 章 绪论 . 1 题背景 . 1 题的研究目的和意义 . 2 题的研究目的 . 2 题的研究意义 . 2 似用户群研究的应用 . 3 内外相关研究 . 4 似用户的判断 . 4 决数据稀疏问题的研究 . 7 章小结 . 8 第 2 章 个性化检索任务划分及评测 . 9 性化检索的任务划分 . 9 户新兴趣发现 . 9 户兴趣跟踪 . 11 似用户群建立 . 12 性化检索 . 14 料标注的辅助系统 . 14 统介绍 . 14 确答案记录 . 17 料规模 . 18 似用户群的评测 . 18 测机制 . 18 测方法 . 19 章小结 . 19 第 3 章 用户兴趣发现与跟踪 . 21 户新兴趣发现 . 21 于向量空间模型的新兴趣发现方法 . 21 于 新兴趣发现方法 . 22 哈尔滨工业大学工学硕士学位论文 - - 实验结果及分析 . 24 户兴趣跟踪 . 25 验方法 . 25 验结果及分析 . 25 章小结 . 26 第 4 章 基于相关性模型的数据扩充方法研究 . 27 题跟踪研究简介 . 27 关性模型 . 28 于向量空间模型的相关性模型 . 28 于话题核心与新颖部分的话题跟踪 . 29 题核心的构建 . 30 用改进相关性模型调整话题的新颖部分 . 30 题模型的构建 . 31 验及结果分析 . 31 验语料及评测机制 . 32 验结果 . 32 章小结 . 34 第 5 章 基于相关性模型的相似用户群研究 . 35 关研究 . 35 于相关性模型的相似用户群建立 . 38 户数据扩充 . 38 户相似度计算 . 39 验及结果分析 . 39 验语料 . 40 验结果分析 . 40 章小结 . 42 结论 . 43 参考文献 . 44 攻读学位期间发表的学术论文 . 48 哈尔滨工业大学硕士学位论文原创性声明 . 49 哈尔滨工业大学硕士学位论文使用授权书 . 49 哈尔滨工业大学硕士学位涉密论文管理 . 49 致谢 . 50 哈尔滨工业大学工学硕士学位论文 - - 1 第 1章 绪论 题背景 由于 息的日益增长，人们不得不花费大量的时间去搜索、 浏览自己需要的信息。搜索引擎是最普遍的辅助人们检索 息的工具，比如传统的搜索引擎 新一代的搜索引 擎 。尽管商业搜索引擎 已经取得了相当的成功。 但要 大部分搜索引擎是基于关键词匹配的方式进行检索的， 导致 检索结果中无关的网页过多 并且 没有考虑不同用户的个性差异 和需要 。 由此可见，目前所广泛采用的信息检索技术无法满足不同背景、不同目的和不同时期的查询请求。 举例来说， 研究 计算机 和果树栽培 的 两个用户，在搜索 “苹果” 时 分别想 查找“苹果电脑” 和 关于苹果栽培的知识 。 如果我们能够根据这两个用户的职业 以及 平时查询和浏览的内容为这两个用户建立不同的档案， 就可以 为他们 返回不同的结果。个性化检索系统就是利用用户的注册信 息以及浏览和查询历史等信息挖掘和预测用户兴趣，从而结合用户当前的查询关键词，返回符合用户个人兴趣的检索结果。 同时，物以类聚，人以群分，每个人都有自己的 兴趣 ，而和他 兴趣 最接近的一些用户会组成一个用户群。比如 有一些用户都 对“飞碟”非常感兴趣， 我们可以利用 用户 群 在查询和浏览中的行为作为判断当前用户检索兴趣的依据，从而更加准确地把握用户的检索意图。因此，相似用户群的建立对提高个性化检索的性能有重要意义 。 同时 相似用户群 还可以用来 预测用户的潜在兴趣，将用户可能感兴趣的信息推荐给用户。例如，某些用户都对“飞碟”有共同的 兴趣，如果某一天出现了新闻“英国天空惊现 对“飞碟”感兴趣的很多用户都 对这个新闻感兴趣 ，那么，系统就可以将这则新闻推荐给这些用户。这就是利用相似用户的兴趣判断和预测单个用户的兴趣。利用这个原理进行 个性化检索和信息推荐将 能够更好地满足用户的个性需求。 哈尔滨工业大学工学硕士学位论文 - - 2 题的研究 目的和 意义 相似用户群建立的研究不仅对个性化检索和个性化推荐系统 1有重要意义，而且具有重要的实际应用价值。 题的研究目的 基于 相似用户群 的个性化信息 检索的解决思路是 协作过滤和 信息社会化检索。主要方法是系统通过对用户按兴趣模式聚类来增强用户间的协同与协作。 我们将从以下几 个方面展开相关研究： （ 1） 相似用户群建立的评价 以往研究中，由于缺乏有效评测系统，因此对相似用户群建立任务的性能缺乏公正的评价。本文将个性化检索划分成四个相对独立又相互关联的子任务，相似用户群的建立作为独立的子任务，通过用户对每个检索对象提交的答案构建标准评测集，以便对相似用户建立的效果进行公正的评价。 （ 2） 用户评价数据的扩充 协作过滤中 由于 不同用户间评价过的网页较少，从而导致用户相似度计算的准确 率不高。因此，如何解决数据稀疏问题，是一个重要研究课题。 本文将利用用户对网页的点击代替用户的显式评价分数，同时基于改进的相关性模型，利用 相似 领域内相似用户的查看历史，对当前用户进行数据扩充，解决数据稀疏问题 ，提高相似用户群建立的效果。 （ 3） 相似 用户群建立策略 以往的用户群建立工作大部分是对 所有用户建立一个静态的相似用户群，但是 实际中，用户在不同领域的兴趣是不同的，因此在不同领域其相似用户群也是不一样的。本文探讨在每个领域中分别建立一个相似用户群，并对用户群进行动态的更新，以便使群内的用户兴趣尽可能一致。 题的 研究意义 相似兴趣用户群 的建立主要可以起到以下几点作用： （ 1） 提高个性化检索系统的性能。由于单个用户的查询和检索数据比较有限，而判断单个用户兴趣时常常会有偏差， 导致对 用户 兴趣 判断的错误累积现象。而通过用户群的整体兴趣判断 单个 用户的兴趣， 可以 防止用户兴趣判断的偏差。 （ 2） 提高个性化信息推荐的效果。 相似用户群建立后，可以将群中大部分用户感兴哈尔滨工业大学工学硕士学位论文 - - 3 趣的信息推荐给其它用户， 提供个性化推荐功能 。 评价问题是 相似用户群建立 中的 重要问题。 当前的很多研究都将相似用户群建立的任务依附于其它任务中，缺少专门针对此任务的评测。 本 论文 为相似用户群建立的任务 构建合理的 自动评测集 语料以及对应的评测答案为后续针对此任务的研究奠定基础，对其它研究的评测方法也有重要的参考价值。 似用户群研究的应用 相似用户群建立的研究，不仅具有重要的理论价值，而且有重要的实际应用价值。 似用户群 在电子商务中的应用 基于相似用户群的 个性化服务方式 通过对不同用户群体兴趣取向的挖掘和分析 ，制定 适合此用户群体的 产品的设计、开发以及市场营销策略。基于相似用户群的个性化 电子商务具备如下优点：（ 1）面向群体用户 ， 可以分析用户群体的兴趣，制定针对性的生产和销售策略。 （ 2）个 性化 电子商务 具备自适应的学习机制，从而能够辅助电子商务系统识别商务趋势敏感变化并智能化地调整商品分配。 似用户群 在电子政务中的应用 电子政务主要应用于企业内部行政事务和业务企划的发布、数据和资源共享以及保密信息交互。 基于相似用户群的 个性化信息检索应用于电子政务的优点主要包括：（ 1）有益于企业高效快捷的内部管理。 相似用户群 建立起对应 不同职能部门 的相似用户群 ，自动 挖掘与 每个用户群 管理和业务职能相关的信息。（ 2）海量数据的合理保存与维护，建立 基于相似用户群 对于海量资源的分类保存和快速精准的查询提供了良性平台。 相似用户群 在电子家务中的应用 电子家务就是： “家庭事务的电子化，旨在提高家庭管理的水平和效率，是信息化建设的重要目标。 ”。 基于相似用户群的协作过滤 可以记录家庭事务的核心需求，实时监控信息流，从而辅助电子家务系统智能化的信息推送，将用户从繁多的事务中解放出来。 此外，相似用户群的建立还可以应用在数字图书馆 23中，为用户提高个性化的检索和个性化推荐功能。 哈尔滨工业大学工学硕士学位论文 - - 4 内外 相关研究 以往的相似用户群的研究主要集中在协作过滤领域。 协作过滤 4是指分析用户兴趣 ， 在用户群中找到与指定用户的兴趣相同或相似的用户 ,综合这些相似用户对某一信息的评价 ,形成系统对该指定用户对此信息的喜好程度预测。 协作过滤分为基于模型和基于记忆的协作过滤。基于模型的协作过滤方法，通过挖掘数据之间的关系建立需求模型，过滤后续的信息资源。其中常用的方法包括贝叶斯网络方 法 5、聚类的方法 67和 法 8。基于记忆的协作过滤主要通过用户对项目打分的差别找到相似的用户或项目，然后对用户的兴趣进行预测。基于记 忆的协作过滤分为基于项目的协作过滤 910和基于用户的协作过滤 1112两种。基于项目的协作过滤系统的核心问题是检测两个项目之间的协作相似性 ，然后利用用户对相似项目的兴趣预测用户对未评价过的项目的兴趣。 基于用户的协作过滤主要研究如何建立和应用相似用户群。比如，两名具备相似知识背景的用户 获取知识时采用不同特征集合构成似的知识背景使得系统相信 备相同的需求趋向，从而将 兴趣的反馈结果互相推送，以达到协作式的检索或过滤功能 ，如图 1示 。 图 1作过滤样例 of 相似用户的判断 基于用户协作过滤的核心思想是根据用户评分的相似性获得活动用户的用户 (a)反馈集 : 反馈 (a)(i) 用户 (a) 背景信息 (a) 用户 (b)反馈集 : 反馈 (b)(j) 反馈 (b)(k) 用户 (b) 背景信息 (b) 协作过滤模型 反馈 (a)(i) 反馈 (b)(j) 反馈 (b)(k) 哈尔滨工业大学工学硕士学位论文 - - 5 若干最近邻，也就是相似用户群的建立，然后通过这些最近邻对项目评分的加权和来预测活动用户对项目的评分。其步骤如 图 1 图 1于用户的协作过滤中用户对项目评分流程 to in 常基于用户的协作过滤采用最近 邻方法。即对活动用户 取按照相关度大小排列的相似“近邻”集 13U=u1,可以通过设置阈值控制 U=u1,规模。 基于活动用户 近邻集 U=u1,用户 项目 评价定义为近邻集 U 中所有用户对项目 价指标的加权和，公式 14如下： nk )(),()(,()(),( (1其中， w(ua,活动用户 相似度； R(uk, 项目 评分；)( 项目的平均评分； )( 当前活动用户 验的平均评分。 用户间 相似度计算成为决定协作过滤系统性能的一个主要方面，常用的用户间相似度 如下： 余弦（ 似性 余弦相似性 115 首先将用户对项目的评分映射为 n 维评价矢量ua,T，其中每一维代表用户对某一项目的评分，通常可以简化地将评分的取值范围设置为 0,1，评分越高说明用户对项目的兴趣程度越高。用户之间的相似性通过评价矢量间的余弦夹角进行度量，其公式如下： i m ),c o s (),( (1其中，分母部分是由两个评价向量的模乘积而成，其作用在于对余弦相所有用户与活动用户相似度计算 选择近邻 计算近邻用户对项目评分加权和 哈尔滨工业大学工学硕士学位论文 - - 6 似性进 行归一化。 相关（ 似性 假设用户 同评价过的项目集为 I=，相关相似性ua,以采用 关系数 16进行度量。其公式如下： ni i m (),()(),()(),()()(),(),( (1其中， ua,用户 相似度； R(ua, R(ub,别代表用户 项目 评分； )( )( 别代表用户 其共有的项目集 I=的评价平均值； n 为 同评价过的项目总数。 关系数要求数据的分布条件满足连续的线性关系 。 在实际中 往往 预先设置评价的等级，用户 按照等级对 项目 进行 评价。 这 造成数据的分布趋向于离散，因此采用 级相关系数 17衡量用户之间的相关相似性，公式如下： ni i m uR a n a n a n a n a n a n a n a n (),()(),()(),()()(),(),( (1其中， ua, ub,表用户 关注级别，比如“关注” 、 “一般” 和 “不关注” 分别 对应 1、 0； )( )( 公共项目集 I=评价的平均级别。 余弦相似度计算法和相关相似性计算法提高了推荐项目的准确性，但是过分相似的用户共有的项目集规模相对很大，削弱了用户间可以互相推荐的未知项目空间 。通常协作过滤系统可以采用项目的反流行度 18为候选用户赋予权值，公式如下： n v P o p i )(1)( (1其中， n(示对项目 价过的用户总数，即项目 流行程度； 据公式 (1一个项目的流行程度越大，则其反流行度 i)越小，从而包含该项目的候选用户获得的权值越低。活动哈尔滨工业大学工学硕士学位论文 - - 7 用户可以简化地选择经过反流 行度加权后权值相对较高的用户作为邻居。 但在实际应用中 ，又有用户与 评分的稀疏性，导致协作过滤系统无法有效识别相似用户。 决数据稀疏问题的研究 用户对项目的评价值可以构成一个用户 于用户对网页的的评价较少，导致此矩阵数据较稀疏 1920。如图 1示。 图 1户 of 据稀疏问题 导致 用户 相似度计算时很不准确。为了解决数据稀疏问题，许多相应算法被提出。减少维度的方法致力于直接将用户 理成分分析（ 术 21以及信息检索中的潜在语义索引技术 2223也都被用来解决这个问题。清华大学 24提出了将用户 低维度的方法通过去除不重要的用户或项目达到减少数据稀疏的问题。关联检索技术 25考虑用户和项目之间的关系，迭代地增强用户和相关项目之间的相似度。内容驱动的协作过滤方法 2627增加额外的信息，将项目表示成为向量而计算他们之间的相似度。宾夕法尼亚大学 28提出 了对内容信息进行一体化的统一概率模型解决数据稀疏问题。 协作过滤以及相似用户群建立也有了一些实际应用系统。其中，最为有名的是 站的个性化推荐系 统 29，其利用协作过滤技术，将用户可能感兴趣的商品信息推荐给用户，节省用户搜索的时间并可以发掘用户潜在兴趣。与此类似的还有 个性化新闻推荐系统 30。雅虎公司将相似用户群的研究应用到了个性化电影搜索网站中 31。 其根据当前用户所在的用户群信 息预测用户对每个电影的兴趣，然后计算每个电影针对每个用户哈尔滨工业大学工学硕士学位论文 - - 8 的个性化权威性，从而实现检索结果的个性化。 章小结 本章先对个性化检索以及相似用户群研究的背 景进行了介绍，介绍了现有检索系统的缺点，说明了此研究的必要性。然后 ，对相似用户群的研究目的进行了阐述，介绍了研究重点，分别是对用户数据的扩 充、相似用户群建立的策略以及评价方法，并对研究意义做了说明。之后 ，通过相似用户群在电子商务、电子政务和电子家务方面的应用，说明相似用户群研究的重要价值。 最后对相似用户群建立的相关研究和应用进行了介绍。 后续章节的安排如下：第 二章 详细说明个性化检索的任务划分以及相似用户群的评测方法 ，主要对个性化检索各个子任务进行了详细介绍，并介绍了对语料收集的辅助系统和其收集到的语料规模，最后对相似用户群的评测机制和方法进行了说明 ； 第三章 介绍用户新兴趣发现和兴趣跟踪的初步研究 ，这两个子任务是相似用户群建立的前序任务，因此本文对这两个子任务进行了初步研究 ；第四章探讨相关性模型在数据扩充中的作用并对其进行改进 ， 相关性模型可以解决 相似用户群 中的数据稀疏问题，因此本章对相关性模型进行了深入研究并提出了改进的相关性模型以便应用到相似用户群建立任务中 ；第五 章 提出基于相关性模型的相似用户建立与更新方法 ，本章利用相关性模型解决相似用户群的数据稀疏问题，并 根据 用户新兴趣发现和兴趣跟踪 任务 的结果 ，探讨利用相关领域中的相似用户扩充当前领域中用户的数据 。 哈尔滨工业大学工学硕士学位论文 - - 9 第 2章 个性化检索任务划分及评测 作为个性化检索中的一个重要模块，相似用户群的建立的研究 第一步是有合理的任务划分、明确的任务定义以及详细的入口和出口数据格式。以往对个性化检索 以及相似用户群的研究因为没有明确的任务划分和评测方案，导致研究无法针对其中重要问题进行深入研究，并且各种研究的结果缺乏客观的评价。 因此，对个性化检索任务 进行合理的划分并给出合理的评测方案 ，使得相似用户群的建立任务可以成为独立的研究，并且可以有机地融合到个性化检索任务中， 是研究相似用户群的重要一步。 性化检索 的 任务划分 个性化检索任务主要是挖掘单个和群体用户的兴趣，并利用用户兴趣对检索结果进行优化，使得检索结果更加符合用户的个性化需求。因此，个性化检索面临的主要问题是如何从用户的检索行为中发现并跟踪用户的兴趣，建立兴趣相似的用户群，以及利用挖掘的用户兴趣对检索结果进行优化。 个性化检索的任务划分应该保证各任务之间具有相互独立性，并且 各个任务解决的是个性化检索 中最重要的问题，最终各个任务的有机组合可以构成一个初步的个性化检索实用系统。 基于以上的原则，本文将个性化检索划分为用户新兴趣发现、用户兴趣跟踪、相似用户群建立以及个性化检索四个子任务。下面就对四个子任务进行详细介绍。 户新兴趣发现 用户使用搜索引擎时，会有比较明确的检索目的，而搜索过程实际是一个不断学习不断优化 其能够更好地描述自己的个性化需要，从而找到符合自己兴趣的结果的过程，这也是个性化检索所要解决的问题， 也就是自动挖掘用户兴趣，从而自动返回符合用户兴趣的结果。例如，用户想观看一些关于计算 机智能方面的电影，当他利用搜索引擎进行检索时，他的检索目的是计算机智能电影 ，如图 2示的检索过程 。而由于刚开始不知道具体的电影名，他先输入了“计算机智能电影”的检索关键词，然后，根据 从 结果中 获得的信息，用户找到自己可能感兴趣的电影（例如“黑客帝国”），再输入精确的电影名以获得更加详细的关于电影的介绍等信息。在这哈尔滨工业大学工学硕士学位论文 - - 10 个过程中，用户需要不断优化自己的 而最终搜索到自己想要的结果。但在用户不断优化 过程中，他的检索对象一直没变，都是想检索关于计算机智能方面的电影。因此，前三个 检索 对象相同。之后，用户可能又想找到一家比较合适的电影院观看电影，也就是产生了一个新的检索兴趣，因此他又输入了“北京电影院”和“首都电影院票价”检索相关信息，这两个 于相同的检索对象。 图 2户检索过程 of 果系统可以判断用户的检索对象，自动识别出用户新的检索兴趣的出现 。 则对每个 以找到与它检索对象相同的 利用这些用户的行为判断用户对哪些信息感兴趣，哪些网页是用户真正 需要的，这样就 可以使得对用户隐式信息的利用更加准确。因此个性化检索任务中将用户新兴趣的发现作为一个独立任务，此任务的目的是 对 用户的 现用户新的检索需求，将检索对象相同的 分为同一段落 。此任务的入口数据是 每个用户的 容 ， 系统返回的检索结果以及用户 查看的 过的结果 网页， 对网页的浏览时间，用户对结果的翻页信息。此任务的标准答案格式如图 2准答案采用 签的形式， 标签包围的是当前用户名，每个 和 标签中包含的是一个检索对象的信息， 中 内容是此检索对象的编号， 中包含的是在此检索对象中用户输入的所有 容。此标准答案由标注辅助系统生成，具体的产生方法见 。 用户新兴趣发现任务通过对给定入口数据进行处理，需要生成系统认为的 落，然后通过系统判定的结果与标准答案进行对比可以对系统的性能进行评价，评价指标将采用话题检测与跟踪中的 错检率和漏检率方法，具体 的评测 方法 将和评测指标将在 进行详细的介绍。 哈尔滨工业大学工学硕士学位论文 - - 11 图 2户新兴趣发现任务的 标准 答案 图 2户兴趣跟踪任务的 标准 答案 of of 用户兴趣跟踪 由于用户经常会重复检索同一领域内的信息，而用户在同一领域内的兴趣相对较为固定，因此判定用户的哪些检索是在同一兴趣领域内对个性化检索也很重要。例如，如果用户 较 喜欢的运动是滑雪，那么在他平常的检索中就会经常检索关于滑雪方面的信息 。如果系统可以将用户针对运动方面的检索关联起来，则可以建立用户在运动方面的兴趣模型。这样，当用户在后续再检索运动 相关的信息时，系统就会根据用户在运动方面的兴趣模型对检索结果进行优化，可以将结果中关于滑雪方面的网页位置提前，突出用户的个性化需要。 由于用户新兴趣跟踪任务已经将相邻的 照检索对象划分为落，因此用户兴趣跟踪任务主要目标是，找到所在领域相同 的落。此任务在个性化检索中的作用是，可以为每个用户在不同兴趣领域内分别建立兴趣模型，从而更准确地挖掘和利用用户兴趣。同时，由于在不同领域内用户的相似用户也是不同的，因此在相似用户群的建立中，可以利用此任务划定兴趣领域，在每个兴趣领域分别建立 兴趣相似的用户群。此任务的入口数据为每个用户