（计算机应用技术专业论文）基于rss信息源的用户兴趣模型研究.pdf

11j r e s e a r c ho fu s e ri n t e r e s tm o d e lb a s e do n r s sr e s o u r c e s at h e s i si n c o m p u t e rs c i e n c ea n dt e c h n o l o g ) ， b y b a ig u i i o n g a 捌s e d b y c e p r o z h a n gy o n g s u b n l i t t e di np 枷a lf u l f i l l m e n t o fm e r e q u i r e m e n t s f o rm ed e 铲e eo f m a s t e ro fe n g i i l e e r m g m a r c h ，2 0 1 0 进行检索，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后适用本承诺书) 作者签名：士自柱鏊 日期：垫! ! ：三：! ! 南京航空航天大学硕士学位论文 摘要 ，网络信息过载问题越来越明显，如何快速地从海量信息中获 决的问题。个性化服务的出现和应用解决了这一难题，它为每 模技术成为了个性化服务研究的核心问题。r s s 信息服务的出 能够为人们快捷地提供最新的信息。本文将重点研究基于r s s 题，提高个性化服务的质量。 本文提出了双层树状用户模型。其第一层由用户兴趣类和用户兴趣度的二元组组成，模型 的第二层是用户兴趣子类，采用向量空间模型表示，由用户兴趣关键词及其权值的二元组构成。 通过分析用户浏览行为和用户兴趣之间的关系，计算出页面兴趣等级，以便更新用户兴趣度。 随着时间的变化，人们的兴趣也会不断地变化，为了及时、准确地追踪用户的兴趣，本文采用 聚类学习、r 0 c c l l i o 算法以及合并更新法来实现用户模型的更新。根据双层树状用户模型的特 点，提出了一种将层次聚类和k i 鹏a i l s 聚类相结合的二次聚类方法，并给出了一种层次聚类合 并阈值的计算方法，以提高聚类的速度。通过本文提出的r 0 c c l l i o 单次反馈、多次反馈以及合 并更新法实现用户模型的在线学习和离线学习。在线学习提高了系统的可塑性，而离线学习保 证了系统的稳定性。 最后，通过设计和实现一个r s s 新闻过滤系统来测试本文的用户模型及其更新算法。系统 利用g o o g l ec s e 为用户获取更多的相关信息。实验数据表明了本文用户模型及其更新方法是可 行有效的。 关键词：用户模型，r s s ，聚类，r d c c l l i o 反馈，内容过滤，更新，自定义搜索引擎 基丁：r s s 信息源的用户兴趣模型研究 a b s t r a c t w i t l lm em p i dd e v e l o p m e n to f1 1 1 t 锄e tt e c l l i l o l o 鼢t 1 1 ep r o b l e mo fo v e r l o a d i n gi n f | o m l a t i o n b e c o m e sm d 他孤dm o r e0 b v i o u s l y h o wt 0e 能c t i v e l yg e tu s e 血li i l 】b m 硷t i o nb e c o r m sa 1 1u 玛e mi s s u e t h ea p p e 锄n c e 姐da p p i i c a t i o fm ep e r s o n a l 础i o ns y s t e ms o l v e s 吐l i si s s u e ，w i l i c hp r o 们d e s d i 丘- e r e n ts e 州c e st od i 妊e r e n tu s e r s u s e rm o d e l i i 培t e c l l i l o l o g yb e c o m e sn l ec o r eo fm d i v i d u a t i o n s e r v i c e t h ea p p e a m c eo fr s s - b 笛e di n f o m 埝t i o ns e r v j c ec h a n g e st 量l ew a yo f0 b t a i n i l l gj n f 0 咖a t i o n f u n h e m o r e ，i tc a nf 瓠tp r 0 v i d e 廿l en e w e s ti n f o n l 舱t i o nt 0i l s e r s h l 吐l i sp a p e r w em a i l i l yf o c u so n r e s e a r c h i i l g 哪e rm o d e l i n ga n dm o d e lu p d a t i n g ，w t l i c hb 硒e do nr s sr e s o u r c e s ，w i t i lo u ro b j e c to f i m p r o 咖gp e 培删i z a t i o ns y s t e m sq u a l i t y n el l s e rm o d e lo fm ea r t i c l ea d o p t sd o u b l e1 a y e r 仃e e - m o d e l ，i t sf i r s tl a y e rr 印r e s e n t s 舔m e d u a l i t ) ，g r o u po fu s e r si n t e r e s tc l 弱sa n du s e r sn e r e s td e g r e e ，a n dm es e c o r l dl a y e ru s e ri n t e r e s t s u b c l 觞su s e sv e c t o rs p a c ei n o d e lt 0e x p r e s s ，、k c hr 印r e s e n t s 雏t l l ed u a l i 哆g r o u po fl l s e r si r i t e r e s t s a i l dm e i rw e i 曲t b ya n a l y z i n gt l l e r e l a t i o n s l l i pb e t w e l l s e r sb e h a v i o r 孤du s e r s 缸e r e s t s ，、 c a l c u l a t en l ep a g ei i l t e r e s td e g r e e t h e i l w ec a nu s e p a g e si n t e r e s td e g r e et ou p d a t eu s e r si n t e r e s t d e g r e e a s 血mc h 锄g e s ，p e 叩l e si n t e r e s t 而nk e 印c h a n g i i l g ，i i lo r d e rt 0t i i l l e l y 卸d 孔c u m t e l y 廿孔e u s e si i l t e r e s t ，w ea d 叩tc l u s t e 咖g ，r o c c m o dn l e 增eu p d a t em e 吐l o dt ou p d a t et l l el l s e rm o d e l a c c o r d m gt 0 1 em o d e l sc h a r a c t e r i s t i c s ，、j l ，ep r o p o s eat 、衍c ec l i l s t e r i n gm e m o d ：c o m b i i l i i l g h i e m r c h j c a lc l u s t e 血g 诵t l lk - m e a r l sc l u s t e r i l l g a l s o ，w ep r o p o s e sam e t i l o do f c a l c u l a t i n g l l i e r a r c 王l i c a lc l i l s t e 血g s 也r e s h o l d ，i no r d e rt oi l i 耳) r o v et l l es p e e do fc l u s t e r i n g h l 吐l i sp a p e r w ea d o p t s m g l ef e e d b a c k ，t 证圮sf e e d b a c ko fr 0 c c l l i oa n dm e 唱eu p d a t cm e t h o dt oi m p l e m e n tl l s e rm o d e lo i l l i l l e a n do m i l l el e a n l i l l g o n l i n el e 删n gi n c r e 嬲e ss y s t e mp l 舔t i c 时a 1 1 do m i n el e a m i n g 笛s u r e ss y s t e m s t a b i l i 劬 f i i l a l l y ，b yd e s i 印i n g 锄di m p l e r i l e n t i l l gar s s n e w sf i l t e r i i l gs y s t e nw et e s tm eu s e rm o d e la 1 1 d i t su p d a t em e t l l o d 砷阳d u c e di i ll l l i sp a p e r t l l i ss y s t e l nm a 玉【e su s eo fg o o g l e sc l l s t 咖s e a r c he n g i n e s t 0p r o 、，i d em u c hm o r e l a t e di l l f o n l 俐o nf 0 ru s e r ss u c c e s s 缸1 l y e x p e r i m e n _ t a t i o nd a t ai n d i c a t e sm a t 吐l em e m o do fu s e ri n o d e l i i l ga n du p d a t i i 培i sa v a i l a ：b l ea n de 任e c t i v e k e yw o r d s ：l l s e rm o d e l ，r s s ，c l u s t c r i i 培，r o c c l l i of c e d b a c l 【 c o n t e n t _ b 嬲ef i l t e r u p d a l e c u s t o m s e a r c he r l g i i 把 目录 第一章绪论1 1 1 课题的研究背景。1 1 2 国内外研究现状2 1 2 1 个性化服务的研究现状。2 1 2 2 用户模型的研究现状。2 1 2 3r s s 研究现状4 1 3 本文的研究内容。5 1 4 本文结构安排5 第二章用户建模理论7 2 1 用户建模的信息来源7 2 1 1 用户建模的信息7 2 1 2 用户浏览行为的分类9 2 2 用户建模信息的获取9 2 2 1 显式收集和隐式收集9 2 2 2 行为数据的采集方法1 0 2 3 用户模型表示1 3 2 3 1 基于向量空间模型的表示1 3 2 3 2 基于本体的表示1 5 2 3 3 基于关键词列表法1 5 2 3 4 基于兴趣粒度的表示1 6 2 4 用户模型的更新1 7 2 4 1 信息增补技术1 7 2 4 2 生物进化技术1 7 2 4 3 神经网络技术1 8 2 5 本章小结1 9 第三章用户模型的建立与学习2 0 3 1 基于i 塔s 用户模型的建立2 0 3 1 1r s s 技术2 0 3 1 2 信息源的预处理过程2 1 基于r s s 信息源的用户兴趣模型研究 3 1 3 双层树状用户模型2 5 3 2 用户模型权值的计算2 6 3 2 1 用户兴趣度的计算方法2 6 3 2 2 特征向量权值的计算方法2 9 3 3 用户模型的学习3 0 3 3 1 模型学习方法3 0 3 3 2 双层树状模型的聚类学习3 l 3 4 本章小结3 6 第四章用户模型的更新3 7 4 1 内容过滤与相似度计算3 7 4 1 1 内容过滤技术3 7 4 1 2 相似度计算方法3 8 4 2 用户反馈技术4 0 4 2 1 相关反馈一4 0 4 2 2r d c c h i o 反馈4 1 4 3 用户模型的更新4 2 4 3 1 一种基于显式反馈的更新方法4 3 4 - 3 2 一种基于隐式反馈的更新方法4 3 4 3 3 双层树状用户模型的更新4 4 4 4 本章小结4 6 第五章实验与结果分析4 7 5 1 实验环境和数据来源。4 7 5 1 1 实验环境4 7 5 1 2 数据来源4 7 5 2 实验系统设计4 7 5 3 实验方法51 5 4 实验结果分析5 3 5 4 1 实验步骤5 3 5 4 2 实验结果与分析。5 5 5 5 本章小结。5 8 第六章总结和展望5 9 6 1 总结5 9 l 沦文 6 ( ) 6 l 6 5 一6 6 v 基于r s s 信息源的用户兴趣模型研究 图清单 图2 1m 浏览器装入和初始化b h o 对象1 2 图2 2 向量空间模型示例1 4 图3 1i 迟s2 o 规范的种子示例2 0 图3 2r s s 元素与新闻频道的对应关系2 l 图3 3 分词与词根化的示例2 2 图3 4 停用词过滤的示例2 3 图3 5 英文文本预处理流程图2 4 图3 6 文本预处理的示例2 4 图3 7 双层树状用户模型2 6 图3 8 平面两点间的距离图2 9 图4 1内容过滤流程图3 8 图4 2 向量间余弦夹角3 9 图5 1 用户模型的c s e 配置文件4 8 图5 2 系统框架图4 9 图5 3g 0 0 9 l ec s e 生成r s s 种子流程图5 0 图5 4 系统运行效果图5 3 图5 5 系统查准率统计结果5 6 图5 6 系统召回率统计结果5 7 图5 7 系统f 1 指标。5 8 表5 2 系统反馈信息统计表5 4 表5 3 显式反馈信息统计表5 4 表5 4 隐式反馈信息统计表5 5 表5 5 用户a 的测试统计结果。5 5 表5 6 用户b 的测试统计结果5 6 3 1 6 6 2 1 1 l 5 南京航空航天大学硕士学位论文 第一章绪论 随着互联网的普及，各类信息迅速膨胀，个性化服务中的用户模型问题成为目前研究的热 点。本章将讨论个性化服务中用户模型的研究背景和意义，然后介绍个性化服务及用户模型领 域的研究现状，接下来阐述本文的研究内容，最后给出了本文的结构安排。 1 1 课题的研究背景 w b r d w i d ew 曲是一个巨大的、分布广泛的全球性信息服务中心，涉及新闻、军事、金融、 教育、商务、服务等社会生活的各个方面。伴随着互联网的飞速发展，网络上的资源也在空前 膨胀，人们陷入了一个信息爆炸的时代。面对w 曲提供的如此浩瀚的信息，人们已经越来越依 赖于网络获取所需要的信息了。但是，相对于巨大的h l t e n l e t 信息空间，每个用户真正感兴趣 的信息仅仅是i n t e m e t 信息空间的沧海一粟。信息量的增长给人们带来了方便，但也带来了“信 息过量”和“信息迷失”的问题。而且h l t e n l e t 的信息大多是无结构的、动态的、异构的、复 杂的，其中有很多的信息和知识都是隐藏的，不能被很好的利用。如何合理地组织这些信息， 以便能从信息海洋中检索到期望的目标，并有效地分析这些信息，以便挖掘出潜在的有用模式， 正在成为网络信息处理的研究热点。 目前人们获取网络信息的主要方式是利用搜索引擎输入关键字搜索信息。但是，这种基于 关键字的查询方式命中率低，且其通用性不能满足不同目的、不同背景和不同时期的查询请求。 所以，对于目前这种搜索现状，人们就希望网站能够自动调整以迎合每个用户的浏览兴趣，并 且能够为用户自动实时地推荐页面，迅速地为用户提供所需要的服务。个性化服务技术就是针 对这一问题而提出的，个性化服务的实质就是针对性，即对不同的用户采取不同的服务策略， 提供不同服务内容的一种服务模式。个性化服务通过收集和分析用户信息来学习用户的兴趣和 行为，然后预测用户可能感兴趣的信息，并主动推荐给用户。个性化服务技术能充分提高站点 的服务质量和访问效率，能够吸引更多的用户。 个性化服务的形式多种多样，包括个性化推荐服务、个性化检索服务、个性化网站服务等。 但所有这些不同形式的个性化服务都需要首先建立对用户信息的描述，然后才能据此对用户提 供个性化的服务。用户模型是个性化服务的基础和核心，用户建模是指从有关用户兴趣和行为 的信息( 如浏览内容、浏览行为、背景知识、兴趣和习惯等) 中归纳出可计算的用户模型的过 程。仅有良好的用户模型还不充分，还需要有优秀的用户模型更新方法。优秀的用户模型更新 方法应能及时、准确地追踪用户的行为和兴趣的变化。只有在高质量的用户模型和优秀的模型 更新技术基础上，才能实现个性化服务系统所追求的各种目标。 基于r s s 信息源的用户兴趣模型研究 1 2 国内外研究现状 1 2 1 个性化服务的研究现状 个性化服务系统种类很多【l 】，根据其所采用的推荐技术可以分为两种：基于规则的系统和 信息过滤系统。信息过滤系统又可进一步分为基于内容过滤的系统和基于协作过滤的系统。 基于规则的技术就是根据用户阅读过的感兴趣的内容，通过规则推算方法推算出用户还没 有阅读过的而可能感兴趣的内容，然后再根据规则的支持度，对这些可能感兴趣的内容进行筛 选排序并提供给用户。国外基于规则的系统有：m m 的w 曲s p h e 他、b r o a d s i o n 以及 i l o g ( 、) l 例w i l o g c o m ) 等。 基于内容过滤的技术是指通过比较信息资源与用户兴趣描述文件来推荐资源。国外基于内 容过滤的系统有：c i t e s e e r l 2 1 、p e r s o n a lw e bw a t c h e i l 3 1 、s y s l c i l l & w e b e n 【4 】、w e b a c e 【5 1 、s i f r e r 【6 】、 e l f i 【7 1 和w 曲p e r s o m l i z e 一8 1 等。 基于协作过滤的技术是目前智能推荐系统中应用最广、效果最好的一种推荐方法。它与基 于内容过滤的技术不同，它比较的是两个或者多个用户的兴趣描述文件。由于它是根据相似用 户的兴趣来推荐资源的，所以有可能为用户推荐出新的感兴趣的内容。国外基于协作过滤的系 统有g r o u p l c 眦【9 1 、l 龇m i n d s ( 刚l n 7 l r m a c 删n e d i a c o m ) 、s i t e s e e i l l 0 1 、w 曲w 缸c h e 一1 、f 沁n y 【1 2 】 和s e l e c t 【1 3 1 等。 随着人们对个性化服务的深入研究，个性化服务也已经从理论研究走向了实际应用。在国 外，很多公司已经推出了个性化服务系统，为用户提供更好的个性化服务；很多知名的电子商 务网站( 如a m a z o n 、e b a y 等) 也意识到了个性化服务的巨大商机，及时参与到为用户提供个 性化服务的行列中。我国的部分网站也推出了个性化服务，如百度网站提供了个性化新闻搜索 服务；万方数据资源系统为了更好的服务用户，也引进了个性化服务系统；新浪网提供了个性 化域名服务以及个性化汽车搜索服务等；同时g o o 西e 中文网站为了满足不用用户的需求，也推 出了个性化主页和个性化搜索服务。由此可见，各大网站越来越重视用户的体验，个性化服务 已经成为提高服务质量的重要手段。 1 2 2 用户模型的研究现状 在个性化服务研究的早期，研究人员把精力主要集中在实现的具体技术上，把用户建模技 术看作整个研究过程中一个不起眼的部分。然而随着个性化服务的发展和对其的深入研究，研 究人员逐渐意识到用户模型的重要性。近几年来，用户建模技术已经从个性化服务系统中分离 出来，成为了个性化服务中基础的、核心的研究技术。 用户模型从内容上可以划分为基于兴趣的和基于行为的两种类型。其中，基于兴趣的用户 模型种类比较多，如加权矢量模型、类型层次结构模型、加权语义网模型、书签和目录结构等。 2 南京航空航天人学硕七学位论文 基于行为的用户模型种类相对较少，仅包括用户浏览模式或访问模式。每一种模型都有其优点， 也有一定的局限性。不同的个性化系统都有其自己的用户模型，表1 1 列出了不同个性化系统 对应的数据源和用户模型的表示方式。 表1 1典型个性化服务系统的用户模型对比 个性化服务系统 数据源 用户模型 p e r s o r l a lw 曲w b t c h e r 文档页面直接的超链接信息 基于加权关键词矢量表示，隐式创建 s v s k i i l & w 曲e n用户显式反馈的信息基于加权关键词矢量表示，隐式创建 s i f t用户显式反馈的信息基于加权关键词矢量表示，显式创建 用户浏览页面的行为和反馈 c i t c s e e r 一个文件集合表示，显式或者隐式创建 信息 s e l e c t用户浏览行为信息基于加权关键词矢量表示，显式创建 h 怕s c o p e用户阅读行为隐式创建 r e s e a r c h h l d e x用户显式提供的信息 显式创建 b r o a d s i o n 用户注册信息用户静态的信息表示，显式创建 用户浏览页面的行为和反馈 l e t i z i a基于加权关键词矢量表示，隐式创建 信息 i 侧曲用户反馈的信息基于加权语义网表示，显式创建 p v a 用户浏览日志信息 一种类型层次结构的个人视图表示，隐 式创建 用户反馈信息和浏览页面的基于关键词矢量置于数据库中，显式创 觚u d i e n s 时间建 a n a t a g o n o m y 用户浏览行为和反馈信息基于加权关键词矢量表示，显式创建 国内的许多研究者也对用户建模技术展开了研究。例如林鸿飞和杨元生根据用户提供的各 类示例文档、通过考察特征、段落和类别的表达能力构建用户模型。复旦大学吴立德教授和黄 萱迳博士等人参加的1 r i 通c - 9 会议信息过滤f i l t e 血g 子项目，取得了较好的效果。东北大学的 姚天顺教授和林鸿飞博士等人提出的过滤模型中，用户模型采用基于实例文本的主题词表示。 此外，许多研究者对用户模型的更新也做了深入的研究。用户模型更新是指对用户浏览内 容的数据收集和对用户浏览行为的分析和预测，通过用户模型学习方法，动态更新当前用户的 存储模型。常见的用户模型学习方法有：贝叶斯分类器、聚类和咖f 等。早期渤b 仃e e 和 s o l t y s i a k 采用固定窗口大小的时间窗方法【1 4 】；w i d m e r 和k u b “”1 对时间窗方法做了改进，使得 时间窗口能根据需求的改变自动调整大小；k o y c h e v 和s c h w a b 【l6 】提出了一种采用遗忘函数来更 新用户模型的方法：m i l l a i 和s v e t l l a 【 】采用了多个滑动窗口相结合的方法。 3 基于r s s 信息源的用户兴趣模型研究 总的说来，用户兴趣建模技术尚未成熟，没有形成完整的技术体系，还有一些关键技术尚 待解决。 1 2 3r s s 研究现状 r s s 【1 8 1 技术的英文解释有三种r i c hs i t es u m m a d r 、r e a l l ys i m p l es ) ，n d i c a t i o n 和r d f ( r e s o u r c ed e s c r i p t i o nf r 锄e w o r k ) s i t es u m m a r y ，中文称作“简易信息聚合”，也叫聚合 r s s ，是一种基于x m l ( e x t e n s i b l em a r k u pl a n g u a g e ，扩展标记语言) 标准，在互联网上被 广泛采用的内容包装和投递协议。网络用户可以在客户端借助于支持r s s 的聚合工具软件， 在不打开网站内容页面的情况下阅读支持r s s 输出的网站内容。为内容接受者提供了一种 崭新的阅读体验，同时也为内容提供者提供了高效的、安全的、低成本的发布方式。 r s s0 9 0 版本的技术规范诞生于1 9 9 9 年的网景公司( n e t s c a p e ) ，该公司2 0 0 1 年推出r s s 的简化版本o 9 1 、o 9 2 、o 9 3 、o 9 4 ，并于2 0 0 2 年9 月推出了2 0 版本，将其定义为“r e a l l ys i n l p l e s y n d i c a t i o n ”。在这期间联合小组根据w 3 c 新一代语义网技术把r s s 定义为r d f ( r e s o u t c e d e s c 一州o nf 姗e w o r k ) ，对r s s 重新进行定义，发布了r s s l o 。r s s 由此开始分化，形成了 r s so 9 x 2 0 和r s s1 o 两个阵营。 随着人们对r s s 技术的深入认识，越来越多的商家发现了r s s 技术的优越性，纷纷采用 r s s 技术。目前，r s s 技术已成为博客、新闻传媒、电子商务、事件日历、软件更新、企业知 识管理等众多领域不可缺少的新技术，是目前札应用最成功的例子。 国外运用r s s 技术的网站中，最具代表性的是纽约时报、华尔街日报、互联网门户雅虎、 迪斯尼公司的企业内部知识管理平台、b 2 c 电子商务亚马逊以及网上招聘简历工厂等。中国r s s 市场发展的趋势也是非常令人振奋的。一批著名的有影响力的网站先后推出了r s s 内容服务， 他们包括：新浪网、新华网、阿里巴巴、百度新闻、大洋网以及一些大型论坛等，由于他们的 带领作用，对国内i 述s 市场的发展起到了很好的促进作用。同时还有相当数量的网站也加入到 了r s s 技术研究行列之中。 r s s 技术已经渗透到h l t e m e t 的很多应用领域。r s s 的应用方便于用户，同时也节约了带 宽、提高了网站访问量与被关注度。但是，当前的r s s 信息服务仍存在着一些问题。首先，r s s 信息服务占用了主站点较大的网络开销。每当主站点有r s s 种子更新时，所有订阅了该种子的 用户，都将下载而且几乎是同时下载全新的种子，这时主站点的网络开销将大大增加。尤其是 新闻服务类的主站点，像纽约时报，c n n 等，一有最新的新闻将立即更新种子。且这类种子的 更新频率非常高，大量用户同时从主站点下载最新的种子，势必造成站点其他部分的访问速度 降低，甚至可能造成站点的瘫痪。其次，“r s s 爆炸”和服务质量不高的问题。“r s s 爆炸”是 指在一个r s s 种子中信息的数目太多，人们又要花大量时间去挑选需要的信息；信息服务提供 4 南京航空航天人学硕士学位论文 商在给订阅用户发送r s s 信息时，总是以某种统一的方式发送，缺乏个性化考虑。 1 3 本文的研究内容 目前个性化服务中的用户建模技术尚未成熟，而且在r s s 信息源基础上提供个性化服务的 研究比较少，服务质量也不高。本文主要研究了在i 峪s 信息源基础上如何建立用户兴趣模型， 如何及时、准确地更新用户兴趣模型，最后设计了简单的新闻过滤系统对本文提出的用户模型 及其更新方法做了测试。 在研究了多种用户模型之后，本文设计了一个双层树状用户模型，该模型的第一层由用户 兴趣类及其权值组成，表示为p r o f i l e = ( ( i i ，u d l ) ，( 1 2 ，u d 2 ) ，( i k ，u d k ) ) ，其中，i i 是用户兴趣类 主题词，u i d i 是用户兴趣类权值；第二层是用户兴趣子类，使用向量空间模型表示。通过第一 层中用户兴趣度( 即用户兴趣类权值) 很容易看出用户兴趣的偏向。将用户的兴趣分成不同的 类别，使得用户的兴趣描述地更加详细，因此能够更加准确、全面地更新用户模型。 在反馈方面，考虑显式反馈的准确性以及隐式反馈的全面性，本文同时采用了两种反馈方 法，从而可以更加准确、全面地获得用户的反馈信息。在用户模型学习方面，鉴于用户模型的 分类特点，采用了与之对应的聚类算法。综合考虑了几种聚类学习算法，最后设计了一个二次 聚类方法，该方法结合了凝聚层次聚类和划分聚类中的k - m e a m 方法。先进行凝聚层次聚类， 然后将层次聚类结果的k 值以及聚类中心作为k m e a i l s 方法的初始输入数据。并为层次聚类设 计了一个合并阈值的计算公式，可变的阈值减少了合并的次数，从而提高了层次聚类的运算速 度。 双层树状用户模型的更新包括用户兴趣类权值的更新和用户兴趣子类的更新。用户兴趣类 权值通过计算用户兴趣类中各个页面的兴趣等级之和实现更新。页面兴趣等级由用户浏览行为 以及页面向量与聚类中心的相似度决定。用户兴趣子类的更新分为多种情况：本文针对显式和 隐式两种反馈方法，分别采用了r o c c k o 算法和合并法两种更新方法。当用户在线时，对显式 反馈采用改进的r o c c m o 单次正、负反馈方法，对隐式反馈采用合并方法。当用户离线时，先 采用二次聚类法进行分析，对显式反馈的文档采用标准l b c c l l i o 反馈法，而对隐式反馈文档采 用合并法，最终实现了准确、全面的用户模型更新方法。 本文采用基于r s s2 0 标准的英文新闻作为数据源，通过简单的新闻过滤系统对双层树状 用户模型及其更新方法进行了测试，使用检索系统的评价标准验证了用户模型及其更新方法是 可行有效的。 1 4 本文结构安排 本论文研究的具体内容和章节安排如下： 第一章主要介绍了课题的研究背景，分析了目前国内外相关技术的研究现状，阐述了本文 5 基于r s s 信息源的用户兴趣模型研究 研究的主要内容。 第二章详细阐述了用户模型建立的相关知识，包括用户建模的信息来源，信息的获取方式， 用户模型的几种表示方法以及更新方法等。这些都是用户建模技术的基础，它们相互依赖、相 互影响。本章主要阐述了在客户端利用b h o 技术获取用户浏览行为的方法以及基于向量空间 模型的用户模型。 第三章结合l 迟s 的特征及各种用户模型的特点提出了双层树状用户模型，并对模型第一层 中用户兴趣类权值的计算做了详细的阐述。通过对几种用户模型学习方法的比较，结合本文用 户模型的特征，最后提出了二次聚类学习法。 第四章对内容过滤的核心技术一相似度算法做了详细的阐述。讨论了显式反馈和隐式反馈 的优缺点，为了获得更加准确的用户反馈信息，本文同时采用了这两种反馈技术。重点阐述了 一种基于显式反馈的更新算法，以及一种基于隐式反馈的合并更新法，最后详细阐述了双层树 状用户模型的更新方法。 第五章详细阐述了实验系统框架，实验方法和步骤，通过查准率、召回率等指标对新闻过 滤系统做了测试，并详细分析了实验结果。实验证明了本文提出的双层树状用户模型及其更新 算法是可行有效的。 第六章对本文研究内容做了总结，并对下一步研究工作进行了展望。 6 户模型的过程。其中的用户 信息主要包括浏览内容、浏览行为和背景知识等。一般来说，建立准确的用户模型需要考虑： 哪些信息体现用户的兴趣，如何全面收集用户兴趣的信息，如何组织收集到的信息以及用户模 型能否自动地更新的问题。本章将详细讨论这几个问题。 2 1 用户建模的信息来源 当用户需要查询或获取某方面消息时，通常情况下用户会在浏览器中输入关键词来查询相 关信息。在浏览器显示的搜索信息中选择自己感兴趣的网页进行浏览。然后在浏览过程中发生 各种浏览动作，如保存页面、加入用户收藏夹以及打印页面等行为。本文主要从用户浏览内容 和浏览行为两方面来获取用户兴趣信息。 2 1 1 用户建模的信息 从用户访问1 1 1 t e m e t 的过程中可以总结出共有七种信息可以反映用户的兴趣。下面对这些 信息进行分析。 ( 1 ) 查询关键词 之所以说查询关键词能反映用户的兴趣，是因为只有用户自己最了解自己的兴趣和意图。 但是查询关键词不适合单独用于用户建模。首先，因为用户的查询关键词只是搜索信息的起点 且简明扼要，并不能代表用户搜索的全部信息。其次，查询关键词只代表用户当前的兴趣，不 具长期性。 ( 2 ) 用户收藏夹 用户收藏夹能够较好地反映用户的兴趣，并且能够体现用户的长期兴趣。因为保存在收藏 夹中的页面通常都是用户认为感兴趣的或者重要的，为了方便下次访问才保存下来的。所以用 户收藏夹中的信息能够反映用户最关注的兴趣。但问题是用户收藏夹中的页面数相对于用户浏 览的页面数实在是太少了。r u c k c 和p 0 1 跏o 【1 9 1 通过调查发现用户保存在收藏夹中的网页数量远 远少于用户感兴趣的站点或页面数的一半。而且用户未必会把每个兴趣网页都保存到收藏夹中， 所以收藏夹中的页面也不能够全面地反映用户的兴趣，必须结合其它的信息才能充分体现用户 的兴趣。 ( 3 ) 用户浏览的页面 比起用户收藏夹，用户浏览的页面可以全面地反映用户的兴趣。它可以不需要用户的任何 操作，而由系统自动保存，因而可以实现自动用户建模。但是有的页面可能存在超链接，用户 7 基于r s s 信息源的用户兴趣模型研究 浏览该超链接后才可能发现不感兴趣，也就是说，用户浏览的页面中可能含有噪声数据。而通 过分析用户浏览行为可以避开噪声数据，所以，本文通过浏览页面和用户浏览行为相结合的方 法来构建用户模型。 ( 4 ) 用户的浏览行为 用户的浏览行为包括用户在页面上的驻留时间，对页面的操作( 如保存、打印、加入收藏 夹等) ，鼠标和键盘的操作以及用户浏览页面时的生理反应( 如眼睛的移动、表情的变化等) 。 用户的浏览行为可以明显反映用户的兴趣，因为只有对感兴趣的页面用户才会进行或保存或打 印或在页面上驻留较长的时间。与用户浏览页面的获取方式一样，用户浏览行为也无需用户的 辅助而自动获取。用户的浏览行为必须与浏览页面相结合才能构建用户模型，因为浏览页面才 是最能体现用户的兴趣所在，而浏览行为只是对页面兴趣度的一种衡量。 ( 5 ) 用户下载和保存的页面资料 用户往往对自己很感兴趣的或者很重要的文档会采取下载和保存操作，并可能对其进行分 和整理以便日后快速访问。所以说，用户下载和保存的页面资料也能较好地反映用户的兴趣。 些文档往往能够反映用户长期关注的主题、从事的研究等用户特点，因而，称这类信息为用 的背景知识。同用户收藏夹一样，这类资料数量太少，不能单独作为用户建模的信息来源。 ( 6 ) 用户手工输入或选择的其它信息 此类信息一般包括用户的注册信息和用户对查询结果的反馈信息等。用户注册信息是用户 次使用个性化系统填写的信息，通常要求填写用户名、e - m a i l 地址、性别、年龄、用户感兴 的主题关键词、感兴趣的频道以及频道的兴趣度等。用户的反馈信息是指用户对网页阅读过 中所表现出的显式反馈或隐式反馈的信息。用户反馈信息一般用于用户模型的更新，从而使 息提供者能够及时发现问题，解决问题，以提供更好的个性化信息服务质量。用户提供的信 越多，就越能够获得更好的个性化的服务。在自动用户建模技术尚不成熟的情况下，用户手 输入或选择的信息仍然是用户建模的重要信息来源。 ( 7 ) 服务器日志 服务器日志可分为代理服务器日志和网站服务器日志。服务器日志记录的信息既包括用户 览的网页，也包括用户的浏览行为，所以能较好的反应用户的兴趣。代理服务器日志记录用 对所有网站的访问，因而代理服务器日志信息能够全面地反映用户兴趣，而网站服务器日志 记录用户对该网站的访问，对用户访问的其他网站信息完全不知，所以不能全面地反应用户 兴趣。n e t s c a p e 开发的c o o l 【i e s 用来保存某个用户的识别信息。c 0 0 1 【i e s 是一种w 曲服务器通 浏览器在用户客户端保存信息的方法。c o o l 【i e s 不会滥发服务器的资源，因为它都保存在浏览