（计算机应用技术专业论文）博客用户的个性化建模研究与实现.pdf

浙江大学硕士学位论文摘要 摘要 2 0 0 2 年，博客的概念被引入中国并得到快速发展；直到2 0 0 6 年，博客已经达 到了相当的规模，网民注册的博客空同更是超过3 3 0 0 万个。“博客”已然成为互 联网上最大的热点应用之一。然而，中国有自己的博客空间的网民群体中，只有 不到一半( 4 4 ) 的人会经常更新自己的博客，存在较大的空间浪费。并且在不 同b s p 之间，用户存在的一定的流动性。究其原因，b s p 提供的博客服务统一化 和单一化，用户满意度水平总体偏低，提升博客服务水平成了b s p 的当务之急。 从博客的内容看，博客文章体现了博客作者的个性化特点，因此针对这一特 点，分析博客的文章内容，为每一博客作者建立一个个性化模型，理解博客作者 的兴趣、需求，并在此基础上主动提供有针对性的个性化服务，切实满足用户的 需求，这对提高用户的满意度，维持用户的忠诚度及扩大用户规模具有相当重要 的意义 本文针对博客的特点，提出并实现了一种面向博客用户的个性化建模方法， 分别建立博客用户的长期兴趣模型和短期兴趣模型其中，长期兴趣模型反映了 博客用户长期以来的兴趣爱好，而且会随着时间而衰减。短期兴趣模型则反映了 博客用户最近一段时日j 的兴趣和关注点，若用户持续关注某个兴趣类，则该兴趣 类将转化为用户的长期兴趣。 本文重点在于结合应用实例分析个性化用户模型，主要出发点有两点：一方 面，建立用户模型是个性化系统产生个性化服务的关键，模型的好坏很大程度上 决定了整个系统的成功与否；另一方面，模型建立和模型应用分离，可以使整个 系统有更好的伸缩性和可扩展性。以推荐系统作为博客个性化应用，针对博客作 者的兴趣，推荐志趣相投的博友、交际圈或推荐一些热门的资讯。 关键词博客，个性化服务，兴趣模型，个性化建模，个性化推荐 浙江大学硕士学位论文 a b s t r a c t i n2 0 0 2 ，t h ec o n c e p to fb l o gw a si n t r o d u c e dt oc h i n aa n dw a sd e v e l o p i n gv e r y q u i c k l y u n t i l l2 0 0 6 b l o gh a sr e c e i v e dav e r yh u g es c a l e t h ea m o u n to fb l o g s r c g i s t e r e d i sm o r et h a n3 3m i l l i o n “b l o g h a sb e c o m eo n eo ft h em o s tp o p u l a r a p p l i c a t i o n so nt h ei n t e r n e t h o w e v e r , t h e r ea r eo n l y4 4 a m o n ga l l t h ec h i n e s e b l o g g e r st h a tr e g u l a r l yu p d a t et h e i rb l o g s s ot h e r ei sab i gw a s t ei ns p a c e m o r e o v e r , b l o g g e r so f t e ns w i t c hb e t w e e nd i f f e r e n tb l o gs e r v i c ep r o v i d e r s t h er e a s o no ne a r t h i st h a tt h es e r v i c e sp r o “d e db yt h eb s pa ma l lt h e 蚰l l l ea n da l eb o r i n g t h es e r v i c e s c a n n o tr e a c hb l o g g e r s s a t i s f a c t i o n t h e r e f o r e , h o wt oi m p r o v et h es e r v i c e si sv e r y i m p o r t a n tt ob s p v i e w i n gf r o mt h ec o n t e n to fb l o g , t h eb l o ga r t i c l e sr e f l e c tt h ep e r s o n a l i z e d p o i n t so ft h eb l o g g e r s u s i n gt h i sa d v a n t a g e , w e 伽a n a l y z et h ec o n t e n to fb l o g a r t i c l e sa n de s t a b l i s hap e r s o n a l i z e dm o d e lf o re v e r yb l o g g e rt ot m d e r s t a n dh i s i n t e r e s t sa n dr e q u i r e m e n t s t h e nw ec a np r o v i d ep e r s o n a l i z e ds 删嘲b a s e do i lt h e b l o g g e rm o d e lt os a t i s f yb l o g g e r r e q u i r e m e n t s t h i sm e t h o dw i l lp r o b a b l ya d v a n c e b l o g g e r s s a t i s f a c t i o na n dl o y a l t ya n dw i l la l s oe n l a r g et h es c a l eo f b l o g g e r s t h i sp a p e rh a sp u tf o r w a r da n di m p l e m e n t e dap e r s o n a l i z e db l o g g e rm o d e l i n g m e t h o dt h a te s t a b l i s h e sal o n gi n t e r e s tm o d e la n das h o r ti n t e r e s tm o d e lf o re v e r y b l o g g e r t h el o n gi n t e r e s tm o d e lr e f l e c t st h i n g si nw h i c ht h eb l o g g e ra l w a y si n t e r e s t s a n dw i l ld e c l i n eg r 删l y a n dt h es h o r ti n t e r e s tm o d e lr e c o r d st h eb l o g g e r sr e c e n t i n t e r e s t s i f t h eb l o g g e rc a l e sa b o u ts o m e t h i n gc o n t i n u o u s l yi nap e r i o do f t i m e , i tw i l l b ea d d e di n t ot h el o n gi n t e r e s tm o d e l t h ee m p h a s i so ft h ew o r ki st oa n a n l y z et h ep e r s o n a l i z e db l o g g e rm o d e l i n gw i t h t w oe x a m p l e so fa p p l i c a t i o n t h er e a s o n sa l eb e l o w ：o no n eh a n d ，t h ep e r s o n a l i z e d b l o g g e rm o d e l i n gi st h ek e yo ft h ep e r s o n a l i z e ds y s t e mt op r o v i d ep e r s o n a l i z e d s e r v i c e s t h es u c c e s so ft h ew h o l es y s t e md e p e n d so nt h eq u a l i t yo ft h ep e r s o n a l i z e d b l o g g e rm o d e l o nt h eo t h e rh a n d ，s e p a r a t i n gt h em o d e l i n ga n dt h ea p p l i c a t i o nc a n m a k et h es y s t e mm o r ee x p a n s i b l ea n dr o b u s t t h ea p p l i c a t i o no f p e r s o n a l i z a db l o g g e r m o d e l i n gi st oe s t a b l i s har e c o m m e n d e rs y s t e mt h a tc a nr e c o m m e n dc o r r e l a t i v en e w s a n do t h e rb l o g g e r sa c c o r d i n gt ot h eb l o g g e r i n t e r e s t s k e y w o r d sb l o g , p e r s o n a l i z e ds e r v i c e , b l o g g e rm o d e l ，p e r s o n a l i z e dm o d e l i n g , p e r s o n a l i z e dr e c o m e n d e r 浙江大学硕e 学位论文 图目录 图目录 图1 1 用户创建博客的目的2 图1 2 博客作者注册年份和各年度规模6 图1 3 博客用户流动率7 图l _ 4 因素重要性和用户满意度的对比7 图1 5 用户参加的博客圈8 图1 6 博客个性化服务系统架构图9 图2 1w e b 数据挖掘的分类图。l l 图2 - 2w e b 内容挖掘的一般模型1 2 图2 3w c b 使用记录挖掘流程图1 3 图2 _ 4 基于内容的推荐示意图1 8 图2 5 合作推荐示意图1 9 图2 - 6 是混合推荐的示意图2 0 图3 1 博客个性化服务系统总体架构2 3 图3 - 2 博客个性化建模系统流程图2 5 图3 3 个性化建模系统技术框架2 6 图3 - 4 博客个性化建模系统模块划分2 9 图4 - l 文本自动分类的基本处理模式3 4 图4 2 一条具有较小分类问隔的决策线( 实线) ，分类间隔定义为两条平行虚 线之间的距离3 6 图4 _ 3 具有最大分类间隔的决策线，虚线上的数据点为支持向量3 6 图4 4 兴趣提取器流程图。4 0 图4 - 5 朴素贝叶斯分类和s v m 分类的f 1 值4 6 图舢6 朴素贝叶斯、s v m 和分类结果合并之后的f l 值4 6 图5 1 个性化模型生成器工作流程图4 9 图5 - 2 用户模型表示的逻辑结构5 l 图5 3 用户个性化兴趣模型5 l 图5 - 4 兴趣度衰减曲线5 2 图5 - 5 用户短期模型的h t m l 树形表示5 6 图5 - 6 用户长期模型的h t m l 树形表示5 6 图5 7 用户短期模型的p h p 形式5 7 图5 8 用户长期模型的p h p 形式5 7 图5 9 财经类的短期兴趣模型和长期兴趣模型5 9 图5 1 0 文化类的短期兴趣模型和长期兴趣模型5 9 图5 11 教育类的短期兴趣模型和长期兴趣模型6 0 图5 1 2 体育类的短期兴趣模型和长期兴趣模型6 0 图6 1 个性化资讯推荐系统流程图6 3 图6 - 2 博客圈推荐服务样例6 5 浙江大学硕七学位论文表目录 表目录 表3 1u s c r h f o 保存用户信息。2 6 表3 2t i m e s t a m p 保存用户模型建立的时日j 戳。2 6 表3 3s h o r t m o d e l 保存用户短期模型数据2 7 表3 - 4l o n g m o d e l 保存用户长期模型数据2 7 表3 - 5s h o r t m o d e | f x s 短期模型的长期兴趣度衰减值2 7 表3 - 6a r t i d e 保存博客文章信息2 7 表3 7a r t i c l e f x s 保存文章不同时间戳的短期兴趣度衰减值2 7 表3 - 8a r t i c l e t y p e 保存文章兴趣类型信息2 7 表3 - 9c a t e g o r y 保存用户自定义类别信息2 8 表4 1 词性过滤表4 l 表4 _ 2 是基于朴素贝叶斯的分类结果数据4 4 表4 3 是朴素贝叶斯对应的f l 值4 4 表4 4 是基于s v m 分类算法的分类结果数据“ 表4 5 是s v m 对应的f l 值4 4 表4 6 是算法改进后的结果4 5 表4 - 7 是算法改进后的f l 值4 5 浙江大学硬上学位论文第1 章绪论 1 1序言 第1 章绪论 “什么是博客”一度成为各大搜索引擎最热门的搜索关键词之一( 相关检索 关键词还有“什么叫博客”、“博客是什么意思”、“博客中国”等) ，同时博 客( b l o g ) 也多次被众多机构和媒体评为最热门的互联网现象。 博客从产生到发展至今，已经达到了相当的规模。t c c h n o r a t i 网站称，中国 现在宣称有3 3 0 0 万个博客空间，每秒产生个新博客。然而，在中国有自己的 博客空间的网民群体中，只有不到一半( 4 4 ) 的人会经常更新自己的博客，造 成了较大的空间浪费。这是由于目前b s p 对不同的博客用户只能提供统一和单 一的博客服务，使得用户满意度水平总体偏低。因此，如何根据博客文章所体现 出的用户的个性化特点，向不同的用户提供主动的具有针对性的个性化服务，提 高博客服务的水平成了b s p 的当务之急。 1 2博客的产生和发展 b l o g 究竟是什么? 其实一个b l o g 就是一个网页，它通常是由简短且经常更 新的帖子( p o s t ) 所构成，这些张贴的文章都按照年份和日期倒序排列。b i o g 的内容和目的有很大的不同，从对其他网站的链接、评论，有关公司、个人构想 的新闻，到日记、照片、诗歌，散文，甚至科幻小说的发表或张贴都有。许多 1 3 1 0 9 s 只是记录着b l o g 个人所见、所闻、所想，还有一些b l o b s 则是一群人基于 某个特定主题或共同利益领域的集体创作。撰写这些w c - b l o g 或b l o g 的人就叫 做b l o g g e r 或b l o g w r i t e r 。 最早的博客应该就是万维网的发明人蒂姆贝纳斯一李( t i mb o n e r s l 佛) ， 他开设的第一个网站h t t p ：i n f o c 锄c h 实际上就是第一个博客网站，因为里面的 内容就是列出所有出现在网上的各类网站。这被归于博客的“史前时期”，博客 真正的历史可以从9 0 年代中后期开始。 第一阶段( 9 0 年代中期到9 0 年代末期) ：萌芽阶段，或者称为启蒙期。 一般认为博客最正宗的源头是p y r a ( 就是现在b l o g g c r c o m 的前身) ，这是 一家小小的软件公司，三个创始人为了开发一个复杂的“群件”产品，编写了一 个小软件，以博客方式保持彼此的沟通与协同。1 9 9 9 年8 月，他们在网上免费 发布了b l o g g e r 软件。结果许多人利用这个软件作为武器，进入博客队伍，博客 队伍开始迅速繁衍开来。 第二阶段( 2 0 0 0 年2 0 0 6 年左右) ：初级阶段，或者称为堀起期。 i 浙江大学硕上学位论文第1 章绪论 到2 0 0 0 年，博客开始成千上万涌现，并成为一个热门概念9 1 l 事件使得 一个重要的博客门类：战争博客( w a r b l o g ) 繁荣起来。据不完全统计，到今天， 全世界自觉实践的博客数量，已经达到5 0 万到1 0 0 万之众。这些博客的影响力 早已超出了他作为个人、甚至作为自己所在行业的原有范围。开始引起主流的媒 体的强烈关注，并明显感受到博客崛起对传统媒体的冲击。估计在最近一两年内， 博客将成为互联网萧条时期最重要的新现象之一，为全社会所关注。 第三阶段( 2 0 0 6 年) ：成长阶段，或者称为发展期。 对于博客的未来，现在要定论的确太早，而且争议性很大。但是，研究人员 根据相关的经验和判断，冒险地认同这样的一些大胆的判断：到2 0 0 6 年左右， 作为一种新的媒体现象，博客的影响力有可能超越传统媒体；作为专业领域的知 识传播模式，博客将成为该领域最具影响力的人物之一；作为一种社会交流工具， 博客将超越e - m a i l 、b b s 、i c q ( i m ) ，成为人们之问更重要的沟通和交流方式 总之，博客是一个正处于快速发展和快速演变中的互联网新应用在市场 术语中对博客的定义为：一种表达个人思想和网络链接，内容按照时间顺序捧 列，并且不断更新的出版方式。p y r a 创始人e v a nw i l l i a m s 认为博客概念主要体 现在三个方面：频繁更新( f r e q u e n c y ) 、简洁明了( b r e v i t y ) 和个性化( p e r s o n a l i t y ) 。 随着i n t e r a c t 的不断发展，开放、自由、快捷的w e b 使得博客的个性化特点 也越来越鲜明，对博客的个性化需求已经呼之欲出。图1 1 是中国互联网络信息 中心关于用户创建博客的目的的调查研究。从图中可以看出，8 0 以上的用户创 建博客是用来记录自己的心情，6 0 以上的用户创建博客用于表达自己的观点。 可见，博客的内容主要是个人生活与心路的记录，以及个人观点的表达。因此， 博客作为个人媒体的属性非常明显，体现着强烈的个性化色彩。 图1 - 1 用户创建博客的目的 2 浙江大学硕上学位论文 第1 章绪论 可见，个性化是博客最基本的要素和最重要的特点之一。因此，如何利用博 客的个性化特点这一丰富而宝贵的资源是一个值得研究的问题。从博客的内容、 博客用户使用搏客的情况等方面挖掘出博客用户独特的个性化特点，包括博客用 户的兴趣爱好、需求心理、行为方式等。根据挖掘出的博客用户的个性化信息， 为博客用户建立个性化的兴趣模型，进而依据兴趣模型有针对性的向博客用户提 供个性化服务，切实的满足用户的个性化的需求。接下来的章节将简单的介绍个 性化服务的起源、形式和相关技术等，然后对本文的研究意义和目的作了阐述。 1 3 个性化服务概述 个性化服务是指针对不同用户提供不同的服务策略和服务内容的服务模式 【。与不区分用户的普通服务模式相比，个性化服务显然具有更高的服务质量。 实际上，个性化服务并不是一个现在才有的新概念古语所说的“因材施教”， 就是教育领域中一种典型的个性化服务在大工业生产之静，个性化服务是一种 司空见惯的服务模式，人们穿的衣服、鞋子都是根据个人的特点专门定做的生 产力发展以后，为了提高生产的效率，大量的产品被标准化以利于批量生产，人 们消费的东西不再是为某个人专门制备，而是很多用户使用完全相同的产品。标 准化和批量化的服务是以降低服务质量为代价的。随着物质产品的日益丰富，个 性化服务又重新受到人们的重视。 i n t e r n e * 个性化服务是个性化服务在i n t e m e t 中的拓展，也是个性化服务新的 应用和发展领域。 1 3 1起源 自1 9 9 3 年以来，i n t e r n e * 一直以惊人的速度发展，从最早仅连接美国的少数 几所大学和科研机构，到现在已经几乎触及世界的每个角落。接入i n t e r n e * 的站 点亦如雨后春笋般地增长相应地，i n t e r n e * 中的信息也迅速增长i n t e r n e * 已经 成为全球最大、也最为方便快捷的数字图书馆。 然而与常规图书馆不同，i n t e m e t 是一个高度开放、异构、分布式的信息空 间，没有统一的管理，信息杂乱地散布在全球各个站点上，而且每天以极快的速 度更新。i n t e r n e * 的高度无序和不可管理性给信息的使用带来了极大的困难。 传统的i n t e m e t 服务为用户使用i n t e r n e * 资源提供了一些可行的途径。然而， 相对于巨大、无序的i n t e r n e * 信息空间，每个用户真正感兴趣的信息非常有限， 仅仅是i n t e r n e * 信息空间的沧海一粟在传统i n t e r n e * 服务模式下，为了找到真 正感兴趣的信息，用户要耗费大量的时间和精力。以搜索引擎为例，当用户输入 关键词后，搜索引擎返回的结果往往成百上千，其中包含大量与用户兴趣不相关、 3 浙江人学硕士学位论文 第1 章绪论 重复、甚至是过时的信息。由于每个用户的兴趣不同，从中找出真正感兴趣的信 息是一个既耗时又耗力的过程。 而且，由于每个用户感兴趣的信息不同，相应地其所关注的信息子空间就不 尽相同。然而传统i n t e m e t 服务没有考虑用户的差异，使得每个用户面对同样的 信息空间。显然，传统的“人找信息”的服务模式已经越来越难以适应迅速增长 的i n t e r n e t 信息资源，用户迫切需要一种能够根据用户的特点自动组织和调整信 息的服务模式，个性化服务应运而生。 1 3 2 服务形式 最早的个性化服务是以个性化导航、过滤和推荐的服务形式出现。 所谓个性化导航是指在用户访问i n t e r n e t 的过程中进行前瞻搜索，找出用户 感兴趣的信息，提示用户下一步的浏览路径；个性化过滤则是指在用户访问 i n t e m e t 的过程中对信息进行预处理，仅将用户感兴趣的信息呈现给用户；个性 化推荐是指在用户访问i n t e r n e t 的过程中对信息进行预处理，将用户感兴趣的信 息推荐给用户，提示用户浏览不难发现，“导航”和。过滤”在实现技术和实 现目的上与。推荐”是相似的，因而在本专题中我们将“导航”、“过滤”和 “推荐”统称为推荐。 随后，一些大型网站推出了以减少用户浏览负担、提高用户访问效率为目的 的个性化服务。由于这种个性化服务形式是网站提供并以提高网站易用性为目 的，因而我们称这种个性化服务形式为个性化站点。 随着i n t e r n e t 中信息量的指数增长，i n t e m e t 信息检索系统的检索效率日益受 到关注。为不同的用户提供有针对性的检索结果，也即个性化信息检索，成为一 种新的个性化服务形式。 1 3 3相关技术 i n t e m e t 个性化服务的实现需要综合多种技术。首先，由于需要为不同的用 户提供有针对性的服务，因而需要获取用户的兴趣、习惯等用户信息，并对这些 用户信息进行描述，构建出反映用户特点的用户模型。这一过程也就是用户建模。 其次，不同的服务形式需要相应的支撑技术。如要实现个性化推荐，就需要 相应的个性化推荐技术；要实现混合推荐，还需要用户聚类技术，以发现具有相 近兴趣的用户；要实现个性化网站，就需要针对单个用户的数据挖掘技术和网站 自适应技术。最后，为了在实现个性化服务的同时保护用户的隐私，还需要相应 的安全技术，以实现对用户隐私的保护。 在个性化服务的相关技术中，数据挖掘技术目前已经发展得较为成熟，所不 同的是现有的数据挖掘技术是针对群体用户的，在应用于个性化服务时需要做相 4 浙江大学颈七学位论文 第1 章绪论 应的改进。网站自适应技术从1 9 9 6 年开始就已经成为人工智能领域的研究热点， 其研究成果可以直接应用于个性化站点的实现中。保护用户隐私的安全技术可以 借鉴现有的很多安全机制。用户建模和个性化推荐是个性化服务特有的技术，目 前还很不成熟，需要重点研究。 1 3 4 研究和发展动态 1 9 9 5 年3 月，卡内基梅隆大学的r o b e r ta r m s t r o n g 等人在美国人工智能协 会( a a a i ) 春季会议上提出了个性化导航系统w e b w a t c h e r ，斯坦福大学的m a r k o b a l a b a n o v i c 等人在同一次会议上推出了个性化推荐系统l i r a 同年8 月，麻省 理工学院的h e n r yl i e b c r m a n 在国际人工智能联合大会( d c a i ) 上提出了个性 化导航智能体l c t i z i a 。这三个系统被公认为个性化服务发展初期最为经典的系 统，标志着个性化服务的开始 1 9 9 7 年，a t & t 实验室提出了基于合作方式的个性化推荐系统p h o a k s 和 r e f e r r a l w c b ；斯坦福大学的m a r k o b a l a b a n o v ；, c 和y o a vs h o h a m 推出了基于内 容和合作方式的个性化推荐系统f a b 。同年3 月，( c o m m u n i c a t i o n so f t h ea c m 组织了个性化推荐系统的专题报道，标志着个性化服务已经受到相当的重视。 1 9 9 9 年，德国d r e s d e n 技术大学的t a n j aj o e r d i n g 实现了个性化电子商务原 型系统t e l l i m ；麻省理工学院的h e n r yl i e b e r m a n 提出了基于合作方式的个性 化导航系统l e t sb r o w s e ；意大利t o n n o 大学的l i l i a n aa r d i s s o n o 和a n n ag o y 提出了个性化网上商店s e t a 。个性化服务开始向全球发展。 2 0 0 0 年4 月，以美国为主的多国个性化研究机构和网络公司成立了个性化 协会，旨在推动个性化服务的发展，同时保护个性化服务中涉及的用户隐私这 年，我国也开始了个性化服务的研究。清华大学的路海明等提出基于多a g e n t 混合智能实现个性化推荐 2 0 0 1 年，纽约大学的g e d i m i n a sa d o m a v i c i u s 和a l e x a n d e rt u z h i l i n 实现了个 性化电子商务网站的用户建模系统l ：l p r o ；m m 公司在其电子商务平台 w e b s p h e r e 中增加了个性化功能，以利于商家开发个性化电子商务网站；n e c 研究院的e r i cg l o v e r 等人提出了个性化元搜索引擎原型系统l n q u i m s 2 我国也 广泛开展了对个性化服务的研究，提出了一些原型系统。清华大学的冯翱等人提 出了基于a g e n t 的个性化信息过滤系统o p e nb o o k m a r k ：南京大学的潘金贵等人 设计并实现了个性化信息搜集智能体d o l t r i - a g c n t 。 近几年，个性化服务逐渐从学术研究走向实际应用，成为业界的热点概念。 很多公司纷纷推出个性化系统，提供个性化服务。很多网站，如m i c r o s o r 、a o l 、 c n n 、l y c o s 、i b m 等，均推出了个性化功能；很多电子商务网站也注意到了个 5 浙江大学硕士学位论文第1 章绪论 性化服务的巨大商机，开始提供个性化服务，如, a l r l a z 0 ! 、e b a y 、b e s t b u y 、e x p e d i a 等；我国的部分网站( 如新浪网) 也推出了个性化服务。 i n t e m e t 的迅速发展和i n t o n e t 资源的指数增长使得个性化服务脱颖而出。个 性化服务已经成为网络技术和智能信息处理中新的研究热点。经历了8 年的发 展，个性化服务虽然还不甚成熟，但已经真真切切地走进了我们的生活，为广大 用户和网络公司带来益处 1 4 研究的意义和目的 1 4 1 中国博客市场规模 2 0 0 2 年以来，博客在中国大陆增长了3 0 多倒2 】。截至2 0 0 6 年8 月底，中国 的网民群体中有1 7 4 8 5 万人注册有自己的博客空间，但是其中只有不到一半 ( 4 4 ) 的人会经常更新自己的博客；中国网民中，超过6 0 的人浏览过博客， 博客读者达到7 5 5 6 5 万人，其中，经常阅读博客的活跃读者5 4 7 0 9 万人；每个 博客平均注册过将近两个博客空问，而绝大多数( 8 0 6 ) 只会更新一个；在超 过3 3 0 0 万个博客空间中，只有不到3 0 的空日j 为有效空间，存在较大的空间浪 费。图卜2 是博客作者注册年份和各年度规模的统计图。对未来半年读者注册博 客空间可能性的研究显示：博客仍会有一个大规模的增长。 图1 - 2 博客作者注册年份和各年度规模 6 浙江夫学硕士学位论文 第1 章绪论 1 4 2博客用户流动性分析 图1 3 博客用户流动率 虽然众多的b s p 为用户提供了极为简单的注册程序，但是超过半数的博客 作者注册的博客空间仍然只是一个；单一空日】用户的活跃性低于多空间用户，他 们对l i s p 的要求也比较低f 2 】。 在注册两个以上的博客空日j 的用户中，流动率较强，一年流动率达到3 9 8 ， 两年时间就有超过5 0 0 , 6 的用户流失。可能的原因有： 1 零成本注册使博客更容易成为多个b s p 的用户； 2b s p 的服务质量差，促使博客作者快速转换，这一点在下一部分会有更 进一步研究。 1 4 3 博客用户满意度研究 图l - 4 因素重要性和用户满意度的对比 7 浙江大学顽t 学位论文第1 章绪论 图1 4 中，蓝色表示博客用户对各因素的关注度，红色表示用户对b s p 所提 供的服务中各因素的满意度2 1 。 图1 5 用户参加的孵客圈 图1 5 表明目前近8 0 的用户没有参加任何博客圈，可以预见，未来几年博 客圈将会取得很大的发展【2 1 以上研究显示，用户对b s p 提供的服务总体满意度水平只有5 0 分稍强，满 意度水平总体偏低，提升服务水平成了b s p 的当务之急。b s p 的服务与用户需求 存在严重错位。在市场总体表现上，用户对b s p 在各指标上的评价与其重要性认 知恰恰相反，越是重要的指标，用户的满意度评价越低，而最不关注的指标却获 得了最高的满意度。低品质的服务使较为活跃的博客流动性增强，进而造成网络 资源的严重浪费。由图l - 4 可以看出，博客的个性化服务水平亟待提高 从博客内容看，博客文章体现了博客作者个人化的特点，包括知识结构、需 求心理和行为方式等，因此针对这一特点，分析博客的文章内容，为每一博客作 者建立一个个性化模型，理解博客作者的兴趣，需求，并在此基础上主动提供有 针对性的个性化服务，切实满足用户的需求，这对提高用户的满意度，维持用户 的忠诚度及扩大用户规模具有相当重要的意义。 1 5本文的工作和论文的组织 本文针对博客的特点，提出了一种面向博客用户的个性化建模方法，分别建 立博客用户的长期兴趣模型和短期兴趣模型。其中，长期兴趣模型反映了博客用 户长期以来的兴趣爱好，而且会随着时间而衰减。短期兴趣模型则反映了博客用 户最近一段时间的兴趣和关注点，若用户持续关注某个兴趣类，则该兴趣类将转 化为用户的长期兴趣。文章的重点将放在个性化用户建模上，并结合一个应用实 例，原因有两点：一方面，建立用户模型是个性化系统产生个性化服务的关键， 模型的好坏很大程度上决定了整个系统的成功与否；另一方面，将模型建立和模 3 浙江大学硕上学位论文第l 章绪论 型应用分离，可以使整个系统有更好的伸缩性和可扩展性博客用户个性化建模 的应用将采用一个个性化推荐系统，针对博客作者的兴趣，推荐其感兴趣的资源； 并为兴趣相似的博客用户建立博客圈。 博客个性化服务系统架构如图1 - 6 所示。传统的博客服务器主要是建立在 r s s 技术、分布式服务技术、a j a x 技术、文本检索技术、数据库技术和w e bs e r v i c e 的基础上的。传统的博客服务器主要是为博客用户提供一个供个人写作的空问， 功能比较单一简单，而且并没有区分博客用户群，对不同的搏客用户提供的是完 全相同的服务，无法因人而异的满足不同博客用户的个性化需求。本文在传统博 客服务器的基础上，加入了个性化建模系统和个性化推荐系统。其中，个性化建 模系统的功能是收集并分析博客的信息，根据收集到的博客信息为每个博客用户 建立一个个性化的兴趣模型，以描述博客用户的兴趣爱好等个性化特点个性化 建模系统的支撑技术主要有文本分类技术、数据库技术、中文分词技术和w 曲 挖掘技术。个性化推荐系统的功能是基于博客用户的个性化兴趣模型，主动向博 客用户推荐其感兴趣的即时资讯、博客圈、广告、产品等。个性化推荐系统的支 撑技术主要有r s s 技术和w 西挖掘技术 图1 6 博客个性化服务系统架构图 9 浙江大学硕上学位论文 第t 章绪论 本文的篇章结构概括如下： 第一章对博客的产生和发展，中国博客市场的规模、现状和存在的主要问题 以及个性化服务的起源、研究现状和发展动态进行了概述，并指出提高博客的个 性化服务的重要性、必要性和紧迫性。 第二章对个性化服务的关键技术w c b 数据挖掘技术、用户建模技术和个 性化推荐技术进行了研究。w c b 数据挖掘技术主要是从网页的内容、网页的链接 结构以及用户的使用日志中，从内容、结构和使用记录三个层面上挖掘出用户的 个性化信息；用户建模技术是根据用户的个性化信息建立用户的可计算的个性化 模型，从算法的角度描述用户的个性化特点；个性化推荐技术是根掘建立的用户 模型主动向用户提供个性化的推荐服务 第三章设计并实现了博客用户的个性化建模系统，对个性化建模系统的设计 目标、总体框架、系统流程、模块和功能的划分进行了总体设计，从宏观的角度 展现了博客用户的个性化建模系统的总体架构，主要包括兴趣提取器和个性化模 型生成器 第四章对兴趣提取器的详细设计与实现进行了描述，主要采用了文本分类技 术由于博客文章反映了用户的兴趣、爱好、需求等个性化信息，因此对博客文 章进行文本分类，提取出其中隐含的兴趣类别，是建立博客用户兴趣模型的基础 文本分类的一般流程是文本的预处理、特征项的选取和文本分类算法。由于不同 的分类算法在不同的类别上性能也不同，本文分别用s v m 算法和朴素贝叶斯算 法进行了分类，然后把分类结果进行了合并，提高了分类的正确率和总体性能。 第五章详细描述了个性化模型生成器的设计方案和实现方法，对个性化模型 生成的流程、模块的实现和接口进行了详细设计。个性化模型生成器包括三个步 骤，分别是：长期兴趣模型的生成、短期兴趣模型的生成和个性化类别的修正。 输出的就是博客用户的个性化长期兴趣模型和个性化短期兴趣模型 第六章对博客用户的个性化模型进行了应用，主要列举了两个应用实例。一 是个性化的资讯推荐服务，即根据用户模型所反映出来的博客用户的兴趣，基于 r s s 技术即时主动的向博客用户推荐其感兴趣的最新资讯。第二个应用是隐式博 客圈服务，即对博客用户的兴趣模型进行相似度的匹配，在相似的用户之间进行 互相推荐。 第七章对本文的工作进行了总结，并结合博客和个性化服务的研究和应用情 况，对博客的个性化服务的未来的研究方向进行了展望，对下一步的工作进行了 部署。 1 0 浙江大学硕士学位论文第2 章个性化服务关键技术 第2 章个性化服务关键技术 个性化服务涉及的技术较多，包括w 西数据挖掘技术、用户建模技术，和 不同服务形式相关的支撑技术、人工智能的有关技术、网络安全技术。但目前研 究较多、也是最为关键的三项技术是w e b 数据挖掘技术、用户建模技术和个性 化推荐技术。 2 1 w e b 数据挖掘技术 w e ；b 数据挖掘( w c bd a t am i n i n g ) 简称w 曲挖掘，是从数据挖掘发展过来 的集w e ；b 技术、数据挖掘、计算机技术、信息科学等多个领域的一项技术。w e b 挖掘是指从大量的w 曲文档集合中发现蕴涵的、未知的、有潜在应用价值的、 非平凡的模式。它所处理的对象包括：静态网页、w 曲数据库、w c b 结构、用 户使用记录等信息。通过对这些信息的挖掘，可以得到仅通过文字检索所不能得 到的信息。通常w 曲挖掘过程可以分为以下几个处理阶段：资源发现、数掘抽 取及数据预处理阶段、数据汇总及模式识别阶段、分折验证阶段p j 2 。1 1w e b 数据挖掘的分类 w e b 信息的复杂性决定了w e b 挖掘任务的多样性，目前研究的主要有三种 w e b 挖掘技术：w e b 内容挖掘，w e b 结构挖掘和w e b 使用模式挖掘f 1 。其分类 结构如图2 - 1 所示。 圃 g b # t t h ；，一。- “u - u 脚 匹燕匦壶圃 “。一。测e 。一。j 图2 - iw e b 数据挖掘的分类图 其中w c b 内容挖掘指在人为组织的w c b 上，从文件内容及其描述中获取有 用信息的过程；w 曲结构挖掘则是从人为的链接结构、文档的内部结构、文档 囱 囱豳赢型匿 ，闻一巨 r 囱 j 词一匦一鲴 睦 浙江丈学硕士学位论文第2 章个怿化服务关键技术 中u r l 的路径结构中获取有用知识的过程：w 西使用挖掘是通过挖掘相应站点 的日志文件和相关数据来发现该站点上的浏览者和顾客的行为模式 2 1 2w e b 内容挖掘 数据挖掘就是指从大量的、不完全的、有噪声的、模糊的、随机的数据中， 提取隐含在其中的、有用的信息和知识的过程【5 1 。w e b 内容挖掘是对大量的w c b 页面描述数据进行总结、分类、聚类、关联分析以及利用w 西文档进行趋势预 测等，进而抽取知识的过程。按使用的方法来划分w e b 内容挖掘可分为信息查 询的观点( i rv i e w ) 和数据库观点( d bv i e w ) t 4 1 ，按挖掘对象来划分又可分为对文 本文档( t e x t ，h t m i ，x m l 等) 的挖掘和对多媒体文档( i m a g e ，a u d i o ，v i d i o 等) 的挖掘。w 西内容挖掘的一般模型如图2 2 所示。 图2 - 2w e b 内容挖掘的一般模氆 目前主要的w 曲内容挖掘技术有：文本分类：将自由文本文献自动归入 一个或多个事先定义好的类目中，这也是本文主要用到的博客信息的挖掘技术； 文本聚类：文本聚类没有事先定义好类，完全依据文献间的相似度，把文献分 入到一个或多个类中；自动摘要：自动摘要有e x t r a i o n ( 提取) 和 a b s t r a c t i o n ( 萃取) 两种方法，前者是通过从原始文本提取句子的方法来生成摘 要，后者生成的摘要中则可以包含原文中没有的句子；文本可视化：用二维或 i 维的图形显示文献集的语义模式，使用户可以迅速地发掘出大型文献集中的语 义关系。w e b 内容挖掘主要应用于信息过滤知识抽取、网络文档分类、网络本 体论的发现以及网络数据的综合和存储等方面。 2 1 - 3w e b 结构挖掘 每个w e b 页面并不完全是平面结构，而是有自己的特定结构。w e b 结构挖 掘的目的是发现页面的结构( 文档内部结构) 和w c b 的结构( 文档间超链结构) ， 利用这些结构所蕴涵的信息可以帮助我们发现很多有用的模式或知识。 目前主要用到的w 曲结构挖掘算法是p a g e r a n k 算法，由b r i n 和p a g e 提出， 是最早利用超链接信息进行w c b 挖掘的算法，也是在商业应用中最成功的一种 算法，被g o o g l e 搜索引擎采用。该算法的基本思想如下【6 , 7 1 ：设