（计算机科学与技术专业论文）协同过滤技术在个性化资源推荐中的应用研究.pdf

r e s e a r c ho nc o l l a b o r a t i v ef i l t e r i n gt e c h n i q u ei nt h e a p p l i c a t i o no fr e s o u r c e s p e r s o n a l i z e dr e c o m m e n d a t i o n at h e s i ss u b m i t t e dt o d a l i a nm a r i t i m eu n i v e r s i t y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o r t h ed e g r e eo f m a s t e ro fe n g i n e e r i n g b y y a n gy e k u n ( c o m p u t e rs c i e n c ea n dt e c h n o l o g y ) t h e s i ss u p e r v i s o r ：a s s o c i a t ep r o f e s s o rw a n gq i n g j u l y2 0 1 1 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博硕士学位论文 = = 迹圃过选撞查查仝丝丝童逦蕉益虫的廑旦硒塞。除 论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已 在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已 经公开发表或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名：斟 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论 文全文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式 出版发行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密口( 请在以上方框内打“”) 论文作者签名：衫叶叫导师签名：多缈雨 日期： 帕l 年易月9 日 中文摘要 摘要 随着电子商务的迅猛发展，网络资源信息也在不断地膨胀。人们在享受网络 提供方便的同时，也承受着众多资源信息同时呈现的压力。为了更有效的提高网 络信息服务的质量，个性化推荐系统应运而生，协同过滤技术作为当前主流的推 荐技术得到了人们广泛的关注与研究。但是，目前个性化推荐技术尚未成熟，仍 然面临着一系列的挑战。 本文对个性化推荐系统以及相关推荐技术进行了较深入的比较研究，针对协 同过滤技术中存在的稀疏性和可扩展性问题，在分析了现有的改进方法基础上， 提出了新的改进方案。为了降低评分数据集的稀疏性问题，采用s l o p eo n e 方法进 行数据填充。面对填充后的高维评分数据，引入了p c a s o m 技术，通过p c a 降 维技术保证了评分数据的主要信息，再次进行s o m 聚类缩小了最近邻的搜索范围。 整个改进算法的过程采用离线模型进行，降低了在线推荐的时间复杂度，有效的 改善了系统的可扩展性问题。通过在标准数据集上的实验，结果显示相较于传统 的协同过滤算法，改进的算法具有更高的预测精度，在一定程度上提高了系统的 推荐质量。 最后，在对网站教学资源的个性化服务需求进行详细分析的基础上，进行了 个性化教学资源推荐系统的设计，根据网络教学资源的特点给出了主要的推荐功 能模块及推荐流程。将改进的协同过滤技术应用到教学资源推荐平台，有效的满 足了用户对个性化推荐服务的需求。 关键字：个性化；协同过滤；稀疏性；可扩展性；教学资源 英文摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fe - c o m m e r c e ，t h ei n f o r m a t i o no ft h en e t w o r k r e s o u r c e “si sa l s oc o n s t a n t l ye x p a n d i n g p e o p l ee n j o yt h ec o n v e n i e n c eo ft h en e t w o r k ，a t t h es a m et i m e ，a l s ou n d e rt h ep r e s s u r eo fl a r g ea m o u n to fs i m u l t a n e o u sp r e s e n t a t i o no f i n f o r m a t i o n i no r d e rt oi m p r o v et h en e t w o r ki n f o r m a t i o ns e r v i c em o r ee f f e c t i v e l y , p e r s o n a l i z e d r e c o m m e n d a t i o n s y s t e m c a m ei n t o b e i n g c o l l a b o r a t i v ef i l t e r i n g r e c o m m e n d a t i o na st h ec u r r e n tm a i n s t r e a mt e c h n o l o g yh a sb e e nw i d e s p r e a dc o n c e r n e d a n ds t u d i e db yp e o p l e ，b u ti ts t i l lr e m a i ns o m eh o ti s s u e s ，s u c ha st h ep r o b l e m so f s p a r s e n e s s ，c o l ds t a r ta n ds c a l a b i l i t ye t c ，t ob er e s o l v e d h o w e v e r , t h e r ea r ep e r s o n a l i z e d r e c o m m e n d a t i o nt e c h n o l o g yi sn o ty e tm a t u r e ，a n ds t i l lf a c e sas e r i e so f c h a l l e n g e s i nt h i sp a p e r , w em a k ead e e pr e s e a r c ho nt h ep e r s o n a l i z e dr e c o m m e n d a t i o n s y s t e m sa n dr e l a t e dt e c h n o l o g i e s a c c o r d i n gt ot h ep r o b l e m so fs p a r s i t ya n ds c a l a b i l i t y t h a ta l g o r i t h me x i s t s ，w ea n a l y s i st h ei m p r o v e dm e t h o d st h ee x i s t i n g ，a n dp r o p o s e da n a l g o r i t h ms e to fm e t h o d so nt h i sb a s i s ，w h i l ea d d r e s s i n gt h e s et w oi s s u e s i no r d e rt o r e d u c et h es c o r es e to fd a t as p a r s e n e s s ，t h i sp a p e ru s e st h em e t h o do fs l o p eo n et of i l l t h e m f a c i n gt h eh i g h - d i m e n s i o n a lr a t i n g d a t aw h i c hh a sb e e nf i l l e d ，t h i sp a p e r i n t r o d u c e st h ep c a s o mt e c h n i q u e t h r o u g ht h ep c ad i m e n s i o nr e d u c t i o nt e c h n i q u e s t oe n s u r et h es c o r ed a t ao ft h em a i ni n f o r m a t i o n ，t h e ni n t r o d u c e st h es o m c l u s t e r i n gt o n a r r o wt h es c o p eo ft h en e a r e s tn e i g h b o rs e a r c h t h ew h o l ep r o c e s so ft h ei m p r o v e d a l g o r i t h m u s e so f f - l i n em o d e l ，a n dr e d u c e st h et i m e c o m p l e x i t y o fo n l i n e r e c o m m e n d a t i o n ，s oe f f e c t i v e l yi m p r o v et h es y s t e ms c a l a b i l i t yi s s u e c o m p a r e dt h e i m p r o v e da l g o r i t h mw i t ht h et r a d i t i o n a la l g o r i t h mi n t h er e c o m m e n d a t i o na c c u r a c y , s h o w st 1 1 a tt h ei m p r o v ea l g o r i t h mh a sm o r ea c c u r a c yi nr e c o m m e n d a t i o n , a n dt h e e x p e r i m e n ts e tb a s e do nt h es t a n d a r dd a t a t h er e s u l ta l s os h o w st h a tt h ei m p r o v e d a l g o r i t h mi nac e r t a i ne x t e n t ，i m p r o v e dt h eq u a l i t yo f t h er e c o m m e n d a t i o ns y s t e m f i n a l l y , t h r o u g ht h er e q u i r e m e n t sa n a l y s i so nt h et e a c h i n gr e s o u r c e sw e b s i t ef o r p e r s o n a l i z e dr e c o m m e n d a t i o ns e r v i c e ，i nt h i sp a p e r , d e s i g nap e r s o n a l i z e dt e a c h i n g r e s o u r c e sr e c o m m e n d a t i o ns y s t e m a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fo n l i n et e a c h i n g 英文摘要 r e s o u r c e ss y s t e m ，d i s c u s s e dt h em a i nf u n c t i o n a lm o d u l e so fr e c o m m e n d a t i o n s w e a p p l y t h ei m p r o v e dc o l l a b o r a t i v ef i l t e r i n gt e c h n o l o g yt ot h et e a c h i n gr e s o u r c e sp l a t f o r m ， e f f e c t i v e l ym e e t u s c t s n e e d sw h i c hf o rp e r s o n a l i z e dr e c o m m e n d a t i o ns c r 访c c k e yw o r d s ：p e r s o n a l i z e d ；c o l l a b o r a t i v ef i l t e r i n g ；s p a r s i t y ；s c a l a b i l i t y ；t e a c h i n g l k s o u r c e s 目录 目录 第1 章绪论1 1 1 研究背景及意义1 1 2 国内外研究现状2 1 3 论文主要研究内容4 1 4 论文结构5 第2 章个性化资源推荐系统及其相关技术7 2 1 个性化资源推荐系统7 2 1 1 个性化推荐系统的作用7 2 1 2 个性化推荐系统的分类8 2 2 个性化推荐系统构成8 2 2 1 推荐系统的输入功能模块9 2 2 2 推荐处理模块1 0 2 2 3 推荐系统的输出功能模块l l 2 3 个性化推荐技术1 1 2 3 1 基于规则的推荐技术1 2 2 3 2 基于内容的推荐技术13 2 3 3 协同过滤推荐技术1 4 2 3 4 组合推荐技术1 4 2 3 5 个性化推荐技术的比较。1 5 2 4 小结1 6 第3 章协同过滤技术17 3 1 协同过滤技术概述1 7 3 1 1 协同过滤技术描述17 3 1 2 协同过滤算法原理1 8 3 2 协同过滤算法的分类研究与分析1 9 3 2 1 基于用户的协同过滤算法1 9 3 2 2 基于项目的协同过滤算法2 2 3 2 3 协同过滤存在的问题与分析2 4 3 3 协同过滤算法的评估2 6 3 4 小结2 7 第4 章对协同过滤技术改进的研究2 8 4 1 稀疏性问题的解决2 8 目录 4 1 1 现有常用解决方法2 8 4 1 2s l o p eo n e 填充2 9 4 1 3p c a 降维技术- ：3 0 4 1 4 方法比较：3 2 4 2 可扩展性问题的解决3 2 4 2 1 基于k - m e a n s 聚类的协同过滤3 3 4 2 2s o m 聚类3 3 4 2 3 方法比较3 5 4 3 基于p c a - s o m 的改进算法3 6 4 4 实验及分析3 8 4 4 1 实验数据集3 8 4 4 2 实验设计3 9 4 4 3 实验结果及分析4 0 4 5 以、结4 3 第5 章协同过滤技术在网络教学资源平台的应用4 4 5 1 需求分析4 4 5 2 用户兴趣与教学资源描述建模4 6 5 2 1 用户兴趣建模4 6 5 2 2 教学资源描述建模4 7 5 3 系统设计4 7 5 3 1 教学资源推荐系统功能模块及流程4 7 5 3 2 教学资源推荐系统体系结构4 9 5 3 3 数据库设计5 1 5 3 4 资源推荐系统设计。5 5 5 4 教学资源推荐系统主要运行界面5 8 5 4 1 系统前台界面5 8 5 4 2 系统后台界面6 0 5 5 小结6 1 第6 章总结与展望6 2 6 1 本文总结6 2 6 2 展望6 2 参考文献。6 4 致谢6 8 协同过滤技术在个性化资源推荐中的应用研究 第1 章绪论 1 1 研究背景及意义 近十年来，随着电子商务的快速发展，网络资源数量也在急剧地增长。面对 海量数字信息的同时涌现，一方面，用户能够在广阔的信息空间中查找对自己有 价值的资源以及得到信息共享；另一方面，由于“信息超载 ，往往使用户无从 选择，在查询所需要的资源信息时付出了更多的时间和精力。作为众多网络资源 中的一个重要分支，网络教学资源的发展速度也是非常惊人的，其种类和形式从 无到有，从简单到复杂，都体现了教学资源在网络中受到了越来越高的重视。目 前，网络教学资源种类繁多，包含了各种专业领域的学习资料，并以课件、资料 库、素材库【l 】等多种形式同时呈现在教学网站中，使用户不能很好的利用这些资源， 因此，教学资源网站也如同其他商品网站需要进行有效的组织和管理，以满足用 户的需求。如何应对丰富的网络资源，已逐渐成为网站之间的竞争焦点。 搜索引擎、门户网站和制定过滤内容等方法的出现在一定程度上帮助用户准 确、快速的检索所需求的信息，这种比较有针对性的信息服务属于被动服务模式【2 】， 其根据用户输入具体的要求或查询信息等反馈给用户查询结果，用户提供的信息 描述越准确，系统返回给用户的信息才越有价值。然而，用户对信息的认知程度 毕竟是有限的，向系统提供的信息也就存在一定的模糊性，最终将会影响到反馈 信息的准确性与完整性。因此，在海量的网络资源面前，如何应对用户的需求变 化及时调整信息服务的内容和方式，以及如何采取主动推荐的信息服务模式将会 是未来的发展趋势。 个性化信息服务是一种具有针对性的信息服务方式【3 】，通过收集和分析用户行 为，帮助用户从众多资源数据中过滤掉不必要的信息，检索出与用户需求更为匹 配的信息，从而大大提高了站点的服务质量。个性化信息服务打破了传统的被动 服务模式，充分地利用各种资源优势，主动提供给用户全方位服务以满足用户的 个性化需求。 推荐系统( r e c o m m e n d a t i o ns y s t e m ，r s ) 是一种高级商务智能平台，建立在海 第1 章绪论 量的数据挖掘基础之_ l a t 4 j ，模拟现实商店中的销售人员如何向客户提供商品推荐， 帮助客户及时而准确的找到所需求的商品，从而顺利地完成购买过程。目前推荐 系统已经成为电子商务网站中不可或缺的个性化信息服务形式【5 】。个性化推荐研究 也取得了很好的成果及应用前景，各类电子商务网站也都不同程度的应用了不同 形式的推荐系统，例如阿里巴巴、e b a y 、淘宝等。在资源种类及数量极其丰富的 情况下，推荐系统能够很好缩小资源的搜索范围并根据用户的兴趣爱好给出恰当 的推荐，这样就提供给了用户一个智能化的推荐，使用户在选购时得到了更大的 满足。根据电子商务网站的资源种类不同，也就产生了不同领域的推荐。比较典 型的推荐系统有：电影推荐领域的m o v i e l e n s e ，电子商务推荐领域的a m a z o n 、 e b a y ，音乐推荐领域的r i n g o 、新闻推荐领域中的g r o u p l e n s 等。一个成功的推荐 系统将会给商家带来巨大的经济效益。 在理论研究方面，推荐技术是推荐系统的核心部分，其性能的好坏直接关系 到推荐质量。1 9 9 2 年“协同过滤 由g o l d b e r g 等人首次提出【6 1 ，使人们掀起了对推 荐系统和协同过滤技术研究的热潮。在电子商务个性化推荐技术方面，协同过滤 技术对推荐的资源没有特别的要求，可以说是目前为止比较成功的算法，但是传 统的算法中仍然存在着一定的问题，例如稀疏性与扩展性等问题正逐渐得到人们 广泛的关注。本文主要针对协同过滤技术进行研究，目的在于解决其存在的稀疏 性和扩展性问题。考虑到网络教学资源的特点，将协同过滤技术应用到教学资源 网站中，不但可以满足用户对教学资源网站个性化服务的需求，还可以提高学生 自主学习的能力。虽然教学网站不以商务盈利为主要目的，但是其作为一种新颖 的教学方式，将个性化推荐系统融合到其中，仍然具有较大的研究意义。 1 2 国内外研究现状 随着电子商务的不断发展，个性化推荐已经成为一项重要的研究内容，也受 到了众多研究机构和研究者的关注。对个性化推荐系统的研究通常从推荐技术入 手，目前，国内外常用的推荐技术主要有：基于规则( r u l e - b a s e d ) 的推荐技术、 基于内容( c o n t e n t - b a s e d ) 的推荐技术、协同过滤( c o l l a b o r a t i v ef i l t e r i n g ) 推荐技 术以及组合( h y b r i d ) 推荐技术。 协同过滤技术在个性化资源推荐中的应用研究 基于规则的推荐技术构建的推荐系统最重要模块为规则库模块，规则库里定 义了多个规则，每个规则本质为一个i f - t h e n 语句。规则库中允许系统管理员手工决 策规则，推荐系统根据用户的兴趣特征和规则库中的规则为用户提供推荐服务。 目前比较成熟的系统有i b m 的w e b s p h e r e 、i l o g 、b r o a d v i s i o n 、a m a z o n 、c h i n a - p u b 等。 基于内容的推荐技术源于信息检索和信息过滤技术，主要根据资源与资源之 间、资源与用户兴趣之间的相似度为用户进行推荐。目前，这种技术主要应用在 可计算的文本和网页推荐领域，如斯坦福大学于1 9 9 5 年推出的l i r a 系统，它能够 自动搜索页面，通过用户的反馈来更新用户兴趣模型，为用户推荐感兴趣的页面。 基于内容推荐技术的系统还有m l a d e n i c 提出的p e r s o n a lw e b w a t c h e r ，m o b a s h e r 等推 出的w e bp e r s o n a l i z e r 等。 一 协同过滤推荐技术借助用户对资源的评价为目标用户寻找兴趣相似的邻居用 户，根据邻居用户对资源信息的评价进行资源推荐。1 9 9 2 年，历史上第一个基于 协同过滤技术的推荐系统t a p e s t r y i 诞生。几年后，协同过滤技术在个性化推荐系统 得到了广泛的应用。比较典型的应用有g r o u p l e n s ，它是一个基于用户评分的自动 推荐系统，应用于u s e n e t 网络新闻组信息的推荐，通过让用户一起协作，在大量的 新闻中发现他们感兴趣的信息推荐给用户。r i n g o 9 】由m i t 媒体实验室研究的一个 音乐个性化推荐系统，它要求用户对音乐家做出评价，根据评价的结果计算用户 间的相似度，再将用户分群，由同一个群的使用者互相推荐音乐。 组合推荐技术是结合两个或两个以上推荐技术来克服其中单个推荐技术的不 足的一种方法。如w e b s i f t 系统采用了基于协同过滤和基于内容两种推荐技术，f a b 系统结合用户模型和邻居模型为用户推荐感兴趣的页面，在国内清华大学推出的 混合推荐系统o p e nb o o k m a r k 根据用户的书签为用户进行推荐。 f 1 2 0 0 0 年以来，国内对个性化推荐技术的研究也逐渐开始，目前比较成功的 系统有互动出版网网上书店( h t t p ：w w w c h i n a - p u b c o r n ) ，北京人大金仓信息技术 有限公司的数字图书馆推荐系统k i n g b a s ed l ，以及淘宝，当当等一些购物网站。 虽然推荐系统已经在电子商务领域得到应用，但是，我国在个性化推荐方面的理 第1 章绪论 论研究尚未成熟，仍然处于初步阶段。目前，国内个性化推荐网站存在的主要问 题包括三个方面【8 】：( 1 ) 缺乏个性化推荐，大部分的网站是针对所有用户进行推荐 的，推荐的结果相同，属于非个性的推荐，而对于某个用户的兴趣而言却不能给 出相应的推荐。( 2 ) 推荐的自动化程度低，推荐系统所采取的推荐技术只是针对用 户的搜索和浏览等，用户如果想得到自己的感兴趣的信息，需要输入关键词或商 品其他一些属性等。( 3 ) 推荐的持久性程度低，大多数的网站给出的推荐都是由用 户一次登录得到的，并不能完全收集到用户每次浏览网页时的兴趣偏好信息，并 根据此信息为用户作出推荐。 综上所述，可以看出，个性化推荐系统已经受到越来越多的关注，个性化推 荐技术在各个应用领域也成为了研究的焦点。各种推荐技术在不同的应用领域都 发挥着各自的特色，打破了传统商业网站被动的服务形式，为用户提供了更多的 方便。 在各种推荐技术不断改进的过程中，协同过滤技术凭借其简单易于理解的实 现方式以及优越的推荐性能，成为了当前推荐技术的主流，并受到了研究学者的 不断的改进。u n g a u r 等人2 7 】提出了一种对项目和用户分别聚类的方法，提高了算法 的效率。b e r g h o l z t 3 5 】采用了相似传递的方法改善y x e r o x 公i 拘k n o w l e d g ep u m p 文 档推荐系统的数据稀疏性问题。m a s s a 等人1 0 1 提出了一种信任度传播的方法，根据 用户信任网络得到用户之间的相似度，通过用户之间的相互配合减少稀疏性。 s a l t o n 等人提出了一种基于用户反馈自动更新用户档案，有效的解决了扩展性问 题。这些方法有效地改善了协同过滤技术存在的某一问题，为以后的研究奠定了 基础。 1 3 论文主要研究内容 本文主要以协同过滤技术为研究目标，针对协同过滤技术存在的稀疏性和扩 展性问题进行深入的探讨与分析，提出一些新的看法与改进，并结合实际应用， 通过对教学资源推荐系统的分析与设计，将协同过滤推荐技术应用到该系统中， 主要研究的内容有以下几个方面。 ( 1 ) 对不同的推荐系统的技术方法及其应用进行分析和研究，总结它们的优缺 协同过滤技术在个性化资源推荐中的应用研究 点，并与典型的协同过滤作技术比较，找到协同过滤的应用价值与不足之处。 ( 2 ) 在对推荐系统中的协同过滤推荐算法进行深刻的探索研究的基础上，针对 其稀疏性和扩展性问题提出改进方案。本文改进的算法思路是首先将s l o p eo n e 填 充方法对稀疏的评分数据进行填充，然后采取主成分分析技术对高维的数据进行 降维，最后在降维的基础上对数据进行s o m 聚类，由于这些算法过程是离线进行 的，使在线预测的时间复杂度降低，可以有效的改进可扩展性问题。通过对改进 的算法进行仿真试验，与传统的协同过滤算法进行精度比较，验证其有效性。 ( 3 ) 通过对教学资源对个性化服务的需求分析，设计了教学资源推荐系统以及 主要的推荐功能模块。将改进的协同过滤算法应用到网络教学资源个性化推荐系 统中。 1 4 论文结构 “ 本文共分为6 章，总体的思路如图1 1 所示。 第1 章为绪论部分，重点阐述了推荐系统提出的背景和研究的意义，并介绍 了国内外的研究现状，分析了推荐技术的应用领域及存在的问题，说明了本文研 究的内容及目的，为后面的工作做了铺垫。 j 第2 章首先介绍推荐系统的相关概念，然后对个性化推荐系统的作用、分类 以及构成进行了深入的研究，详细分析了现有常用的几种推荐技术，并对这些算 法的性能进行比较，找出各种推荐算法的优缺点。 第3 章主要对传统的协同过滤进行了研究与探讨，描述了基于用户和基于项 目的协同过滤算法的流程，并对这两种方法存在的问题进行了讨论，为后面的改 进算法做好准备。同时，本章介绍了协同过滤算法的评估标准，以方便验证后面 章节中实验的有效性。 第4 章对协同过滤稀疏性与可扩展性问题的改进算法进行深入的分析与讨论， 在此基础上提出了改进方案，并将此方法与传统协同过滤进行实验比较，证明改 进的算法具有一定的准确性。 第5 章是在前面几章的理论基础上的应用部分。通过教学资源对个性化推荐 服务的需求分析，设计了教学资源推荐系统及主要的推荐功能模块，将改进的协 第1 章绪论 同过滤技术应用到系统中，最后，测试了系统的运行。 第6 章对全文所做的工作进行总结分析，提出了本文的不足之处，并指出未 来研究的重点方向。 ( 第t 章绪论 ) 之乡 2 章个性化资源推荐系统及其相关司( 第4 章对协同过滤算法改进的研究) uu 一、 圉圉! 罔圄曰 个性化 资源推 荐系统 概述 、一 八 上 叫 ( 第s 章协同过滤技术 ) 乡 厂、 l 的分类jl 滤算法i 国圄回国 协同过 滤技术 概述 l 研究与ii 的评估i 1 分析jij 。 妙 ( 第6 章总结与展望) 图1 1 本文总体思路 f i g 1 1t h eg e n e r a li d e ao f t h i sp a p e r 协同过滤技术在个性化资源推荐中的应用研究 第2 章个性化资源推荐系统及其相关技术 2 1 个性化资源推荐系统 电子商务系统实质是一个虚拟的网上商店，这些“商店 并没有配备相应的 销售人员引导客户如何选购商品。然而，随着网上资源数量不断的增多，资源信 息不断的丰富，一方面为用户提供了更大的选择空间，另一方面也增加了用户查 找的难度。如何避免用户浏览不必要的信息，快速、准确的找到自己需要的资源， 这就需要推荐系统的个性化服务。推荐系统( r s ) 是一种信息过滤机制，用来帮 助用户在搜索过程中减少额外的资源信息量。电子商务推荐系统最初被定义为【1 2 】： “利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么商 品，模拟现实销售人员以帮助客户完成购买过程。 它根据用户的行为记录推荐 符合用户兴趣偏好相似的商品信息，也被称为个性化推荐系统。一个成功的电子 商务推荐系统不但可以给用户带来方便，而且能有效提高企业的经济效益，也有 助于长期稳定商家与企业的合作关系。 2 1 1 个性化推荐系统的作用 个性化推荐系统的优点在于它能收集用户感兴趣的资源信息，并根据用户的 兴趣特征主动做出个性化推荐。当用户登录个性化推荐网站后，推荐系统会根据 用户的偏好程度，自动为用户推荐喜爱程度较高的前n 个资源。并且，当系统中 的资源信息和用户特征信息发生变化时，推荐系统给出的推荐信息会及时做出更 新，这样就大大提高了网站活动的高效性以及服务水平。个性化推荐主要作用体 现在以下四点： ( 1 ) 帮助用户快速发现所需资源，减少用户搜索时间。推荐系统能够有效地挖 掘用户兴趣，引导用户快速而又准确的找到目标资源，从而降低了用户因网站资 源数量大而造成的不必要的时间、精力上的浪费。 ( 2 ) 促进产品销售，将网站的浏览者转变为购买者。商务网站的某些使用者只 是随便浏览，并非是真正的客户，推荐系统根据发现用户兴趣，为其推荐相关产 品，引发用户的购买兴趣，起到促进销售的作用。 第2 章个性化资源推荐系统及其相关技术 ( 3 ) 提供个性化服务，为用户推荐更为准确的信息。推荐系统不但会根据用户 的兴趣产生推荐，还会根据用户兴趣特征的变化实时调整，以适应用户兴趣特征 的变化，提高服务质量。 ( 4 ) 提高客户对网站的忠诚度，建立长期稳定的关系。电子商务系统为用户提 供了越来越多的选择，为了使用户能够得到更满意的服务，个性化推荐系统通过 分析客户的购买习惯，不断的调整和完善推荐。不但提高了用户对网站的依赖程 度，也吸引了用户在网站上的再一次选购。同时，增加了网站与客户间的长期稳 定的关系。 2 1 2 个性化推荐系统的分类 个性化推荐系统主要体现在如何为用户提供个性化信息服务，其中，个性化 推荐技术能够很好的提高站点的服务质量和访问效率，根据推荐系统所采用的推 荐策略和推荐技术的不同，为用户提供的个性化程度也有所区别，大概可以分为 以下三类【1 3 】： ( 1 ) 非个性化推荐：推荐系统独立于用户，对每个用户所产生的推荐都是相同 的。这种推荐是自动产生的，可以是基于w e b 站点工作人员的手工推荐，也可以 是根据统计分析技术等进行推荐。例如，电子商务系统客户评论、销售排行、个 体数值评分等。 ( 2 ) 半个性化推荐：根据用户输入的资源信息、资源特征保存用户偏好的记录， 并根据不同用户行为记录产生不同的推荐结果。这种推荐可以是自动的，也可以 是手工协助的。半个性化推荐系统的个性化程度高于非个性化推荐系统。 ( 3 ) 完全个性化推荐：根据用户的各种历史行为信息，结合用户当前的行为记 录产生个性化推荐。推荐系统根据不同用户的具体情况进行分析，为用户产生不 同的个性化推荐服务。因此，完全个性化推荐系统的个性化程度最高。 2 2 个性化推荐系统构成 推荐系统的结构主要由三部分构成【1 4 】：输入( i n p u t ) 功能模块、推荐 ( r e c o m m e n d a t i o n ) 处理模块、输出( o u t p u t ) 功能模块。基本结构如图2 1 。 图2 1 个性化资源推荐基本结构 f i g 2 1t h eb a s i cs t r u c t u r eo f p e r s o n a l i z e dr e s o u r c er e c o m m e n d a t i o n 2 2 1 推荐系统的输入功能模块 毒 推荐系统通过输入功能模块收集用户的兴趣信息，该功能模块提供了一定的 交互界面，在给用户提供方便的同时也收集了用户行为偏好数据。不同的推荐系 统根据用户输入信息的不同产生的推荐类型也不相同。推荐系统输入的信息可以 是用户当前的行为，也可以是用户访问的历史记录。输入的形式也是多种多样的， 主要包括以下几种【1 5 , 1 6 】： 。： ( 1 ) 隐式浏览输入：在不需要用户刻意与推荐系统配合的情况下，将用户浏览 的行为作为推荐系统的输入，用户浏览的行为与访问一般的站点并没有区别，并 不知道推荐系统的存在。推荐系统通过各种技术手段将用户的行为偏好数据存储 起来。例如，用户在浏览资源时将自己喜欢的资源加入收藏，用户浏览的路径， 以及用户对网页中资源信息的点击情况等都可以作为隐身浏览输入。 ( 2 ) 显示浏览输入：推荐系统将用户的浏览行为作为输入，与隐式浏览输入不 同的是推荐系统对用户行为偏好数据收集需要用户主动配合，显示浏览输入是带 有目的性的向推荐系统提供自己兴趣偏好。 ( 3 ) 关键字资源属性输入：推荐系统根据用户输入的关键字检索资源的信息， 可以认为用户对此资源是感兴趣的。用户在推荐系统中检索资源的关键字可作为 输入信息，或者将目标用户正在浏览的资源类别作为推荐系统的输入。这种资源 第2 章个性化资源推荐系统及其相关技术 类型的输入与用户随意浏览行为不同，用户输入的目的即是在推荐系统中找到自 己所需要的资源信息。 ( 4 ) 用户评分输入：将用户对资源信息的数字评分作为推荐系统的输入。推荐 系统列出一系列的资源让用户评分，通常采用数值的形式作为用户的评分，数值 越大表示用户对资源的喜好程度越高，反之越低。这种评分也可以用布尔值表示， 0 表示不喜欢，1 代表喜欢。推荐系统会根据用户提供的评分数据推断用户对资源 的喜好的程度，为用户提供个性化推荐服务。 ( 5 ) 用户注册信息输入：为了更有效的记录用户的个人信息，将目标用户定为 注册用户，用户的个人信息一般是年龄，职业，性别等。这样，推荐系统就收集 到了关于特定用户的最初信息。 ( 6 ) 用户购买历史输入：用户在电子商务网站中购买行为也可以作为推荐系统 的输入，一旦用户购买了某一商品，则认为用户喜欢该商品；如果在电子商务系 统中没有对此商品的评分服务，则将用户购买过的商品评分默认为1 ，如果没有购 买此商品则默认评分为0 。如果有评分服务，用户可以对商品进行更准确的评价， 从而使推荐系统为购买者产生更为准确的个性化推荐服务。 2 2 2 推荐处理模块 推荐处理模块是个性化推荐系统的核心部分，主要的功能是根据推荐系统输 入的信息，采取推荐技术产生推荐结果，并将推荐的结果提交给输出模块。推荐 算法的选择直接决定着推荐系统性能的优劣。推荐算法设计到两个重要的元素， 分别是推荐对象和用户。根据推荐对象和用户不同性质，在设计推荐系统时需要 选择适当的推荐策略，以达到推荐目的的准确性。一个完整个性化推荐系统的推 荐处理过程主要包括以下几个方面【1 7 】： ( 1 ) 用户兴趣建模：用户兴趣模型是推荐系统中的一个模块，目的是将用户兴 趣信息经过分类、识别处理转换为计算机能够识别的信息，根据这些兴趣信息计 算用户之间的兴趣相似度，帮助系统更好的理解用户兴趣特征和需求。用户兴趣 建模是开展推荐处理的前提条件，其捕捉用户真实兴趣偏好的能力很大程度上决 定了推荐的成功与否。 协同过滤技术在个性化资源推荐中的应用研究 ( 2 ) 推荐模型库构建：推荐模型库是推荐处理模块的核一1 3 , 。推荐模型库主要的 职责就是对推荐算法进行组织和管理，一个推荐系统通常涉及到多个推荐算法， 为了得到更佳的推荐效果，推荐算法需要根据用户不同的推荐需求进行实时改变， 可以说，整个推荐系统的推荐方式和推荐质量取决于推荐模型库所拥有的推荐技 术。推荐技术的介绍将在下节详细讨论。 ( 3 ) 推荐产生：主要是指根据用户的需求，通过推荐算法对用户行为进行分析 产生的推荐结果。 2 2 3 推荐系统的输出功能模块 输出功能模块主要负责向用户呈现推荐系统处理模块产生的推荐结果。输出 的推荐结果可以是建议或是通过计算得到的预测，形式是多种多样的，主要有： ( 1 ) 相关资源输出：推荐系统根据用户浏览、下载、收藏等行为或对资源评价 ” 情况通过计算预测向用户产生资源推荐，这种方式也是个性化推荐系统的最为普 遍输出方式。 ( 2 ) 个体文本评价输出：推荐系统将所有用户对某资源的文本评价信息呈现给 目标用户，这种评价一般是非个性化的，对所有用户都是相同的。 ( 3 ) 个体评分输出：推荐系统向用户提供了资源的数值评分服务，目标用户可 以通过其他用户对某资源的评分信息更加了解该资源。这种输出形式比较适合个 体数值评分数据较少的情况。 ( 4 ) 平均数值评分输出：将用户对资源的数值评分的平均值呈现给目标用户， 是目标用户能够立即获得该产品的总体评价。 ( 5 ) 电子邮件输出：推荐系统以发送邮件的形式向用户提供资源的最新信息。 这种输出形式不但提高的网站的信任度，而且可以吸引用户对电子商务网站更多 的关注。 2 3 个性化推荐技术 个性化推荐技术选择的恰当与否直接关系着整个推荐质量的好坏。目前，比 较典型的个性化推荐技术主要有基于规则的推荐、基