（计算机软件与理论专业论文）电子商务推荐系统关键技术研究.pdf

摘蔓 摘要 随着互联网的普及和电子商务的发展，电子商务系统在为用户提供越来越多 选择的同时，其结构也变得更加复杂，用户经常会迷失在大量的商品信息空间中， 无法顺利找到自己需要的商品。电子商务推荐系统直接与用户交互，模拟商店销 售人员向用户提供商品推荐，帮助用户找到所需商品，从而顺利完成购买过程。 在日趋激烈的竞争环境下，电子商务推荐系统能有效保留用户、防止用户流失， 提高电子商务系统的销售。 推荐系统在电子商务系统中具有良好的发展和应用前景，逐渐成为电子商务 刀技术的一个重要研究内容，得到越了来越多研究者的关注。 电子商务推荐系统在理论和实践中都得到了很大发展。但是随着电子商务系 统规模的进一步扩大，电子商务推荐系统也面临一系列挑战。针对电子商务推荐 系统面临的主要挑战，本文对电子商务推荐系统中推荐算法设计以及推荐系统体 系结构等关键技术进行了有益的探索和研究。本文的研究内容主要包括电子商务 推荐系统推荐质量研究，电子商务推荐系统实时性研究，基于w e b 挖掘的推荐 系统研究以及电子商务推荐系统体系结构研究。 本文的主要研究成果如下： 1 ) 提出了基于项评分预测的1 r p r e c 协同过滤推荐算法。在大型电子商务 系统中，用户评分数据的极端稀疏，导致推荐系统的推荐质量急剧下降。针对用 户评分数据的极端稀疏性，本文提出了基于项评分预测的i r p r e c 协同过滤推荐 算法，通过计算项之间的相似性，初步预测用户对未评分项的评分，然后采用一 种新颖的相似性度量方法计算用户的最近邻居；实验结果表明，基于项评分预测 的i r p r e c 协同过滤推荐算法可以显著提高推荐系统的推荐质量。 2 1 提出了基于项聚类的i c r e c 协同过滤推荐算法。在大型电子商务系统中， 推荐系统同时用户提供实时推荐服务越来越困难。针对电子商务推荐系统面临的 实时性挑战，本文提出了基于项聚类的i c r e c 协同过滤推荐算法，通过用户对项 评分的相似性对项进行聚类，然后选择与目标项相似性最高的若干个聚类作为查 询空间搜索目标项的最近邻居。实验结果表明j 基于项聚类的i c r e c 协同过滤推 荐算法可以有效提高推荐系统的实时响应速度。 3 ) 给出了基于w e b 挖掘的推荐系统框架。传统的协同过滤推荐很难为非注 册用户提供高质量的推荐。针对传统的协同过滤推荐存在的上述不足，本文提出 了基于w e b 挖掘的推荐系统框架。对w e b 使用数据，w e b 内容数据和w e b 结构 数据进行聚类分析，推荐引擎根据挖掘结果向用户提供有效的推荐服务。相对于 传统协同过滤推荐技术而言，基于w e b 挖掘的推荐系统框架不需要用户提供主 电子商务推荐系统关键技术研兜 复旦大学博士学位论文 摘要 观的评价信息，因此用户使用起来比较方便。 4 ) 提出了多推荐模型电子商务推荐系统体系结构，设计并实现了一个多推 荐模型电子商务推荐系统原型e c m i n e r 。目前大部分的电子商务推荐系统都是一 个单一的工具，只能提供一种推荐模型。本文提出的多推荐模型电子商务推荐系 统支持多种推荐模型并对所有推荐模型进行统一管理，从而能有效满足大型电子 商务系统不同场台的不同推荐需求。在电子商务推荐系统原型e c m i n e r 中，提 供了关联规则推荐模型、热门销售推荐模型和协同过滤推荐模型三种推荐模型。 关键词：推荐系统、协同过滤、数据挖掘、电子商务、聚类 中图分类号：t p 3 0 2 a b s t r a c t w i mt h ep o p u l a r i z a t i o no fi n t e m e ta n dt h e d e v e l o p m e n to fe c o n l m e r c c t h e s t r u c t u r eo fe - c o m m e r c ew e bs i t eb e c a m em o r ea n dm o r ec o m p l e x t h i ss i t u a t i o n m a d ei th a r df o rc o n s u l n e r st of i n dt h ep r o d u c t sa n ds e r v i c e st h e yw a n t e d t oa d d r e s s t h i si s s u e ，r e c o m m e n d a t i o n s y s t e m sw e r ep r o p o s e d t os u g g e s t p r o d u c t sa n d t op r o v i d e c o n s u m e r sw i t hi n f o r m a t i o nt oh e l pt h e md e c i d ew h i c h p r o d u c t st op u r c h a s e r e c o m m e n d a t i o n s y s t e m s c a ne n h a n c ee - c o m m e r c es a l e sb y c o n v e r t i n gb r o w s e r s i n t ob u y e r s ，i n c r e a s i n gc r o s s s e l la n db u i l d i n gl o y a l t yt op r e v e n tu s e rl o s i n g p r e s e n t l y j e c o m r n e n d a t i o ns y s t e m sh a v eg r a d u a l l yb e c o m ea ni m p o r t a n t p a r ti ne - c o m m e r c e i t t e c h n o l o g i e s ，m o r ea n dm o r er e s e a r c hp a p e r s a b o u tr e c o m m e n d a t i o ns y s t e m si n e - c o m m e r c e a p p e a r e di nm a n y k i n d so f c o n f e r e n c e sa n d j o u m a l s 赳伽i o u g hr e c o m m e n d a t i o ns y s t e m si ne - c o m m e r c e h a v eb e e n v e r ys b c o e s s f l i n b o t hr e s e a r c ha n d p r a c t i j e ，c h a l l e n g i n gr e s e a r c hp r o b l e m s r e m a i n a i m e da tt h em a i n c h a l l e n g e so fr e c o m m e n d a t i o ns y s t e m si ne - c o m m c m c ，t h i st h e s i se x p l o r e da n d r c s e a c h e ds o m ek e yt e c h n o l o g i e so fr e c o m m e n d a t i o ns y s t e m si ne c o m m e r c e t h e m a i nr e s e a r c hw o r k si nt h et h e s i si n c l u d e dr e s e a r c ho fr e c o m m e n d a t i o nq u a l i t y , r e s e a r c ho fr e a l - t i m er e q u i r e m e n to fr e c o m m e n d a t i o n , r e s e a r c ho fr e c o m m e n d a t i o n s y s t e m s b a s e do nw e b m i n i n g a n dr e s e a r c ho f a r t h i t e c t u r eo f r e c o m m e n d a t i o n s y s t e m s i ne - c o m m e r c e 1 1 1 cm a i nr e s e a r c hr e s u l t so f n l i st h e s i sa r e 硒f o i l o w s ： 1 ) i t e m - r a t i n g - p r e d i c t i o n - b a s e d c o l l a b o r a t i v e f a l t e r i n ga l g o r i t m w i t h t h e e x p a n s i o no fe - c o m m e r c es y s t e m s ，t h em a g n i t u d e so f u s e r sa n dc o m m o d i t i e sg r o w r a p i d l y , r e s u l t i n gi nt h ee x t l p a l x es p a r s i t yo f u s e rr a t i n gd a 饥t h i ss i t u a t i o nm a k e s t h e q u a l i t yo f r e c o m m e n d a t i o ns y s t e m sd e 宅r c a s e sd r a m a t i c a l l y t oa d d r e s st h i si s s u e , w e p r o p o s e da c o l l a b o r a t i v ef i l t e r i n gr e c o m m e n d a t i o na l g o r i t mb a s e do ni t e mr a t i n g p r e d i c t i o n t h i sm e t h o dp r e d i c t e dr a t i n g so f u n - m t e d i t e m b y t h es i m i l a r i t yo fi t 弧s 。 a n dt h e nt h en e a r e s tn e i g h b o r so f t a r g e tu s e rw e r ec a l c u l a t e dw i t han e ws i m i l a r i t y m e a s u r em e t h o d n 他e x p e r i m e n tr e s u l t ss u g g e s t e dt h a tt h i sm e t h o dc o u l de f f i c i e n t l y o v e r c o m et h ee x t r e m es p a r c i t yo fu s e rr a t i n gd a t a 。a n d p r o v i d e b e t t e rr e c o m m e n d a t i o n r e s u l bt h a nt r a d i t i o n a lc f a l g o r i t h m s ： 2 1 i t e m c l u s t e r i n g - b a s e dc o l l a b o r a t i v ef a l t e r i n ga l g o r i t m i nl a r g ef 1 ，c o m m e r c e s y s t e m s ，t h er e a l - t i m er e q u i r e m e n to f r e c o m m e n d a t i o ns y s t e mi sh a r dt ob es a t i s f e d t oa d d r e s st h i si s s u e , w e p r o p o s e d ac o l l a b o r a t i v ef i l t e r i n gr e c o m m e n d a t i o n a l g o r i t h m 电子商务推荐曩麓关t 技术研究 复且大学博士学位论文 a b s t r a c t b a s e do ni t e mc l u s t e r i n g t h i sm e t h o df i r s tc l u s t e r e di t e m sb yt h eu s e r s r a t i n go n i t e m s ，b a s e d o nt h es i m i l a r i t yb e t w e e n t a r g e ti t e ma n dc l u s t e rc e n t e r s ，t h em o s t s i m i l a r c l u s t e r sw e r es e l e c t e da st h es e a r c hs p a c et os e a r c ht h en e a r e s tn e i g h b o r o f t a r g e ti t e m 肠ee x p e r i m e n t a lr e s u l t s s u g g e s t e dt h a tt h i sm e t h o dc o u l de f f i c i e n t l yi m p r o v et h e r e a l - t i m er e s p o n s es p e e do f r e c o m m e n d a t i o n s y s t e m s 3 ) af r a m e w o r k o fr e c o m m e n d a t i o ns y s t e mb a s e do nw e bm i n i n g t r a d i t i o n a l c o l l a b o r a t i v ef i l t e r i n gr e c o m m e n d a t i o nt e c h n i q u ei sh a r dt op r o v i d er e c o m m e n d a t i o n s e r v i c ef o r u n r e g i s t e r e du s e r s t oo v e r c o m et h i sp r o b l e m ，w es u g g e s t e daf r a m e w o r k o fr e c o m m e n d a t i o ns y s t e mb a s e do nw e bm i n i n g t h i sm e t h o df u 苫- tc l u s t e r e dw e b u s a g ed a t a , w e bc o n t e n td a t aa n dw e bs h - u c t u r e d a t ar e s p e c t i v e l y , t h e np r o v i d e d l l i g h - q u a l i t y r e c o m m e n d a t i o ns e r v i c e sb a s e do nm i n i n gr e s u l t s c o m p a r e dw i t l l t r a d i t i o n a lc o l l a b o r a t i v ef i l t e r i n gt e c h n i q u e s ，r e c o m m e n d a t i o ns y s t e m sb a s e do nw e b m i n i n ga l ec o n v e n i e n tf o ru s e r sb e c a u s eu s e rn e e d n t t o p r o v i d eu s e r - r a t i n gd a t a e x p l i c i t l y 。 4 ) a na r c h i t e c t u r eo f r e c o m m e n d a t i o n s y s t e m s w i t h m u l t i p l er e c o m m e n d a t i o n s y s t e m t r a d i t i o n a l r e c o m m e n d a t i o n s y s t e m i sa s o l e t o o lw i t h o n i y o n e r e c o m m e n d a t i o nm o d e l a r c h i t e c t u r eo fr e c o m m e n d a t i o n s y s t e m w i t h m u l t i p l e r e c o m m e n d a t i o nm o d e l sw e p r o p o s e d i nt h i st h e s i sc o u l d p r o v i d em u l t i p l e r e c o m m e n d a t i o nm o d e l s ，a l lr e c o m m e n d a t i o nm o d e l sw e r e m a n a g e d i nt h es a n l ew a y r 1 1 l i sm e t h o dc o u l d e f f i c i e n t l y m e e td i f f e r e n tr e c o m m e n d a t i o n r e q u i r e m e n t s i n d i f f e r e n ts i t u a t i o no ff ，c o m m e r c ew e bs i t e b a s e do nt h ea r c h i t e c t u r ep r o p o s e d 。w e d e s i g n e d a n d i m p l e m e n t e d ap l 0 t o t y p cc a l l e d e c m i n e r , t h r e er e c o m m e n d a t i o n m o d e l s i n c l u d i n g r e c o m m e n d a t i o nm o d e l sb a s e do na s s o c i a t i o n r u l e s ， r e c o m m e n d a t i o nm o d e l sb a s e do nt o p - s a l ea n dr e c o m m e n d a t i o nm o d e l sb a s e do n c o u a b o r a t i v e f i l t e r i n gw e r ep r o v i d e d i ne c m i n o r 。 k e yw o r d s ：r e c o m m e n d a t i o ns y s t e m s ，c o l l a b o r a t i v ef i l t e r i n g ，d a t am i n i n g ， f ，c o m m e r c e 。c l u s t e r i n ga n a l y s i s 。 t 电子商务推荐系坑关键技术研究4蔓且大学博士学位论文 椰啊 ： ；论 1 1 立论背景 第一章绪论 随着电子商务规模的进一步扩大，为用户提供越来越多选择的同时，其结构 也变得更加复杂。一方面，用户面对大量的商品信息束手无策，用户经常会迷失 在大量的商品信息空间中，无法顺利找到自己需要的商品；另一方面，商家也失 去了与消费者的联系。推荐系统模拟商店销售人员向用户提供商品推荐，帮助用 户找到所需商品，从而顺利完成购买过程，因此可以有效保留用户，提高电子商 务系统的销售；商家也可以通过推荐系统保持与客户的联系，重建客户关系 s k r 9 9 】 s k r 0 1 h e r o o 。 一方面，电子商务系统需要推荐系统的大力支持帮助用户找到所需商品。另 一方面，电子商务系统自身的特点也有利于推荐系统的顺利实施，主要原因包括 t a k m + 0 1 k o h 0 1 k o h + 0 1 ： 1 ) 丰富的数据：电子商务环境收集的各种数据比较丰富，如用户注册数据、 用户交易数据、用户评分数据、用户购物篮信息、用户浏览数据等。丰富的数据 为建立多种推荐模型产生高质量的推荐提供了可能。 2 ) 电子化的数据收集：电子商务环境中的各种数据通过电子化方式收集， 减小了手工方式收集数据可能出现的人工误差，噪音数据大大减少，各种数据的 可信度比较高，数据预处理比较简单。 3 ) 易于对推荐效果进行评估：在电子商务中实施推荐系统的投资回报率易 于通过电子商务w e b 站点访问量的增加、电子商务系统销售额的增加等指标直 接进行评估。 推荐系统主要通过如下三种途径提高电子商务系统的销售能力【s k r 9 9 】 s k p , o i ： 1 ) 将电子商务系统的浏览者转变为购买者：电子商务系统的访问者在浏览 过程中经常并没有购买欲望，电子商务推荐系统能够向访问者推荐他们感兴趣的 商品，从而完成购买过程。 2 ) 提高电子商务系统的交叉销售：电子商务推荐系统在用户购买过程中向 用户提供其它有价值的商品推荐，用户能够从提供的推荐列表中购买自己确实需 要但在购买过程中没有想到的商品，从而有效提高电子商务系统的交叉销售。 3 ) 保留用户：与传统的商务模式相比，电子商务系统使得用户拥有越来越 多的选择，用户更换商家及其方便，只需要一两次鼠标的点击就可以在不同电子 商务系统之间跳转。电子商务推荐系统分析用户的购买习惯，根据用户需求向用 户提供有价值的商品推荐。如果电子商务推荐系统的推荐质量很高，那么用户会 电子商务推荐系统关键技术研究复旦大学博士学位论文 第一章辫i 论 对该电子商务推荐系统产生信赖。因此电子商务推荐系统不仅能要为用户提供个 性化的推荐服务，而且能与用户建立长期稳定的关系，从而能有效保留用户，防 止用户流失。 电子商务推荐系统具有良好的发展和应用前景。目前，几乎所有大型的电子 商务系统，如a m a z o n 、c d n o w 、e b a y ，d a n g d a n g 等，都不同程度的使用了各 种形式的推荐系统。各种提供个性化服务的w e b 站点也需要推荐系统的大力支 持。在日趋激烈的竞争环境下，电子商务推荐系统能有效保留用户，提高电子商 务系统的销售。成功的电子商务推荐系统将会产生巨大的经济效益。 电子商务推荐系统在理论和实践中都得到了很大发展。但是随着电子商务系 统的进一步发展，电子商务推荐系统也面临一系列挑战。针对电子商务推荐系统 面临的主要挑战，本文将对电子商务推荐系统中的若干关键技术进行了有益的探 索和研究。 1 2 电子商务推荐系统的主要研究内容及研究现状 随着互联网的普及和电子商务的发展，推荐系统逐渐成为电子商务厅技术 的一个重要研究内容，得到越了来越多研究者的关注 s k r 9 9 s k r o q 。a c m 从 1 9 9 9 年开始每年召开一次电子商务的研讨会，其中关于电子商务推荐系统的研 究文章占据了很大比重。从1 9 9 9 年开始此协会的数据挖掘特别兴趣组s 1 g k d d 小组设立w e b k d d 研讨组主题集中在电子商务中的w e b 挖掘技术和推荐系 统技术。而a c m 下面的信息检索特别兴趣组s i g i r 在召开的第2 4 届研究和发展 会议上，开始专门把推荐系统作为一个研讨主题。第7 届国际人工智能联合会议 i j c a l 0 1 则把e - b u s i n e s s t h e i n t e l l i g e n tw e b 作为一个独立的研讨小组。9 9 年召 开的人机界面会议c 田，9 9 专门设立推荐系统特别兴趣组。同时，第十五届人工 智能会议a a a i - 9 8 、第一届知识管理应用会议捌咒讯9 6 年协同工作会议c s c w 9 6 等也纷纷开始将电子商务推荐系统作为研究主题。 1 2 1 电子商务推荐系统主要的研究内容 电子商务推荐系统的研究内容和研究方向主要包括 s k r 9 9 s k r 0 1 , 1 1 推荐技术研究：目前主要的推荐技术主要包括基于内容的过滤和协同过 滤两种。由于基于内容的过滤自身的局限性 g n o + 9 2 h s r + 9 5 h k b + 9 9 ，协同 过滤推荐技术是当前研究的主流。 2 ) 实时性研究：在大型电子商务推荐系统中，推荐系统的伸缩能力和实时 性要求越来越难以保证。如何有效满足推荐系统的实时性要求得到了越来越多研 究者的关注。 电子商务推荐系统关键技术研究 6 复旦大学博士学位论文 笫一章绪论 3 ) 推荐质量研究：在大型电子商务系统中，用户评分数据极端稀疏。用户 评分数据的极端稀疏性使得推荐系统无法产生有效的推荐，推荐系统的推荐质量 难以保证。 4 ) 多种数据多种技术的集成：当前大部分的电子商务推荐系统都只利用了 一部分可用信息来产生推荐。随着研究的深入，新型电子商务推荐系统应该利用 尽可能多的信息，收集多种类型的数据，有效集成多种推荐技术，从而提供更加 有效的推荐服务。 5 ) 数据挖掘技术在推荐系统中的应用：随着研究的深入，各种数据挖掘技 术( 主要包括关联规则挖掘、序列模式挖掘、聚类分析、b a y e s i a n 分类等) 在推 荐系统中得到了广泛的应用。基于w e b 挖掘的推荐系统得到了越来越多研究者 的关注。 6 ) 用户隐私保护研究：由于推荐系统需要分析用户的购买习惯和兴趣爱好， 涉及到用户隐私问题，如何在提供推荐服务的同时有效保护用户隐私值得作进一 步深入的研究。 7 ) 推荐系统可视化研究：推荐系统的目的是为用户提供服务，因此必须为 用户提供友好的可视化服务界面。主要包括推荐结果可视化研究和推荐结果解释 研究等方面的内容。 1 2 2 推荐系统研究现状 1 1 2 2 1 研究现状简介 推荐系统中的推荐技术主要包括基于内容的过滤和协同过滤两种。基于内容 的过滤是信息检索领域的重要研究内容 b c 9 2 m k 6 0 s l 6 8 h g 9 6 】。基于内容 过滤的推荐系统需要分析资源内容信息 b s a + 9 4 1 b l p 0 0 ，根据用户兴趣建立用 户档案( 盹，i k ) ，然后根据资源内容与用户档案之间的相似性向用户提供推荐服 务 s w y 7 5 。文 a d l + 0 2 提出使用智能代理技术分析用户的特定需求，提供推 荐服务。s a l t o n 等人提出根据用户反馈自动更新用户档案 s 8 9 0 。b a y e s i a n 概率 模型 b c 9 2 、遗传算法【s 髓9 4 1 以及其它机器学习技术也被广泛应用于用户档案 的建立和更新。基于内容过滤的实验型推荐系统主要包括m a l o n e 等人提出的电 子邮件信息过滤系统 m g t + 8 7 。s t a n f o r d 大学提出的信息过滤工具s i f t y g 9 5 、 音乐过滤系统l y r i c t i m e l o e 9 2 、s i f t e r 原形系统 m m l + 9 7 等。 基于内容过滤的推荐技术具有一定的局限性 0 n o + 9 2 h s r + 9 5 h k b + 9 9 a 主要表现在必须分析资源的内容信息，因此对音乐、图像、视频等信息无能为力； 无法分析信息的质量；无法提供新颖的推荐。针对上述问题，研究者提出了协同 电子商务推荐系统关键技术研究 7 复且大学博士学位论文 第一章绪论 过滤推荐技术 g n o + 9 2 b s 9 7 k m m + 9 7 r i s + 9 4 】。在早期的协同过滤推荐系统 中，用户之间需要相互了解对方的兴趣爱好 g n o + 9 2 m e 9 5 】。随着研究的深入， 研究者提出了自动化协同过滤推荐技术 k m m + 9 7 i r i s + 9 4 h s r + 9 5 s m 9 5 】 【d k h + 9 8 推荐系统的推荐质量是推荐系统成功的关键。经典协同过滤推荐技术根据用 户之间的相似性产生推荐结果 s r o o b h k 9 8 。k a r y p s 等人 s k k + 0 1 k a r 0 1 提出根据项之间的相似性提供推荐服务，从而有效提高推荐质量。文 w a w + 9 9 1 中提出通过图搜索计算用户最近邻居的优化算法。文 v x e + 0 3 提出对用户最近 邻居和项均采用不同权重的方法改进推荐质量。文 b h k 9 8 1 对各种用户间相似性 度量方法进行了分析，提出了各种改进方法。用户评分数据的稀疏性是导致推荐 系统推荐质量下降的主要原因 r i s + 9 4 g s k + 9 9 。文 s k k + 0 0 中提出使用奇异 值分解技术减少项空间的维数，从而有效改善用户评分数据的稀疏性。文 d e m 0 3 】 中提出通过对稀疏数据的关联分析可以有效提高推荐质量。文 s k b + 9 9 g s k + 9 9 】 提出使用智能代理技术可以增加用户评分数据的稠密度。 随着电子商务规模的扩大，推荐系统的实时性研究逐渐成为研究热点，得到 了越多越多研究者的关注 s k r 9 9 s k r 0 1 。s a r w a r 等人 s k k 0 0 提出了基于关联 规则挖掘的推荐系统。文 c h 9 7 中提出了基于b a y e s i a n 分类挖掘的推荐系统。 文 d l r 7 7 t m c + 9 7 u f 9 8 1 中提出使用聚类分析将用户划分为不同的组，从而有 效减小搜索空间。文 o h 9 9 1 中提出通过项聚类分析，从而在用户评分数据的子集 上搜索最近邻居。文【s k k + o o 】中提出使用奇异值分解技术减少项空间的维数， 提高最近邻居搜索速度。文 s j w o u 提出了通过r e c t r e e 方法有效减小搜索空间， 从而满足推荐系统的实时性要求。 传统的协同过滤推荐技术根据用户显式评分产生推荐结果，用户使用不方 便，许多研究者提出可以通过w e b 挖掘技术获取用户隐式评分 s k r 9 9 s k r 0 1 。 文 m d l + 0 1 t q v i h + 9 6 提出通过w e b 日志挖掘提供推荐服务。文 m c s 9 9 提出通 过u r l 聚类产生推荐的方法。文 m d l + 0 0 提出通过w e b 使用挖掘和w e b 使用 内容挖掘提高推荐质量的方法。各种数据挖掘方法如关联规则挖掘技术 m d l 0 0 1 m d l 0 1 、聚类挖掘技术 n f j + 9 9 o k n 0 1 被广泛的应用于w e b 日志分析中以提 高推荐精度。 协同过滤推荐技术也存在自身的不足 s k r 9 9 s k r 0 1 】。主要表现在用户评 分数据比较少的时候推荐质量比较低。因此基于多种数据多种技术的有效集成得 到研究者的重视 s k r 9 9 1 s k r 0 1 1 。b a l a b a n o v i c 等人 b s 9 7 1 提出通过基于内容的 过滤和协同过滤的复合型推荐系统提高推荐质量。文 m d l + 0 0 中提出基于w e b 使用挖掘和w e b 内容挖掘的推荐系统。文 s k b + g s 6 s k + 9 9 中提出同时使用智 电子商务推荐系统关键技术研究8复旦大学博士学位论文 第一章绪论 能代理技术和协同过滤技术提供推荐服务的方法。文【g f 0 2 】中提出在推荐系统中 增加产品语义信息，从而提高推荐系统的推荐质量。 1 2 。2 2 推荐系统实例简介 推荐系统是信息检索和信息过滤领域的研究热点，得到了许多著名研究机构 和研究者的关注，出现了大量研究型推荐系统实例： 1 ) t y p e s t r y ：是恐r o xp a r c 研究中心提出的一个研究型协同过滤推荐系 统 g n o + 9 2 ，用于过滤电子邮件、推荐电子新闻。t y p e s t r y 系统提供电子文档 存储、用户评价存储和协同过滤推荐服务。在t y p e s t r y 系统中，设计了一种类 似于s q l 的查询语言死孔，用户的查询请求中必须明确指出与自己兴趣爱好相似 的其他用户。由于用户之间必须了解对方的兴趣爱好，因此力伊醪豫准荐系统 只适用于用户群体比较小的场合。 2 ) a c f ：a c t i v ec o l l a b o r a t i v ef j r 帆 系统是c a r n e g i e - m e l l o n 大学开发的主 动协同过滤推荐系统 m b 9 5 ，用于电子文档推荐。4 c 蹋统通过指针实现协同过 滤推荐服务，指针包含指向电子文档的超链接、电子文档的上下文信息以及用户 撰写的电子文档评论。在4 a 嘌统中，用户可以通过主动的方式将创建的指针推 荐给其他可能感兴趣的用户，也可以将创建的指针保存在系统中供其他用户查 看。c 繇统也只适用于用户群体比较小的场合。 3 ) g r o u p l e n s ：由脚发的自动协同过滤推荐系统 k m m + 9 7 r i s + 9 4 】， 用于新闻组信息推荐。g r o u p l e n s 系统通过用户的评分信息自动搜索用户的最近 邻居，然后根据最近邻居的评分信息产生最终的推荐结果，适合于用户数量比较 大的场合g r o u p l e n s 系统具有极好的开放性，用户可以通过g r o u p l e n s 系统提供 的爿函数 句g r o u p l e n s 服务器提供评分信息，请求推荐结果。同时，g r o u p l e n s 系统提供三种客户端工具e m a c sg n u s 、朋v 和m 懈嗍盯达到上述目的。 4 ) m o v i e l e n s ：是m i n n e s o t a 大学开发的研究型自动协同过滤推荐系统 【d l ( i + 9 8 】阻k b + 9 9 】【嗽0 0 】 s k x o o l s r a c + o o 】，用于推荐电影。与g r o u p l e n s 不同，m o v i e l e n s 系统是一个基于w e b 的推荐系统，系统通过浏览器的方式进行用 户评分数据收集与推荐结果显示，用户使用更加方便。 5 ) r i n g o ：由膨盯媒体实验室开发的研究型协同过滤推荐系统 s m 9 5 用于 提供个性化的音乐推荐服务。r i n g o 系统可以向用户推荐用户最喜欢的音乐，预 测用户最不喜欢的音乐，也可以预测用户对特定音乐的评分。 6 ) h d e or e c o m m e n d e r ：是历f f c 0 坤开发的协同过滤推荐系统 h s r + 9 5 ，用 于电影推荐h d e or e c o m m e n d e r 系统通过电子邮件的方式收集用户评分数据， 提供推荐服务。在v i d e or e c o m m e n d er 系统中，不仅可以预测用户最喜欢的电影， 电子商务推荐曩坑关t 拄术研究 9 复旦大学博士学位论文 第一章结论 也可以预测用户对特定电影的评分。在v i d e or e c o m m e n d e r 系统提供推荐结果时， 同时向用户提供用户最近邻居的电子邮件联系方式，以及用户与最近邻居的相似 度等信息。 7 1 f a b ：是s t a n f o r a 呔学数字图书馆项目组开发的基于内容的过滤和协同过 滤的复合型推荐系统【b s 9 7 】，用于推荐w e b 页面。其特点是综合了基于内容过滤 的推荐和协同过滤推荐的优点，同时支持两种类型的推荐服务。f a b 系统主要包 括页面收集代理，个人推荐代理和中心路由器。页面收集代理从w e b 上收集特定 主题的页面，个人推荐代理从特定主题中选择用户感兴趣的页面推荐给用户。个 人推荐代理根据文档内容信息建立用户的用户档案，然后根据用户档案之间的相 似性搜索用户的最近邻居。产生的推荐结果可以基于用户档案中的文档内容信 息，也可以基于用户最近邻居的评价信息( 协同过滤) 。 1 3 电子商务推荐系统面临的主要挑战 推荐系统在研究领域获得了广泛关注，在实际的电子商务系统中也得到了广 泛应用。但是，随着电子商务系统规模越来越大，推荐系统也面临着一系列挑战， 主要包括 s k r 9 9 s k r 0 1 ： 1 ) 实时性与推荐质量之间的平衡：推荐系统的推荐精度和实时性是一对矛 盾。大部分推荐技术在保证实时性要求的同时，是以牺牲推荐系统的推荐质量为 前提的 t m c + 9 7 u f 9 8 o h 9 9 s k k + 0 0 在提供实时推荐服务的同时，如何有 效提高推荐系统的推荐质量，需要做进一步深入的研究。 新型电子商务推荐系统体系结构研究：当前大部分的电子商务推荐系统 都只是一个单一的工具，只能提供一种推荐模型 m d l o o m d l + 0 0 。但由于电 子商务系统本身的复杂性。不同场合需要不同类型的推荐。需要研究新型电子商 务推荐系统体系结构，收集多种类型的数据，提供多种推荐模型，满足不同类型 的推荐需求。 3 ) 推荐结果解释研究：电子商务推荐系统为了说服用户，需要向用户解释 推荐产生的原因。目前的电子商务推荐系统只能通过简单的销售排行、向用户提 供其他用户对商品的评价评分信息等方式来达到上述目的【s r , r 9 9 s k r 0 q h s r + 9 5 1 。需要进一步研究更加有效的方法向用户解释产生推荐的原因，从而 增加用户对推荐系统的信任程度，说服用户听从推荐系统的推荐。 1 4 本文工作 t 4 1 研究内容及成果 针对电子商务推荐系统面临的主要挑战，本文对电子商务推荐系统中推荐算 电子商务推荐系统关t 技术研究 1 0 复且大学博士学位论文 第一章绪论 法设计以及推荐系统体系结构等关键技术进行了有益的探索和研究。本文的研究 内容主要包括电子商务推荐系统推荐质量研究，电子商务推荐系统实时性研究， 基于w e b 挖掘的推荐系统研究以及电子商务推荐系统体系结构研究。 本文的主要研究成果如下： 1 ) 针对电子商务推荐系统推荐质量研究，提出了基于项评分预测的i r p r e c 协同过滤推荐算法。在大型电子商务系统中，用户数目和项数目急剧增加，导致 用户评分数据的极端稀疏性，在用户评分数据极端稀疏的情况下传统相似性度量 方法均存在各自的不足导致计算得到的目标用户的最近邻居不准确，推荐系统 的推荐质量急剧下降。针对用户评分数据的极端稀疏性，我们详细分析了传统的 相似性度量方法存在的弊端，提出了基于项评分预测的i r p r e c 协同过滤推荐算 法，基于项评分预测的1 r p r e c 协同过滤推荐算法通过计算项之间的相似性，初 步预测用户对未评分项的评分，然后采用一种新颖的相似性度量方法计算用户的 最近邻居。实验结果表明，基于项评分预测的1 r p r e c 协同过滤推荐算法可以有 效解决用户评分数据极端稀疏情况下传统相似性度量方法存在的不足，显著提高 推荐系统的推荐质量。 2 1 针对电子商务推荐系统实时性研究，提出了基于项聚类的i c r e c 协同过 滤推荐算法。随着电子商务系统规模的扩大，用户数量和项数量数以万计，在整 个用户空间上搜索目标用户的最近邻居非常耗时，同时为数以万计的用户提供实 时推荐服务越来越困难，导致推荐系统的实时性要求越来越难以满足。针对电子 商务推荐系统面临的实时性挑战，我们提出了基于项聚类的i c r e c 协同过滤推荐 算法，基于项聚类的i c r e c 协同过滤推荐算法通过用户对项评分的相似性对项进 行聚类，从而将用户评分比较类似的项加入同一个聚类中，然后根据每个聚类中 用户对商品的平均评分生成对应的聚类中心，在此基础上计算目标项与聚类中心 的相似性，选择与目标项相似性最高的若干个聚类作为查询空间搜索目标项的最 近邻居，从而能够在尽量少的项空间上搜索到目标项尽可能多的最近邻居。对项 进行聚类比较耗时。但可以离线周期进行。实验结果表明，基于项聚类的i c r e c 协同过滤推荐算法可以有效提高推荐系统的实时响应速度。 3 ) 针对基于w e b 挖掘的推荐系统研究，提出了基于舵6 挖掘的推荐系统框 架。传统的协同过滤推荐很难为非注册用户提供高质量的推荐；需要用户显式输 入对项的数值评分，用户使用起来及其不方便：在推荐系统实施