（管理科学与工程专业论文）电子商务推荐系统中协同过滤瓶颈问题研究.pdf

合肥工业大学博士学位论文摘要 摘要 随着i n t e r n e t 和电子商务的迅猛发展，人类已经进入信息社会时代。我国的电子商务市 场发展潜力巨大，同时保持了持续高速增长势头。人们通过访问电子商务网站，可以享受足 不出户选购商品的快乐和方便。但是，电子商务网站提供的大量商品对用户造成了“信息超 载”，导致电子商务网站面临这样一个严峻的问题：如何在用户浏览网站时将适合该用户的商 品推荐到他她面前，克服信息超载带来的不利影响，从而促成更多的交易以增加企业销售 额? 电子商务推荐系统( e c o m m e r c er e c o m m e n d e rs y s t e m s ) 就是解决信息超载问题的一种方 案、一种实现电子商务网站“一对一营销”战略的技术，可作为网站客户关系管理的有益组 成部分，已经在许多大型网站得到应用。协同过滤是目前电子商务推荐系统中广泛使用的、 最成功的推荐算法，但还存在诸如稀疏性( s p a r s i t y ) 、冷启动( c o l d s t a r t ) 、可扩展性( s c a l a b i l i t y ) 等制约其进一步发展的瓶颈问题。因此，需要对上述协同过滤瓶颈问题展开进一步研究。 本文的主要研究内容如下： ( 1 ) 对协同过滤的国内外研究现状进行了全面的梳理和综述，在此基础上对协同过滤瓶 颈问题进行了提炼。 ( 2 ) 针对基于项目评分预测的协同过滤推荐算法在缓解稀疏性问题上的不足，即目标用 户最近邻搜寻不够准确和存在不必要计算耗费，首先提出了非目标用户类型区分理论，从而 将用户评分项并集中的非目标用户区分为无推荐能力和有推荐能力两种类型。对于无推荐能 力用户，不再计算其与目标用户的相似性以提高算法效率和改善推荐实时性；对于有推荐能 力用户，则在其与目标用户存在共同评分项类时，提出了领域最近邻理论对用户评分项并集 中的未评分项进行评分预测，从而使最近邻搜寻更加准确。为了防止用户评分数据的极端稀 疏现象可能导致领域最近邻的用户相似性过低，进一步提出了一种基于r o u g h 集理论的用户 评分项并集未评分值填补方法，该方法能有效实现用户评分项并集的完备化，从而将其应用 于评分矩阵的未评分值估算以缓解稀疏性，实现了对领域最近邻理论的有效补充。 ( 3 ) 针对冷启动中的新用户问题，提出了一种冷启动消除方法。首先，提出了用户访问 项序理论，通过w e b 日志来获取用户访问项序，并定义了门序访问解析逻辑，将用户访问项 序分解为用户访问子序集，并设计了用户访问项序的相似性计算方法来搜寻新用户的最近邻 集合，进而提出了一种改进的最频繁项提取算法i m i e a 来对最近邻集合的用户访问项序进行 处理，得到面向新用户的t o p n 推荐；基于最近邻用户与新用户的用户访问项序集合，建立 了用户访问项序的m a r k o v 链模型，实现了对新用户的商品导航推荐。 ( 4 ) 针对可扩展性问题，提出了种适应用户兴趣变化的协同过滤增量更新机制，能够 以较小的系统计算量在用户提交新评分后实时更新相应项目与其它项目之间的相似性数据， i 摘要 合肥工业大学博士学位论文 从而消除了传统方法在每次进行推荐计算时无法避免的扫描全体项目空间的计算耗费，有效 改善了可扩展性；同时，由于这种增量更新机制保证了在推荐运算中能够使用到最新的用户 评分数据，因此使得推荐服务可以适应用户兴趣偏好的动态变化，从而弥补了传统的离线计 算项目相似性方法难以反映用户兴趣漂移的不足。 ( 5 ) 在本文提出的上述理论和方法基础上，设计并实现了一个电子商务协同过滤原型系 统e c r e c ( e c o m m e r c er e c o m m e n d e rs y s t e m ) ，该系统具有良好的可移植性、可维护性及开放 式架构( o p e na r c h i t e c t u r e ) 特征。 关键词：电子商务推荐系统；协同过滤；稀疏性；冷启动：可扩展性 合肥工业大学博士学位论文 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e m e ta n de c o m m e r c e ，h u m a ns o c i e t yh a sb e e ns t e pi n t o i n f o r m a t i o ne r a t h ed e v e l o p m e n tp o t e n t i a lo fc h i n e s ee c o m m e r c ei se n o r m o u s ，a n di tk e e p sa c o n t i n u o u s l yh i g h s p e e di n c r e a s i n g p e o p l ec a l le n j o yt h eh a p p i n e s sa n dc o n v e n i e n c eo fp u r c h a s i n g p r o d u c t sv i ae c o m m e r c ew e b s i t e sa th o m e h o w e v e r t h et r e m e n d o u sp r o d u c t sc a t e g o r y , w h i c h s u p p l i e db ye c o m m e r c ew e b s i t e s ，b r i n g s “i n f o r m a t i o no v e r l o a d ”t ou s e r s h e n c e ，e 。c o m m e r c e w e b s i t e sf a c e sas e r i o u sp r o b l e m ：h o wt or e c o m m e n da p p r o p r i a t ep r o d u c t sf o rb r o w s i n gu s e r st o o v e r c o m et h ed e t r i m e n t a le f f e c t so fi n f o r m a t i o no v e r l o a da n dp r o m o t em o r et r a n s a c t i o n sf o r b o o s t i n gt h es a l e so f w e b s i t e s ? e c o m m e r c er e c o m m e n d e rs y s t e m sa r eo n es c h e m et os e t t l ei n f o r m a t i o no v e r l o a d ，a n do n e t e c h n i q u et or e a l i z e “o n e t o o n e ”s t r a t e g yo fe - c o m m e r c ew e b s i t e s i th a sb e e na p p l i e di nm a n y l a r g e - s c a l ew e b s i t e sb yb e i n gt r e a t e d 越ah e l p f u lp a r to fc u s t o m e rr e l a t i o n s h i pm a n a g e m e n tf o rt h e w e b s i t e s c o l l a b o r a t i v ef i l t e r i n gi st h em o s ts u c c e s s f u la n dw i d e l yu s e dr e c o m m e n d a t i o na l g o r i t h m i 1 1e c o m m e r c er e c o m m e n d e rs y s t e m sc u r r e n t l y h o w e v e r ，t h e r ee x i s ts o m eb o t t l e n e c kp r o b l e m si n c o l l a b o r a t i v ef i l t e r i n g ，s u c h 硒s p a r s i t y , c o l d - s t a r ta n ds c a l a b i l i t y t h e s eb o t t l e n e c kp r o b l e m sl i m i t t h ed e v e l o p m e n to fc o l l a b o r a t i v ef i l t e r i n g ，h e n c ew es h o u l dd e e p l ys t u d yo nt h ep r o b l e m s t h em a i nr e s e a r c hw o r k so ft h i sp a p e ra r e 签f o l l o w s ： ( 1 ) o nt h eb a s i so fac o m p r e h e n s i v eo v e r v i e wo nt h er e s e a r c ho fc o l l a b o r a t i v ef i l t e r i n ga t h o m ea n da b r o a d ，as u m m a r yo nt h eb o a l e n e c kp r o b l e m so fc o l l a b o r a t i v ef i l t e r i n gi sg i v e n ( 2 ) t oa d d r e s st h ed r a w b a c k so fi t e m r a t i n g p r e d i c t i o nc o l l a b o r a t i v ef i l t e r i n ga l g o r i t h m i n a l l e v i a t i n gs p a r s i t y , n a m e l yt h a tt h es e a r c h i n go fn e a r e s tn e i g h b o ri sn o t a c c u r a t ee n o u g ha n dt h e r e e x i s ts o m eu n n e c e s s a r yc o m p u t i n gc o s ti nt h ea l g o r i t h m ，t h en o n - t a r g e tu s e r sd i f f e r e n t i a t i n gt h e o r y i sp r o p o s e da tf i r s t ，t h u st h en o n - t a r g e tu s e r si nt h eu n i o no fu s e rr a t i n gi t e m sa r ec l a s s i f i e di n t ot w o t y p e st y p e s ，o n ew i t h o u tr e c o m m e n d i n ga b i l i t ya n dt h eo t h e rw i t hr e c o m m e n d i n ga b i l i t y f o rt h e f o r m e ru s e r s t h eu s e rs i m i l a r i t yi sn o tc o m p u t e df o ri m p r o v i n gr e a l - t i m er e c o m m e n d a t i o n ；f o rt h e l a t t e ru s e r s ，t h ed o m a i nn e a r e s tn e i g h b o rt h e o r yi sp r o p o s e da n du s e dt op r e d i c tm i s s i n gv a l u e si n t h eu n i o no fu s e rr a t i n gi t e m sw h e nt h eu s e r sh a v ec o m m o ni n t e r s e c t i o n so fr a t i n gi t e mc l a s s e sw i t h t a r g e tu s e r t oa v o i dt h ep o s s i b i l i t yt h a t t h ee x t r e m es p a r s eu s e rr a t i n g sc o u l dm a k et h eu s e r s i m i l a r i t yo fd o m a i nn e a r e s tn e i g h b o rt o ol o w , ar a t i n gp r e d i c t i o nm e t h o db a s e do nr o u g hs e tt h e o r y i sp r o p o s e dt oe s t i m a t em i s s i n gv a l u e si nt h eu n i o no fu s e rr a t i n gi t e m s t h i sm e t h o dc a nr e a l i z et h e c o m p l e t i n go ft h eu n i o no fu s e rr a t i n gi t e m se f f e c t i v e l y , s oi tc a r lb eu s e di nt h ee v a l u a t i n go ft h e m i s s i n gv a l u e si nr a t i n gm a t r i xf o ra l l e v i a t i n gs p a r s i t y i t i sa ne f f e c t i v ec o m p l e m e n t a t i o nf o rt h e i i i a b s t r a c t合肥工业大学博士学位论文 d o m a i nn e a r e s tn e i g h b o rt h e o r y ( 3 ) t os o l v et h e “n e wu s e rp r o b l e m ”i nc o l d s t a r tp r o b l e m ，ac o l d s t a r te l i m i n a t i n gm e t h o df o r n e wu s e ri sp r o p o s e d f i r s t l y , t h eu s e r - a c c e s s - i t e ms e q u e n c et h e o r yi sp r o p o s e d t h ei t e m sa c c e s s b yu s e rc a nb eo b t a i n e dv i aw e bl o g s s e c o n d l y , a l l 行- s e q u e n c ea c c e s sa n a l y t i cl o g i c i sp r o p o s e d t od e c o m p o s eu s e r sa c c e s si t e ms e q u e n c et ou s e ra c c e s ss u b s e q u e n c es e t t h i r d l y , as i m i l a r i t y m e a s u r ef o ru s e ra c c e s si t e ms e q u e n c ei sp r o p o s e dt os e a r c han e wu s e r sn e a r e s tn e i g h b o r h o o d f o u r t n ga ni m p r o v e dm o s t - f r e q u e n ti t e mr e c o m m e n d a t i o ne x t r a c t i n ga l g o r i t h mi sp r o p o s e dt o p r o c e s s t h eu s e r - a c c e s s i t e m s e q u e n c e o fn e a r e s tn e i g h b o r h o o dt oo b t a i nt h et o p n r e c o m m e n d a t i o nf o rt h en e wu s e r o nt h eb a s i so ft h eu s e r - a c c e s s - i t e ms e q u e n c es e tb e t w e e nt h e n e wu s e ra n dh e r h i sn e a r e s tn e i g h b o r h o o d ，am a r k o vc h a i nm o d e li sp r o p o s e dt or e a l i z et h e p r o d u c t sn a v i g a t i o nr e c o m m e n d a t i o nf o rt h en e wu s e l ( 4 ) t os o l v et h es c a l a b i l i t yp r o b l e m ，a ni n c r e m e n t a lu p d a t i n gm e c h a n i s mo fi t e ms i m i l a r i t y w h i c hs u i t sf o ro n l i n ea p p l i c a t i o n si sp r o p o s e d a f t e rt h es u b m i t t i n go fo n en e wr a t i n gb ya c t i v e u s e r , r e c o m m e n d e rs y s t e mw i l lf i n i s ht h er e a l t i m eu p d a t i n go fi t e ms i m i l a r i t ya m o n gt a r g e ti t e m a n do t h e ri t e m s h e n c e ，t h es c a l a b i l i t yi se f f i c i e n t l yi m p r o v e db ye l i m i n a t i n gt h eu n a v o i d a b l e c o m p u t i n gc o s to fc o n v e n t i o n a l m e t h o dt os c a nt o t a li t e ms p a c e ；s i m u l t a n e o u s l y ，d u et ot h e p r o p o s e di n c r e m e n t a lu p d a t i n gm e c h a n i s mp r o m i s e st h a t t h en e w e s tr a t i n g sc a nb e u s e di n r e c o m m e n d a t i o nc o m p u t i n g ，t h e nu s e ri n t e r e s tc h a n g e sc a l lb ei n t e g r a t e di nt h er e c o m m e n d a t i o n s e r v i c e ，t h u st h ed r a w b a c kt h a tt r a d i t i o n a lo f f - l i n ec o m p u t i n go fi t e ms i m i l a r i t yh a r dt or e f l e c tu s e r i n t e r e s tc h a n g e si sr e m e d i e d ( 5 ) o nt h eb a s i so ft h ea b o v ep r o p o s e dt h e o r i e sa n dm e t h o d s ，a ne - c o m m e r c er e c o m m e n d e r p r o t o t y p es y s t e m ，c a l l e de c r e c ，i sd e s i g n e da n dr e a l i z e dw i t hb e t t e rp o r t a b i l i t y , m a i n t a i n a b i l i t y a n dt h ec h a r a c t e r i s t i c so fo p e na r c h i t e c t u r e k e yw o r d s ：e - c o m m e r c er e c o m m e n d e rs y s t e m s ；c o l l a b o r a t i v ef i l t e r i n g ；s p a r s i t y ；c o l d - s t a r t ； s c a l a b i l i t y i v 插图清单合肥工业大学博士学位论文 插图清单 图1 1商品信息检索机制”7 图1 2基于关联规则的电子商务推荐系统结构8 图1 3w e b m a t e 的系统结构9 图1 4c b f 与c f 的工作机制比较”l o 图1 5典型协同过滤流程1 1 图1 6 t a p e s t r y 的体系结构1 2 图1 7 g r o u p l e n s 的体系结构1 3 图1 8f a b 系统的推荐流程1 8 图1 9将用户项目评分矩阵转换为用户类别评分矩阵1 9 图1 1 0 将用户项目评分矩阵转化为社会网络2 1 图1 1 1 电子商务推荐系统结构2 2 图1 1 2 基于聚类的最近邻选择2 3 图1 1 3r e c t r e e 的数据结构2 4 图1 1 4 本文的结构安排3 0 图2 1 用户- 项目评分矩阵r ( m ，疗) 3 2 图2 2最近邻集合的形成3 2 图2 3一个简单的电影评分矩阵3 6 图3 。1，是无推荐能力用户4 4 图3 2v 是有推荐能力用户4 5 图3 3用户评分项分布在不同项类4 5 图3 4略去对推荐无帮助的用户4 6 图3 5评分值分布统计4 9 图3 6算法的评分预测质量比较”5 0 图3 7数据集大小对d n n - b a s e dc f 的影响5 l 图3 8 d n n b a s e dc f 的平均m a e 变化情况“5 l 图3 9一个不完备信息系统的向域5 4 图3 1 0 评分值分布统计5 7 图3 1l算法评分预测质量比较5 8 图3 1 2 算法t o p n 推荐质量比较5 9 图3 1 3 平均m a e 变化情况6 l 图3 1 4n = 1 0 时的平均r o c - 4 变化情况6 2 t x 合肥工业大学博士学位论文插图清单 图3 1 5k = 2 0 时的平均r o c 4 变化情况6 2 图4 1 t o p o n 推荐质量比较8 1 图4 2商品导航推荐质量比较81 图5 1 项目相似性的增量更新流程9 3 图5 2评分值分布统计9 4 图5 3 平均r e s p o n s et i m e 变化曲线9 5 图6 1协同过滤系统的基本架构i gl o 9 8 图6 2e c r e c 的系统结构9 9 图6 3e c r e c 的功能结构图1 0 2 图6 4十字链表示例1 0 4 图6 5e c r e c 主窗口1 0 6 图6 6“评价数据管理”窗口10 6 图6 7“算法库配置”窗口”1 0 7 图6 8“推荐生成”窗口1 0 7 x 表格清单合肥工业大学博士学位论文 表格清单 表1 1协同过滤推荐系统举例1 4 表1 2电子商务个性化推荐技术比较1 5 表1 3稀疏性改善技术的定性比较2 2 表1 4可扩展性改善技术的定性比较2 8 表3 1实验数据统计4 9 表3 2实验数据统计5 7 表3 3实验数据统计6 0 表3 4改变最近邻数量时的算法m a e 6 0 表3 5 = 1 0 时的算法r o c - 4 实验结果6 l 表3 6k = - 2 0 时的算法r o c 4 实验结果6 3 表4 1服务器日志文件格式6 8 表4 2用户访问子序集7 0 表5 1 用户“。提交新评分后的增量值计算方法9 0 表5 2i u i b c f 与i b c f 的计算复杂度比较9 2 表5 3实验数据统计- 9 3 表5 4 不同数据集和用户数时的平均r e s p o n s et i m e 9 5 表6 1 评分数据表( tr a t i n g ) 结构- - 1 0 0 表6 2推荐算法库算法列表”1 0 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得金目曼王些太堂或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：店聪签字日期：护母石月日 学位论文版权使用授权书 本学位论文作者完全了解金胆王些太堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权金起王些太堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：巷g - 签字日期：妒7 年g , q 日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名： 露劳勿 签字日期：勿z 哆年6 月6 日 电话： 邮编： 合肥工业大学博士学位论文 致谢 致谢 值此论文完稿之际，谨向所有关心我成长的老师、同学、朋友和家人表示衷心地感谢! 感谢我的导师梁昌勇教授。在我攻读博士学位的三年中，老师用他开阔的学术视野和严 谨勤奋的工作态度为我树立了优秀学者的风范，其谆谆教诲和悉心关怀令我内心不敢对学业 稍存懈怠。论文从选题、写作、修改直至定稿的每一个步骤和环节都与老师的悉心指导和帮 助密不可分。然而弟子驽钝，与老师的厚望还相差甚远，内心深感歉疚，只能冀望在今后的 治学中继续努力。师恩绵绵，泽惠终生。 感谢合肥工业大学管理学院信息技术与工程管理研究所为我提供的研究条件。衷心感谢 杨善林教授对我的指导和勉励。感谢刘业政教授、蒋翠清教授以及丁勇、陆文星、俞家文等 老师对我的关心和帮助。感谢吴坚、陆青、张俊岭、张恩桥、王勇胜、曹清玮、林文龙、卢 广彦等师兄弟和同学，在与他们的交流中我获益良多。 感谢在协同过滤研究领域辛勤耕耘的众多国内外学者，正是通过拜读他们的论文和著作， 我的论文研究才能受到启发并有所进展。 诚挚地感谢在百忙之中对我的论文进行评审并提出宝贵意见的各位专家、教授和老师们。 最后，感谢我的姐姐李娜和姐夫董珂对我无私的帮助；特别要感谢我的父母和我的妻子 马丽硕士，正是源自他们的默默支持和奉献，使我得以顺利完成博士研究生学业。亲人的殷 切希望和百般鼓励将是我不懈奋斗的动力。 愿所有帮助过和爱护过我的人们永远幸福，祝他们一生平安! 学位论文是对我博士研究生学业的一个总结，我将怀着对师友和母校的感念之情，以此 作为事业新的起点。 v 作者：李聪 2 0 0 9 年4 月 合肥工业大学博士学位论文第一章绪论 1 1 问题的提出 第一章绪论 随着i n t e m e t 和电子商务的迅猛发展，人类已经进入信息社会时代。我国的电子商务市 场发展潜力巨大，同时保持了持续高速增长势头： ( 1 ) 第2 3 次中国互联网络发展状况统计报告1 1j 指出，截至2 0 0 8 年1 2 月3 1 日，我国 网民已达到2 9 8 亿人，较2 0 0 7 年增长4 1 9 互联网普及率达到2 2 6 ；网络购物用户人数 已经达到7 4 0 0 万人，年增长率达到6 0 。 ( 2 ) 新华网公布的数据显示【2 j ，2 0 0 7 年全国电子商务交易总额达2 1 7 万亿元，比上年度 增长9 0 ；据商务部预计，未来1 0 年，将有7 0 的贸易额通过电子交易完成，电子商务将 成为主流商业经济模式。 电子商务网站不仅使企业节省了传统经营模式下必要的实体投资成本，而且还拥有一个 巨大的优势，即消除了传统店面的商品陈列空间限制，为购物者提供了一个庞大的( 也可以说 是无限大) 商品陈列柜台供其选择。人们通过访问电子商务网站，可以享受足不出户选购商品 的快乐和方便。 但是，面对电子商务网站提供的大量商品，顾客无法通过小小的计算机屏幕在短时间内 浏览所有商品，并且也缺少现实商店中促销人员的精心导购，从而使得用户面临“信息超载” ( i n f o r m a t i o no v e r l o a d ) 引。信息超载指网站为用户提供的商品信息量过多，导致其难以迅速找 到所需商品，并且在这之前难免会浏览大量不相关信息，从而很容易使用户产生疲劳直至失 去购物兴趣和离开。基于上述情况，电子商务网站面临着一个严峻的问题：如何在用户浏览 网站时将适合该用户的商品推荐到他她面前，克服信息超载带来的不利影响，从而促成更多 的交易以增加企业销售额? 电子商务推荐系统( e c o m m e r c er e c o m m e n d e rs y s t e m s ) 就是解决信息超载问题的一种方案 【4 1 、一种实现电子商务网站“一对一营销”( o n e t o o n em a r k e t i n g ) 战略的技术【5 1 可作为网站 客户关系管理( c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ，c r m ) 的有益组成部分1 6 j 。早在19 8 2 年， 美国计算机学会主席d e n n i n g 7 1 就指出需要将注意力从“制造信息”( g e n e r a t i n gi n f o r m a t i o n ) 更多地集中到接收信息( r e c e i v i n gi n f o r m a t i o n ，即控制和过滤信息并使其传到必须使用它们的 人) 上来。美国学者p i n e p j 则指出，现代企业应该从大规模生产( 标准化产品) 向大规模定制( 为 多类客户的多样需求提供多种商品) 转变，并列出了五种达到大规模定制的方法，其中有四种 都能通过电子商务推荐系统来实现，包括“围绕标准化的产品和服务来定制服务”、“创建可 定制的产品和服务”、“提供交货点定制”和“提供整个价值链的快速响应”，因此电子商务推 第一章绪论合肥工业大学博士学位论文 荐系统也是电子商务网站进行自动化大规模定制的一条关键途径【4 】，它使得网站能适应每一 个消费者并为其提供具有个性化的商品展现平台和购物体验。由于用户对自身需求不甚明确 时，其注意力并不专注于某特定目标，因此推荐系统所给建议被用户采纳的概率将相对较大。 正如j e f f b e z o s ( a m a z o n 。c o r nc e o ) 所言：“如果我在网络上有三百万个用户，我就应有三百万 个网上商店”【5 】。电子商务推荐系统的作用表现在三个方面【5 l ： ( 1 ) 将电子商务网站浏览者转变为购买者( c o n v e r t i n g b r o w s e r si n t ob u y e r s ) 电子商务网站的访问者经常只是浏览一下，并没有购买商品的意愿。电子商务推荐系统 能够帮助这些浏览用户找到他们愿意购买的商品，从而将浏览者转变为购买者。 ( 2 ) 提高电子商务网站交叉销售能力( i n c r e a s i n gc r o s s s e l l ) 交叉销售在现代商业中应用非常普遍。通过交叉销售，能够引导用户发现和购买自己确 有潜在需求但在购买过程中未曾想到的商品。电子商务推荐系统可以在用户浏览某商品时或 者根据用户购物车( s h o p p i n gc a r t ) 中的商品向其推荐该商品的相关产品，从而提高销售量。 ( 3 ) 建立电子商务网站客户忠诚度( b u i l d i n gl o y a l t y ) 赢得客户忠诚度是一项基本的商业策略。在互联网上，用户只需要点击一两下鼠标，便 能从当前的电子商务网站转到其竞争对手网站那里。电子商务推荐系统通过建立网站与客户 之间的增值关系( v a l u e - a d d e dr e l a t i o n s h i p ) 来提高客户忠诚度。一方面，电子商务推荐系统通 过了解和学习客户的兴趣偏好来推荐满足其需求的合适商品：另一方面，客户越多使用电子 商务推荐系统，系统就越能了解其兴趣偏好，从而给出的推荐结果质量越高。这种良性循环 一旦形成，将大大增加客户忠诚度，提高客户和网站之间的“粘性”( s t i c k i n e s s ) 。 许多大型网站早己开始使用电子商务推荐系统【9 j ，例如全球最大的网上书店a m a z o n ( h t t p ：w w w a m a z o n c o m ) 0 。、最大的网上拍卖站点e b a y ( h t t p ：w w w e b a y c o m ) 、最大的网上音 乐商店c d n o w ( h t t p ：w w w c d n o w c o m ，现已被a m a z o n 收购) 、i n t e m e t 上访问量最大的电影 网站之一m o v i e f i n d e r ( h t t p ：w w w m o v i e f i n d e r c o m ) 、最大的搜索引擎g o o g l e l n l ( 在g o o g l eq 3 2 0 0 6e a r n i n g sc a l l i 2 1 中，g o o g l ec e oe r i cs c h m i d t 明确指出向用户提供个性化信息是g o o g l e 的最终使命) 、主流门户网站y a h o o ( h t t p ：w w w y a h o o c o m ) 1 3 】【l4 1 、最大的中文网上书店当当网 ( h t t p ：w w w d a n g d a n g c o r n ) 以及搜狐商城( h t t p ：s t o r e s o h u c o m ) 、新浪商城( h t t p ：m a l l s i n a t o m c n ) 、网易商城( h t t p ：m a l l 1 6 3 c o r n ) 等等。 目前，电子商务推荐系统已成为电子商务领域的一大研究重点和热点。从本质上讲，推 荐系统属于决策支持系统1 1 s 】，美国学者p e n n o c k t l 6 】【1 7 1 、y a g e r l l 8 1 和日本学者i i j i m a t l 9 1 等人分别 从社会选择理论( s o c i a lc h o i c et h e o r y ) 、模糊集( f u z z ys e t ) 、多准则决策( m u l t i c r i t e r i ad e c i s i o n m a k i n g ) 的角度对其进行了剖析。协同过滤( c o l l a b o r a t i v ef i l t e r i n g ，c f ) 是目前电子商务推荐系 统中广泛使用的、最成功的推荐算法【2 0 l 【2 1 】【2 2 l ，但还存在诸如稀疏l 峰- ( s p a r s i t y ) 2 、冷启动 ( c o l d s t a r t ) b 、可扩展。i 生( s c a l a b i l i t y ) 1 2 1 1 等制约其进一步发展的瓶颈问题。对于这些瓶颈问题。 需要研究和解决的关键问题主要体现在： 2 合肥工业大学博士学位论文第一章绪论 ( 1 ) 在稀疏性问题研究方面，如何使得目标用户的最近邻搜寻更为准确? ( 2 ) 在冷启动问题研究方面，如何对一个没有提供任何评价信息的新用户进行推荐服务， 从而在其访问网站的初期便能留住他她? ( 3 ) 在可扩展性问题研究方面，如何使得协同过滤算法能在用户和项目数量不断增长的 情况下尽量降低在线推荐所需的响应时间? 由于我国电子商务的推荐功能相对国外存在较大差距【2 3 1 ，因此如何有效解决上述问题， 对于推动和促进我国电子商务推荐系统的研究、应用以及缩小与国外的差距，具有十分重要 的理论研究价值和应用价值。本文的研究工作正是基于这样的背景所展开。 1 2 研究目的与意义 本文的研究目的在于通过对协同过滤进行深入研究，提出能够有效缓解或解决协同过滤 稀疏性、冷启动、可扩展性等瓶颈问题的相应理论、方法、模型和机制，从而为推动我国电 子商务推荐系统的更快、更好发展起到积极的作用。 当前，针对协同过滤瓶颈问题展开研究具有重要的意义： 1 在现实应用方面，随着现代电子商务的迅猛发展，用户和企业都迫切需要有效的电子 商务推荐系统。没有客户就没有利润，拥有足够的客户群是企业生存和发展的充要条