（计算机应用技术专业论文）基于混合方法的电子商务推荐系统的研究与应用.pdf

， ；，-t ad i s s e r t a t i o ns u b m i t t e dt og u a n g d o n gu n i v e r s i t yo f t e c h n o l o g yf o r t h ed e g r e eo fm a s t e ro f e n g i n e e r i n gs c i e n c e h y b r i dm e t h o db a s e de - - c o m m e r c er e c o m m e n d a t i o n s y s t e ma n da p p l i c a t i o n m a s t e rc a n d i d a t e ：g um u d a n s u p e r v i s o r ：p r o f f ux i u f e n m a y2 0 1 0 f a c u l t yo fc o m p u t e r g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p - r c h i n a ，5 10 0 9 0 摘要 摘要 随着互联网的普及和电子商务的快速发展，电子商务系统提供更多选择的同时， 其结构也变得更加复杂，用户经常会迷失在大量的商品信息空间中，无法顺利找到 自己所需商品。电子商务推荐系统解决了“信息迷航 和“信息过载 问题，实现 了直接与用户交互，帮助用户快速找到他们真正所需购买的商品。电子商务推荐系 统能有效保留用户、防止客户流失，提高电子商务系统的销售量。但当前的电子商 务推荐系统在实际运用中还相当不成熟，仍然存在推荐质量不高、推荐实时性差、 数据稀疏性、冷启动等问题。 针对电子商务推荐系统面临的主要挑战，本文通过文献综述分析了当前国内外 电子商务推荐系统研究现状，归纳了主要推荐技术的优缺点。在原有的组合推荐系 统基础上，推出一种基于内容过滤、协同过滤和w e b 数据挖掘的混合方法推荐系统， 以协同过滤为主，内容过滤为辅，利用内容过滤来弥补协同过滤的缺点，解决数据 的稀疏性问题和扩展性问题，同时结合基于w e b 数据挖掘的推荐技术综合应用，通 过浏览器的方式进行用户评分数据收集与推荐结果显示，解决非注册用户的行为模 式，有效提高推荐系统的推荐质量和推荐效率。基于协同过滤产生的数据稀疏性问 题，以及冷启动和扩展性问题，恰恰可通过基于内容过滤的推荐方法来进行改善， 同时利用w e b 数据挖掘技术解决大量用户信息，特别是非注册用户的行为模型，三 种推荐方法的互补性使得各自的优点均得到发挥。该混合推荐技术充分利用了用户 的相关信息，结合用户隐性兴趣和显性兴趣，使得推荐结果更符合用户需求。本文 的主要研究工作包括：( 1 ) 对当前国内外主流推荐技术进行研究分析，发现普遍存在 推荐方法单一、推荐自动化程度低和缺乏个性化推荐等问题。( 2 ) 提出基于协同过滤 为主，w e b 挖掘和内容过滤为辅的转换型混合推荐方法，详细介绍了该混合方法模 型设计与实现，该方法的优势在于有效的弥补各自算法缺陷，同时充分发挥了各自 的优势。( 3 ) 以设计基于混合方法的数码电子商务推荐系统实验型网站为实例，并与 其他采用传统推荐方法的推荐系统作比较，得出客观有效的测试结果。 关键词：推荐系统；电子商务：混合推荐；协同过滤 广东工业大学硕士学位论文 a bs t r a c t w i t ht h ep o p u l a r i t yo ft h ei n t e r n e ta n dt h er a p i d d e v e l o p m e n to fe - c o m m e r c e ， e - c o m m e r c es y s t e m , w h i l ep r o v i d i n gm o r ec h o i c e s ，i t ss t r u c t u r eb e c o m e sm o r ec o m p l e x ， u s e r sa r eo f t e nl o s ti nt h ei n f o r m a t i o ns p a c eo fal a r g en u m b e ro fg o o d sc a nn o t s u c c e s s f u l l yf i n dt h ep r o d u c t st h e yn e e d e - c o m m e r c er e c o m m e n d a t i o ns y s t e ms o l v e s t h e ”i n f o r m a t i o nt r e k ”a n d ”i n f o r m a t i o no v e r l o a d ”p r o b l e m , a c h i e v e sad i r e c ta n d u s e r i n t e r a c t i o nt o h e l pu s e r sq u i c k l yf i n d w h a tt h e yr e a l l yn e e dt ob u y e - c o m m e r c e r e c o m m e n d a t i o ns y s t e mc a nk e e pt h eu s e r s ，p r e v e n tl o s so fc u s t o m e r s ，i n c r e a s es a l e so n e - c o m m e r c es y s t e m s h o w e v e r , t h ec u r r e n tr e c o m m e n d a t i o ns y s t e mi np r a c t i c a lu s ei s s t i l lq u i t ei m m a t u r e ，t h e r ea r es t i l ll o wr e c o m m e n d sq u a l i t y , b a dr e c o m m e n d e dr e a l - t i m e p e r f o r m a n c e ，d a t as p a r s e n e s s ，c o l ds t a r tp r o b l e m s f o rt h em a j o re c o m m e r c er e c o m m e n d a t i o ns y s t e mf a c e s ，t h i sl i t e r a t u r er e v i e w a n a l y z e dt h ec u r r e n ts t a t u so fd o m e s t i ca n di n t e r n a t i o n a le c o m m e r c er e c o m m e n d a t i o n s y s t e ms u m m a r i z e dt h em a i na d v a n t a g e sa n dd i s a d v a n t a g e so fr e c o m m e n d e dt e c h n o l o g y b a s e do nt h eo r i g i n a lc o m b i n a t i o nr e c o m m e n d a t i o ns y s t e m , i n t r o d u c i n gac o n t e n t b a s e d f i l t e r i n g ，c o l l a b o r a t i v ef i l t e r i n ga n dh y b r i dw e bd a t am i n i n gm e t h o d sr e c o m m e n d e db y t h e s y s t e m , m a i n l yt o c o l l a b o r a t i v e f i l t e r i n g ，c o n t e n tf i l t e r i n g ，g i v i n gt h e u s eo f c o l l a b o r a t i v e f i l t e r i n gc o n t e n tf i l t e r i n gt oc o m p e n s a t ef o rt h es h o r t c o m i n g s ，r e s o l v e s p a r s ed a t ap r o b l e m sa n ds c a l a b i l i t yi s s u e s ，c o m b i n e dw i t ht h er e c o m m e n d a t i o nb a s e do n w e bd a t am i n i n gt e c h n o l o g yi n t e g r a t e da p p l i c a t i o n ，b yt h ew a yt h eb r o w s e ru s e rr a t i n g d a t ac o l l e c t i o na n dr e c o m m e n dr e s u l t st oa d d r e s st h eb e h a v m ro f n o n r e g i s t e r e du s e r st o e f f e c t i v e l yi m p r o v et h er e c o m m e n d a t i o ns y s t e mr e c o m m e n d e dq u a l i t ya n de f f i c i e n c y r e c o m m e n d a t i o n s c o l l a b o r a t i v ef i l t e r i n gb a s e do nd a t ag e n e r a t e ds p a r s ep r o b l e m s ，c o l d s t a r ta n ds c a l a b i l i t yi s s u e s ，j u s tf i l t e r e dt h r o u g hc o n t e n t - b a s e dr e c o m m e n d a t i o na p p r o a c h t oi m p r o v e m e n t ，w h i l eu s i n gw e bd a t am i n i n gt e c h n o l o g yt os o l v eal a r g en u m b e ro f u s e ri n f o r m a t i o n ，i np a r t i c u l a rn o n - r e g i s t e r e du s e rb e h a v i o rm o d e l ，t h r e ec o m p l e m e n t a r y k i n d so fr e c o m m e n d e dm e t h o d st om a k ea d v a n t a g eo ft h et h r e em e t h o d sw e r eb r o u g h t i n t op l a y t h eh y b r i dr e c o m m e n d a t i o nt e c h n i q u em a k e sf u l lu s eo fu s e ri n f o r m a t i o n ， i i a b s t r a c t c o m b i n e dw i t hu s e ri n t e r e s ta n dd o m i n a n tl a t e n ti n t e r e s ti nm a k i n gt h er e s u l t sm o r ei n l i n ew i t hu s e rr e q u i r e m e n t sr e c o m m e n d e d t h em a i nr e s e a r c hw o r kt oi n c l u d e ： ( 1 ) r e c o m m e n d a t i o no nt h ec u r r e n tm a i n s t r e a mt e c h n o l o g yf o rd o m e s t i ca n df o r e i g n r e s e a r c ha n da n a l y s i s ，f o u n dt h a tas i n g l ec o m m o nr e c o m m e n d a t i o nm e t h o d sr e c o m m e n d al o wd e g r e eo fa u t o m a t i o na n dl a c ko fp e r s o n a l i z e dr e c o m m e n d a t i o n sa n do t h e ri s s u e s ( 2 ) p r o p o s e dm a i n l yb a s e do nc ol l a b o r a t i v ef i l t e r i n g ，w e bd a t am i n i n g ，a n dc o n t e n t f i l t e r i n gs e c o n d a r yc o n v e r s i o nh y b r i dr e c o m m e n d a t i o nm e t h o d ，d e t a i l e dm o d e lo ft h e m i x e dm e t h o dd e s i g na n di m p l e m e n t a t i o no ft h en e wm e t h o di sa ne f f e c t i v em e t h o dt o m a k eu pf o rt h e i rs h o r t c o m i n g s ，a n dg i v ef u l lp l a yt ot h e i ro w na d v a n t a g e ( 3 ) h y b r i d m e t h o dt od e s i g nd i g i t a le c o m m e r c e - b a s e dr e c o m m e n d a t i o ns y s t e mf o rt h ei n s t a n c eo f t h e e x p e r i m e n t a ls i t e ，a n dw i t ho t h e r t r a d i t i o n a lm e t h o d sr e c o m m e n d e db yt h e r e c o m m e n d a t i o ns y s t e mb yc o m p a r i n gt h et e s tr e s u l t so b t a i n e do b j e c t i v ea n de f f e c t i v e k e yw o r d s ：r e c o m m e n d e ds y s t e m ；e - c o m m e r c e ；h y b r i dr e c o m m e n d a t i o n ； c o l l a b o r a t i v ef i l t e r i n g i i i 目录 目录 j 1 2 i要l a b s t r a c t i i 目录1 r 0 0 n t i j n t s v l l l 第一章绪论1 1 1 论文的研究背景1 1 2 国外研究状况2 1 3 国内研究状况2 1 4 本文的研究意义3 1 5 本文的主要工作4 1 6 论文的组织结构5 1 7 本章小结5 第二章电子商务推荐系统及关键技术6 2 1 电子商务推荐系统概述一6 2 1 1 推荐系统的作用6 2 1 2 推荐系统的分类7 2 2 电子商务推荐系统相关技术8 2 3 电子商务相关推荐算法l0 2 3 1 关联规则推荐算法1 0 2 3 2 协同过滤推荐算法1 3 2 4 电子商务推荐系统的组成l8 2 4 1 电子商务推荐系统的输入18 2 4 2 电子商务推荐系统的输出19 2 5 本章小结2 0 第三章基于混合方法的推荐系统模型设计2 l 3 1 基于内容过滤的推荐系统2 l 3 1 1 基于内容过滤的推荐系统的优缺点2 1 3 2 基于协同过滤的推荐系统2 2 v 广东工业大学硕士学位论丈 3 2 1 基于协同过滤的推荐系统的优缺点2 2 3 3 混合方法推荐模型2 2 3 3 1 混合方法推荐模型设计思路2 3 3 3 2 混合推荐方法的设计2 5 3 4 混合方法推荐系统的组合模型2 8 3 5 本章小结2 9 第四章电子商务推荐系统的设计与应用3 0 4 1 系统需求分析3 0 4 2 基于混合方法推荐系统流程3 0 4 3 基于混合方法推荐系统框架3 2 4 4 推荐系统数据库设计3 4 4 4 1 交易数据库3 5 4 4 2 用户数据库3 6 4 4 3 商品数据库3 7 4 4 4 关系数据库3 9 4 5 推荐模型管理4 0 4 5 1 热销商品模块4 0 4 5 2 新到商品模块4 1 4 5 3c b f m 模块4 2 4 5 4 混合方法推荐模块4 2 4 6 混合推荐系统在数码电子商务网站中应用4 3 4 6 1 数据预处理4 3 4 6 2 用户评价反馈处理一4 7 4 6 3 客户端推荐页面一4 7 4 7 本章小结51 第五章混合方法的推荐算法实验分析5 2 5 1 实验目的5 2 5 2 实验方法。5 2 5 3 度量标准5 2 5 4 实验结果与质量分析5 2 v i 目录 5 5 本章小结5 3 结论! ；q l 参考文献5 6 攻读学位期间发表的论文6 0 独创性声明6 l j s 【谢6 2 v i i 广东工业大学硕士学位论文 c o n t e n t s a b s t r a c t ( c h i n e s e ) i a b s t r a c t 。i i c o n t e n t s ( c h i n e s e ) v c o n t e n t s i i c h a p t e r 1i n t r o d u c t i o n 1 1t h er e s e a r c hb a c k g r o u n d 1 1 2f o r e i g nr e s e a r c h 2 1 3l o c a lr e s e a r c h 2 1 4s i g n i f i c a n c eo f t h i ss t u d y 3 1 5m a i nt a s ko f t h i sp a p e r 4 1 6t h es t r u c t u r eo f t h i sp a p e r 5 1 7s u 压m a r y 5 c h a p t e r 2e - c o m m e r c er e c o m m e n d a t i o ns y s t e ma n dr e l a t e dt e c h n o l o g y 6 2 1e - c o m m e r c er e c o m m e n d a t i o ns y a e mo v e r v i e w 6 2 1 1t h er o l eo f r e c o m m e n d a t i o ns y s t e m ：6 2 1 2c l a s s i f i c a t i o no f r e c o m m e n d a t i o ns y s t e m 7 2 2e - c o m m e r c er e c o m m e n d a t i o ns y s t e mr e l a t e dt e c h n o l o g y 8 2 3e l e c t r o n i cc o m m e r c er e c o m m e n d a t i o na l g o r i t h m 1 0 2 3 1r e c o m m e n d e da l g o r i t h mf o ra s s o c i a t i o nr u l e s 10 2 ：；2c o l l a b o r a t i v ef i l t e r i n ga l g o r i t h m 13 2 4c o m p o s i t i o no f e c o m m e r c er e c o m m e n d a t i o ns y s t e m 18 2 4 1e - c o m m e r c er e c o m m e n d a t i o ns y s t e mi n p u t 18 2 4 2e - c o m m e r c er e c o m m e n d a t i o ns y s t e mo u t p u t 1 9 2 5s u m m a r y 2 0 c h a p t e r 3r e c o m m e n d a t i o ns y s t e mb a s e do nh y b r i dm o d e f i n gm e t h o d 21 ： 1c o n t e n t - b a s e df i l t e r i n gr e c o m m e n d a t i o ns y s t e m 2 1 1 i 1 1a d v a n t a g e sa n d d i s a d v a n t a g e s 2 1 3 2b a s e dc o l l a b o r a t i v ef i l t e r i n gr e c o m m e n d a t i o ns y s t e m 2 2 v i i i c u nie nis 3 2 1a d v a n t a g e sa n dd i s a d v a n t a g e s 2 2 3 3r e c o m m e n d e dm o d e lh y b r i dm e t h o d 2 2 3 3 1r e c o m m e n d e dd e s i g nc o n c e p tm o d e lh y b r i dm e t h o d 2 3 3 3 2r e c o m m e n d e dm e t h o do f d e s i g n i n gh y b r i d 2 5 3 4h y b r i dm e t h o dc o m b i n e dm o d e lr e c o m m e n d a t i o ns y s t e m 2 8 3 5s u m m a r y 2 9 c h a p t e r4e - c o m m e r c er e c o m m e n d a t i o ns y s t e md e s i g na n da p p f i c a t i o n 3 0 4 1s y s t e mr e q u i r e m e n t sa n a l y s i s 3 0 4 2p r o c e s sr e c o m m e n d a t i o ns y s t e mb a s e do nh y b r i da p p r o a c h 3 0 4 3n ef r a m e w o r ko f r e c o m m e n d a t i o ns y s t e mb a s e do nh y b r i da p p r o a c h 一3 2 4 4r e c o m m e n d e ds y s t e md a t a b a s e 3 4 4 4 1t r a n s a c t i o nd a t a b a s e 3 5 4 4 2u s e rd a t a b a s e ：3 6 4 4 3p r o d u c td a t a b a s e 3 7 4 4 4r e l a t i o n a ld a t a b a s e 3 9 4 5r e c o m m e n d e dm o d e lm a n a g e m e n t 4 0 4 5 1h o tp r o d u c t sm o d u l e 4 0 4 5 2n e wp r o d u c t sm o d u l e 4 1 4 5 3c b f mm o d u l e 4 2 4 5 4r e c o m m e n d e dm o d u l e sh y b r i dm e t h o d 4 2 4 6h y b r i dr e c o m m e n d a t i o ns y s t e ma p p l i c a t i o ni nt h ed i g i t a le - c o m m e r c ew e b s r e 4 3 4 6 1d a t ap r e p r o c e s s i n g 4 3 4 6 2u s e re v a l u a t i o n 危e d b a c kp r o c e s s i n g 4 7 4 6 3c l i e n t sr e c o m m e n dp a g e 4 7 4 7s u m m a r y 51 c h a p t e r5e x p e r i m e n t a lh y b r i dm e t h o d o fr e c o m m e n d a t i o na l g o r i t h m 5 2 5 1p u r p o s eo f t h ee x p e r i m e n t 5 2 5 2e x p e r i m e n t a lm e t h o d s 5 2 5 3m e t r i c s 5 2 5 4e x p e r i m e n t a lr e s u l t sa n dq u a l i t ya n a l y s i s 5 2 5 5s ij m m a r y 5 3 i x 广东工业大学硕士学位论丈 c o n c l u s i o n 5 4 r e f e r e n c e s 5 6 d u r i n gt h ep a p e 瑙p u b l i s h e dd e g r e e 6 0 o r i g i n a ls t a t e m e n t 6 1 t h a n k s 6 2 x 第一章绪论 1 1 论文的研究背景 第一章绪论弟一早三百下匕 随着互联网的普及和电子商务的快速发展，电子商务系统提供的选择越来越多， 同时其结构也变得更复杂，用户经常会迷失在大量的商品信息空间中，无法顺利找 到自己所需的商品。为了给用户提供更佳服务，同时满足用户个性化服务的需求， 电子商务推荐系统应运而生。电子商务推荐系统解决了“信息迷航 和“信息过载 的问题，实现直接与用户交互，模拟商店销售人员向用户提供商品推荐，帮助用户 快速又准确地找到他们真正需要的商品。多项调查结果表明，用户更愿意访问提供 个性化服务的网站。电子商务需要推荐系统的大力支持来帮助用户找到所需商品， 提高商品的销售量；电子商务系统自身的特点也有利于推荐系统的顺利实施，参考 文献可知其主要原因包括以下几个方面【l 】 ( 1 ) 丰富的数据内容：在电子商务环境下可以收集到内容比较丰富的各种数据， 丰富的数据为建立多种推荐模型，产生高质量的推荐提供了可能。例如用户注册信 息、用户浏览收藏信息、商品信息、历史信息、用户交易数据、用户评分数据等。 ( 2 ) 电子化收集数据：电子商务系统中的各种数据可以通过电子化收集，减少 人工收集数据方式可能出现的人工误差，减少了噪音数据，各种数据的可信度增高， 而且数据预处理过程也变得更加简单。 ( 3 ) 易于评估推荐效果：在电子商务中实施推荐系统的投资回报率易通过电子 商务w e b 网站访问量的增加、销售额的增加等指标直接进行评估。 电子商务推荐系统就是w e b 服务器挖掘用户的兴趣爱好，为用户推荐可能感兴 趣的内容或者欲购买的商品，将电子商务网站的浏览用户转变成购买者，从而提高 电子商务系统的交叉销售。常见的方式有自适应站点，即通过观察用户的访问模式， 自动改进站点的结构和表现形式，以反映用户的兴趣所在。建立自适应站点的主要 步骤是：首先发现用户聚类，然后为每个聚类的用户建立配置文件，最后将其保存在 w e b 服务器中。电子商务推荐系统能有效保留用户、防止用户流失，提高电子商务 系统的销售。但当前的电子商务推荐系统在实际运用中还相当不成熟，仍然存在许 广东工业大学硕士学位论丈 多问题，如推荐质量受到稀疏的用户评价数据的严重影响，系统的可扩展性能差， 推荐缺乏多样性无法涵盖用户的完整兴趣等。 1 2 国外研究状况 当前在国外电子商务推荐系统理论和实践研究都已达到较高水平，国外许多部 门早将电子商务推荐系统作为研究主题，如美国计算机协会a c m ( a s s o c i a t i o nf o r c o m p u t i n gm a c h i n e r y ) 在1 9 9 9 年就开始每年召开一次电子商务的研讨会，其中关于 电子商务推荐系统的研究性文章占据了一个较大的比重。a c m 的信息检索特别兴趣 组s i g i r 在召开第2 4 次研究和发展会议上，开始专门把推荐系统作为一个研讨主 题。国外对电子商务推荐技术理论知识和实践操作有深入研究，所以国外推荐技术 的研究综述有助于我们全面认识当前电子商务推荐系统的发展情况。推荐系统是信 息检索，信息过滤和电子商务个性化服务领域的研究热点，美国几乎所有知名的大 学都有专门从事推荐系统的研究组，到目前为止，国外许多著名研究机构和商业公 司都开展了推荐系统的研究，出现了大量研究型推荐系统实例：如x e r o xp a r c 研究 中心提出的一个研究型协同过滤推荐系统t y p e s t r y ，用于过滤电子邮件、推荐电 子新闻；c a r n e g i e m e l l o n 大学开发的主动协同过滤推荐系统a c f a c t i v e c o l l a b o r a t i v ef i l t e r i n g ，用于电子文档推荐；s u r f l e n 系统是一个基于规则的推荐系 统，系统的核心技术是a p r i o r i 关联规则算法；还有i r a t t j 系统：是i b mt j w a t s o n 研 究中心开发的智能推荐分析系统( i n t e l l i g e n tr e c o m m e n d a t i o na n a l y z e r - i r a ) ，它是基 于内容过滤和协同过滤两种技术于一体的个性化电子商务推荐原型系统。在商业应 用上，a m a z o n t 4 j 、e b a y t s l 、c d n o w t s j 等都是包含推荐系统的电子商务网站。电子商 务推荐系统中的推荐技术主要包括关联规, 贝j j ( a s s o c i a t i o nr u l e s ) ，基于内容的过滤 ( c o n t e n t b a s e df i l t e r i n g ) 和协同过滤( c o l l a b o r a t i v ef i l t e r i n g ) - - - 种。这三种推荐方法都 有其各自优缺点，国外有不少研究机构和研究者对它们进行研究与改进。 1 3 国内研究状况 虽然推荐系统在国内电子商务领域已得到应用，但目前我国在个性化推荐和自 动推荐方面的理论研究还处于初步阶段。目前，国内的研究主要集中在一些重点高 校及科研所，部分课题由国家“8 6 3 ”计划及国家自然科学基金资助。随着我国电子商 2 第一章绪论 务的发展，对个性化推荐需求不断增加，基于开放式推荐系统构架( o a r s ) 的推荐系 统e c m i n e 一 l 已经在“易购3 6 5 ”( w w w e 9 0 3 6 5 c o m ) 电子商务网站j 下式运行。它对电 子商务推荐系统的推荐算法改进及推荐系统体系结构设计等关键技术进行了深入的 研究和探索，提出了多种推荐模型电子商务推荐系统体系结构，并实现了多模型推 荐系统。文献【7 】实现了一个基于w e b 挖掘技术的个性化推荐原型系统w e b t u t o r , 这 是一个基于w e b 的远程教学模拟系统，涵盖了数据预处理、特征规则挖掘、关联规 则挖掘、分类规则挖掘和聚类规则挖掘等离线处理技术，以及根据页面访问量特征 规则、页面间关联规则、用户分类规则和访问模式聚类规则所进行的在线推荐技术。 随着电子商务系统规模越来越大，国内推荐系统面临着一系列挑战：( 1 ) 实时性 与推荐质量之间的平衡，推荐系统的推荐精度和实时性是一对矛盾。推荐系统在处 理大规模数据时难以满足系统实时性的要求，大部分推荐技术在保证实时性要求的 同时，是以牺牲推荐系统的推荐质量为前提的。在保证实时推荐服务的同时，如何 有效提高推荐系统的推荐质量，需要做深一步的研究。( 2 ) 可扩展性问题，随着系统 用户和资源的增多，系统的性能会降低。( 3 ) 个性化和智能化程度不高，个性化