（计算机应用技术专业论文）电子商务环境下协同过滤推荐方法的应用分析与研究.pdf

电 子 商 务 环 境 下 协 同 过 。 推 翼 7 u b 4 8 9 上海师范大学硕士论文 法的应用分析与研究 摘 要 随着i n t e rn e t 的普及与电子商务的快速发展， 许多著名的电子商务网站都开 发了 推荐系统对顾客进行个性化信息推荐服务。电子商务推荐系统是电子商务 网站用来向 顾客提供商品信息和建议，并模拟商店销售人员帮助顾客顺利完成 购买过程。 电 子商务推荐系统在理论和实践上都得到了 很大发展， 特别是推荐方法的 研究是其核心部分，采用哪种推荐方法对于推荐系统的效果和效率至关重要。 推荐方法包括:知识工程、基于内容的推荐方法、协同过滤推荐方法、混合推 荐方法、数据挖掘方法。现在协同过滤方法是最成功的推荐方法。电子商务系 统规模的日 益扩大， 协同过滤推荐方法也面临诸多挑战: 推荐质量、可扩展性、 数据稀疏性、冷开始问题等等。 本文对电子商务推荐系统进行了 深入地研究，详尽分析了协同过滤算法所 面临的挑战，在此基础上，提出了u s e r - b a s e d 协同过滤推荐算法的改进算法。 该算法首先离线预计算项目 之间的相似度，结果保存在数据库中;其次在用户 的邻居形成阶段，我们不仅考虑了用户之间的关联，而且利用预计算项目 间相 似性来预测用户间评分并集中未评分的项目 的相似度;最后根据用户最近邻居 集合预测对每个项目的评分，产生推荐给目标用户。 本文通过开发的实验测试系统对改进的协同过滤算法进行了测试，验证了 改进算法的合理性和有效性，从而可以 有效解决用户评分数据极端稀疏情况下 传统方法存在的不足，有效地提高了电子商务推荐算法的推荐质量。 关键字:推荐系统，协同过滤方法，数据挖掘，相似性 上海师范大学硕士论文电 子商务环境下协同 过滤推荐方法的 应用分析与研究 abs t r a c t wi t h t h e p o p u l a r i z a t i o n o f i n t e rn e t a n d t h e r a p i d d e v e l o p m e n t o f e - c o m m e r c e , m a n y f a m o u s e - c o m m e r c e s it e s h a v e d e v e l o p e d r e c o m m e n d e r s y s t e m f o r p r o v i d i n g p e r s o n a l i z a t i o n s e r v i c e t o c o n s u m e r s . r e c o m m e n d e r s y s t e m s a r e u s e d b y e - c o m m e r c e s i t e s t o s u g g e s t p r o d u c t s t h e i r c u s t o m e r s a n d t o p r o v i d e c o n s u m e r s w i t h i n f o r m a t i o n t o h e lp t h e m d e c i d e w h i c h p r o d u c t s t o p u r c h a s e . o n t h e a s p e c t o f t h e o r y r e s e a r c h a n d f a c t u a l a p p l i c a t i o n , e - c o m m e r c e r e c o m m e n d e r s y s t e m s h a v e d e v e l o p e d r a p i d l y . r e c o m m e n d a t i o n a p p r o a c h e s a r e i n t h e h e a rt o f r e c o m m e n d e r s y s t e m , s o w h i c h a p p roa c h i s a d o p t e d i s c r u c i a l t o t h e s u c c e s s o f r e c o m m e n d i n g q u a l i t y a s w e l l a s e f f i c i e n c y . t o d a y , f i v e a p p r o a c h e s a r e u s e d b y r e c o m m e n d e r s y s t e m s t o g e n e r a t e r e c o m m e n d a t i o n s , n a m e l y k n o w l e d g e e n g i n e e r i n g , c o l la b o r a t i v e f i l t e r in g , c o n t e n t - b a s e d , h y b r i d a n d d a t a m i n e a p p r o a c h e s . c o l l a b o r a t i v e f i l t e r i n g h a s b e e n v e ry s u c c e s s f u l i n b o t h r e s e a r c h a n d p r a c t i c e . b u t , w i t h e x p a n s i o n o f e - c o m m e r c e s y s t e ms s i z e ， c o l l a b o r a t i v e f i l t e r i n g a p p r o a c h s u ff e r fr o m m a n y c h a l l e n g e s , f o r i n s t a n c e , q u a l i t y o f r e c o m m e n d a t i o n s , s c a l a b i l i t y , s p a r s i t y , c o l d - s t a r t p r o b l e m. we s t u d i e d d e e p l y e - c o m m e r c e r e c o m m e n d e r s y s t e m a n d a n a l y s e d c h a l l e n g e s w h i c h c o l l a b o r a t i v e f i l t e r i n g r e c o m m e n d a t io n a p p r o a c h s u f f e r e d f r o m , t h e n w e p r e s e n t e d a n i m p r o v e d c o l l a b o r a t i v e f i l t e r i n g a l g o r i t h m . t h e m a i n i d e a o f i m p r o v e d a l g o r i th m i s a s f o l l o w s : f i r s t , t o c o m p u t e o f f l i n e i t e m s s i m i l a r i t y , a n d t o s a v e r e s u l t s i n d a t a b a s e ; s e c o n d , i n t h e s t e p o f u s e r s n e i g h b o r s f o r m a t i o n , w e n o t o n l y c o n s i d e r c o r r e l a t i o n o f u s e r s , b u t a l s o u s e p r e c o m p u t e d i t e m s s i m i l i a r i t y t o p r e d i c t e d r a t i n g s o f i t e m s w h i c h w e r e n o t r a t e d ; f i n a l l y , t o p r e d i c t e e v e r y i t e m s r a t i n g a c c o r d i n g t o t h e n e a r e s t n e i g h b o r s a n d t o g e n e r a t e r e c o m m e n d a t i o n to t a r g e t u s e r . we d e s i gne d e x p e r i m e n t t e s t s y s t e m a n d t e s t e d t h i s i m p r o v e d a l g o r i t h m . t h e e x p e r i m e n t r e s u l t p r o v e d t h a t t h i s a l g o r i t h m i s l o g i c a l a n d e ff e c t i v e . c o m p a r e t o t r a n d i t i o n a l c o l l a b o r a t i v e f i l t e r i n g a l g o r i t h m , t h i s a l g o r i t h m c a n o v e r c o m e t h e s p a r s i t y o f u s e r s r a t i n g i n f o r m a t i o n a n d g e n e r a t e b e t t e r r e c o m m d a t i o n r e s u l t s . k e y w o r d s : r e c o m m e n d e r s y s t e m , c o l l a b o r a t i v e f i l t e r i n g , d a t a m i n e , s i m i l a r i t y 上海师范大学硕士论文电子商务 环境下协同 过滤推荐方法的应用分析与研究 第一章 绪论 1 . 1电子商务推荐系统与个性化服务 1 . 1 . 1 为什么需要构建电子商务推荐系统 随着i n t e rn e t 的普及与电子商务的快速发展， 一方面， 电子商务的发展正极 大改变着我们每个人的生活，网上购物的经历让我们感受到电子商务带来的惊 喜; 另一方面，由于近年来供应链和物流的发展，电子商务的规模进一步扩大， 用户经常会迷失在大量的商品信息空间中，出现了信息超载 ( i n f o r m a t i o n o v e r l o a d ) ， 增加了用户购买所需商品的难度， 用户在找到自己需要的商品之前， 必须浏览大量的无关信息。 h a r d w a r d 商学院的j o e p i n e 在 大规模定制一书中，提出现代企业需要 从旧世界的大规模生产 ( 大规模生产以标准化产品、计划市场、长的产品生命 期和开发周期为特征)向新世界的大规模定制 ( 大规模定制以为不同的顾客提 供多样和定制的产品为特征)转变。p i n e 指出企业需要能够开发多种产品去满 足不同用户的多种需求。 比较大型超级市场，电子商务给用户提供更多的选择 ( 例如代替在大型超 级市场中的几万本书籍，顾客可以在网上书店的上百万本书籍中进行选择)。 然而日 益增加的选择也增加了顾客选出所需商品前必须处理的信息量。 面对信息超载的问题，电子商务网站实施大规模定制时不能仅仅是提供更 多的产品选择，而且同样重要的是以何种方式来提供这些选择。解决方案就是 电 子商务推荐系统川 。 1 . 1 .2电子商务推荐系统 电 子商务推荐系统( e - c o m m e r c e r e c o m m e n d e r s y s t e m s ) 直接与 用户交互， 模拟商店销售人员向用户提供商品推荐，帮助用户找到所需商品，从而顺利完 成购买过程2 1 。电 子商务推荐系统产生的 推荐可以 基于电 子商务系统的 销售 排 行、用户以前的购买行为、用户表现出来的兴趣爱好等。 电 子商务推荐系统可通过以 下三种途径增强电 子商务的销售能力 l 2 1 , 上海师范大学硕士论文电子商务 环境下协同 过滤推荐方法的应用分析与研究 第一章 绪论 1 . 1电子商务推荐系统与个性化服务 1 . 1 . 1 为什么需要构建电子商务推荐系统 随着i n t e rn e t 的普及与电子商务的快速发展， 一方面， 电子商务的发展正极 大改变着我们每个人的生活，网上购物的经历让我们感受到电子商务带来的惊 喜; 另一方面，由于近年来供应链和物流的发展，电子商务的规模进一步扩大， 用户经常会迷失在大量的商品信息空间中，出现了信息超载 ( i n f o r m a t i o n o v e r l o a d ) ， 增加了用户购买所需商品的难度， 用户在找到自己需要的商品之前， 必须浏览大量的无关信息。 h a r d w a r d 商学院的j o e p i n e 在 大规模定制一书中，提出现代企业需要 从旧世界的大规模生产 ( 大规模生产以标准化产品、计划市场、长的产品生命 期和开发周期为特征)向新世界的大规模定制 ( 大规模定制以为不同的顾客提 供多样和定制的产品为特征)转变。p i n e 指出企业需要能够开发多种产品去满 足不同用户的多种需求。 比较大型超级市场，电子商务给用户提供更多的选择 ( 例如代替在大型超 级市场中的几万本书籍，顾客可以在网上书店的上百万本书籍中进行选择)。 然而日 益增加的选择也增加了顾客选出所需商品前必须处理的信息量。 面对信息超载的问题，电子商务网站实施大规模定制时不能仅仅是提供更 多的产品选择，而且同样重要的是以何种方式来提供这些选择。解决方案就是 电 子商务推荐系统川 。 1 . 1 .2电子商务推荐系统 电 子商务推荐系统( e - c o m m e r c e r e c o m m e n d e r s y s t e m s ) 直接与 用户交互， 模拟商店销售人员向用户提供商品推荐，帮助用户找到所需商品，从而顺利完 成购买过程2 1 。电 子商务推荐系统产生的 推荐可以 基于电 子商务系统的 销售 排 行、用户以前的购买行为、用户表现出来的兴趣爱好等。 电 子商务推荐系统可通过以 下三种途径增强电 子商务的销售能力 l 2 1 , 上海师范大学硕士论文电子商务环境下协同过滤推荐方法的应用分析与研究 1 )将浏 览 者 转变 为 购买 者 ( c o n v e r tin g b r o w s e r s i n to b u y e r s ) :网 站的 访问 者往往只是随便浏览，并没有购买意向。如果这个时候推荐系统能够 有针对性地向浏览者提供高质量的商品推荐的话，就有可能引起浏览 者的购买兴趣，从而从访问者转变成购买者。 2 )增加交 叉销售 ( i n c r e a s i n g c r o s s - s e l l ) : 推荐系统通过向 客 户推 荐额外的 商品来提高站点企业的交叉销售量，如果有一个比较好的推荐系统， 则企业的平均定购就可能增加。 例如站点可以根据客户当前购物车中 的商品向 他们推荐一些和这些已 购买的物品相关的商品。 3 )构 建 用 户的 忠 诚 度 ( b u il d i n g l o y a l t y ) : 在电 子 商 务 环 境 下， 站 点 客 户 要 到竞争者那里去只需要简单的点击操作，因此获得用户的忠诚度是商 业竞争中的一个重要营销策略。可以想象一下，如果顾客每次购买商 品的时候，推荐系统都可以进行高效的商品推荐，无疑会吸引顾客下 次继续在网站上进行商品选购。而且，推荐系统可以学习顾客之间的 购买行为，帮助志趣相投的顾客建立联系， 越多的用户得到站点推荐 系统给他们提供的个性化服务，有助于提高顾客对网站的忠诚度。 1 . 1 .3 个性化信息推荐服务 电子商务个性化服务在国内 外己 渐成潮流，成为推动电子商务发展的加速 器。如今，一些开展了电子商务的企业纷纷打出了个性化服务这张王牌。个性 化对于企业电子商务而言， 不仅在理论上而且在实践中都是值得重视和发展的。 个性化服务 ( p e r s o n a l iz a t i o n s e r v e ) 0 1 : 个性化信息服 务根据用户的不同 情况， 提供有针对性的 服务。就是在用户浏览网站时，尽可能地迎合每个用户 的浏览兴趣并且不断调整自己来适应用户浏览兴趣的变化，使得每个用户都有 是该we b 站点唯一用户的感觉。 个性化服务 需要获取有关用户的 知识: 建立用户的 信息需求模型。 利用有 关用户的知识， 有针对性地获取或帮助用户筛选信息资源，并能够逐渐学习用 户需求的变化。 高质量的个性化信息推荐服务包括如下内涵: 推荐信息的准确性:信息推荐系统提供的信息要尽可能地满足用户的 需求， 这就需要对用户需求的准确把握、 对信息内 容的准确把握、对 信息内容和用户需求之间相关性的准确把握。 推荐信息响应的及时性:网络应用面对的服务客户是数以十万计的。 上海师范大学硕士论文电子商务环境下协同过滤推荐方法的应用分析与研究 1 )将浏 览 者 转变 为 购买 者 ( c o n v e r tin g b r o w s e r s i n to b u y e r s ) :网 站的 访问 者往往只是随便浏览，并没有购买意向。如果这个时候推荐系统能够 有针对性地向浏览者提供高质量的商品推荐的话，就有可能引起浏览 者的购买兴趣，从而从访问者转变成购买者。 2 )增加交 叉销售 ( i n c r e a s i n g c r o s s - s e l l ) : 推荐系统通过向 客 户推 荐额外的 商品来提高站点企业的交叉销售量，如果有一个比较好的推荐系统， 则企业的平均定购就可能增加。 例如站点可以根据客户当前购物车中 的商品向 他们推荐一些和这些已 购买的物品相关的商品。 3 )构 建 用 户的 忠 诚 度 ( b u il d i n g l o y a l t y ) : 在电 子 商 务 环 境 下， 站 点 客 户 要 到竞争者那里去只需要简单的点击操作，因此获得用户的忠诚度是商 业竞争中的一个重要营销策略。可以想象一下，如果顾客每次购买商 品的时候，推荐系统都可以进行高效的商品推荐，无疑会吸引顾客下 次继续在网站上进行商品选购。而且，推荐系统可以学习顾客之间的 购买行为，帮助志趣相投的顾客建立联系， 越多的用户得到站点推荐 系统给他们提供的个性化服务，有助于提高顾客对网站的忠诚度。 1 . 1 .3 个性化信息推荐服务 电子商务个性化服务在国内 外己 渐成潮流，成为推动电子商务发展的加速 器。如今，一些开展了电子商务的企业纷纷打出了个性化服务这张王牌。个性 化对于企业电子商务而言， 不仅在理论上而且在实践中都是值得重视和发展的。 个性化服务 ( p e r s o n a l iz a t i o n s e r v e ) 0 1 : 个性化信息服 务根据用户的不同 情况， 提供有针对性的 服务。就是在用户浏览网站时，尽可能地迎合每个用户 的浏览兴趣并且不断调整自己来适应用户浏览兴趣的变化，使得每个用户都有 是该we b 站点唯一用户的感觉。 个性化服务 需要获取有关用户的 知识: 建立用户的 信息需求模型。 利用有 关用户的知识， 有针对性地获取或帮助用户筛选信息资源，并能够逐渐学习用 户需求的变化。 高质量的个性化信息推荐服务包括如下内涵: 推荐信息的准确性:信息推荐系统提供的信息要尽可能地满足用户的 需求， 这就需要对用户需求的准确把握、 对信息内 容的准确把握、对 信息内容和用户需求之间相关性的准确把握。 推荐信息响应的及时性:网络应用面对的服务客户是数以十万计的。 上海师范大学硕士论文电子商务环境下协同过池推荐方法的应用分析与研究 面对大量用户的信息需求， 推荐系统要及时地对用户做出有效的反馈。 3 )用 户为中 心: 信 息 推荐 系统 要以 用 户为 中 心 进 行服 务 t7 1 ， 这 就 要方 便 用 户的使用。例如:系统主动将信息推荐给用户:用户可以方便地表达 自己的需求;系统要及时适应用户需求的变化。 1 . 2 推荐系统在电 子商务中的意义 电子商务推荐系统是现代电子商务发展的产物， 首先， 在理论研究方面， 电 子商务推荐系统具有较高的学术价值。自 从1 9 9 2 年以 来， 电 子商务推荐系统 和协同过滤推荐被国际学术界广泛关注，并逐渐被应用于各个行业。但是传统 的协同过滤推荐存在的稀疏性、可扩展性等问题严重影响了推荐性能，成为国 内外研究学者的研究焦点，对电子商务推荐系统中协同过滤推荐的研究在学术 研究领域占有重要的地位。 其次，在实际应用方面，研究电子商务推荐系统对企业和社会具有很高的 经济价值。顾客是利润的来源，谁能提供给顾客更好、更满意、更具个性化的 产品和服务，谁就能赢得市场。应该看到，电子商务模式使用户从物理购物环 境转向虚拟购物环境的同时，也对企业服务提出了许多新的、更高的要求，包 括商品选购便捷、付款方便、质量保证、送货及时、退货容易等。其中首先遇 到的一个重要问 题就是如何满足不同顾客对不同商品的个性化需求，提供给顾 客所需要的商品信息，以便顾客选购，而这正是企业价值链的源头和市场营销 的起点。 据因 特网 研 究 机构j u p it e r c o m m u n i c a t io n s ( h t tp :/ / w w w .j u p .c o m / ) 报道， 通 过 对2 5 个电子商务消费网站的观察发现， 这些网站在提供了推荐系统后的第一年 中，平均增加了4 7 % 的新客户，利润同比增加了5 2 %。另一个因特网研究机构 n i e l s e n n e t r a t i n g ( h t t p :/ / w w w .n e t r a t i n g s .c o m 乃 报道， 与一般的电 子商务网 站比 较， . 提供推荐系统的电子商务网站可以将更多的访问者变为购买者。因特网咨 询公司a p p i a n ( h tt p :/ w w w .a p p i a n c o r p .c o m / ) 估计， 随 着电 子商务中 智能 化的 发 展，由 此带来的 利润将大幅 度增加19 近几年电子商务的快速发展推动了推荐系统的发展，成为电子商务中的主 流 发展 方 向 。在 国外 ，几 乎 所有 大 型 的 电子 商 务系 统 ，例 如 a m a z o n ( w w w .a m a z o n .c o m ) , c d n o w ( w w w .c d n o w .c o m ) , e b a y ( w w w .e b a y .c o m ) , m o v i e f i n d e r ( w w w .m o v i e f i n d e r . c o m ) , r e e l ( w w w . r e e l .c o m ) 等，已 经不同程 度的 上海师范大学硕士论文电子商务环境下协同过池推荐方法的应用分析与研究 面对大量用户的信息需求， 推荐系统要及时地对用户做出有效的反馈。 3 )用 户为中 心: 信 息 推荐 系统 要以 用 户为 中 心 进 行服 务 t7 1 ， 这 就 要方 便 用 户的使用。例如:系统主动将信息推荐给用户:用户可以方便地表达 自己的需求;系统要及时适应用户需求的变化。 1 . 2 推荐系统在电 子商务中的意义 电子商务推荐系统是现代电子商务发展的产物， 首先， 在理论研究方面， 电 子商务推荐系统具有较高的学术价值。自 从1 9 9 2 年以 来， 电 子商务推荐系统 和协同过滤推荐被国际学术界广泛关注，并逐渐被应用于各个行业。但是传统 的协同过滤推荐存在的稀疏性、可扩展性等问题严重影响了推荐性能，成为国 内外研究学者的研究焦点，对电子商务推荐系统中协同过滤推荐的研究在学术 研究领域占有重要的地位。 其次，在实际应用方面，研究电子商务推荐系统对企业和社会具有很高的 经济价值。顾客是利润的来源，谁能提供给顾客更好、更满意、更具个性化的 产品和服务，谁就能赢得市场。应该看到，电子商务模式使用户从物理购物环 境转向虚拟购物环境的同时，也对企业服务提出了许多新的、更高的要求，包 括商品选购便捷、付款方便、质量保证、送货及时、退货容易等。其中首先遇 到的一个重要问 题就是如何满足不同顾客对不同商品的个性化需求，提供给顾 客所需要的商品信息，以便顾客选购，而这正是企业价值链的源头和市场营销 的起点。 据因 特网 研 究 机构j u p it e r c o m m u n i c a t io n s ( h t tp :/ / w w w .j u p .c o m / ) 报道， 通 过 对2 5 个电子商务消费网站的观察发现， 这些网站在提供了推荐系统后的第一年 中，平均增加了4 7 % 的新客户，利润同比增加了5 2 %。另一个因特网研究机构 n i e l s e n n e t r a t i n g ( h t t p :/ / w w w .n e t r a t i n g s .c o m 乃 报道， 与一般的电 子商务网 站比 较， . 提供推荐系统的电子商务网站可以将更多的访问者变为购买者。因特网咨 询公司a p p i a n ( h tt p :/ w w w .a p p i a n c o r p .c o m / ) 估计， 随 着电 子商务中 智能 化的 发 展，由 此带来的 利润将大幅 度增加19 近几年电子商务的快速发展推动了推荐系统的发展，成为电子商务中的主 流 发展 方 向 。在 国外 ，几 乎 所有 大 型 的 电子 商 务系 统 ，例 如 a m a z o n ( w w w .a m a z o n .c o m ) , c d n o w ( w w w .c d n o w .c o m ) , e b a y ( w w w .e b a y .c o m ) , m o v i e f i n d e r ( w w w .m o v i e f i n d e r . c o m ) , r e e l ( w w w . r e e l .c o m ) 等，已 经不同程 度的 上海师范大学硕士论文电 子商务环境下协同过滤推荐方法的应用分析与研究 使用了各种形式的电子商务推荐系统。成功的电 子商务推荐系统将会产生巨大 的经济社会效益。在国内，个性化推荐也在电子商务领域初见倪端。很多企业 己 经十分注重通过这种方式来提高电子商务的竞争力。国内的新浪商城、网易 商城、s o h u 在线购物以及当当网上书店也都有适合自 身网站特色的 推荐系统。 由上可见，个性化的推荐服务在改善顾客关系、培养顾客忠诚度以及增加 网上销售方面具有明显的效果. 但是如何为顾客提供更加贴近生活的在线服务， 如何为每个顾客提供独特的商品信息，如何使推荐技术更高效的应用到这个领 域中， 这些问 题将不断地推动电 子商务个性化服务技术的发展， 创造出更多的 社会价值和经济价值。 1 . 3 论文的研究内容和工作 本文研究的对象是电子商务推荐系统中的协同过滤推荐方法。针对电子商 务推荐系统面临的主要挑战，对电子商务推荐系统中协同过滤推荐算法进行了 探索和研究。木文的研究内容主要包括: 1 )对不同的电 子商务推荐方法及其在电 子商务推荐系统中的应用进行研 究和分析。 2 )详细研究和分析了传统的协同过滤算法在应用中所面临的问 题和挑 战，例如:推荐质量、可扩展性、数据稀疏性、冷开始问题等等。 3 )结 合传统的 协同 过滤算法的 思 想， 本文 提出了 一种 u s e r - b a s e d 协同 过 滤推荐算法的改进算法，并设计了仿真实验。 本文主要研究成果是提出了u s e r - b a s e d 协同过滤算法的改进算法: 1 )算法利用选择的相似性度量方法离线预计算项目 之间的相似度与项目 最近邻居，结果保存于数据库中。 2 )利用 传统的u s e r - b a s e d 协同 过滤 算 法形 成 邻 居， 在 这一 步 骤中 ， 计 算 用户间相似度时需要计算两个用户评分集合的并集， . 在并集中如果用 户对某个项目未评分，则利用己经预计算的存于数据库中的项目 相似 度及项目最近邻居来预测用户对该项目的评分，然后计算用户的相似 度，形成用户的最近邻居集合。 3 )最后， 利用用户的 最近邻居集合， 预测对每个项目 的 评分， 产生 推荐 给目标用户。 最后，本文设计了仿真实验，实验实现了u s e r - b a s e d协同过滤推荐算法、 上海师范大学硕士论文电 子商务环境下协同过滤推荐方法的应用分析与研究 使用了各种形式的电子商务推荐系统。成功的电 子商务推荐系统将会产生巨大 的经济社会效益。在国内，个性化推荐也在电子商务领域初见倪端。很多企业 己 经十分注重通过这种方式来提高电子商务的竞争力。国内的新浪商城、网易 商城、s o h u 在线购物以及当当网上书店也都有适合自 身网站特色的 推荐系统。 由上可见，个性化的推荐服务在改善顾客关系、培养顾客忠诚度以及增加 网上销售方面具有明显的效果. 但是如何为顾客提供更加贴近生活的在线服务， 如何为每个顾客提供独特的商品信息，如何使推荐技术更高效的应用到这个领 域中， 这些问 题将不断地推动电 子商务个性化服务技术的发展， 创造出更多的 社会价值和经济价值。 1 . 3 论文的研究内容和工作 本文研究的对象是电子商务推荐系统中的协同过滤推荐方法。针对电子商 务推荐系统面临的主要挑战，对电子商务推荐系统中协同过滤推荐算法进行了 探索和研究。木文的研究内容主要包括: 1 )对不同的电 子商务推荐方法及其在电 子商务推荐系统中的应用进行研 究和分析。 2 )详细研究和分析了传统的协同过滤算法在应用中所面临的问 题和挑 战，例如:推荐质量、可扩展性、数据稀疏性、冷开始问题等等。 3 )结 合传统的 协同 过滤算法的 思 想， 本文 提出了 一种 u s e r - b a s e d 协同 过 滤推荐算法的改进算法，并设计了仿真实验。 本文主要研究成果是提出了u s e r - b a s e d 协同过滤算法的改进算法: 1 )算法利用选择的相似性度量方法离线预计算项目 之间的相似度与项目 最近邻居，结果保存于数据库中。 2 )利用 传统的u s e r - b a s e d 协同 过滤 算 法形 成 邻 居， 在 这一 步 骤中 ， 计 算 用户间相似度时需要计算两个用户评分集合的并集， . 在并集中如果用 户对某个项目未评分，则利用己经预计算的存于数据库中的项目 相似 度及项目最近邻居来预测用户对该项目的评分，然后计算用户的相似 度，形成用户的最近邻居集合。 3 )最后， 利用用户的 最近邻居集合， 预测对每个项目 的 评分， 产生 推荐 给目标用户。 最后，本文设计了仿真实验，实验实现了u s e r - b a s e d协同过滤推荐算法、 上海师范大学硕士论文电子商务环境下协同 过滤推荐方法的应用分析与研究 i t e m - b a s e d协同过滤推荐算法与改进的u s e r - b a s e d协同过滤推荐算法。测试与 比 较改进算法与传统的协同过滤算法的推荐质量，并解释实验结果，验证了改 进算法的合理性和有效性， 从而可以有效解决用户评分数据极端稀疏情况下传 统协同过滤推荐方法存在的不足， 有效地提高了电子商务推荐算法的推荐质量。 1 . 4 论文结构 论文共分六章，文章结构及各章内容简介如下: 第一章介绍了 什么是电 子商务推荐系统与个性化信息推荐服务， 探讨了 推 荐系统在电子商务中的意义。最后，介绍了论文的研究内容和工作，并给出本 文的整体组织结构。 第二章介绍了电子商务推荐系统的相关知识，主要包括:电子商务推荐系 统的研究内容、现状;推荐系统的输入输出及数据表示;电子商务推荐系统的 分类。详细分析了不同的电子商务推荐方法:知识工程方法、基于内容的推荐 方法、协同过滤推荐方法、混合推荐方法及数据挖掘方法。 第三章分析了传统的协同过滤推荐算法，包括u s e r - b a s e d 协同过滤推荐算 法与i t e m - b a s e d 协同过滤推荐算法，重点探讨了当前协同过滤推荐算法面临的 挑战与存在的问题。 第四章介绍了己 经提出的一些解决方法。并在传统的协同过滤算法基础上 提出了改进的协同过滤推荐算法。详细介绍了改进的协同过滤推荐算法的基本 思想，并对改进算法进行了详细的描述。 第五章设计了改进协同过滤算法的仿真与测试。实验实现了u s e r - b a s e d 协 同过滤推荐算法、i t e m - b a s e d协同过滤推荐算法与改进的 u s e r - b a s e d协同过滤 推荐算法。测试与比较改进算法与传统的协同过滤算法的推荐质量，并解释实 验结果。 第六章总结全文， . 指出本文研究成果及后续工作。 上海师范大学硕士论文电子商务环境下协同 过滤推荐方法的应用分析与研究 i t e m - b a s e d协同过滤推荐算法与改进的u s e r - b a s e d协同过滤推荐算法。测试与 比 较改进算法与传统的协同过滤算法的推荐质量，并解释实验结果，验证了改 进算法的合理性和有效性， 从而可以有效解决用户评分数据极端稀疏情况下传 统协同过滤推荐方法存在的不足， 有效地提高了电子商务推荐算法的推荐质量。 1 . 4 论文结构 论文共分六章，文章结构及各章内容简介如下: 第一章介绍了 什么是电 子商务推荐系统与个性化信息推荐服务， 探讨了 推 荐系统在电子商务中的意义。最后，介绍了论文的研究内容和工作，并给出本 文的整体组织结构。 第二章介绍了电子商务推荐系统的相关知识，主要包括:电子商务推荐系 统的研究内容、现状;推荐系统的输入输出及数据表示;电子商务推荐系统的 分类。详细分析了不同的电子商务推荐方法:知识工程方法、基于内容的推荐 方法、协同过滤推荐方法、混合推荐方法及数据挖掘方法。 第三章分析了传统的协同过滤推荐算法，包括u s e r - b a s e d 协同过滤推荐算 法与i t e m - b a s e d 协同过滤推荐算法，重点探讨了当前协同过滤推荐算法面临的 挑战与存在的问题。 第四章介绍了己 经提出的一些解决方法。并在传统的协同过滤算法基础上 提出了改进的协同过滤推荐算法。详细介绍了改进的协同过滤推荐算法的基本 思想，并对改进算法进行了详细的描述。 第五章设计了改进协同过滤算法的仿真与测试。实验实现了u s e r - b a s e d 协 同过滤推荐算法、i t e m - b a s e d协同过滤推荐算法与改进的 u s e r - b a s e d协同过滤 推荐算法。测试与比较改进算法与传统的协同过滤算法的推荐质量，并解释实 验结果。 第六章总结全文， . 指出本文研究成果及后续工作。 上海师范大学硕士论文电子商务环境下协同过滤推荐方法的应用分析与研究 第二章 电子商务推荐系统 2 . 1 电子商务推荐系统的研究内容 推荐系统在计算机研究领域划分中一般被划分到人机交互领域 ( c o m p u t e r - h u m a n i n te r a c t io n ) 。 关 于 推荐 系 统的 经典 文 章一 般 都发 表 在人 机 交 互 的 权 威 期 刊a c m的t o c h i ( t r a n s a c ti o n s o n c o m p u t e r - h u m a n i n t e r a c t i o n ) 上 。 t o c h i 还不定期的推出关于推荐系统的专刊。从 1 9 9 9年开始该协会下的数据 挖掘特别兴趣组s y g k d d小组设立we b k d d研讨组， 主题集中在电子商务中 的we b挖掘技术和推荐系统技术。 a c m下面的信息检索特别兴趣组 s i g i a在 召开的第 2 4 届研究和发展会议上， 开始专门把推荐系统作为一个研讨主题。 9 9 年召开的人机界面会议c h i 9 9 专门设立推荐系统特别兴趣组。 同时， 第十五届 人工智能会议a a a i - 9 8 、 第一届知识管理应用会议p a k m, %年协同工作会议 c s c w9 6 等也纷纷开始将电子商务推荐系统作为研究主题。 电 子商务推荐系统的 研究内 容 和研究方向 主要包括2 ) . 1 )推荐方法研究:目 前主 要的 推荐方法包括基于内 容的 过滤和协同 过 滤 两种。由于基于内容的过滤自身的局限性，协同过滤推荐方法成为当 前研究的主流. 2 )实时 性研究: 在大型电 子商务 推荐系统中， 推荐系统的 伸缩能力 和实 时性要求越来越难以保证。如何有效满足推荐系统的实时性要求得到 了越来越多研究者的关注。 3 )推荐质量研究: 在大型电 子商务系统中， 用户评分数据极端稀疏。 用 户评分数据的极端稀疏性使得推荐系统无法产生有效的推荐，推荐系 统的推荐质量难以保证。 4 )多 种数据多 种方法的 集成:当 前大部分的电 子商务 推荐系统都只利用 了一部分可用信息来产生推荐。随着研究的深入，新型电子商务推荐 系统应该利用尽可能多的信息，收集多种类型的数据，有效集成多种 推荐技术，从而提供更加有效的推荐服务。 5 )数 据挖 掘 在 推荐 系 统中的 应用: 随 着 研究的 深 入， 各 种 数据 挖掘 技 术 ( 主 要包括关联规则挖掘、 序列模式挖掘、聚类分析、 b a y e s i a n 分类等) 在 上海师范大学硕士论文电子商务环境下协同过滤推荐方法的应用分析与研究 第二章 电子商务推荐系统 2 . 1 电子商务推荐系统的研究内容 推荐系统在计算机研究领域划分中一般被划分到人机交互领域 ( c o m p u t e r - h u m a n i n te r a c t io n ) 。 关 于 推荐 系 统的 经典 文 章一 般 都发 表 在人 机 交 互 的 权 威 期 刊a c m的t o c h i ( t r a n s a c ti o n s o n c o m p u t e r - h u m a n i n t e r a c t i o n ) 上 。 t o c h i 还不定期的推出关于推荐系统的专刊。从 1 9 9 9年开始该协会下的数据 挖掘特别兴趣组s y g k d d小组设立we b k d d研讨组， 主题集中在电子商务中 的we b挖掘技术和推荐系统技术。 a c m下面的信息检索特别兴趣组 s i g i a在 召开的第 2 4 届研究和发展会议上， 开始专门把推荐系统作为一个研讨主题。 9 9 年召开的人机界面会议c h i 9 9 专门设立推荐系统特别兴趣组。 同时， 第十五届 人工智能会议a a a i - 9 8 、 第一届知识管理应用会议p a k m, %年协同工作会议 c s c w9 6 等也纷纷开始将电子商务推荐系统作为研究主题。 电 子商务推荐系统的 研究内 容 和研究方向 主要包括2 ) . 1 )推荐方法研究:目 前主 要的 推荐方法包括基于内 容的 过滤和协同 过 滤 两种。由于基于内容的过滤自身的局限性，协同过滤推荐方法成为当 前研究的主流. 2 )实时 性研究: 在大型电 子商务 推荐系统中， 推荐系统的 伸缩能力 和实 时性要求越来越难以保证。如何有效满足推荐系统的实时性要求得到 了越来越多研究者的关注。 3 )推荐质量研究: 在大型电 子商务系统中， 用户评分数据极端稀疏。 用 户评分数据的极端稀疏性使得推荐系统无法产生有效的推荐，推荐系 统的推荐质量难以保证。 4 )多 种数据多 种方法的 集成:当 前大部分的电 子商务 推荐系统都只利用 了一部分可用信息来产生推荐。随着研究的深入，新型电子商务推荐 系统应该利用尽可能多的信息，收集多种类型的数据，有效集成多种 推荐技术，从而提供更加有效的推荐服务。 5 )数 据挖 掘 在 推荐 系 统中的 应用: 随 着 研究的 深 入， 各 种 数据 挖掘 技 术 ( 主 要包括关联规则挖掘、 序列模式挖掘、聚类分析、 b a y e s i a n 分类等) 在 上海师范大学硕士论文 电子商务 环境下协同过滤推荐方法的应用分析与研究 推荐系统中得到了 广泛的应用， 基于we b 挖掘的推荐系统得到了 越来 越多研究者的关注。 2 .2电子商务推荐系统的研究与应用现状 关于信息过滤技术很早就有研究，但对协同过滤技术以 及电子商务个性化 推荐的研究只是近十几年的事。对于电子商务个性化推荐技术，目前国内理论 研究还处于初级阶段，而在国外许多著名研究机构和研究者做了大量的研究， 发表了大量的论文，并出现了大量研究型推荐系统实例.本文对国外的研究论 文与出现的大量研究型推荐系统做出了总结分析，见附录1 . 目前，推