（计算机软件与理论专业论文）协同过滤在电子商务推荐系统中的应用研究.pdf

摘要 摘要 近年来，电子商务个性化推荐系统在网络上获得了普遍应用，其中应用最 为广泛的个性化推荐技术是协同过滤技术。而随着网上有效信息的数量和商品 的种类的急速增长，也对推荐系统提出了严峻挑战，协同过滤推荐中存在的新 项目推荐问题、稀疏性问题等亟待解决。 针对这些问题，本文综述了电子商务个性化推荐系统和常用的一些推荐方 法，分析了协同过滤推荐中新项目难以推荐和稀疏性问题的根源，提出了一种 对项目矩阵进行层次划分的方法。其基本思想是，首先利用分类树算法划分项 目矩阵并计算项目间的相似度，在此基础上缩小近邻搜索的范围和需要预测的 资源数目。通过用户对已有项目的评分顺序和项目间的相似性，预测用户对新 项目的评分。试验结果表明基于项目矩阵划分的协同过滤算法，有效地解决了 新项目推荐困难的问题，显示出了比传统推荐算法更好的推荐质量和扩展性。 在此基础上，本文设计并开发了协同过滤商品推荐系统，通过买家访问日 志，利用上述分析方法，可有效推荐给买家相似群组的偏好商品。此外，为了 增进推荐内容资讯鲜度，本研究利用上述算法，有效地解决了新项目难以推荐 的问题。 最后，通过对数码消费产品业的模拟销售，推荐系统可以有效地提升电子 市场的绩效，使商品的推荐行为更加有效，更有利于商品的销售。 关键词：协同过滤项目相似性矩阵划分个性化推荐分类树 两北人学坝l 研究生论文 a b s t r a c t r e c e n t l y ，p e r s o n a l i z e d r e c o m m e n d e r s y s t e m s ， e s p e c i a l l y e o l l 8 b 。r a t i v ef ii t e r i n gr e c o m m e n d e rs y s t e m s ，h a v ea c h i e v e dw i d e s p r e a d s u c c e s s e so nt h ew e b t h et r e m e n d o u sg r o w t hi nt h ea m o u n to fa v a il a b l e i n f o r m a t i o na n dt h ek i n d so fc o m m o d i t i e st ow e bs i t e sp o s e ss o m ek e y c h a l l e n g e sf o rr e c o m m e n d e rs y s t e m s ，s ot h ep r o b l e m so fc o l d s t a r ta n d s p a r s i t y i nc o l l a b o r a t i v ef i l t e r i n gr e c o m m e n d a t i o na r en e e d e dt ob e s o l v e d 。 t oa d d r e s st h e s ei s s u e s ，t h ep e r s o n a li z e dr e c o m m e n d e rs y s t e m s s 0 m e p r o b t e f f i c r e c o m m e n d a t i o nm e t h o d sa r ei n t r o d u c e d ，i nt h i sp a p e r ，a n d e m s l e 珏 i nc o l l 8 b o r a t i v ef i l t e r i n gr e c o m m e n d a t i o na r ea n a l y z e d a n d t h e t o t l yr e s o l v et h e s ep r o b l e mt h a tt h en e wi t e m sa r ed i f f i c u l tt o r e c o m m e n di nc o l l a b o r a t i v ef i l t e r i n ga l g o r i t h m an e wm e t h o db a s e di t e m m a t r i xp a r t i t i o ni sp r o p o s e d t h ee s s e n t i a li d e aw a st h a tt h ei t e mm a t r i x c a nb ep a r t i t i o n e db yu s i n gc l a s s i f i c a t i o nt r e ea l g o r i t h ma n dg e t l o w - d i m e n s i o n a lm a t r i c e s ，t h i sm e t h o dp r e d i c t sn e wit e mr a t i n gb a s e do n i t e mr a t i n gt h a tu s e r sh a v er a t e da n di t e ms i m i l a r i t y 。c o m p a r e d t r a d i t i o n a lc o l l a b o r a t i v ef i l t e r i n gm e t h o d ，t h ee x p e r i m e n t a lr e s u l t s s h o wt h a to u ra p p r o a c hc a nf i n das o l u t i o nt ot h ep r o b l e mo fn e wi t e r n r e c o m m e n d a t i o ne f f e c t i v e l y i nt h i sf o u n d a t i o n ，t h i ss t u d ya p p l i e s “c o l l 曲o r a t i v ef i l t e r i n 曾，a k i n do fw e b p e r s o n a l i z a t i o n ，t or e c o m m e n db u y e r st h ep r o d u c t sa c c o r d i n g t ot h e i rs i m i l a rg r o u pa n dp r o v i d es e l l e r st h ep o t e n t i a l c u s t o m e r s m o r e o v e r ，f o rt h er e c o m m a n d a t i o nf r e s h n e s s ，t h i ss t u d ya l s or e c o m m e n d s t h ec o r r e l a t i v eu p t o d a t e p r o d u c t sb yc o n t e n t b a s e da p p r o a c h a f t e rt h ee m p i r i c a lt e s ti na ne - m a r k e t p l a c eo ff o o di n d u s t r y ，t h i s s t u d yf i n d st h a t “c o l l a b o r a t i v ef i i t e r i n gm a t c h i n gs y s t e m ”c a nm a k eag o o d 嫒托大学簸 ：礤究生论文 a b s t r a c t m a t c h i n gp e r f o r m a n c ea n da d dr e c o m m e n de f f i c i e n c yf o re - m a r k e t ，s e ll e r s c a nb e n e f i tf r o mt h i ss y s t e m k e ) 哪o r d ：c o l l a b o r a t i v ef i l t e r i n g ，i t e ms i m i l a r i t y ，m a t r i xp a r t i t i o n ， p e r s o n a li z e dr e c o m m e n d a t i o n ，c i a s s i f i e a t i o nt r e e 蕊j 犬学好h 剪院生论曼 y 8 9 3 7 1 3 西北大学学位论文知识产权声明书 本人完全了解学校稍关保护知识产权的舰定，即：研究生在校攻读学位期 闯论文王馋静知识产权攀饿演予透l e 大学。攀校有权保留并肉爨家蠢关部门或枧 构送交论文静复印锌帮电予版。本人允许论文渡查阅和借震。学校哥戳将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制簪段保存和汇编本学位论文。同时，本人保证，毕业后结合举位论文研究课 题秀撰写嚣文章一簿注明傺老单蕴蔻嚣l 大学。 黧篡? 弱：砌举位论文作者签名：应螅琦 指导教师签名： 叩学别 细年参月二垂强矽莎年善月妒驾 西北大学学位论文独创性声明 本入声明：所量交静学位论文是本人在导9 季指导下进行的研究工作及取 褥瓣研究成栗。覆我疆知，除了文中特剐瓣戬标注和致落瓣圭| 筵方筛，零论文 不包含其他人已经发表或撰写过的研究成果，也不包含为获得谱北大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的闲恚对本研究所 援缝往俺贡麸垮已在论文孛俸了臻礴熬滋鞠并表示滚意。 学能论文作者签名 尉备 触年丢跫) o r 第一章绪论 第一章绪论 1 1 电子商务推荐系统的研究背景和意义 随着互联网的普及和w e b 技术的发展，电子商务技术的日益繁荣，对个人生 活和企业发展都产生了深远影响。通过电子商务人们可以进行网上购物，基于 i n t e r n e t 的虚拟企业可以在不同于传统物理环境企业的情况下与顾客，供应商 之间建立更加直接的联系，提供更多的机会。电子商务的逐步建立和完善，摆脱 了传统商务运作中既有规则的束缚，与此相关的商业形态、交易模式以及营销方 式都产生了巨大的改变。 信息全球化使企业面临一个更加广泛和更具有选择性的市场；其原本拥有的 传统地域性优势和信息优势被削弱的同时，却获得了更加广阔的市场和原料来 源。对用户而言，电子商务为他们提供了前所未有的选择空间和购物便利。 电子商务技术的迅猛发展使个性化推荐系统逐渐成为电子商务领域中的一 项重要的研究内容，得到了广泛关注。电子商务推荐系统是利用电子商务网站向 用户提供产品信息和相关建议，帮助用户决定购买什么产品，通过模拟销售人员， 帮助用户完成购物过程的系统。 事实上，研究电子商务推荐系统对企业和社会具有很高的经济价值。顾客是 利润的来源，谁能给顾客提供更好，更满意，更具个性化的产品和服务，谁就能 赢得市场。电子商务模式使用户从物理购物环境转向虚拟购物环境的同时，也对 企业提出了许多新的更高的要求。包括商品选购便捷，付款方便，质量保证， 送货及时。其中首先预见的一个重要问题就是如何满足不同顾客对不同商品的个 性化需求，提供给顾客所需的商品信息，以便客户选择，而这正是企业价值链的 源头和市场营销的起点。 推荐系统是数据挖掘的一个分支，是一种较为特殊的数据挖掘系统，主要体 现在推荐系统的实时性和交互性上。推荐系统不但根据用户以往的历史纪录，更 需要结合当前一段时问的行为动作做出实时地反应，并根据与用户交互的反馈结 果修f 和优化其推荐结果。同时与其它数据挖掘系统不同的是，推荐系统主要面 对的是客户，而非管理研发人员。当然推荐系统收集的数据信息会反馈到管理员， 两北人学彤! 卜研究生论文 第一章绪论 并协助其做出正确的决策。 推荐系统的使用者是电子商务活动的用户，推荐的对象是项目。项目是指推 荐系统提供给用户的产品或服务。根据项目的不同，推荐系统可以分为两类，一 类推荐项目为网页链接，主要运用w e b 挖掘技术，推荐符合用户兴趣的网页；另 一类推荐项目为产品，这类推荐系统主要应用在电子商务购物环境下，帮助用户 找到其真正想购买的商品。这种推荐系统也被称为电子商务个性化推荐系统。 电子商务个性化推荐系统的关键是建立用户模型。推荐系统的热点问题是推 荐技术和推荐算法的研究。推荐算法是整个推荐系统的核心，它的性能决定了最 终推荐结果的好坏。为了建立合理的用户模型，保证不同用户对实时性，推荐方 式等的要求，产生了一系列的推荐技术和算法。例如协同过滤技术、分类和聚类 技术、关联规则挖掘技术、神经网络技术等。 1 2 本文的研究内容和成果 协同过滤推荐是至今为止最成功的个性化推荐技术，被应用到很多领域中， 协同过滤相当突出的优点是其决策基础是“人”而不是“内容的分析”，能针对任何 形态的内容进行过滤，更能处理相当复杂和艰难的概念呈现，以获得意料之外的 结论。此外，协同过滤的适应性很强，一段时间后，当时尚发生改变时，可以基 于客户正在购买的商品进行推荐。在电子商务中，协同过滤技术是将v i 碑效应过 程自动化，然而当面对实际应用时，一个重要问题就是新项目推荐问题。新项目 是指市场上最新流行的商品，新的推荐项目往往最能引起使用者兴趣，但执行协 同过滤时却不可能把它当作推荐项目，因为并不会有任何人已经对它进行评比或 购买。在客户进行评比之前，协同过滤系统是无法产生推荐的。此外，现有的许 多协同过滤系统中，使用者不愿担当最先评比的角色，宁愿收到许多的推荐。因 此，许多使用者倾向于延迟评比的动作以便先得到其他参考群组的建议。由此， 传统的协同过滤技术也就无法正确计算出推荐的项目，而推荐的正确性与否也决 定了系统的效用，因为若系统无法提供正确的推荐资讯，也就会很快的失去使用 者的忠诚度。 本文针对新近项目推荐精度较差的问题，在传统协同过滤算法基础上提出了 一种基于分类体系的新项目推荐算法。试图提高算法的推荐精度和可扩展性，并 两北人学硕t 研究生论丈 第一章绪论 依照此算法构建了一个网上购物系统。此外还针对传统电子商务推荐系统的稀疏 性等存在的问题做出了改进。本文的研究受到了陕西省教育厅重点科研计划项目 ( 0 0 j k 0 1 5 ) 的资助。 1 3 本文的章节安排 本文共分6 章。第一章绪论，介绍了电子商务推荐系统的背景、意义、研究 方向和本文的研究内容：第二章是电子商务推荐系统概述。本章对电子商务的相 关知识进行了介绍，包括分类及电子商务推荐系统中的使用技术。第三章介绍协 同过滤在电子商务推荐系统中的应用。从整体上介绍了协同过滤的基本思想、实 现过程以及协同过滤算法，研究和分析了基于协同过滤的推荐系统面临的挑战及 协同过滤在推荐系统应用中存在的问题，并对其不足之处进行了分析。第四章介 绍协同过滤算法的改进，提出了一种基于项目分层的协同过滤算法，并对改进算 法提出的前提、理论依据进行了详细地分析，阐述其可行性。第五章系统实现， 结合电子商务个性化推荐系统，协同过滤技术，相关网络软件构建出一个电子商 务行销模式。并且通过衡量某家数码产品网站的销售情况，对推荐系统的效率进 行验证，来证明此电子商务推荐系统的有效性。第六章结束语，对全文作了总结 并展望了今后的研究工作。 西北人学硕_ 。研宄生论文 第二章电子商务个性化推荐系统及其相关技术 第二章电子商务个性化推荐系统及其 相关技术 电子商务个性化推荐是指在电子商务过程中针对不同的用户提出个性化的 产品和服务的应用系统。本章将介绍电子商务个性化推荐系统的一些基本概念、 体系结构、应用流程，以及目前电子商务个性化推荐系统中所采用的相关技术等。 2 1 电子商务个性化推荐系统概述 电子商务个性化推荐系统( p e r s o n a l i z e dr e c o m m e n ds y s t e m s f o r e - c o m m e r e e ) 的正式定义由r e s n i c k v a r i a n 在1 9 9 7 年给出：“电子商务个性 化推荐系统是利用电子商务网站向用户提供产品信息和相关建议，帮助用户决定 购买什么产品，通过模拟销售人员帮助用户完成购物过程的系统。这个定义现 在已经被广泛的应用。推荐系统的使用者是用户( 电子商务活动中的用户) ，推 荐的对象是项目( i t e m ) 。项目是推荐系统提供给用户的产品和服务，也即最终 的推荐内容。 根据推荐对象的特点，目前存在的推荐系统可以大致分为两类：一类是以网 页为主要推荐对象的推荐系统，这种推荐系统主要采用w e b 数据挖掘，尤其是 w e b 使用日志挖掘的方法和技术来分析用户的兴趣，向用户推荐符合其兴趣爱好 的网页链接。另一类推荐系统的推荐对象主要是产品，这种推荐系统主要在电子 商务网络购物环境中使用，帮助用户找出他真正想要的商品，为用户推荐满足其 需要又符合用户兴趣爱好的产品，这些产品除了是在实体商店中出售的产品以 外，还包括文章、新闻、音乐、电影等“无形”的产品，这种推荐系统就是通常 所说的电子商务个性化推荐系统，也是本文研究的重点。 两北大学顺 。研究生论立 第二章电子商务个性化推荐系统及其相关技术 2 1 1 电子商务个性化推荐系统的功能 电子商务推荐系统的功能可以概括为以下三点：为用户提供个性化的产品信 息服务、提供其它用户对产品的评价、为用户推荐产品。电子商务个性化推荐系 统最主要的功能在于它能够收集用户资料，通过分析这些资料，针对用户兴趣偏 好主动为其做出个性化的推荐。换句话说，每当用户登录到电子商务网站后，电 子商务推荐系统就会按照当前用户偏好推荐其可能感兴趣的很有可能购买的n 个产品，并且根据用户当前的活动，推荐系统给出的推荐是实时更新的，即当系 统的产品库和用户资料发生改变时，推荐系统给出的推荐序列会自动改变。 总的来说，电子商务个性推荐系统的作用主要表现在以下几方面：帮助用户 寻找他们真正想购买的并且符合起兴趣爱好的产品，大大节约了用户采购产品的 时间和成本：同时，电子商务推荐系统的个性和推荐服务，提高了用户对电子商 务网站的忠诚度，将更多潜在的用户浏览者变成真正购买产品的用户；通过向用 户推荐相关的国外产品，提高交叉销售，帮助电子商务企业建立起客户关系管理 系统，为电子商务企业赢得了更多的发展机会。 研究表明，在基于电子商务的销售行业使用个性化推荐系统以后，销售额能 提高2 一8 ，尤其在书籍、电影、c d 音像、日用百货等产品相对较为低廉并且产 品种类繁多的行业，用户使用个性化推荐系统程度较高的行业，电子商务个性化 推荐系统能够大大提高企业的销售额。 电子商务个性化推荐系统和销售系统、供应链决策支持系统既有相似点又有 所不同。销售系统是帮助销售人员如何把产品销售出去。电子商务推荐系统的最 终目的是帮助用户，辅助用户对购买什么产品做出决策。供应链决策支持系统是 帮助生产者决定什么时候生产多少什么商品，以及仓库应该存储多少各类产品， 其最终目的是为了企业生产者服务的。同样，电子商务推荐系统也是面向用户的 系统。 电子商务个性化推荐系统具有显著的经济效益，可以大大降低企业的销售成 本。可以预见，在未来的几年内，我国电子商务个性推荐系统将有一个相当广阔 的发展前景。 两北大学碗 ： i j f 究生论文 第二章电子商务个性化推荐系统及其相关技术 2 1 2 电子商务个性化推荐系统的构成 电子商务个性化推荐系统主要由以下三个模块组成：输入( i n p u t ) 模块、推 荐方法( r e c o m m e n d a t i o nm e t h o d ) 模块、输出( o u t p u t ) 模块。 ( 1 ) 输入模块 输入模块主要负责对用户信息的收集和更新。输入来源按时间来划分，可以 分为用户当前行为输入和用户访问过程中的历史行为输入；也可以按个人输入和 群体输入来划分成两部分。用户个人输入( t a r g e tc u s t o m e ri n p u t s ) 主要是指推 荐系统的目标用户为了得到系统准确地推荐结果而对一些项目进行评价，这些评 价表达了用户自己的偏好。群体输入主要以群体形式来表现评价数据。 电子商务推荐系统包括多种形式，主要包括”1 ： ( a ) 用户注册信息输入：用户在注册电子商务站点的时候需要输入一些个人 信息，这些信息包括用户的年龄、性别、职业等，用户也可以明确地表达自己的 喜好兴趣。这类信息是电子商务推荐系统收集到的关于特定用户的最初的信息。 ( b ) 隐式浏览输入；将用户访问电子商务站点的浏览行为作为推荐系统的输 入，用户的浏览行为与在一般w e b 站点访问没什么区别。用户并不知道电子商务 推荐系统的存在。用户当前正在浏览的产品是用户购物篮中选择的产品，用户的 浏览路径都可以作为隐式浏览输入信息。 ( c ) 显式浏览输入：这也是将用户的浏览行为作为电子商务推荐系统的输入， 或将用户当前正在测览的产品类别作为推荐系统的输入。这种类型的输入不同于 用户随意浏览行为，用户输入的目的就是在电子商务系统中寻找自己需要的商 品。 ( e ) 用户评分输入：将用户对产品的数值评分数据作为推荐系统的输入。电 子商务推荐系统列出一系列产品让用户评分，用户的评分可以是一个数值，数值 的大小表示用户对该产品的喜好程度，也可以是一个布尔值，0 代表不喜欢，1 代表喜欢。通过用户提供的评分数据，使得电子商务推荐系统可以为用户提供个 性化的推荐服务。 ( f ) 用户文本评价输入：用户对已经购买的产品或者自己熟悉的产品以文本 形式进行个人评价，推荐系统本身并不能判断这些评价的好坏。用户浏览该产品 两北大学硕士研究生论立 第二章电子商务个性化推荐系统及其相关技术 时，可以看到其他用户对产品的文本评价信息。 ( g ) 编剧推荐输入：将领域专家对特定产品的评价作为推荐系统的输入，领 域专家对产品的性能特点进行全面详细地介绍，用户通过专家的专业解释，可以 对自己并不熟悉的产品加深认识，从而决定是否购买该产品。 ( h ) 用户购买历史输入：推荐系统将用户的购买历史将作为隐式评分数据。 一旦用户购买了特定产品，则认为用户喜欢该产品。推荐系统根据用户的购买历 史产生相应的推荐。但是用户购买了某件产品并不代表用户真正地喜欢上该产 品，所以在精确的推荐系统中，用户可以对购买的产品进行重新评估，从而使推 荐系统产生更精确的推荐。 用户个人输入往往包括用户注册信息输入、隐式浏览输入：显示浏览输入、 关键词项目属性输入和用户购买历史输入等。群体输入主要包括项目属性输入、 用户购买历史输入、文本评价输入、用户评分输入等。 ( 2 ) 推荐方法模块 推荐方法模块是整个电子商务推荐系统中的核心部分，它直接决定着推荐系 统的性能优劣。推荐方法模块以推荐技术和推荐算法为技术支撑，具体推荐算法 将在第三章详细讨论。 ( 3 ) 输出模块 输出模块负责将推荐结果输出给用户。电子商务推荐系统的输出形式主要包 括： ( a ) 相关产品输出：推荐系统根据用户表现出来的行为特征和电子商务系统 的销售情况向用户产生商品推荐，这种方式是电子商务推荐系统中最为普遍的一 种输出。相关产品输出可以基于简单的销售排行向用户推荐热门商品；也可以基 于用户的行为特征进行深入分析，发现用户的购买行为模式，从而产生个性化的 推荐。 ( b ) 个体文本评价输出：电子商务推荐系统向目标用户提供其他用户对商品 的文本评价信息。个体文本评价一般是非个性化的，对每个项目而言，所有用户 得到个体文本评价都是相同的。 ( c ) 个体评分输出：目标用户提供其他用户对产品的数值评分信息。个体评 分输出没有大量文本描述信息，因而更加简洁明了。个体评分输出比较适合个体 两北人学硕i ：研究生论文 第二章电子商务个性化推荐系统及其相关技术 数值评分数据比较少的场合。 ( d ) 平均数值评分输出：电子商务推荐系统向用户提供其他用户对于商品的 数值评分信息的平均值。这种输出形式具有简洁明了的优点，用户可以立即获得 对该产品的总体评价。 ( e ) 电子邮件输出：电子商务推荐系统通过邮件的形式向用户提供产品的最 新信息。这种输出的方式可以吸引用户再次访问电子商务站点，从而达到保留用 户，防止客户流失的目的 ( f ) 编辑推荐输出：向用户提供领域专家对产品的专业介绍，用户通过专家 的解释可以对自己并不熟悉的产品加深认识，了解产品的性能特点，从而决定是 否购买该产品。 2 1 3 电子商务个性化推荐系统的总体框架及流程 电子商务个性化推荐系统的完整框架主要由操作数据库、数据仓库、推荐模 型库、用户交互模块等构成。如图卜1 所示。 ( 1 ) 操作数据库：操作数据库中存储与用户操作密切相关的数据，包括产品 数据库、用户数据库、销售数据库、w e b 日志数据库等。 ( 2 ) 数据仓库：用来存储经过清洗和初步挖掘后的数据，是推荐系统直接操 作的数据库，包括属性数据、购买数据、产品数据、点击数据等。 ( 3 ) 推荐模型库：用于存储推荐算法。 ( 4 ) 推荐引擎：主要功能是接收推荐请求，运行推荐策略，产生推荐结果。 推荐引擎对推荐算法提供了统一的运行环境，方便了推荐算法的编制，对外则提 供了统一的推荐服务接口。 ( 5 ) 用户交互一方面接受用户的要求，另一方面提供给用户推荐结果。 两北大学倾 。研究生论文 第二章电子商务个性化推荐系统及其相关技术 图卜1电子商务个性化推荐系统框架示意图 电子商务推荐系统需要完成从数据信息采集到推荐应用的完整的系统应用 流程，具体来说，包括以下几个部分： ( 1 ) 数据清洗、转换和加载：由数据挖掘工具从操作数据库中选择数据，使 用e t l ( 清洗、转换和加载) 把选择出来的数据加载到数据仓库中，成为规整数据。 选择什么样的数据是由具体的推荐应用指定的，例如“用户评分模型”需要用户 西北大学顾十研究生论文 第二章电子商务个性化推荐系统及其相关技术 评分数据，而“关联规则推荐模型”需要用户的交易数据。 ( 2 ) 模型生成：根据推荐的应用，选择所对应的规整数据，使用适合的模型 产生推荐模型，存储在模型库中。如何选择合适的模型生成推荐模型也是由具体 的推荐应用决定的。 ( 3 ) 推荐策略配置：推荐策略是推荐过程的配置，其中包括推荐算法和推荐 模型。具体的推荐功能是由推荐引擎运行对应的推荐策略来实现的。推荐引擎提 供推荐服务，必须有已经配置好的推荐策略。配置工作主要是修改推荐策略，采 用新的推荐模型，然后根据具体的推荐应用到配置推荐策略，并请求推荐引擎启 动或重载此策略。 ( 4 ) 推荐服务访问：电子商务系统直接向推荐引擎提供当前用户的信息，并 请求用户指定的推荐策略产生产品的推荐列表。推荐引擎则根据电子商务系统的 请求运行相应的推荐策略，产生合适的推荐结果。 ( 5 ) 操作数据更新：电子商务系统开展网络商业活动，并向用户提供推荐服 务，由于不断有新用户新产品的加入，用户也不断地有情感活动，因此操作数据 库也在不断地发生变化，需要及时进行更新。 整个电子商务个性化推荐系统流程是一个不断循环的流程，当操作数据库变 化到一定程度时，数据仓库推荐模型需要更新，以及时地反映当前用户行为的变 化。更新模型由具体的应用要求决定，一般采用周期性的方法，也可以采用推荐 效果反馈阂值来控制。 2 2 电子商务个性化推荐系统的研究内容 电子商务个性化推荐系统的研究主要围绕四个方面的问题： ( 1 ) 电子商务个性化推荐系统的信息来源问题。 电子商务个性化推荐系统的基础是用户兴趣资料信息，如何在电子商务环境 下尽可能获得更多的用户相关信息，并以合适的形式表示，是进行个性化推荐的 前提。根据当前在电子商务环境中对用户信息的研究来看，主要着眼于收集能反 映用户兴趣偏好的信息，以及如何通过网络数据挖掘等方法更自动化的收集用户 的隐式信息，解决用户信息收集过多的依赖于显式评价数据的问题。 ( 2 ) 设计准确高效的个性化推荐算法 丽北人学顶，l 研究生论丈 第二章电子商务个性化推荐系统及其相关技术 要实现被用户接受和认可的电子商务个性化推荐系统，设计准确、高效率的 个性化推荐算法是个性化推荐的核心问题。目前的推荐技术有协同过滤推荐、基 于用户统计信息的推荐、基于内容的推荐、基于效用的推荐、基于知识的推荐、 基于规则的推荐等等。协同过滤推荐是电子商务个性化推荐中研究和应用最多的 方法，被广泛地应用于电子商务网站、数字图书馆、网页搜索、新闻过滤等，著 名的推荐系统有t a p e r s t r y ，g r o u p l e n s n e t p e r c e p t i o n g s h “，r j n g of i r e f l y ，其 假设前提是存在具有相似兴趣爱好的用户群，每个用户都有与其兴趣爱好相似的 邻居用户。预测用户对某一项目的偏好是根据邻居用户对该项目的偏好程度计算 的，也就是说如果其邻居用户喜欢某一项目，则该用户也有可能会喜欢这个项目。 协同过滤最大的优点是不需要分析对象的属性，所以对推荐对象没有特殊的要 求，能处理非结构化的复杂对象，例如音乐、电影等。 ( 3 ) 电子商务个性化推荐系统的评价问题 要使电子商务个性化推荐系统被广大用户所接受，必须对推荐系统做出客 观、综合的评价，即需要从准确性、个性化、安全性、用户满意度等多方面进行 评价。对推荐系统总体性能的评价是个性化推进系统研究的重要组成部分，但目 前大都只是采用准确率、召回率等评价尺度对推荐算法进行评价，并没有真正意 义上提升到对整个推荐系统进行评价，尤其缺乏从个性化程度、实用化程度、系 统中的安全性及用户接受程度等多方面对推荐系统综合的评价。 ( 4 ) 电子商务个性化推荐系统的应用问题 电子商务个性化推荐系统不仅要为用户提供一个个性化的购物环境，更应该 为电子商务企业的销售决策和用户关系管理提供支持。目前对电子商务个性化推 荐系统的应用研究方面主要集中在个性化推荐技术，还较少从更广阔的范围和更 深入的专门领域，例如从营销决策、市场分析、用户关系管理或者系统集成商务 智能等角度来讨论其应用。”1 2 。3 推荐系统采用的相关技术和研究现状 电子商务个性化推荐系统是一个多模块、多功能的大型智能系统，汇集了数 据仓库、信息检索、信息过滤、数据挖掘等技术。这些技术互相支持，互相融合， 西北人学硕士研究生论立 第二章电子商务个性化推荐系统及其相关技术 电子商务个性化推荐系统才能高效地运作。可以说，这些技术是构成整个电子商 务个性化推荐系统的基石。 数据仓库( d a t a w a r e h o u s e ) 。”1 是一个面向主题的、集成的、时变的、非易 失的数据集合，支持管理部门的决策过程。数据仓库的查询通常是复杂的，涉及 大量数据汇总级的计算，可能需要特殊的数据组织、存取方法和基于多维视图的 实现方法。数据仓库与操作数据在功能、数据类型等方面有很大区别。在电子商 务个性化推荐系统中不但涉及到大量对操作数据库的操作，例如产品的添加，用 户属性的更改，销售的进行，还涉及到许多用户历史信息，这些信息包含了用户 潜藏的兴趣，但操作数据库并不维护历史信息，从而就需要建立数据仓库来存放 这类结构复杂的多维数据。 信息检索技术和信息过滤技术是电子商务个性化推荐系统的关键技术。信息 检索和信息过滤实现技术有其相似性，但两者所完成的任务完全不同“。 信息检索技术一般是根据用户需求，从大规模相对静止的数据库和数据仓库 中检索用户需要的信息，主要满足用户瞬时的信息需求。“。信息检索的研究内容 主要包括索引技术和查询即时。索引技术是对资源内容进行分析，从而将资源内 容表示为计算机和处理的数据结构的过程。查询技术则是根据用户需求，为用户 查找需要的资源信息，主要研究内容包括查询语言设计、可视化查询接口、用户 请求与资源信息的匹配等。在很多情况下，索引技术和查询技术是交叉的，查询 技术依赖资源信息所采用的索引结构。 信息检索的界面主要包括两种形式。传统的信息检索主要使用关键字查询接 口，用户根据自己的信息需求输入关键词，信息检索系统根据用户提交的关键词 进行查询，然后向用户返回检索结果。现在，越来越多的信息检索系统提供动态 查询1 1 。动态查询是向用户提供一系列的信息主题供其选择，然后根据用户的选 择向用户提供下一层的信息主题，这样一直进行下去，直到用户检索到自己需要 的信息为止。这种动态查询的方式因为不断与用户进行交互，使用户可以更加容 易地检索到所需的信息。 电子商务个性化推荐系统根据用户需求，应用信息检索技术搜索产品类别数 据库，然后返回用户需要的信息。其检索过程可以实时进行，也可定期周期执行。 在亚马逊等著名的电子商务网站的推荐系统中都采用了信息检索技术。 两北人学嘶! i 研究生论文 第二章电子商务个性化推荐系统及其相关技术 信息过滤技术与信息检索不同，信息过滤对动态信息进行筛选，着重排除不 希望得到的信息，带有即时性。信息过滤技术一般用于用户需求相对不变，但信 息动态更新比较频繁的情况，主要是面对半结构化和非结构化的数据，它为用户 的长期信息需求提供服务。信息过滤技术又可分为基于内容的过滤和协同过滤。 数据挖掘，也可以称为数据库中的知识发现( k n o w l e d g ed i s c o v e rd a t a b a s e ， k d d ) ，是从大量数据中提取出可信、新颖、有效并能被人理解的模式的高级处理 过程。 数据挖掘是一个多步骤的处理过程，一般分为：数据提取，数据预处理，数据 挖掘，知识评估等步骤。 数据提取是指根据要求从数据库中提取相关的数据。 数据预处理主要对前一阶段产生的数据进行再加工，检查数据的完整性及数 据的一致性，对其中的噪音数据进行处理，对丢失的数据进行填补。 数据挖掘运用选定的知识发现算法，从数据中提取出用户所需要的知识，这 些知识可以用一种特定的方式表示或使用一些常用的表示方式。 知识评估将发现的知识以用户能了解的方式呈现，根据需要对知识发现过程 中的某些处理阶段进行优化，直到满足要求。 数据挖掘所涉及的学科领域和方法很多，以下四种是非常重要的发现任务。 ( 1 ) 数据总结。其目的是对数据进行浓缩，给出它的紧凑描述。数据挖掘主 要关心从数据泛化的角度来讨论数据总结。数据泛化是一种把数据库中的有关数 据从低层次抽象到高层次上的过程。 ( 2 ) 分类。其目的是学会一个分类函数或分类模型( 也称作分类器) ，该模型 能把数据库的数据项映射到给定类别中的某一个。 ( 3 ) 聚类。是把一组个体按照相似性归类，即”物以类聚”。它的目的是使属 于同一类别的个体之间的距离尽可能地小，而不同类别的个体问的距离尽可能地 大。 ( 4 ) 关联规则。是形式如下的一种规则，”在购买面包和黄油的顾客中，有 9 0 的人同时也买了牛奶”( 面包+ 黄油+ 牛奶) 。关联规则发现的思路还可以用于 序列模式发现。用户在购买物品时，除了具有上述关联规律，还有时间或序列上 的规律。 西北大学硕卜铆f 究生论文 第二章电子商务个性化推荐系统及其相关技术 电子商务推荐系统是数据挖掘应用于电子商务领域的范例。随着电子商务的 应用，可以收集到大量的用户数据，包括用户交易数据、注册处据、评分数据、 投票数据等服务器中也保存着用户访问电子商务系统的日志数据、购物篮数据 等，这些数据中蕴含着丰富的知识，基于数据挖掘的推荐系统通过数据挖掘技术 对用户的行为和属性进行学习，从中获得有价值的结果，根据得到的结果产生推 荐。 2 4 本章小结 本章从电子商务个性化推荐系统的概念着手，分析了电子商务个性化推荐系 统的作用、构成、整体构架、应用流程和主要的研究内容。分析了目前电子商务 个性化推荐系统中采用的相关技术及研究现状。 两北人学坝l ：研究生论义4 第三章协同过滤在个性化推荐系统中的应用研究 第三章协同过滤在个性化推荐系统中 的应用研究 3 1 个性化推荐 个性化是网络一个非常重要的特性，也是为何网络会受到人们重视的因素。 所谓个性化是指网站能够更敏锐的回应每一个使用者独特与个别的需求。网络 的高互动及时与个性化特性一直被认为是超越传统电子商务媒介限制的一大突 破。资讯科技的发展，使行销区域的能力可以缩小至个人，能够以一对一的方 式提供给顾客物超所值的信息。 网络的出现对客户个性化的趋势而言是一把利器，企业也可以借此管理单 一用户网络，与客户保持互动对话来了解客户，并且把客户的咨询不断转化为 优质的产品与服务。 个性化和顾客参与是网络理论中不同于传统理论的关键之一，未来的企业 注重的将是极端的定制化服务或个性化服务，虽然定制化和个性化服务及其发 展已经很多年，但现在借助资讯科技的帮助，网络世界中的定制化处理有所调 整。企业拥有好品质，高效率以及快速反应只是获得竞争优势的基本条件，更 重要的是企业与顾客之间的互动创造一个对话环境，了解客户需求并量身定做 产品与服务，研究发现在虚拟社区中采用个性化策略将有助于提高会员的重复 访问率，促进会员活动，使社区的环境快速建立。 网络个性化在技术上有许多不同的分类与做法，有些方法需要使用者主动 参与，例如选择会员表单或者回答一系列设定好的问题，系统再以使用者的喜 好与需求提供服务等。这是属于显性的个性化技术层次；另一些则采取隐蔽的 形式，由系统主动追踪并学习使用者的行为与资料，而不需要使用者输入资料。 按个性化的程度可以把个性化分为三种。第一种是“以规则为基础的个性 化”。“。以规则为基础的个性化首先建立规则，并以之为基础要求使用者先回 答一连串预设的问题，然后依据使用者回应的资料来传送给使用者合适的内容。 对网站而言，必须事先将规则予以逻辑化及合理化，例如使用者9 月2 2 同出生， 就展示有关处女座的资料。其次是协同式个性化。协同过滤筛选主要以属性或 西北人学顾i 。研究生论文 第三章协同过滤在个性化推荐系统中的应用研究 兴趣相近的使用者经验或建议作为个性化咨询的基础“”。透过记录与比较使用 者产品或服务偏好的资料，将使用者分为数个不同的聚类，每个聚类中的使用 者相关程度非常高。通过同好式协同过滤筛选有助于形成类似喜好或属性的使 用者聚类，并将其意见提供给同一聚类中的使用者作为参考，以满足使用者通 常决策之前通常参考其他使用者意见的心态需求。最后一种是“学习代理式的 个性化”。这种方法通常不会干扰使用者，是一种隐性个性化方式，可以透过 系统捕捉使用者在网站的浏览行为来达成，这些技术通常包含了自动学习的能 力，也就是能够根据使用者实际点击网站中的哪些项目，自动更新以及调整下 次网页展示的内容，是具有回馈与修正机制的个性化设计。因此这种方式也称 为无干扰的个性化，这种个性化方式的技术最为复杂困难。 上述三种技术的使用，一般视网站要达到何种个性化程度而定，并没有哪 一种技术是最好的说法。例如学习式个性化技术有可能会侵犯到使用者的隐私 权，造成网络使用者在浏览网站时的恐惧；而使用过多的问卷也有可能让使用 者失去耐心而提供不正确的资料。最后，所有个性化技术都需要使用者的参与 和提供个人资料，网站在实施个性化时，首先要建立使用者对网站的信任，使 其能提供更多个人的资料。用户的信任是实现个性化网站的基础“。 根据产品复杂性与使用者需求的差异性两个层面作为不同个性化策略是实 施方式的依据，个性化系统属性分类分为四个属性系统“：规则式系统、个案 式系统、协同式系统、协同过滤式系统。如图2 1 所示。 ( 1 ) 规则式系统 规则式系统采用的方式是针对使用者的喜好与性质，依设定的规则给予所 需的服务内容。例如，当使用者生日那天进入网站，网页内容出现祝贺的信息 并播放生目快乐歌。应用此策略时必须了解使用者的偏好与属性，并保证系统 功能容易使用，此方法适用于产品复杂度不高，服务较单纯且使用者需求差异 不大的状况，这时建立规则比较容易。 ( 2 ) 个案式系统 个案式系统是一种能在线询问使用者特殊问题，以帮助使用者选择特殊状 况服务的系统。应用此方法时必须先调查使用者行为，做为线上资料库参考的 依据：用此方式可以从差异性大且众多的服务项目中，确认使用者的特殊需求。 两北人学硕i 研究生论文 第三章秘露过嚣在个拣纯燕荐系统孛静应魂辨究 个案式系统有三个熬簧的问旬形式： 1 “哪些是他所不需要的功能? ” 2 “哪些是他所需要豹功能与属性? ” 3 “疆些是最藿簧戆凌戆? ” ( 3 ) 认同式系统 所谓的认同是搬使用者对于系统的认同，例如使用者对于某个线上交易系 统具有信心，因而愿意进行金额较高的线上交易。此系统邋用于使用者需求服 务没有太丈的差异，毽产品较复杂的媾凝，铡妇，在线迄舷零锋选魏系统。 ( 4 ) 协溺过滤式系统 协同过滤式系绕也称群组过滤式系统。通常应用于具有特殊主体性与高复 杂性的情况。使用瀚希望能参考其他使用者的意见，彼此分掌心得与建议，以 律为选择前的决策擞攥。协隧过滤系统的优点是：它能谈天使用经验却了解产 熬零隽瓣筵矮者戆参考葵宅震户臻努戆疑猃与建议。蛰目过滤式系统是实瑷个 憔化的最重要 露能大学磺士研究尘论文 图2 一1 个性化系镜属性分类示意图 第三章协同过滤在个性化推荐系统中的应用研究 3 2 协同过滤的定义 在日常生活中，我们往往会向好朋友推荐一部我们喜欢的电影或是餐厅。这 里的基本假设是我们与好朋友之间有着共同的喜好，我们的推荐也往往得到他们 的喜爱。协同过滤( c o l l a b o r a t i v ef i l t e r ) 的基本概念就是把这种推荐方式变成自动 化的流程。早在1 9 9 4 年r e s n i c k 就提出协同过滤技术是利用群体过滤的观点来 推荐咨询项目给个人使用者“”。协同过滤主要是以属性或兴趣相近的使用者经验 与建议作为提供个性化资讯的基础“”。透过记录与比较使用者产品或服务偏好 的资料，将使用者分为数个不同的聚类( c l u s t e r ) ，每一聚类中即为高相关度的 使用者。透过协同过滤有助于搜集具有类似偏好或属性的会员，并将其意见提供 给同一集群中的使用者作为参考，以满足人们通常在决策之前参考他人意见的心 态。另外，s c h a f e r 指出协同过滤是一种“人与人相关程度”的推荐机制，它是 以在一个电子商务网站上从事购买行为的顾客间的相关性为基础的推荐。再者， m o b a s h e r 认为协同过滤系统是通常先取得使用者点评或喜好等资讯，再透过关 联引擎，传回符合当前使用者的咨询。据此，本研究对协同过滤技术定义如下： ( 1 ) 一种比对和搜集每个使用者喜好的过程；( 2 ) 一种群体咨询过滤的形式，是将 口碑行销自动化