（计算机应用技术专业论文）电子商务推荐系统的研究与实现.pdf

中文摘要 随着电子商务应用的不断扩大，个性化服务也得到越来越多的重视，大量的 商务软件产品都声称支持个性化。电子商务推荐系统是智能信息服务的体现，它 能够在了解用户的短期和长期需求的基础上对用户定制信息的搜索和发送机制， 并向用户有针对性的推荐商品。现有的推荐方法暴露出数据稀疏性问题，冷开始 问题以及推荐质量低下等问题，这些问题使得当前的普通推荐系统不能准确的挖 掘用户的兴趣，并将其最感兴趣的商品提供给用户。一 本文提出一种集成语义信息的新型推荐方法，该方法提出建立商品的语义关 联模型，该模型的结构通过一个行业语义信息训练中心的训练得到，最终产品的 语义信息被提取出来集成到现有的基于项目的协同过滤方法中。该方法利用了协 同过滤技术的利用其他用户的行为来提高信息的广度和精确度的特点，同时融合 了语义过滤技术深层挖掘用户隐含兴趣的优点。本文利用r d f 形式的本体来表达 商品信息以及用户偏好信息，并设计了一种基于决策树的用户语义偏好模型，该 模型基于商品行业离线建立，在线应用，定期更新，增强了推荐系统的实时性能。 在上述工作的基础上，设计和开发了集成语义信息的电子商务推荐系统。该 系统基于b s 模式，为客户和系统管理员提供了一系列的浏览和操作。结果显示 该系统的集成语义推荐比已有的各种推荐系统更加符合现实世界中的个性化推 荐，它能够深层次挖掘用户兴趣迎合用户偏好，很大程度上克服了推荐质量低下 的问题。 关键词：推荐系统协同过滤语义关联模型用户偏好r d f a b s t r a c t w t h ea d v e n t u r eo fe - c o m m e r c ea p p l i c a t i o n s ，p e r s o n a l i z a t i o nh a sa s s u m e da l l e n o r m o u si n d u s t r i a li m p a c t , w h i c hh a sc a u s e dt h ea p p e a r a n c eo fam e n a g e r i eo f c o m m e r c i a lp r o d u c t s ，c l a i m i n gs u p p o r tt ot h ep e r s o n a l i z a t i o np r o c e s s p e r s o n a l i z a t i o n d e m o n s t r a t e st h ep o t e n t i a lo fi n t e l l i g e n ti n f o r m a t i o ns e r v i c e st h a ta r ec a p a b l eo f a u t o m a t i c a l l yl e a r n i n ga b o u tt h e s h o r ta n dl o n gt e r mn e e d so fu s e r s ，a n do f c u s t o m i z i n g t h es e a r c ha n d d e l i v e r y o fi n f o r m a t i o nt ot h e s eu s e r s c u r r e n t r e c o m m e n d a t i o nm e t h o d se x p o s es o m eq u a l i t yp r o b l e m s ，s u c ha sd a t as p a r s i t y p r o b l e ma n dn e w - i t e mp r o b l e m ，t h e s ep r o b l e m sm a k eo r d i n a r yr e c o m m e n d a t i o n s y s t e m sc a nn o tm i n eu s e r s i n t e r e s t sa n dp r o v i d em o s tp r o p e ri t e m st ot h e m i nt h i s p a p e r , w ed e s c r i b ean e wr e c o m m e n d a t i o nm e t h o d ，i nt h i sm e t h o d ，a p r o d u c ts e m a n t i cr e l e v a n c em o d e li ss e tu p ，t h es t r u c t u r eo ft h i sm o d e li sa c q u i r e d b yt h et r a i n i n go fa ni n d u s t r ys e m a n t i ct r a i n i n gc e n t e r , f i n a l l ys e m a n t i ci n f o r m a t i o n t h a te x t r a c t e df r o mp r o d u c t si si n t e g r a t e dw i t hc u r r e n ti t e m - b a s e dc o l l a b o r a t i v e f i l t e r i n ga p p r o a c h t h em e t h o dm a k e s u s eo fc h a r a c t e r i s t i co fi t e m - b a s e d c o l l a b o r a t i v ef i l t e r i n ga p p r o a c h ，w h i c hi m p r o v e st h ee x t e n s i o na n dp r e c i s i o no f r e c o m m e n d a t i o ni n f o r m a t i o nt h r o u g hb e h a v i o r so fo t h e ru s e r s ，a n dc o m b i n e s s e m a n t i cf i l t e r i n ga p p r o a c h ，w h i c hc a nd e e p l ym i n eu s e r s c o n n o t a t i v ei n t e r e s t s i n t h i sp a p e r , p r o d u c ti n f o r m a t i o na n du s e rp r e f e r e n c ei n f o r m a t i o na r ed e m o n s t r a t e di n r d ff o r m s ，a n dan e wu s e rs e m a n t i cp r e f e r e n c em o d e lw h i c hi sb a s e do nd e c i s i o n t r e ei sd e s i g n e d ，t h em o d e li ss e t u po f f - l i n e ，a p p l i e do n - l i n e ，u p d a t e dp e r i o d i c l y , w h i c h i m p r o v e ss y s t e mr e a lt i m ep e r f o r m a n c ee f f e c t i v e l y f i n a l l y , w ei m p l e m e n tt h er e c o m m e n d a t i o na l g r i t h e m s ，d e s i g na n dd e v e l o pa n e - c o m m e r c er e c o m m e n d a t i o ns y s t e mo fi n t e g r a t e ds e m a n t i ci n f o r m a t i o n ，w h i c hi s b a s e do nb sp a r e ma n dp r o v i d e sas e r i e so f o p e r a t i o n st ou s e r sa n da d m i n i s t r a t o r s k e yw o r d s ：r e c o m m e n d a t i o ns y s t e m ，c o l l a b o r a t i v ef i l t e r i n g ，s e m a n t i c r e l e v a n c em o d e l ，u s e rp r e f e f e n c e ，r d f 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他入已经发表 或撰写过的研究成果，也不包含为获得叁鲞基茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：缔签字日期： 年月日 学位论文版权使用授权书 本学位论文作者完全了解苤姿盘堂有关保窖、使用学位论文的规定。 特授权墨鲞基堂：可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关都门或机构送交论文的复印侔和磁盘。 f 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：姿苏 导师签名： 签字日期：z 川年二月l 臼 签字日期：刁年工月f 日 第一章绪论 1 1 研究背景 第一章绪论 随着i n t e r n e t 和电子商务的迅速发展，人们能够获得的信息越来越多，这 一方面为我们的决策提供了更多的信息参考，但同时由于太多的信息量，用户花 费在检索信息上的时间也更多了。为适应信息量急剧增加，迫切需要相应信息检 一索技术产生。 特别是在电子商务的虚拟环境下，由于供应链和物流的发展，商家在网上所 能提供的商品种类和数量非常之多，但用户不可能通过一个小小的计算机屏幕一 眼就知道感兴趣的商品。通常来说，用户既不愿意花太多时间漫无边际在网上寻 找自己想要的商品，也不可能像在物理环境下那样检查商品的质量。在这种情况 下，用户就很希望电子商务系统能够具有一种类似采购助手的功能，可以根据用 户的兴趣爱好自动地推荐给每个用户他们可能感兴趣而且满意的商品。 在这种情况下，电子商务个性化推荐系统( p e r s o n a l i z e dr e c o m m e n d a t i o n s y s t e mf o re - c o m m e r c e ) 应运而生。电子商务个性化推荐技术，尤其是协同过滤 技术，构成了现有电子商务个性化推荐系统的基础。在这里，之所以强调个性化， 是因为需要推荐系统能为每个用户推荐适合他们偏好和兴趣的产品，而不是千篇 一律的推荐。 电子商务推荐系统具有良好的发展和应用前景。目前，几乎所有大型的电子 商务系统，如a m a z o n ，c d n o w ，e b a y ，d a n g d a n g 等，都不同程度的使用了各种形 式的推荐系统。各种提供个性化服务的w e b 站点也需要推荐系统的大力支持在 日趋激烈的竞争环境下，电子商务推荐系统能有效保留用户，提高电子商务系统 的销售。成功的电子商务推荐系统将会产生巨大的经济效益。 1 2 电子商务推荐系统的研究内容与研究现状 1 2 1 研究内容 电子商务推荐系统的研究内容和研究方向主要包括嘲 1 ) 推荐技术研究：目前主要的推荐技术主要包括基于内容的过滤和协同过 第一章绪论 滤两种。由于基于内容的过滤自身的局限性嘲嘲，协同过滤推荐技术是当前研究 的主流。 2 ) 实时性研究：在大型电子商务推荐系统中，推荐系统的伸缩能力和实时 性要求越来越难以保证。如何有效满足推荐系统的实时性要求得到了越来越多研 究者的关注。 3 ) 推荐质量研究：在大型电子商务系统中，用户评分数据极端稀疏。用户 评分数据的极端稀疏性使得推荐系统无法产生有效的推荐，推荐系统的推荐质量 难以保证。 4 ) 多种数据多种技术的集成：当前大部分的电子商务推荐系统都只利用了 一一部分可用信息来产生推荐。随着研究的深入，新型电子商务推荐系统应该利用 尽可能多的信息，收集多种类型的数据，有效集成多种推荐技术，从而提供更加 有效的推荐服务。 5 ) 数据挖掘技术在推荐系统中的应用：随着研究的深入，各种数据挖掘技 术( 主要包括关联规则挖掘、序列模式挖掘、聚类分析、b a y e s i a n 分类等) 在推 荐系统中得到了广泛的应用基于w e b 挖掘的推荐系统得到了越来越多研究者 的关注。 6 ) 用户隐私保护研究：由于推荐系统需要分析用户的购买习惯和兴趣爱 好，涉及到用户隐私问题，如何在提供推荐服务的同时有效保护用户隐私值得作 进一步深入的研究。 7 ) 推荐系统可视化研究：推荐系统的目的是为用户提供服务，因此必须为 用户提供友好的可视化服务界面主要包括推荐结果可视化研究和推荐结果解释 研究等方面的内容。 1 2 2 研究现状 推荐系统中的推荐技术主要包括基于内容的过滤和协同过滤两种。基于内容 的过滤是信息检索领域的重要研究内容儿引。基于内容过滤的推荐系统需要分析 资源内容信息哺1 ，根据用户兴趣建立用户档案( p r o f i l e ) ，然后根据资源内 容与用户档案之间的相似性向用户提供推荐服务憎3 。文u w 提出使用智能代理技术 分析用户的特定需求，提供推荐服务。s a l t o n 等人提出根据用户反馈自动更新用 户档案u 。b a y e s i a n 概率模型。、遗传算法归副以及其它机器学习技术也被广泛 应用于用户档案的建立和更新基于内容过滤的实验型推荐系统主要包括m a l o n e 等人提出的电子邮件信息过滤系统u ”。s t a n f o r d 大学提出的信息过滤工具 s i f t u 制、音乐过滤系统l y r i c t i m e 副。s i f t e r 原形系统驯等。 基于内容过滤的推荐技术具有一定的局限性u 儿制。这主要表现在必须分析资 第一章绪论 源的内容信息，因此对音乐、图像、视频等信息无能为力；无法分析信息的质量； 无法提供新颖的推荐。针对上述问题，研究者提出了协同过滤推荐技术 3 m 7 3 1 砌1 引。在早期的协同过滤推荐系统中，用户之间需要相互了解对方的兴趣 爱好啪【删。随着研究的深入，研究者提出了自动化协同过滤推荐技术n 钔2 1 1 翻2 引。 推荐系统的推荐质量是推荐系统成功的关键。经典协同过滤推荐技术根据用 户之间的相似性产生推荐结果儿划。k a r y p i s 等人瞄叫憎提出根据项之间的相似 性提供推荐服务，从而有效提高推荐质量。文脚。中提出通过图搜索计算用户最 近邻居的优化算法。文哪。提出对用户最近邻居和项均采用不同权重的方法改进 推荐质量。文瞄副对各种用户间相似性度量方法进行了分析，提出了各种改进方 法。用户评分数据的稀疏性是导致推荐系统推荐质量下降的主要原因删唧。文瞄叼 中提出使用奇异值分解技术减少项空间的维数，从而有效改善用户评分数据的稀 疏性。文日u 中提出通过对稀疏数据的关联分析可以有效提高推荐质量。文淄儿”1 提 出使用智能代理技术可以增加用户评分数据的稠密度。 随着电子商务规模的扩大，推荐系统的实时性研究逐渐成为研究热点，得到 了越多越多研究者的关注u 儿副。s a r w a r 等人嵋划提出了基于关联规则挖掘的推荐系 统。文吲中提出了基于b a y e s i a n 分类挖掘的推荐系统。文3 4 h 3 钉3 6 1 中提出使用聚 类分析将用户划分为不同的组，从而有效减小搜索空间。文中提出通过项聚 类分析，从而在用户评分数据的子集上搜索最近邻居。文嵋引中提出使用奇异值 分解技术减少项空间的维数，提高最近邻居搜索速度。文嘲1 提出了通过r e c t r e e 方法有效减小搜索空间，从而满足推荐系统的实时性要求。 传统的协同过滤推荐技术根据用户显式评分产生推荐结果，用户使用不方 便，许多研究者提出可以通过w e b 挖掘技术获取用户隐式评分1 儿羽。文3 钔删提出 通过w e b 日志挖掘提供推荐服务。文h 提出通过u p , 聚类产生推荐的方法。文1 提 出通过w e b 使用挖掘和w e b 使用内容挖掘提高推荐质量的方法。各种数据挖掘方法 如关联规则挖掘技术4 3 3 3 引、聚类挖掘技术训4 5 1 被广泛的应用于w e b 日志分析中 以提高推荐精度。 协同过滤推荐技术也存在自身的不足u 儿副。主要表现在用户评分数据比较少 的时候推荐质量比较低。因此基于多种数据多种技术的有效集成得到研究者的重 视u 儿副。b a l a b a n o v i c 等人。提出通过基于内容的过滤和协同过滤的复合型推荐 系统提高推荐质量。文m 中提出基于w e b 使用挖掘和w e b 内容挖掘的推荐系统。 文旧训副中提出同时使用智能代理技术和协同过滤技术提供推荐服务的方法。文 h 副中提出在推荐系统中增加产品语义信息，从而提高推荐系统的推荐质量。 推荐系统是信息检索和信息过滤领域的研究热点，得到了许多著名研究机构 第一章绪论 和研究者的关注，以下是主要的研究型推荐系统实例： 1 ) t y p e s t r y ：是x e r o xp a r c 研究中心提出的一个研究型协同过滤推荐系 统口1 ，用于过滤电子邮件、推荐电子新闻。t y p e s t r y 系统提供电子文档 存储、用户评价存储和协同过滤推荐服务。在t y p e s t r y 系统中，设计了一种类 似于s q l 的查询语言t q l ，用户的查询请求中必须明确指出与自己兴趣爱好相似 的其他用户。由于用户之间必须了解对方的兴趣爱好，因此t y p e s t r y 推荐系统 只适用于用户群体比较小的场合。 2 ) a c f ：a c t i v ec o l l a b o r a t i v ef i l t e r i n g 系统是c a r n e g i e - m e l l o n 大学开 发的主动协同过滤推荐系统l 2 0 j ，, 用于电子文档推荐。a c f 系统通过指针实现协同 过滤推荐服务，指针包含指向电子文档的超链接、电子文档的上下文信息以及用 户撰写的电子文档评论。在才c t 系统中，用户可以通过主动的方式将创建的指针 推荐给其他可能感兴趣的用户，也可以将创建的指针保存在系统中供其他用户查 看。a c f 系统也只适用于用户群体比较小的场合。 3 ) g r o u p l e n s ：由m i t 开发的自动协同过滤推荐系统u 引u 剀。 用于新闻组信息推荐。g r o u p l e n s 系统通过用户的评分信息自动搜索用户的最近 邻居，然后根据最近邻居的评分信息产生最终的推荐结果，适合于用户数量比较 大的场合。g r o u p l e n s 系统具有极好的开放性，用户可以通过g r o u p l e n s 系统提供 的a p i 函数晦 g r o u p l e n s 服务器提供评分信息，请求推荐结果。同时，g r o u p l e n s 系统提供三种客户端工具e m a c sg n u s 、n n 和n e w s w a t c h e r 达到上述目的。 4 ) m o v i e l e n s ：是m i n n e s o t a 大学开发的研究型自动协同过滤推荐系统h 儿酬 珏劓，用于推荐电影。与g r o u p l e n s 不同，m o v i e l e n s 系统是一个基于w e b 的推荐系 统，系统通过浏览器的方式进行用户评分数据收集与推荐结果显示，用户使用更 加方便。 5 ) r i n g o ：由m i t 媒体实验室开发的研究型协同过滤推荐系统咄。，用于提 供个性化的音乐推荐服务。r i n g o 系统可以向用户推荐用户最喜欢的音乐，预测 用户最不喜欢的音乐，也可以预测用户对特定音乐的评分。 6 ) v i d e or e c o m m e n d e r ：是b e l l c o r e 开发的协同过滤推荐系统嵋，用 于电影推荐。v i d e or e c o m m e n d e r 系统通过电子邮件的方式收集用户评分数据， 提供推荐服务在v i d e or e c o m m e n d e r 系统中，不仅可以预测用户最喜欢的电影， 也可以预测用户对特定电影的评分。在v i d e or e c o m m e n d e r 系统提供推荐结果时， 同时向用户提供用户最近邻居的电子邮件联系方式，以及用户与最近邻居的相似 度等信息。 7 ) f a b ：是s t a n f o r d 大学数字图书馆项目组开发的基于内容的过滤和协同 过滤的复合型推荐系统m 。，用于推荐w e b 页面。其特点是综合了基于内容过滤的 第一章绪论 推荐和协同过滤推荐的优点，同时支持两种类型的推荐服务。f a b 系统主要包括 页面收集代理，个人推荐代理和中心路由器页面收集代理从w e b 上收集特定 主题的页面，个人推荐代理从特定主题中选择用户感兴趣的页面推荐给用户。个 人推荐代理根据文档内容信息建立用户的用户档案，然后根据用户档案之间的相 似性搜索用户的最近邻居。产生的推荐结果可以基于用户档案中的文档内容信 息，也可以基于用户最近邻居的评价信息( 协同过滤) 。 1 2 3 存在的问题 推荐系统在实际的电子商务系统中也得到了广泛应用。但是，随着电子商务 系统规模越来越大，推荐系统也面临着一系列挑战，主要包括u 儿2 1 j 1 ) 数据稀疏性问题和冷开始问题：在推荐系统建立初期，由于系统资源还 没有获得足够多的评价，系统很难利用这些评价来发现相似的用户，这就是数据 稀疏性问题；而如果一个新项目没有人去评价它，那么它便得不到推荐，推荐系 统就失去了作用，也就是冷开始问题。数据稀疏性和冷开始问题是影响推荐系统 推荐质量的关键问题。 2 ) 实时性与推荐质量之间的平衡：推荐系统的推荐精度和实时性是一对矛 盾。大部分推荐技术在保证实时性要求的同时，是以牺牲推荐系统的推荐质量为 前提的畸m 6 川。在提供实时推荐服务的同时，如何有效提高推荐系统的推荐 质量，需要做进一步深入的研究。 3 ) 新型电子商务推荐系统体系结构研究：当前大部分的电子商务推荐系统 都只是一个单一的工具，只能提供一种推荐模型h 副m 。但由于电子商务系统本 身的复杂性，不同场合需要不同类型的推荐。需要研究新型电子商务推荐系统体 系结构，收集多种类型的数据，提供多种推荐模型，满足不同类型 的推荐需求。 4 ) 推荐结果解释研究：电子商务推荐系统为了说服用户，需要向用户解释 推荐产生的原因。目前的电子商务推荐系统只能通过简单的销售排行、向用户提 供其他用户对商品的评价评分信息等方式来达到上述目的嵋儿m 。需要进一步研 究更加有效的方法向用户解释产生推荐的原因，从而增加用户对推荐系统的信任 程度，说服用户听从推荐系统的推荐。 1 3 本文工作 面对电子商务推荐系统存在的一系列问题，尤其是推荐系统的推荐质量问 题，本文提出了集成语义信息的电子商务推荐系统，该系统对商品提取针对行业 第一章绪论 的语义信息，将商品所蕴涵的语义作为推荐过程中考虑的重要因素，同时针对用 户的兴趣爱好进行偏好提取和偏好过滤，最终完整准确而又人性化的产生个性化 的推荐结果。 本文的主要创新点如下： 1 、提出商品的语义关联模型以及语义训练中心。通过结合语义相似性以及产 品分类学的方法，提出商品语义关联模型来进行基于语义的产品相关性分析。针 对行业的关联模型的建立是通过语义训练中心来进行的，这种模型比现有的推荐 方法提供了更多的显式语义。 2 、 改进了基于项目的协同过滤推荐算法。对不同产品的语义信息进行相似度 计算，结合原有协同过滤算法，综合语义过滤技术与协同过滤技术来对欲推荐的 商品计算预测权值。试验证明该集成语义过滤和协同过滤两种方法的推荐算法在 克服现有推荐方法的数据稀疏性问题和冷开始问题上面，具有重大意义。 3 、 设计了一种基于决策树的用户语义偏好模型。用户偏好模型的学习阶段可 以离线进行，模型的应用阶段是针对用户的偏好过滤，推荐模型的建立有效的增 强了推荐系统的实时性能，一定程度上克服了实时性与推荐质量之间的平衡问 题。 4 、提出了如何利用本体表达商品信息以及用户偏好信息。本文利用商品所属 行业名，商品属性信息和语义信息等来为虚拟商品创建r d f 文件，该文件代表了 对应的商品，通过将该文件置于公共站点，各个电子商务代理商获取该文件后解 析并且导入本地系统，实现了虚拟商品的购入和购出。本文也利用用户访问过的 商品所属行业名、此行业中的访问商品的累计频率、以及时间信息等来为用户创 建一个r d f 动态兴趣偏好。r d f ( r e s o u r c ed e s c r i p ti o nf r a m e ) 是一种用来在万 维网中描述资源的语言。它专门用于表达关于w e b 资源的元数据，比如w e b 页面 的标题、作者和修改时间，w e b 文档的版权和许可信息，某个被共享资源的可用 计划表等。然而，将“w e b 资源( w e br e s o u r c e ) 抑这一概念一般化后，r d f 可被 用于表达关于任何可在w e b 上被标识的事物的信息，即使有时它们不能被直接从 w e b 上获取。比如关于一个在线购物机构的某项产品的信息( 例如关于规格、价 格和可用性信息) ，或者是关于一个w e b 用户在信息递送方面的偏好的描述。r d f 用于信息需要被应用程序处理而不是仅仅显示给人观看的场合。r d f 提供了一种 用于表达这一信息、并使其能在应用程序间交换而不丧失语义的通用框架。既然 是通用框架，应用程序设计者可以利用现成的通用i i d f 解析器( r d fp a r s e r ) 以 及其他通用的处理工具。能够在不同的应用程序间交换信息意味着对于那些并非 第一章绪论 信息的最初创建者的应用程序也是可利用这些信息。推荐系统服务器可以通过监 视用户对商品的访问购买过程，将相应的偏好信息写入用户的r d f 偏好文件中。 1 4 本文结构 第一章，阐明本文课题的选题背景和研究现状，并说明本文的主要内容和创 新点。 第二章，介绍电子商务推荐系统的作用，分类，构成，主要的推荐技术。 第三章，详细阐述了集成语义信息的电子商务推荐系统的系统设计，并给出 关键的集成语义信息的协同过滤技术的算法设计和性能试验。 第四章，阐述如何在集成语义信息的电子商务推荐系统中记录用户动态偏 好、构建和应用用户语义偏好模型，以及表达和解析用户偏好。 第五章，描述了结合协同过滤和语义过滤推荐，实现电子商务个性化推荐系 统的整体应用背景，系统分析和设计以及功能。 第六章，对本文的研究工作进行总结，提出存在问题，并对未来该领域研究 前景做出展望。 第二章电子商务推荐系统相关介绍 第二章电子商务推荐系统相关介绍 电子商务个性化推荐系统是在电子商务过程中针对不同的用户提供个性化 的产品和服务的应用系统。它直接与用户交互，模拟商店销售人员向用户提供商 品推荐，帮助用户找到所需商品，从而顺利完成购买过程川睇。电子商务推荐系 统产生的推荐可以基于电子商务系统的销售排行，可以基于用户以前的购买行 为，也可以基于用户表现出来的兴趣爱好等。本章介绍电子商务个性化推荐系统 的作用、分类、构成和主要推荐技术。 2 1 电子商务推荐系统的作用 电子商务推荐系统最大的优点在于它能收集用户感兴趣的资料，并根据用户 兴趣偏好主动为用户作出个性化推荐。这样，当用户每次输入用户名和密码登录 电子商务网站后，推荐系统就会自动按照用户偏好程度的高低推荐给用户最喜爱 的n 个产品，而且给出的推荐是实时更新的。也就是说，当系统中的产品库和用 户兴趣资料发生改变时，给出的推荐序列会自动改变，大大方便了用户对商品信 息的浏览，也提高了企业的服务水平。总的来说，电子商务推荐系统的作用主要 表现在三个方面：将电子商务网站的浏览者转变为购买者；提高电子商务网 站的交叉销售能力( c r o s ss e l l i n g ) ；提高客户对电子商务网站的忠诚度。 研究表明，电子商务的销售行业使用个性化推荐系统后，销售额能有很大提 高，尤其在书籍、电影、c d 音像、日用百货等产品相对较为低廉且商品种类繁多、 用户使用个性化推荐系统程度高的行业，推荐系统能大大提高企业的销售额。 电子商务推荐系统和销售系统( m a r k e t i n gs y s t e m s ) 、供应链决策支持系统 ( s u p p l y - c h a i nd e c i s i o ns u p p o r ts y s t e m s ) 既相似又有不同。销售系统是帮助 销售人员如何把产品销售出去；推荐系统是帮助用户对购买什么产品做出决策。 供应链决策支持系统是帮助生产者决定什么时候生产什么产品，以及仓库应该存 贮多少某类产品，其最终目的是为企业生产者服务；同样，推荐系统是面向用户 的系统。 第二章电子商务推荐系统相关介绍 2 2 电子商务推荐系统的分类 电子商务推荐系统以用户为中心，为用户提供服务，可以根据用户获得推荐 系统推荐的自动化程度和持久性程度对电子商务推荐系统进行分类叫。 1 ) ，自动化程度：用户为了得到推荐系统的推荐是否需要显式的输入信息， 自动化程度分为自动化方式和手工方式。 2 ) 持久性程度：电子商务推荐系统产生推荐是基于用户当前的单个会话 还是基于用户的多个会话。 一根据用户获得推荐的自动化程度和持久性程度，可以将将电子商务推荐系统 分为非个性化电子商务推荐系统，基于属性的电子商务推荐系统，商品相关性推 荐系统和用户相关性推荐系统。 1 ) 非个性化电子商务推荐系统：向当前用户提供的推荐结果可能基于其 他用户对商品的平均评价，或者基于电子商务系统的销售排行，或者基于电子商 务系统的编辑推荐。这种推荐技术独立于各个用户，每个用户得到的推荐都是相 同的。非个性化电子商务推荐系统属于自动化方式推荐，产生的推荐基于用户的 单个会话。典型例子包括a m a z o n 提供的a v e r a g ec u s t o m e rr a t i n g 推荐，e b a y 提 供的c u s t o m e rc o m m e n t s 推荐。 2 ) 基于属性的电子商务推荐系统：根据商品的属性特征向用户产生推荐 列表，这种推荐系统类似于搜索引擎，用户需要手工输入所需商品的属性特征。 基于属性的电子商务推荐系统需要用户显式输入商品的属性特征，因此属于手工 方式推荐。产生的推荐可以基于用户的单个会话，也可以基于用户的多个会话。 典型例子包括f l j l l a z o n 提供的d e l i v e r s 推荐，r e e l 提供的m o v i em a p 推荐。 3 ) 商品相关性推荐系统：根据商品之间的相关性向用户产生相应的推荐。 商品相关性推荐系统可以是全自动化推荐系统，也可以是全手工方式推荐系统。 这种推荐技术一般是基于用户的单个会话。典型例子如a m a z o n 提供的c u s t o m e r s w h ob o u g h tt h i sb o o ka l s ob o u g h t 推荐，c d n o w 提供的a l b u ma d v i s o r 推荐。 4 ) 协同过滤推荐系统：又称为用户相关性推荐系统，这种推荐系统首先搜 索当前用户的最近邻居，然后根据最近邻居的购买历史或评分信息向当前用户产 生推荐。用户相关推荐一般不书要用户显式输入信息。产生的推荐一般是基于用 户的多个会话。典型例子包括a m a z o n 提供的b o o km a t c h e r 推荐，m o v i ef i n d e r 提供的w ep r e d i c t 推荐。 第二章电子商务推荐系统相关介绍 2 3 电子商务推荐系统的构成 整个电子商务推荐系统的组成主要可以分为三个模块：输入功能( i n p u t f u n c t i o n a l ) 模块、推荐方法( r e c o m m e n d a t i o nm e t h o d ) 模块、输出功能( o u t p u t f u n c t i o n a l ) 模块。 输入模块主要负责对用户信息的收集和更新。输入可来自客户个人和社团群 体两部分。客户个人输入( t a r g e t e dc u s t o m e ri n p u t s ) 主要指目标用户，即要 求获得推荐的人为得到推荐而必须对一些项目进行评价，以表达自己的偏好，包 括隐式浏览输入、显式浏览输入、关键词和项目属性输入和用户购买历史等。社 团群体输入( c o m m u n i t yi n p u t s ) 主要指集体形式的评价数据，包括项目属性、社 团购买历史、文本评价、等级评分。 输出模块主要负责在系统获得输入信息后，输出推荐给用户的内容。主要形 式有建议( s u g g e s t i o n ) ，又分为单个建议( s i n g l ei t e m ) 、未排序建议列表 ( u n o r d e r e dl i s t ) 、排序建议列表( o r d e r e dl i s t ) ，典型的如t o p - a t ：推荐系统 根据客户的喜好向客户推荐最可能吸引客户的前n 件产品；预测( p r e d i c t i o n ) ： 系统对给定项目的总体评分；个体评分( i n d i v i d u a l ra t i n g ) ：输出其他客户 对商品的个体评分；评论( r e v i e w ) ：输出其他客户对商品的文本评价。 推荐方法模块是推荐系统的核心部分，负责由输入如何得到输出，决定着推 荐系统的性能优劣。推荐方法模块以推荐技术和算法为技术支撑。 2 4 电子商务推荐系统中的推荐技术 目前在电子商务活动中，广泛使用的推荐技术主要有协同过滤推荐、基于关 联规则的推荐、基于用户统计信息的推荐、基于内容的推荐、基于效用的技术和 基于知识的技术等，各种推荐技术的简明算法步骤见表2 ：1 【1 2 1 。 表2 1 推荐技术方法比较 推荐技术背景条件输入 主要步骤 协同过滤推荐u 对i 的评价u 对i 的评价等 识别u 的邻居用户；根据 级其生成i 的评价分 基于内容推荐i 的特征属性u 对i 的评价等根据u 的评价分生成项目 级的分类器 第二章电子商务推荐系统相关介绍 基于人口统计 u 的人口统计信关于u 的人口统识别u 的相似用户根据其 信息推荐 息及对i 的评价计信息生成i 的评价分 基于效用推荐 i 的特征描述u 对i 偏好把效用函数用于各项目； 的效用函数生成各项目的排序 基于知识推荐 i 的特征、i 如何对u 需要和兴趣计算各项目i 和用户需要 满足用户的知识的描述的匹配程度 基于规则推荐u 对i 的浏览或购浏览购买记录生成关联规则；根据规则 买历史生成推荐 协同过滤( c o l l a b o r a t i v ef i l t e r i n g ) ( c f ) 是应用最广泛最成熟的推荐技 术，它的基本思想是由其他用户的资料协同过滤得到对目标用户的推荐。用户资 料由各项目及用户对各项目的评分组成的向量表示，即用户一项目矩阵。矩阵中 的数据是用户对项目的评分。对目标用户的所有可能的推荐，肯定都包含在项目 集i 中。协同过滤的意思，就是如何把这个i 集过滤后只剩下给目标用户的n 个推 荐项目。在c f 技术中，一般都不考虑用户的兴趣会因为时间的推移而发生的变化， 即认为用户对项目的评分是不随时间改变的。主要采用c f 技术的著名的系统有 g r o u p l e n s n e t p e r c e p t i o n s ，r i n g o f i r e f l y 及t a p e s t r y 和r e c o m m e n d a t i o n 。协同 过滤对推荐对象本身并没有特殊的要求，它所关注的只是用户对项目的评价信 息。 所有推荐技术都有其优点和缺点，如表2 2 t l z j 所示。 表2 - 2 推荐技术优缺点比较 推荐技术优点 缺点 协同过滤推荐 新异兴趣发现、不需要领域知冷开始问题、稀疏问题； 识；随着时间推移性能提高；推新用户问题；质量取决历 荐个性化、自动化程度高；处理史数据集；系统开始时推 复杂非结构化对象荐质量差 基于内容推荐 推荐结果直观，容易解释；不需稀疏问题；新用户问题； 要领域知识复杂属性不好处理：要有 足够数据构造分类器 基于用户统计信息新异兴趣发现；没有新用户问用户的人口信息统计资 推荐题；不要领域知识料难得到 基于效用推荐 无冷开始和稀疏问题；对用户偏用户必须输入效用函数； 好变化敏感；考虑非产品特性推荐是静态的，灵活性 第二章电子商务推荐系统相关介绍 差：属件萤睿问颧 基于知识推荐 把用户需求映射到产品上；考虑知识难获彳寻：推荐是静态 非产品属性的 基于关联规则推荐发现新兴趣点；不要领域知识 关联规则抽取难、耗时； 产品名同义性问题；个性 化程度低 由于各种推荐方法都有优缺点，所以在实际中常采用组合推荐( h y b r i d r e c o m m e n d a t i o n ) 。研究和应用最多的是内容推荐和协同推荐的组合h 制。最简 单的做法是分别用基于内容的方法和协同推荐方法，产生一个推荐预测结果，然 后用某方法组合其结果。文献h 副利用用户评价数据得到的文档词矩阵( t h e t e r m - - d o c u m e n tm a t r i x ) 产生一个基于内容用户资料的矩阵( c o n t e n tp r o f il e m a t r i x ) 。通过潜在语义索引( l a t e n ts e m a n t i ci n d e x i n g ，l s i ) 计算一个基于内 容用户资料的排序形式，在l s i 空间中，加权用户档案中的词义向量产生推荐； 文献h 引用w i n n o w 算法从训练集中导出一个具有权重的词义向量作为用户资料模 型。在此基础上，用协同过滤方法进行预测；f a b 通过构建个人过滤器和主题过 滤器，文档先用主题过滤器排序，再用个人过滤器处理，用户的反馈可以修改个 人代理器和主题代理器；文献删用协同过滤和多个个人信息过滤代理，协同过 滤基于当前用户的个人代理和其他用户集上。在组合方式上，文献h 副提出了加 权、变换、混合、特征组合、层叠、特征扩充、m e t a l e v e l 等7 种组合思路。尽 管理论上有很多种推荐组合方法，但在某一具体问题中并不见得都有效，组合推 荐一个最重要的原则，就是通过组合后要能避免或弥补各自推荐技术的弱点。 本文的核心内容，集成语义信息的协同过滤推荐技术，即是将基于项目的协 同过滤与语义过滤技术进行组合的技术，协同过滤技术的优点是利用其他用户的 结果来扩展信息的广度和精确度，而语义过滤技术具有挖掘用户隐含兴趣，达到 语义推测目的的优点。我们融合了以上这两种技术，给用户的推荐结果即完整准 确又能更人性化地去迎合用户的偏好。 第三章集成语义信息的电子商务推荐系统- - e r s i s 第三章集成语义信息的电子商务推荐系统e r s i s 3 1 系统总体功能和结构 针对现有推荐系统在语义关联方面的不足，结合传统推荐系统里的用户一产 品关系库以及用户信息库，构成本文提出的集成语义的电子商务推荐系统原型， 如图3 1 。 用户 用户语义偏好库 _ _ _ ，一 pk _ - - - - _ - - _ _ 一 j 离线学习 ) r 用户一产品关系库厂鼢一u 碡及个 推荐结果呈现 r i 加入商品_ 7 义过滤技术 上 商量型卜一 - - - _ _ _ _ _ 一 输入； 推荐方法 ； 输出 图3 1 集成语义信息的电子商务推荐系统 协同过滤技术的优点是利用其他用户的结果来扩展信息的广度和精确度，而 语义过滤技术具有挖掘用户隐含兴趣，达到语义推测目的的优点。为了增强系统 的实时性能，系统还定期对用户一产品关系库进行离线的学习，构建出单用户对 于商品的语义偏好模型，使得系统对用户的推荐更符合现实世界中的个性化推 荐，最终给用户的推荐结果即完整准确又能更人性化地去迎合用户的偏好。在语 义推荐部分，系统对加入的商品分行业提取相应的语义项信息，信息以关联权重 的形式存入语义信息库，然后利用基于相似度计算的语义过滤技术构成语义推 荐。最后我们在经典的基于项目的协同过滤算法加以改进，实现将语义因素融入 到预测权值计算中的目的。下面几节给出系统中推荐部分的整个设计和算法以及 性能试验，语义偏好模型的离线构建和在线应用将在第四章进行详细介绍。 一 第三章集成语义信息的电子商务推荐系统- - e r s i s 3 2 语义信息的加入 尽管目前的电子商务推荐系统取得了大范围的应用，但他们中的大多数并不 理解商品项的语义特征。这样就无法保证预测的准确性。比如在实时性很强的电 子商务活动中，商品可能涉及众多行业，比如音像制品，体育用品，餐饮用品， 食品等等，当用户决定购买某个商品或者赋予商品偏好权重时，这不仅仅代表用 户对该商品或者该行业感兴趣，这里面还隐含用户很可能对于这种商品关联的语 义信息感兴趣。比如用户购买了一部电影的v c d ，表明用户可能对和膏娱乐”相 关联的商品感兴趣；用户购买了一套运动服，表明用户可能对和“健康”相关联 的商品感兴趣，从而和“娱乐 或者“健康有语义关联的商品都应该可能会被 推荐给用户。 3 2 1 语义关联模型 一个项的语义信息