[硕士论文精品]数据挖掘在电子商务旅游线路推荐系统中的应用研究

摘要随着经济的发展和人民生活水平的提高，旅游业呈现出前所未有的强劲发展势头，多景点、多样化的旅游消费新形式越来越受到游客的青睐。而各地旅游业在快速发展的同时，也面临着其他旅游地区或景点的有力竞争。如何有效整合本地旅游资源、提高旅游服务质量，成为当地政府的一大难题；如何通过为游客提供一条合理的旅游线路，从而增强企业的竞争力，也是旅游从业者亟需破解的难题；而作为游客，在缺乏足够有效信息的情况下，很难在众多旅游景点和旅游形式前做出抉择。而电子商务推荐系统的出现，无疑为相关问题的解决提供了一个很好的思路和途径。当前电子商务推荐系统研究的热点主要集中在如何提高商品的推荐效率和准确率上，其通过接口直接与用户进行交互，为用户提供商品推荐，帮助用户找到所需商品，从而完成购买过程，以提高用户对自己网站的忠诚度，赢得用户更多的青睐。电子商务推荐系统尽管在理论和应用上都得到了很大的发展，但同时也存在着一系列的挑战和问题，而在旅游产业规划和旅游线路开发上，并没有充分利用到相关的技术成果。针对上述问题，本文对电子商务旅游线路推荐系统中的算法设计以及推荐系统的应用进行了研究和探索。本文首先介绍了与电子商务推荐系统相关的基本概念、存在问题及发展方向等。并分析了电子电子商务推荐系统使用的相关技术。其次重点介绍了关联规则分析的基本概念，并着重讨论了关联规则算法。通过将关联规则算法应用到旅游线路推荐系统中，得到了各景点之间的关联关系，取得了较好的旅游线路推荐效果。然后借助于数据挖掘技术，根据旅游线路的特点，对旅游线路的规划进行了系统、客观地分析，突破了以往以单纯应用整理、归纳方法总结出旅游线路的传统思路，开启了应用计算机辅助分析旅游线路的新思路。本文提出了基于数据挖掘技术的电子商务旅游线路推荐系统，并设计了一个具有基本功能的电子商务旅游线路推荐系统，从而为带动整个旅游产业的发展、促进行业竞争力的提高产生积极的促进作用。最后，本文总结了相关的研究工作，并指出了以后需要努力的方向和应用前景。关键词数据挖掘；电子商务；旅游线路；推荐系统；关联规则ABSTRACTWITHTHEDEVELOPMENTOFECONOMICANDGROWTHINLIVINGSTANDARD，TOURISTPRESENTSUNPRECEDENTEDLEVELOFGROWTHMOMENTUM，NUMEROUSBEAUTYSPOTANDNEWPATTEMOFDIVERSIFIEDTOURISMCONSUMPTIONISBECOMINGMOREANDMOREAPPRECIATEDHOWEVER，WITHTHERAPIDDEVELOPMENTOFTOURIST，INTHEMEANTIME，WHICHFACESTOUGHCOMPETITIONHOWTOINTEGRATETOURISTRESOURCESANDIMPROVEQUALITYOFSERVICE，ISAPROBLEMFORVARIOUSREGIONS；ANDHOWTOENHANCETHECOMPETITIVENESSOFENTERPRISESBYPROVIDINGAREASONABLETOURISTROUTESFORTOURISTS，ISALSOAPROBLEMFORTOURISMOPERATOR；ASATOURIST，ITISDIFFICULTTOCHOOSEAROUTEWHENLACKOFADEQUATEINFORMATIONTHEEMERGENCEOFECOMMERCERECOMMENDATIONSYSTEMUNDOUBTEDLYPROVIDESANEWWAYANDNOTIONFORITTHECURRENTHOTSPOTSRESEARCHOFRECOMMENDATIONCENTREONHOWTOINCREASEOFRECOMMENDINGEFFICIENCYANDRATEOFACCURACY,THEECOMMERCERECOMMENDMIONSYSTEMINTERACTSCONSUMERSBYINTERFACESDIRECTLY,ANDWHICHRECOMMENDSPRODUCTSTOHELPCONSUMERSTOCHOOSEPRODUCTSWHILE，FROMTHEPOINTOFTHEWEBSATE，ITNEEDSTOPROVIDEASMANYASPOSSIBLEITEMSTOSATISFYDIFFERENTCUSTOMERWITHDIFFERENTCONSUMINGPREFERENCESSOASTOIMPROVECUSTOMERSLOYALTIESALTHOUGHECOMMERCERECOMMENDATIONSYSTEMHAVEBEENDEVELOPEDINBOTHRESEARCHANDPRACTICE，CHALLENGINGRESEARCHPROBLEMSREMAIN，ESPECIALLYINTOURISTROUTES，WHICHDIDNTTAKEFULLADVANTAGEOFTHERELATEDTECHNOLOGYAIMEDATTHIS，THEPAPERCONCENTRATESALGORITHMASWELLASAPPLICATIONONTOURISTROUTESRECOMMENDATIONSYSTEMFIRSTLYTHEPAPERGIVESADETAILEDINTRODUCTIONTOTHEDEFINITION，TECHNOLOGIESANDSTUDYORIENTATIONSOFECOMMERCERECOMMENDATIONSYSTEM，ANDTHENMAINLYINTRODUCESTHECONCEPTSASSOCIATIONRULES，BYANALYZINGAPRIORIALGORITHMANDITSIMPROVEMENT，ANDUSINGTHEMINECOMMERCETOURISTROUTESRECOMMENDATIONSYSTEM，TOOBTAINTHEASSOCIATIONRELATIONSHIPOFSPOTS，ITACQUIRESGOODEFFECTSTHEN，WITHTHEHELPOFDATAMININGTECHNOLOGY,ANDACCORDINGTOTHECHARACTERISTICSOFTOURISTROUTES，ANALYZETHEROUTEPLANNINGREGULARITYSYSTEMATICALLYANDOBJECTIVELY，BREACHTRADITIONALTHOUGHTOFARRANGINGANDINDUCINGTOURISTROUTESSIMPLY,CREATEANEWMETHODTHATUSINGCOMPUTERSTOANALYZETOURISTROUTESTHEPAPERPROPOSESECOMMERCETOURISTROUTESRECOMMENDATIONSYSTEMWHICHBASEDONDATAMINING，ANDDESIGNSALLECOMMERCETOURISTROUTESRECOMMENDATIONSYSTEMTHATHADTHEBASICFUNCTIONS，WHICHPLAYAPOSITIVEROLEFORPROMOTINGTHEDEVELOPMENTOFTHETOURISMINDUSTRYANDIMPROVINGCOMPETITIVENESSOFTHEINDUSTRYFINALLY,THEPAPERSUMMARIZESTHERESEARCHINGWORK，ANDTAKESAGLANCEINTOTHEFUTUREWORKKEYWORDSDATAMINING；ECOMMERCE；TOUDSTROUTES；RECOMMENDATIONSYSTEM；ASSOCIATIONRULES重庆交通大学学位论文原创性声明本人郑重声明所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名灵细I日期渺7年舌月2日重庆交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权重庆交通大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本人学位论文收录到中国学位论文全文数据库，并进行信息服务包括但不限于汇编、复制、发行、信息网络传播等，同时本人保留在其他媒体发表论文的权利。学位论文作者签名乒JB翎日期P1年妇多日本人同意将本学位论文提交至中国学术期刊光盘版电子杂志社CNKI系列数据库中全文发布，并按中国优秀博硕士学位论文全文数据库出版章程规定享受相关权益。学位孳文擎签名笋茶阳日期叼年6月目指导教师签名日期沙移年易月何觚FHTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第一章绪论11研究背景和意义第一章绪论弟一早三百T匕111电子商务旅游线路推荐系统研究背景本次选题是数据挖掘技术在电子商务旅游线路推荐系统中的应用研究。旅游线路是旅游部门凭借旅游资源、旅游设施和旅游服务，针对目标市场，为方便旅游者进行旅游活动而设计，用交通线合理连接客源地和一系列旅游地、旅游区和旅游点的线性连续空间。当前，旅游景点之间的竞争非常激烈，部分地区甚至达到了白热化的地步。一个景点不仅要面临周围众多景点的竞争，还要面临与自己性质相同或类似景点的竞争压力。同时，由于各地旅游景区规划的问题，以及旅游从业者线路的安排也会影响到游客的选择。因此，相关的景点或公司必须在提高景点自身影响力和服务的同时，协同其他景点，从而达到“共赢”的目的。当FJ旅游景区线路规划问题得到了广泛的重视，在实践中显示出很高的应用价值。随着网络技术的发展，互联网已经变为一个巨大的、潜在价值无限的分布式海量信息空间。随同网络技术的进步，电子商务以及企业信息化程度也不断提高，电子商务的应用越来越显示出其重要的价值，电子商务网站也不再单单作为门户使用，而是成为企业经营环节中的重要一环。各地的旅游景点或旅游公司也建立了电子商务网站来推介自己或提供的服务。由于电子商务网站在运行中会产生大量的各种数据，如用户注册时提供的信息、历史购买信息和访问记录等；这就要求电子商务系统必须通过分析相关的数据，在合适的时间向意向客户推荐恰当的产品或服务显得尤为重要。由于电子商务的特性诸如数据量大、数据类型多等，使得要分析相关数据显得十分困难。当前在规划旅游线路时，一般采用以下几种方式一是主题旅游线路设计，比如红色旅游等来安排旅游线路；二是超市型旅游路线设计，顾客可以根据自己需求随意挑选景点，来安排自己的旅游线路；三是应用运筹学方法来寻求最优线路，从而把整个路线关联起来；最后就是市场导向，根据市场的要求来安排路线。但这些方法并没有充分利用信息技术的优势，随着数据库技术的发展，尤其是数据挖掘在各个行业中的广泛应用，为挖掘出合适的旅游线路提供了可能。HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第一章绪论2因此，把数据挖掘技术应用到电子商务推荐系统中显得十分必要和迫切。如何根据客户的爱好、习惯，模仿销售人员向景点的潜在访问者推荐信息和服务，在网站上有效提高景点或服务的吸引力的同时，使企业的经济效益最大化，成为各个企业亟需破解的难题。应用电子商务网站的推荐系统为客户提供符合其需要的推荐服务成为企业的选择之一。112电子商务旅游线路推荐系统研究意义旅游线路是旅游产品的重要组成部分，是连接旅游者、旅游企业及相关部门、旅游目的地的重要纽带，对区域旅游开发、旅游企业的生存与发展、旅游者的旅游体验等都有重要意义。旅游线路的设计的关键是适应市场需求，具体而言，即是它必须最大限度地满足景点内容最丰富，最有价值、最受游客欢迎等几点。由于旅游者来自不同的国家和地区，具有不同的身份以及不同的旅游目的，因而，不同的游客群有不同的需求。总的来说分为观光度假型、娱乐消遣型、文化知识型、商务会议型、探亲访友型、主题旅游型、修学旅游型、医疗保健型等。旅游线路设计是旅行社的一项重要工作，旅游线路设计人员应该掌握旅游线路设计的相关知识和技能，旅游从业者也应该了解旅游线路设计的要求与方法。而电子商务旅游线路推荐系统具有良好的发展和应用前景。其可以通过多种方式提高电子商务系统的销售能力L、针对系统的一些随意浏览者，电子商务推荐系统可以向其推荐他们感兴趣的景点或服务，提高他们的购买欲望，从而促进景点服务的销售，将浏览者转变为意向客户或购买者。2、针对正在使用系统选择景点或服务的用户，电子商务推荐系统可以向其推荐其他有价值的景点或服务，使用户能从推荐列表中选择自己需要但在选择过程中没有想到的景点或服务，从而有效提高电子商务系统的交叉销售能力。3、电子商务推荐系统通过分析用户的购买习惯，根据用户需求向用户提供有价值的景点推荐。如果电子商务推荐系统的推荐质量和推荐效率很高，满足用户的需求，那么，用户将对该系统产生很高的依赖。因此，电子商务推荐系统可以通过为用户提供个性化的推荐服务，来提高用户的忠诚度，从而建立长期的稳定关系。本文创新性的提出将数据挖掘的相关技术应用到电子商务旅游线路推荐系统中，为以后旅游线路推荐提供了一个很好的思路。因为当前旅游线路的安排都是基于旅游从业者以往经验或部分数据统计得出的结论，并不能真正反映出游客的真实需求。而数据挖掘恰恰能解决这一点，通过在电子商务推荐系统中应用数据挖掘技术，就可以根据客户的访问记录、访问频度，动态的记录相关的数据，HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第一章绪论3并通过应用相关技术，挖掘合适的数据，从而推荐给意向客户，开展有针对性的电子商务，以满足不同客户群体的需求。12电子商务推荐系统的研究现状和发展趋势121电子商务推荐系统研究现状推荐系统RECOMMENDATIONSYSTEM就是根据用户个人的喜好、习惯来向其推荐信息、商品的程序1。自推荐系统这个概念提出以后，其理论研究和应用都得到了很大的发展，当前电子商务推荐系统热点可分为如下四类21改进当前的电子商务推荐系统，提供更为精确的推荐。2将电子商务推荐系统由虚拟的销售人员转变为市场分析工具。3为商家的产品定价、促销活动及交叉销售等提供推荐数据。4使用数据挖掘技术，产生完全自动化、个性化的推荐。国外对推荐系统的研究走在了前列，早在上世纪末就提出了很多理论，并设计了许多推荐系统模型等。近些年来更是得到了很大的发展。针对许多推荐系统不能综合应用不同推荐算法的问题，文献3设计了一个只有单一推荐数据库的综合了不同算法的基于规则的推荐系统框架。针对仅仅应用用户数据的算法，4提出了结合网页结构和链接的分析算法来改善推荐系统的质量。为解决协同过滤算法中存在的稀疏、扩展性和冷启动等问题，文献5提出了结合用户分级协同过滤和似然关系模型的算法。为预测网络用户需求及为他们提供个性化的推荐，GIOVANNACASTELLANO等6提出了一个基于用户数据的神经模糊方法，通过一系列的模糊规则为用户提供个性化的链接推荐。由于当前的WEBSERVICE推荐系统是基于服务器端性能的，当WEBSERVICE客户端出存在于异质环境中时，需要一种考虑到环境异质性的WEBSERVICE分析和推荐框架7。为解决私密数据不便于公开的问题，HUSEYINPLOAT等8设计了有关水平划分数据的二分TOPN推荐模型。随着用户数量的快速增长和系统的应用，系统的推荐质量更多的依赖于邻区尺寸和质量，文献9提出了一种新的基于先选邻元素的P2P框架结构。而在实际应用中，AMAZONCOM等10取得了非常不错的效果。而国内近些年来也出现了研究电子商务推荐系统的热潮。自然科学基金也曾资助过“面向电子商务的顾客偏好分析与个性化分析系统”、“电子商务个性推荐系统及应用研究”等项目。协同过滤是推荐系统中采用最为广泛和成功的推荐技术，但随着电子商务系统用户数目和商品数目的增加，出现了耗时导致系统性能下降的现象，为解决此问题，文献11则提出了一种基于用户项目类偏好值矩阵HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第一章绪论4聚类的合作推荐方法。文献12探讨了协同过滤推荐系统中数据稀疏问题，对各种算法在不同数据稀疏程度下的算法性能进行了评估。针对电子商务推荐系统中各种推荐技术的不足，文献13提出了推荐策略的自适应方法。随着个性化电子商务的发展，个性化推荐系统也成为研究的热点之一，文献14提出了一种新的基于贝叶斯模型的商品推荐方法；文献15提出了利用知识领域进行相似度计算的协同过滤算法，使用户在评分的共同项目很少或为零的情况下也能找到最近邻进行协同推荐；文献16提出了一个基于层次分析和数据挖掘的个性推荐系统；文献17设计了一个基于数据挖掘的WEB个性化信息推荐系统，这样有利于在推荐策略中考虑针对不同类型的用户采用不同的推荐算法。基于网格环境和知识网格的推荐技术研究工作也取得了初步进展，文献18设计了基于知识网格的电子商务智能推荐系统结构；文献19设计了基于知识的电子商务智能推荐平台的逻辑框架。而在推荐系统实际应用方面，国内做的比较好的有当当网上书店、卓越网、淘宝网等。综上所述，我们可以看出，电子商务推荐技术己经成为电子商务推荐系统研究领域热点问题，研究者对各种推荐技术在电子商务领域的应用进行了许多有益的探索，形成了一定的知识积累，并且一些较为成熟的推荐技术己经得到了商业化的运用。事实上，随着我国电子商务的蓬勃发展，对个性化推荐技术的需求在不断增长，谁先使用个性化推荐技术，谁就可能获得更多的用户。122电子商务推荐系统的发展趋势目前，电子商务推荐系统主要有以下发展趋势1、由BS结构向CS结构发展目前大部分的电子商务推荐系统采用的是嵌入式构架，如ANLAZON，CDNOW,EBAY,当当等。推荐引擎作为商务系统的一部分，特点是实施简单，一般通过函数库、类库或软件组件等形式实现。在嵌入式推荐构架中，推荐系统强烈依赖于应用系统，要求采用和应用系统相同的运行环境，如相同的应用服务器软件平台。而CS结构的推荐构架有这自身的优势。推荐引擎作为提供推荐服务的服务器端，独立于商务系统；商务系统则作为请求推荐的客户端。它们之间用某种应用接口例如TCPIPHTTP或者RCP等交互。此构架的特点是推荐系统的运行环境不需要和应用。2、侧重文本分析对于推荐的产生，现阶段较少用到文本的分析。而对文本的分析却对推荐的产生起着重大的作用。举个例子，在客户服务中心，把同客户的谈话转化为文本HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第一章绪论5数据，再对这些数据进行挖掘，进而了解客户对服务的满意程度和客户的需求以及客户之间的相互关系等信息，从而作出准确的推荐。但是文本的分析并不是一件容易的事情，尤其是在分析方法方面，还有很多需要研究的专题。目前市场上有些类似的软件，但大部分方法只是把文本移来移去，或简单地计算一下某些词汇的出现频率，并没有真正的分析功能。3、多算法、多模型3现有的推荐系统多以某个或某种推荐算法为核一TL,，推荐功能单一，不能灵活提供多种推荐。而未来的推荐系统会采用多种算法、多种模型，算法之间进行互相协调，从而使推荐结果更满足用户的需求；通过多种模型的比较，可以得到更理想的效果。13电子商务推荐系统面临的挑战目前已有的推荐系统虽然取得了一定的成果，但依然存在着一些难题20、21、231、特征提取问题尽管在信息检索方面文本等对象特征提出技术已经非常成熟，但推荐系统中不一定有文本特征或不足以作为描述，尤其是系统中存在的多媒体数据等的特征提取方法需要利用到多领域的技术和方法。另一个问题是特征的区分性问题，海量数据情况下不同对象的特征错配会影响系统的性能。2、可扩展性问题由于用户没有对足够多类别的对象进行评价，因此推荐算法无法完全掌握用户所有的兴趣和需求。模拟过拟合的问题的本质来自于数据的不完备性，而这在实际应用中是无法完全避免的。3、新用户问题系统没有存储或者存储很少新用户的信息，包括查看对象的历史记录和新用户对对象的评分，基于模型的方法无法获得训练数据而基于规则的方法难以进行推理近期一些研究特别针对这个问题提出了解决方法。文献24，25利用对象熵ENTROPY、受欢迎程度POPULARITY、用户个性属性等来改进效果。4、新对象问题新用户和新对象问题都属于冷启动问题在推荐系统尤其是协同过滤系统中，新对象加入数据库后必须等待一段时间才有用户查看并进行评价点击、打分、评论等都是评价的手段。在评价达到一定数量之前无法对此对象进行分析和推荐不同于新用户问题，这类问题一般考虑使用组合推荐的方法来应对。5、稀疏问题在大型推荐系统中，由于用户之间的选择的差异性过大造成稀疏性问题。文献5提出了结合用户分级协同过滤和似然关系模型的算法来解决这个问题。HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第一章绪论66、私密数据问题对于在电子商务推荐系统中如何解决私密数据问题的解决需要进一步加快研究进度。随着我国电子商务的发展，尤其是B2C，C2C为代表的商业网站的飞速进步，以查找和对比的推荐技术显然满足不了当前用户的需求。14本文的主要研究内容与创新点本文研究的主要内容与创新点L、本文创新性的提出将数据挖掘技术应用到电子商务旅游线路推荐系统。当前的电子商务旅游线路推荐，仅仅只是相关公司根据以往数据或者是相关资源安排的线路，没有充分考虑到用户的需求，尤其是针对不同文化背景和经济能力游客的需求。而通过整合相关的海量数据，并从中挖掘出有效的数据，可以达到以下目的1从中挖掘出的有效信息可以为相关部门规划旅游景点提供参考。比如发现红色旅游景点受到相当多的用户的关注，那么旅游管理部门就可以通过整合这一部分景点，打破地域的限制，建立套票联盟，从而吸引用户、形成产业优势。2旅游从业者通过分析数据得到相关的关联信息，可以提供满足不同兴趣用户的需求路线，提供公司的盈利能力和客户的忠诚度及吸引潜在客户资源。3用户通过系统可以得到自己满意的旅游线路信息。电子商务旅游线路推荐系统最重要的功能也就在于此，其通过分析系统用户的访问记录、偏好等，从而推荐相关的线路安排，满足客户的个性化需求。2、对电子商务推荐系统的应用现状及其应用技术进行了研究，然后针对数据挖掘技术在电子商务推荐系统中的应用，结合旅游线路规划的特点，对旅游线路的规划进行了系统、客观地分析，并采用数据挖掘的关联规则技术中的APRIORI算法，在旅游景点规划中进行应用，取得了良好的应用效果。3、本文提出了基于数据挖掘技术的电子商务旅游线路推荐系统的概念，并设计了一个具有基本功能的电子商务旅游线路推荐系统原始模型，为后续研究提供了参考，也为带动整个旅游产业的发展、促进行业竞争力的提高、用户满意度的提高产生积极的推进作用。通过对电子商务推荐系统的研究与分析，有助于电子商务企业进一步强化对电子商务的认识和理解、尤其是对电子商务推荐系统的深化体会，体会到现代信息技术的发展对电子商务应用的巨大促进作用。HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第一章绪论715本文的组织结构本文主要内容安排如下1、第一章介绍了本文的研究背景和意义，分析了电子商务推荐系统的研究现状和发展趋势，指出了现阶段电子商务推荐系统所面临的挑战，并指明了本文的主要研究内容与创新点，最后总结了本文的组织结构。2、第二章主要介绍了电子商务推荐系统及其相关技术。首先简述了电子商务系统的相关概念与分类，第D,节则简要介绍了与之相关的技术，包括信息检索和信息过滤、AGENT技术、协同过滤技术、数据挖掘技术等，并重点介绍了数据挖掘中的关联规则技术。3、第三章主要对电子商务推荐系统中的应用技术进行了详解，并着重介绍了经关联规则技术的相关概念和研究现状，详细分析了经典APRIOR算法，并结合旅游线路的实际情况，将之进行了应用。4、第四章阐述了电子商务推荐算法对旅游线路规划的重要作用，提出了基于数据挖掘技术的电子商务旅游线路推荐系统的概念，并详细介绍和分析了系统的体系结构和相关流程。5、第五章结合前一章所述内容，设计了一个具有基本功能的电子商务旅游线路推荐系统原始模型系统，并在系统原型上进行了应用，得到了良好的推荐效果，得到的关联信息可以为多方提供服务。6、第六章对论文作了总结。介绍了本文所做的工作，并指出了以后需要进一步努力与改进的地方。16本章小结本章对论文的整体情况进行了概述，并对相关的研究内容进行了分析与总结，其中第三、四章与第五章为本文的重点内容。HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第二章电子商务推荐系统及其相关技术的概述8第二章电子商务推荐系统及其相关技术的概述21电子商务推荐系统211电子商务推荐系统功能及其个性化服务推荐系统推荐何种商品是在电子商务网站整体商品的购买情况、客户的人数统计或者对客户购买的历史记录上进行分析产生的。广义上讲，这些因素的考虑使电子商务具有了个性化的色彩，而且对于不同的客户，具有推荐系统的电子商务网站表现出了一定的自适应性。个性化推荐是基于每个用户的兴趣偏好做出，给出的推荐必须结合每个用户的兴趣偏好，要求具有更高的个性化服务水平，如亚马逊等网站给注册用户量身定做的推荐服务。电子商务推荐系统的作用主要体现在如下三个方面26、27】L、将电子商务系统的浏览者转变为购买者。己有明确购物目标的客户也许可以借助检索系统找到自己需要的东西，但对于大多数只是漫无目的的浏览者，或是对需求比较模糊的购买者来说，很难有耐心在长达几十个页面的商品目录中查找是否有自己感兴趣的东西。推荐系统通过合适的推荐，往往可以将一个浏览者变为购买者，或者其成为一个潜在的用户。2、促进销售。电子商务推荐系统在用户购买过程中向用户提供其它有价值的商品推荐，用户能够从提供的推荐列表中购买自己确实需要但在购买之前没有计划的商品，从而有效提高电子商务系统的交叉销售。3、提高客户的忠诚度。与传统的商务模式相比，电子商务系统使得用户拥有越来越多的选择，用户更换商家极其方便，只需要点击几次鼠标就可以在不同电子商务系统之间跳转。电子商务推荐系统分析用户的购买习惯，根据用户需求向用户提供有价值的商品推荐。如果电子商务推荐系统的推荐质量很高，那么用户会对该电子商务推荐系统产生信赖。因此电子商务推荐系统不仅能为用户提供个性化的推荐服务，而且能与用户建立长期稳定的关系，从而能有效提高客户的忠诚度，并吸引潜在客户群。212电子商务推荐系统的结构电子商务推荐系统在电子商务领域的应用表现出独有的特点。其主要有三部分组成输入模块、推荐模块和输出模块。HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第二章电子商务推荐系统及其相关技术的概述91输入模块电子商务推荐系统的输入模块是推荐系统和用户之间的交互窗口，承担着收集用户行为偏好数据的重要任务。该模块通过给用户提供定的界面和方式，使用户能方便的使用电子商务系统网站，同时也方便电子商务推荐系统收集用户的行为偏好数据。电子商务推荐系统的输入包括多种形式，主要有【28】1、隐式浏览输入将用户访问电子商务WEB站点的浏览行为作为推荐系统的输入，用户的浏览行为与访问一般的WEB站点没有区别。并不知道电子商务推荐系统的存在。用户当前正在浏览的商品、用户购物篮中选择的商品、用户的浏览路径等都可以作为隐式浏览输入信息。2、显式浏览输入也是将用户的浏览行为作为电子商务推荐系统的输入，但与隐式浏览输入不同，用户的显式浏览输入是有目的的向电子商务推荐系统提供自己的兴趣爱好。例如，电子商务系统提供一系列热门商品供用户选择，用户只选择浏览自己感兴趣的商品列表，电子商务根据用户的浏览行为向用户提供个性化的推荐服务。还有其他输入，诸如用户的历史购买记录、文本评价、搜索引擎的关键字等。2推荐模块处理模块是电子商务推荐系统的核心部分。按照推荐技术的不同，推荐处理的过程和方法也不同。一般情况下，一个完整的电子商务推荐系统的推荐处理过程包括以下四个重要的方面用户兴趣建模、推荐策略库生成、用户需求分析和在线推荐。本文将在后续章节进行详细讲解。3输出模块电子商务推荐系统的输出模块主要承担向用户展示推荐结果的任务。推荐系统在获得用户行为偏好信息后，不同的推荐算法可以有不同的推荐方式。电子商务系统可以根据自己的需要选择如何使用推荐。1、相关商品输出推荐系统根据用户表现出来的行为特征或电子商务系统的销售情况向用户产生商品推荐，这种方式是电子商务推荐系统中最为普遍的一种输出。相关商品输出可以基于简单的销售排行向用户推荐热门商品；也可以基于对用户的行为特征进行深入分析，发现用户的购买行为模式，从而产生个性化的推荐。2、TOPN推荐系统根据客户的喜好向客户推荐最可能吸引他N件产品，一方面可以把网站的浏览者转变为客户，另一方面帮助客户决定是否购买自己最初感到犹豫不决的产品。当然还有其它，比如电子邮件、评论信息、等级评价等，各具特点。HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第二章电子商务推荐系统及其相关技术的概述10213电子商务推荐系统的分类电子商务推荐系统以用户为中心，为用户提供服务，根据使用不同的技术可以将电子商务推荐系统分类如下29、30；1、基于内容的推荐技术CONTENTBASEDRECOMMENDATION它是信息过滤技术的延续与发展，项目或对象通过相关特征的属性来定义，系统基于用户评价对象的特征学习用户的兴趣，依据用户资料与待预测项目的匹配程度进行推荐，如新闻组过滤系统NEWSWEEDER。2、基于用户统计信息的推荐DEMOGRAPHICBASEDRECOMMENDATION推荐系统基于用户个人属性对用户进行分类，再基于类对类中的用户进行推荐N，不要求有一个历史的用户数据，而协同过滤和基于内容的推荐技术都需要。3、基于效用的推荐UTILI岫ASEDRECOMMENDATION它是根据对用户使用项目的效用进行计算的，核心问题是如何为每个用户创建效用函数，并考虑非产品属性，如提供商的可靠性VENDORRELIABILITY和产品的可用性PRODUCTAVAILABILITY等。4、基于知识的推荐KNOWLEDGEBASEDRECOMMENDATION在某种程度上可以看成是一种推理INFERENCE技术，各方法因所用的知识不同而有明显区别。5、基于关联规则的推荐ASSOCIATIONRULOBASEDRECOMMENDATION以关联规则为基础，把已购商品作为规则头，推荐对象作为规则体，其中关联规则的发现最关键且最耗时，是算法的瓶颈，但可以离线进行，商品名称的同义性问题也是关联规则的一个难点。6、基于协同过滤推荐COLLABORATIVEFILTERINGRECOMMENDATION是目前研究最多的个性化推荐技术，它基于邻居用户的资料得到目标用户的推荐，推荐的个性化程度高。著名的系统有GROUPLENSNETPERCEPTIONS，RINGOFIREFLY及TAPESTRY等。协同过滤的最大优点是对推荐对象没有特殊要求，能处理非结构化的复杂对象，如音乐、电影。22相关技术简介221信息检索和信息过滤信息检索技术一般是指根据用户需求，从大规模的相对静止的数据库中检索用户需要的信息，主要满足用户瞬时的信息需求。信息检索技术主要用于相对静HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第二章电子商务推荐系统及其相关技术的概述11止的信息存储领域。例如，当用户在电子商务网站中进行检索时，用户提交的商品特征关键字反映了用户当前需要寻找的商品信息，电子商务网站中的搜索引擎根据预先建立好的产品信息索引，检索出用户需要的商品信息。信息检索的研究内容主要包括索引技术和查询技术。索引技术是对资源内容进行分析，从而将资源内容表示为计算机可处理的数据结构的过程。查询技术根据用户需求，查询用户需要的资源信息。其研究内容主要包括查询语言设计研究、可视化查询接口研究、用户请求与资源信息的匹配研究等。在很多情况下，索引技术和查询技术是重叠的，查询技术依赖资源信息所采用的索引结构。与信息检索不同，信息过滤对动态信息进行筛选，着重排除不希望得到的信息，带有即时性。虽然实现技术十分相似，但信息检索和信息过滤所完成的任务完全不同信息过滤技术一般用于用户需求相对不变，但信息动态更新比较频繁的情况。信息过滤系统主要面对的是半结构化和非结构化的数据，它为用户的长期信息需求提供信息过滤服务。用户的兴趣可用用户模型USERPROFILE文件的形式表示。信息过滤系统将动态信息与用户模型文件进行匹配，根据匹配结果返回用户需要的信息。信息过滤与信息检索的区别主要包括信息过滤面向用户长期的信息需求，而信息检索技术面向的是用户短期的、实时的查询。信息过滤用户模型文件表示用户的信息需求特征，而信息检索技术是用关键词表达用户的查询请求。信息过滤中用户需求相对不变，但用户访问的是动态数据流，是从动态数据流中选择数据信息检索技术访问的是相对静止的数据，但用户需求却具有瞬时性。信息过滤技术是实现推荐系统的关键技术。邮件系统信息过滤和新闻组信息服务是信息过滤技术的典型应用。在新闻组信息服务中，用户输入自己感兴趣的一组关键词，新闻组信息服务通过关键词建立用户模型文件。当新闻组中加入新信息时，信息过滤系统对新信息进行过滤，将满足用户需求的新信息反馈给用户。新闻组信息服务也可以分析用户订阅的信息自动抽取关键词，建立用户模型文件，然后通过信息过滤系统将用户感兴趣的新信息反馈给用户。222AGENT技术AGENT技术是90年代在网络技术和INTERNET发展的基础上兴起的、IJ实用性很强的、计算机软件技术。目前，人们还没有对它作出精确的定义，但学术界对其基本上有一个共识，I0AGENT技术是具有下列属性的计算机软件系统31HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第二章电子商务推荐系统及其相关技术的概述121、自主。L生AUTONOMY甚1AGENT可以通过它自身的内部状态控制自己的行为。换句话说，AGENT不需要人类的直接干涉，就可以进行连续的动作，它的行为是主动的、自发的AGENT具有自己的目标GOAL和意图INTENTION，根据目标和环境的需求，AGENT能对自己的短期行为作出规划。2、社会性SOCIALABILITY即AGENT可以通过其通讯语言ACLAGENTCOMMUNICATIONLANGUAGE与其它的AGENT进行交互。对于AGENT的社会性特点也可以解释成是通信性，这时所说的通信，是指AGENT之间可以进行信息交换，更进一步，AGENT甚至可以进行一定意义下的“会话“任务的承接等，多AGENT的协作、协商均以AGENT的社会性，即通信性为基础。3、反应性REACTIVITY即对环境的感知和响应。AGENT具有探知自身所处环境的能力，并能对该环境作出反应，无论是生存在现实世界如机器人或INTEMET上，还是虚拟世界如虚拟商场中中的AGENT都应该能感知它们所处的环境，并通过它们的行为改变环境，一个对环境不能作出响应的软件不能被称为AGENT。4、能动性PROACTIVE最PAGENT可以主动采取行动，而这些行动是面向目标GOALORIENTED的。5、时间连续性TEMPORALCONTINUITY又称长寿性，传统的程序是用户需要时激活，不需要时运算结束终止。AGENT与之不同，它至少可以在相当长的时间习内连续运行。AGENT技术是分布式人工智能的一个研究方向，在网络技术和INTEMET的基础上，首先在电子商务领域得到了成功的应用。多AGENT系统多AGENT系统是由一组具有一定资源和能力相对独立且相互作用的AGENT组成的计算系统，这些自主的AGENT通过协作完成某些任务或达到某些目标。多AGENT技术为解决复杂、动态、异构、分布式应用提供了一种新的计算手段。223协同过滤技术协同过滤推荐COLLABORATIVEFIITERINGRECOMMENDATION技术是推荐系统中最为成功的技术之一。它的基本思想是找到与当前用户C。，相似比如兴趣和口味相似的其他用户C，计算对象S对于用户的效用值UC，S，利用效用值对所有进行排序或者加权等操作，找到最适合C。的对象23。在协作过滤推荐系统中对用户兴趣描述的典型方法是采用向量方式来表示，这个向量是以物品的评价为分量并将随着用户与系统交互时间的增加而不断增大，文献132所设计的系统就是结合关联规则中的兴趣度和协同过滤技术对客户的个人兴趣进行评价，提出了客户兴趣度的商品推荐参考模型。HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第二章电子商务推荐系统及其相关技术的概述13一般而言，用户评价可以是二值的喜欢不喜欢也可以是实数的用以具体指明喜欢的程度协作过滤推荐系统可以是基于记忆的即直接使用相似度来比较用户，也可以是基于模式的即由历史评价数据导出模式，用于预测基于模式的协作过滤推荐系统使用了包括神经网络、潜在语义索引、贝叶斯网在内的多种学习技术，协作过滤推荐的最大优点是完全不需要任何被推荐物品的机器表示基于协同过滤的推荐系统可以说是从用户的角度进行推荐的，并且是自动的，也就是说，用户所获得的推荐是系统从用户购买或浏览等行为中隐式获得的，不需要用户主动去查找适合自己兴趣的推荐信息，如填写一些调查表格等。其另外一个优点是对推荐对象没有特殊的要求，能够处理非结构化的复杂对象，如音乐、电影等。同时，研究用户之问的关系需要大量的用户访问行为的历史数据，与社会网络研究有交叉点，有丰富的研究基础和广阔的前景。224数据挖掘技术数据挖掘DATAMINING，也叫数据库中发现知识KDD，KNOWLEDGEDISCOVERYINDATABASE，就是从大量的数据中，半自动地提取出隐含在其中、事先未知的、但又是潜在有用的知识的过程。KDD一词首次出现在1989年8月举行的第11届国际联合人工智能学术会议上。1995年在加拿大蒙特利尔市召开了第一届KDD国际学术会议。随着研究的深入，数据挖掘技术研究逐渐成为计算机领域的一个热门课题，得到了越来越多研究者的关注。从89年数据挖掘概念提出到目前为止，数据挖掘技术在理论和应用上都己经得到了巨大的发展。目前数据挖掘能够从关系数据、对象关系数据、文本数据、多媒体数据、时间序列、空间数据、异质数据等多种数据源中挖掘知识。数据挖掘知识包括特征、贝叶斯网络、分类、聚类、关联和异常监测等多种类型。数据挖掘采用的技术包括数据库、数据仓库和OLAP、统计、机器学习、可视化、神经元网络等不同领域的技术。并且在诸如零售、通信、银行、保险、基因分析、股票市场分析、WEB挖掘等不同行业得到了应用。下列是其常见的方法贝叶斯网络33由BREESE，HECKERMAN和KADIE提出的贝叶斯网络建立的是一个概率模型。在训练得到的网络结构中，每个节点都有一组对其有影响的父节点，一旦父节点的值己知，就可以预测该节点的值。节点对应的条件概率表用决策树的形式表示，从中给出当父节点取各种可能值时子节点取值的条件概率。运用在推荐系统中，节点对应某项产品，输入某个用户对产品的评价记录，可以得到类似“如果用户买了商品A，没有买商品B，则这个用户有70的可能买商品C这样的结论。贝叶斯网络建立的模型相当小巧快捷，推荐的精确度不亚于最近邻居算法。不过HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第二章电子商务推荐系统及其相关技术的概述14由于模型建立的时间复杂性较高，比较适合于变化较少的环境。聚类34、35聚类是将数据点集合分成若干类或簇CLUSTER，使得每个簇中的数据点之间最大程度地相似，而不同簇中的数据点最大程度地不同从而发现数据集中有效的、新颖的、可以理解的数据模式分布。聚类与分类不同，分类之前已经知道要把数据分成哪几类，每个类的性质、特点是什么聚类则恰恰相反，聚类是一种无监督分类法，没有预先指定的类别，在聚类之前并不确切的知道最后会聚为几类。聚类方法常见的有划分的方法PARTITIONINGALGORITHMS、层次的方法HIERARCHYALGORITHMS、基于密度DENSITYBASED的方法、基于网格GRIDBASED的方法和基于模型MODELBASED的方法，下面给出简要的介绍1划分的方法给定一个N个对象或者元组的数据库，一个划分方法构建数据的K个划分，每个划分表示一个簇，并且KYPXUY。由用户自己定义的一个用来衡量支持度的支持度阈值叫做最小支持度MINSUP。定义6可信度胁Y的可信度为CONFIDENCEXYPXJY。由用户自HTTP/WWW521TAOBAOCOM/LISTPHPCATID16淘宝网购物商城第三章基于数据挖掘技术的电子商务推荐算法分析22己定义的用来衡量可信度的一个可信度阈值MIN定义7频繁项集FREQUENTITEMSET对一个项集X，如果X的支持度不小于最小支持度，即SUPPORTXMINSUP，则X即为频繁项集。其后的研究绝大多数也遵循这两个步骤。又因为第二个步骤不需要到数据库中去读取信息，故计算量相对小，因此关联规则挖掘研究的重点就放在了第一个步骤上，即查找数据库中的所有步骤项目集及其支持度。322关联规则的分类L、基于规则中处理变量的类别，关联规则可以分为布尔型和数值型。布尔型关联规则处理的值都是离散的、种类化的数据，它显示了这些变量之间的关系。数值型关联规则可以和多维关联或多层关联规则结合起来，对数值型字段进行处理，将其进行动态的分割，或者直接对原始的数据进行处理，当然数值型关联规则中也可以包含种类变量。2、基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。在单层关联规则中，所有的变量都没有考虑到现实数据是具有多个不同层次的。在多层关联规则中，对数据的多层次性己经进行了充分的考虑。3、基于规则中涉及到的数据维数，关联规则可以分为单维的和多维的。在单维关联规则中，我们只涉及到数据的一个维，如用户购买的物品在多维关联规则中，要处理的数据将会涉及多个维。323关联规则挖掘算法的分类自从AGRAWM等人提出关联规则挖掘的概念421之后，人们对它的研究从来没有停止过，不但在理论上对它进行了卓有成效的分析和研究，实践上也提出了不少行之有效的算法，为关联规则挖掘的理论和应用奠定了基础。通过总结分析，我们把这些算法分为下面四类1、搜索算法搜索算法是在读入数据库每条事务的同时，对该事务中包含的所有项目集进行处理，因此它需要计算数据库中所