基于聚类的增量图书推荐系统的研究与实现.doc

浙江大学研究生学位论文独创性声明签字日期：月学位论文版权使用授权书 浙江大学硕士学位论文有相当的准确度和可解释性。 浙江大学硕士学位论文 第孪喙匮芯孔凼觥谀偷男恕增量式学习隽渴窖霸谛酥械挠谩璴第禄诰劾嗟脑隽渴酵萍鏊惴没硎尽惴芴褰峁埂劾嗖问笆萁峁埂 浙江大学硕士学位论文 图图图图图算法的命中率比较图缸对命中率的影响图 大学数字图书馆国际合作计划称是浙江大学联合国内外的高等院校、科研机构共同承担的教育部“学科研【。 提出的推荐算法应用在上面。最后，设计并完成了实验及用户测试，展现了算法 浙江大学硕士学位论文目，这使得算法更加高效。有相当的准确度和可解释性。 浙江大学硕士学位论文关于“十五”期间加强“ 浙江大学硕士学位论文平台。这些平台立足其特色资源，面向不同兴趣和需求的用户。虽然与其他数字信息技术的快速发展，用户群体的行为也产生了巨大变化，传统的被动服务模式不再适应潮流，海量数字资源、用户资源的挖掘有待深化，通过主动将合适的图书推送给用户，个性化推荐技术将给为用户带来更好的体验，发现用户的爱好，甚至发掘并发展用户新的兴趣。除此以外面对海量的数字资源，高效可扩展的推荐方法无论是对数字图书馆本身而言，还是对用户体验都是很有益处的。但是，效率和可扩展性也提出了更高的要求。随着信息技术的迅猛发展和普及，信息量也前所未有地快速增长着。从过去 浙江大学硕士学位论文荐系统有其重要的理论研究意义和实际应用价值。自从年代关于协同过滤的第一批文章出现起，推荐系统统为提供了的商品销售额。根据统计，具有推荐系统根据使用算法的不同，个性化推荐系统基本可以分为：协同过滤 浙江大学硕士学位论文协同过滤两种。常见的协同过滤推荐算法分类如图所示：网络 浙江大学硕士学位论文在基于内存的协同过滤中，相似度如何进行计算是很重要的一步。余弦相似是目前最常用的相似度计算方法。蘼 浙江大学硕士学位论文、主成分分析 浙江大学硕士学位论文集的技术，具体来说，它主要是将协方差矩阵进行特征分解，然后得出特征向量和特征值，分别对应于数据的主成分及其权值，根据需要保留对方差贡献较大的协同过滤推荐算法之所以能得到广泛而成功的应用，主要是受益于以下几个 浙江大学硕士学位论文剐问题。提高推荐系统的效率，设计了一种对基于项目的协同过滤算法进行增量更新的策生一系列的假设甴使得仅取决于和当前训练样本，则该学习算 浙江大学硕士学位论文增量式学习有以下几个主要特点：学习算法更加有适应性、扩展性和鲁棒性。增量学习已经成功的被应用于解决许多实际问题。一般说来，增量式学习特别适合于解决以下三类应用： 浙江大学硕士学位论文 浙江大学硕士学位论文了推荐准确率，也仍然保持了推荐系统的扩展性。套图增量学习的学习曲线在本章中，首先概述了大学数字图书馆国际合作计划其所要解决的问题和现实意义，然后介绍了推荐系统的分类，重点介绍了推荐系 浙江大学硕士学位论文 浙江大学硕士学位论文在传统的协同过滤算法中，通常的数据有两种形式。一种是如、是某个范围里的数，比如在分之间，分值大小表示用户的喜好程度，一般说来高分表示很感兴趣或者喜欢，低分表示不感兴趣或者厌恶。与此同时，这种评分信息不仅可以代表用户对项目整体上的感觉，也可以是对于项目的某一个特性的感觉，比如对电影，用户可以分别针对导演、演员、特效、剧情等多方面给电影作品打分。这种评分信息需要很多用户来提供，且用户重复访问一个项目的情况比较少见，同时用户也很可能查看了某个项目却不愿意主动提供任何评分信息，此时就较难判断用户对这个项目的评价，通常这样的访问信息也容易被忽略。此外，评分信息在很大程度上会受到用户个人评分习惯的影响，有的用户倾向于给高分，而有些用户倾向于给接近于中值的分数，相同的分值对不同用户的意义往往不尽相同。 浙江大学硕士学位论文公式户的预测评分。虽然关于评分预测是否真的是推荐任务仍存在一些讨论，然而推 浙江大学硕士学位论文结果是项目的一个集合，而不是列表，所以在结果中项目的次序是没有影响的。 浙江大学硕士学位论文所评分的次数。其中珥以及虿分别代表用户陀没谋硎鞠蛄浚琁公式 浙江大学硕士学位论文赢，公式面一一 零维所指向的维度数组链接到到用户所属的簇上。该聚类算法在时间和空间上都是高效的，因为不像传统的基于内存的协同过滤算法，它不需要查找整个数据集，也不需要在每次推荐时计算每一个用户对的相似度。该算法增量地产生簇，因此不需要在内存中存储整个数据集，也更适用于实时环境。不仅如此，它只需要计算用户和簇之间的相似度，这比起计算每一个用户对的相似度是更高效的，因为簇的数目是小于用户数目的。最后，由于该算法增量地学习用户偏好，且簇的数目是由算法自动决定而不是固定的，该算法也是可扩展的。 挂！：臼：为了能够产生推荐，我们首先用一些数据来训练模型，获得一些初始的簇。这个过程通常是离线执行的。在我们训练了模型并得到一些簇有了聚类结果后，使用模型来为用户产生推荐结果。在产生推荐结果的过程中，模型被不断地增量更新来保持与数据相符，也就意味着不需要再一次离线更新模型了，这是高效且适用于实时环境的。项目基于某种标准进行排序后，向这个簇中的用户推荐排序高的项目作为推荐结虽然排序可以用很多方式进行，在本算法中根据该簇中心的值来排序该簇链 第翪流式处理架构设计将提高用户体验，增加用户粘性。 第翪流式处理架构设计够一翌习酒罗匐前储。庠喜，名数；图这是一个容错衫沟姆植际绞凳奔扑阆低场笪颐鞘褂肧将用户行为 第翪流式处理架构设计信息并且对推荐结构进行反馈的过程。首先，用户通过浏览器登陆系统，系统将在魇酱砑芄怪校颐鞘褂肒进行日志收集。在站点对各自的网站情况进行报表统计时，活动流数据是最经常要使用到的周期性地统计及分析。运营数据是指服务器的性能数据包括服务日志、请求时间 浙江大学硕士学位论文第翪流式处理架构设计图 浙江大学硕士学位论文息峦。磁盘上收到相对应的消息，会在笮锏姐兄凳贝唇碌膕来存储数据。 浙江大学硕士学位论文第翪流式处理架构设计图存储策略简单且可靠。丫恍矶喙例如俣取呕应用到其业 第翪流式处理架构设计浙江大学硕士学位论文容错性，工作进程及节点故障都可以被监控和管理。全局只有一个，主要进行代码发送，工作分配以及状态监控。会对被分配的工作进行监视，并根据需求对工作进程进行调整。所有的消息处理逻辑，它的功能主要有订阅駼龅腡，然后处 浙江大学硕士学位论文第翪流式处理架构设计其中的来执行任务。每个执行中一个子集，多个节点上 浙江大学硕士学位论文第翪流式处理架构设计在魇酱砑芄怪校琒主要用来完成用户行为数据收集之后的处理工作，并在数据到达一定的阈值之后启动中推荐数据的计算模块对推荐数据进行更新。推荐数据的计算模块主要使用基于聚类的增量式推荐算法对用户进行推荐信息的计算。当收到来自耐V螅媚？槭紫纫5紺数据库中将需要的数据获取出来，然后按照一定的方法进行指定用户推荐信息的果进行接收，并提供给用户。 第翪流式处理架构设计浙江大学硕士学位论文图魑狢流式处理架构中数据持久化的数据库，主要记录了部分用户行为数据、针对不同用户的推荐信息以及用户聚类之后得到的一些信息。获取。 浙江大学硕士学位论文第翪流式处理架构设计了第三章提出的基于聚类的增量式算法将如何运行在这个流式处理架构上。 浙江大学硕士学位论文在本章中，针对提出的基于聚类的增量式推荐算法设计实验，实验从推荐准绍了集成到个性化服务平台后推荐系统的用户界面。所示的预处理。对每一条评分，我们用焕幢硎綧数据集的原始评分，。否则。 浙江大学硕士学位论文 滤算法的预测时间。比较算法的命中率和加速比。岛 浙江大学硕士学位论文比起基于用户的协同过滤算法，基于聚类的增量式方法不需要在每次推荐时都查看整个数据集和计算每个用户对的相似度，而只需要计算用户和少量簇之间的相似度，并增量产生推荐。因此，基于聚类的增量式方法其效率在理论上就比基于用户的协同过滤要高。如表所示，实验结果证明了我们提出的算法要比基于用户的协同过滤高效。随着进行推荐的用户数目的增长，基于聚类算法的训练时间是秒没有变化，因为训练数据并没有变化，只是预测数据变化了。随着用户数目增长而增长的是两个算法做出推荐的时间，即预测时间，而加速比则是，基本保持不变。可以看到，基于聚类的增量式算法的预测时间总是比基于用户的协同过滤要少很多，当需要推荐的用户数目大于协同过滤要少不少。随着数据的规模进一步增加，用户数目和簇数目间的差值也 浙江大学硕士学位论文；慕图由于合并簇的条件变得更加宽松，簇的数目减少了，因此计算每个用户和簇的相似度的 浙江大学硕士学位论文论。如何减小，第一个方面的影响也是有极限的。在实际使用中，我们需要调节。图 浙江大学硕士学位论文注。如图所示，评注完成以后，在用户个人主页的“我的评注”页面上，用筮：。一一皇盔连于原始日志有很多噪音，我们暂时通过调查链接到簇上的书籍来做用户测试。在 浙江大学硕士学位论文临时需要，如果看过这本书的用户不是很多，由于推荐的排序函数是基于书籍被多少个用户浏览而定的，那么这本书就会在排序中排得比较靠后，而不会被推荐。因此很好理解的是，这个簇中被推荐给用户的书籍仍然是关于政治和经济的居多。注意到，簇是关