电影推荐系统

1、基于Slope one算法的电影推荐系统摘要：商业网站迅猛发展的时代己经到来，网上服务的交易方式正在改变 着传统的商业模式。如果说过去的十年是搜索技术高速发展的十年，那么个性化 推荐技术将作为下一个十年中最为重要的革新之一。目前几乎所有大型的商业网 站，如亚马逊、淘宝网等，都不同程度地使用了各种形式的推荐系统。本文就推 荐系统这一话题展开讨论，首先介绍了推荐系统的提出和发展过程，然后列举出 了儿种推荐系统的研充方法，其中，详细的描述了 Slope one算法推荐系统的实 现过程以及用Slope one算法编写程序完成了电影推荐系统。最后列举了儿个推 荐系统的实例。关键字：Slope one算法

2、推荐系统数据挖掘个性化推荐一、发展背景：随着Internet的日益普及，商业网站的蓬勃发展，如何提高商业网站的有效 性，尤其是如何运用个性化推荐技术提供个性化服务来实现己逐渐成为一个能 引起广泛兴趣的热点课题。虽然商业网站从“以站点为中心”向“以用户为中 心”发展成为必然趋势。但目前国内大多数商业网站的商品推荐通常是：推荐 热销产品；推荐相关产品；依据用户浏览历史的信息进行推荐。由Daniel Lemire 教授在2005年提出的一个Item-Based (基于条目)推荐算法，可应用于各类 以网上商品销售为主业务的网上商店，以及提供文章、新闻、音乐、电影等“无 形”的产品的网络站点。用于帮助商

3、店经营者，网络站点从事产品的个性化推 荐，提高营销及服务质量，更好地挖掘潜在客户及客户的使用、购买潜能。同 时也根据用户的喜好，网站会留下记录，当用户再次访问时，网站会推荐用户 可能喜欢的东西，这样也方便了用户，用户无需浪费时间去搜索大量的信息。二、现有推荐系统研究方法:1、基于内容的推荐：基于内容的推荐(content-based recommendation)是指根据用户选择的对象, 推荐其他类似属性的对象作为推荐，属于Schafer划分中的ltem-to-ltem Correlation方法.这类算法源于一般的信息检索方法.不需要依据用户对对象的 评价意见.对象使用通过特征提取方法得到的

4、对象内容特征来表示，系统基于用 户所评价对象的特征，学习用户的兴趣，从而考察用户资料与待预测项目相匹配的程度.对象内容特征(Content(s)的选取在目前的研兖中以对象的文字描述为主,比如信 息检索中最经典的文本特征是词频-倒排文档频率(term frequency-inverse document frequency,简称 TF-IDF).另一方面，用户的资料模型 ContentBasedProfile(c)取决于所用机器学习方法，常用的有决策树、贝叶斯分类算 法、神经网络、基于向量的表示方法等，数据挖掘领域的众多算法都可以应用.2、协同过滤推荐协同过滤推荐(collaborat ive

5、filtering recommendat ion)技术是推荐系统 中最为成功的技术之一，它于20世纪90年代开始研究并促进了整个推荐系统 研究的繁荣.大量论文和研究都属于这个类别.协同过滤的基本思想是:找到与当前用户ccur相似(比如兴趣和口味相似的 其他用户cj,计算对象s对于用户的效用值u(cj, s),利用效用值对所有s进行 排序或者加权等操作，找到最适合ccur的对象s*.其基本思想非常易于理解，在 日常生活中，我们往往会利用好朋友的推荐来进行一些选择.协同过滤正是把这 一思想运用到推荐系统中来，即基于其他用户对某一内容的评价向目标用户进行 推荐.基于协同过滤的推荐系统可以说是从用户

6、的角度进行推荐的，并且是自动的, 也就是说，用户所获得的推荐是系统从用户购买或浏览等行为中隐式获得的，不 需要用户主动去查找适合自己兴趣的推荐信息，如填写一些调查表格等.其另外 一个优点是对推荐对象没有特殊的要求(而基于内容的推荐需要对推荐对象进行 特征分析)，能够处理非结构化的复杂对象，如音乐、电影等.同时,研究用户之间 的关系需要大量的用户访问行为的历史数据，与社会网络研究有交义点，有丰富 的研究基础和广阔的前景.对协同过滤最早的研究有Grundy system,后来的 研究成果包括 Tapestry system, GroupLens, Ringo, PHOAKS system, Jes

7、ter system等.总体而言，此类推荐算法可以分为两类：启发式(heuristic-based or memory-based)方法和基于模型(model-based)的方法。3、基于知识的推荐：基于知识的推荐(knowledge-based recommendation)在某种程度上可以看 成是一种推理(inference)技术.它不是建立在用户需要和偏好基础上推荐的，而 是利用针对特定领域制定规则(rule)来进行基于规则和实例的推理(case-based reasoning).例如，文献34中利用饭店的菜式方面的效用知识，推荐饭店给顾客. 效用知识(functional knowle

8、dge)是一种关于一个对象如何满足某一特定用户 的知识，因而能够解释需求和推荐的关系，用于推荐系统.效用知识在推荐系统中 必须以机器可读的方式存在（ontology本体知识库），例如quickstep and foxtrot systems使用关于学术论文主题的ontology本体知识库向读者作推荐.4、Slope one算法推荐：Slope One是一系列应用于协同过滤的算法的统称。由Daniel Lemire 和Anna Maclachlan于2005年发表的论文中提出。有争议的是，该算法堪称基 于项目评价的non-trivial协同过滤算法最简洁的形式。该系列算法的简洁特 性使它们的实现

9、简单而高效，而且其精确度与其它复杂费时的算法相比也不相上 To该系列算法也被用来改进其它算法。当可以对一些项目评分的时候，比如 人们可以对一些东西给出1到5星的评价的时候，协同过滤意图基于一个个体过 去对某些项目的评分和（庞大的）由其他用户的评价构成的数据库，来预测该用 户对未评价项目的评分。如：如果一个人给披头士的评分为5 （总分5）的话， 我们能否预测他对席琳狄翁新专辑的评分呢？这种情形下，item-based协同过滤系统 根据其它项目的评分来预测项目 的分值，一般方法为线性回归（/3） = Qz + b）.于是，需要列出-2个线性 回归方程和回归量，例如：当有1000个项目时，需要列多达

10、1, 000, 000个线性 回归方程，以及多达2,000,000个回归量。除非我们只选择某些用户共同评价 过的项目对，否则协同过滤会遇到过适（过拟合）问题。三、Slope one算法描述及实现过程:1、算法原型:图例一（如图3-1所示）:r /ItemAItemBUscrA43Z-UserB29图3-1算法演示图一如上图所示,UserA对ItemA的评分是4,对ItemB的评分是3, UserB对ItemA的评分是2,那么，预测UserB对ItemB的评分是多少呢？根据 Slope One 算法，2+ (34) =1。图例二(如图3-2所示)：ItemAItemBUserA43UserBV2

11、?、JzUserC：V33/IJI图3-2算法演示图二如上图所示，UserB对ItemB的评分会是多少呢？股票上有个说法是平均值 可以掩盖一切的异常波动，所以股票上的各个技术指标是收集不同时间段的平均 值的曲线图或是柱状图等。同样的，Slope One算法也认为：平均值也可以代替 某两个未知个体之间的打分差异，条目A条目B的平均差值是：(43)+ (3-3)7=0.52也就是说人们对事物A的打分一般比事物B的打分要高0.5,于是Slope one算法就猜测UserB对事物B的打分是2-0.5 = 1.5。2、加权算法：由上的两个示例对Slope One算法有了认识。如果有100个用户对Item

12、A 和ItemB都打过分，有1000个用户对ItemC和ItemB也打过分。显然这两个 rating差的权重是不一样的。因此我们可以推测，计算方法是：100 x (Rating 1 to 2) + 1000 x (Rating 2 to 3)(100 +1000)Slope One算法的加权算法数学描述如下：有N个用户对条目A和条目B 打分了，R(A-B)表示这N位用户对A和对B打分的平均差(A-B)，有M位 用户对条目B和条目C打分了，R (C-B)表示这M位用户对C和对B打 分的平均差(C-B),注意都是平均差而不是平方差，现在某个用户对A的打分 是ra,对C的打分是rc,那么A对B的打分

13、可能是：NX (型-R G4 -5)+Mx(rc -R (CB)m+n上面讨论的是用户只对条目的喜好程度打分。还有一种情况下用户也可以对 条目的厌恶程度打分。这时可以使用双极Slope One算法(Bl-PolarSlope One)。均方根诱RMSE二0.947445分以上推荐正确率0.746四、实验结果:均方根诱RMSE二0.947445分以上推荐正确率0.746卢一强：北京遇上西雅图李长月：猩球崛起燕睿涛：北京遇上西雅图李长月：听风者龚志鑫：北京遇上西雅图燕睿涛：肖申克的救赎刘璐：北京遇上西雅图刘思遥：肖申克的救赎李长月：北京遇上西雅图孙召星：肖申克的救赎龚志鑫：少年派燕睿涛：泰坦尼克号

14、卢一强：速度与激情5汤瑶：泰坦尼克号刘璐：速度与激情5刘思遥：泰坦尼克号刘璐：猩球崛起测试数据movie lens注释：此数据代表按照自己和别人的评分推荐的电影致青春北 京 遇 上 西 雅 图人 再 冏 途 之 泰 冏少年派的奇幻漂流里衣A白鹿原次 曝 光速度与激情五泰 迪 熊;功夫熊猫源代 码猩 球 崛 起失 恋天志明与春娇听风者这 个 杀 手不 太 冷肖申克的救赎唐伯虎点秋香大话西游泰坦尼克号卢04.000004.03.0000000000219强32八、3.4.003.2.2.03.00003.005.004.睿822563849涛861945357龚04.04.02.003.00000

15、000000志5575鑫3472阿2.003.2.003.2.00000000000鹏92323仁89135刘00000000000000000000少博3.3.03.2.1.03.2.3.3.3.003.0003.04787977586851128843213汤3.3.03.2.1.002.0002.03.00004.瑶487697984326888386刘3.3.002.1.1.3.2.0002.3.3.04.004.思145894561672遥33254751543孙3.00001.2.3.2.003.2.3.3.04.000召3916758278星6214652169刘3.4.003.

16、004.3.004.00000000璐822130743725吴00000000000000000000林李3.4.0000000004.03.4.00000长80061月2278注释：此数据中0代表己经看过的电影，其他的数数代表预测你给相应电影 的评分。五、推荐系统在几个网站中实例：1、下面儿幅图是在卓越亚马逊上根据浏览记录推荐的商品:更多供您考虑的商品任获集过的句咨也St亏T黑1：与画家黑1：与画家()Ray Kurzv/eil.平装(15皿()Ray Kurzv/eil.平装(15皿20 48.30天方引郭历程:整中的佑大京 理邓纳(William Dunham).平装(1031.20学

17、会碧i可(用嗨10版N用尔布弟斯留涕混利.呈U六(44)21.00里吾与画家畦各创止之父Pau.院一谚平装(140)x-4iuw 34.80根据洌览记录为您推荐CK 心 ISELum 治 720.CK 心 ISELum 治 720. (5)心3 1 9B8 00NOKIA谱基五项部3720六女女百，(10)，言心3 1 988 00NOKIA, itsn *.VH20 nX 5Q0 50NOK iSlE LUH1I6720AXrA 义 E1 9BB00J333 通如 EASYCML (52) 43 224 30NOK14谐芟D BM3820jWnfinSr 64) i- 1 999 00为您推

18、荐的图书绷？之处&恭而鼠而2013祖森与审罗代宜溪1里的人月神ii(S文黄j2CH3历#月祈英05 A程，的西?麻年机(尊)nw为笔&际肋2侦岐次。小侦150韦0京斯0如MW在村利日齐大字地学系疝、吏沏、tlRQ； 4汤J刘#笛(w六女六白(22)平蛟女女女A丈(20)AAAA：(003) 28.20jWrrtJry； (&22) 34 24 24.20MrMrf; 42 60WUW 25.70 31.00根搓浏览记录为您推荐您匆免过您匆免过经典原版书库：现代信息检 索员洋耶汤(Ricardo经典原版书库：现代信息检 索员洋耶汤(Ricardo平装(5)信息检索导论曼宁(Christopher

19、 D.平装 (12)计算机科学丛书；现代信息 检麻书笫2版) Ricardo Baeza-Yates, Bertnier译(3)搜索引擎.信息检索实践废文 版)WBruce Croft, DcnaldMetzler. Trevor平茨MHof (14)否看或编指仞晶访浏状过的鬲品浏凝更多商品绐自己一点惊喜曲诵g完整盼保封前(PangNng TanSiiSweoB 法 玛若朗斯 平盗Metric on心心曲诵g完整盼保封前(PangNng TanSiiSweoB 法 玛若朗斯 平盗Metric on心心47.80P. Mining dieSocial VCebCi门01。噗交颇笫三版) (Sta

20、nley B.平盗虹cAnAr女collects.阿拉克(9atnam AJag), 平垩(4)6淑 Y 42.90(3646.70度抿社交照耳卸位)Matthew A Russellx-Zg 58 00-40 94 102、下面的这幅图示在网上看过电影后推荐的更多猜您喜欢更多失恋33天女人不坏第36个故事青春期失恋33天女人不坏第36个故事青春期1钢的琴3、人人网上按照共同好友的数量推荐的好友:好友推荐何绍文好友西电在线好友好友推荐何绍文好友西电在线好友马东山西电志愿：好友 +好友（六、参考文献：推荐系统实践项亮人民邮电出版社MATLAB7.X基础教程张笑天等西安电子科技大学出版社，2008

21、年。附录附录一：成员介绍及分工：代码编写：汤瑶、刘少博资料查阅：姚伟娜、刘璐评分统计：卢一强、李长月、燕睿涛PPT制作：吴林、刘思遥孙召星、龚志鑫报告撰写：阿鹏仁附录二：matlab代码clearual Jia2jia3,ua4,ua5=textread(,ul_base.txt,%d %d %d %d %d);uatl ,uat2,uat3,uat4,uat5=textread(iil test.txt,%d %d %d %d %d);TYain=iial,iia2,iia3;Test=iiatl ,uat2,uat3;usei-uiiiqiie(ual);movi e=uiii que(u

22、a2);m=max(user);n=max(movie);Score=zeros(m,n);for i=l:length(ual)Score(ual (i),ua2(i) )=ua3(i);endpredictS=slope_one_w(Score,Test);pr edi ctS(find(predi ctS=5 )=5;J=(siim(predictS-uat3).A2)/length(uat3)A0.5;% J=siim(round(predictS)-uat3).A2);rati o=siim(round(predi ctS)=uat3)/l ength(uat3);idxp4=fin

23、d(round(predictS)=4);i dxp5 =find(r ound(predi ct S)=5);i dxp=idxp4 ;i dxp5;ratior=siim(uat3 (i dxp)=4)/l ength(i dxp);fimction M=slope_one_w(A,Test)tic;mj】=size(A);gB=ones(n);B=tiil(gB);%上三角存平均评分差，下三角存评分的权重%即共同的评分人数%计算每两列间的平均评分差for i=l:n-lfor j=i+l:nC=A(:,i),A(: J);C(C(:,1)=O,:)=;C(C(:,2)=0,:)=;ifCB(ij)=siim(C(: ,2)-C(:,1)/1 ength(C(: