机器学习算法分享-《SVD》省公开课一等奖全国示范课微课金奖课件

SVD特征值奇异值1/35NetflixPrize背景介绍目标：悬赏100万美元，将Netflix推荐算法预测准确度提升10%。数据结构：用户ID、电影名称、日期、分数（1-5之间整数）训练数据：48万用户对两万部电影上亿条评分包含一个与测试数据集分布相同probe数据集，包含06年附近140多万条数据点，每个用户最少对9部电影进行了打分，服从正态分布。测试数据：280万个数据点（隐藏，参赛选手不能取得，而且参赛选手自己也不能取得自己模型作用在测试数据集上最终效果）评测标准：均方误差根CineMatch精度：0.9512/35数据示例13/35数据示例2

movie1movie2movie3movie4movie5movie6movie7movie8movie9movie10user11212442231user22211111321user31222341122user42431133114user54112132344user64133234444user71444211124user83142212231user92212344411user104332242123黄色数据点代表probe数据集，用于参赛选手自己做测试用蓝色数据点代表最终测试数据，对参赛人来说是隐藏4/35矩阵运算（1）5/35矩阵运算（2）m×nn×mm×mn×mm×nn×n6/35矩阵运算（3）7/35线性空间线性空间：“客观”存在一个空间，对加法和数乘含有封闭性。向量：现有大小又有方向量，同时没有起点线性空间基：描述空间内向量一组“特殊”向量，空间内全部向量都能被一组基线性组合表示。举例：直线就是一维线性空间，平面就是二维线性空间，三维立体空间就是三维线性空间。8/35线性空间基x=(1,0),y=(0,1),c(5,3)=5x+3y,则c在基x，y下坐标为(5,3);a=(1.5,1.5),b=(2,0),c=(5,3)=2a+b,则c基a，b下坐标为(2,1);基实际就是一组人为要求参考物，用来描述空间内其它向量9/35线性映射&线性变换空间内线性映射称之为线性变换。10/35线性变换矩阵表示11/35线性变换二维空间上，对(x,y)做变换：对应矩阵A12/35求解特征值13/35求解特征向量14/35特征值几何意义（1）15/35特征值几何意义（2）16/35特征值几何意义（3）17/35对角化变换（特征值分解）假如线性变换特征向量能够组成线性空间一组基，那么有表示线性变换（矩阵）能够由其特征根和特征向量还原18/35方阵还原矩阵维度相当大时，能够用对角化改变方法来迫近矩阵：特征向量：矩阵特征特征值：各特征所占权重19/35思索1特征值分解使用条件有限，仅适合用于方阵，且要求是实对称矩阵。试想：假如需要分析矩阵不是方阵（事实经常如此），该怎样处理呢？20/35SVD介绍SVD：奇异值分解SVD能够看做是特征值分解一个推广，或者说特征值分解能够看作是SVD一个特例。当矩阵不是方阵时一样适用，应用很广。21/35SVD分解(1)非零奇异值，从大到小依次排序左奇异向量右奇异向量22/35SVD分解(2)奇异值从大到小依次排序23/35SVD分解(3)奇异值从大到小依次排序24/35SVD算法解析

能够看作是矩阵A“平方”，而奇异值又是A“平方”阵特征根开方，所以奇异值能够看作是矩阵A“伪特征向量”，左奇异向量能够看作矩阵A“行特征向量”，右奇异向量能够看作是矩阵A“列特征向量”。奇异值从大到小依次排序25/35SVD矩阵近似（1）奇异值从大到小依次排序26/35SVD矩阵近似（2）27/35SVD应用—推荐算法会员电影喜剧恐怖偏好ID宿醉东成西就大话西游八星报喜午夜凶铃咒怨林中小屋寂静岭喜剧至尊宝44552323.75小小宝55542231流氓兔54452312霹*雳54553212中原不败45542132恐怖魂飞魄散123253.87555荒村少年31224544憨豆豆21324545怪大叔22315554美味僵尸1321454528/35SVD——矩阵变换44552323.7555542231544523125455321245542132123253.875553122454421324545223155541321454545554132214544521123554553233254554222112223254454323213.875555523113544543.7512225454512611513312190958488115117129113889086881331291511311111141071121211131311218690798890881118612312811912595901149012814212413584861077911912412212288881128812513512213429/35SVD——求奇异值因为奇异值（特征权重）下降速度非常快，表明矩阵信息量集中分布在前几个较大特征值中，本例中提取前2个特征。30/35SVD——右奇异向量解析能够看作电影本身精彩程度特征能够看做相关电影影片类型特征影片类型片名特征1（29.7）特征2（11.4）得分均值喜剧宿醉0.340.393.20东成西就0.330.343.10大话西游0.400.293.70八星报喜0.330.403.10恐怖午夜凶铃0.35-0.313.30咒怨0.37-0.373.49林中小屋0.34-0.343.20寂静岭0.36-0.373.3831/35SVD——左奇异向量解析能够看做是会员打分习惯特征可看做是会员对影片类型偏好特征偏好ID特征1（29.7）特征2（11.4）打分平均值喜剧至尊宝0.340.233.59小小宝0.320.343.38流氓兔0.310.323.25霹*雳0.320.353.38中原不败0.310.313.25恐怖魂飞魄散0.32-0.333.36荒村少年0.30-0.273.13憨豆豆0.31-0.313.25怪大叔0.32-0.343.38美味僵尸0.30-0.343.1332/35SVD——模型打分（1）··29.711.4宿醉午夜凶铃东成西就寂静岭大话西游八星报喜各部分得分权重计算至尊宝对《寂静岭》评分至尊宝0.340.23小小宝0.320.34流氓兔0.310.32霹*雳0.320.35中原不败0.310.31魂飞魄散0.32-0.33荒村少年0.30-0.27憨豆豆0.31-0.31怪大叔0.32-0.34美味僵尸0.30-0.340.340.330.400.330.350.370.340.360.390.340.290.40-0.31-0.37-0.34-0.37咒怨林中小屋影片相对客观分数影片类型适应度得分得分33/35SVD——模型打分（2）··29.711.4宿醉午夜凶铃东成西就寂静岭大话西游八星报喜影片相对客观分数影片类型适应度得分得分各部分得分权重计算魂飞魄散对《咒怨》评分至尊宝0.340.23小小宝0.320.34流氓兔0.310.32霹*雳0.320.35中原不败0.310.31魂飞魄散0.32-0.33荒村少年0.30-0.27憨豆豆0.31-0.31怪大叔0.32-0.34美味僵尸0.30-0.340.340.330.400.330.350.370.340.360.390.340.290.40-0.31-0.37-0.34-0.37咒怨林中小屋34/35SVD结果简明测评至尊宝观影历史显示其对喜剧类电影评分较高，对恐怖电影普遍评分较低，所以能够推测他