机器学习讲义-推荐系统--排序篇2.ppt

排序介绍,课程回顾,为什么要排序,排序指标,排序的流程,排序介绍,作业,计算MAP,计算nDCG,排序介绍,排序流程,数据,预处理,特征抽取,模型训练,后处理,模型训练,PointWise,PairWise,主要是将排序问题转化为机器学习中常规的分类或回归问题。,预测单个item点击率、转化率或相关度,item1是否应该排在item2前面,转换成二分类问题,模型训练,PointWise建模,转换成二分类问题：预测点击率、转化率,x,f(x),0，1,损失函数,LogLoss,-ylog(f(x)-(1-y)log(1-f(x),模型训练,PointWise建模,多标签怎么办,转换成多分类问题？,转换成带权重的二分类问题,转换成回归问题,模型训练,PointWise建模,带权重的二分类问题,label越大权重越大,正样本带权重，负样本不带,损失函数,LogLoss,-ylog(f(x)-(1-y)log(f(x)weight,模型训练,例如：,模型训练,PointWise建模,多标签问题：回归,正样本是大于0数，具体值根据需要调整,损失函数：,负样本为0,rmse,模型训练,例如,模型训练,PairWise方法,(x1,x2),f(x1,x2),0，1,损失函数：LogLoss,-log(f(x1,x2),性质：,f(x1,x2)+f(x2,x1)=1,模型训练,PairWise方法,Pair生成,转化大于点击,点击大于不点击,转化大于不点击,模型训练,例子,模型训练,总结：排序可以转化成这三种情况,带权重二分类问题,回归问题,Pair排序预测,x,f(x),0，1,x,，,f(x),(x1,x2),f(x1,x2),0，1,f是什么？,模型训练,假设空间中：,x,，,g(x),二分类：,回归：,Pair排序：,f(x)=(g(x),f(x)=g(x),f(x1,x2)=(g(x1)-g(x2),模型训练,g可以是任意的函数,一次函数：线性模型,二次函数：因子模型,复杂函数：神经网络、树模型,模型训练,g可以是任意的函数,一次函数：线性模型,二次函数：因子模型,复杂函数：神经网络、树模型,模型训练,因子模型,矩阵分解：,g(x)=u*i,u和i都是向量,模型训练,因子模型：,矩阵分解：,x=(u1,i1)g(x)=0.1*0.3+0.5*0.7+0.3*0.7,x=(u2,i1)g(x)=0.5*0.3+0.4*0.7+0.2*0.7,模型训练,因子模型：,特征矩阵分解,X=r，a，b,部分参数带有因子项,模型训练,例子,x=r,a,b,r是4维向量，a是2维向量，b是3维向量,因子数为3,b是（4+2+3）维向量,p是2*3矩阵,q是3*3矩阵,模型训练,b:,p:,q:,x(1,0,1,0),(0,1),(1,1,0),y=3+0+1+(2,1,3)*(4,3,8)=39,模型训练,b:,p:,q:,x(1,1,0,0),(1,1),(1,0,1),y=?,模型训练,因子模型,FacorizationMachine,模型训练,v:,x1,0,1,0,0,0,1,y=0.5+2.1+v1*v3+v1*v7+v3*v7=0.5+2.1+0.61+2.01+1.06=6.28,例子,x:维度为7,w0:0.5,w1,因子为3个,模型训练,v:,x1,0,1,0,0,1,0,y=?,例子,x:维度为7,w0:0.5,w1,因子为3个,模型训练,算法优化：,减少乘法个数,模型训练,算法优化,(x1*v1)*(v2*x2)+(x1*v1)*(x3*v3)+(x2*v2)*(x3*v3)=(x1*v1+x2*v2+x3*v3)2-(x1*v1)2-(x2*v2)2-(x3*v3)2/2,假设长为3,v1,v2,v3的平方每次计算完保存,模型训练,算法优化,向量平方保存,v：,w1,w0:0.5,x1,0,1,0,0,1,0,y=?,模型训练,因子模型,Field-AwareFM,模型训练,因子模型,Field-AwareFM,x=0,1,1,0,1,1=(0,1),(0,1),(1,1),例子：x分为三组,因子矩阵也分为三组,组内不做内积,组间内积用不同的矩阵,模型训练,x=0,1,1,0,1,1=(0,1),(0,1),(1,1),v1,v3,v2,v3,v1,v3,v2,v1,v2,y=(x1*v1,2)*(x2*v2,1)+(x1*v1,3)*(x3*v3,1)+(x2*v2,3)*(x3*v3,2)=(0,2)*(1,0)+(2,0)*(3,5)+(2,1)*(1,5),模型训练,x=0,1,1,0,1,1=(1,0),(1,0),(1,1),v1,v3,v2,v3,v1,v3,v2,v1,v2,y=?,模型训练,其他模型,树模型,随机森林,GBDT,LambdaRank,大作业,内容：利