【传统的机器学习模型分析1200字】_第1页
【传统的机器学习模型分析1200字】_第2页
【传统的机器学习模型分析1200字】_第3页
【传统的机器学习模型分析1200字】_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

-3-传统的机器学习模型分析综述目录TOC\o"1-3"\h\u2046传统的机器学习模型分析综述 1175191.1.1逻辑回归 1202691.1.2因子分解机 2传统的机器学习的点击率预测模型是后续深度学习推荐模型的基础，它们大多直接使用原始特征直接进行模型的训练和学习，因而如何高效捕捉低阶和高阶的特征交互成为人们研究的重点。本节将列举两个在传统机器学习点击率预测模型发展中具有代表性的模型。逻辑回归逻辑回归虽然带有“回归”二字，但实际却是一个分类方法，往往可以用来解决二分类的机器学习问题，就如本文探讨点击率预测。用户点击指定内容的标签为1，否则为0。逻辑回归由于算法简单，实现高效，可解释性强和可扩展性强等原因，在学术界和工业界都有广泛的应用。逻辑回归的实质是在线性回归的基础上添加Sigmoid函数（也称Logistic函数）。函数形式如下：fSigmoid函数图像上呈现“S”形曲线，它可以将任意输入映射到0和1之间的值，如图2-1。图2-1Sigmoid函数逻辑回归就是找出特征向量对应的权值w和偏置b并带入Sigmoid函数，因此它的数学形式如式2-4。ffwx代表预测结果为1（正样本）的概率，p由于每个样本都是独立的，由极大似然估计的原理可以得到所有样本的联合概率，得到式2-6。Lm表示样本的数量。为方便求导，我们将等式两边取对数，然后乘系数−1J通过合适的优化算法，最小化损失函数的值，就可以得到问题的最优解。逻辑回归的实质是将各特征的加权并施以Sigmoid函数，形式简单，符合人们的直觉认识。然而，也正是因为逻辑回归的简单性，它无法完成特征间的交互，导致“辛普森悖论”。此外，逻辑回归模型的表达能力不强，信息会遭受损失。为解决这些问题，人们开始研究更为复杂的点击率预测模型。因子分解机为解决逻辑回归中的特征交互问题，人们在线性模型后添加一个二阶多项式，将所有的特征交互表示出来，见式2-8。y=这里n表示特征的维度，xixj表示特征xi和特征图2-2因子分解机中矩阵分解示例因子分解机模型于2010年被Rendle提出。它是一种基于矩阵分解的机器学习算法，通过特征隐向量的内积完成二阶特征交互，如图2-2。具体来说，因子分解机中每个特征学习到一组隐权重向量，特征交互的权重是通过这些隐向量内积计算而来，见式2-9。y=式中vi，vj表示用户的物品的隐向量。同时由于隐向量的长度k远小于特征数量y=隐向量的引入还使得因子分解机能够更好解决数据稀疏性的问题。举例而言，某训练样本的特征组合为（ESPN，Hermes）。在多项式模型中，只有当ESPN和Hermes同时出现在一个训练样本中，模型才能学习到该特征组合的权重。而在因子分解机模型中，我们只需要计算ESPN和Hermes的隐向量内积。ESPN的隐向量可以通过（ESPN，Gucci）计算，Hermes的隐向量也可

人人文库> 全部分类> 行业资料 > 工业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论