对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义_第1页
对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义_第2页
对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义_第3页
对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义_第4页
对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

#万事万物应该尽量简单，而不是更简单。11.凸松弛技术：将组合优化问题，转化为易于求解极值点的凸优化技术。凸函数/代价函数的推导，最大似然估计法12.牛顿法求解最大似然估计H—前提条件：求导迭代，似然函数可导，且二阶可导。H—迭代公式:若是向量形式,H就是n*n的hessian矩阵了。特征：当靠近极值点时，牛顿法能快速收敛，而在远离极值点的地方，牛顿法可能不收敛。这个的推导？这点是与梯度下降法的收敛特征是相反的。线性与非线性：线性，一次函数；非线性，输入、输出不成正比，非一次函数。线性的局限性：xor问题。线性不可分，形式：x00x而线性可分，是只用一个线性函数，将数据分类。线性函数，直线。线性无关：各个独立的特征，独立的分量，无法由其他分量或特征线性表示。核函数的物理意义：映射到高维，使其变得线性可分。什么是高维？如一个一维数据特征x,转换为(x,xA2,xA3)，就成为了一个三维特征，且线性无关。一个一维特征线性不可分的特征，在高维，就可能线性可分了。逻辑回归logicalisticregression本质上仍为线性回归，为什么被单独列为一类？其存在一个非线性的映射关系，处理的一般是二元结构的0，1问题，是线性回归的扩展，应用广泛，被单独列为一类。而且如果直接应用线性回归来拟合逻辑回归数据，就会形成很多局部最小值。是一个非凸集，而线性回归损失函数是一个凸函数，即最小极值点，即是全局极小点。模型不符。若采用逻辑回归的损失函数，损失函数就能形成一个凸函数。多项式样条函数拟合多项式拟合，模型是一个多项式形式；样条函数，模型不仅连续，而且在边界处，高阶导数也是连续的。好处：是一条光滑的曲线，能避免边界出现震荡的形式出现（龙格线性）/301735.htm以下是几个需慢慢深入理解的概念：无结构化预测模型结构化预测模型什么是结构化问题？adaboost,svm,lr三个算法的关系。三种算法的分布对应exponentialloss（指数损失函数），hingeloss,logloss（对数损失函数），无本质区别。应用凸上界取代0、1损失，即凸松弛技术。从组合优化到凸集优化问题。凸函数，比较容易计算极值点。正则化与贝叶斯参数估计的联系？部分参考文早：/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E4%B8%83%E8%AF%BE-%E6%AD%A3%E5%88%

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论