机器学习常用模型及优化

第一章模型建立lo1回归模型：条件：.数据.假设的模型结果：用模型对数据学习，预测新数据lo1.1一元线性回归模型（最小二乘法）它通过最小化误差的平方和寻找数据的最佳函数匹配我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归假设从总体中获取了n组观察值（XI,Yl）,（X2,Y2）,…，（Xn,Yn）平方损失函数Q=之一=力化一用=—高—良I）I]=1则通过Q则通过Q最小确定这条目线,即确定为I变量土把它们看作是◎的函数.就变成了一1、求极值的阿即，nJ■以通过求导数得到口求口时两个待估参敕的偏导数:"二二，力~片一户"二二，力~片一户£），t）=o=2工化-A-6凡）（-町三o2-1根据粒学知识在包知道,岛柱的犍鱼点为施停为□的点.解得;心”5）2Q_£片）匕-£%£见

「立一心了1.1.2逻辑回归模型将线性回归中的一次模型变成逻辑回归函数即sigmoid函数。/(0-1+E/(0-1+E-f或者::=1Iexp(-flTr)其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模型，但是它本质上又是一个线性回归模型损失函数（误差函数）为：i=lJ例=--f/log加(冽)I(1-/)k＞如-加(父㈤))T71 ~~i=llolo3softmax回归它是逻辑回归的扩展从分类的角度来说，逻辑回归只能将东西分成两类（0,1）,softmax可以分成多类逻辑回归中，模型函数（系统函数）为：加（幻=1.exp（—8⑼Softmax回归中，模型函数（系统函数）为:以以—1工的;&)Io2神经网络模型1.2.1神经元首先来一个三输入单输出的神经元，输入输出都是二进制(0,1).举例来说：XI表示天气是否好X2表示交通是否好X3表示是否有女朋友陪你Y表示你是否去电影院看电影要让这个神经元工作起来，需要引入权重，wl,w2,w3o这样就有了：(0if-WjXj<threshold1(zJ；叼叼>threshold(口W1表示”天气是否好”对你做决定的重要程度W2表示”交通是否好”对你做决定的重要程度W3表示”是否有女朋友陪你”对你做决定的重要程度Threshold越低表示你越想去看电影，风雨无阻你都想去.Threshold越高表示你越不想去看电影，天气再好也白搭.Threshold适中表示你去不去电影院要看情况,看心情。1.2.2神经网络现在扩展一下:■iuutpilt这样就出现神经网络了，可以看出这是很多神经元组合成的。把上面的(1)式中的threshold用偏移量-b表示，并且移到不等式左边，出现F面(2)式:output=(2)例子就不举了，原文是实现与非门的一个例子，说明这个东西可以进行逻辑推理，它就很有潜力了，电脑就是靠逻辑加运算来实现各种功能。现在要用这个东西学习识别手写字体，我们的想法是这样的:stHrdlchFLttgehi“iiy (orhi；心)stHrdlchFLttgehi“iiy (orhi；心)举例来说，电脑错把9当成了8,那么我们希望通过自动调整w或b来对output进行调整，以达到正确的结果.这时网络会自己“学习”了。具体是这样的:output=1ifo(w+b)>0.5

0ifo(w+b)<0.5output=其中o(,)是sigmoid函数:1+e-zF面是sigmoid函数的图形它是阶梯函数的一个平滑：stepfundtion1.D0.B360.40.2-口•口 I I I I II II I4 -3 -2 -1 0 12 3.4Z输出通过w和b进行微调的式子是这样的：Edoutput“doutput- △'叫H 3dWj}db这个式子比较抽象，它只是战略性的一个式子，下面引入cost函数来进行战术实践。Cost函数是评价模型准确与否的一个函数，它可能越大越好，也可能越小越好，看你怎么构造了。这里用均方误差来构造：5叫切三A的⑶—flll2这个函数越小越好，所以通过使这个函数变得最小来得到最好的w和b,也就是达到最好的学习效果。1。3最大似然估计X的一个样本XI,X2,…，Xn独立同分布，其观测值为xl,x2,…,xn。P(X=x)=p(x;O)，其中参数0未知根据XI,X2,…，Xn的观测值xl,x2,…，xn来估计模型参数0。假如这组数据服从B(l,p),p未知P(X=x)=px(l—夕)1(x=O,l)L(p)=P(X=x,...,X=x)=px]+.f(l—p),=]'1 1 nn、、d ，i一， 一一，一>>>一、，一、求一InL(p)=0得到L(p)取极大值时的p,即为所求dp第二章模型优化2.1遗传算法有个博客讲的很好用袋鼠跳问题形象的比喻这个问题，类似的算法还有模拟退火法.2。2梯度下降法一句话来说就是求损失函数或似然函数的极值，我们自己算的话就是求个导就完事了，但是有些函数的导数特别难求，这时候就需要梯度下降法，交给电脑迭代几次就算出来了举例来说，求损失函数的最小值：-1min.A.0h(x)= =%+日R]+/x2三40=力砥(幻―4=(瓦⑶一心⑴场=4与 =a-4%8-y)铲

2o3牛顿法对于非线性优化，假设任务是优化一个目标函数,求解其极大极小值，转化为求问题，是不是回到了上面的问题？二阶泰勒级数：■ c 1 “f(x+Ax)=f(x)+f(x)Ax+-f(x)Ax2二阶泰勒级数成立的充要条件是Ax无限趋于0,两边约去f(x+Ax)和f(x),并对A求导,得到：解得:Axf(x) n-f7x)Ax所以得到迭代式:所以得到迭代式:红色是牛顿法，绿色是梯度下降法，