《大数据处理与智能决策 》课件-3-机器学习算法基础与线性回归

1什么是机器学习？你如果没有听说过机器学习，那你就Out了！在《哈佛商业评论》发表数据科学家是21世纪最性感的职业之后，机器学习的研

究广受关注。机器学习算法就是在没有人类干预的情况下，从数据中学习，并在经验中改善的一种方法，学习任务可能包括学习从输入映射到输出的函数，学习无标签数据的隐含结构；或者是「基于实例的学习」，通过与存储在记忆中的训练数据做比较，给一个新实例生成一个类别标签。基于实例的学习（instance-basedlearning）不会从具体实例中生成抽象结果。

是不是有点抽象？什么是机器学习？机器学习，是一种特殊的算法，能够根据已有的数据进行“学习”，学习的结果是“建立一个数学模型”。2现有数据机器学习算法数据模型学习训练数据模型新的数据预测输出结果输入输入思考如果你是AlphaGo的设计者，根据以上提到的流程，请你说出你对AlphaGo的设计思想的理解3第一部分WhatisML?何为机器学习下面几首诗，大家来猜猜，哪些是机器写的，哪些是人写的?平仄，押韵，对偶，对仗春到江南草更青，胭脂粉黛玉为屏。无端一夜西窗雨，吹落梨花满地庭。

一夜秋风扫叶开，云边雁阵向南来。清霜渐染梧桐树，满地黄花坡上栽。

梨花落尽柳絮飞，雨打芭蕉入翠微。夜静更深人不寐，江头月下泪沾衣。

雨打芭蕉滴泪痕，残灯孤影对黄昏。夜来无寐听窗外，数声鸡鸣过晓村。

秋深更觉少人行，雁去无声月满庭。兄弟别离肠断处，江南烟雨总关情。

明月当窗照夜空，桂花香透小楼东。金风玉露三更后，雪落梅梢一点红。什么是机器学习GoogleBrain黑科技图像的识别与重建机器学习界的执牛耳者与互联网界的大鳄的联姻中间的是GeoffreyHinton,加拿大多伦多大学的教授，如今被聘为“Google大脑”的负责人。右边的是YannLeCun,纽约大学教授，如今是Facebook人工智能实验室的主任。而左边的大家都很熟悉，AndrewNg，中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。机器学习领域类的大牛们何为机器学习Whatismachinelearning机器学习数据相关传统编程指令因果入门级高漏误报率通配符简单逻辑描述简单数据挖掘（关联、序列）自然语言处理数据挖掘（聚类、分类）无监督学习、监督学习、强化学习关键词、特征正则表达式人工智能从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。第二部分Machinelearningalgorithms三类机器学习算法三类机器学习算法Machinelearningalgorithms监督学习？和平区、120平、新房，价格多少。三类机器学习算法Machinelearningalgorithms01030402SVM通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线。但是如果没有某类函数技术，则支持向量机算法最多算是一种更好的线性分类技术。逻辑回归预测结果是离散的分类，例如判断这封邮件是否是垃圾邮件，以及用户是否会点击此广告等等。神经网络分解与整合。每个处理单元事实上就是一个逻辑回归模型，逻辑回归模型接收上层的输入，把模型的预测结果作为输出传输到下一个层次。通过这样的过程，神经网络可以完成非常复杂的非线性分类。线性回归拟合出的直线代表数据的真实值，而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响，需要求解一条直线使所有误差的平方和最小。三类机器学习算法Machinelearningalgorithms非监督学习聚类降维三类机器学习算法Machinelearningalgorithms三类机器学习算法Machinelearningalgorithms强化学习三类机器学习算法Machinelearningalgorithms第三部分Examplecode学习例子学习例子Examplecode疯狂的ifelse语句权重学习例子Examplecode步骤1：首先，将每个权重都设为1.0步骤2：将每栋房产带入你的函数运算，检验估算值与正确价格的偏离程度。步骤3：不断重复步骤2，尝试所有可能的权重值组合。哪一个组合使得代价最接近于0，它就是你要使用的，你只要找到了这样的组合，问题就得到了解决!这就是经典的“梯度下降”法，机器学习用于不断迭代优化的过程/wiki/Gradient_descent第二部分：一元线性回归本部分针对19线性回归概念线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y=w'x+e，e为误差服从均值为0的正态分布回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。20什么是回归分析分析两种或两种以上变量关系的一种统计方法就是回归分析一个变量多个变量线性关系一元线性回归多元线性回归非线性关系一元非线性回归多元非线性回归那到底什么是线性？Y=b+aX，那么X和Y就是线性关系，因为X的增加量与Y的增加量成固定比例XYY=b+aX线性回归模型先从一个简单的例子入手，介绍几个概念下面这张图给出了2016年统计的某区域房屋成交均价与房屋面积之间的关系，其中每一个点都是一个具体的房屋面积和价格面积价格也许我们可以用一条直线大致拟合一下这些点的轨迹f(面积)线性回归模型面积价格三条直线中，哪一条最符合这些点的规律呢？假设图上，每个点的坐标都是(x,y)每条直线对应的函数为f(x)那么∑|(f(x)-y)|最小的一条直线就是最符合这些点的规律的直线简单一点说，点到直线距离之和最短的直线，是最贴合这些点的规律的直线线性回归模型还是刚才那个例子，如果我想根据已经存在的房屋数据，预测某一个面积对应的价格，那么，我就需要推导出一条直线，然后根据这条直线进行预测。假设这条直线的函数f(x)=a0+a1x，我们可以叫它预测函数；已知的所有图上的点坐标为(xi,yi)下面我们要做的事情就是找到合适的a0、a1,使得∑|f(xi)-yi|有最小的值，我们将这个目标写作min∑|f(xi)-yi|，称为目标函数我们可以将min∑|f(xi)-yi|转化一下，变为min∑(f(xi)-yi)²，因为如果∑(f(xi)-yi)²到达最小值，那么|f(xi)-yi|也会最小假设我们已知的房屋数据，有m组，我们一般会将目标函数再一次等价的变为min1/2m*∑(f(xi)-yi)²，我们用J(a0,a1)表示1/2m*∑(f(xi)-yi)²，所以目标函数变为了minJ(a0,a1)这里的J(a0,a1)我们成为代价函数最后总结一下，那个房屋面积和价格的例子中，我们打算用预测函数f(x)=a0+a1x去预测任意面积的房屋价格所以，我们就是要寻找合适的a0、a1,使得代价函数J(a0,a1)最小线性回归模型26我们已经了解了线性回归的目的，以及预测函数和代价函数的概念。下面，我们会进一步的了解，我们的代价函数是什么东西，为我们找到合适的a0和a1做充分准备。代价函数27定义：

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学中，代价函数，又叫损失函数或成本函数，它是将一个或多个变量的事件阈值映射到直观地表示与该事件。一个优化问题试图最小化损失函数。目标函数是损失函数或其负值，在这种情况下它将被最大化。代价函数的意义代价函数J(a0,a1)的变量a0、a1，实际上是预测函数的参数回归分析，实际上就是找到一组a0、a1，使代价函数的值最小代价函数实际上可以表示所有已知点到直线的距离之和代价函数的意义下面我给出一组已知的点，来看看预测函数和代价函数的关系（3,6）（2,4）（1,2）预测函数：y=x在这个例子里面，为了简化问题，我们将a0去掉了，所以预测函数成了y=a1x，首先，我们让a1=1根据代价函数的定义，J(1)=1/2m*∑(f(xi)-yi)²=1/6*[(1-2)²+(2-4)²+(3-6)²]=(1+4+9)/6=7/3≈2.33所以，我们在右边的代价函数图上，描上一个点(1，2.33)xya1J(a1)（1,2.33）还是刚才的那个例子，我们看看，a1=2的时候，代价函数的值是什么（3,6）（2,4）（1,2）预测函数：y=2x首先，我们让a1=2根据代价函数的定义，J(1)=1/2m*∑(f(xi)-yi)²=1/6*[(2-2)²+(4-4)²+(6-6)²]=(0+0+0)/6=0所以，我们在右边的代价函数图上，描上一个点(2，0)xya1J(a1)（1,2.33）（2,0）代价函数的意义代价函数的意义最后我们看看，a1=3的时候，代价函数的值是什么（3,6）（2,4）（1,2）预测函数：y=3x首先，我们让a1=3根据代价函数的定义，J(1)=1/2m*∑(f(xi)-yi)²=1/6*[(3-2)²+(6-4)²+(9-6)²]=(1+4+9)/6≈2.33所以，我们在右边的代价函数图上，描上一个点(3，2.33)xya1J(a1)（1,2.33）（2,0）（3,2.33）代价函数的意义有兴趣的话，可以多尝试几组，你会发现，其实代价函数的图像是这样的我们可以看到，这种形状的图像，是肯定会有一个最低点的，而且只有一个也就是说，我们的代价函数必然可以找到一个a1，使得J(a1)最小刚才的例子中，a1=2恰好就是这个最小值了a1J(a1)（1,2.33）（2,0）（3,2.33）代价函数的意义刚才，我们用的是简化以后的代价函数，只有a1。

那么如果加上a0，代价函数的图像又是什么样的呢？a0a1J(a0,a1)这就是有a0和a1两个参数的时候代价函数的图像注意，已经是三维图像了但我们依然可以看到，它有一个最低点代价函数的意义在之前的例子中，我们探讨了线性回归问题中，代价函数的图像如果你足够聪明，也许你已经发现，线性回归问题，我们可以归结为寻找这个图像的最低点的问题所以在接下来的课程中，我们会探讨如何找到代价函数的最低点一旦你找到了最低点，那么a0和a1就找到了，这样，预测函数也就找到了。最后需要说明的是，我们现在探讨的，是只有一个变量x的时候，也就是一元线性回归问题，多元的问题会在之后讨论。梯度降维法（也叫梯度下降法）一元线性回归分析梯度降维法解决什么问题假设y的值与n个因素有关，他们分别是x1、x2、x3......xn，且经过调研，我们已经掌握了m组实际值我们可以将他们的关系用函数y=a0+a1*x1+a2*x2+a3*x3......+anxn进行拟合根据之前的结论，代价函数J(a0,a1,a2......an)=1/2m*∑(f(xi)-yi)²那么我们就需要根据已知的m组值，找出一组（a0,a1,a2......an），让代价函数的值最小上面所说的梯度降维法，就是专门求解minJ(a0,a1,a2......an)问题的一种有效方法为了更直观地看到梯度降维法是如何工作的，我们接下来只看两个因素的问题，即J(a0,a1)问题梯度降维法工作原理思考：你可以把代价函数的图像，想想为群山而你在这群山中的任意一点你需要下到更低的地方，你会怎么做？梯度降维法工作原理思路：假设，我在点A，我会环顾一下四周看看哪个方向的高度比我所在点更低然后朝那个方向前进一小步，到点B到了B点以后，继续刚才的操作，一步一步，慢慢的，我会发现我到了某个点，这个点四周的高度都比现在的高度要高，这个时候就可以停止了这就是梯度降维法的基本思路AB梯度降维法实现在这里，我要先给出结论，梯度降维法的实现方式如下（伪代码）针对代价函数J(a0,a1)，我们要找到一个任意的初始点（a0,a1）设置两个变量temp0=0;temp1=0;这两个变量我们接下来会用到然后循环下面这一段{temp0=temp1=a0=temp0a1=temp1用新的a0和a1计算一下代价函数值}直到代价函数值不再变化或是变化很小，可以忽略不计的时候，就说明我们已经找到了需要的a0和a1注意：有一点很容易出错，a0和a1一定要同时更新，否则，如果先更新a0，再对a1求偏导的时候，此时的a0是已经更新过的，偏导求的就不对了，所以一定要同时更新，切记。梯度降维法实现看到上面的结论，是不是有点晕？没关系，我们慢慢来，上面的一大串结论里面，对于没有学习过高等数学的人来说，最麻烦的也许就是那个求偏导，完全搞不懂是什么，没关系，那个值我之后会给出，会求偏导的，可以自己算一下。下面，我就介绍一下那个结论中的几个概念学习速率（下山的步子有多大）方向（朝什么方向走）刚才的例子中，不断的循环过程，就是在不断的寻找下一步往哪走，而这“下一步”就是由方向和步子大小决定的，学习速率就好比下山时的步子大小，而那个偏导就是我们下山的方向，就这样，我们会一步一步走到最低点。这是你可能会问，为什么方向会是两个？一个对a0求偏导，一个对a1求偏导。下面我们来说说导数的含义导数的含义我们先把代价函数简化一下，看看一个变量的代价函数图像。在上一节中我们知道了，J(a1)的函数图像如下a1J(a1)假设我们的初始点在A我们利用梯度降维法，就需要做下面这件事来找到点B我们可以看到，新的a1实际上是原来的值减去一个值减去的这个值由学习速率和一个导数组成这个导数的意义，实际上是点A的斜率我们沿着斜率的方向，就可以保证下一步的值肯定比这一步要小，我们可以看到，我们沿着斜率前进了α，得到了一个新的a1，从而得到了新的点，这个点离我们的最低点更近了这个时候你可能会想明明是减去一个值，为什么a1会向右跑了呢？别忘了斜率的含义，你看看这条直线的方向，此时的斜率是负数，减去一个负数，所以值增加了。AB导数的含义我们再来看看，如果我的上一个点不在最低点的左边，而在最低点的右边，会是什么情况呢？a1J(a1)假设上一个点在A我们利用梯度降维法，就需要做下面这件事来找到点B这种情况下，A的斜率变为了负值，我们新的点依然会朝着最小点的方向前进，这就是导数（斜率）的神奇之处。它保障了我们的算法永远向着目标前进到目前为止，我们看到了斜率可以在方向上保证我们永远向着最低点前进，下面，我们看看这个斜率对我们步子的大小有什么作用。AB导数的含义实际上，随着我们的计算越来越接近最低点，斜率可以保证我们的步子越来越小，尽量不越过最低点a1J(a1)假设我们从A点出发，到了B点，经过几轮循环以后，我们的数值已经到达了C点C点的斜率已经明显发生了变化，我们可以看到，C点切线的斜率与之前相比，已经变得更小了，这时，对于相同的学习速率α来说，每次的变化都更小了所以，越接近最低点，步子的变化会越来越小，是我们尽量不会越过最低点。注意，这里说的是尽量不越过，如果你的α选择得很大，还是会越过，还会出现一只无法到达最低点的情况，不过我们可以先不要关心这一点，在后面我会讲到如何选择合适的αABC导数的含义之前的例子，为了便于理解，我用的是只有一个参数的J（a1），当有两个参数的时候，图像是三维的，所以在确定下山方向的时候，要分别对a1和a2求偏导，得到两个方向上的增量，这样才可以确定出下一步的位置。你们看，是不是和经典物理里面求合力的情况有点像？实