智能科学技术导论 课件 第六讲-智能科学基本问题（三）

第四章智能的基本问题(三)

智能的基本问题回顾智能探源模式识别知识推理学习发现搜索求解……教会机器人做事4基本问题五：学习发现学习，是(智能)系统在不断重复的工作中对本身能力的增强或改进。——西蒙道法自然取经万里5机器学习需要解答问题：

学什么？——烹饪？永春？说相声？

从哪里学？——师傅？师娘？

怎么学？——手把手？无师自通？机器学习工作机制：训练到预测训练阶段应用阶段用数学的方法学什么：函数从哪里学：数据怎么学：反向传播、梯度下降当前炙手可热的深度机器学习给出的答案

课程内容

机器学习概述监督学习

无监督学习

自监督学习

从神经元到感知机再到神经网络

强化学习输入输出智能机器就是函数最简单的函数——线性函数：y为收入，x为工作年限，则预测曲线为y=kx+b，那么k=？，b=？复杂的函数——非线性函数：思想：把函数估算出来，然后代入新值到函数中，得到的结果，就实现预测了！机器学习的分类监督学习(supervisedlearning)数据有标签、一般为回归或分类等任务无监督学习(un-supervisedlearning)

数据无标签、一般为聚类或若干降维任务强化学习(reinforcementlearning)序列数据决策学习，一般为与从环境交互中学习自监督学习

课程内容

机器学习概述

监督学习

无监督学习

自监督学习

从神经元到感知机再到神经网络

强化学习监督学习的重要元素如何学习得到映射模型标注数据学习模型标识了类别信息的数据如何对学习结果进行度量损失函数机器学习：监督学习分类问题的标注

人员类型标注数学好身体好会编程嗓门大程序员AYesNoYesYes作家ANoNoYesNo程序员BYesYesNoNo……………医生AYesYesYesYes程序员CYesYesYesYes程序员DYesYesYesNo从数据中学习

映射函数模式类别标签数据监督学习：损失函数

典型的损失函数

损失函数名称损失函数定义0-1损失函数平方损失函数绝对损失函数对数损失函数/对数似然损失函数监督学习：训练数据与测试数据

监督学习：经验风险与期望风险

经验风险(empiricalrisk

)训练集中数据产生的损失。经验风险越小说明学习模型对训练数据拟合程度越好。期望风险(expectedrisk):当测试集中存在无穷多数据时产生的损失。期望风险越小，学习所得模型越好。监督学习:“过学习(over-fitting)”与“欠学习(under-fitting)”经验风险小（训练集上表现好）期望风险小（测试集上表现好)泛化能力强经验风险小（训练集上表现好）期望风险大（测试集上表现不好)过学习（模型过于复杂）经验风险大（训练集上表现不好）期望风险大（测试集上表现不好)欠学习经验风险大（训练集上表现不好）期望风险小（测试集上表现好)“神仙算法”或“黄粱美梦”

经验风险最小化期望风险最小化监督学习两种方法：判别模型与生成模型监督学习方法又可以分为生成方法(generativeapproach)和判别方法(discriminativeapproach)。所学到的模型分别称为生成模型(generativemodel)和判别模型(discriminativemodel).

人脸

=0.99

监督学习两种方法：判别模型与生成模型监督学习应用

分类识别推荐…线性回归监督模型——线性回归(linearregression)在现实生活中，往往需要分析若干变量之间的关系，如碳排放量与气候变暖之间的关系、某一商品广告投入量与该商品销售量之间的关系等，这种分析不同变量之间存在关系的研究叫回归分析，刻画不同变量之间关系的模型被称为回归模型。如果这个模型是线性的，则称为线性回归模型。一旦确定了回归模型，就可以进行预测等分析工作，如从碳排放量预测气候变化程度、从广告投入量预测商品销售量等。

英国著名生物学家兼统计学家高尔顿SirFrancisGalton(1822-1911)

给出任意一对父母平均身高，则可根据上述方程，计算得到其子女平均身高从父母平均身高来预测其子女平均身高如何求取上述线性方程（预测方程）的参数？

该回归模型中两个参数需要从标注数据中学习得到(监督学习)

线性回归：参数学习举例

5.18.211.513.915.116.219.623.32.144.628.2411.2413.9916.3319.2328.74气温温度取值和受到火灾影响森林面积之间的一元线性回归模型（实线为最佳回归模型）

线性回归：参数学习

线性回归：参数学习

k-近邻(

KNN

)近邻的表现与样本自身的表现相近。主体思想：根据距离相近的邻居类别，来判定自己的所属类别。k-近邻(

KNN

)36需要关注的点如何衡量距离？k如何取值？权值如何定义（不同近邻的影响力是否一样）？如何决定最终的输出（决策函数）？37k-近邻(

KNN

)k-近邻(

KNN

)距离样本之间的相似性度量特点非负值对称性三角不等式38k-近邻(

KNN

)

391-近邻(

KNN

)如何衡量距离？欧式距离（或其他）k如何取值？

k=1权值如何定义（不同近邻的影响力是否一样）？不考虑权值如何决定最终的输出（决策函数）？近邻类别决定最终输出40k-近邻(

KNN

)如何衡量距离？欧式距离k如何取值？经验权值如何定义（不同近邻的影响力是否一样）？不考虑权值（或距离越近权值越高）如何决定最终的输出（决策函数）？近邻类别的均值决定最终输出411-近邻vsk-近邻421-近邻5-近邻

课程内容

机器学习概述监督学习

无监督学习自监督学习

从神经元到感知机再到神经网络

强化学习无监督概述什么是无监督学习？现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。无监督学习是机器学习中的一种训练方式或者学习方式。监督学习美国伊利诺伊大学香槟分校韩家伟（JianweiHan）教授认为监督学习可以被看做“分类（classification）”的代名词。计算机从有标签的训练数据中学习，然后给定某个新数据，预测这个新数据的标签，标签是指某个事物所属的类别。简单的说，监督学习的工作就是通过有标签的数据训练，构建一个模型，然后通过这个模型，给新数据添加上特定的标签。可以参考右图的内容辅助理解监督学习。无监督学习

无监督学习是机器学习的训练方式，它本质上是一个统计手段，在没有标签的数据里可以发现潜在的一些结构的一种训练方式。

无监督学习中模型所学习的数据都是无标签的，根据类别未知的训练样本解决模式识别中的各种问题。无监督学习可以被看作聚类（cluster）的近义词，为了方便理解可以结合左侧图片理解无监督学习的过程。

监督学习VS无监督学习

1、监督学习是一种目标明确的训练方式，你知道得到的是什么，一般用于数据预测，而无监督学习则没有明确目的的训练方法，是程序自动产生的分组结果，主要是聚类。2、监督学习需要给数据打标签，以实现分类；而无监督学习不需要给数据加标签。3、监督学习主要用于数据预测因而可以衡量效果，而无监督学习很难衡量。

无监督学习主要分为：聚类和降维两大类聚类聚类尝试在没有训练的条件下，对一些没有标签的数据进行归纳分类。根据相似性对数据进行分组，以便对数据进行概括。希望通过某种算法把这一组位置类别的样本划分成若干类别，聚类的时候，并不关心某一类是什么，实现的只是将相似的东西聚在一起。聚类算法分类：层次聚类、划分聚类、密度聚类、密度最大值聚类算法（MDCA）、快速搜索聚类算法（CFDP）谱聚类算法（SpectralClustering）、模型聚类、动态聚类。降维什么是降维？现在有n个对象a1，a2，……，an，每个对象有多个属性x1，x2，……，xm。当我们用矩阵表示这些对象时，便是一个An×m的矩阵。举个实例：假设我们有5只猫，每只猫的毛色、体型、身高、体重、年龄、性别等特征各不相同。这里的猫就是我们的对象；“猫”这个称呼是这个对象的标签；毛色、体型、体重等特征就是我们所说的对象的属性。在实际的图像识别过程中，我们可能有大批数量的猫、狗的图片，所需的对象的属性也是多个，这些属性的个数就是我们所说的维数。维数越多，信息量数据量越大，占用的磁盘空间和内存较多。实际上我们在实际中有时候并用不到这么多的信息，所以就需要降维。降维是试图压缩维度，并尽可能地保留分布信息。我们可以将其视为数据压缩，或者特征选择。线性降维算法主要有：主成分分析（PCA）奇异值分解（SVD）因子分析（FA）独立成分分析（ICA）无监督学习的使用场景案例一：发现异常:有很多违法行为都需要“洗钱”，这些洗钱行为跟普通用户的行为不一样，到底哪里不一样？如果通过人为去分析是一件成本很高很复杂的事情，我们可以通过这些行为的特征对，用户进行分类，就更容易找到那些行为异常的用户，然后再深入分析他们的行为到底哪里不一样，是否属于违法洗钱的范畴.案例二：细分用户这个对于广告平台很有意义，我们不仅把用户按照性别、年龄、地理位置等维度进行用户细分，还可以通过用户行为对用户进行分类。通过很多维度的用户细分，广告投放可以更有针对性，效果也会更好。案例三：推荐系统：大家都听过"啤酒+尿不湿"的故事，这个故事就是根据用户的购买行为来推荐相关的商品的一个例子。

比如大家在淘宝、天猫、京东上逛的时候，总会根据你的浏览行为推荐一些相关的商品，有些商品就是无监督学习通过聚类来推荐出来的系统会发现一些购买行为相似的用户，推荐这类用户最“喜欢”的商品。K均值聚类K均值聚类(K-means聚类)

K均值聚类算法描述

第一步：初始化聚类质心K均值聚类算法：初始化

第二步：将每个待聚类数据放入唯一一个聚类集合中K均值聚类算法：对数据进行聚类

第三步：根据聚类结果、更新聚类质心K均值聚类算法：更新聚类质心

第四步：算法循环迭代，直到满足条件K均值聚类算法：继续迭代在新聚类质心基础上，根据欧氏距离大小，将每个待聚类数据放入唯一一个聚类集合中再根据新的聚类结果、更新聚类质心聚类迭代满足如下任意一个条件，则聚类停止：已经达到了迭代次数上限前后两次迭代中，聚类质心基本保持不变64主成分分析主成分分析:PrincipleComponentAnalysis（PCA）主成分分析是一种特征降维方法。人类在认知过程中会主动“化繁为简”奥卡姆剃刀定律（Occam’sRazor）：“如无必要，勿增实体”，即“简单有效原理”在数理统计中，方差被经常用来度量数据和其数学期望（即均值）之间偏离程度，这个偏离程度反映了数据分布结构。在许多实际问题中，研究数据和其均值之间的偏离程度有着很重要的意义。

保证样本投影后方差最大

向黄线方向投影要好主成分分析:算法动机

主成分分析:算法描述

降维结果原始数据映射矩阵

特征人脸方法:算法描述

特征人脸:算法描述

特征人脸:算法描述

400个人脸（左）和与之对应的36个特征人脸

课程内容

机器学习概述监督学习

无监督学习

自监督学习

从神经元到感知机再到神经网络

强化学习

课程内容

机器学习概述监督学习

无监督学习自监督学习

从神经元到感知机再到神经网络

强化学习生物神经元生物神经元通过改变连接的强度进行学习！MP神经元模型MP是构建神经网络大厦的基石！MP模型中的权重是预先设置的，因此不能学习。因此需要设计能够调整权值的方法实现学习。神经元模型的图像化表示

神经元模型的图像化表示神经元模型的公式表示感知机提出从神经元到感知机(Perceptron)神经元感知机区别：感知机有两层（输入层、输出层），神经元一层神经元的权值是固定的，感知机的权值可以改变感知机模型(两层神经元组成)，每一个输入x与其权值w相乘求和然后加上一个偏置，然后输入到激活函数f中。w和b可以不断调整，调整的过程就是学习过程！图中的感知机为例，里面一共是四个变量p1,p2,w1,w2,b是常数，其特性如右图，它可以提供了一种能力，在w1,w2确定的时候，可以“鉴定”p1,p2的组合是否符合w1,w2约束的要求(是不是落在灰色的部分)。可以用于分类计算！！！感知机初步解决了学习的问题，却存在一个致命的问题，无法解决异或问题！如图，从左到右，“与”、“非”、“或”问题都是线性可分的，感知机可以很容易通过调节参数获得其决策边界，但是“异或”却是线性不可分的，感知机对其无能为力。生活中的异或问题：动物异性生殖，袜子左右成对…多层感知机与前馈神经网络前馈神经网络解决异或问题最早的神经网络就是前馈神经网络，他它包括输入层、隐藏层、输出层。感知机就是没有隐藏层的前馈神经网络。前馈神经网络也就是多层感知机！激活函数激活函数（有时也叫传递函数）具有以下性质：非线性连续可微性值域是有限的单调性具有单调导数的光滑函数函数值和输入近似相等Sigmoid激活函数的导数前向算法

前馈神经网络接收输入，信息通过网络向前流动，最终产生输出，称之为前向传播。损失函数一条一条的试，那么那条线更好呢？——用损失函数（lossfunction）来评估损失函数是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,损失函数越小，模型认为性能就越好。1.平方损失函数（最小二乘法,OrdinaryLeastSquares，OLS)最小二乘的基本原则是：最优拟合直线应该是使各点到回归直线的距离和最小的直线，即平方和最小。当样本个数为n时，此时的损失函数为：而在实际应用中，通常会使用均方差（MSE）作为一项衡量指标，公式如下：反向传播算法链式求导链式法则是微积分中的求导法则，用以求一个复合函数的导数。所谓的复合函数，是指以一个函数是另一个函数的自变量。如：f(x)=3x，g(x)=x+3，g(f(x))就是一个复合函，有：g(f(x))=3x+3。链式法则用文字描述，就是“由两个函数凑起来的复合函数，其导数等于里边函数代入外边函数的值之导数，乘以里边函数的导数。若h(x)=f(g(x))，则h'(x)=f'(g(x))g'(x)举例：

f(x)=