机器学习 课件 第8章　概率有向图模型

人工神经网络人工智能

与

人工神经网络人工神经网络智能人工神经网络草履虫有智能吗？狗有智能吗？智能和非智能的边界很难确定人有智能！模仿游戏：扮演人类人工神经网络怎样创造能模仿人的机器飞行：从观察和模仿鸟类开始智能：从观察和模仿人开始人工神经网络神经元人工神经网络神经细胞树突、轴突和突触释放神经递质和连接强度神经元与人工神经元人工神经网络…

加权求和激活函数输出累积输入刺激信号刺激超出阈值产生神经冲动传递神经冲动给其他邻接神经元净输入超过阈值输出1否则输出0净输入感知机人工神经网络

Σ

…

净输入输出激活函数权重激活函数阶跃函数S形函数ReLU函数人工神经网络

学习感知机的权重：通过训练样本

人工神经网络？？从错误中学习异或函数感知机能找到分类界面吗？感知机无法拟合异或函数人工神经网络二值函数与线性可分函数的个数

1/0输出000011101110自变量个数函数个数线性可分函数个数b1TheEnd多层感知机人工神经网络11110.5-1.511-1-11.5

01011110输入层隐藏层输出层模拟异或函数的多层感知机或门与非门与门通用近似定理如果一个多层感知机具有线性输出层和至少一层隐藏层，只要给予其足量的隐层神经元，它可以以任意精度近似任何从一个有限维空间到另一个有限维空间的Borel可测函数人工神经网络…………

多层感知机的学习

人工神经网络误差与损失函数

人工神经网络反向传播算法

人工神经网络

反向传播算法

人工神经网络…………

……

反向传播算法

人工神经网络

学习率以三层感知机为例

人工神经网络

以三层感知机为例人工神经网络

以三层感知机为例人工神经网络

反向传播TheEnd优化算法梯度下降法用全部训练样本计算误差随机梯度下降法随机选择单个样本点计算误差小批量随机梯度下降法随机选择小批量样本点计算误差人工神经网络完美拟合训练数据的网络是最好的吗？学习网络的目的是为了预测未知数据网络在训练数据上表现好，但在训练数据之外表现不好过拟合用训练数据学习参数，用额外的数据验证是否过拟合人工神经网络克服过拟合：Dropout训练的过程中随机丢弃一些非输出节点相当于集成若干个子网络让模型更加健壮人工神经网络TheEnd卷积神经网络人工神经网络卷积神经网络手写体数字识别人工神经网络8网络结构人工神经网络12345678901234567890……………………全连接层全连接层卷积层卷积核…………池化层全连接层卷积层超参数卷积核大小(size)移动步长(stride)填充(padding)人工神经网络池化层降低对微小位置变化的敏感性减少网络参数，提高泛化能力人工神经网络典型的卷积网结构人工神经网络输入池化卷积ReLU全连接层输出

卷积层学到了什么人工神经网络经典的卷积网人工神经网络LeNet(1998)AlexNet(2012)GoogLeNet(2014)ResNet(2015)VGGNet(2014)TheEnd循环神经网络人工神经网络循环神经网络语言建模根据前几个词预测下一个词人工神经网络人工神经网络是对生物神经网络的模

a)拟b)型c)学d)好循环神经网络网络结构人工神经网络输入层隐藏层延迟器

输出层

模型训练随时间反向传播：按时间步展开人工神经网络挑战：过深的网络导致梯度消失梯度消失：过深的网络导致梯度消失人工神经网络

门控单元人工神经网络长短时记忆网络（LSTM）门控循环单元（GRU）序列到序列模型应用：机器翻译，自动问答，文本摘要人工