3.4-基于BP算法的多层感知器

神经网络理论及应用：基于BP算法的多层感知器主讲人：吴静珠

北京工商大学计算机与人工智能学院基于BP算法的多层感知器1986年，美国的Rumelhart和McCelland在《ParallelDistributedProcessing》中提出了多层感知器的误差反向传播训练算法（ErrorBackProragation，BP）。2026/10/11BTBU-CIE21、网络结构2、数学模型3、BP学习算法4、BP算法实现2026/10/11BTBU-CIE3基于BP算法的多层感知器网络结构2026/10/11BTBU-CIE4三层BP网输入层/感知层输出层隐层2026/10/11BTBU-CIE51、网络结构2、数学模型3、BP学习算法4、BP算法实现基于BP算法的多层感知器数学模型2026/10/11BTBU-CIE6输入向量：X=(x1,x2,…,xi,…,xn)T隐层输出向量：Y=(y1,y2,…,yj,…,ym)T输出层输出向量：O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,…,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)三层BP网数学模型2026/10/11BTBU-CIE7输出层：隐层：k=1,2,…,lk=1,2,…,l

j=1,2,…,mj=1,2,…,m

三层BP网数学模型2026/10/11BTBU-CIE8单极性Sigmoid函数：双极性Sigmoid函数：转移函数特点：非线性、连续、可导三层BP网2026/10/11BTBU-CIE9基于BP算法的多层感知器1、网络结构2、数学模型3、BP学习算法4、BP算法实现BP学习算法：基本思想2026/10/11BTBU-CIE10正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传：误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止BP学习算法：误差梯度下降法2026/10/11BTBU-CIE11核心：如何根据网络误差修正各层单元的权值？—梯度下降法(GradientDescent)梯度下降算法是一种使得损失函数最小化的方法。一元变量所构成函数𝑓在𝑥处梯度为：在多元函数中，梯度是对每一变量所求导数组成的向量梯度的反方向是损失函数下降最快的方向BP学习算法：误差梯度下降法2026/10/11BTBU-CIE12权值调整量与误差梯度反方向成正比核心：如何根据网络误差修正各层单元的权值？—梯度下降法(GradientDescent)BP学习算法：流程2026/10/11BTBU-CIE13三层BP网BP学习算法：权值调整公式2026/10/11BTBU-CIE14BP算法信号流向连续感知器δ规则BP学习算法：例子2026/10/11BTBU-CIE15来源于MATLABnnd11bc基于BP算法的多层感知器：小结2026/10/11BTBU-CIE16BP的基本思想：信号的正向传播,误差的反向传播BP算法的核心：基于误差梯度下降的