BP神经网络知识讲座

第2部分：BP神经网络

5/9/20241BP神经网络知识讲座主要内容一.人工神经网络基本知识生物神经网络、生物神经元人工神经网络、人工神经元人工神经网络三要素典型激活函数神经网络几种典型形式二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五.应用5/9/20242BP神经网络知识讲座人工神经网络是生物神经网络的某种模型(数学模型)

是对生物神经网络的模仿基本处理单元为人工神经元5/9/20243BP神经网络知识讲座1.生物神经系统与生物神经元

大量生物神经元的广泛、复杂连接，形成生物神经网络(BiologicalNeuralNetwork,BNN)。

实现各种智能活动

生物神经元(neuron)是基本的信息处理单元5/9/20244BP神经网络知识讲座(1)生物神经系统

生物神经元(neuron)是基本的信息处理单元,其组成：树突(dendrites),

接收来自外接的信息细胞体(cellbody),

神经细胞主体，信息加工轴突(axon),细胞的输出装置，将信号向外传递，与多个神经元连接突触（synapsse),神经元经突触向其它神经元（胞体或树突）传递信号5/9/20245BP神经网络知识讲座(2)生物神经元的基本特征神经元之间彼此连接

神经元之间的连接强度决定信号传递的强弱神经元之间的连接强度可以随训练改变

学习、遗忘、疲劳

----神经网络中各神经元之间连接的强弱，按外部的激励信号做自适应变化

兴奋与抑制信号可以起兴奋作用，也可以起抑制作用一个神经元接受信号的累积效果（综合大小，代数和）决定该神经元的状态(兴奋、抑制)

每个神经元可以有一个“阈值”5/9/20246BP神经网络知识讲座2.人工神经网络与人工神经元5/9/20247BP神经网络知识讲座(1)基本的人工神经元模型McCulloch-Pitts神经元模型输入信号；链接强度与权向量；信号累积激活与抑制5/9/20248BP神经网络知识讲座5/9/20249BP神经网络知识讲座5/9/202410BP神经网络知识讲座5/9/202411BP神经网络知识讲座(1)基本的人工神经元模型5/9/202412BP神经网络知识讲座(2)输出函数f(2)几种常见形式的传递函数(激活函数)5/9/202413BP神经网络知识讲座(2)输出函数f5/9/202414BP神经网络知识讲座(2)输出函数f5/9/202415BP神经网络知识讲座5/9/202416BP神经网络知识讲座5/9/202417BP神经网络知识讲座5/9/202418BP神经网络知识讲座主要内容人工神经网络基本知识二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五.应用5/9/202419BP神经网络知识讲座各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一有向无环图表示。网络中的节点分两类：输入节点；计算节点(神经元节点)节点按层(layer)组织：第i层的输入只与第i-1层的输出相连。输入信号由输入层输入,由第一层节点输出，传向下层，……前馈：信息由低层向高层单向流动。-------------------------------------------------

可见层

输入层

(inputlayer)输入节点所在层，无计算能力

输出层(outputlayer)节点为神经元

隐含层(hiddenlayer)

中间层，节点为神经元1.前馈(forward)神经网络5/9/202420BP神经网络知识讲座

具有三层计算单元的前馈神经网络结构5/9/202421BP神经网络知识讲座2.感知器神经网络(感知器)、感知器神经元感知器神经元单层感知器网络5/9/202422BP神经网络知识讲座感知器神经元的传递函数单层感知网络可以实现线性分类2.感知器神经网络、感知器神经元(续)5/9/202423BP神经网络知识讲座(1)多层感知器(MLP)的一致逼近性单个阈值神经元可以实现任意多输入的与、或及与非、或非逻辑门。任何逻辑函数可由两层前馈网络（一层计算单元）实现。三层或三层以上的前馈网络通常称为多层感知器多层感知器的适用范围大大超过单层网络。3.多层感知器（含两层以上的计算单元）5/9/202424BP神经网络知识讲座多层感知器示意5/9/202425BP神经网络知识讲座5/9/202426BP神经网络知识讲座当神经元的输出函数为sigmoid等函数时，三层前馈网络(含两层计算单元)可以逼近任意的多元非线性函数。5/9/202427BP神经网络知识讲座主要内容一.人工神经网络基本知识、神经元与感知器二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五应用5/9/202428BP神经网络知识讲座

基于阈值神经元的多层感知器不足隐含层不直接与外界连接，误差无法直接估计中间层神经元的激活函数为阈值函数(或阶跃函数)

无法采用梯度下降法训练神经元权值

基于BP算法的多层感知器(BP网络)

各计算单元(神经元节点)传递函数：Sigmoid函数

误差逐层反向传播；

信号逐层正向传递5/9/202429BP神经网络知识讲座BP神经网络训练的两个阶段

(1)信号正向传递过程

输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出

(2)误差反向传播过程

输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.5/9/202430BP神经网络知识讲座5/9/202431BP神经网络知识讲座5/9/202432BP神经网络知识讲座5/9/202433BP神经网络知识讲座5/9/202434BP神经网络知识讲座5/9/202435BP神经网络知识讲座5/9/202436BP神经网络知识讲座5/9/202437BP神经网络知识讲座5/9/202438BP神经网络知识讲座5/9/202439BP神经网络知识讲座5/9/202440BP神经网络知识讲座5/9/202441BP神经网络知识讲座5/9/202442BP神经网络知识讲座5/9/202443BP神经网络知识讲座BP网络的优点

①特别适合于求解内部机制复杂的问题

BP网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能②具有自学习能力网络能通过学习带正确答案的实例集自动提取“合理的”求解规则③网络具有一定的推广、概括能力。5/9/202444BP神经网络知识讲座BP网络的问题，如：①BP算法的学习速度较慢②网络训练失败的可能性较大

③网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。④网络的预测能力（泛化能力、推广能力）与训练能力（逼近能力、学习能力）的矛盾。。。。。。5/9/202445BP神经网络知识讲座主要内容一.人工神经网络基本知识、神经元与感知器二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.数据处理及神经网络结构的选择五应用5/9/202446BP神经网络知识讲座PART1.输入/输出数据的处理回归或状态预测，数据处理方式有所区别建模前输入输出数据的预处理—正向标准化建模后输入输出数据的后处理—反向标准化特征的平移特征的尺度调整[0,1],[-1,1],[-a,a],[0,a]5/9/202447BP神经网络知识讲座5/9/202448BP神经网络知识讲座5/9/202449BP神经网络知识讲座5/9/202450BP神经网络知识讲座5/9/202451BP神经网络知识讲座5/9/202452BP神经网络知识讲座5/9/202453BP神经网络知识讲座PART2.神经网络的层次选择对多层网络要确定选用几个隐含层？1988年Cybenko指出，若各节点均采用S型函数，则一个隐含层足以实现任意判决分类问题；两个隐含层足以实现输入图形的任意输出网络层次选取依经验和情况而定，通常不宜过多。

5/9/202454BP神经网络知识讲座PART3.节点数目的确定输入层、输出层、隐含层节点数1.输入层节点数的确定

节点数=输入向量的维数5/9/202455BP神经网络知识讲座2.输出层节点数的确定节点数取决于: 输出的表示方法;

类别数目； 待逼近的函数数目。(1)两类别问题单输出型1个判别函数，1个输出节点(2)多类别问题输出节点数是类别数：“C中取1(1-of-C)”C位“0-1”二进制编码

输出节点数是二进制编码的状态数

8类问题，3位二进制数可能会需增加1个隐含层以满足要求(3)输出节点数是待逼近的函数个数5/9/202456BP神经网络知识讲座

隐含层节点数目越大，网络学习能力越强，但不能保证预测能力好—“过学习(过拟合)”

overfitting隐含层节点不能过少，网络不能构建复杂决策面：节点数越小，网络学习能力低--“欠学习(欠拟合)”underfitting如何选择适当数目“隐含层”节点，以取得“过学习”与“欠学习”之间的平衡？3.隐含层节点数的确定5/9/202457BP神经网络知识讲座试凑法结合问题先验知识结合特定算法

对隐含层节点数的选择，Nielson等指出：

除了图像情况，在大多数情况下，可使用4-5个隐含层节点对应1个输入节点。

在图像情况下，像素的数目决定了输入节点的数目，此时隐含层结点可取输入结点数的10%左右。其它经验

5/9/202458BP神经网络知识讲座主要内容一.人工神经网络基本知识、神经元与感知器二.前馈神经网络、多层感知器、及非线性分类三.BP神经网络四.神经网络结构的选择五应用回归状态预测5/9/202459BP神经网络知识讲座1.状态预测--参考《MATLAB神经网络30个案例分析》例.基于BP神经网络的数据分类—四类语音特征信号分析每组语音信号为24维输入；四类语音信号：民歌、古筝、摇滚、流形共计2000组语音信号要求：基于BP网络设计一个语音信号类别预测模型代码：见案例15/9/202460BP神经网络知识讲座例：5/9/202461BP神经网络知识讲座2.