现代信号处理-15sby

第五章

神经网络信号处理郑宝玉1主要内容

神经网络模型及其训练

自适应主分量分析模糊自适应信号处理其它非线性滤波

2神经网络模型及其训练

引言神经网络模型神经网络训练静态神经网络动态神经网络

训练规则

训练方法3神经网络模型及其训练神经网络模型

静态神经网络

1.

多层感知器(MLP:MultilayerPerceptron)

－多层感知器是信号处理中应用最多的神经网络结构，如图1所示。

－多层感知器是一种前饋神经网络,由输入层、输出层和若干中间层(常称为隐层,hidden-layer)组成

－多层感知器的每一层包括若干个节点(node)或神经元(neuron),如图2；神经元是人工神经网络的基本单元.4∑图1图25神经网络模型及其训练神经网络模型

1.多层感知器

神经元:如图;第l层中第j个神经元的如下输入-输出关系:其中式中:前一层(第l-1层)第i个神经元的输出信号:第l-1层中第i个神经元到第l层中第j个神经元的连接权值

:加到第l层中第j个神经元的偏置(bias)即阀值

:第l层神经元的数目(N0表示输入层的神经元数目)L、L+1:分别为MLP的级数和层数:xj(n)是输入向量(模式)x(n)的第j个元素:oj(n)是输出向量(模式)o(n)的第j个元素6神经网络模型及其训练神经网络模型

1.多层感知器

激活函数

其变化范围为;其导数为

-S型函数:-正切双曲函数:

其导数为7神经网络模型及其训练神经网络模型

2.径向基函数网络(RBFN:Radialbasisfunctionnets)

RBFN的结构:它是另一种形式的前馈网络,如图3。

RBFN与MLP的主要差别

-RBF网络是单隐层的网络,而MLP可以有一个或各个隐层

-RBFN是一个局部逼近器，而MLP是一个全局逼近器。

-

RBF网络比单层感知器网络具有更强的功能;当中心向

xi确定后,RBF网络只需对输出层进行修正(更新),因此比

MLP网络具有更快的敛速,是一种非常有效的前饋网络。8∑∑●●●图39神经网络模型及其训练神经网络模型

2.径向基函数网络

RBFN与MLP的主要差别(续)

-表征RBF网络隐单元的核一般定义为高斯函数:

式中x是输入向量,xi是第i

单元的中心。由M个隐单RBF

网络实现的输入输出映射定义为而表征MLP网络隐单元的核定义为logistic函数:10神经网络模型及其训练神经网络模型

3.自组织特征映射网络(SOFM:Self-organizationFeaturemap)

竞争过程(competitiveprocess)

协作过程(cooperativeprocess)

自适应过程(adaptiveprocess),它包括两个阶段:-

自组织或排序阶段(deringphase)

-收敛阶段(convergencephase)基本结构

图4表示用作离散映射的二维神经元格型结构的SOFM网络,其中每个神经元全连接到输入层的所有源节点;它是一个行-列排列的神经元组成的单层前饋网络,包括如下过程:基本过程11图412神经网络模型及其训练神经网络模型

动态神经网络

1.基于MLP和RBF的时延神经网络(TDNN)

TDNN和具有输出反馈的TDNN分别如图5和图6,它们起到如下非线性映射关系：

分别对应于非线性FIR和非线性IIR(即非线性MA和ARMA)，其中F[

]为非线性函数。当F[

]为线性函数时，分别等效为一般的FIR和IIR滤波器。13MLPLTDx(n)y(n)x(n)x(n-1)…x(n-p)图5MLPLTD1x(n)x(n)x(n-1)…x(n-p)LTD2y(n-q)y(n-2)y(n-1)Z-1图614神经网络模型及其训练神经网络模型

动态神经网络

2.递归神经网络(recurrentnetworks)

－递归神经网络与前饋神经网络的区别在于:前者至少存在一个反馈环路,如图7。－由于反馈的存在,对网络学习能力及其性能有深刻的影响

Hopfild网络

Hopfild网络能量函数[亦称为李雅普洛夫(Lyapunov)函数]为或15Z-1Z-1Z-1Z-1单元延时图716神经网络模型及其训练神经网络模型

动态神经网络

2.递归神经网络(recurrentnetworks)

可以证明，E(t)函数总是单调下降的。因此，若E(t)有界，则网络必定稳定，且稳定点对应能量函数的极小点。设易知则式中为单位增益神经元的反函数标准形式。

17神经网络模型及其训练神经网络训练

训练规则

Hebb学习规则(无师学习)

其中

“胜者为王”(Winner-Take-All)学习规则(无师学习)

其中

δ学习规则(有师学习)

其中ε为代价函数。

18神经网络模型及其训练神经网络训练

训练方法

1.MLP网络的训练

算法推导

考虑MLP网络的某一层，则某个时刻神经元j的输出为其中当神经元j为输出节点时,该节点的误差信号定义为

此时神经元j的误差能量定义为,总误差能量ε为输出层所有神经元能量之和,即

19神经网络模型及其训练神经网络训练

1.MLP网络的训练

算法推导（续）-

MLP网络的训练，可通过求解式(14)在式(11)的约束条件下的约束优化问题获得。

-设用δ规则调整该层的连接权W,则需计算导数,即其中局部梯度定义为

(16)20神经网络模型及其训练神经网络训练

1.MLP网络的训练

算法推导（续）-现考虑的计算.由图10知,此时神经元k为输出节点,故有于是此时因此故(16)变为

21神经网络模型及其训练神经网络训练

1.MLP网络的训练

基本结论

-由式(20)并参照图10易见,(20b)实现了误差从输出层(k)到隐层(j)的反向传播(BP),它亦可实现隐层之间的