模式识别2013多层神经网络与duda课本内容一致

1多层神经网络邹腊梅2013Artificial

Neural

Networks

(ANN)华技大学自动化学院智能科学与技术系图像分析与智能系统研究室曹治国Ref.

Duda第六章2人工神经网络发展概况人工神经网络(Artificial

Neural

Networks，ANN)：简称神经网络。模拟人脑神经细胞的工作特点：单元间的广泛连接；并行分布式的信息存贮与处理；自适应的学习能力等。与目前按串行安排程序指令的计算机结构截然不同。优点：较强的容错性;很强的自适应学习能力；可将识别和若干预处理融为一体进行；3(4)

并行工作方式；，具有鲁棒性。(5)

对信息采用分布式四个发展阶段：第一阶段：启蒙期，始于1943年。形式神经元的数学模型提出。第二阶段：

，始于1969年。《感知器》(Perceptions)一书，局限性。第三阶段：复兴期，从1982年到1986年。Hopfield的两篇

提出新的神经网络模型；《并行分布处理》

，提出反向

算法。第四个阶段：1987年至今，趋于平稳。回顾性综述文章“神经网络与人工智能”。1.

多层感知器网络（MLP，Multilayer

Perceptron）神经元模型fw

x

,i i

i1y

f

wt

x

f

df称为激活函数解决异或问题的多层感知器输入层隐含层输出层wji突触权多层感知器的分类原理隐含层实现对输入空间的非线性 ，输出层实现线性分类；非线性 方式和线性判别函数可以同时学习。激活函数f

x

1,x

01,

x

0也可以是对称阈值函数xf(x)f

x

x线性函数阈值函数激活函数（续）1f

x

1

e

x0<f(x)<1对数Sigmoid函数双曲正切Sigmoid函数ex

e

xf

x

tanh(

x)

ex

e

xSigmoid函数可以看作是阈值函数的近似，但具有好的分析性质，可以进行微分。di

=1di

=0jj0

i

jii

jij≡

wt

.x

,+

w

=

∑

x

wnet

=

∑

x

wy

j

f

(net

j

)k=

wt

.y,nH

nHnetk

=

∑

y

jwkj

+

wk

0

=

∑

y

jwkjj

=1

j

=0zk

f

(netk

)多层感知器网络的设计选定层数：通常采用三层网络，增加网络层数并不能提高网络的分类能力；输入层：输入层节点数为输入特征的维数d，函数采用线性函数；隐含层：隐含层节点数需要设定，一般来说，隐层节点数越多，网络的分类能力越强， 函数一般采用Sigmoid函数；输出层：输出层节点数可以等于类别数c，也可以采用编码输出的方式，少于类别数c，输出函数可以采用线性函数或

Sigmoid函数。剩下的问题就是提供训练样本集合（包含期望输出），采用一定的算法来训练MLP网络的所 值。三层网络的判别函数形式d

nHwj

0

wk0

j1

i1

gk

x

f2

wkj

f1

wji

xi第k个输出层神经元的输出，其中d为特征维数，nH为隐层节点数。此过程称为前馈计算过程，是识别过程。H6.2

MLP的训练--误差反向

算法（BP，Backpropagation

algorithm）BP算法的实质是一个均方误差最小算

MS)符号定义：训练样本x，期望输出t=(t1,…,

tc)，网络实际输出z=(z1,…,

zc)，隐层输出y=(y1,…,

yn

)，第k个神经元的k净输出net

。目标函数：J

w

221

12ciit

z2

i1t

-

z

Jwm1

wm

wm

wmη

w迭代公式：反向

学习规则是基于梯度下降法的。权值首先被初始化为随机值，然后向误差减少的方向调整。输出层netkkjwkj

netk

wJ

JnHnetk

wki

yi,i1

J

J

zkjnetk

ywkj

tk

zk

f

netk

knetk

zk

netkj

J

tk

zk

f

netk

yj

δk

y

jwδk

tk

zk

f

netk

激活函数为线性函数时，f’(net)=1;激活函数为对数Sigmoid函数，f’(net)=y(1-y)综上所述:

隐含层到输出层的权值更 则为以3层网络为例说明。其中：链式法则单元k的敏感度wkj

ηδk

y

j

η(tk

zk

)

f

'(netk

)

y

j隐含层...yjwj1w1jwjd输入层隐含层...x1xiwjixd......wkjwcj输出层

z1

zk

zc

yj

netjwji

yj

netj

wji

J

Jyjj

f

net

jnetdnet

jjm m

ijiw

w

ji

m1

w

x

x链式法则隐含层（续）J

1

cc2

t

zzkjy

t

zjy

y

2j

k1

k1kk

k

kkk

t

z

f

net

wk

kjk1k1kk

knetk

yjct

z

z

net

k

cj

iji

Jt

z

f

net

w

f

net

xk

k

k kj

k

1

cck

1jj

fnet

k

kjδ

w其中：δj

ijiw

J

δ

x

,w综上所述:输入层到隐含层的权值更则为:

jw

ji

x

i

j

w

kj

k

f

'

(

netj

)

x

i迭代公式输出层：隐含层：k

jkj

J

δ

y

,wδk

tk

zk

f

netk

j

i

δ

x

,ji

Jw

cjδ

fnetδ

wk

1j

k

kj单元k的敏感度隐单元的敏感度误差反向

cjjk

kjδ

fnetδ

wk

1BP算法—随机反向BP算法—批量修改begin

initialize

nH，w，θ，η，r🡨0do

r🡨r+1m🡨0;Δwji🡨0;Δwkj🡨0do

m🡨m+1xm🡨select

patternΔwji

🡨Δwji+ηδjxi;Δwkj

🡨Δwkj+ηδkyjuntil

m

=

nwji🡨

wji+Δwji;

wkj🡨

wkj+Δwkjuntil

||▽J(w)||<θreturn

w11.

endr称为回合数。1、输入样本，前馈计算每个神经元的输出值。2、反馈计算每个权值的调整量，由输出层向输入层反向计算。BP算法的一些实用技术激活函数的选择：一般可以选择双曲型的Sigmoid函数；目标值：期望输出一般选择(-1,+1)或(0,1)；规格化：训练样本每个特征一般要规格化为0均值和标准差；权值初始化：期望每个神经元的-1<net<+1，因此权值一般初始化为

1

d

；d

w1学习率的选择：太大容易发散，太小则收敛较慢；冲量项：有助于提高收敛速度。wm1

wm1αwbp

mαwm16.3

多层感知器网络存在的问题1.

BP算法的收敛速度一般来说比较慢；多层感知器网络存在的问题2.

BP算法只能收敛于局部最优解，不能保证收敛局最优解；多层感知器网络存在的问题3.当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，即网络的推广能力有可能较差。多层感知器网络存在的问题6.4

提高收敛速度的方法一个比较直观的想法是通过增大学习率来提高收敛速度，但这样有可能造成算法发散。break2013-12-1030

30径向基函数网络（Radial

Basis

Function

Networks(RBF)）函数的变量是输入向量x与中心ci的欧式距离选择i2σ

2x

ci

2

if

(x)

exp

f

(

x

ci

)

2013-12-1031

31g(x)

w0

2i2σ2ki

1x

ciw

exp

i

322013-12-1032径向基函数网络与多层感知器之间存在本质区别：1，多层传感器的第一隐层激活函数的输入是输入特j征参数（

w

j

x

j

）的线性组合，即每个神经元的输出都是相同的，则对超平面上所有点的输出相同2，RBF网络，对于所有与其中心

ci

的欧式距离相等的点，每个RBF的节点的输出

f

i(.)

相同的，并且距离按指数减小。3，RBF网络

点的激活响应是局部特性，而在多层感知器网络中是全局响应4，多层感知器训练比RBF慢，但扩展性更好。2013-12-1033

33例: XOR

问题假设:2

2

1

2

11

0

c

1,

c

0,

σ

σ

1

2

))221exp(

x

cexp(

x

cy

1

0.3680

0.368

0

0.3681

0.368,

1

0.1351

110

0

0.135,2013-12-1034

342

)

1

02)

exp(

x

cg(x)

exp(

x

c12g(

y)

y1

y2

1

0人工神经网络是由大量神经元经广泛互联组成的非线性网络，单元间的连接强度从样本中学习神经网络模型决定于神经元类型，神经元间的连接方式和学习算法MLP、RBF和SOFM是模式识别中应用最多的几种模型end其他优化方法二阶技术随机方法梯度下降法目标函数的一阶

级数展开：t

wwwk

J

wJ

wk1

J

wk

wk

J

wk

wktwwk

w

J

wwk

t

wwwk

J

wJ

wk

wk

0目标函数增量：使目标函数下降最大：法目标函数的二阶级数展开：2tkk

k

kwwwk

J

wJw

w

1

wt

HwdJ

wk

J

wdwk

wwwk

Hwk

0w

wk

J

wwk

H

1

wH是Hessian矩阵，求取目标函数增量的极大值：Quickprop算法wm

1

分别对每个参数进行优化，权值增量由上一步的增量迭代计算：dJwm

dw

mdw

mdw

m1dJ

dJ共轭梯度法满足如下条件的两个方向α和β称为关于矩阵H互为共轭方向：αtHβ

0对于二次优化函数，权值沿着任意一个初始方向移动到最小点，然后再沿着该方向关于H的共轭方向移动到最小点即可达到全局最小点。共轭梯度法在第一个梯度方向上移动，寻找到这个方向上的局部极小点；在共轭方向上计算第二个搜索方向：wm

Jwm

βmwm1如算法未收敛，则继续在共轭方向上计算下一个搜索方向。

mtβ

J

w

mt

J

w

m

J

w

m

1

J

w

m

1J

w

m

1Levenberg-Marquardt算法定义：vw

t

-

z

k

k

k

kk1

w

k

Jw

J

w

μ

I

J

w

v

w

t

t1

21212nwww

wwwwn

wwn

v1

wv2

wNv

w

v1

w

v1

w

v2

wv2

wJw

Nv

wNv

w权值增量：其中I为单位矩阵，μk

为参数，J为Jacobi矩阵：6.4

寻找全局最优点全局最优点的搜索一般采用随机方法：模拟退火算法模拟进化计算–遗传算法模拟退火思想模拟退火算法是由Kirkpatrick于1983年

，它的基本思想是将优化问题与统计热力学中的热平衡问题进行类比；固体在降温退火过程中，处于能量状态E的概率P(E)服从Boltzmann分布：PE

expE

kT其中T是固体的温度，k为Boltzmann常数分布模拟退火算法（SA,

Simulated

Annealing）模拟退火算法可以用来优化能量函数E(w)，其中w为参数；首先设定一个较高的温度T(1)，随机初始化参数w1，计算能量E(w1)；对参数给予一个随机扰动△w，w

2

=w1

+△w

，计算能量E(w2)；如果E(w2)<E(w1)，则接受改变，否则按照如下概率接受改变：逐渐降低温度T(k)，直到0为止。P

expEw2

T

模拟退火算法应用于MLP的训练初始化温度T(0)，t🡨0，随机初始化权值w0；应用BP算法搜索局部最优解w(t)，计算局部最优解目标函数值E(t)；随机修正权值w’(t)=w(t)+△w

，计算修正后的目标函数值E’(t)；若E’(t)<E(t)，则确认修改，w(t)=w’(t)，E(t)=E’(t)；否则依据概率P=exp(-E’(t)/T(t))确认修改；温度下降：T(t)=T(0)/[1+ln(t+100)]，如4，5步确认修改，转移到2，否则转移到3，直到温度下降到一定阈值为止；模拟退火算法示例Ew模拟退火算法示例遗传算法（GA，Genetic

Algorithm）遗传算法是由Holland于1975年 ，它主要模拟自然界生物“适者生存，优胜劣汰”的进化规则；遗传算法主要是应用于各种组合最优问题的求解，经过一定的改进之后，也可以应用于MLP的权值学习。基本名词：用一个二进制串表示；种群：多个构成一个种群；的评价，这是一个被优化的适应度：对每个函数；：上一代的不发生任何改变，直接到下一代的种群中；，交交叉：两条

混合，产生两条新的叉发生的概率：Pco；在某些位改变自身，0→1或变异：一条1→0，在每一位上发生变异的概率：Pmut；基本遗传算法作为初1.

begin

initialize

Pco,Pmut，随机初始化L个始种群；do