前向多层人工神经网络

前向多层人工神经网络第1页/共30页2023/3/8第2页ANN的主要功能之二——联想

(AssociativeMemory)联想的心理学定义：当一个事物的表象被激活时，也就是说该表象所包含的若干属性单元同时有效时，我们的注意力焦点就集中在这个表象上，如果对该表象的处理使得表象被否决时，也就是说由于一些属性单元的失效（或被抑制，或处于高阻）导致该表象无法成立的时候，剩余的属性单元或许可以构成另一种事物的表象，或许还需要结合那些被激活了的新的属性（或是由外界事物具有的新的属性所激活，或是因降低了对一些属性的抑制所导致的激活）。

例如：看到柠檬，感觉到嘴里口水增多。因为，由柠檬联想到了酸味。

字符识别：第2页/共30页2023/3/8第3页再论模式识别：对表征事物或现象的各种形式的（数值的、文字的或逻辑的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程称为“模式识别”，是信息科学和人工智能的重要组成部分。

人在分辨不同类别的事物时，抽取了同类事物之间的相同点以及不同类事物之间的不同点；字符识别：例如汉字“中”可以有各种写法，但都属于同一类别。更为重要的是，即使对于某个“中”的具体写法从未见过，也能把它分到“中”这一类别。识别目标：人们走向一个目的地的时候，总是在不断的观察周围的景物，判断所选择的路线是否正确。实际上，是对眼睛看到的图象做“正确”和“不正确”的分类判断。人脑的这种思维能力就构成了“模式”的概念和“模式识别”的过程。

模式是和类别（集合）的概念分不开的，只要认识这个集合的有限数量的事物或现象，就可以识别这个集合中的任意多的事物或现象。为了强调能从具体的事物或现象中推断出总体，我们就把个别的事物或现象称作“模式”，而把总体称作类别或范畴。特征矢量：最简单的情况是用一组称为“特征参数”的数值信息表示一个客观对象。例如，水果品质分类中用到的大小、重量、比重、果型、颜色，其取值均为数值。表示成特征矢量形式：Xi=[xi1,xi2,xi3,xi4,xi5]；样本：对一个具体对象进行观测得到的一个特征矢量称为一个“样本”，Xi称为第i个样本，或者第i个样本的特征矢量。特征空间：即特征矢量张成的空间，每个样本对应于特征空间上的一点。针对一个具体的模式识别问题，选定特征参数非常重要，关乎模式识别的成败。著名大师傅京孙教授曾说过模式识别问题的关键是特征提取。特征参数应能区分所定义的模式，同时有没有过多的重复，即：完备而不冗余。选定特征参数的过程称为“特征提取”。特征提取没有统一的方法，事实上，特征提取是一个不同专业领域范畴内的问题。正因为如此，模式识别应用问题往往是跨专业领域的工程。第3页/共30页2023/3/8第4页模式类：特征参数选择合理时，不同类的模式，在特征空间中占据不同的分布区域；模式识别所要做的事情，包含两个方面：在不同类别样本点集之间，寻找合理的分界面，或称作“判别函数（DecisionFunction）”——因为判别函数来自于实际观测数据，因此称此阶段为“学习”或“训练”；给定未知模式，判断该样本所属类别，称为“工作”或“应用”。特征选择的好坏是模式识别成败的关键，但如何选择“特征”，即，选择什么物理量作为特征，是具体专业“领域”的问题，需要运用“领域”的专业知识来解决。例如，语音识别，如何从自然语音中提取“特征”，是语音识别的专业问题；图象识别，如何从CCD图象获取适当的特征，是图象处理领域的问题，即使在图象处理领域，不同应用目的所取的特征也不同。

模式识别的全过程，应该包括特征提取阶段。但是，我们这里将要讲到的有关智能方法，都只涉及到特征提取之后的工作。以上所说的“学习”或“训练”，是根据若干已知样本在空间找到合适的分类面。对于一个样本Xi，用yi表示它所属的类别，例如，它属于第k类。样本已知，意思是{Xi

，

yi}已知。这种“学习”又称为“有监督”学习，即，通过对已知样本{Xi

，yi}的学习找到合理的判别函数。所谓“工作”，指的是给定类别未知的样本Xi

，求yi的值。Xi是对某个客观对象观测的结果，其取值无法事先限定。但类别yi的取值是离散的、有限的，是事先主观规定的。第4页/共30页2023/3/8第5页神经元模型

神经元的输入：

所完成的运算为：式中：称为神经元的“权值矢量”；称为神经元的“功能函数”；称为神经元的“净输入”；称为神经元的“输出”；称为神经元的“阈值”；第5页/共30页2023/3/8第6页常用的神经元功能函数类型

线性函数

又称为“恒同函数”

硬限幅函数

S函数(Sigmoid)

fs

取值于[0,1]之间。第6页/共30页2023/3/8第7页前项人工神经网络的拓扑结构

前层的输出作为后层的输入；

各层的神经元个数可以不同；

至少一层，一般最多为3层；

输入矢量X代表从客观对象观测得到的特征；输出层包含一个或多个神经元，用于表达更为复杂的运算结果；

同层神经元不能连接，后层不能向前层反向连接；

连接强度（即，权值大小）可以为0，强度为0实际上就是没有连接；第7页/共30页2023/3/8第8页§2.2采用硬限幅函数时单个神经元的分类功能

线性可分性(Linear

Separable

)设有C0和C1两类模式R0：C0类模式的样本集；R1：C1类模式的样本集；学习（训练）：在给定的两类学习样本分布区域之间寻找一个分类函数（分类线、面）使得两类样本各处在一边；实现这一目标的过程，称为“学习”或“训练”，所用到的计算策略称为“学习算法”；样本集合R0和R1称为学习样本集合。工作：当获得了分类函数l以后，就可以进入工作阶段了。任给未知模式X，若它位于R0一侧，则判定其为C0类；若它位于R1一侧，则判定其为C1类；若它落在分类线l

上，则不可识别。

给定两类C0和C1的学习样本集合R0和R1，若存在线性分类函数（直线、平面、超平面）l，将两类学习样本无误差地分开，则称该分类问题为“线性可分问题”。第8页/共30页2023/3/8第9页假设，二维分类问题的分类函数为l：任给样本X=[x1,x2]，l应该满足：令：则模式识别问题可以表达成：把

看作权值，看作阈值，用一个神经元来表示以上二维分类问题，则：任意输入一个模式X，若X属于C0则y=1；若X属于C1则y=0；其中：X=

[x1,x2]是任意样本，W=[w0,w1]是权值矢量。

WT.X–q=w0.x0+w1.x1–q=0

是直线的矢量方程，若W为单位矢量，即：w02+w12

=1则q的意义如图所示。为了便于表达，这里用矢量方程表示线性分类线或分类面。第9页/共30页2023/3/8第10页学习算法

将输入矢量X

和权矢量W

作如下扩张：

神经元模型成为：(2-7)

学习的目的，就是要找到权矢量W。对于前面的例子，就是寻找能够无误差分开两类样本的直线参数[w0,w1,q]，注意：其中包含了直线方程的所有参数。学习是针对给定的学习样本集合进行的，不同的学习样本集合可以得到不同的学习结果。即使用同一学习样本集合进行学习，多次学习的结果也可能不同，也就是说分类问题的解不唯一。第10页/共30页2023/3/8第11页设二维分类问题，有学习样本：其中：

训练样本k；该样本的类别值；起初，我们随意指定一个权矢量：这相当于在特征空间上随意画了一条线。向神经元输入一个样本X(k)，用y(k)表示得到的输出，显然y(k)不一定等于X(k)的实际类别值d(k)，令：

fh

为硬限幅函数，则e

的取值有三种可能：(2-29)第11页/共30页2023/3/8第12页学习算法：为了找到正确的W，依次向神经元输入学习样本X(k)，k=0,1,2,…，并且依照误差e

(k)的正负来修正W

：式中a

称为“步幅”，用来控制每次调整的步长。如此不断重复，W(k)随着迭代次数k的增加，逐渐趋于正确答案。(2-7)

若输出y(k)

与样本类别值d(k)

相同，即，则:W(k+1)=W(k)，不调整W。

若输出y(k)

与样本类别值d

(k)

不同，即，则:W根据e

(k)

的正负被调整；第12页/共30页2023/3/8第13页算法的几何原理：为直观起见，设：理想分类线过原点，即：，阈值q为0。训练样本：权值矢量：由直线方程可知，W(k)是直线l

的法线。分类函数为直线l:

若，X

恰好位于

l

上，则：

若，Xa位于l

上方，则：

若，Xb位于l下方，则：第13页/共30页2023/3/8第14页假设已经输入了k

个样本，运行到了第

k

步，当前的权值W(k)。假设输入X(k)

得到y(k)=1，但给定的

X(k)

属于C1类，即，d(k)=0，则：于是，有：可见，分类线

l得到了合理的调整。再假设，接下来输入的X(k+1)属于

C0类，即d(k)=1，被错分为C1类，即，由X(k+1)和W(k+1)

计算得到y(k+1)=0

：于是，有：错把C1

当C0;实验：CH2e1hard，两类可分、硬限幅函数；第14页/共30页2023/3/8第15页§2.3线性函数神经元的最小二乘分类算法

线性不可分给定样本集，寻找一个分类函数，使得分类误差最小—

最优分类函数其中

优化问题的一般形式：第15页/共30页2023/3/8第16页

xkyk

-0.43250.2552-1.665

-0.21190.1253-1.8050.2876-1.539

-1.146

-0.5313

……设有：，解无约束优化问题：联立解出a

和b：优化问题实例——线性回归其中：将任意样本代入直线方程，则：——图中黄线；样本的实测值；样本的估计值；即：寻找一条使误差均方和最小的直线；第16页/共30页2023/3/8第17页采用线性函数的神经元，即：输入样本矢量：权值矢量：神经元完成的运算为：判别规则：注意到，理想值为：

对于权矢量W的某个具体取值，其误差定义为：学习的目的是，针对所有学习样本，寻找c

最小的W

取值，它即为误差最小的分类函数。(2-10)xNwN第17页/共30页2023/3/8第18页设学习样本集{(X0,d0)，(X1,d1)，…，(XK-1,dK-1)，则

c

的估计为：以c最小为目标函数的优化过程统称为“最小二乘法(LeastMeanSquare)

”。显然，样本的分布给定后

c

是权矢量

W

的函数，即：

c

=c

(W)；

首先需要证明，存在W*

使得cmin=c(W*)成立。由于是线性函数，所以，神经元的输出可以写成：(2-11)代入(2-10)得到：(2-12)其中是第k个样本的分类误差。样本Xk

的理想值，事先已知；样本Xk

输入神经元的计算结果，与理想dk有差异；第18页/共30页2023/3/8第19页用下列符号代表式中一些参量：

为了简化，我们考虑二维并且阈值q=0的情况，有：(2-13)(2-14)显然，R是随机矢量X的相关矩阵，它是一个对称矩阵，且正定。将以上符号代入(2-12)，得到：(2-15)第19页/共30页2023/3/8第20页

显然，若存在W*

使得

cmin=c

(W*)

成立，则在W*点上c关于W的所有元素w0,w1,…(二维情况下只有w0和w1)的偏导都为0，或者，说c关于矢量W的梯度在W*点为零矢量。即，对(2-15)求梯度得到：(2-16)或用多元函数微分表示梯度，重写误差公式：第20页/共30页2023/3/8第21页令：注意到，R

是正定的，它的逆存在，于是，得到：(2-17)代回(2.15)式可以得到最小误差平方和：

(2-18)命题得证，并且找到了最佳的W：解(2-17)式即可得到W*。但我们需要找到求解W*的迭代算法。第21页/共30页2023/3/8第22页LMS学习问题的最陡梯度算法

m

表示迭代学习过程的序号；k

=0,1,2,……表示样本序号，Xk(m)表示第m轮迭代时的第k个输入的学习样本，即，第m步的第k个样本。

定义误差平方和为：(2-38)当两类样本的分布不变时（统计意义上），J(m)是W的函数。LMS学习的最陡梯度法就是以J(m)为目标函数，寻找使得J(m)最小的权值矢量W。

W(m)表示迭代学习第m步时的权值矢量，dk(m)

为输入学习样本Xk(m)的已知类别值(取+1或–1

)、yk(m)为当前神经元的输出(+1>

yk

>–1

)。

Xk(m)

的误差为：

ek(m)=dk(m)-yk(m)第22页/共30页2023/3/8第23页

函数J(W)的图象称为“误差响应面”。当W=[w1,w2]为二维时，J(W)

为一曲面。

寻优的策略：从某个随意选定的起始点W(0)开始，沿着梯度最大的反方向，一步一步前行，走到梯度为0的点的时候，得到的W

就是W*；用表示第m

步时的梯度，学习算法为：第23页/共30页2023/3/8第24页梯度算法的正确性，以二维问题为例：(2-39)(2-40)为了逐步走向W

的最小点，选择其增量为：

，即：或者：(2-41)当很小时，误差平方和的增量可以用其全微分来近似：回忆：二元函数全微分第24页/共30页2023/3/8第25页写成DW

的分量形式，就是：(2-42)取

a>0，将此结果代入到全微分(2-40)式中，得到：此结果说明，按照学习算法：

迭代求最佳