《模式识别原理、应用及实现》 课件 8.4自组织和径向基神经网络

第八章

神经网络在模式识别中的应用武汉理工大学第八章

神经网络在模式识别中的应用8.1人工神经网络的基础知识8.2前馈神经网络8.3自组织特征映射网络8.4径向基函数（RBF）神经网络

8.1人工神经网络的基础知识8.1.1人工神经网络的发展历史其发展大致可细分为五个阶段：（1）起步阶段（1940年代-1950年代）：*1943年，心理学家McCulloch和数学家Pitts提出了形式神经元的数学模型，称为MP模型，标志着人工神经网络研究的开端。*1949年：心理学家Hebb提出了突触联系强度可变的设想，并基于此提出了神经元学习的准则，对后来的神经网络理论产生了深远影响。

8.1人工神经网络的基础知识（2）初步发展阶段（1950年代末-1960年代）：*1958年：Rosenblatt提出了感知器模型，引起了广泛关注。感知器具备了初步的学习、并行处理和分布存储特征，奠定了人工神经网络的研究基础。*1969年：Minsky和Papert在其著作《感知器》中指出了感知器的局限性，如无法解决异或（XOR）问题，导致神经网络研究进入低潮。（3）复兴阶段（1980年代）：*1982年：Hopfield引入了网络能量函数的概念，提出了Hopfield网络，适用于联想记忆和优化计算。*1986年：Rumelhart等人提出了多层感知器模型(MLP)，克服了单层感知器的局限性，成为广泛使用的网络模型。

8.1人工神经网络的基础知识（4）多样化发展阶段（1990年代）：*1990年代：支持向量机（SVM）的提出，与神经网络在性能上的优劣成为研究热点。（5）深度学习阶段（2000年代至今）：*2006年：Hinton提出了深度学习算法，使神经网络性能大幅提升，重新激起了研究热潮。

8.1人工神经网络的基础知识8.1.2生物神经元1．生物神经元的结构细胞体、树突、轴突和突触。

8.1人工神经网络的基础知识2．生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位不应期产生输出脉冲输入兴奋总量超过阈值神经元被激发进入兴奋状态由突触传递给其它神经元

8.1人工神经网络的基础知识8.1.3人工神经元人工神经元：生物神经元的简化模拟。连接的权值：两个互连的神经元之间相互作用的强弱。图8.2人工神经元模型接收的信息(其它神经元的输出)互连强度作比较的阈值n维输入向量X

输出输出函数人工神经元间的互连：信息传递路径轴突-突触-树突的简化；

8.1人工神经网络的基础知识图8-2人工神经元的结构

图8-2为一个简化的人工神经元结构，一个简化的人工神经元具有多个输入，每个输入与神经元之间有一定的连接权值。神经元的总输入是各输入的加权和，再减去一个阈值。表达式：：每个输入端与神经元之间

：神经元的输入：阈值的连接权值

8.1人工神经网络的基础知识神经元的输出y是对u的映射:其中

称之为激励函数，可以有很多形式，可以是简单的线性函数，也可以是具有任意阶导数的非线性函数。*当为阈值函数时，神经元就可以看成一个线性分类器。*当为Sigmoid函数时，神经元完成的是非线性映射：1个神经元的结构可以简化为如图8-3所示的形式。图8-3人工神经元的简化模型其中输入矢量为增广矢量最后一维=1，用代替阈值

8.1人工神经网络的基础知识8.1.4人工神经网络的特点1.非线性映射能力：能够逼近任意非线性映射关系，三层前馈网络理论上可逼近任意多元非线性函数。2.并行处理：采用并行处理方式，提高运算效率。3.联想记忆：具有联想记忆功能，可在执行阶段恢复出完整而准确的信息，即使输入信息不完整。5.鲁棒性和容错性：具有较强的鲁棒性和容错性，少数神经元的损坏不会破坏整个网络系统4.自学习能力：具备自我完善的自学习能力，对预测领域尤为重要。

8.2前馈神经网络8.2.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器结构示意图结构特点：*第一层（输入层）：将输入的特征值传输给下一层*第二层（计算单元）：结果输出

8.2前馈神经网络设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的偏置；wij：输入层第i个神经元与输出层第j个神经元间的连接权值。可能不止0和1。

输出为

如果把也看成一个权值，并且令写成更为简洁的形式：

感知器的学习算法同前面介绍的类似，只不过现在的输出权值可按如下式进行修正：

8.2前馈神经网络wij(t+1)：修正一次后的某一权值；η：学习步长，表示学习速率的比例常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。

神经元间的连接由有：

8.2前馈神经网络8.2.2多层感知器图8-5多层感知器的结构*单层感知器只能解决线性可分的问题，多层感知器可以打破这一局限性，实现输入和输出之间的非线性映射。*图8-5表示的是n个输入、M个输出、若干个隐元的四层感知器,其中第一层为输入层、第2、3层称为隐层，第4层称为输出层。在多层感知器网络中，隐层的个数可以是一个，也可以是多个，隐层神经元的输出函数通常是Sigmoid函数。

8.2前馈神经网络从图8.5的网络结构中可以看出，多层感知器的神经元层级之间采用全连接的方式，上层神经元的输出作为输入推送给下一层的所有神经元。下面给出BP算法的具体步骤。（1）选定所有神经元权系数的初始值；（2）重复下述过程直到收敛为止。①从前向后计算各层神经元的实际输出②对输出层计算增量③从前向后计算隐层神经元的增量④修正各神经元的权值*BP算法的缺点：对初始值的依赖性较强，容易收敛到局部最小点，算法的收敛速度较慢*BP算法的改进途径：1.采用启发式学习方法2.采用更有效的优化算法

8.3自组织特征映射网络自组织神经网络是由Kohonen提出，通常称为自组织特征映射网络（SOM或SOFM），也叫Kohonen网络。SOM网络是一个两层结构，包括输入层和竞争层。输入层的神经元数量等于特征维数，竞争层由多个神经元组成一个方阵。输入层和竞争层之间是全互联的，竞争层的神经元在训练时存在侧向抑制，而在识别时没有任何连接。图8-6自组织神经网络结构8.3.1网络结构

8.3自组织特征映射网络8.3.2网络的识别过程在SOM网络中，训练完成后，通过输出层的某个区域来对应某一类模式。输入待识别模式时，计算输入特征向量与每个神经元权值之间的距离。以距离最小（欧氏距离）或矢量点积最大者作为获胜神经元，根据其所在区域确定模式类别。令输入输入特征矢量为X=,第j个神经元的权值为,则欧式距离为：矢量点积为：

8.3自组织特征映射网络8.3.2网络的学习过程下面给出网络训练算法：SOM网络的学习是一个迭代的过程。在第t次迭代中，一个神经元被选为获胜神经元，其领域内的神经元权值会被增强，领域外的神经元则受到抑制或不增强。邻域的形状可以是方形、圆形或多边形。（1）初始化：随机赋值所有竞争层神经元的权值每个神经元的权值矢量归一化单位长度，也就是，确定初始的领域，以及学习次数T和初始学习速率0<（2）输入训练样本归一化X=（3）计算训练样本X和每一个神经元之间的距离，并确定获胜神经元g<1

8.3自组织特征映射网络（4）调整连接权值：（5）对连接权值进行归一化：（6）重复（2）~（5）的过程，将全部训练样本训练一遍。（7）进行下一次迭代，t=t+1,更新和，小，最后变为0，一个神经元。（8）重复（2）~（7）的过程，直到t=T为止的区域也应该越来越小，最后只包含

8.4径向基函数（RBF）神经网络图8-7径向基函数神经网络的结构8.4.1网络结构

RBF神经网络是一种三层前向网络，包括输入层、隐层和输出层。隐层使用径向基函数作为“基”，将输入矢量映射到隐层空间。一旦RBF中心点确定，这种映射关系也确定。隐层到输出空间的映射是线性的，即输出是隐单元输出的线性加权和。总体上，输入到输出的映射是非线性的，这种结构加快了学习速度并避免了局部极小问题。

8.4径向基函数（RBF）神经网络8.4.2径向基函数所谓径向基函数，就是某种沿径向对称的标量函数。径向基函数可以取以下多种形式。（1）Gaussian函数：（2）Reflectedsigmoid函数：（3）逆Multiquadric函数：为该基函数的方差，也称其为扩展常数或宽度。

8.4径向基函数（RBF）神经网络8.4.3网络的学习过程

RBF神经网络的学习参数包括基函数的中心、方差及隐层到输出层的权值。在正规化RBF结构中，隐节点数等于样本数，基函数中心为样本本身，只需考虑扩展常数和输出权值。在广义RBF结构中，学