基于模式识别人工神经网络

基于神经网络的模式识别主讲人：人工神经网络的概念

人工神经网络是模拟人脑的神经系统,由大量的人工神经元按照一定的拓扑结构相互连结组成的一种信息处理系统。模拟人的大脑的一个计算系统由大量的人工神经元相互连结构成的网络神经元之间的连结强度用权值表示神经网络的学习通过更新权值实现神经网络的记忆通过状态转移实现神经网络简单且易于应用,但它是黑箱模人工神经网络的发展历史1943,McCulloch和Pitts提出了第一个神经元模型:M-P模型1958,Rosenblatt引入了一种模式识别的新方法:感知机1961,Minsky

出版著作《感知机》1981,Kohonen

提出自组织映射(SOM)网络1982,Hopfield利用能量函数的思想阐述了递归网络的计算性能1986,Rumelhart,Hinton,Williams发展了反向传播(BP)算法1989,Moody

和Darken提出了径向基函数(RBF)网络生物神经元功能特性:脉冲/电位转换功能时空整合功能兴奋与抑制状态学习、遗忘与疲劳特性人工神经元人工神经元网络的组成基本组成部分:结点和网络结点：作为人工神经元网络的结点是仿照生物细胞结构而造出的。网络：由结点构成的网状系统。人工神经元：结点（一）

非线性的映射单元人工神经元：结点（二）结点几十年来，结点模型变化不大主要的变化是所使用的非线性映射函数非线性映射函数:如S型，高斯型

S型函数(0,1)(-1,1)Sigmoid函数人工神经元：结点（三）S型函数好处非线性单调性无限次可微当权值很大时可近似阈值函数当权值很小时可近似线性函数使用哪一种非线性函数取决于具体的网络结构及应用人工神经元：网络（一）人工神经网络：也就是结点之间的连接人工神经元网络之所以能有许多复杂的功能，主要体现在将这些结点组合成网络。将执行最简单计算的结点组合起来，实现复杂的运算，这就是人工神经元网络最根本的特点。而之所以能将简单的运算组合成复杂的运算，最主要是一条是结点的运算中具有的非线性映射。有了结点运算的非线性映射，才使得人工神经元网络作为一个整体能实现复杂的非线性映射功能。人工神经元：网络（二）人工神经网络人工神经元网络的成功体现在通过学习机制确定参数这一点感知准则函数方法在人工神经元网络中就是单层感知器学习确定网络各参数则成为人工神经元网络确定参数的最基本方法神经网络为什么会实现复杂计算？

感知器(perceptron)感知器:是一种用于线性可分数据集的二类分类器算法只能实现对两类样本的线性分类（数据必须是线性可分的）或者说他只能将特征空间用线性函数划分成两个区域人工神经元网络工作原理复杂一些的判别函数将特征空间划分成两个区域两条射线组成的折线来划分在折线的一边为y=1，在折线的另一边y=0显然用一个神经元是不行人工神经元网络工作原理复杂一些的判别函数整个空间将因这两个函数值的极性不同分成四个区域y=0这个区域所具有的特点是

与

都小于零需要增加一个逻辑运算才能解决问题三个运算可以通过三个神经元结点简单网络模型人工神经元网络工作原理人工神经元网络工作原理人工神经元网络的工作原理与特点：(1)人工神经元网络由数量较多的结点(每个结点是一个神经元)以适当的方式相互连接组成，每个结点的输入可以是输入数据的某一个分量，也可以是其他结点的输出。(2)每个结点都执行简单的两步运算：对输入信号实现加权和；对加权和执行非线性映射。(3)由于结点之间的相互连接，可实现对简单运算的组合，而实现复杂的运算。(4)人工神经元网络实现各种功能取决于所采用的结点间连接方式以及每个结点的参数值的选择。

前馈网络感知器的局限性解决不了异或(XOR)或奇偶校验如果在输入端与输出结点之间引入隐含层，则上述一些运算的执行就不成问题问题在于在人工神经网络研究的早期，人们还不知道如何用训练方式确定含隐含层结点网络的所有参数1985年前后分别发表了基于误差回传的训练算法，从而在原理上解决了多层网格的训练问题前馈网络多层前馈网络的结构特点及基本功能结构特点是将结点分层安排处于最低层的输入端子从外界接收输入信号，并将输入信号各分量经过不同加权往送第一隐含层该层的运算结果又依次送往其高一层，直至输出层前馈网络多层前馈网络的结构特点及基本功能由于在这种网络中信息具有沿单方向传送的特点，因此被称为前馈网络。习惯上把含有一个隐含层的网络称为两层网络前馈网络多层前馈网络的结构特点及基本功能前馈网络前馈网络需要弄明白的三点：已知网络的结构即网络层数和每层结点个数已知结点的数学模型非线性函数的数学模型问题:确定各个结点之间的连接系数Wij利用训练样本使得经验误差最小前馈网络:反向传播算法反向传播算法基本思想(1)设计一个代价函数作为迭代学习过程的目标函数。(2)利用代价函数对各参数的偏导数来确定各参数的修正量。(3)利用网络计算的分层结构导出计算的分层表示函数。前馈网络:反向传播算法误差回传算法误差回传算法是一种通过迭代求优化解的方法。其根本目的是使输出与输入之间的实际映射关系与所期望的映射关系一致。因此首先要确定一个衡量上述关系一致性的代价函数，然后找到各参数值的变化对代价函数所起的作用，从而沿使代价函数值递降的方向调整各个参数值。前馈网络:反向传播算法反向传播算法经验风险最小化训练方法1正向计算输出2计算实际输出和期望输出之间的误差3计算梯度4计算修改量5判断是否继续迭代还是结束前馈网络:反向传播算法1正向计算输出前馈网络:反向传播算法2计算实际输出和期望输出之间的误差前馈网络:反向传播算法3计算梯度前馈网络:反向传播算法4计算修改量前馈网络:反向传播算法4δj的计算如果节点j是输出单元前馈网络:反向传播算法4δj的计算如果节点j不输出单元前馈网络:反向传播算法4