《模式识别原理、应用及实现》 课件 第8章神经网络在模式识别中的应用

8.1人工神经网络的发展人工神经网络(ArtificialNeuralNetworks，ANN)：简称神经网络。模拟人脑神经细胞的工作特点：与目前按串行安排程序指令的计算机结构截然不同。*单元间的广泛连接；*并行分布式的信息存贮与处理；*自适应的学习能力等。优点：(1)较强的容错性;(2)很强的自适应学习能力；(3)可将识别和若干预处理融为一体进行；(4)并行工作方式；(5)对信息采用分布式记忆，具有鲁棒性。四个发展阶段：第一阶段：启蒙期，始于1943年。形式神经元的数学模型提出。第二阶段：低潮期，始于1969年。《感知器》(Perceptions)一书出版，指出局限性。第三阶段：复兴期，从1982年到1986年。Hopfield的两篇论文提出新的神经网络模型；《并行分布处理》出版，提出反向传播算法。第四个阶段：1987年至今，趋于平稳。回顾性综述文章“神经网络与人工智能”。8.2人工神经网络的概念武汉理工大学8.2.1生物神经元1．生物神经元的结构细胞体、树突、轴突和突触。2．生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位不应期产生输出脉冲输入兴奋总量超过阈值神经元被激发进入兴奋状态由突触传递给其它神经元人工神经元：生物神经元的简化模拟。人工神经元间的互连：信息传递路径轴突-突触-树突的简化；连接的权值：两个互连的神经元之间相互作用的强弱。图8.2人工神经元模型接收的信息(其它神经元的输出)

互连强度作比较的阈值n维输入向量X

输出输出函数8.2.2人工神经元及神经网络神经元的动作：输出函数f：也称作用函数，非线性。阈值型S型伪线性型f为阈值型函数时：设，点积形式：式中，8.2.3神经网络的学习学习：

同一个训练集的样本输入输出模式反复作用于网络，网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构，使实际输出满足期望的要求或者趋于稳定。实质：1．Hebb学习规则典型的权值修正方法：Hebb学习规则、误差修正学习

如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度应该加强。神经网络的最重要特征之一。wij(t+1)：修正一次后的某一权值；η：学习因子，表示学习速率的比例常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。由有：

神经元间的连接2.δ学习规则（3）更新权值，阈值可视为输入恒为（－1）的一个权值；（1）选择一组初始权值wij(1)；（2）计算某一输入模式对应的实际输出与期望输出的误差；式中，（4）返回(2)，直到对所有训练模式网络输出均能满足要求。dj，yj(t)：第j个神经元的期望输出与实际输出；xi(t)：第j个神经元的第i个输入。神经网络的学习体现在：η：学习因子；权值变化；网络结构变化。8.2.4神经网络的结构分类分层结构有明显层次，信息流向由输入层到输出层。——前馈网络

没有明显层次，任意两个神经元之间可达，具有输出单元到隐层单元或输入单元的反馈连接。——反馈网络相互连接结构8.3前馈神经网络武汉理工大学8.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器结构示意图*双层（输入层、输出层）；*两层单元之间为全互连；*连接权值可调。结构特点：*输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的阈值；wij：输入模式第i个分量与输出层第j个神经元间的连接权。令。取

有输出为

输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。M类问题判决规则(神经元的输出函数)为*正确判决的关键：输出层每个神经元必须有一组合适的权值。*感知器采用监督学习算法得到权值；*权值更新方法：δ学习规则。算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。第二步：输入新的模式向量。第三步：计算神经元的实际输出。设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为第j个神经元的实际输出为第四步：修正权值。dj：第j个神经元的期望输出。第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。经验证明，当η随k的增加而减小时，算法一定收敛。8.3.2BP网络BP网络：采用BP算法的多层感知器。误差反向传播算法认识最清楚、应用最广泛。性能优势：识别、分类1．多层感知器

针对感知器学习算法的局限性：模式类必须线性可分。输入层第一隐层第二隐层输出层中间层为一层或多层处理单元；前馈网络；结构：只允许一层连接权可调。2．BP算法两个阶段正向传播阶段：逐层状态更新反向传播阶段：误差BP算法的学习过程设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。jiwij：神经元i与j之间的连接权；f(∙)：神经元的输出函数。S型输出函数：θj：神经元阈值；h0：修改输出函数形状的参数。设：输出层中第k个神经元的实际输出为yk，输入为netk；与输出层相邻的隐层中任一神经元j的输出为yj。

对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk，输出层的输出误差：若输入N个模式，网络的系统平均误差为：当输入Xp时，wjk的修正增量：其中，由式得到：令，可得输出单元的误差：输出单元的修正增量：

对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i：

输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。改进的权值修正：——收敛快、权值平滑变化α：平滑因子，0<α<1。BP算法存在问题：*存在局部极小值问题；*算法收敛速度慢；*隐层单元数目的选取无一般指导原则；*新加入的学习样本影响已学完样本的学习结果。第八章

神经网络在模式识别中的应用武汉理工大学第八章

神经网络在模式识别中的应用8.1人工神经网络的基础知识8.2前馈神经网络8.3自组织特征映射网络8.4径向基函数（RBF）神经网络

8.1人工神经网络的基础知识8.1.1人工神经网络的发展历史其发展大致可细分为五个阶段：（1）起步阶段（1940年代-1950年代）：*1943年，心理学家McCulloch和数学家Pitts提出了形式神经元的数学模型，称为MP模型，标志着人工神经网络研究的开端。*1949年：心理学家Hebb提出了突触联系强度可变的设想，并基于此提出了神经元学习的准则，对后来的神经网络理论产生了深远影响。

8.1人工神经网络的基础知识（2）初步发展阶段（1950年代末-1960年代）：*1958年：Rosenblatt提出了感知器模型，引起了广泛关注。感知器具备了初步的学习、并行处理和分布存储特征，奠定了人工神经网络的研究基础。*1969年：Minsky和Papert在其著作《感知器》中指出了感知器的局限性，如无法解决异或（XOR）问题，导致神经网络研究进入低潮。（3）复兴阶段（1980年代）：*1982年：Hopfield引入了网络能量函数的概念，提出了Hopfield网络，适用于联想记忆和优化计算。*1986年：Rumelhart等人提出了多层感知器模型(MLP)，克服了单层感知器的局限性，成为广泛使用的网络模型。

8.1人工神经网络的基础知识（4）多样化发展阶段（1990年代）：*1990年代：支持向量机（SVM）的提出，与神经网络在性能上的优劣成为研究热点。（5）深度学习阶段（2000年代至今）：*2006年：Hinton提出了深度学习算法，使神经网络性能大幅提升，重新激起了研究热潮。

8.1人工神经网络的基础知识8.1.2生物神经元1．生物神经元的结构细胞体、树突、轴突和突触。

8.1人工神经网络的基础知识2．生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位不应期产生输出脉冲输入兴奋总量超过阈值神经元被激发进入兴奋状态由突触传递给其它神经元

8.1人工神经网络的基础知识8.1.3人工神经元人工神经元：生物神经元的简化模拟。连接的权值：两个互连的神经元之间相互作用的强弱。图8.2人工神经元模型接收的信息(其它神经元的输出)互连强度作比较的阈值n维输入向量X

输出输出函数人工神经元间的互连：信息传递路径轴突-突触-树突的简化；

8.1人工神经网络的基础知识图8-2人工神经元的结构

图8-2为一个简化的人工神经元结构，一个简化的人工神经元具有多个输入，每个输入与神经元之间有一定的连接权值。神经元的总输入是各输入的加权和，再减去一个阈值。表达式：：每个输入端与神经元之间

：神经元的输入：阈值的连接权值

8.1人工神经网络的基础知识神经元的输出y是对u的映射:其中

称之为激励函数，可以有很多形式，可以是简单的线性函数，也可以是具有任意阶导数的非线性函数。*当为阈值函数时，神经元就可以看成一个线性分类器。*当为Sigmoid函数时，神经元完成的是非线性映射：1个神经元的结构可以简化为如图8-3所示的形式。图8-3人工神经元的简化模型其中输入矢量为增广矢量最后一维=1，用代替阈值

8.1人工神经网络的基础知识8.1.4人工神经网络的特点1.非线性映射能力：能够逼近任意非线性映射关系，三层前馈网络理论上可逼近任意多元非线性函数。2.并行处理：采用并行处理方式，提高运算效率。3.联想记忆：具有联想记忆功能，可在执行阶段恢复出完整而准确的信息，即使输入信息不完整。5.鲁棒性和容错性：具有较强的鲁棒性和容错性，少数神经元的损坏不会破坏整个网络系统4.自学习能力：具备自我完善的自学习能力，对预测领域尤为重要。

8.2前馈神经网络8.2.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器结构示意图结构特点：*第一层（输入层）：将输入的特征值传输给下一层*第二层（计算单元）：结果输出

8.2前馈神经网络设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的偏置；wij：输入层第i个神经元与输出层第j个神经元间的连接权值。可能不止0和1。

输出为

如果把也看成一个权值，并且令写成更为简洁的形式：

感知器的学习算法同前面介绍的类似，只不过现在的输出权值可按如下式进行修正：

8.2前馈神经网络wij(t+1)：修正一次后的某一权值；η：学习步长，表示学习速率的比例常数；yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。

神经元间的连接由有：

8.2前馈神经网络8.2.2多层感知器图8-5多层感知器的结构*单层感知器只能解决线性可分的问题，多层感知器可以打破这一局限性，实现输入和输出之间的非线性映射。*图8-5表示的是n个输入、M个输出、若干个隐元的四层感知器,其中第一层为输入层、第2、3层称为隐层，第4层称为输出层。在多层感知器网络中，隐层的个数可以是一个，也可以是多个，隐层神经元的输出函数通常是Sigmoid函数。

8.2前馈神经网络从图8.5的网络结构中可以看出，多层感知器的神经元层级之间采用全连接的方式，上层神经元的输出作为输入推送给下一层的所有神经元。下面给出BP算法的具体步骤。（1）选定所有神经元权系数的初始值；（2）重复下述过程直到收敛为止。①从前向后计算各层神经元的实际输出②对输出层计算增量③从前向后计算隐层神经元的增量④修正各神经元的权值*BP算法的缺点：对初始值的依赖性较强，容易收敛到局部最小点，算法的收敛速度较慢*BP算法的改进途径：1.采用启发式学习方法2.采用更有效的优化算法

8.3自组织特征映射网络自组织神经网络是由Kohonen提出，通常称为自组织特征映射网络（SOM或SOFM），也叫Kohonen网络。SOM网络是一个两层结构，包括输入层和竞争层。输入层的神经元数量等于特征维数，竞争层由多个神经元组成一个方阵。输入层和竞争层之间是全互联的，竞争层的神经元在训练时存在侧向抑制，而在识别时没有任何连接。图8-6自组织神经网络结构8.3.1网络结构

8.3自组织特征映射网络8.3.2网络的识别过程在SOM网络中，训练完成后，通过输出层的某个区域来对应某一类模式。输入待识别模式时，计算输入特征向量与每个神经元权值之间的距离。以距离最小（欧氏距离）或矢量点积最大者作为获胜神经元，根据其所在区域确定模式类别。令输入输入特征矢量为X=,第j个神经元的权值为,则欧式距离为：矢量点积为：

8.3自组织特征映射网络8.3.2网络的学习过程下面给出网络训练算法：SOM网络的学习是一个迭代的过程。在第t次迭代中，一个神经元被选为获胜神经元，其领域内的神经元权值会被增强，领域外的神经元则受到抑制或不增强。邻域的形状可以是方形、圆形或多边形。（1）初始化：随机赋值所有竞争层神经元的权值每个神经元的权值矢量归一化单位长度，也就是，确定初始的领域，以及学习次数T和初始学习速率0<（2）输入训练样本归一化X=（3）计算训练样本X和每一个神经元之间的距离，并确定获胜神经元g<1

8.3自组织特征映射网络（4）调整连接权值：（5）对连接权值进行归一化：（6）重复（2）~（5）的过程，将全部训练样本训练一遍。（7）进行下一次迭代，t=t+1,更新和，小，最后变为0，一个神经元。（8）重复（2）~（7）的过程，直到t=T为止的区域也应该越来越小，最后只包含

8.4径向基函数（RBF）神经网络图8-7径向基函数神经网络的结构8.4.1网络结构

RBF神经网络是一种三层前向网络，包括输入层、隐层和输出层。隐层使用径向基函数作为“基”，将输入矢量映射到隐层空间。一旦RBF中心点确定，这种映射关系也确定。隐层到输出空间的映射是线性的，即输出是隐单元输出的线性加权和。总体上，输入到输出的映射是非线性的，这种结构加快了学习速度并避免了局部极小问题。

8.4径向基函数（RBF）神经网络8.4.2径向基函数所谓径向基函数，就是某种沿径向对称的标量函数。径向基函数可以取以下多种形式。（1）Gaussian函数：（2）Reflectedsigmoid函数：（3）逆Multiquadric函数：为该基函数的方差，也称其为扩展常数或宽度。

8.4径向基函数（RBF）神经网络8.4.3网络的学习过程

RBF神经网络的学习参数包括基函数的中心、方差及隐层到输出层的权值。在正规化RBF结构中，隐节点数等于样本数，基函数中心为样本本身，只需考虑扩展常数和输出权值。在广义RBF结构中，学习算法需确定隐节点数、基函数中心和扩展常数，并修正输出权值。根据基函数中心选取方法不同，RBF有多种学习方法，如梯度下降法、自组织选取中心法等。自组织选取中心的RBF学习法包括无监督自组织学习阶段和有监督学习阶段。1．基于C-means聚类算法的中心学习（1）初始化：选取h个互不相同的向量作为初始聚类中心（2）计算输入空间各样本点与聚类中心点的欧式距离，并将样本点分配到输入样本的各个聚类集合。结

束模式识别48/justinruan/Learning-ML学以致用，知行合一（实践篇）BP神经网络BackPropagation总结BP神经网络的算法流程：

(1)信号正向传递过程输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出

(2)误差反向传播过程输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.49通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。BP神经网络

50n个节点q个节点m个节点VW

隐层的传递(激活)函数为f1(·)，输出层的传递(激活)函数为f2(·)

∑f1(·)∑f2(·)BP神经网络正向传播隐层节点的输出为（将阈值写入求和项中）k=1,2,…,q输出层节点的输出为：

j=1,2,…,m至此B-P网络就完成了n维空间向量对m维空间的近似映射51

VW

nqm

反向传播

52

VW

nqm

输出层权值的变化

53

VW

nqm

E∑f2(·)输出层权值54

因为是输出层传递函数的偏微分

VW

nqm

∑f2(·)输出层权值55于是输出层各神经元的权值调整公式为：

因为

VW

nqm

∑f1(·)∑f2(·)隐层权值的变化

56

VW

nqm

E隐层权值5757

因为是隐层传递函数的偏微分

VW

nqm

隐层权值58于是隐层各神经元的权值调整公式为：

因为

VW

nqm

∑f1(·)∑f2(·)

Sk-Learn中的多层感知器59Multi-layerPerceptronclassifierclasssklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100,),activation='relu',*,solver='adam',alpha=0.0001,batch_size='auto',learning_rate='constant',learning_rate_init=0.001,power_t=0.5,max_iter=200,shuffle=True,random_state=None,tol=0.0001,verbose=False,warm_start=False,momentum=0.9,nesterovs_momentum=True,early_stopping=False,validation_fraction=0.1,beta_1=0.9,beta_2=0.999,epsilon=1e-08,n_iter_no_change=10,max_fun=15000)hidden_layer_sizes：tuple，第i个元素表示第i个隐藏层的神经元个数。activation：隐藏层激活函数，identity、logistic、tanh、relu。solver：权重优化算法，lbfgs、sgd、adam。alpha：正则化项参数。(L2regularizationterm)60Multi-layerPerceptronclassifierbatch_size：随机优化的minibatches的大小。learning_rate：学习率，constant、invscaling、adaptive。learning_rate_init：初始学习率。只有当solver为sgd或adam时才使用。power_t：逆扩展学习率的指数，只有当solver为sgd时才使用。max_iter：最大迭代次数。shuffle：是否在每次迭代时对样本进行清洗，当solver为sgd或adam时使用。tol：优化算法停止的条件。当迭代前后的函数差值小于等于tol时就停止。61Multi-layerPerceptronclassifierverbose：是否将过程打印出。momentum：梯度下降的动量，介于0到1之间，solver为sgd时使用。nesterovs_momentum：是否使用Nesterov动量。early_stopping：判断当验证效果不再改善时是否终止训练。validation_fraction：用作早起停止验证的预留训练集的比例，0到1之间。beta_1：估计一阶矩向量的指数衰减速率，[0,1)之间。beta_2：估计二阶矩向量的指数衰减速率，[0,1)之间。epsilon：数值稳定值，solver为adam时使用。62Multi-layerPerceptronclassifier返回值属性说明classes_：每个输出的类标签，大小为(n_classes,)。loss_：损失函数计算出的当前损失值。coefs_：列表中的第i个元素表示i层的权重矩阵。intercepts_：列表中第i个元素表示i+1层的偏差向量。n_iter_：迭代次数。n_layers_：层数。n_outputs_：输出的个数。out_activation_：输出激活函数的名称。63返回值方法说明fit(X,y)：拟合(训练)。get_params()：获取参数。predict(X)：进行预测。predict_log_proba(X)：对数概率估计。predict_proba(X)：概率估计。score(X,y)：返回给定测试数据和标签的平均准确度。set_params()：设置参数。MNIST手写数字识别MNIST数