模式识别导论PatternRecognition

1、第九章人工神经网络的原理和应用，王海，目录，人工神经网络概述基本前馈人工神经网络，1.1什么是人工神经网络所谓的人工神经网络是一种基于模仿生物大脑的结构和功能的信息处理系统(计算机)。应该指出的是，尽管人工神经网络是对大脑结构的模仿，但这种模仿仍处于非常低的水平。1概述，1.2人工神经网络的两种操作过程在训练和学习中，要教授给神经网络的信息(外部输入)被作为网络的输入和所需输出，从而网络可以根据一定的规则(称为训练算法)调整处理单元之间的连接权重，直到添加了给定的输入，并且网络可以产生给定的输出。此时，连接权利已经被调整，并且网络训练已经完成。正常操作(召回操作)向训练好的网络输入信号，它能正

2、确召回相应的输出并得到识别结果。1概述，1概述，1.3人工神经网络的发展 MP模型在初始(萌芽)阶段和人工神经网络的兴起。1943年，美国神经生理学家沃伦麦克库洛奇和数学家沃尔特皮茨共同撰写了一篇关于神经元如何工作的开创性文章：“对神经元活动免疫的思想的逻辑演算”。本文指出，脑细胞的活动就像一个开关，这些细胞可以以各种方式相互结合，进行各种逻辑运算。根据这一想法，他们构建了一个简单的带有电路的神经网络模型，并预测所有的大脑活动最终都会被清楚地解释。虽然问题不是那么简单，但它让人们相信大脑的活动取决于脑细胞的组合和连接。1.3人工神经网络的发展在第一个高潮感知器模型和人工神经网络1957年，计算

3、机专家弗兰克罗森布拉特开始研究感知器并制作硬件，这通常被认为是最早的神经网络模型。1959年，两位电气工程师伯纳德维卓尔和马尔西安哈夫开发了一种称为ADALINE的网络模型，并在他们的论文“自适应开关电路”中描述了该模型及其学习算法(维卓尔-哈夫算法)。通过训练，该网络可成功用于消除通信中的回声和噪声，也可用于天气预报，从而成为解决实际问题的第一个神经网络。1概述，1.3人工神经网络发展的反思期神经网络的低潮1969年，马文明斯基和西蒙派珀特合写了一本书知觉，分析了当时的简单感知器，指出它有很严重的局限性，甚至不能解决简单的异或问题，并判处罗森布拉特的感知器死刑。这时，批评的声音越来越大，这导

4、致需要大量的投资来停止人工神经网络的研究。许多研究者将注意力转向了人工智能，这导致了人工神经网络研究的低潮。1概述1.3人工神经网络发展的第二个高潮霍普菲尔德网络模型的出现和人工神经网络的复兴1984年，霍普菲尔德设计并开发了后来被称为霍普菲尔德网络的电路，它很好地解决了TCP问题并找到了最佳解的近似解，引起了很大轰动。1985年，辛顿、塞尼奥夫斯基、鲁梅尔哈特等研究人员将随机机制引入霍普菲尔德网络，提出了所谓的波尔兹曼机。1986年，鲁梅尔哈特等人独立提出了多层网络的学习算法BP算法，很好地解决了多层网络的学习问题。1990年12月，中国第一次神经网络会议在北京召开。1、概述1.3人工神经网

5、络的再认识和应用研究阶段的主要研究内容是开发现有模型的应用，并根据应用中的实际运行情况对模型和算法进行改造，以提高网络的训练速度和精度。充分发挥每项技术的优势，找到更有效的解决方案。我希望在理论上找到新的突破，建立一个新的特殊或通用的模型和算法。进一步研究生物神经系统，丰富对人脑的了解。1概述1.4人工神经网络容错的特点人脑具有很强的容错能力，这正是因为大脑中的知识存储在许多处理单元及其连接中。每天，大脑中的一些细胞可能会自动死亡，但这不会影响人们的记忆和思维能力。人工神经网络可以从不完美的数据和图形中学习并做出决策。因为知识存在于整个系统中，而不是存储单元中，所以一定比例的节点不参与操作，这

6、不会对整个系统的性能产生重大影响。神经网络承受硬件损伤的能力比一般计算机强得多。1概述，1.4人工神经网络的特点自适应人工神经网络还具有指导学习能力的训练：在网络输入中加入输入样本并给出相应的输出，通过多次训练迭代获得连接权值。它似乎告诉网络：“当你看到这个数字(如5)，请给我看5”。无监督训练：网络通过训练自身来调整连接权重，从而对输入样本进行分类。在网络训练中，有时只能给出大量的输入图形。网络不指定它们的输出，而是根据它们的特性对它们进行分类。例如，通过大量的观察，一个孩子可以分辨出哪只狗和哪只猫。人工神经网络的局限性人工神经网络不适合高精度计算。正如许多人不擅长直接计算类似的资本问题一样

7、，人工神经网络也不用于计算资本问题。人工神经网络的学习和训练往往是一个困难的过程。网络设计中没有严格确定的方法(通常基于经验)，因此没有选择培训方法和所需网络结构的统一标准。离线训练通常需要很长时间，为了获得最佳效果，经常需要多次重复实验。网络融合问题。1概述，2.1人工神经网络的生物原型大脑中的简单神经元，2人工神经网络的基础，2.1人工神经网络的生物原型大脑中的简单神经元是神经细胞，这是动物的重要特征之一。人体从大脑到全身大约有1010个神经元。神经元之间的信号通过突触传递。神经元的细胞体：它是神经元的本体，包含细胞核和细胞质，完成普通细胞的生存功能。树突：它有大量的分支，数量级高达103

8、，长度很短(通常不超过1毫米)，用于接收来自其他神经元的信号。轴突：它们用于输出信号，其中一些更长(长达1米以上)。轴突的远端也有分支，可以与多个神经元相连。突触：这是一个特殊的地方，一个神经元与另一个神经元相连。通常，一个神经元轴突的末端通过化学接触或电接触将信号传递给下一个神经元的树突或细胞体。2。人工神经网络基础，2.1人工神经网络生物原型脑神经元的基本工作机制。一个神经元有两种状态：兴奋和抑制通常处于抑制状态的神经元。当通过突触接收来自其他神经元的电击信号时，多个输入以代数和的形式叠加在神经元上。进入突触的信号将被加权，正信号用于兴奋，负信号用于抑制。如果叠加的总和超过某个阈值，神经元

9、将被激发并发出输出脉冲，这些脉冲将通过轴突突触传递给其他神经元。被触发后，神经元有一个不应期，在此期间它们不能被触发，然后阈值逐渐降低以恢复它们的原始状态。2。人工神经网络基础，2.1人工神经网络生物原型脑神经元的基本工作机制。神经元根据“全有或全无”的原则工作，只有兴奋和抑制两种状态，但不能认为神经元只能表达或传递二进制逻辑信号。当神经元兴奋时，它们通常会发出一系列脉冲，而不仅仅是一个脉冲。如果一系列脉冲被视为调频信号，脉冲的密度可以表示一个连续的量。人工神经网络的生物原型大脑和大脑皮层的结构研究证明，大脑中大约有1000个不同的模块，每个模块包含50106个神经元。我们可以假设每个模块是许

10、多神经网络中的一个。大脑的主要计算机制是大脑皮层。其横截面通常有36层神经细胞，约10万个神经元组成一组。在一个典型的大脑模型中，大约有500个神经网络用于计算，平均来说，一个神经元向其他神经元发出2000个突触。不同层次神经元的连接是平行的、发散的、会聚的和反馈的。这些联系的强度是随机的，并随着对外界的反应而逐渐形成。2。人工神经网络基础，2。人工神经网络处理单元(PE)是一个人工神经元，也称为节点，通常用一个圆来表示。2人工神经网络的基础，1，2，N，输入，输入，2.2人工神经网络处理单元的结构和功能类似于生物神经元，可以说是生物神经元的简单近似。该处理单元仅模拟生物神经元能够执行的150

11、多个处理功能中的几个。处理单元的功能是处理每个输入信号以确定其强度(重量)；确定所有输入信号的组合效应(总和)；确定其输出(传输特性)。2.人工神经网络处理单元模拟生物神经元，就像生物神经元中有许多输入(刺激)一样。处理单元还具有同时施加到处理单元的许多输入信号，并且处理单元以输出进行响应。处理单元的输出就像一个真实的神经元，输出响应不仅受输入信号的影响，还受其他内部因素的影响。内部因素：内部阈值或额外输入(称为偏移项)，2.2人工神经网络基础，2.2人工神经网络处理单元的基本结构和功能，2.2人工神经网络处理单元的基本结构和功能。输入信号来自外部(输入端点由黑点表示)或其他处理单元的输出，其

12、在数学上表示为行向量x=(x1，x2，xN)，2人工神经网络的基础，2.2人工神经网络处理单元的基本结构和功能连接到节点J的权重表示为权重向量Wj=(W1j，W2j，WNj)，其中Wij表示从节点I(或第I个输入点)到节点J的权重，或节点I和节点J之间的连接强度，2。人工神经网络基础，2。人工神经网络处理单元的基本结构和功能考虑到内部阈值j，用x0=-1的固定偏移输入点表示，其连接强度取为W0j=j。因此，输入的加权和可以如下获得：2人工神经网络基础，2.2人工神经网络处理单元的基本结构和功能。如果向量X和WJ分别包含x0和W0j，则存在X=(X0，X1，XN) WJ=(W0J，W1J，WNJ

13、)，2人工神经网络基础，2.2人工神经网络处理单元的基本结构和功能，因此sj可以表示为X和Wj的点积或内积，并且SJ=X Wj是标量，其从两个向量的内积获得，并且可以用作两个向量之间的相似性的度量。如果向量在同一个方向，它的内积最大；如果向量在相反的方向，它的内积是最小的。2.人工神经网络基础；2.2人工神经网络处理单元的基本结构和功能；处理单元的激励电平sj通过传递函数F()得到处理单元的最终输出值yj，2；2.2人工神经网络处理单元传递函数F()，也称为激励函数、传递函数或限制函数，其功能是将可能的无限域转换成指定的有限输出范围，这类似于生物神经元的非线性。常用传递函数线性函数斜坡函数阶跃

14、函数符号函数Sigmoid函数双曲正切函数，2.2人工神经网络基础，2.2人工神经网络处理单元线性函数最简单传递函数y=F(s)=ks其中y是输出值，s是输入信号的加权和，k是常数，表示直线的斜率。2、人工神经网络基，2.2人工神经网络处理单元斜率函数，2人工神经网络基，R和-r分别是处理单元的最大值和最小值，称为饱和值，一般|r|=1。2.2一种人工神经网络处理单元的阶跃函数的硬限幅函数，2.2一种人工神经网络处理单元的符号函数(SGN()的硬限幅函数，2.2一种人工神经网络处理单元的y=F(s)=1/(1 e-s)的Sigmoid函数，2。人工神经网络的基础；2.人工神经网络处理单元的双曲

15、正切函数的一种S型函数，y=和(S)=(es-e-S)/(es-e-S)，与Sigmoid函数对称。当s=0时，y=0，即同时有两级输出。当需要输出(-1 1)范围内的信号时，通常会用到它。2。人工神经网络的基础，2.3。人工神经网络的拓扑结构虽然单个处理单元可以处理简单的图形检测功能，但识别处理能力较强的是由多个节点连接在一起的网络，即人工神经网络。这里的“连接”是通过从输入到节点或从节点到节点的信号传输路径来实现的。这条路径相当于生物神经系统中影响输入信号的轴突和突触。在未来，我们将这种信号传输路径称为“连接”，每个连接都有一个加权值，称为“连接权重”，它反映了连接的强度。2。人工神经网络

16、的基础2.3人工神经网络的拓扑最简单的网络是形成一层节点。左边的黑点只起到分配输入信号的作用，没有计算功能，不被视为网络的一层。右边圆圈表示的一组节点被视为一个层。2。人工神经网络基础，2.3人工神经网络拓扑单层网络的输入信号表示为行向量：x=(x1，x2，xN)，其中每个分量通过加权连接到每个节点。每个节点可以生成一个加权和。所有连接都用在输入和节点之间，它们都是前馈连接。在这个单层网络中，每个权重可以表示为一个权重矩阵。矩阵的维数是N N，其中N是输入信号向量的分量数，N是层中的节点数。从第三输入到第二节点的连接被表示为W32。单层网络输入信号的加权和表示为：s为各节点加权和的行向量，s=(s1，s2，sn)。输出向量y=(y1，y2，yn)，其中yj=F(sj)。2。人工神经网络的基础，2.3。人工神经网络拓扑多层网络一般来说，大型复杂网络可以提供更强的计算能力。虽然目前已经形成了许多网络模型，但它们的节点是分层排列的，模仿大脑皮层的网络模块。多层网络由单层网络级联而成，即上层的