人工神经网络(讲稿).ppt

1、信号分析和信息处理人工神经网络结构神经网络，神经网络-模式识别，引用：水果分类问题(识别其他水果)，说明：1。水果分类，模式识别问题。对机器运行状态的判断也是模式识别，所以可以用神经网络来判断。2.如果给神经网络提供数值参数(形状、大小、成分等)，则可以获得相应的种类属性(苹果、橙子等)。因此，以各种信号数据参数数作为输入，还可以获得机器运行状态的特性参数。3.加权呼机、判断标准、错误输入可以继续修改。1.概论，人工神经网络的定义和研究开发的根本原因神经细胞和生物神经网络人工神经网络的特征人工神经网络的简单发展历史，(1)定义：人工神经网络是用具有相同结构的多个简单单位的连接模拟人类大脑结构和

2、思维方式的实际物理系统，可以用计算机模拟。1.1人工神经网络的定义和研究开发的根本原因，(2)研究开发的根本原因，(1)在视觉、听觉、嗅觉识别等信息的第一次处理的解决中，现代计算机非常迟钝，研究进展缓慢。但是人类的大脑在这方面比计算机大得多。因为你必须从大脑中学习；(2)现代计算机的每个电子组件都有纳秒(ns)单位的计算速度，人脑中的神经细胞有毫秒单位的响应时间，为什么大脑比电脑有处理更多信息的能力，这表明了大脑结构和信息处理方式的优越性。例如：2-3岁的孩子能在人群中认出父母，3-4岁的孩子能顺利通过十字路口，但是最先进的机器人也很难完成这项任务。因此，模仿人类的思维方式可以提高机器人的能力

3、，1.2神经细胞和生物神经网络，1。神经网络组织形式的大脑中约有100亿个神经元相互连接，形成复杂的巨大网络系统。所以大脑的结构是神经(元)网络。据估计，每个神经元与大约数千个神经元相互连接。大脑形成的神经网络由小网络连接组成。据估计，所有神经元由大约1000个主要功能模块组成，每个功能模块约有100个神经网络，每个网络约有10万个神经元。将信息从一个神经元传递到另一个神经元。从一个网络到另一个网络，从一个模块到另一个模块。1.2神经细胞和生物神经网络，2 .生物神经元(细胞)结构模型，1.2神经细胞和生物神经网络3。神经元的电脉冲(1)电脉冲：神经元在激活后产生从轴突发出的电脉冲。相对振幅约

4、为100mv，宽度约为1ms，称为神经元的动作电位。(2)电脉冲的传递：(3)神经元的特性： (1)突触的特性兴奋性突触：突触膜电位随着神经递质和受体结合数的增加而增加。抑制突触：突触膜电位随着神经递质和受体结合量的增加而减少。(2)时空整数和性空间累积：累积不同树脂上的兴奋性和抑制信号。时间累积：输入信号对神经元膜电位的影响持续一段时间(几毫秒)，因此时间累积。1.2神经细胞和生物神经网络4。神经网络信息处理的特征分布式存储和容错：神经网络内信息的存储按内容分布在多个神经细胞中，每个神经细胞实际上存储了几种不同信息的一部分。部分或部分神经元发生错误不会影响整体结果。网络可以自动更正错误。并行

5、性：神经网络中大量的神经元同时进行大规模并行处理。神经元的响应速度很慢，每次大约1毫秒，比普通电子元件慢几个步骤，但可以在几毫秒内判断和决定复杂的过程。电脑什么都做不了。信息的处理和存储的协调：每个神经元都有处理和存储功能，神经元之间的连接强度变化反映了对信息的记忆，神经元对动机的反应，同时也反映了信息处理。自我学习和自我组织性：对外部事物的反映，通过神经元之间的连接强度不断增加，进行自我学习、自我组织。分层和系统化：神经生理学的研究表明，大脑分层处理信息。初级皮层-额叶-额叶处理过程。1.3人工神经网络的特性和优点，特点：1 .人工神经网络利用物理可实现的设备或计算机模拟大大脑神经网络的结构

6、和功能，并应用于工程和其他科学领域。2.模拟不是完全相同的复制生物网络，而是采用有利的部分来克服当前计算机或其他系统无法解决的问题，如学习、识别、控制等。3.人工神经网络功能的改进取决于以下两个方面：物理设备或软件系统的级别；大脑对网络结构和机制的认识水平。1.3人工神经网络的特性和优点，优点：并行性：简单单位并行连接，在时钟控制下集体工作，处理速度快。容错：局部或部分神经元发生错误，不影响全局结果。网络可以自动更正错误。分布式存储：信息存储在网络的连接权限中，并且是分布式的，不是存储设备。可学习性：人工神经网络的连接权限、阈值可以通过学习获得，可以根据外部环境进行调整，也可以自行配置。1.4

7、人工神经网络的简单历史，1 .早期开发期间(1890-1968) (1)1890，美国生理学家(James)在他的着作生理学中，比较系统地描述了大脑的结构和功能、神经元的功能和连接、信息的传递等，并将大脑看作一个神经网络。为进一步了解大脑的功能奠定了基础。(2)1943年，McCulloch和Pitts(美国心理学家和数学家)提出了神经元的数学模型，现在称为M-P模型。(3)1949年，Hebb在书行为自组织中提出了改变神经元连接强度的学习规则(现在的Hebb规则)。连接权重的学习规律与两个连接神经元的活动状态成正比。(4) 1958年，rosenlatt开发了M-P模型，推出了历史上第一个人

8、力神经网络和学习算法迟到者(Perceptron)及其学习算法。其出现引起了神经网络研究的第一个高潮。2 .坍落度期间(1969-1982) 1969，Minsky和Papert在感知机中指定了识别器的限制。也就是说，只能进行线性分类，对于非线性分类，识别器没有解决。很多学者离开了这个领域，出现了人工神经网络研究的低潮(6，70年代)。3 .复兴期(1982-1986) (1)1982-1984，霍菲尔德提出了目前称为霍夫菲尔德网络的互连反馈网络。介绍了证明网络稳定性的能量函数。也就是说，网络的状态向少使用能量的方向进化，最终到达很小的点，必须稳定。Hopfield网络在优化和语音识别方面有重

9、要的应用。(2)1986、Rumelhart、Hinton等提出了多层全方位网络的故障逆传播(BP)算法，使网络随机访问一个连续系统，得到了广泛应用。由于霍普菲网络和BP算法的出现，人工神经的研究复活了。人工神经网络作为信息处理方面的优点，使很多学者加入了这个研究领域，掀起了神经网络研究的新热潮。4。全面发展时期(1987-现在)1987年在美国举行了第一届国际神经网络学术大会，宣布建立国际神经网络学会。这次比赛也宣布了神经网络学科的诞生。基于神经网络的研究扩大了其范围，领域进入了几乎覆盖所有方面的转折点。由于神经网络的应用，产业技术发生了巨大的变化，特别是在自动控制领域，取得了新的突破。经过

10、20多年的开发，神经网络理论和技术呈现出以下特点。(1)应用领域越来越广泛，几乎什么都有。工程、金融、医学、社会科学，甚至战争的分析和决策(仅圆战争)。(2)理论研究继续深化，建立各种网络模型，分析网络性能的数学理论，分析和研究学习算法，特别是与统计相结合，形成了“统计学习理论”的研究方向。(3)将人工神经网络与专家系统、小波分析、模糊系统、遗传算法、数学统计等多种分析技术相结合，新的神经网络包、加速板、芯片和实现技术不断出现，神经网络的应用能力和速度不断提高。ii。ANN的基本原理，2.1 ANN的基本配置人工神经网络是连接很多神经元的网络结构。ANN的结构有两个含义：1 .神经元的结构；2

11、.网络互连(拓扑)。(1)神经元的结构模型根据之前对生物神经元的分析，必须具有以下特征：(a)神经元是多个输入、单个输出组件。、2.ann的基本原理，2.1 ANN的基本构造(1)神经元的结构模型(b)神经元是具有非线性输入/输出特性的组件。每个突触的动作电位达到一定的强度后，该神经才会激活，神经传递化学物质才会释放，自身的动作电位脉冲才会释放。、2。ANN的基本原理，2.1 ANN的基本结构(1)神经元的结构模型(c)神经元的连接具有可塑性，动作电位脉冲的传递强度根据神经传递化学物质的释放量和突触间隙的变化而调节。、2.ann的基本原理，2.1 ANN的基本构成(1)神经元的结构模型(d)神

12、经元的输出响应是每个输入的综合结果。表示神经元的I/O特性。在人工神经网络中，值总是被视为神经元的第0个输入，*，是神经元的I /O特性，层次结构：神经元的连接是层次结构。模块结构：主要特征是将整个网络按功能划分为不同的模块，每个模块内的神经元彼此紧密连接，完成每个特定功能，在模块之间重新互连以完成全部功能。层次模块结构：将模块和层次结合起来，使其更接近人脑神经系统的结构。此外，它是目前备受关注的一种新型网络互连模式。根据网络中神经细胞的层数，神经网络可以分为单层网络和多层网络；根据同一层网络神经元之间是否相互连接，以及是否有后层神经元和前层神经元的反馈，神经网络可以分类为：(a)在前面分层排

13、列网络：网络中的神经元，每个神经元仅连接到前一个神经元，而不连接到层间的神经元。顶层是输出层，底层是输入层，中间层称为隐藏层。(b)从输出到具有输入反馈的正向网络：输出到具有输入反馈链接的正向网络。(c)层内互连前向网络：可以通过层内神经元互连实现同一层间的相互约束，从而将层内的神经元分成组，使每个组作为一个动作。(d)互连网络：分为本地互连和完全互连两种。整个互连网络中每个神经元的输出与其他神经元相连接。在部分互连网络中，有些神经元没有相互连接。2.2学习规则、神经网络要工作，首先要学习，学习规则要多种多样，一般归结为以下两类：(1)不仅要有学习输入案例(训练样本，通常向量)，还要有显示所需

14、预期输出的目标向量。学习时，首先计算输入向量的网络输出，然后与相应的目标输出相比，比较结果的误差用于根据确定的算法改变权重。(2)没有指南的学习：不需要目标向量，网络通过自己的“经验”学习什么功能，学习的关键不是网络实际输出是否与外部的预期输出相匹配，而是调整权重以反映学习样本的分布，因此整个教育过程实质上是提取教育样本集的统计特性。特别适合对未知事物的研究。在工程实践中，出现了指导学习和无指导学习不相互冲突、指导学习和无指导学习相融合的几种训练算法。使用指南学习对网络进行培训后，可以使用一些后加维学习使网络适应环境变化。2.3学习算法学习算法是人工神经网络研究的主要内容和中心环节，许多性能不

15、同的神经网络的差异也主要体现在学习算法中，神经网络学习算法也是迄今为止研究最多的方面。到目前为止，人们依次提出了误差反向传播算法(BP算法)、霍夫曼算法、自适应共振理论算法(ART算法)、自组织特征映射算法(Kohonen算法)等。仅针对错误反向传播算法(Back Propagation)，简单讨论错误反向传播算法(称为BP算法)是具有Werbos等提出的监督训练的多层神经网络算法。在网络学习阶段，每个培训样本在网络中经过两个方向的传递计算。计算从输入层开始，传递到每个层，然后生成处理后的输出，从而获得实际输出和理想输出之间差异的错误向量。然后，执行反向波计算，这是从输出层开始，到输入层结束，

16、根据错误向量以恒定速度依次修改权重。BP算法具有很强的数学基础，扩大了神经网络的应用范围，已经有了很多成功的应用实例，对神经网络研究的再次出现起到了很大的作用。2.3学习算法1。BP网络模型以所显示的多层非循环前馈网络为例，说明了BP算法的工作原理。这个BP网络中的每一层神经元构成了整个互连，同一层内的每一个神经元都没有连接。也就是说，该网络是纯前馈网络互连。2.3学习算法1。BP网络模型各层神经元的运动特性如下：2.3学习算法2。BP算法BP算法的培训样本集由输入样本和理想输出对组成。网络的“培训目的”和“培训结束”标志是将网络上每个输入示例下的实际输出与理想输出相匹配(目标函数值最小)。开始学习时，每个连接权重和节点阈值将赋予(-1，1)之间的随机数。BP算法学习过程由正向传播和反向传播两部分组成。网络完成培训后，其连接权重和节点阈值将不再更改。此时，如果向网络提供新的输入，网络只能通过正向计算得到其输出。2 .BP算法BP算法的培训样本集由输入样本和理想输出对组成。网络的“培训目的”和“培训结束”标志是将网络上每个输入示例下的实际输出与理想