神经网络模型

模拟实际神经络的数学方法神经网络模型01介绍解剖机理结构信息处理目录03020405数学模型发展历史基本特征应用目录070608基本信息模拟人类实际神经络的数学方法问世以来，人们已慢慢习惯了把这种人工神经络直接称为神经络。神经络在系统辨识、模式识别、智能控制等领域有着广泛而吸引人的前景，特别在智能控制中，人们对神经络的自学习功能尤其感兴趣，并且把神经络这一重要特点看作是解决自动控制中控制器适应能力这个难题的关键钥匙之一。介绍神经络的学习机理和机构学习是神经络一种最重要也最令人注目的特点。在神经络的发展进程中,学习算法的研究有着十分重要的地位。目前,人们所提出的神经络模型都是和学习算法相应的。所以,有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法。而有的算法可能可用于多种模型。在神经络中,对外部环境提供的模式样本进行学习训练,并能存储这种模式,则称为感知器;对外部环境有适应能力,能自动提取外部环境变化特征,则称为认知器。神经络在学习中,一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习,而认知器则采用无教师信号学习的。在主要神经络如Bp络,Hopfield络,ART络和Kohonen络中;Bp络和Hopfield络是需要教师信号才能进行学习的;而ART络和Khonone络则无需教师信号就可以学习49。所谓教师信号,就是在神经络学习中由外部提供的模式样本信号。

机理结构机理结构神经络的基本组成单元是神经元，在数学上的神经元模型是和在生物学上的神经细胞对应的。或者说，人工神经络理论是用神经元这种抽象的数学模型来描述客观世界的生物细胞的。很明显，生物的神经细胞是神经络理论诞生和形成的物质基础和源泉。这样，神经元的数学描述就必须以生物神经细胞的客观行为特性为依据。因此，了解生物神经细胞的行为特性就是一件十分重要而必须的事了。神经络的拓朴结构也是以生物学解剖中神经细胞互连的方式为依据的。对神经细胞相互作用情况的揭露也是十分重要的。神经元是神经络基本元素。只有了解神经元才能认识神经络的本质。在这一节介绍神经元的生物学解剖，信息的处理与传递方式，工作功能以及其数学模型。解剖细胞体轴突树突解剖细胞体细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质状结构等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。神经元也即是整个细胞，整个细胞的最外层称为细胞膜。树突细胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传入的信息的入口。轴突细胞体突起的最长的外伸管状纤维称为轴突。轴突最长可达1米以上。轴突是把神经元兴奋的信息传出到其它神经元的出口。突触是一个神经元与另一个神经元之间相并进行信息传送的结构。如图1—2所示。它由突触前成分，突触间隙和突触后成分组成。突触前成分是一·个神经元的轴突末梢。突触间隙是突触前成分与后成分之间的距离空间，间隙一般为200—300Å。突触后成分可以是细胞体，树突或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此是通过突触这种结构接口的。有时．也把突触看作是神经元之间的连接。目前，根据神经生理学研究，已经发现神经元及其间的突触起码有4种不同行为。神经元4种生物行为有：(1)能处于抑制或兴奋状态；(2)能产生爆发和平台两种情况；(3)能产生抑制后的反冲；(4)具有适应性。信息处理兴奋与抑制信息传递特性信息综合特性D/A、A/D特性信息处理兴奋与抑制人工神经络对神经元的兴奋与抑制进行模拟，故而首先应了解神经元的兴奋与抑制状态。一个神经元的兴奋和抑制两种状态是由细胞膜内外之间不同的电位差来表征的。在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在-50—-100mv之间。在兴奋状态，则产生内正外负的相反电位差，这时表现为约60—100mv的电脉冲。细胞膜内外的电位差是由膜内外的离子浓度不同导致的。细胞的兴奋电脉冲宽度一般大约为1ms。神经元的兴奋过程电位变化如图1—3所示。图1-3.神经元的兴奋过程电位变化信息传递特性对神经细胞的研究结果表明：神经元的电脉冲几乎可以不衰减地沿着轴突传送到其它神经元去。由神经元传出的电脉冲信号通过轴突，首先到达轴突末梢，这时则使其中的囊泡产生变化从而释放神经递质，这种神经递质通过突触的间隙而进入到另一个神经元的树突中。树突上的受体能够接受神经递质从而去改变膜向离子的通透性．使膜外内离子浓度差产生变化；进而使电位产生变化。显然，信息就从一个神经元传送到另一个神经元中。当神经元接受来自其它神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递。神经元这种膜电位高达一定阀值才产生脉冲传送的特性称阀值特性。这种阀值特性从图1—3中也可以看出。神经元的信息传递除了有阀值特性之外，还有两个特点。一个是单向性传递，即只能从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反之。另一个是延时性传递．信息通过突触传递，通常会产生0.5-1ms的延时。信息综合特性神经元对来自其它神经元的信息有时空综合特性。在神经络结构上，大量不同的神经元的轴突末梢可以到达同一个神经元的树突并形成大量突触。来源不同的突触所释放的神经递质都可以对同一个神经元的膜电位变化产生作用。因此，在树突上，神经元可以对不同来源的输入信息进行综合。这就是神经元对信息的空间综合特性。对于来自同一个突触的信息，神经元可以对于不同时间传入的信息进行综合。故神经元对信息有时间综合特性。D/A、A/D特性从神经元轴突上传递的信息是等幅、恒宽、编码的离散电脉冲信号，故而是一个数字量。但在突触中神经递质的释放和树突中膜电位的变化是连续的。故而，这时说明突触有D/A功能。在神经元的树突膜电位高过一定阀值时，则又变成电脉冲方式由轴突传送出去。故而，这个过程说明神经元有A/D功能。很明显，信息通过一个神经元传递时，神经元对信息执行了D/A、A/D转换过程。从上面可知，神经元对信息的处理和传递有阀值，D/A、A/D和综合等一系列特性和功能。数学模型BP神经络模型BP络是一种对非线性可微分函数进行权值训练的多层络。它的最大特点是仅仅借助样本数据,无需建立系统的数学模型,就可对系统实现由m个输入神经元的模式向量p组成的pm空间到yn空间n(为输出节点数)的高度非线性映射。BP算法是为了解决多层前向神经络的权系数优化而提出来的;所以BP算法也重庆大学硕士学位论文3基于BP神经络的软件可靠性模型选择研究通常暗示着神经络的拓扑结构是一种无反馈的多层前向络。故而.有时也称无反馈多层前向络为BP模型。在人工神经络的实际应用中,80%一90%的神经络模型是采用BP络或它的变化形式。BP算法是用于前馈多层络的学习算法。

基本特征非线性非局限性非常定性非凸性基本特征非线性非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的络具有更好的性能，可以提高容错性和存储容量。非局限性一个神经络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。非常定性人工神经络具有自适应、自组织、自学习能力。神经络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。发展历史发展历史1943年，心理学家loch和数理逻辑学家W.Pitts建立了神经络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经络研究的时代。1949年，心理学家提出了突触强度可变的设想。60年代，人工神经络的到了进一步发展，更完善的神经络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经络的研究处于低潮。在此期间，一些人工神经络的研究者仍然致力于这一研究，提出了适应谐振理论（ART）、自组织映射、认知机络，同时进行了神经络数学理论的研究。以上研究为神经络的研究和发展奠定了基础。1982年，美国加州工学院物理学家eld提出了Hopfield神经格模型，引入了“计算能量”概念，给出了络稳定性判断。1984年，他又提出了连续时间Hopfield神经络模型，为神经计算机的研究做了开拓性的工作，开创了神经络用于联想记忆和优化计算的新途径，有力地推动了神经络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。90年代初，又有脉冲耦合神经络模型被提出。人工神经络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。应用自动控制领域处理组合优化问题模式识别图像处理信号处理机器人控制010302040506应用卫生保健医疗经济焊接领域应用自动控制领域主要有系统建模和辨识，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。处理组合优化问题成功解决了旅行商问题，另外还有最大匹配问题，装箱问题和作业调度问题。模式识别手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。图像处理对图像进行边缘监测，图像分割，图像压缩和图像恢复。信号处理能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。机器人控制对机器人轨道控制，操作机器人眼手系统，用于机械手的故障诊断及排除，智能自适应移动机器人