人工神经网络基础与应用

人工神经网络技术与应用

1第四节人工神经网络技术引言1生物神经元2人工神经元3人工神经网络的模型分类42第4.1节引言4.1.1人工神经网络发展简史4.1.2人工神经网络的特性4.1.3人工神经网络研究的基本内容34.1人工神经网络发展简史1943年1943-1969初创期心理学家McCulloch和数学家Pitts提出形式神经元数学模型（MP模型），揭开神经科学理论的新时代。Hebb提出改变神经元连接强度的Hebb规则。

Rosenblatt提出感知器概念，由阈值型神经元组成，试图模拟人的感知、学习能力。

Minsky与Papert发表《Perceptrons》。1944年1957年1969年44.1.1人工神经网络发展简史1982年1970-1986过渡期Hopfield提出了HNN模型，引入“计算能量函数”概念，给出网络稳定性判据。Boltzmann机提出，设计、研制电子电路，为工程实现指明方向。

Rumelhart等PDP（并行分布式处理）研究小组提出了多层前向传播网络的BP算法，开辟了NN的应用新途径。1985年1986年54.1.1人工神经网络发展简史1987年1987-现在发展期美国圣地亚哥第一届世界神经网络会议。美国国防部高等研究工程局:发展NN及应用研究的8年计划。NN的国际会议增多。IEEETrans.onNN创刊。NN的模型有几百个。基础理论、模型与算法的研究。

1989年，广东第一届神经网络-信号处理会议。1990年开始，神经网络学术会议，年会。90年代后国内情况6第4.1节引言4.1.1人工神经网络发展简史4.1.2人工神经网络的特性4.1.3人工神经网络研究的基本内容74.1.2人工神经网络的特性非线性映射近似任意非线性映射，适用于非线性辨识与控制。通过训练具有归纳数据的能力，更适用于非模型描述的控制。

可在线运行和信息融合，适用于复杂、大规模和多变量系统的控制。

硬件实现，神经网络成为具有快速和大规模处理能力的实现网络。可学习适应与集成硬件实现具有高度的并行结构和并行实现能力，适用于在线控制。并行性8第4.1节引言4.1.1人工神经网络发展简史4.1.2人工神经网络的特性4.1.3人工神经网络研究的基本内容94.1.3人工神经网络研究的基本内容理论研究应用研究实现研究单神经元数学模型神经网络拓扑结构神经网络学习算法神经网络泛化能力神经网络动力学图像处理与识别语音信号处理与识别数据的存储与记忆组合优化复杂系统控制硬件实现电路NN模型的通用硬件系统（神经网络计算机）Matlab神经网络工具箱104.2.1生物神经元的结构4.2.2生物神经元的信息处理机制第4.2节生物神经元11来自其它细胞轴突的神经末稍轴突树突细胞膜神经末稍来自其它细胞轴突的神经末稍轴突树突突触细胞膜神经末稍细胞体细胞核细胞体细胞核细胞质细胞膜树突：胞体上短而多分支的突起，相当于神经元的输入端，接收传入的神经冲动。轴突（神经纤维）：胞体上最长枝的突起，端部有很多神经末梢，传出神经冲动。细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，此时细胞膜内外有电位差，称为膜电位，其电位膜内为正，膜外为负。4.2.1生物神经元的结构12来自其它细胞轴突的神经末稍轴突树突细胞膜神经末稍来自其它细胞轴突的神经末稍轴突树突突触细胞膜神经末稍细胞体细胞核突触：是神经元之间的连接接口。一个神经元，通过其轴突的神经末梢，经突触与另一个神经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。4.2.1生物神经元的结构13来自其它细胞轴突的神经末稍轴突树突细胞膜神经末稍来自其它细胞轴突的神经末稍轴突树突突触细胞膜神经末稍细胞体细胞核兴奋与抑制：若传入神经元的冲动经整合后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出；若传入神经元的冲动经整合后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习与遗忘的功能。4.2.1生物神经元的结构144.2.2生物神经元的信息处理机制神经元形式化结构

神经元具有的特征1.时空整合空间整合时间整合时空整合输入信号的影响会短时间地持续，和后到达的输入信号的影响同时起作用，也就是说，神经元对于不同时间通过同一突触的输入信号具有时间整合的功能。15神经元具有的特征2.阈值特性神经元输入和输出是非线性的关系3.不应期无输出信号。上升为无穷大。4.疲劳阈值慢慢增加时，神经元很难兴奋5.突触的可塑性突触的结合强度会随着输入信号和输出信号发生变化，使得神经细胞具有学习和记忆的能力6.输出信号的种类离散的（脉冲信号）；连续信号4.2.2生物神经元的信息处理机制16第4.3节人工神经元4.3.1人工神经元的数学模型4.3.2人工神经元的激励函数17出发点：模拟生物神经元的结构和功能，从数学角度抽象出来一个基本单元。神经元模型：是生物神经元的抽象和模拟；是人工神经网络的最基本组成部分；是一多输入单输出的非线性处理单元。神经网络直观理解：神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其它的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。引言18

结构数学描述输入：状态：输出：通常有：则：:阈值；:输入信号，可理解为其它神经元的输出；:从ui到xj的连接权值（注意其下标与方向）；:外部输入信号；:神经元的输出4.3.1人工神经元的数学模型19０１f阈值型分段线性型4.3.2人工神经元的激励函数20Tan函数型T：比例因子，调整函数的上升坡度。T越大，f上升越慢；T越小，f上升越快，很快饱和。Sigmoid函数型4.3.2人工神经元的激励函数21控制输入对输出的激活作用；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。激励函数的作用：4.3.2人工神经元的激励函数22第4.4节人工神经元网络的模型分类4.4.1根据组织和抽象层次分类4.4.2根据连接方式和信息流向分类23神经元层次模型：仅研究单一神经元的动态和自适应特性，探索神经元对输入信息的处理和存储能力。组合式模型：由多个不同神经元组成，功能比单一神经元强大。网络层次模型：由多个相同神经元组成的网络结构，网络的整体性能为研究重点。神经系统层次模型（多种网络）：由多个不同性质的神经网络构成，以模拟生物神经系统更复杂，更抽象的特性。4.4.1根据组织和抽象层次分类24前向网络特点神经元分层排列，组成输入层、隐含层（可以有若干层）和输出层；每一层的神经元只接收前一层神经元的输入；各神经元之间不存在反馈，信号在各层中顺序传播。典型网络BP网络，感知器4.4.2根据连接方式和信息流向分类25特点仅在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈，故可用来存储某种模式序列。应用神经认知机，动态时间序列过程的神经网络建模反馈网络4.4.2根据连接方式和信息流向分类26特点网状结构；任两个神经元之间都有可能存在连接（反馈）。典型网络Hopfield网络，Boltzmann机网络注：在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在相互结合网络中，信号在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中。相互结合型网络（全互连）4.4.2根据连接方式和信息流向分类27特点前两者的混合；同层内神经元相互连接；可以实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。典型网络回归神经网络（RNN）混合型网络（层内互连）4.4.2根据连接方式和信息流向分类28连接权的确定方法：（1）根据具体要求，直接计算出来，如Hopfield网络作优化计算时就属于这种情况。（2）通过学习得到的，大多数人工神经网络都用这种方法。学习实质：针对一组给定输入Xp(p=1,2,…,

N)，通过学习使网络动态改变权值，从而使其产生相应的期望输出Yd的过程。学习算法分类：有导师学习、无导师学习第4.5节人工神经网络的学习29偏差e注：在训练过程中，存在一个期望的网络输出。它是基于误差来调整网络权值的。应用：感知器网络;多层前向传播网络;Ｂoltzmann机网络。有导师学习学习算法30注：网络不存在一个期望的输出，通过建立一个间接评价函数，对网络的某种行为趋向作出评价，改变神经网络数值。应用：ART网络；Kohonen自组织网络。无导师学习学习算法31强化学习把学习看做试探性评价（奖或惩）过程。学习机选择一种动作作用于环境之后，使环境的状态改变，并产生强化信号（奖或惩）反馈至学习机。学习机依据强化信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性最大。可见，强化信号是环境对学习机学习结果的一个评价。再励学习学习算法32相关学习：仅根据连接间的激活水平改变权系数。Hebb学习规则：纠错学习：根据输出节点的外部反馈改变权系数。学习规则：无导师学习：学习表现为自动实现输入空间的检测和分类。关键不在于实际节点的输出怎样与外部的期望输出相一致，而在于调整参数以反映所观察事件的分布。学习规则33四、人工神经网络的典型模型迄今为止，有30多种人工神经网络模型被开发和应用。1、自适应谐振理论(ART)：此理论由格罗斯伯格提出，是一个根据可选参数对输入数据进行粗略分类的网络。ART-1用于二值输入，而ART-2用于连续值输入。ART的不足之处在于过分敏感，当输入有小的变化时，输出变化很大。2、双向联想存储器(BAM)：由科斯克(Kosko)开发，是一种单状态互联网络，具有学习能力。BAM的缺点是存储密度较低，且易于振荡。3、Boltzmann机(BM)：由欣顿(Hinton)等人提出，建立在Hopefield网络基础上，具有学习能力，能够通过一个模拟退火过程寻求答案。不过，其训练时间比BP网络要长。344、反向传播(BP)网络：方向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。BP网络是一种方向传递并能修正误差的多层映射网络。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广泛的网络之一。BP网络的不足是训练时间较长，且易限于局部极小。5、对流传播网络(CPN)：是一个通常由5层组成的连接网。CPN可用于联想存储，其缺点是要求较多的处理单元。6、Hopefiled网：是一类不具有学习能力的单层自联想网络。Hopefield网络模型由一组可使某个能量函数最小的微分方程组成。其不足在于计算代价较高，而且需要对称连接。7、Madaline算法：是Adaline算法的一种发展，是一组具有最小均方差线性网络的组合，能够调整权值，使得期望信号与输出间的误差最小。此算法是自适应信号处理和自适应控制的得力工具，具有较强的学校能力，但是输入和输出之间必须满足线性关系。358、认知机(neocogntion)是迄今为止结构上最为复杂的多层网络。通过无师学习，认知机具有选择能力，对样品的平移和旋转不敏感。不过，认知机所用节点及其互连较多，参数也多且难选取。9、感知器(perceptron)：是一组可训练的分类器，为最古老的ANN之一，现已很少使用。10、自组织映射网(SOM)：以神经元自行组织以校正各种具体模式的概念为基础。SOM能够形成簇与簇之间的连续映射，起到矢量量化器的作用。最典型的ANN模型(算法)及其学习规则和应用领域如表。36三、BP网络感知器模型中神经元的变换函数采用的是符号函数，因此输出的是二值量。它主要用于模式分类。多层前馈网具有相同的结构，只是神经元的变换函数采用S型函数，因此输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。由于连接权的调整采用的是反向传播(BackPropagation)的学习算法，因此该网络也称为BP网络。在多层前馈网络中，第0层为输入层，第Q层为输出层，有nQ个输出，中间层为隐层。设第q层(q=0,2,

，Q)的神经元个数为nq，输入到第q层的第i个神经元的连接权系统为：371、标准BP算法设给定P组输入输出样本：

利用该样本集首先对BP网络进行训练，也即对网络的连接权系数进行学习和调整，以使该网络实现给定的输入输出映射关系。经过训练的BP网络，对于不是样本集中的输入也能给出合适的输出。该性质称为泛化(generalization)功能。从函数拟和的角度，它说明BP网络具有插值功能。382.4.1BP神经网络模型三层BP网络392.4.2BP网络的标准学习算法-学习过程正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止4041第五节人工神经网络在材料科学中的应用用人工神经网络方法实现材料设计优化1

人工神经网络实现材料工艺优化2人工神经网络实现材料性能预测3基于人工神经网络的材料智能加工与智能控制4425.1引言5.1.1材料设计简介5.1.2材料设计的主要途径5.1.3人工神经网络研究的基本内容43一、什么是材料设计

材料设计（materialsdesign），是指通过理论与计算预报新材料的组分、结构与性能，或者说，通过理论设计来“订做”具有特定性能的新材料。这当然说的是人们所追求的长远目标，并非目前就能充分实现的。尽管如此，由于凝聚态物理学、量子化学等相关基础学科的深人发展，以及计算机能力的空前提高，使得材料研制过程中理论和计算的作用越来越大，直至变得不可缺少。44关于材料设计，或者设计材料这类研究，迄今在国际上还没有统一的流行术语或提法。日本学者1985年就提出了“材料设计学”一词，俄国学者把材料设计包括在“材料学”中。美国学者在《90年代材料科学与工程》报告中称这类工作为材料“计算机分析与模型化”。我国1986年开始实施“863计划”时，对新材料领域提出了探索不同层次微观理论指导下的材料设计这一要求，因此，从那时起在“863”材料领域便设立了“材料微观结构设计与性能预测”研究专题。45由此可见，虽然用语有所差别，但基本含义是共同的。从广义来说，材料设计可按研究对象的空间尺度不同而划分为三个层次：微观设计层次，空间尺度在约1nm量级，是原子、电子层次的设计；连续模型层次，典型尺度在约lμm量级，这时材料被看成连续介质，不考虑其中单个原子、分子的行为；工程设计层次，尺度对应于宏观材料，涉及大块材料的加工和使用性能的设计研究。461、材料设计的发展概况1.1前期研究的回顾“材料设计”设想始于20世纪50年代。在50年代初期，前苏联便开展了关于合金设计以及无机化合物的计算机预报等早期工作。那时前苏联卫星上天，说明其使用的材料是先进的。苏联人于1962年