人工智能原理及MATLAB实现 课件 第3章 人工神经网络

第三章人工神经网络第三章人工神经网络3.1人工神经网络的基本原理ANN是在人类对其大脑神经网络认识理解的基础上，人工构造的能够实现某种功能的网络系统，它对人脑进行了简化、抽象和模拟，是大脑生物结构的数学模型。ANN由大量功能简单而具有自适应能力的信息处理单元即人工神经元按照大规模并行的方式，通过的拓扑结构连接而成。第三章人工神经网络3.1人工神经网络的基本原理3.1.1人工神经元人工神经元是对生物神经元结构和功能的模拟。可以把人工神经网络看成是以处理单元为节点、用加权有向弧相互连接而成的有向图。其中处理单元是对生理神经元的模拟，而有向弧则是对轴突－突触－树突对的模拟，有向图的权值表示两处理单元的相互作用的强弱。第三章人工神经网络3.1人工神经网络的基本原理3.1.2传递函数在人工神经元系统中，其输出是通过传递函数f（∙）来完成的。传递函数的作用是控制输入对输出的激活作用，把可能的无限域变换到给定范围的输出，对输入、输出进行函数转换，以模拟生物神经元线性或非线性转移特性。f函数形式多样，它反映了神经元的线性特征，这些特征一般可分为3种类型：简单的映射关系、动态系统方程和概率统计模型。第三章人工神经网络3.1人工神经网络的基本原理3.1.3人工神经网络的基本特点人工神经网络具有一系列不同于其他计算方法的性质和特点：（1）神经网络将信息分布贮存在大量的神经元中，且具有内在的知识索引功能，也即具有将大量信息存贮起来并具有以一种更为简便的方式对其访问的能力。（2）人工神经网络能模拟人类的学习过程，并且有很强的容错能力。（3）人工神经网络是一种非线性的处理单元。第三章人工神经网络3.1人工神经网络的基本原理3.1.4人工神经网络的数学基础人工神经网络涉及许多数学知识。限于篇幅，在此仅介绍最基本的数学基础知识：(1)向量的内积与外积：设向量V＝(v1,v2,…,vn)和矩阵W＝(w1,w2,…,wn)。向量可用两种方法来相乘，一种是称为点乘，又称内积，另一种为外积。（2）矩阵运算与层次结构网络：设给定一个向量V和一个矩阵W，则它们的乘积为一向量：W·V=U这种运算又称为映射，即V被W映射成U：U=WV；若用W-1表示W的逆矩阵，则类似地有映射：V=W－1U。第三章人工神经网络3.2人工神经网络的结构形式3.2.1分层网络结构分层网络结构又称为层次网络结构，按层的多少，可分为单层、双层和多层的网络结构。1.单层或双层网络结构第三章人工神经网络3.2人工神经网络的结构形式3.2.1分层网络结构2.多层网络结构第三章人工神经网络3.2人工神经网络的结构形式3.2.2相互连接型结构相互连接型网络可以认为是一种非线性动力学系统，其主要特点是模块内部的神经元紧密相互连接，每个模块则完成自己特定的功能。然后，模块之间相互连接，以完成整体功能。模块结构又与层次结构相结合，形成多层次多模块结构。显然，这种互连形式的人工神经网络将更接近于人脑神经网络系统的结构。第三章人工神经网络3.3神经网络模型分类（1）按学习方式分类按学习方式分为有导师学习（有监督训练）、强化学习和无导师（无监督训练）3类网络模型。（2）按网络的活动方式分类按网络的活动方式即按网络的学习技术，可分为确定性活动方式和随机性活动方式。第三章人工神经网络3.3神经网络模型分类（3）按神经网络的建立原理分类按神经网络的建立原理，可分为数学模型和认知模型。（4）按网络的信息处理能力分类按网络的信息处理能力可分为模型识别、模式分类、组合优化问题求解、数据聚簇与组合、数学映射逼近和联想记忆等。第三章人工神经网络3.4人工神经网络学习算法3.4.1Hebb学习算法该算法又称为Hebb学习规则，其思想描述如下：（1）如果一个突触（连接）两边的两个神经元被同时激活，则该突触的能量就有选择性的增加。（2）如果一个突触两边的两个神经元被异步激活，则该突触的能量就被有选择性的减弱或消除。第三章人工神经网络3.4人工神经网络学习算法3.4.2误差修正学习算法该学习算法是一种有监督的学习过程，它是利用神经网络的期望输出与实际输出间的偏差作为调整连接权值的依据，并最终减少这种偏差到规定的误差范围内。设实际输出yi(n)与期望输出d(n)间的误差e(n)为e(n)＝d(n)－yi(n)，性能函数为E(n)=e2(n)/2，则学习过程就是调整突触权值，经过反复迭代计算使性能函数E(n)达到最小或使系统收敛到稳定状态，即使突触权值稳定。这个学习过程称为纠错学习，也称Delta规则。第三章人工神经网络3.4人工神经网络学习算法3.4.3随机型学习算法随机型学习算法也称为Boltzmann学习规则，是结合随机过程、概率和能量（函数）来调整网络的变量，从而使网络的目标函数达到最大（最小）。在该学习规则设计出的神经网络称为Boltzmann机。Boltzmann机的变化应遵循以下准则：（1）如果网络的能量变化后，能量函数有更低的值，那么接受这种变化。（2）如果网络的能量变化后，能量函数没有更低的值，那么按一个预先选取有概率分布接受这种变化。第三章人工神经网络3.4人工神经网络学习算法3.4.4竞争型学习算法竞争型学习算法是指网络的某些群体中所有单元相互竞争对外界刺激模式响应的活动方式，竞争取胜单元的连接权向着对这一刺激模式竞争更有利的方向变化，而且竞争取胜的单元又抑制了竞争失败单元对模式的响应。因此在任一时间只能有一个输出神经元是活性的。竞争学习更一般化的形式是不允许单个胜利者出现，学习发生在取胜者集合（称为取胜域）中各单元的连接权上，这种学习又被称为协同学习。第三章人工神经网络3.4人工神经网络学习算法3.4.5基于记忆的学习算法在基于记忆的学习中，过去的学习结果被存储在一个大的存储器中，当输入一个新的测试向量xtest时，学习过程就是将xtest归到已存储的某个类中。所有基于记忆的学习算法包括两部分：用于定义xtest的局部邻域的标准；用于在xtest的局部邻域训练样本的学习规则。第三章人工神经网络3.4人工神经网络学习算法3.4.6结构修正学习算法生理学和解剖学的研究表明，神经网络结构的修正，即网络拓扑结构的变化，对动物的学习过程也起到重要的作用。这意味着神经网络的学习不仅体现在权值的变化上，而且网络结构的变化也会对学习产生影响。第三章人工神经网络3.5典型的人工神经网络（1）单层前向网络：最简单的人工神经网络，其网络中的神经元只有一层。最典型的单层前向网络是感知机。（2）多层前向网络及BP学习算法：为了解决非线性可分的问题，可以采用多层网络，即在输入层和输出层之间加上隐层。这种由输入层、隐层和输出层组成的网络就是多层前向神经网络。BP网络就是一种单向的多层前向神经网络。（3）径向基函数神经网络（RBF）：RBF网络是20世纪80年代提出的一种人工神经网络结构，是具有单隐层的前向网络。它不仅可以用来函数逼近，也可以进行预测。第三章人工神经网络3.5典型的人工神经网络（4）自组织竞争人工神经网络：在生物神经系统中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。（5）对向传播神经网络（CPN）：对向传播（CounterPropagation，CPN）网络是将自组织竞争网络与Grossberg基本竞争型网络相结合，发挥各自的特长的一种新型特征映射网络。（6）反馈型神经网络（Hopfield）：Hopfield网络由相同的神经网络元构成的单层，并且具有学习功能的自联想网络，可以完成制约优化和联想记忆等功能，是目前人们研究最多的模型之一。第三章人工神经网络3.6人工神经网络的matlab实战人工神经网络在故障诊断、特征的提取和预测、非线性系统的自适应控制、不能用规则或公式描述的大量原始数据的处理等方面具有比经典计算方法优越的性能、且有极大的灵活性和自适应性。在实际应用中，面对一个实际问题，如要用人工神经网络求解，首先应根据问题的特点，确定网络模型，再通过网络仿真分析，分析确定网络是否适合实际问题的特点。第三章人工神经网络3.6人工神经网络的matlab实战例题

测定了18个芳香腈化合物对发光菌毒性的大小及某些理化性能参数，如表3.3所示。请根据结构性能关系，预测三个未知毒性化合物的类别。编号半致死量log(1/EC50)正辛醇/水分配系数logkowπ参数共轭场效应P立体效应ES克分子折射MRVeeloop参数L毒性分类123456789101112131415-2.397-2.383-2.330-2.297-2.179-1.927-1.812-1.810-1.702-1.570-1.052-1.032-1.018-1.008-0.9791.771.231.491.420.910.822.421.101.172.632.062.893.602.351.754.2793.6913.2893.7663.6873.5703.7913.7622.8935.0354.3544.6505.1614.2683.882-4.482-4.796-2.214-4.428-2.048-4.889-4.586-1.6800.534-2.048-4.1140.534-1.583-4.507-4.967-1.63-1.56-0.55-1.10-2.68-1.10-1.16-2.22-1.67-4.39-0.55-3.38-2.61-1.71-1.7119.8315.237.8715.7411.1410.728.8811.653.7826.127.8718.7824.7916.7511.738.367.423.987.963.206.723.833.74-0.247.313.983.877.397.816.571111122222333331617-2.091-1.5541.302.033.2143.877-2.582-1.9-1.01-0.627.3612.473.444.92

第三章人工神经网络解：可以用多种神径网络方法求解：（1）利用BP网络：>>loadp%输入归一化后的化合物结构参数矩阵>>t=[111112222233333];>>net=newff(minmax(p(:,1:15)),[401],{'logsig''purelin'},'traingdm');>>net.trainParam.epochs=8000;net.trainParam.goal=0.001;[net,tr]=train(net,p,t);>>p1=[0.05120.0260;0.39090.2744;0.58260.4024;0.00200.0020;0.15950.0907;0.99800.9980;0.60530.4747];>>a=sim(net,p1)