人工神经网络

1、 人工神经网络人工神经网络(ANN) 是模拟人脑结构和功能的一是模拟人脑结构和功能的一种信息处理系统种信息处理系统. 具有自适应能力，而不是基于多元统具有自适应能力，而不是基于多元统计分析，所以，有人称之为自适应模式识别，也有人计分析，所以，有人称之为自适应模式识别，也有人不把它归入模式识别的范畴不把它归入模式识别的范畴. ANN已被广泛应用于许多已被广泛应用于许多领域，在化学中也成为领域，在化学中也成为QSAR研究的重要方法研究的重要方法. 7.9.2 人工神经网络(ANN)建模 神经网络本质上是一种处理多变量和多响应的方法神经网络本质上是一种处理多变量和多响应的方法, 对非线性问题尤其擅长

2、对非线性问题尤其擅长, 而这类问题在化学中相当多而这类问题在化学中相当多. 所所以以, ANN在化学中得到了广泛的应用在化学中得到了广泛的应用. 例如例如: 多组份分析数多组份分析数据的聚类，据的聚类，QSAR，亲电芳香族取代反应研究，涂料制造，亲电芳香族取代反应研究，涂料制造的优化，红外、核磁等谱图与结构的相关，分子静电势的优化，红外、核磁等谱图与结构的相关，分子静电势的非线性投影、由氨基酸序列预测蛋白质二级结构，故的非线性投影、由氨基酸序列预测蛋白质二级结构，故障检测与过程控制等障检测与过程控制等. 下面简单介绍下面简单介绍ANN基本原理基本原理. 人工神经网络模拟人脑结构和功能而工作人工

3、神经网络模拟人脑结构和功能而工作. 目前人们对大目前人们对大脑的工作机理虽了解甚少脑的工作机理虽了解甚少,但对其结构已有一定了解：大脑由但对其结构已有一定了解：大脑由大量神经元构成大量神经元构成, 每个神经元是一个小的处理单元每个神经元是一个小的处理单元, 其中一个其中一个称为树突的部分接受冲击信号称为树突的部分接受冲击信号, 通过树突支路传到细胞体通过树突支路传到细胞体, 另另一个称为轴突的部分将冲击信号从细胞体传出去一个称为轴突的部分将冲击信号从细胞体传出去. 神经元之间神经元之间通过突触连接通过突触连接, 形成大脑内部的生理神经元网络形成大脑内部的生理神经元网络. 大脑的强大功能主要取决

4、于大脑的强大功能主要取决于神经元的相互连接方式而不神经元的相互连接方式而不是是单个神经元的作用单个神经元的作用. 人工神经网络也是如此人工神经网络也是如此, 因此因此, 人工神人工神经网络强调的是网络而经网络强调的是网络而不是不是神经元神经元.人人工工神神经经元元 人工神经元也称处理单元（人工神经元也称处理单元（PE），具有如下功能），具有如下功能: 1. 处理各个输入信号以确定其强度处理各个输入信号以确定其强度加权加权; 2. 确定所有输入信号的组合效果（净输入）确定所有输入信号的组合效果（净输入）求和求和; 3. 将净输入非线性变换为输出信号将净输入非线性变换为输出信号转换函数转换函数(F

5、). 人工神经元的结构与功能图示如下：人工神经元的结构与功能图示如下： 输入信号表示为输入行矢量输入信号表示为输入行矢量X X= （ X0 , X1 , , XN ） 连接到神经元连接到神经元 j 的权表示为加权矢量的权表示为加权矢量Wj Wj =（ W0j , W1j , , WNj ） Wij的下标的下标i为输入点编号为输入点编号, j为神经元编号为神经元编号. 偏置项偏置项j 用用Xo= -1表示表示, 其连接权其连接权W0j= j （偏置项的作用是（偏置项的作用是提高稳定性）提高稳定性）. 输入的加权和输入的加权和sj可表示为输入行矢量与加权矢量的点积可表示为输入行矢量与加权矢量的点积

6、: sj= X .Wj 净输入净输入sj 如果直接作为输出值如果直接作为输出值 Yj , 往往是不合理的往往是不合理的, 例如非例如非常大或者是负值常大或者是负值. 所以需要所以需要通过一个转换函数通过一个转换函数F，将将 sj 变换变换为输出值为输出值 Yj )()()(0ijNiijjjWXFWXFsFY 转换函数转换函数F将将净输入净输入变换到一变换到一个指定的有限范围内输出个指定的有限范围内输出. F有有许多类型许多类型, 其中最重要的是其中最重要的是Sigmoid压缩函数压缩函数: F(s)=1/(1+e-s ) 神经元如何连接成网络呢神经元如何连接成网络呢? 最简单的做法是让一组几

7、个神经元最简单的做法是让一组几个神经元(神经元也称神经元也称为结点为结点)形成一层形成一层. 其中的加权构成加权矩阵其中的加权构成加权矩阵W. 层与层可以进一步连接层与层可以进一步连接, 形成多层网络形成多层网络. 这种连接这种连接可能有各种不同的方式可能有各种不同的方式, 下面只涉及前馈全连接多层下面只涉及前馈全连接多层网络网络, 这指的是这指的是: 每一个神经元只连接到下一层的所有每一个神经元只连接到下一层的所有神经元神经元, 而没有部分连接、没有反馈连接、没有层内而没有部分连接、没有反馈连接、没有层内连接、也没有隔层前馈连接连接、也没有隔层前馈连接.（注意：（注意：“前馈前馈”意味着意味

8、着信号流动方向是从输入端到输出端，信号流动方向是从输入端到输出端， “反馈反馈”则意味则意味着与此相反的方向）着与此相反的方向）.人人工工神神经经网网络络的的拓拓扑扑结结构构下图是一个下图是一个(6841)神经网络神经网络(不包括偏置项不包括偏置项): 对于对于QSAR研究研究, 每一层的结点数应当如何确定呢每一层的结点数应当如何确定呢? (1) 输入层结点数等于结构参数的数目输入层结点数等于结构参数的数目, 与样本数无关与样本数无关; (2) 输出层结点数可以有不同的选择。例如输出层结点数可以有不同的选择。例如, 若想把预测若想把预测集样本分为集样本分为p类类, 应当用一个输出结点、将输出值

9、划分为应当用一个输出结点、将输出值划分为p段来段来确定每个样本的类别呢确定每个样本的类别呢? 还是应当用还是应当用p个输出结点个输出结点, 让每个结点让每个结点产生一个二进制型输出（产生一个二进制型输出（1或或0）来确定每个样本的类别呢）来确定每个样本的类别呢? 一一般说来般说来, 后一种选择产生的误差小后一种选择产生的误差小. (3) 隐蔽层结点数的确定是一个理论上尚未解决的复杂问隐蔽层结点数的确定是一个理论上尚未解决的复杂问题，通常用尝试法来确定题，通常用尝试法来确定. 尽管有一些经验性的估计方法尽管有一些经验性的估计方法.训训练练算算法法 ANN最有趣的特征是可以学习最有趣的特征是可以学

10、习. 要让它具有某种要让它具有某种功能，必须先对它进行训练功能，必须先对它进行训练. 训练与学习是分别从人和训练与学习是分别从人和网络两个不同的角度来讲的网络两个不同的角度来讲的. 所谓学习所谓学习, 实质上就是权实质上就是权重矩阵随外部激励作自适应变化重矩阵随外部激励作自适应变化. 训练就是相继加入输入矢量，并按预定规则来调训练就是相继加入输入矢量，并按预定规则来调节网络权值节网络权值. 在训练过程中，网络的各权值都收敛到一在训练过程中，网络的各权值都收敛到一确定值，以便对于每个输入矢量都会产生一个要求的确定值，以便对于每个输入矢量都会产生一个要求的输出矢量输出矢量. 调节权值所遵循的预定规

11、则称为训练算法调节权值所遵循的预定规则称为训练算法. 训练算法分为监督与无监督两类训练算法分为监督与无监督两类. 监监督督训训练练 监督训练不但需要输入矢量，还要求与之对应的目监督训练不但需要输入矢量，还要求与之对应的目标矢量，组成一个训练对标矢量，组成一个训练对; 训练一个网络需要很多训练对，训练一个网络需要很多训练对，构成一个训练组构成一个训练组. 当加上一个输入矢量时，先计算网络的输出，与目当加上一个输入矢量时，先计算网络的输出，与目标矢量比较，根据比较的误差，按规定算法改变权值标矢量比较，根据比较的误差，按规定算法改变权值. 加入每个训练对以后加入每个训练对以后, 都要这样调节权值，直

12、到训练组中都要这样调节权值，直到训练组中所有训练对的误差都达到可接受的最低值为止所有训练对的误差都达到可接受的最低值为止. 著名的误差反向传播著名的误差反向传播(BP)就是就是一种一种应用最广泛的应用最广泛的监监督训练算法督训练算法. 在神经网络应用于化学的文献中在神经网络应用于化学的文献中, BP约占约占90%. 所以所以,下面只介绍下面只介绍BP的基本原理的基本原理. BP的学习包含四个过程：的学习包含四个过程： 1. 输入信号由输入层出发，经过各隐蔽层，正输入信号由输入层出发，经过各隐蔽层，正向传播到输出层的模式顺传播过程向传播到输出层的模式顺传播过程; 2. 输出矢量与目标矢量相比较输

13、出矢量与目标矢量相比较, 误差信号由输误差信号由输出层经过隐蔽层向输入层反向传播出层经过隐蔽层向输入层反向传播, 逐层修正连接权逐层修正连接权和阈值和阈值, 即误差逆传播过程即误差逆传播过程(BP这一名称即由此而来这一名称即由此而来); 3. 以上两个过程反复交替进行的网络学习训练以上两个过程反复交替进行的网络学习训练过程过程; 4. 网络全局误差趋向极小的学习收敛过程网络全局误差趋向极小的学习收敛过程.BP基基本本原原理理 在神经网络训练过程中，在神经网络训练过程中，“过拟合过拟合”是一个常见是一个常见问题，即随着迭代次数的增加，尽管训练集的均方根问题，即随着迭代次数的增加，尽管训练集的均方

14、根偏差可能还在下降，但测试集的均方根偏差却开始上偏差可能还在下降，但测试集的均方根偏差却开始上升，这是网络模型为了拟合个别样本所致升，这是网络模型为了拟合个别样本所致. . 为避免过拟合，有专家建议用测试集来监控训练为避免过拟合，有专家建议用测试集来监控训练过程，一旦测试集均方根偏差开始上升，无论训练集过程，一旦测试集均方根偏差开始上升，无论训练集均方根偏差下降与否，均应停止训练均方根偏差下降与否，均应停止训练. . 测试集的均方测试集的均方根偏差曲线可能有若干个极小值，取其最小值对应的根偏差曲线可能有若干个极小值，取其最小值对应的叠代次数作为最优训练次数叠代次数作为最优训练次数, ,相应的权

15、重矩阵用于分相应的权重矩阵用于分类类. .训训练练次次数数的的确确定定 ANN程序程序Qwiknet简介简介 (1) 用用Notepad建立训练集建立训练集(输入输入)文件文件 .trn例例:* Comment1* *Comment nINPUTS2(意指下列每个样本行中意指下列每个样本行中, 前两列用作输入数据即特征参数前两列用作输入数据即特征参数)OUTPUTS1(意指下列每个样本行中意指下列每个样本行中, 其余一列用作输出数据即目标值其余一列用作输出数据即目标值)0.00000 0.00000 0.10000(代表代表0)0.00000 1.00000 0.90000 (代表代表1)1.

16、00000 0.00000 0.90000 (代表代表1)1.00000 1.00000 0.10000 (代表代表0) 1. 运行程序前运行程序前, 准备训练集输入文件准备训练集输入文件 .trn和测试集输入文件和测试集输入文件 .tst (2)用用Notepad建立测试集建立测试集(输入输入)文件文件 .tst例例:INPUTS2(意指下列每个样本行中意指下列每个样本行中,前两列用作输入数据即特征参数前两列用作输入数据即特征参数)OUTPUTS1(不不用用测试集监控训练过程则不用此行测试集监控训练过程则不用此行, 下列各行也不要最后一列下列各行也不要最后一列目标值目标值)0.00000 0

17、.00000 0.10000(代表代表0)0.00000 1.00000 0.90000 (代表代表1)1.00000 0.00000 0.90000 (代表代表1)1.00000 1.00000 0.10000 (代表代表0) 即使用即使用测试集来监控训练集的训练过程，测试集来监控训练集的训练过程，.trn与与.tst文文件也必须分别建立而不能合二为一件也必须分别建立而不能合二为一. 只不过只不过, 若用测试集来若用测试集来监控训练集的训练过程监控训练集的训练过程, tst文件中须含最后一列目标值文件中须含最后一列目标值, 且且.trn与与.tst文件要同时加载文件要同时加载, 过程交替进行

18、过程交替进行(在训练过程显在训练过程显示两条误差曲线示两条误差曲线); 若监控与测试分为先后两个独立过程若监控与测试分为先后两个独立过程, 则则tst文件中不文件中不含最后一列目标值含最后一列目标值, 当然也没有当然也没有OUTPUTS行行; trn与与tst文文件不同时加载件不同时加载, 只在单独预测时将预测值写进输出文件只在单独预测时将预测值写进输出文件.out, 而看不到运算过程而看不到运算过程. (1)点击按钮点击按钮Training Data,找到训练集输入文件找到训练集输入文件 .trn,点击点击按钮按钮“打开打开”。输入文件名出现在按钮。输入文件名出现在按钮Training Da

19、ta之之后后:(2)样本数出现在样本数出现在Patterns之后之后: 2. 加载训练集输入文件加载训练集输入文件 .trn (1)显示隐含层数目，这允许修改显示隐含层数目，这允许修改:(2)显示隐含层节点数目，这允许修改显示隐含层节点数目，这允许修改:(3)显示输入层节点数目显示输入层节点数目: 3. 设置网络结构设置网络结构: 隐含层数目及其节点数目隐含层数目及其节点数目(4)显示显示转换函数转换函数F的类型。的类型。 Logstic即即Sigmoid压缩函数。压缩函数。这可修改这可修改:(1) 例如，选用例如，选用QuickProp. 这允许修改这允许修改: 4. 设置训练方法设置训练方法(2) 确认确认Cross-Valid