《计算化学》-计算化学-第6章

6.1人工神经网络人工神经网络(ArtificalNeuralNetwork,AAN).是一类模拟人脑功能的全新的数据和知识等信息的处理加工系统.是由人工建立的以有向图为拓扑结构的动态系统.它通过对连续或断续的输入作状态响应从而进行信息处理。它起源于20世纪40年代.在80年代后逐步得到推广应用。由于人工神经网络是由大量处理单元组成的非线性大规模自适应动力系统.并且它是通过模拟大脑神经网络处理、记忆信息的方式.以软件或硬件形式在计算机上实现.使其在一定程度上成为具有人脑信息处理能力的信息处理技术。特别是可以利用人工神经网络解决人工智能研究中遇到的一些难题。下一页返回6.1人工神经网络目前人工神经网络的研究与发展主要表现在两个方面一方面是进行神经网络模型的算法研究.另一方面是将人工神经网络应用于各个领域。人工神经网络法应用于自然科学的各个领域.但在化学化工中的应用最为成功.由于人工神经网络技术既可以用于多元校正又可以用于模式识别特别是它的非线性映照的特性.更使得它在定量构效关系研究中独具魅力.是目前化学研究中的一个热点。本章将简单地介绍人工神经网络的基本原理、BP人工神经网络、人工神经网络的组织和运行技术.以及人工神经网络在化学中的应用下一页返回上一页6.1人工神经网络6.1.1人工神经网络的结构和功能1.人脑的基本特征

神经科学研究表明.中枢神经的主要部分由1011~1012个神经元组成神经元的基本结构如图6.1所示。中心为细胞体.它能对接收到的信息进行处理。细胞体周围的纤维分为两大类:一类是树突.即输入端;另一类是轴突.即输出端。一神经元的轴突与另外一神经元的树突的结合部位称为突触.它决定了神经元之间的连接强度及其性质。每个神经元可有101~105个突触.这表明大脑皮层就是广泛连接的复杂网络系统上一页下一页返回6.1人工神经网络人脑具有很强的容错性和联想功能，善于概括、类比和推广。人脑能善于将不同领域的知识结合起来灵活运用。虽然人脑每天有大量神经细胞正常死亡.但并不影响大脑的功能。大脑的局部损伤会引起某些功能逐渐衰退.但不是功能的突然丧失.这与普通的计算机不同.计算机中不同的知识和数据存储互不相关.只有通过人编写的程序才能互相沟通。程序中微小的错误都可能引起严重的后果.表现出极大的脆弱性。人脑与普通计算机在功能上存在巨大差别的根本原因是对信息的存储和加工方式不同。计算机是信息局部存储.即按照程序指令提取相关信息在操作区进行计算.整个操作是串行的.而大脑的信息存储在神经元之间连接强度的分布上.这种存储本质上是分布式的。人脑的功能受先天因索的制约.但诸如训练、学习等后天因索也起重要的作用。人脑具有很强的自适应性和自组织性。人类的很多智能活动并不是按照逻辑方式进行的.而是由习惯成自然而形成的。上一页下一页返回6.1人工神经网络2.人工神经网络的基本框架通常神经网络包含大量的信息处理单元.称为神经元或节点。神经元本身只做简单的信息加工处理.而神经元之间则具有十分复杂与丰富的相互连接关系.这种连接强度用一种可变的权值表示。根据一定的学习规则.通过改变神经元之间的连接强度可以适应所处理的问题.因而神经网络具有学习功能上一页下一页返回6.1人工神经网络人工神经网络的通用框架可以分为以下几个方面:①一个处理单元集;②激活的状态;③每个单元的输出函数;①单元之间的连接模式;⑤在连接网络中传播活动模式的传播规则;⑥结合某单元的输入和该单元的当前状态产生此单元新激活值的激活规则;⑦根据经验来修改连接模式的学习规则;⑧系统操作必需的环境。上一页下一页返回6.1人工神经网络图6.2表示了神经网络这些基本框架构成.圆圈表示处理单元。在任意特定的时间里每个单元都有一个激活值.用ai(t)表示。所有的激活单元值组成的向量代表了网络的激活程度。在单元的激活值上作用它的输出函数fi可以产生它的输出值Oi(t).这个输出值可以通过单向连接传递给系统的其他单元。在每条连接上相应有一个实数.通常叫做权.表示连接的强度.记作Wij。所有的输入通过一些操作组合起来.然后由某一单元的组合输入和它当前的激活状态.就可以根据激活规则——函数F.来确定该单元的新激活值。上一页下一页返回6.1人工神经网络3.人工神经网络的具体结构人工神经网络是根据生物神经网络而设计的。通常生物神经网络的基本构造和功能单元是生物神经元.即神经细胞。生物神经元具有接收、处理、输出信息的功能。因而人工神经网络的基本结构分为(1)人工神经元人工神经元是对生物神经元的模拟。在生物神经元上.来自轴突的输入信号神经元终结于突触上。人工神经网络的基本处理单元是节点.它的主要功能是接收信号、处理信号和输出信号。(2)权重权重也称为连接权重或连接强度。神经元之间的权重大小反映了神经元的信号输出对与之相连接的神经元的影响强弱上一页下一页返回6.1人工神经网络(3)连接模式在人工神经网络中.信号是通过人工神经元之间的连接进行传递的。神经元之间相互连接的方式称为连接模式。连接模式反映了网络的结构.决定了网络的性能。原则上任何一个神经元都可以和另外的任意一个神经元进行连接。基于不同的应用目的.各种神经元的连接方式是不同的。若神经元分布在网络的不同层次中.神经元之间的连接通常会有一定的限制。在一般的神经网络中.只允许相邻两层的神经元互相连接.同一层里面的神经元是不允许连接的。另外.根据网络传递信号的方向分为前馈连接和反馈连接。上层神经元接受来自下层神经元的输出称为前馈连接.下层神经元接受来自上层神经元的输出称为反馈连接上一页下一页返回6.1人工神经网络(4)学习算法人工神经网络最大的优点是具有学习功能。在网络的学习过程中.连接权重将被不断地修改.同时将结果逐步储存在网络中。修改连接权重的规则称为学习算法。学习算法的种类很多.其中误差反向传播算法是应用最广的一种算法上一页下一页返回6.1人工神经网络4.神经元的功能函数多层神经网络除了输入层和输出层以外还有隐含层。隐含层处于输入层和输出层之间。隐含层可以不止一层.但大多数的神经网络模型中只有一层隐含层。神经元分布在输入层、输出层和隐含层中。来于外部环境的信号通过输入层中的神经元传入网络中.网络产生的信号通过输出层中的神经元传送到外部环境。隐含层中的神经元不与外部环境产生直接的联系.其功能是接受、处理来自网络内部的信息·并将产生的。输出传送给与之有关的神经元。无论哪一层中的人工神经元都具有输入、处理和输出信号三个基本功能。如图6.3所不.这些功能通过功能函数的作用而实现。最常用的功能函数有线性加权和、恒同函数和非线性可微非递减函数。非线性神经元的特点是输入、处理和输出函数中至少有一个是非线性函数。上一页下一页返回6.1人工神经网络(1)输入函数在非线性神经网络中通常以线性加和作为神经元的输入函数，以神经元，为例，即式中.Oi为神经元:产生的输出信号.这个信号对于神经元j来说是一个来自神经元i的输入信号;Wij为神经元i和神经元j之间的连接权重,可以是正值或负值;ij为神经元j接受来自所有与之相连接的神经元输入信号的加权和。上一页下一页返回6.1人工神经网络(2)处理函数处理函数又称作用函数.通常用函数f(ij)表示。最常用的线性处理函数是恒同函数.最常用的非线性处理函数是S型压缩函数。当处理函数是恒同函数时，则式中.aj表示神经元j的输入值经过处理后得到的活化值。上一页下一页返回6.1人工神经网络当处理函数是S型压缩函数时.则式中，aj为神经元j的活化值;ij为神经元j的神经元输入信号的加权和;Θ是一个调节S型压缩函数非线性度的参数。该函数(图6.4)的优点是函数本身及其导数都是连续的·其特点是:ij的取值可以从-∞至+∞变化.而aj的变化范围则被限制在[0,1]之间。特别是当ij的取值在0的附近时，ij的微小变化都能引起aj的较大变化.但是除了这个区域.在S型压缩函数的饱和区间中.即使ij的取值变化较大.对应的aj值却变化平缓.趋向于0和1。上一页下一页返回6.1人工神经网络(3)输出函数输出函数hj(aj)的作用是将活化值aj映射为一个输出信号Oj，该信号可向多个方向传送输出函数常用恒同函数表示.即输出函数也可以用阈值函数或随机函数表示上一页下一页返回6.1人工神经网络6.1.2人工神经网络的学习方法1.人工神经网络的学习机理神经网络是由许多相互连接的处理单元组成的.这些处理单元通常线性排列成组.称为层。每一个处理单元有许多输入量(xi).而每个输入量都对应有一个相关联的权重(Wij)。处理单元将经过权重的输入xiwij相加，而且计算出唯一的输出量(yi)。这个输出量是权重和的函数(f)。图6.5概括了处理单元的工作方式。我们称函数f为传递函数。对于大多数神经网络.当网络运行时.传递函数一旦选定.就保持不变。然而·权重(wij)是变量·可以动态的进行调整·产生一定的输出(yi)。权重的动态修改是学习中最基本的过程.对单个的处理单元来说.调整权重很简单。但对于大量组合起来的处理单元.权重的调整类似于“智能过程”.网络最重要的信息存在于调整过的权重之中。上一页下一页返回6.1人工神经网络2.学习方式有两种不同的学习方式或训练方式.即有指导的训练和没有指导的训练。(1)有指导的学习在这种学习方式中.网络将应有的输出与实际输出数据进行比较。网络经过一些训练数据组的计算后.最初随机设置的权重经过网络的调整.使得输出更加接近实际的输出结果.所以学习过程的目的在于减小网络应有的输出与实际输出之间的误差这是靠不断调整权重来实现的对于指导下学习的网络.网络在可以实际应用之前必须进行训练。训练的过程是用一组输入数据与相应的输出数据进行网络训练。网络根据这些数据来调整权重。在训练过程中.每输入一组数据.同时告诉网络相应的输出应该是什么。网络经过i)II练后.若认为网络的输出与应有的输出间的误差达到了允许范围.权重就不再改动了.这时的网络可以用新的数据去检验。上一页下一页返回6.1人工神经网络(2)没有指导的学习在这种学习方式下.网络不靠外部的影响来调节权重。也就是说网络训练过程中.只提供输入数据而无相应的输出数据。网络检查输入数据的规律或趋向.根据网络本身的功能来进行调整.不需告诉网络这种调整是好还是坏。这种没有指导进行学习的算法.强调组之间处理单元的协作如果输入信息使处理单元组的任何单元激活.整个处理单元组的活性就增强。上一页下一页返回6.1人工神经网络3.学习规则神经网络中的学习规则遵从联想或竞争学习规则。在神经网络中.学习包含两个方面的含义:①产生新的或删除已经存在的突触连接;②通过对预定义目标函数的最小化.改变已经存在连接的权重。在神经网络中.使用各种学习规则.最著名的是Hebb规则。但是仍然有许多新的学习在不断研究之中上一页下一页返回6.1人工神经网络(1)Hebb规则Hebb规则是最简单的联想学习规则.它是1945年由DonaldHebb提出来的。它的基本思想是当一神经元接收另一神经元的信号时.如果两者同时处于激活状态.则它们之间的连接得到增强用数学式表示为其中ηt是学习速度·它是时间t的函数.如这里t表示循环次数.因为神经网络的训练过程一般用迭代次数控制上一页下一页返回6.1人工神经网络(2)Delta规则Delta规则是最常见的学习规则.其要点是改变单元间的连接权重来减小系统实际输出与应有输出之间的误差.这个规则也叫Widrow-Hoff学习规则.首先在Adaline模型中应用。Delta规则既可用作输入端.又可用作输出端.主要是用于当前值与理论值的比较:在反向传播网络中我们将学习广义Delta规则的一般应用。上一页下一页返回6.1人工神经网络(3)Kohonen学习规则Kohonen学习规则是由TeuvoKohenen在研究生物系统学习的基础上提出的.只用于没有指导下训练的网络。Kohonen学习的目的是将相似的信号映射到相似的神经元位置上。在学习过程中.处理单元竞争学习的机会。在竞争学习规则里.用适当的距离量度确定输入向量和权重之间的距离。通常.采用欧氏距离来表示.详细计算关键步骤为找出优胜神经元j，该神经元为所有神经元i=1,...,n中与输入向量最接近的神经元:其中学习竞争规则又分为无监督竞争学习和有监督竞争学习两种模式。上一页下一页返回6.1人工神经网络(4)反向传播学习规则误差的反向传播技术一般采用Delta规则.此过程涉及两步.首先是正反馈.当输入数据输入网络以后.网络从前TI后计算出每个单元的输出.将每个单元的输出与应有的输出进行比较.并计算误差。第二步是向后传播.从后向前重新计算误差.并修改权重。完成这两步以后才能输入新的输入数据。(5)Grossberg学习规则StephenGrossberg结合Hebb规则.通过改造建立起新的学习规则。Grossberg学习规则将每个神经网络划分为星内和星外两个部分。星内单元是指接受输入的处理单元.星外单元是指输出发生到许多其他处理单元的单元。在Grossberg学习规则中.如果一个单元的输入和输出活动强烈.其权重的改变就相应变大。目前.Delta规则是使用最为广泛的学习规则.但随着科学技术的发展.新的学习规则将不断出现上一页下一页返回6.1人工神经网络6.1.3人工神经网络中的归一化问题1.归一化原理归一化可以归纳统一样本的统计分布性。归一化在[0,1]之间是统计的概率分布.归一化在[+∞，-∞]之间是统计的坐标分布。归一化有同一、统一和合一的意思。神经网络是以样本在事件中的统计概率分布来进行计算和预测的.归一化是同一在[0,1]之间的统计概率分布.当所有样本的输入信号都为正值时.与第一隐含层神经元相连的权值只能同时增加或减小.从而导致学习速度变慢。为了避免出现这种情况.加快网络学习速度.可以对输入信号进行归一化.使得所有样本的输入信号的均值接近于其方差或与其均方差相比很小。因为函数的取值是0~1之间的.网络最后一个节点的输出也是如此.所以经常要对样本的输出作归一化处理。由于采集的各数据单位不一致.因而须对数据进行归一化处理。但是归一化处理并不总是合适的.根据输出值的分布情况.标准化等其他统计变换方法有时可能更好。上一页下一页返回6.1人工神经网络2.归一化的主要方法归一化方法主要有如下几种。①线性函数转换.表达式如下:说明:x和y分别为转换前、后的值;MaxValue,MinValue分}!l为样本的最大值和最小值。②对数函数转化.表达式如下:说明:以10为底的对数函数转换。③反余切函数转换.表达式如下:上一页下一页返回6.1人工神经网络6.1.4BP人工神经网络人工神经网络的研究始于1943年美国心理学家Mecullocl:和Pitts提出的神经元模型.它是一个多输入、单输出的闽值逻辑处理单元.是一种按误差逆传播算法训练的多层前馈网络.是目前应用最广泛的神经网络模型之一。网络能学习和存贮大量的输入一输出模式映射关系.而无需事前揭不描述这种映射关系的数学方程。它的学习规则是使用最速下降法.通过反向传播来不断调整网络的权值和闽值.使网络的误差平方和最小。此后一些学者在神经元数学模型及计算方面进行了深人研究.其中Yryson和Hopfield提出的多层前馈网络的误差反向传播算法(backpropagation.BP算法)成为神经网络的典型算法。BP神经网络为多层网络结构.分别由一个输入层、一个输出层、若干个隐含层构成.每一层有若干个神经元(节点).相邻层间的各神经元通过权重相连.同层内神经元无连接上一页下一页返回6.1人工神经网络1.BP神经网络的特点①BP神经网络为多层网络结构.网络中有隐含层。标准的BP型神经网络由三层组成.第一层为输入层.中间层为隐含层.第三层为输出层.每一层中均有多个神经元。各层神经元之间形成相互连接.但每层内的神经元之间没有连接。上一页下一页返回6.1人工神经网络②神经元的非线性由S型压缩函数实现。传递函数一般为(0,1)S型变换函数:输出层的神经元采用纯线性变换函数，误差函数用式(6.13)表示：式中.tpi，opi分别为期望输出和网络的计算输出。上一页下一页返回6.1人工神经网络③训练网络的方法采用误差反向传播训练算法。以图6.6所示的一种BP型神经网络为例.说明神经网络的工作原理及其训练步骤图中输入层有3个神经元.隐含层有n个神经元.而输出层有3个神经元BP型神经网络的学习由四个过程组成.输入模式由输入层经隐层向输出层采用“模式顺传播”过程.网络希望输出与网络实际输出之间误差信号经隐层向输入层采用逐层修正连接权的“误差逆传播”方式.由“模式顺传播”与“误差逆传播”的反复交替进行。从网络的学习过程可知.该算法为有教师学习算法.其学习过程可分为正向传播和反向传播两部分。在正向传播过程中.输入信息从输入层经隐层计算每一层的神经元输出并传向输出层.每一层神经元状态只影响下一层神经元的状态。如果输出值与目标的误差不符合要求.则计算出输出层的误差变化值.然后反向传播通过网络将误差信号沿原来的传播途径反传回去.并修改各层神经元的权值和阈值，如此循环.直到达到期望输出值网络的算法步骤可描述如下上一页下一页返回6.1人工神经网络第一步:对原始数据作预处理.同时随机赋子网络中各神经元之间的连接权重及将各神经元的阈值进行初始化。一个样本的输入数据的数目与网络输入层中神经元的数目相同。对原始数据作归一化处理.以消除量纲的影响。为使网络易于收敛.根据S型压缩函数的输出范围对目标输出值进行必要的变换。变换后的目标输出值可控制在[0.05,0.95]之间.这样网络给出的实际输出值范围可超出目标值范围的5%。第二步:输入训练集数据.随机赋子网络中神经元之间的连接权重及各神经元阈值以任意小的初始值第三步:以初始的权值代人.计算实际输出。输入层中的每个神经元接受样本输入矢量中的一个分量。而隐含层中的神经元接受来自输入层中的神经元对其产生的输出。输出层中的神经元则接受来自隐含层中所有神经元的输出。上一页下一页返回6.1人工神经网络第四步:从输出层开始.将误差信号沿连接通路反向传播.通过修正各个权值.使误差最小当所有样本输出值与目标期望值之间的均方差满足要求时.停止迭代.网络训练完毕.各节点的连接权值就固定下来.同时也就得到了所研究对象的输入输出之间的拓扑关系.即建立了输入向量与输出向量之间的数学定量关系.具体步骤如图6.7所示上一页下一页返回6.1人工神经网络2.BP神经网络训练算法存在的问题及其改进(1)BP算法的局限基于BP算法的神经网络已成功地应用于各个领域.但是它也存在不少问题:①已学习好的网络的推广问题.即能否逼近规律及对大量末经学习过的输入矢量也能正确处理.并且网络是否具有一定的预测能力上一页下一页返回6.1人工神经网络②基于算法的网络的误差曲面有以下三个特点。第一有很多全局最小解。第二.存在一些平坦区.在此区误差改变很小.这些平坦区多数发生在神经元输出接近0或1的情况下.对于不同的映射.其平坦区的位置、范围各不相同.有的情况下.误差曲面会出现一些阶梯形状。第三.存在不少局部最小点.在某些初值的条件下.算法的结果会陷人局部最小。由于第二个和第三个特点.造成网络不能完全训练。此外.还有局部随机加权的大小对局部最小影响很大。③学习算法的收敛速度慢。④网络的隐含节点个数选择尚缺少统一而完整的理论指导.即没有很好的解析式来表示。上一页下一页返回6.1人工神经网络(2)改进的主要方法虽然BP算法将前馈神经网络的实际应用向前推进了一大步.但依然存在许多问题。在实际应用中.算法很难胜任.因此出现了许多改进算法。算法的改进主要有两种途径:一种是采用启发式学习方法.另一种是采用更有效的数值优化算法。启发式方法根据最陡下降法的性能而对各种参数进行调整从而加快学习过程.其中包括有动量的梯度下降法、有自适应的梯度下降法、有动量和自适应的梯度下降法和能复位的训练法等。数值优化算法是基于数值最优化理论改进算法.其中包括共扼梯度法、高斯一牛顿法等。不同的训练算法对应不同的训练函数。要提高神经网络的收敛速度.缩短神经网络的学习训练时间.需要从诸多方面进行改进.对于多层神经网络来说.隐含层神经元的数目通常是靠经验确定的.隐含层神经元过多或过少都会影响网络的性能。在网络的训练过程中.根据神经元间的连接权重大小.自动增加或删除隐含层中一些神经元.或者通过引人神经元的不同状态.可使隐含层中神经元的数目达到一个合理的数值上一页返回6.2人工神经网络信息流分析技术研究由于人工神经网络具有较强的模拟多元非线性体系的能力.在自然科学的各个研究领域具有广阔的发展前景。然而.目前采用人工神经网络建模还都停留在黑箱模型水平上.对结构参数以及网络参数的影响及相互关系还不甚了解.给模型的合理解释带来了困难。实际上.人工神经网络模型的输入层、隐含层和输出层节点之间的连接权值中包含了丰富的模型信息.将此信息开发出来.有利于了解模型输入与输出之间的关系并探讨相关的模型机理下一页返回6.2人工神经网络信息流分析技术研究6.2.1ANN模型输入节点的筛选传统ANN网络的输入层节点数目是靠经验来决定的.带有很大的随意性。以ANN信息流分析研究为基础，可以依据输入节点对隐含层及输出层节点影响的重要性，对ANN网络的输入节点进行筛选.该方法具有高效、客观、合理等优点。人工神经网络模型中隐含层个数和隐含层节点个数的选择一直是人工神经网络研究的热点。因为采用适当的隐含层节点数是非常重要的.可以说正确选择隐含层节点数是人工神经网络模型成败的关键。隐含层节点选用太少.网络难以处理较复杂的问题.但隐含层节点数过多则将使网络训练时间急剧增加.而且过多的节点容易使训练网络过度。上一页下一页返回6.2人工神经网络信息流分析技术研究网络的训练次数直接关系到模型的学习效果的预测能力.训练次数太少.网络模型学习不够充分.模型的学习效果不好.更谈不上模型的预测能力了;训练次数太多.可能出现“过拟合”现象.模型有可能把训练样本的个性记住.因此造成模型的学习集误差很低.预测集误差却很高.因而模型的预测能力下降。由此可见.选择合适的隐含层节点数的训练次数在构建神经网络定量构效关系模型中起着关键的作用。针对这一问题.我们利用计算机编制程序.使确定人工神经网络定量构效关系模型隐含层节点数和训练次数变得很容易上一页下一页返回6.2人工神经网络信息流分析技术研究1.方法构思在定量构效关系模型中.结构参数的活性参数是一定的.当我们用这些结构参数的活性参数构建成人工神经网络定量构效关系模型时.结构参数作为人工神经网络模型的输入层.活性参数作为人工神经网络模型的输出层.因此.确定隐含层节点数和网络训练次数成为构建人工神经网络定量构效关系模型的关键。以往选择隐含层节点个数和网络训练次数一般采取试探的方法.首先按照一定的经验公式计算给定输入层和输出层节点个数和隐含层节点个数.然后在此隐含层节点数的基础上增加或减少隐含层节点.每增加或减少一个节点都要重新训练网络.这样势必增加构建人工神经网络定量构效关系模型的工作量。并且由于所采用的经验公式是在其他领域实验基础上总结得到的.因此.它不一定适用于我们所要构建的定量构效关系模型.这样.势必会影响模型的质量和预测能力上一页下一页返回6.2人工神经网络信息流分析技术研究我们分别在不同训练次数和隐含层节点数的情况下.训练网络.计算人工神经网络定量构效关系模型的百分误差Ep和相关系数R.然后以训练次数和隐含节点数为横坐标.以输出节点的相关系数和百分误差为纵坐标绘制三维图.从图中判断最佳隐含层节点数和网络训练次数2.方法的实现首先.用C语言编制计算模型相关系数和百分误差随不同隐含层节点和训练次数变化的应用程序.并按一定间隔的训练次数和隐含层节点数记录相关系数和百分误差的变化.以data.bat文件储存起来程序循环调用训练函数train()和测试函数tesr()，外循环为隐含层节点数.为1~30.内循环为训练次数.为1~10000.循环体为训练函数train()和测试函数test()。训练函数和测试函数的训练和测试结果为相关系数和百分误差.所有结果保存到data.bat。上一页下一页返回6.2人工神经网络信息流分析技术研究使用Matlab从data.bat文件读取数据.并分别绘制相关系数R和百分误差Ep的三维图.如图6.8和图6.9所示从图中我们观察到存在相关系数R很小.百分误差Ep很大的区域。因此.在构建定量构效关系模型时首先应避开这一区域.并且也很容易找到相关系数R最大、百分误差Ep最小的隐含层节点数和训练次数。这样.既提高了构建人工神经网络定量构效关系模型的工作效率.又保证了模型的预测精度上一页下一页返回6.2人工神经网络信息流分析技术研究6.2.2人工神经网络的组织与运行1.网络的设计

人工神经网络有一个或多个输入单元，这些输入单元并不处理数据，它只是将数据传输给中间层处理单元。网络也有一个或多个输出单元，它们提供给网络的输出结果。连接输入和输出单元的中间处理单元像一个黑箱，真正的网络模型是靠这个黑箱来决定的。

常用的网络有3〜4层，一些模型只有2层，使输入层和输出层相连，这在输入模式和输出模式很类似时是可行的。当然，凡输入模式与输出模式不同时，就需要增加中间层，形成输入信号和中间转换。处理信号的能力随层数而增加。上一页下一页返回6.2人工神经网络信息流分析技术研究一般来说，没有任何理论依据采用两层以上的中间层。对大多数实际问题而言，一层中间层即三层网络足够完成任务。根据经验，采用两层以上的中间层几乎没有任何好处，采用中间层越多，训练时间就会激增，这是因为①中间层越多.误差向后传播的过程计算就越复杂.使训练时间急剧增加。②中间层增加后.局部最小误差也会增加。网络在训练过程中.往往容易陷人局部最小误差而无法摆脱.网络的权重难以调整到最小的误差处。总而言之.在建立多层神经网络模型时.首先应考虑只选一个中间层。如果选用一个中间层并增加了处理单元数还不能得到满意的结果.这时可以考虑增加一个中间层.但一般应减少总的处理单元数上一页下一页返回6.2人工神经网络信息流分析技术研究(2)隐含层单元数的决定中间层单元数的选定是网络成败的关键。中间层处理单元数选用太少.网络难以处理较复杂的问题.但若中间层处理单元数过多.将使网络训练时间急剧增加.而且过多的处理单元容易使网络训练过度.如图6.10所示。网络具有过多的信息处理能力.甚至将训练数据组中没有意义的信息也记住.这时网络就难以分辨数据中真正的模式一般来说.可以用几何平均规则来选择中间层的处理单元数。如果设计一个三层网络.具有n个输入单元以及m个输出单元.则上一页下一页返回6.2人工神经网络信息流分析技术研究对于四层网络，可用下式选取式中找到最优的中间层处理单元数是很费时间的事情.但对设计网络结构是很重要的。首先可以从较少的中间层处理单元试起.然后选择合适的准则来评价网络的性能.训练并检验网络的性能。稍后增加中间层单元数.再重复训练和检验。图6.11是这种方法的流程.应该注意每增加一次新的中间层单元数训练都应重新开始.而不能采用上一次训练后所得的权重上一页下一页返回6.2人工神经网络信息流分析技术研究2.网络训练时间的优化网络的训练一般都有一个最优值.并不是训练时间越长越好.且网络存在训练过度的问题。图6.12是网络训练过程.同时输入检验数据.计算训练误差与检验误差随训练过程而变化的情况对训练过程而言一般随训练时间的增加.训练误差要减小另外一组是检验数据.是从全部数据中随机选取的.没有参加训练.而只是把这些数据输入训练后的网络来检验网络的性能。一般在训练开始时.检验误差是随训练时间的增加而降低的.但随着训练超过一定的时间.检验误差反而开始增加。这意味着网络已经开始记住不重要的细节而不仅是它的普遍类型上一页下一页返回6.2人工神经网络信息流分析技术研究如果选用过多的隐含层单元.网络容易训练过度.这时网络不是学到了数据的一般特征而是记住了单个样本的细微特征.网络的性能变差这时应减少隐含层单元数.重新训练网络.或者是增加训练数据的数量.以使所有训练样本能代表全体数据的普遍特征。训练数据组与隐含层单元数是密切相关的.若有足够多的训练样本.就可以优化隐含层的处理单元数。如果在训练时.发现网络对训练数据学习效果很好.收敛很快.但对测试数据误差还是很大时.这时就要考虑是不是出现过度训练.或者训练样本不足.没有代表数据的全部特征.检验数据中有的特性没有包括在训练数据中.所以网络没有学会区分这种特征.致使检验效果差。上一页下一页返回6.2人工神经网络信息流分析技术研究3.网络性能的评价对网络性能评价的方法取决于网络所担负的任务.必须用训练数据以外的检验数据或产品数据来评价网络的性能现介绍常用的两种评价网络性能的方法(1)均方差评价方法当网络训练完之后.通常用输出的均方差来评价其性能。许多统计技术用均方差作为性能的基本量度。均方差比较直观.而且强调大的误差的影响超过小的误差。更重要的是在有数学定义的所有模型中.均方差的导数比其他性能测量方法更容易计算。如果假设误差是标准分布.均方差一般接近于标准分布的中心.几乎所有的正反馈网络及许多其他网络都用均方根作为优化目标上一页下一页返回6.2人工神经网络信息流分析技术研究对于任一输入.网络都有一组输出。如果只考虑输出层.假设一批数据中.第p个输入数据输入网络以后.网络输出层第j个单元的实际输出为Opj而应有的输出为tpj。若共有n个输出单元.输入数据p相应的均方差为如果这批数据共有m组，则这一批输入数据的均方差为上一页下一页返回6.2人工神经网络信息流分析技术研究均方差评价方法明显的缺点是它只有一个数学表达式.与网络所应完成的任务联系很少。如果网络是要决定在时间系列中是否有特殊的信号模式.均方差则没有什么特殊实际的意义。即使具有这种特殊的信号模式.但网络分辨不出来.也无法用均方差来说明。另一个用均方差来评价网络性能存在的问题是.它无法区别微小错误与大错误(2)价值函数评价方法假如网络的目的是检测存在或者缺乏某一种情况.均方差就没有重要的意义了。如从分析生物样品来检测疾病这种情况下.则需要从如下两个方面来考虑网络的性能。①事先知道存在这种情况的可能性和缺乏这种情况的可能性很不相同。如健康的可能性大于疾病的可能性上一页下一页返回6.2人工神经网络信息流分析技术研究②不能检测出缺乏某一情况要比不能检测出存在同一情况的后果更为严重或不严重。在这种情况下.可以用价值函数来评价网络的性能。设q为预先知道出现的可能性.p1为网络在情况不存在时做出错误判断的可能性.p2为情况存在时没有判断出其存在的可能性;c1为情况不存在错误判断其存在的价值.c2为没有判断情况存在的价值。实际上.q值可以从以往的经验中获得.而c1和c2可以经过一定的研究决定。在网络训练完之后.可以采用许多代表情况存在和不存在的检验数据来评价网络.得到p1和p2的估计值.则此网络所采用的价值为上一页下一页返回6.2人工神经网络信息流分析技术研究在分类类型较多的情况下.每个类型都有自己的预先可能性.可以用检验数据来估计不能判断每个类型的可能性.每种失误都有其价值。若qi代表类型i的预先可能性.则若pi为不能辨别类型:中成员的可能性.ci为不能辨别类型:中成员的失误价值.则使用网络的总价值为上一页返回6.3人工神经网络的应用人工神经网络理论应用于化学问题的研究始于1986年.但进展迅速.发表的论文逐年增加。如今神经网络因其具有自学习、高容错性和高度非线性描述能力等优点而应用到化学的各个领域.成为解决应用化学和理论化学问题的重要工具。人工神经网络在化学中的应用日益广泛.涉及的领域与20世纪90年代相比已有了很大的发展。正是由于这是一个活跃的研究领域.因此与人工神经网络相关的文摘和综述也不断出现Zupan和Gaseeiger对人工神经网络的原理和在化学中的应用作了全面的综述.Sumpter对人工神经网络给子了高度评价并认为还有很多领域可以应用。人工神经网络是一种在其构造中包括大量简单但具有密切联系的处理单元组成的数据处理系统。目前人工神经网络在化学中的应用主要有以下几方面下一页返回6.3人工神经网络的应用6.3.1蛋白质的二级结构预测通常多肤和蛋白质是由氨基酸组成的.除某些特例外.只有20种不同的氨基酸出现在蛋白质中。在一种蛋白质中.这些氨基酸按一定序列方式排列.这种确切的序列称为一级结构。而这种线性序列通过折叠和旋转而形成独特的三维结构.这种三维结构通常含有被称为二级结构的全局性特征。二级结构有三种类型:α-螺旋、β-折叠及无规则卷曲。在α-螺旋结构中.蛋白质链沿同一方向连续旋转形成一个“‘螺旋形”;在β-折叠中.同一链中两个或多个部分在空间平行排列;卷曲则包括氨基酸的所有其他或多或少不规则的三维排列一种蛋白质的二级结构对它的生物活性是至关重要的。因此.很多学者根据蛋白质的一级结构去预测其二级结构有着浓厚的兴趣。目前广为采用的传统方法是Chou和Fasman法.根据氨基酸序列可以预测某氨基酸是否属于α-螺旋、β-折叠及无规则卷曲·预测正确率为50%~53%上一页下一页返回6.3人工神经网络的应用近年来随着分子生物学、X-射线晶体学以及计算机技术的发展.大量蛋白质结构规律的认识逐步深人.并意识到蛋白质高级结构预测在生物技术和药物工业等方面的理论意义及潜在的经济效益和社会效益。加之蛋白质高级结构实验测定费时、费力以及氨基酸序列被测定的蛋白质数目远远高于高级结构已知的数目.促使越来越多的研究者开始涉足蛋白质高级结构预测这一分子生物学前沿领域。迄今为止.各种计算结果表明在非同源性蛋白质预测中最成功的是人工神经网络。在这一领域的先驱是Qian和Sejnowski。在由蛋白质一级结构预测二级结构中.其理论依据是:一级结构决定二级及高级结构.即蛋白质中间某一氨基酸的构象是由该蛋白质中其他氨基酸残基决定的。提高神经网络预测蛋白质二级结构的性能可从两方面入手:一方面是从网络本身人手.探讨决定蛋白质二级结构形成的诸因索的影响及其相互关系;另一方面是考虑蛋白质二级结构对其远距离的氨基酸残基的作用.即长程作用.为神经网络输入层各单元的编码提供理论依据.以提高预测结果的精度上一页下一页返回6.3人工神经网络的应用在Chen和Fasman以及Qiam和Sejnowski的工作中最基本的假设是一个氨基酸及其相邻氨基酸的同一性决定该邻域的二级结构。原则上.覆盖整个多肤片段的一种所谓“窗式扫描”或许可以给出整个链的二级结构(图6.13)1.氨基酸结构表征及其数据输入法要准确确定氨基酸的二级结构.必须输入所考虑的氨基酸以及它之前和之后一定数目的氨基酸.总数共有13个。13个单字母氨基酸表示符(原始输入变量)的序列被称为原始输入向量。将自然界中存在的20种氨基酸中的每一个编码编成一个21位的数字串.其中某个特殊位为1而其他所有位为0.例如.在这种串中第14位用1来表示脯氨酸(第三世界国家位是特殊的.将在随后解释)由于其离散特性.每一个原始变量(此例中为每个氨基酸的标识)必须用21个二进的或双极型变量来表示.这种编码方法称为分布表示法(图6.14)上一页下一页返回6.3人工神经网络的应用前面讨论了用某个位串替代一个离散变量的充足理由.这个位串的位数目与该变量所具有的离散值的数目相同。用1~21的连续整数来表示一个氨基酸.将意味着氨基酸的数值化是氨基酸相互之间相似性的定量测量.也就是说.如果两个氨基酸具有的数值仅差1(如6和7).则意味着比起数值6和20.这两个氨基酸的关系更加接近。然而.在决定二级结构中重要的不是氨基酸结构上的相似性.而是它们排列次序上的相似性。也就是说.某一给定氨基酸距离窗口中心的相对位置而不是它的结构.在决定二级结构时起着十分关键的作用这里.我们是从信息科学而不是化学科学的角度来讲这一问题的。当然.将某氨基酸与其他氨基酸加以区别的取代基团(R-基团)基本上决定着蛋白质结构。不过.作为一级近似.我们不考虑氨基酸的这种影响。因此.在本例中.13个原始输入变量被一个13X21=273个元索的二进制输入向量X所代替。这表明要用同样数目的273个单元作为网络的输入法.每一输入单元取一个二进制值(即0或1)上一页下一页返回6.3人工神经网络的应用第i个原始输入变量表明.在有2×6+1=13个残基长度的窗口中.相对于中间位置的氨基酸而言.20个氨基酸中的哪一个在第(i-7)的位置上。输入某蛋白质的整个氨基酸序列(一级结构)可以通过移动窗口来实现.此时.含有13个氨基酸的这个窗口沿着整个序列每次移动一个氨基酸。在每一步移动中.对应的氨基酸窗口被输入到网络中。当移动窗口处在氨基酸链的前端或末端时.需采取特别的措施;如果它超出两端.则它的跨度将会少于13个氨基酸残基(图6.15)。为了不使算法复杂.我们将假定在窗口中总是有13个残基。在链的开始端或末端.任何空位将用称为空格子的一个特殊编码填补.该空格子用位向量的第21个位置进行编码。Sejnowski训练神经网络NetTalk.使其根据某一字母周围的字母来推出在一个英文单词中该字母的发音.这非常成功的研究激励了上面这种编码方法上一页下一页返回6.3人工神经网络的应用2.神经网络的构造及其学习预测在用于预测蛋白质二级结构的网络中.采用3个输出神经元.分别代表α-螺旋、β-折叠及无规卷曲。Qian和Sejnowski曾尝试过不同数目(0~80)的隐含层神经元.并判定最佳数目是40。这样.该两层神经网络具有(273X40X3)结构.总共有(273+1)X40+(40+1)X3=11083个权重值.包括那些连接偏置节点的权重值(图6.16)训练集由106种蛋自质组成.总共有11083个氨基酸残基每种蛋自质都附带有其所包含二级结构类型的详细说明。另外15种蛋白质作为测试集.这15种蛋白质有3520个氨基酸.这些氨基酸在二级结构上的情况也已知道。训练是一个有监督学习的过程.该过程使用BP算法。由1.1X10^4个权重值组成的网络是相当大的。对于测试集.网络给出62.7%的正确答案。对于只有5000-53%的正确预测能力的Chen和Fasman方法是一个显著的改进上一页下一页返回6.3人工神经网络的应用6.3.2谱图分析有机化合物结构的解释大量地依靠光谱方法。然而物质结构和光谱数据之间的关系往往太复杂.以至于不能用简单的方程来描述。然而对结构一光谱方法的探索则可以依赖大批的实验数据.其中许多数据可以通过计算机化的数据库来获得。如今.除了高分辨率全曲线光谱图之外.数据库还包含有化学结构编码来作为连接表结构和光谱之间的这种清晰关系.以及可以利用的计算机数据库.使得神经网络在这一领域具有重要的应用。本节仅重点探讨神经网络在结构一红外光谱关系中的应用.如图6.17所示上一页下一页返回6.3人工神经网络的应用1.重叠峰的分离及滤波通常峰形信号的每一个测量点都包括被测物的浓度信息.通过建立各被测点及测量时间与被测物浓度之间的关系.能够有效地预测峰高.在选择测量点的时候.只选择大于最大峰高25%的数据点.因为其他数据点的使用会带人干扰信号。在葡萄糖的浓度测定中预测值与实际值吻合很好。当峰的局部因干扰(如气泡)而变形或整个峰因堵塞出现延迟时，神经网络的误差分析预测能够快速清楚地指出干扰。高效液相色谱法定性、定量的基本前提是峰由单一组分构成.但在进行结构及其性质极为相近的物质分离分析时.由于组分的保留行为几乎一样.在普通色谱图上完全看不出有峰重叠.常误以为该峰是单一组分上一页下一页返回6.3人工神经网络的应用2.红外光谱的强度表征方法Munk,Madison和Robb把4000-400cm-1的光谱范围分割成640个间隔一个间隔的透射光强值按下列公式转换:式中.t%为透射率。这样.神经网络就需要640个输入单元。但是.如此大量的输入单元导致不合逻辑的结果.因而输入单元被减少至256个。同时.调整间隔的宽度.在低频端为最窄.在高频端为最宽使时间的长度随频率的变化为上一页下一页返回6.3人工神经网络的应用该方程式指定第一个输入单元的频率为10cm-1.而在光谱的另一端.则指定第256个输入单元的频率间隔为20cm-1。对每个输入单元的指定频率间隔进行扫描以获取吸收峰.如果发现有峰.该峰的强度就是达到该单元的输入，否则.到达该单元的输入值为零。化合物结构以36种官能团描述.每一种官能团用一个输出单元表示。因此.目标向量就是一个36变量的二进制向量.其中每个1表示有与之对应的官能团存在.每个。则表示与之对应的官能团不存在.图6.18表示其神经网络结构上一页下一页返回6.3人工神经网络的应用3.BP神经网络模拟结果采用BP算法训练一个巨大的神经网络.必须拥有一个大的训练集。通常的规则是用来进行训练的数值的数量应该等于或大于在网络中要被确定的权值的数目。这里所用的数据库矩阵包括64X10^4个数值.比网格中权值的数目大60倍。用一个相对小的学习速率常数η(0.083).用全部2500套光谱数据进行一轮训练一般来说.100轮这样的训练可以使网络稳定。因此.预测一个官能团存在与否很大程度上依靠闽值的设定。在这个网络中.数据集包括265个伯醇.仅有30%的输出为1.0。而如果闽值降至0.86.则有132个伯醇被正确归类。但遗憾的是.却有34个不含此官能团的化合物在这个输出单元上产生大于0.86的值。为了计算出正确和不正确的指定一个被称为A50值的可靠性因子被用来衡量对一定官能团进行预测的可靠性:上一页下一页返回6.3人工神经网络的应用式中.ni是训练集中含有官能团j的化合物的数目.而nwrong则是涉及官能团j的不可靠正值的数目。在闽值为0.86时.训练集256个伯醇中有132个被正确鉴别.并有34个不可靠正值。这时A50=132/(132+34)=79.6%。对于预测.这被认为有好的预测性。36个官能团当中有30个在预测时具有同样或更加好的可靠性。多种方法的联合使用比单独使用时产生强得多的效果。因此.神经网络可以并人到专家系统中去进行结构解释.它可以帮助鉴定那些含官能团的结构.通过神经网络进行这种鉴定.可靠性是相当高的上一页下一页返回6.3人工神经网络的应用6.3.3定量构效关系定量结构一性质/活性相关研究作为理论化学的重要分支.最初是作为定量药物设计提出来的.其核心内容是在原子一分子水平上研究物质的组成、结构、性能、生物活性以及相互联系和变化的规律.其内容广义上包括了定量结构一性质相关、定量结构一活性相关、定量结构一保留指数相关以及定量结构一谱学性质相关等。定量结构一性质/活性相关研究具有重要的应用价值和意义。其应用范围从理论化学逐渐扩大到生物、医药、农药、环境化学、天然产物化学、元索化学以及环境毒理学等领域.并且通过建立大量相应的数学模型.不仅对理解已有的化合物以及尚末获取的化合物的结构与相应物质的物理化学性质、生物活性以及环境行为之间的关系能提供有益的帮助.上一页下一页返回6.3人工神经网络的应用而且能够对物质的性质和生物活性进行成功的预测、评价和筛选.克服黑箱模式的盲目实验造成的无谓浪费。因此定量构效关系对理解化学品的结构和功能之间的关系能提供很好的帮助.能够从化学品的结构出发建立某种数学模型.然后运用这些模型去预测化学品的活性和性质.从而为新分子的设计、评价提供理论依据目前.在神经网络应用中最活跃的领域之一是定量结构一活性/性质相关性(QSAR/QSPR)研究.它涉及化学、生物学、药物学、环境和材料科学等诸多学科。进行活性物质的合成.多年来一直是沿用纯经验的方法.即先合成一系列化合物.然后通过生物实验进行筛选。对于有效物质的改进通常采用结构修饰的方法.如以穷举法进行各种官能团的取代。这种经验式的.以母体衍生物为线索的药物合成方法效率极低。近年来在借助计算机进行药物筛选和新的化合物的预报方面开展了广泛的研究。作为一个典型例子.我们将讨论Aoyama,Suzuki和Ichikawa的工作上一页下一页返回6.3人工神经网络的应用研究中所用数据集为如图6.19所示的基础碳醒骨架的变更体。很多碳醒类化合物表现出不同程度的抗癌活性。这一定量构效关系研究被设计来预测一种药物的最小剂量.要求该剂量可以使接种淋巴白血病L-1210细胞的试验动物BDF1鼠的寿命延长4000。这个最小有效剂量取决于必须产生所要求效果的物质的浓度C，并以lg(1/C)表示。药物的药效越高.其所必须的浓度就越小。由于不同药物的要求浓度通常在几个数量级范围内变化.因此.使用对数值lg(1/C)来表示有效剂量会更加方便。正如所期望的那样.抗癌活性依赖于取代基R1和R2的本体。在标准线性分析中.这种取代基是用物化变量来描述的.这些变量描述取代基R1和R2的综合影响:摩尔折射率MR12，取代基对疏水性的贡献π1,2，取代基场效应常数之和F取代基共振效应常数之和此外.还有两个局部变量.只描述一个取代基R1的影响:摩尔折射率MR1;对疏水性的贡献π1。取代基R1和R2是按其摩尔折射率关系来安排的上一页下一页返回6.3人工神经网络的应用整个训练集采用11个不同的R1取代基和30个不同的R2取代基。其中抗癌活性最大和最小的两个化合物如图6.20所示一共选择了35个不同的碳醒类化合物。输入变量由描述分子结构的(MR1、MR1,2、π1、π1,2、F、R)组成·目标数据是lg(1/C)因此·采用有监督学习方法.试图找出一个模型.对于任何碳醒类化合物的每一组6个变量.它们能预测出最小有效剂量lg(1/C)。因此.建立的神经网络模型要求6个输入单元和一个输出单元。整个训练过程采用一个隐含层.经过试验.隐含层设置12个神经元。对含有一个隐含层及一个输入层的神经网络.由35个碳醒类化合物用误差反向传播算法进行训练。之后.将lg(1/C)的输出值与用多元线性回归分析得到的结果进行比较。结果表明.对17个化合物的抗癌活性的预测比多元线性回归分析研究更加准确.6个化合物的抗癌活性预测值差不多.但有12个化合物的预测值则差些。总的看来.神经网络的结果要优于多元线性回归分析的结果上一页下一页返回6.3人工神经网络的应用6.3.4模式识别模式识别的目的是根据化学量测信息进行来源鉴别气味检测及疾病的判断等。监测货物来源是分析化学在食品工业和消费者保护团体中的一个重要应用。确定地区来源问题一般是从有限的可能性中做出选择。实际上.在神经网络出现之前.将多变量数据向二维平面映射的最好方法是主成分分析方法。这个方法首先计算相关矩阵.然后对其进行对角化得到特征值和特征向量.最后.用特征向量矩阵作为一个变换矩阵将原始数据变成新的数据。将变换后的数据与相关矩阵的两个成分作图.即可完成映射过程。尽管上述整个程序对于使用者来说是完全明白的.但这样复杂的统计学计算却很难向普通大众来做解释。因此.需要一种更加简捷的方法.本节采用Kohonen神经网络来达到此目的上一页下一页返回6.3人工神经网络的应用该数据集由意大利9个不同地区生产的572种橄榄油的分析资料构成。对每一种油都用化学分析方法确定了8种