神经网络理论及应用.doc

神经网络理论及应用哈尔滨理工大学 朱建良神经网络是起始于二十世纪四十年代，发展于二十世纪八十年代，应用于二十世纪九十年代的一个研究领域。它是模拟人脑的思维、结构和智能的一门新兴学科。神经网络理论的应用已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、连续语音识别、声纳信号的处理、知识处理、传感技术与机器人、生物医学工程等方面取得了令人鼓舞的进展。美国加州大学伯克莱分校前校长田长霖教授于2000年7月，在接受东南大学授予他名誉教授的仪式上，发表了一篇激情洋溢的演讲，他提到了美国二十一世纪的三个科研主攻方向为：信息科学、生物科学、纳米科学。由此可见神经网络所具有的理论价值、现实意义及其发展前景。 在这门课程中，由于学时所限，我们仅介绍神经网络的基本模型、BP算法、Hopfield神经网络、细胞神经网络等基础内容。 1 课程时数：40学时 2 考试方式：考查（考试） 3 授课方法：讲授与自学及查阅文献相合 4 参考文献： （1）宿延吉等，神经网络理论及应用。东北林业大学出版社，1993 （2）王永骥等，神经元网络控制。机械工业出版社，1998 （3）吴简彤等，神经网络技术及其应用。哈尔滨工程大学出版社，1998 （4）焦李成，神经网络的应用与实现。西安电子科技大学出版社，1996第一章 绪 论11 生物神经元模型1 神经元的结构 人的大脑大约由个神经元组成，而其中每个神经元又与约个神经元相连接，从而构成了一个庞大而又复杂的神经网络系统。 神经元是大脑处理信息的基本单元，它的结构如图11所示。 它以细胞体为主，有许多向周围延伸的不规则树支状纤维构成的神经细胞，其形状很像一根枯树。主要有细胞体、树突、轴突和突触组成。细胞体不仅是神经元新陈代谢的中心，还是接受与处理信息的部件。树突是细胞体向外延伸的树枝状纤维体，是神经元的输入通道，接受来自其他神经元的信息。轴突是细胞体向外延伸的最长、最粗的一条树支纤维体，是神经元的输出通道。一个神经元的神经末梢与另一个神经元的树突或细胞体的接触处称为突触，是神经元之间传递信息的输入输出接口。每个神经元约有个突触。2 神经元的功能 神经元作为控制和信息处理的基本单元，有下述功能：（1）时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能；对于同一时间通过不同突触传入的神经冲动，具有空间整合功能；两种功能相互结合，具有时空整合的输入信息处理功能。（2）兴奋与抑制状态：神经元具有两种常规工作状态：兴奋当传入冲动的时空整合结果，使细胞膜电位升高，超过动作电位的阀值（约为40mV）时，细胞进入兴奋状态，产生神经冲动，由轴突输出；抑制当传入冲动的时空整合结果，使得细胞膜电位下降至低于动作电位阀值时，细胞进入抑制状态，无神经冲动输出。满足“01”律。（3）具有脉冲与电位转换：突触界面具有脉冲/电位转换功能。沿神经纤维传导的电脉冲为等幅（约60100 mV）、恒宽、编码的离散脉冲信号，而细胞膜电位的变化为连续的电位信号。在突触接口处进行的“数/模”转换，是通过神经介质以量子化学方式实现的变换过程。（4）神经纤维传导速度：神经冲动沿神经纤维传导速度在1150m/s之间。它随纤维的粗细、髓鞘的有无而不同。有髓鞘的粗纤维，其传导速度在100m/s以上；无髓鞘的细纤维传导速度可低于每秒数米。（5）突触延时和不应期：突触对神经冲动的传递具有延时一般为0.31ms。在两个相邻冲动之间需要一个时间间隔，即为不应期，约35 ms。在此期间，对激励不响应，不能传递神经冲动。（6）学习、遗忘和疲劳：由于结构的可塑性，即突触传递信息的强度是可变的，有增强、减弱和饱和，所以细胞具有相应的学习功能、遗忘或疲劳效应（饱和效应）。3 人脑神经网络系统 生物神经网络是由许多神经元相互连接而成的。其连接形式主要有：（1）幅散式；（2）聚合式；（3）连锁式；（4）环式；如图12所示。4人脑神经网络信息处理的特点（1）分布存储与冗余性 信息在神经网络中是分布存储于大量的神经元之中的；一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到许多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗余性导致网络的存储具有容错性。（2）并行处理 这里并行处理的含义不同于目前的并行处理机，它不是简单的“以空间的复杂性来换取时间的快速性”，而是反映了不同的操作机理。神经网络既是处理器，又是存储器。信息处理与存储合一。（3）可塑性与自组织性 在大脑中，神经元之间的突触连接，虽然其基本部分是先天就有的。即由遗传所决定的，但大脑皮层的大部分突触连接是后天由环境的激励逐步形成的。它随环境激励性质的不同而不同。能形成和改变神经元之间的突触连接的现象称为可塑性。由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经网络的自组织性。（4）鲁棒性 网络的高连接度意味着一定的误差和噪声不会使网络的性能恶化，即网络具有鲁棒性。大脑神经网络的鲁棒性对于智能演化可能是一个十分重要的因素。 12 生物神经网络的模型化人工神经网络1 人工神经元模型神经元是神经网络的基本处理单元，一般是一多输入/单输出的非线性器件，其结构模型如图13所示。其中，为输入信号；为神经元到的连接权系数，是模拟突触传递强度的一个比例系数；表示突触后信号的空间累加；表示神经元的阀值；表示神经元的响应函数。该模型的数学表达式为： （1） （2）根据响应函数的不同，人工神经元有以下几种类型： （1）阀值单元 如图14a所示 （13） （2）线性单元 如图14b所示 （14）（3）非线性单元 常用响应函数为S型（Sigmoid）函数，如图14c所示 （15）或 （16）上述模型能反映生物神经元的基本特性，但还有如下不同之处：生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。模型只有空间累加而没有时间累加。模型未考虑时延、不应期和疲劳。虽然现代技术可以建立更为精确的模型，但一般神经网络研究无此必要。2 人工神经网络模型根据人工神经网络对生物神经系统的不同组织层次和抽象层次的模拟，神经网络模型可分为：（1）神经元层次模型：研究工作主要集中在单个神经元的动态特性和自适应特性，探索神经元对输入信息有选择的响应和某些基本存储功能的机理，如Adaline（自适应线性元件）；（2）组合式模型：它由数种相互补充、相互协作的神经元组成，用于完成某些特定的任务，如模式识别、机器人控制等。（3）网络层次模型：它由许多相同神经元相互连接成的网络，从整体上研究网络的集体特性，如HNN模型。（4）神经系统层次模型：一般由多个不同性质的神经网络构成，以模拟生物神经的更复杂或更抽象的性质，如自动识别、概念形成、全局稳定控制等。（5）智能型模型：这是最为抽象的层次，多以语言形式模拟人脑信息处理的运行、过程、算法、和策略。这些模型试图模拟如感知、思维、问题求解等基本过程。目前已有近40种神经网络模型，其中具有代表性的有：自适应共振理论（ART）：包括ART1和ART2，可以对任意复杂二维模式进行自组织、自稳定和大规模并行处理。前者用于二进制输入，后者用于连续信号输入。主要用于模式识别（雷达、声纳的信号识别）。缺点是对转换、失真及规模变化较敏感。雪崩网络：主要用于学习、识别和重演时空的网络。如连续语言识别和教学机器人。缺点是调试较为困难。双向联想记忆（BAM）：由相同神经元构成的双向联想单层网络，具有学习功能。缺点是存储度低且需要编码。BP：它是多层映射网络，采用最小均方差的学习方式，是使用最广泛的网络，可用于语言综合、语言识别、自适应控制等，缺点是仅为有导师学习。Blotzman机/Cauchy机（BCM）：这是使用一个噪声过程来取代代价函数的全局极小值的网络，主要用于模式识别；缺点是训练时间长，且有噪音。盒中脑（BSB）模型：这是具有最小均方差的单层自联想网络，可用于从数据库中提取知识，缺点是仅为单步决策。Counter Propagation（CPNN）：这是一种在功能上作为最优化概率密度函数分析的网络，用于图像分析和统计分析，缺点是需大量的处理单元和连接高度准确。Hopfield神经网络：它是由相同元件构成的单层的且不带学习功能的自联想网络；缺点是连接需要对称和没有学习功能。Madaline：这是具有最小方差学习功能的线性网络，它的学习功能较强，是Adaline的扩展，主要用于自适应控制，缺点是I/O仅为线性关系。学习矩阵（LRN）：它是一单层单向非递归AM网络。神经认知机：它是一多层结构化识别网络，缺点是需大量的处理单元和连接。感知机：这是一组可训练的线性分类单层网络，目前以很少使用。自组织映射（SOM）：描述某种最优映射，缺点是需要高度训练。细胞神经网络（CNN）：单层连续神经网络，主要用于模式识别。文字识别与噪声控制等。交替投影神经网络（APNN）：应用凸集投影的概念，在向量空间中建立模型可用于模式识别。3 神经网络的信息处理能力神经网络的信息处理能力包括：（1）网络的存储能力，即在一个有个神经元的神经网络中，可存储多少个位的信息？（2）网络的计算能力，即神经网络能够有效地计算哪些问题？4 人工神经网络的结构 大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强大功能。（1）前向网络（2）有反馈的前向网络（3）层内互连的前向网络（4）互连网络如图15所示。5 人工神经网络的学习规则神经网络的拓扑结构确定之后，为了使它具有某种智能特性，还必须有相应的学习方法与之配合，甚至可以说，学习方法是人工神经网络研究中的核心问题。 由于网络的结构和功能不同，学习方法也是多种多样的。下面介绍一些基本的通用的学习规则。 （1）Hebb学习规则 它是由Donall Hebb根据生理学中的条件反射机理，于1949年提出的关于神经元连接强度变化的规则。其内容为：如果两个神经元同时兴奋（即同时被激活），则它们之间的突触连接加强。用表示神经元的输出（激活值），表示两个神经元之间的连接权，Hebb学习规则可以表示为 （17）这里表示学习速率。Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作为Hebb学习规则的变形。（2）学习规则 又称误差校正规则，是用已知样本作为教师对网络进行学习。设为输入输出样本对，。把作为网络的输入，在连接权的作用下，可得网络的实际计算输出。设神经元到神经元的连接权为，则权的调整量为 （18） （19）式中，为学习速率，为误差（即期望输出与实际计算输出之差）；为第个神经元输出。函数由具体情况而定，如取线性函数时，。（3）相近学习规则 设为神经元到的连接权，为神经元的输出，则权的调整量为 （110）在这种学习中，是使趋于的值。6 神经元的计算原理图16中，设神经元的输入为，输出为；验证它是否能完成与逻辑运算。与逻辑的真值表如表11所示。 我们用学习规则来完成与逻辑运算功能。为了计算上的方便，通常把阀值看作输入恒为1的一个权值，即令，这样神经元的数学模型可以写为 （111） （112） 选择一组初始权值 计算某一输入模式时的实际输出与理想输出的误差 按式（18）更新权值 返回直到所有样本输入均能得到正确的逻辑运算结果为止设初始权值、阀值、学习系数分别为,学习过程如表12所示。 表1 212340 0 -10 1 -11 0 -11 1 -10.40.40.40.220.30.30.120.120.10.10.280.46-0.10.20.12-0.12011000010-1-1100-0.180.180-0.1800.1800.180.18-0.1856780 0 -10 1 -11 0 -11 1 -10.40.40.40.40.30.30.120.120.280.280.460.46-0.280.02-0.060.06010100010-10000000-0.180000.180091011120 0 -10 1 -11 0 -11 1 -10.40.40.40.40.120.120.120.120.460.460.460.46-0.46-0.34-0.060.06000100010000000000000000由表中数据可知，学习后的权值和阀值在第七次后趋于稳定，误差保持不变，此时有即存在直线 把和分割在两个不同的区域中。事实上,存在无数条直线可把和分割在两个不同的区域中。例如,选：，学习过程如表13所示。由表中数据可知，学习后的权值和阀值在第三次后趋于稳定，误差保持不变。 表1 312340 0 -10 1 -11 0 -11 1 -10.50.50.50.50.50.50.40.40.50.50.60.6-0.50-0.20.3010100010-10000000-0.10000.10056780 0 -10 1 -11 0 -11 1 -10.50.50.50.50.40.40.40.40.60.60.60.6-0.6-0.2-0.10.3000100010000000000000000 第二章 前向神经网络21 感知机模型1 感知机模型 感知机（Perceptron）是由美国学者Rosenblatt于1957年作为模式分类器提出的一种神经网络模型。基本的感知机具有分层网络结构，分别称为感觉单元S（Sensory Unit）、联合单元A（Associative Unit）、响应单元R（Response Unit），如图21所示。在这个模型中，S单元到A单元的权值是固定的，不能调节；只有A单元到R单元的权值是可以通过一定的学习算法进行调节。事实上感知机相当于一个多输入单输出的神经元。2 感知机的学习算法 感知机的学习是有导师学习，采用比较简单的学习规则。 式中 为学习速率，取值0，1，为误差（即期望输出与实际输出之差）；为输入信号。为单位阶跃函数。3 感知机的分类能力 对于线性可分的输入样本，可用感知机对其分类，对于非线性可分的输入样本，感知机就无能为力了。例如异或逻辑（XOR）的分类学习。异或逻辑的真值表如表21所示。将真值表代入算法中 即： 显然无法找到一组满足上述不等式，从几何上说，找不到一条直线把、四点分成两类。事实上存在两条直线可以实现对XOR的样本分类，如图22所示。22 误差反向传播神经网络 1 BP网络误差反向传播神经网络即BP网络。M.Minsky和S.Papert在感知机一书中指出,造成感知机对异或分类问题无能的主要原因,在于网络中间没有隐含单元作为输入模式的“内部表示”，提高网络联想（或映射）能力的一个有效途径是给网络加上一些隐含单元。然而，对于加入隐含单元的多层网络，当输出存在误差时，如何确定是那一个连接权的“过错”并如何调整它，这是当时没有解决的问题。 Minsky和Papert的论点曾使许多人对神经网络的研究失去了信心，但仍有许多学者坚持这一方向的研究。Rumelhart、McClelland和他的同事们于1982年成立了一个PDP（Parallel Distributed Processing）小组，研究并行分布信息处理方法。在1985年提出了多层网络误差反向传播算法（BackPropagation），即BP算法。BP算法把网络输出所出现的误差归结为各连接权的“过错”，通过把输出层单元的误差逐层向输入层反向传播以“分摊”给各单元，从而获得各层单元的参考误差以调整其相应的连接权。BP算法是目前最为流行的学习模型。2 BP算法的数学推导图23为最基本的三层前向神经网络，BP网络可以含有多个隐含层。设从输入层到隐含层的连接权为，从隐含层到输出层的连接权为，设为给网络提供的模式对时输出层上的代价函数，整个模式训练集上的全局代价函数为 （21）而 （22）设神经元的作用函数为S型函数 （23）则 （24）对于第个模式对，层单元的净输入为 （25）该单元的实际输出为 （26）而层单元的净输入为 （27）该单元的实际输出为 （28）对于层单元定义一般化误差 （29）上式可以改写为 （210）对于层单元同样定义一般化误差 （211）同样，上式可以改写为 （212）可见层单元的误差来源于层单元的误差。在现有连接权、下，为了减小代价函数，应由梯度下降规则决定连接权的改变。 （213）同样 （214）上两式中，为学习速率。全局代价函数是定义在整个模式训练集上的，连接权的改变应该在全局代价函数曲面上实现梯度下降，注意到 （215）及 （216）连接权的改变应为 （217）及 （218）较大的学习速率对应于一个较快的学习过程，但有可能产生振荡。Rumelhart等人建议，增加一个动量项来避免学习过程中可能产生的振荡，即 （219） （220）其中为一常数，为上一次学习时的权值修正量。这样做有利于加速学习过程， 的取值一般可在0.70.8左右。3 BP算法的学习过程（1）对层到层单元的连接权，层到层单元的连接权，赋以区间的随机值。（2）对于每个模式对进行下列操作： 将的值送到层单元，再将层单元的激活值通过连接权矩阵送到层单元，产生层单元的新激活值 式中；为S型函数。 计算层单元的激活值 式中。 计算层单元的一般化误差 式中；为层单元的希望输出。 计算层单元相对于每个的一般化误差 式中;相当于将层单元的误差传播到层单元。 调整层单元到层单元的连接权 调整层单元到层单元的连接权 （3）重复步骤（2），直至对于和，使误差变得足够小或为零。 4 BP算法存在的不足 BP算法的收敛速度较慢，所以通常它只能用于离线的模式识别。 BP算法是一种梯度下降法，所以整个学习过程是一个非线性优化过程，有可能产生局部极小点，而得不到全局极小点，使学习效果变差。 中间层个数及中间层的神经元个数的选取缺乏理论上的指导，通常只能根据经验来选取。5 BP算法的改进 为了加快BP算法的学习速度，提出了许多改进方法；诸如 变周期权值修正的BP算法 BP算法的权值修正通常有两种方案：经典的BP算法，每一个循环修正一次权值；随机的BP算法每一次迭代修正一次权值；通过实验发现介于两者之间的方案更为有效。在学习的一开始，权值的修正是频繁的，然后逐渐加大修正周期，修正周期的初值及修正周期变化的步长通过实验获得。 克服遗忘的BP算法 传统的BP算法在每次迭代中，每个输入模式都要学习一遍，而不管该模式是否学习成功，也就是说，对已达到精度要求的模式仍把它当作未学习好的模式一样进行计算，存在着遗忘现象。克服遗忘的BP算法在学习过程中，检查所有样本的总偏差和每个样本的偏差，只有所有样本的总偏差或某个样本的偏差过限的情况下才对权值进行修正，对已达到精度要求的模式不再修正。从而节省了大量的反向传播时间，提高了学习速度。 改变误差函数的BP算法 BP算法的学习过程缓慢的原因是多方面的，但绝对形式的误差函数不能有效地描述样本的学习精度也是影响学习效率的主要原因之一。在不同的样本点，即使其绝对误差相同，但其相对误差却大不相同。例如在两个样本点，其期望输出分别为学习后样本点的实际输出分别为它们的绝对误差，但它们的相对误差却分别为10%和9000%。 改变误差函数的BP算法是用反映各样本点的绝对与相对逼近精度指标函数作为BP算法中的误差函数： 式中通过引入参量A，使相对误差和绝对误差在数值上处于同一量级。从而使误差函数E均衡地反映相对和绝对形式的误差量。 常系数与变系数改进BP算法 从BP算法中的输出层一般化误差可以发现，不仅时；而且在时，也有。从而使失去一次调整机会。所以我们可做如下改进 常系数法 这里是一个很小的正数，如； 为一个常系数，实验发现，；一般说来，学习速率较小时，可取大些；学习速率较大时，可取小些。 变系数法 将常系数法中的用一个递减函数来代替，即 其中t为满足或的次数，a为常数。经过统计，t值在1001000之间。也就是说，原BP算法中，有t次使得，因而相应的学习没有作用。 这两种方法的出发点就是把满足收敛条件之间的所有使的各次修改仍然有效，并把乘以一个放大因子（常系数或变系数）后反向传递到下一层。 分级学习 一般说来，学习样本往往存在相当大的冗余，如果把它分成若干子集，先对其中一个子集进行学习，达到一定分类性能后再扩大这个子集，直至包括所有的学习样本，这样可以节约时间、提高效率；这种方法称为分级学习。由于训练样本的多少直接影响学习时间，因此对于有大量的训练样本时，分级学习是相当有效的。同时通过对子集样本的训练，能为扩大子集时的神经网络提供较好的智能化初始值。 改善梯度估计精度的BP算法 BP算法实质上是最小均方差算法的一种推广。 将其改为 式中，为迭代步长，为某模式，为训练集中样本模式的总数，上式简单的理解为对各个模式的取平均值，即计算出平均的的值，然后再加权修正。通俗地说，原有的BP算法是看一个样本学习一个样本，而改善梯度估计精度的BP算法是先将所有的样本都看一遍，再进行权值修正。既提高了学习效率，又提高了学习速度。 第三章 神经网络自适应控制系统 控制与决策，7卷5期。1992.91建模 考虑如下一般形式的非线性离散动态系统 （31）其中，为时刻的控制向量（输入向量）；为时刻的状态向量（输出向量）；为非线性函数向量，上式把时刻的输入和状态映射为时刻的状态。 假设（31）式的内部结构未知，仅知的一系列测量值，（31）式的非线性系统动态特性可以通过神经网络的输入和输出样本之间的非线性映射得到反映。把已知的输入、输出测量值作为学习样本，训练网络的突触连接强度，阀值，等学习参数，使网络的输出对预定输出的误差小到符合要求。所建神经网络模型为： （32）式中，为神经网络参数。2控制系统结构 我们训练一个神经网络控制器，使其在给定对象目前状态下，产生一个正确的控制信号，驱使对象达到所期望的状态。自适应控制系统如图1所示，它由两个神经网络组成，一个用于模型，一个用于控制器，两者共用一个学习信号，神经网络控制器为： （33）式中，为神经网络参数。控制模型神经网络将输出误差从系统输出端反馈到控制器神经网络输入端，从而可以用反向传播算法调整两个神经网络的学习参数，用一个算法完成建模与控制。3学习算法 用S型函数描述神经元的输入输出特性 （34）式中，是控制节点输出的饱和值，用来调节S型函数的斜率，为第层第节点的输出，为第k层第节点的内部状态或输入，由下式给出： （35）式中，为第层第节点对第层第节点突触连接强度，为第层第节点的阀值。对于给定的输入和输出，误差定义为： （36）式中，为神经网络总层数，为神经网络输出节点数，为给定的输出。 学习过程就是通过调整学习参数；使E趋于极小。学习参数的修正公式为： （37） 式中，为迭代步数，为学习步长。利用（34）、（35）式，可得如下偏导数计算公式： （38） 式中，所有偏导数都可以在前向通道中由每个神经元局部计算出来。设： （39）与E有关的学习参数的偏导数可以表示为： （310） 上式中除之外的所有量均在前向通道中计算得到。而通过误差在神经网络上反向传播得到。 考虑到输出层 （311）利用（36）、（38）两式，有 （312）而 利用（36）式，有 （313）对于较低层， 这里对第层所有节点求和，利用（35）、（39）两式，有下列结果： （314）而 （315）注意，仅取决于第层的，因此在同一层中可以并行计算，并且这种计算是逐层进行的。多层前向神经网络误差回传并行计算的意义就是从这里体现出来的。4仿真研究考虑如下的非线性离散动态系统 （316）假设（316）式的内部结构未知，仅知的一系列测量值，我们用神经网络来描述之。 （1）系统建模 模型仿真用神经网络（1，15，1），网络参数的初值是01之间的随机值，取50组对应的输入输出值作为训练样本，在IBMPC机上，首先对第一组样本进行训练，训练结束后得到一组值。在此基础上训练第二组样本，直至所有样本学习完毕，模型也就建立完成，形如： （317）每一组样本训练步数为16次左右，时间2.1分。任取25组与训练样本不同的测量值对所建立的非线性系统神经网络模型进行检验,结果正确，如图2。 （2）控制器设计 模型建立好以后，便可设计神经网络控制器，如图3所示。神经网络自适应控制系统为： （318）其中， （319）式中，为闭环控制系统和时刻的输出，为模型网络参数，而为控制器网络参数。控制器的学习偏差为： （320）将（318）、（319）两式代入（320）式， （321）神经网络控制器的设计就是求出（321）式中的学习参数，这就需要求得： （322） 神经网络自适应控制系统仿真时，系统输出的初始值，控制器神经网络学习参数的初值取01之间的随机值，控制曲线如图4所示。5讨论 图5是对一组样本进行训练时，输出误差与学习步数之间的关系曲线，可见学习步长小于或等于1时，随着学习步长的增大，收敛速度加快（图a，b）。学习步长大于1时，随着学习步长的增大，收敛速度反而降低（图c）。学习步长在3附近出现振荡（图d）。学习步长大于5时，学习过程是发散的（曲线未画出）。 在仿真中未考虑实际过程的变化，如果模型失配，则在控制器的学习参数修正中一并加以考虑了。对于变化不太频繁的过程，可以间隔一段时间对模型的学习参数，甚至对模型的结构进行修正；或者监视实际过程与模型输出的差值，当大于某一界限时，即对神经网络模型进行修正。 第四章 Hopfield神经网络 Hopfield神经网络是美国物理学家JJHopfield于1982年首先提出的。它主要用于模拟生物神经网络的记忆机理。Hopfield神经网络是一种全连接型的神经网络，对于每一个记忆元来说，本身的输出信号通过其他神经元又反馈回自己。所以Hopfield神经网络是反馈型神经网络。 Hopfield神经网络的状态演变过程是一个非线性动力学系统。Hopfield神经网络有离散型（DHNN）和连续型（CHNN）两种，它们可以分别用一组非线性差分方程或非线性微分方程来描述。 对于一个非线性动力学系统，当系统从某一初值出发经过演变后，可能有几种结果： （1）渐进稳定点（吸引子），（2）极限环，（3）混沌（Chaos），（4）状态发散， 因为人工神经网络的变换函数是一个有界函数，所以系统状态不会产生发散现象。目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把系统的稳定点视为一个记忆点的话，那么初态朝这个稳定点的演变过程就是寻找记忆的过程。初态可以认为是给定的有关该记忆的部分信息；这就是联想记忆的过程。从另一个角度看，如果把系统的稳定点视为一个能量函数的极小点，而把能量函数视为一个优化问题的目标函数，那么初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。实际上这个解并不需要去真的计算，而只要构照出这种反馈神经网络，适当地设计其连接权和输入就可达到目的。41 离散型的Hopfield神经网络（DHNN）1网络的结构及其工作方式DHNN是一种单层的、其输入、输出为二值的反馈网络。它主要用于联想记忆，如图1所示。 在图1中，为网络的状态矢量，其分量是n个神经元的输出，仅取+1或1二值；为网络的阀值矢量， 为网络的连接权矩阵，其元素表示第个神经元到第个神经元的连接权，它为对称矩阵，即： 若，则称其网络为无自反馈的，否则，称其为有自反馈的 DHNN的计算公式如下： （41） （42） 式中，为符号函数 DHNN有两种工作方式： 串行工作方式 在某一时刻只有一个神经元按照（41）和（42）式改变状态，而其余神经元的输出保持不变。这一变化的神经元可以按照随机方式或预定的顺序来选择。例如，选到的神经元为第i个，则有 （43） 并行工作方式 在某一时刻有个神经元按照（41）和（42）式改变状态，而其余神经元的输出保持不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当时，称为全并行方式，即在某一时刻，所有的神经元都按照（41）和（42）式改变状态，亦即 （44） 若神经网络从某一初态开始，经过有限时间t后，其状态不再发生变化，这就是稳定状态（吸引子）。用数学表示为 （45）2网络的稳定性分析 DHNN的能量函数定义为 （46）写成矩阵形式为 （47）由于有界，故能量函数是有界的，即 （48） 若从某一初态开始，每次迭代都能满足，即网络的能量单调下降，则网络的状态最后将趋于一个稳定点。 定理1 当网络工作在串行方式下时，若为对称矩阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。 证明 记为相继两状态能量之差，即 （49）由于网络按串行方式演化，在每一时刻只有一个神经元的状态发生变化，对于第k个神经元，其状态变化为 （410）由于，所以有 （411）由（47）式，网络的能量变化为 根据定理条件，有 ，故有 （412）根据DHNN的运行规则，又因为，故对任意神经元k有。另外，能量函数是有界的，所以它总能收敛到它的一个稳定点。 定理2 当网络工作在全并行方式下时，若为非负定、对称矩阵，则网络一定收敛到一个稳定点。 证明 在全并行演化条件下，状态变化矢量为 式中， ，由于，所以有 由式（47）和（49），相继两状态网络的能量变化为 因为为对称矩阵，故有 式中 。根据DHNN的运行规则， ；又因为非负定矩阵，故，即网络的能量单调下降，而能量函数是有下界的，所以网络一定收敛到一个稳定点。3 DHNN联想记忆的设计及其记忆容量 由前面的分析可知，在满足一定条件下，DHNN必收敛到一个稳定点（吸引子）。初态所处的区域称为吸引域。如果将网络所有的稳定点看作记忆模式集合，而将初态看作一个提示模式，那么网络的收敛过程就可以看作回忆过程。我们希望在一个提示模式下能回忆出一个记忆模式。DHNN稳定点的个数是网络记忆的一种测度，即记忆容量。如前所述，DHNN的稳定性与网络的演化方式（串行或并行）及参数和有关。因此，网络的记忆容量也与这些参数有关。用DHNN实现联想记忆需要考虑两个重要问题： 怎样按照记忆要求设计一个网络（即确定网络的和）； 网络给定之后如何分析它的记忆容量。首先讨论第一个问题。 用DHNN实现联想记忆的关键问题是要使记忆模式的样本对应于网络能量函数的局部极小点。例如，设有m个n维记忆模