研究生《神经网络及应用》 作 业-基于POS算法优化的PID神经网络的系统控设计.doc

中北大学研究生神经网络及应用 作 业 课题名称中文 基于pso算法优化的pid神经网络的系统控设计 英文research on the design of algorithm optimization of pso of neural network pid control system 姓名 学号 班级 专业 模式识别与智能系统 研究方向 基于网络的智能控制 所在院、系 机械工程及其自动化学院 基于pso算法优化的pid神经网络的系统控设计摘要pid控制技术是一种应用很普遍的控制技术，目前在很多方面都有广泛的应用。本文首先简要介绍了神经网络的理论基础和神经网络的学习算法，传统的常规pid控制器，针对常规pid控制器对于复杂的、动态的和不确定的系统控制还存在着许多不足之处进行了分析。为了达到改善常规pid控制器在复杂的、动态的和不确定的系统控制还存在着许多不足之处的目的，文中系统的介绍了两种种改进方式，主要有:遗传算法pid控制器和神经网络pid控制器。 神经网络具有强的非线性映射能力、自学习能力、联想记忆能力、并行信息处理方式及优良的容错性能。应用神经网络对pid控制器进行改进后，对于工业控制中的复杂系统控制有着更好的控制效果，有效的改善了由于系统结构和参数变化导致的控制效果不稳定。文中主要对基于单神经元pid控制器、bp神经网络pid控制器进行研究。对于bp神经网络初始权值选择困难的问题，本文采用粒子群优化算法(pso)来对bp神经网络控制器进行优化。本文同时也利用pso算法对常规pid控制器的参数进行整定研究。最后，本文对单神经元自适应pid控制系统和基于pso优化的bp神经网络pid控制系统进行仿真试验，发现后者使系统的性能有所提高。关键词:神经网络pid控制器;bp算法;pso算法; research on the design of algorithm optimization of pso of neural network pid control systemabstractthe technique of pid control is very general, and it is applied in many fields at present. in the paper, neural network theory foundation, studying algorithm of the neural network and traditional pid controller are introduced, and traditional pid controller weak point is analyzed in controlling the complicated, dynamic and uncertain system. in order to achieve the goal of improving traditional pid controller, two kind improvement ways are put forward in the paper hereditary algorithm pid controller and neural network pid controller.because of the strong nonlinearity to shine upon ability, study adaptive capacity, associative memory ability, processing method of proceed information and fine fault-tolerant performance, there are better control results to the complicated system in industrial control, and the unstable control results caused by the change of system structure or parameters have been improved after the pid controller improved by neural network. single neural network pid controller and bp neural network pid controller have been study chiefly in the paper. because there are some difficult in choosing the first power value of the bp neural network, pso algorithm has been used to improve bp neural network controller in the paper. in the paper, pso algorithm has been used to improve traditional pid controller.lastly, i found that the system of pso bp-pid simulation result was better than the single neural adaptive system.keywords: neural pid controller arithmetic; bp arithmetic; pso arithmetic.1. 引言pid控制是人类最早发展起来的控制策略之一，由于其算法简单、鲁棒性好、可靠性能高，至今仍被广泛的应用于工业过程控制中。实际的工业过程当中往往具有非线性、时变性，一般难以建立精确的数学模型，应用常规的pid控制难以达到理想的控制效果;在实际工业现场中，由于pid参数整定困难，常规pid的控制参数往往整定不好、性能欠佳，对实际工业环境的适应性很差。近十几年来，一门新型的交叉学科人工神经网络(artificial neural network-ann)迅速发展起来。控制科学的研究者们很快发现ann的与众不同的魅力能够充分逼近任意复杂的非线性关系，从而形成非线性的动力学系统，以表示某些被控对象的模型或控制器模型;2能够学习和适应不确定性系统的动态特性;3所有定量或定性的信息都分布贮存于网络内的各个神经单元，从而具有很强的容错性和鲁棒性;4采用信息的分布式并行处理，可以进行快速大量的运算。对于长期困扰控制学界的非线性和不确定性系统来说，ann无疑是解决问题的有效途径。将ann应用到传统的pid控制也是控制学界一个重要的研究方向，二者结合既保留了传统pid控制的鲁棒性好可靠性高的特点，又使ann的上述优点融入到pid控制中，大量研究成果表明了这种控制大大改善了系统的控制性能。微粒群优化(particle swarm optimization一pso)的出现为神经网络权值ail练提供了一个新的研究方向。微粒群算法是由kennedy和eberhart等于1995年提出的。它通过简单的社会模型的模拟，将需寻优的参数组合成群体，用每个微粒表示被优化问题的一个解，通过粒子间的相互作用，使群体中的个体向目标区域移动，从而发现复杂搜索空间的最优区域。其不采用遗传算法的交叉和变异等算子，各个微粒根据自己的位置和速度来搜索，整个搜索和更新过程是跟随当前最优解来进行的。因此，pso算法能够更快的寻找最优解。 本文介绍：1.神经网络的各种模型。主要有mp模型，感知器，多层前馈网络和bp学习算法，径向基函数神经网络rbf,小脑模型神经网络等，最后介绍了神经网络的基本学习规则。2.讨论改进型pid控制系统中的神经网络pid控制系统，重点研究了神经元pid控制器、单神经元自适应pid控制器、基于bp神经网络参数自学习pid控制器、改进型bp神经网络参数自学习pid控制器以及组合优化改进型pid控制器。3.介绍了pso算法的基本原理以及它主要几种改进方式。重点研究用pso算法改进常规pid控制器和bp神经网络pid控制器，提出了改进的算法流程。4.对常规整定法整定pid控制和pso整定法的pid控制进行了仿真研究，发现pso算法大大改善了控制系统的性能。对单神经元pid控制和pso算法优化的bp神经网络pid控制器仿真，发现后者在不改变系统稳定性的情况下提高了系统的响应速度。2. 神经网络pid控制2.1神经网络的基础神经生理学和神经解剖学证明了人的思维是由脑完成的。神经元是组成人脑的最基本单元，能够接受并处理信息。人工神经网络(annartificial neural network)是源于人脑神经系统的一类模型，是模拟人类智能的一条重要途径，具有模拟人的部分形象思维的能力。它是由简单信息处理单元(人工神经元，简称神经元)互联组成的网络，能接受并处理信息，网络的信息处理由处理单元之间的相互作用来实现，它是通过把问题表达成处理单元之间的连接权来处理的。 神经网络是具有高度非线性的系统，具有一般非线性系统的特性。虽然单个神经元的组成和功能极其有限，但大量神经元构成的网络系统，所能实现的功能却是极其丰富多彩的。通常单个自然生物并不是智能的，但是整个生物群体(swarm)却能表现出处理复杂问题的能力，群体智能就是这些群体行为在人工智能领域中的应用。从20世纪90年代初开始，人们开始了模拟自然生物群体行为的优化技术方而的研究，并产生了一系列群优化算法。dorig。等从生物进化的机理中受到启发，通过模拟蚂蚁的寻径行为，提出了蚁群优化算法。eberhart和kennedy通过对鸟群、鱼群的捕食行为的模拟，于1995年提出了粒子群优化算法(pso)。这些研究都可以称为群体智能(swarm intelligence)。粒子群优化算法是一种基于群体智能方法的演化计算(evolutionary computation技术，其思想来源于人工生命和演化计算理论。由于认识到pso在函数优化等领域所蕴含的广阔的应用前景，在eberhart和kennedy之后很多学者都进行了这方而的研究。目前，己提出了多种pso改进算法，而且pso算法已广泛应用于函数优化、神经网络训练、模式分类、模糊系统控制等领域。pso的优点在于简单容易实现，同时又有深刻的智能背景，它既适合科学研究，又特别适合工程应用。2.2粒子群算法通常单个自然生物并不是智能的，但是整个生物群体(swarm)却能表现出处理复杂问题的能力，群体智能就是这些群体行为在人工智能领域中的应用。从20世纪90年代初开始，人们开始了模拟自然生物群体行为的优化技术方而的研究，并产生了一系列群优化算法。dorig。等从生物进化的机理中受到启发，通过模拟蚂蚁的寻径行为，提出了蚁群优化算法。eberhart和kennedy通过对鸟群、鱼群的捕食行为的模拟，于1995年提出了粒子群优化算法(pso)。这些研究都可以称为群体智能(swarm intelligence)。粒子群优化算法是一种基于群体智能方法的演化计算(evolutionary computation技术，其思想来源于人工生命和演化计算理论。由于认识到pso在函数优化等领域所蕴含的广阔的应用前景，在eberhart和kennedy之后很多学者都进行了这方而的研究。目前，己提出了多种pso改进算法，而且pso算法已广泛应用于函数优化、神经网络训练、模式分类、模糊系统控制等领域。pso的优点在于简单容易实现，同时又有深刻的智能背景，它既适合科学研究，又特别适合工程应用。其基本原理为：粒子群优化算法的基本概念源于对鸟群捕食行为的研究:一群鸟在空间上随机搜寻食物时，假设在这个空间区域里只有一块食物，所有的鸟都不知道食物在那里，但是它们知道当前的位置离食物还有多远，那么找到食物的最优策略是什么呢?最简单有效的方法就是搜寻目前离食物最近的鸟的周围区域。粒子群优化算法就是从这种模型中得到启示而产生的，并将其用于解决优化问题。粒子群优化算法中，每个优化问题的潜在解都是搜索空间中的一只鸟，称之为“粒子”。所有的粒子都是一个由被优化的函数决定的适应值(fitness value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。粒子群优化算法初始化为一群随机粒子(随机解)。然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪两个“极值”来更新自己:第一个就是粒子本身所找到的最优解，这个解称为个体极值点(用personal best表示其位置)。另一个极值是整个种群目前找到的最优解，这个解是全局极值用global best，gb表示其位置)。另外也可以不用整个种群而只是用其中一于作为粒子的邻居，那么在所有邻居中的极值就是局部极值。粒子群优化算允是通过不断地对极值点的更新而实现的智能算法2.3 pos整定常规pid控制器参数 p工d参数优化方法分为传统的pid参数整定方法和智能pid参数整定方法。传统的整定方法如ziegler-n ichois法和cohen-coon法。传统pid整定方法整定过程比较麻烦，难以实现参数的最优整定，容易产生振荡和大超调。许多学者一提出了各种智能整定pid方法，如遗传算法、模糊推理算法、神经网络学习算法等，来对pid参数进行优化设计。但是这些智能整定方法也还存在某些不足，如遗传算法要涉及到繁琐的编码解码过程和很大的计算量，模糊推理方法的参数和神经网络学习方法的隐含层数目、神经元个数以及初始权值这些自身的参数选择都没有系统的方法。由于pso算法有诸多的优势，本文用pso算法来整定pid控制器参数，下一章将对其进行仿真试验。 这里以带惯性权重的pso算法为例，其对常规pid控制器的优化流程如下:第一步:根据优化命题的复杂性，确定群体规模m和搜索空间维数d，并初始化群体的速度和位置。第二步:计算每一个微粒新的速度和位置。第三步:根据优化目标选择微粒的适应度。适应度函数可以根据具体的工业要求来确定。针对pid控制器的优化设计，可以取被控对象的稳定时间ts,时间与绝对误差乘积分(工ate)，还可以取绝对误差积分(iae)等等。第四部:对每个微粒，比较当前适应度和历史最佳位置适应度，若当前适应度更优，重设p.为当前微粒的位置值。第五部:比较群体所有当前适应度和群体最好适应度，若当前适应度更优，重设pa等于当前微粒的位置值。第六部:判断算法是否满足终止条件。若达到终止条件，则算法停止，返回当前最优个体为结果，否则，返回第二步继续。 在标准粒子群优化算法中，惯性权重w是用来控制历史速度对当前速度的影响程度，平衡pso算法的全局搜索能力和局部搜索能力的。若w较大，则微粒有能力扩展搜索空间，全局搜索能力强。若w较小，微粒主要是在当前解的附近搜索，局部搜索力强;当w =0时，微粒没有记忆性，它将飞向个体最优位置和全局最优位置的加权中心，而处于全局最优位置的微粒将保持静止。2.4 bp神经网络pid控制器bp神经网络由于其具有逼近任意非线性函数的能力，而且结构和学习算法简单明确，因此在神经网络pid控制中常采用bp网络结构来建立pid控制器。通过bp神经网络自身的学习，从而可以找到某一最优控制律下的p,i,d参数。基于bp神经网络的pid控制系统结构如图2.2所示，控制器由两部分组成:经典的pid控制器直接对被控对象进行闭环控制，并且kp、ki、kd三个参数为在线整定;神经网络nn根据系统的运行状态对应于pid控制器的三个可调参数kp、ki、kd，通过神经网络的自学习、调整权系数，从而使其稳定状态对应于某种最优控制律下的pid控制器参数。pid控制算式为 （2-1）式中，kp、ki、kd分别为比例、积分、微分系数。将kp、ki、kd看为依赖于系统运行状态的可调系数时，可将（2-1）式描述为 （2-2）式中f(*)是与kp、ki、kd、u(k-1) 、y（k）等有关的非线性函数，可以用bp神经网络nn通过训练和学习来找出一个最佳控制规律。假设bp神经网络nn是一个三层bp网络，其结构如图2.1所示，有m个输入节点、q个隐层节点、三个输出节点。输出节点分别对应控制器的三个可调参数kp、ki、kd。其激发函数为非负的sigmoid函数。而隐含层的激发函数可取正负对称的sigmoid函数。图2.1 bp网络结构图神经网络应用于控制系统设计的主要原因是针对系统的非线性、不确定性和复杂性。由于神经网络的适应能力、并行处理能力和鲁棒性，使得采用神经网络的控制系统具有更强的适应性和鲁棒性。这点在神经网络piii控制器中显露无遗。传统的pid调节器则具有结构简单、调整方便和参数整定与工程指标联系密切的优点。但是对于传统pid控制器来说，它也具有一定的局限性:当控制对象不同时，控制器的参数难以自动调整以适应外界环境的变化，且难以对一些复杂的过程和参数慢时变系统进行有效控制。而将神经网络技术与传统pid控制相结合，则可以在一定程度上解决传统pid控制器不易进行在线实时参数整定等方面的缺陷，充分发挥pid控制的优点。bp神经网络的pid控制系统结构如图2.2所示。pid控制要取得好的控制效果，就必须对比例、积分和微分三种控制作用进行调整以形成相互配合又相互制约的关系，这种关系是从变化无穷的非线性组合中找出最佳的关系。神经网络具有任意的非线性表示能力，可以通过对系统性能的学习实现具有最佳组合的pid控制器。图2.2 bp神经网络的pid控制系统结构图2.5 遗传算法pos优化bp神经网络pid控制器神经网络(neural networks, nn)是一个具有高度非线性的超大规模连续时间自适应信息处理系统，它的应用己经渗透到各个领域并取得了令人鼓舞的进展。多层前向神经网络是一个强有力的学习系统，系统结构简单且易于编程。一个三层前向网络可以逼近任意非线性函数。在神经网络中，广泛应用的是bp学习算法，由于bp算法是沿梯度下降平方误差函数来指导搜索，在应用时易陷入局部极小点，而且学习时间长甚至可能达不到学习的目的，难以解决应用问题中的实例规模与网络规模之间的矛盾，求解精度不高。遗传算法(genetic algorithm, ga)在一定程度上可以克服bp算法的局限性。ga是一种模拟自然选择和遗传机制，在计算机上模拟生物进化机制的自适应概率性全局寻优搜索算法，是近些年发展起来的新型优化算法。ga在寻优过程中，是在高维可行解空间随机产生多个起始点并同时开始搜索，由适应度函数来指导搜索方向。因而，搜索区域广、搜索效率高。ga不需计算梯度，因而其目标函数不受限制，不必要求目标函数连续可微以及其它辅助信息。上述特点使ga成为一种全局性、并行性、快速性的优化方法，具有很强的鲁棒性，可以广泛应用于工程技术中这样就可以将遗传算法与神经网络技术结合起来一起应用于控制领域。而遗传算法神经网络pid控制就是将遗传算法应用于神经网络pid控制的对神经网络pid控制性能改进的一种改进控制算法。这样就可以同时发挥遗传算法和神经网络各自的优点，而避免它们的缺点。应用遗传算法的神经网络pid控制器系统结构如图2.3所示。图2.3 遗传算法bp神经网络pid控制系统结构控制器结构与模糊神经网络pid控制系统在结构上只是一个模糊化过程及学习算法不同。在遗传算法神经网络pid控制系统中主要是利用ga算法对神经网络进行学习，这有效的解决了神经网络结构的学习问题，是对神经网络pid控制系统的一种性能上的改进和优化。 由于常规pid控制器对具有复杂非线性的对象或者过程进行控制，一般难以达到满意的控制效果，针对复杂非线性对象的神经网络pid控制不失为一个有效的控制策略，因为神经网络pid控制包含常规pid的控制思想，同时具有神经网络的非线性映射能力。神经网络的初始权值的选取对控制器的性能影响很大。由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛以及训练时间的长短的关系很大。如果初始权值太大，使得加权之后的输入和n落在了s型激活函数的饱和区，从而导致其倒数f(s)非常小。所以，一般总是希望经过初始加权后的每个神经元的输入值都接近于0，这样可以保证每个神经元的权值都能够在它们的s型激活函数变化最大之处进行调节。 然而采用反复试验初始权值的方法很难得到最优参数的控制器，pso算法不采用遗传算法的交叉和变异等算子，各个微粒根据自己的位置和速度来搜索，整个搜索更新过程是跟随当前最优解来进行的。与遗传算法相比，pso算法通常能更快地找到最优解，已在函数优化、神经网络训练、模拟控制系统优化等方面得到了应用。这里我们就采用pso算法优化神经网络pid控制器的参数。用pso算法训练bp网络时，定义粒子群的位置向量的元素是bp网络的个体连接权和阂值。首先初始化位置向量，然后用pso算法搜索最优位置，使如下均力误差指标(适应值)达到最小： （2-3） 其中，n是训练集的样本数; 吴是第i个本的第j个网络输出节点的理想输出值; 是第i个样本的第j个网络输出节点的实际输出值;c是网络输出神经元的个数。基于pso算法的bp网络学习算法流程如下:(1)选定粒子数m：适应闭值：最大允许迭代步数；、和。初始化x和v为(0 1)间的随机数。(2)迭代步数t = 0; ；(3）while (4) for i=1:1:m(5)根据和训练随即样本，按式（2-3）计算(6）if ；=；endif(7) if ；=；endif(8）end for(9）for i=1：1：m(10）计算： (11）end for (12) end while(13)以所得权值阂值为初始值用bp算法对网络进行训练上述流程中，(1)到(2)用标准pso算法对权值和闭值进行训练，(13)对pso输出的权值和闭值作为初始值用bp算法训练网络。另外，x，是第1个粒子的位置；，其中是第1个粒子的速度；是m个粒子迄今搜索到的最优适应值，其对应的粒子位置矩阵是；是粒子群迄今搜索到的最优适应值，对应的最优粒子位置是，粒子数m。用pso算法优化可得到一组神经网络的初始权值，。而基于bp神经网络的pid控制器算法如下: 选定bp神经网络nn的结构，即选定输入层节点数m和隐含层节点数q并给出各层权系数的初值，选定学习速率。和平滑因子。k=1 采样得到r (k)和y(k，计算e(k)=r (k)一y (k); 对r （i ）, y （i ）,u（i-1）,e（i）（i=k,k-1,k-p）,. .,k一p)进行归一化处理，作为nn的输入; 前向计算nn的各层神经元的输入和输出，nn输出层的输出即为pid控制器的三个可调参数kp、ki、kd; 计算pid控制器的控制输出。(k )，参与控制和计算; 计算修正输出层的权系数; 计算修正隐含层的权系数 置k=k+1，返回“”。3仿真实验3.1 pid神经网络的系统控制器仿真被控对象的模型为输入信号采用阶跃信号：r1(k)=0.7; r2(k)=0.4; r3(k)=0.6; 仿真结果如图3.1,3.2,3.3所示。图3.1 阶跃响应曲线图3.2 误差跟踪曲线图3.3 参数自适应曲线 被控对象是一个复杂数学模型，用常规的pid控制很难确定pid控制器参数，由于神经网络具有非线性映射能力，此单神经元自适应pid控制器很好的完成了对被控对象的仿真。从仿真结果可知，系统不仅很快趋于稳定，而且整个阶跃响应曲线毫无超调量。3.2 pso算法优化的pid神经网络的系统控制器仿真bp神经网络pid仿真需要选择网络的初始权值，初始权值选择的好坏直接影响仿真结果的好坏，然而采用根据经验反复试凑的方法既费时又费力，难以取得良好的结果。然而采用pso算法优化bp神经网络pid控制器之后权值的选择将可以用pso算法来完成，由于pso算法的初始值的选择不用那么严格，于是仿真就变得容易起来。为了便于比较这里再次设被控对象的数学模型为设bp神经网络的结构选择3-3-3。pso参数设置为:种群规模20，微粒群数3，最大迭代次数50，惯性权重从0.9到0.1线性减小，加速常数c1=1.49445， c2=1.49445，微粒速度范围-0.03 0.03，微粒群设置范围-0.3 0.3。输入信号采用阶跃信号：r1(k)=0.7; r2(k)=0.4; r3(k)=0.6; 仿真结果如图3.4,3.5,3.6,3.7所示图3.4 粒子群算法过程图3.5 阶跃响应曲线图3.6 跟踪误差曲线图3.7 参数自适应曲线将pso优化的bp神经网络pid控制系统仿真结果和基于单神经元pid自适应控制系统仿真结果比较，阶跃响应响应曲线(图3.1和图3.5 )和误差跟踪曲线(图3.2和图3.6 )都反映了pso优化的bp-pid控制器使系统更早的进入稳态。pso-bp-pid控制结构虽比单神经元自适应pid控制器复杂，但它改善了系统的性能，这说明pso优化的bp- pid控制器相比单神经元自适应pid控制器具有一定的优势。4总结pid控制具有算法简单、鲁棒性好可靠性能高的特点，至今仍被广泛应用于工业过程中。然而常规的pid控制器的设计要求系统可以建立精确的数学模型，而实际的控制系统往往是非线性、时变性，很难建立精确的数学模型。另外常规pid参数的整定困难，对实际工业环境适应性很差。神经网络由于其具有强的非线性映射能力、自学习适应能力、联想记忆能力、并行信息处理方式及其优良的容错性能，能在不同程度和层次上模仿人脑神经系统的信息处理、存储和检索功能