智能控制 课件全套 李晓理 -第1-9章-智能控制概述-智能控制展望

智能控制概述智能控制1

第一章

IntelligentControl

Overview绪论智能控制2Ch1智能控制的产生智能控制的含义及特点1.11.21.3智能控制理论1.4智能控制的发展智能控制的产生智能控制31.1控制：通过施加特定的操作量，改造所涉及系统的性能，使其最大限度的满足特定需要的理论与技术的总称。包括：系统、系统的改造、性能。自动控制：不需要人工干预的控制，它是通过自动化装置代替人对系统进行的控制，使之达到预期的状态或性能指标。智能控制的产生1.1自动控制的思想可追溯到公元前。中国马钧研制出用齿轮传动的自动指示方向的指南车，指南车使用了扰动控制原理。(-235年)智能控制4智能控制的产生1.1自动控制技术的广泛应用始于工业革命时期。英国Watt根据反馈控制原理设计离心式调速器自动控制蒸汽机的速度。(1788年)智能控制5控制理论研究的开始英国物理学家Maxwell用线性微分方程来研究蒸汽机调速系统的稳定性问题，他指出只有当微分方程的特征根为负实根或具有负实部的复根时，系统才稳定。(1868年)智能控制6智能控制的产生1.1控制理论产生和发展的基础英国Routh和德国Hurwitz经过独立研究后，给出了可以不用求解特征方程的根，而直接根据特征方程的系数来判断所描述系统稳定性的判据，即Routh-Hurwitz判据。(1877年)俄国Lyapunov博士论文“论运动稳定性的一般问题”

。(1892年)智能控制7智能控制的产生1.1美国Nyquist提出了根据系统开环频率特性来判别闭环系统稳定性的方法，即Nyquist稳定性判据。(1932)美国Bode引入了半对数坐标系，把复数运算转换成代数运算，大大地简化频率特性的分析。(1940)Harris引入了传递函数的概念。(1942)美国Taylor仪器公司的Ziegler和Nichols提出PID参数的最佳调整法。(1942)美国Evans提出根轨迹法。(1948)智能控制81经典控制的发展及其特点经典控制的主要特点以单变量线性定常系统为研究对象；以传递函数作为系统特性的主要描述手段，研究系统外部特性，难以揭示系统内部的动态行为；以Laplace变换和多项式代数为数学工具，利用Bode图、Nyquist曲线、根轨迹等方法对控制系统进行分析与综合。智能控制91 经典控制的发展及其特点苏联Pontryagin发表“最优过程数学理论”，提出极大值原理(Maximum

Principle)。(1956)美国Bellman发表著名的Dynamic

Programming,

建立最优控制的基础。(1957)美籍匈牙利人Kalman发表论文“On

the

General

Theory

ofControl

Systems”等，提出了状态空间分析方法，包括能控性，能观测性，最佳调节器和Kalman

滤波等概念，奠定了现代控制理论的基础。(1960)智能控制102现代控制的发展及其特点瑞典Åström

研究了线性定常系统参数估计问题和定阶方法。(1967)

六年后，他提出了自校正调节器，建立自适应控制理论。英国Rosenbrock发表State

Space

and

Multivariable

Theory。(1970)加

拿

大

Wonham

发

表

Linear Multivariable Control: AGeometric

Approach。(1974)智能控制112现代控制的发展及其特点美国Brockett

提出用微分几何研究非线性控制系统。(1976)意大利Isidori出版Nonlinear Control

Systems。(1985)加拿大Zames提出H∞

鲁棒控制设计方法。(1981年)美国Y.C

Ho和中国香港X.R

Cao等提出离散事件系统理论。(1983)智能控制122现代控制的发展及其特点现代控制的主要特点以多变量线性系统为主要研究对象；以状态空间法作为系统特性的主要描述手段；以现代数学(矩阵论、泛函分析等)为主要分析工具，通过计算机实现控制。智能控制132现代控制的发展及其特点尽管传统控制获得了成功，但也存在如下缺陷：传统控制依赖显式的对象模型，它是以系统传函、状态方程等为基础的。然而在现实生活中，往往很难获得精确的数学模型，因而传统控制难以取得理想效果。传统控制缺乏智能，表现于缺乏学习能力与适应能力。传统控制中的控制律多数一经确定，不再改变，当对象参数或环境发生变化时，控制系统的性能随之下降。随着控制目标、任务的要求越来越高，传统控制系统可能变得很复杂，导致系统成本提高、可靠性下降。智能控制143 传统控制所面临的问题正因为传统控制存在这么多的困难，所以，必须发展新的概念、理论与方法才能和社会生产的快速发展相适应。对于复杂系统，传统控制方法难以取得理想的效果。但若采用人工操作，凭借人的直觉或经验对其进行控制，却能收到事半功倍的效果。于是，人们在想能否设计出类似人一样的控制器，来解决这类复杂对象的控制问题？随着人工智能科学的发展，将人工智能与自动控制有机地融合起来，就产生了智能控制。智能控制154 智能控制的产生智能控制的含义及特点智能控制161.2智能控制理论始于20世纪70年代，是控制理论、人工智能和计算机科学相结合的产物。它属于控制理论发展的高级阶段，主要用来解决传统方法难以解决的复杂系统的控制问题。与传统控制理论相比，智能控制对于环境和任务的复杂性有更强的适应能力。1智能控制17智能控制的定义智能控制就是通过具有智能行为的自动化装置代替人对系统进行控制，使之达到预期的状态或性能指标。按照智能控制的定义可知，一切蕴含智能行为的控制技术都属于智能控制。因此，智能控制所包含的内容十分广泛2智能控制18智能控制的研究对象智能控制的研究对象应该是复杂系统，一般具备以下特点：严重不确定性高度非线性复杂的控制任务A智能控制19严重不确定性被控对象存在严重不确定性，模型结构和参数在运行过程中变化很大，如生物发酵过程；有的被控对象甚至难以建立数学模型或所建立的模型很不精确，比如经济系统、生态系统等。面对这样的系统，基于数学模型的传统控制无能为力。这些复杂系统特性的描述往往需要借助学习、知识推理或统计模型来表达。B智能控制20高度非线性传统控制理论更多的用来解决线性系统控制问题。滑模变结构控制、基于微分几何的非线性控制等方法可处理非线性系统控制问题。但是，非线性控制理论并不成熟，有些控制方法的适用条件十分苛刻，有些控制算法十分复杂，根本无法推广应用。智能控制方法脱离复杂的数学模型，往往可以收到事半功倍的控制效果。C智能控制21复杂的控制任务传统控制理论更多地用来解决调节问题或跟踪问题，控制任务比较单一。对于一些系统，其控制任务往往比较复杂。比如，机器人足球比赛，既要考虑单个机器人的控制性能，又要考虑多个机器人协作，还要考虑目标的不确定性等因素。对于复杂控制系统，传统控制方法则显得力不从心。而采用智能控制方法，充分发挥其学习功能、组织功能，往往能够取得很好的控制效果。3智能控制22智能控制系统智能控制系统：实现某种控制任务的智能系统。智能(控制)系统应该具备：对获取的信息进行定性与定量、模糊与精确的处理能力；在线学习、修改、生成新知识和记忆能力；把已有的理论与人的经验相结合，归纳、演绎、推理决策的能力；对系统的故障和运行过程中的突发事故实时处理的能力。智能(控制)系统具有自学习、自适应和自组织的功能。A智能控制23学习功能Saridis的学习系统定义：一个系统，如果能够对过程或环境的未知特征所固有的信息进行学习，并将得到的知识用于进一步估计、分类、决策或控制中，从而使系统的性能得到改善，则称该系统为学习系统。学习就是获得未知过程或环境的固有特征信息，并且利用所获得的知识不断完善自我的过程。B智能控制24适应功能对于没有学习过的数据，系统也能给出合适的输出。当系统局部出现故障时，系统仍能正常工作。对于高级智能控制系统还可以找出故障位置甚至实现自修复，体现出更强的自适应功能。C智能控制25组织功能智能控制系统对于复杂的控制任务和多传感信息具有自组织和协调的功能。当多个控制目标出现冲突时，系统可以在满足控制要求的情况下，自行决策，主动采取行动，体现出智能控制系统具有相应的主动性和灵活性。4智能控制26智能控制系统的分类智能控制系统可分为:模糊控制系统神经网络控制系统专家控制系统分级递阶系统学习控制系统…….A模糊控制系统模糊控制：把人类专家对特定的被控对象或过程的控制策略总结成一系列以“IF（条件）THEN（作用）”形式表示的控制规则，通过模糊推理得到控制作用集，作用于被控对象或过程。智能控制27B神经网络控制系统神经网络控制：利用人脑的某些结构机理以及人的知识和经验对系统的控制。控制问题视为模式识别问题，被识别的模式是关于受控的状态、输出或某个性能评价函数的变化信号。这些信号经神经网络映射成控制信号。智能控制28C专家控制系统专家系统：一个智能计算机程序系统，其内部含有某个领域大量的专家水平的知识与经验，能够利用这些知识与经验来处理该领域的高水平难题。专家控制系统：应用专家系统技术而建造的控制系统。智能控制29D分级递阶控制系统分级递阶智能控制是在自适应控制和自组织控制的基础上，由美国普渡大学Saridis提出的智能控制理论。分级递阶智能控制主要由三个控制级组成，按智能控制的高低分为组织级、协调级、执行级，并且这三级遵循“伴随智能递降精度递增”原则。组织级协调级执行级精智能控制30度智能智能控制31智能控制理论1.3IC=AI∩AC∩ORIC─

智能控制(Intelligent

Control);OR─运筹学(OperationResearch）Al─人工智能(ArtificialIntelligence);AC一自动控制(Automatic

Control);∩一表示交集智能控制理论智能控制321.3智能控制目前尚未形成完整的理论体系典型的智能控制系统包含的理论内容有：模糊数学理论神经网络理论优化理论自适应、自组织和自学习控制知识工程人-机系统理论信息熵……智能控制的发展智能控制331.4智能控制理论的发展基础（1960s）1965年,

美国普渡大学的傅京孙教授首先在学习控制中引入了人工智能的直觉推理，提出了基于直觉推理规则方法的学习控制。1965年，Zadeh提出模糊集合概念，并于1968年公开了其模糊算法。1967年,

Mendel把记忆、目标分解等技术用于学习控制系统，首次使用了“智能控制(Intelligent

Control)”一词。智能控制的发展智能控制341.4智能控制研究的进一步深化（1970s）1971年，傅京孙从发展学习控制的角度，提出了智能控制这一概念，并且归纳给出了三种智能控制系统：人控制器、人机结合控制器、无人参与控制器。1974年，英国伦敦大学Mamdani博士成功地将模糊逻辑理论用于蒸汽机控制，开创了模糊控制的新方向。1977年，Saridis出版《随机系统的自组织控制》，并于1979年发表“走向智能控制的实现”，指出控制理论最终走向智能控制的发展过程。他还提出了“组织级、协调级、执行级”的分层递阶智能控制结构。智能控制的发展智能控制351.4智能控制研究的迅速发展时期（1980-）1985年，IEEE在美国纽约召开了第一界智能控制学术讨论会，标志着智能控制作为一个学科分支得到了控制界认可。1986年，瑞典Åström

将人工智能的专家系统技术引入到控制系统中，开创了专家控制这一新的控制领域。1982年，Hopfield提出的Hopfield网络，对神经网络研究的起到了重要作用。1986年，Rumelhart提出的BP算法，解决了神经网络的学习问题，引发了神经网络的研究热潮。智能控制的发展智能控制361.41987年，在美国费城由IEEE控制系统学会与计算机学会联合召开了第一界智能控制国际会议，这标志着智能控制作为一门新学科正式建立起来。智能控制的发展智能控制37智能控制虽然目前尚未形成完整的理论体系，但在许多复杂系统的调控过程中已经得到成功应用。包括工业过程控制、机器人控制、航空航天器控制到故障诊断、管理决策等诸多领域均有涉及。研究智能控制的目的就是要设计制造出具有高度智能水平的人工系统，以便在必要的场合能够用智能系统替代人去执行各种复杂任务。1.4神经网络控制系统智能控制1

第二章

NeuralNetworkControlSystem神经网络控制系统智能控制2Ch22.1 人工神经网络概述2.2 典型神经网络及非线性建模2.3 神经网络建模2.4 神经网络控制2.5 基于动态神经网络多模型自适应控制器设计与实现人工神经网络概述智能控制32.1BasicConceptofNeural

Network人工神经网络概述智能控制42.1一 生物神经网络二

人工神经元模型三

神经网络模型四

神经网络学习生物神经网络一神经元主要由三部分组成：树突、细胞体和轴突。树突：神经元的输入，将电信号传送到细胞体。细胞体：对这些输入信号进行整合并进行阈值处理。轴突：神经元的输出，将细胞体信号导向其他神经元。突触：一个神经细胞的轴突和另一个神经细胞树突的结合点。智能控制5生物神经网络智能控制6一人脑（生物神经网络）约由101l~1012个神经元组成，每个神经元约与104~105个神经元联接，形成错纵复杂而又灵活多变的神经网络。虽然每个神经元都比较简单，但是如此多的神经元经过复杂的联接却可以演化出丰富多彩的行为方式。人工神经元模型智能控制7二⚫人工神经网络（简称神经网络）是由人工神经元组成的网络，它是从微观结构和功能上对人脑的抽象、简化，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等是模拟人类智能的一条重要途径。⚫人工神经网络可以通过电子电路实现。⚫人工神经元（简称神经元）是人工神经网络的处理单元。yi

是第

i

个神经元的输出，它可与其它多个神经元连接；u1,u2,

,uj,

,

un分别是指与第

i

个神经元连接的其它神经元的输出；w1i

, w2i

,

, wji

,

, wni分别是指其它神经元与第

i

个神经元连接权值；

i

是第

i

个神经元的阈值；xi

是第

i

个神经元的净输入；f

(xi

)

是非线性函数，称为作用函数(激活函数)。1激活函数智能控制8nnyi

f(

wjiuj

i)则j

1yi

f(xi

)f

(x)1智能控制90x

0

, x

0第

i

个神经元的输出设

xi

w

ji

u

j

ij

1x

0f(x)

1

,输入加权和超过阈值时，输出为“1”，即“兴奋”状态；反之，输出为“0”，是“抑制”状态。若把阈值也作为一个权值，则nyi

f(

wjiuj)j

0

i式中w0i，u0

1

。1 激活函数2非对称型Sigmoid函数11

e

xf(x)

,

011

e

xf(x)

f

(x)10xf

(x)10x

智能控制10

22对称型Sigmoid函数f

(x)1xf

(x)1x0

10

11

e

xf(x)

1

e

x,

0智能控制111

e

xf

(x)

x1

e

23对称型阶跃函数采用阶跃作用函数的神经元，称为阈值逻辑单元。

1

, x

0x

0f

(x)

1

,f

(x)10x

1智能控制124 线性函数输出等于输入y

f

(x饱和线性作用函数

0 x

y

f(x)

对称饱和线性作用函数y

f(x)

x

1

1 x

1

1

x

1x

1

f

(x)10xf

(x)0xf

(x)1x0

1线性智能控制13饱和线性对称饱和线性5高斯函数

2

)f

(x)

e

(

x20f

(x)x智能控制14人工神经网络模型三⚫若干个神经元通过相互连接就形成一个神经网络，这个神经网络的拓扑结构称为神经网络的互连模式。⚫神经元的连接并不只是一个单纯的传送信号的通道，而是有一个加权系数(权值)

，相当于生物神经系统中神经元的突触强度，它可以加强或减弱上一个神经元的输出对下一个神经元的刺激。⚫连接权值并非固定不变，而是按照一定的规则和学习算法进行自动修改。体现出神经网络的“进化”行为。⚫神经元模型、数量及互连模式确定了神经网络的结构，神经网络结构和学习算法决定了神经网络的性能。智能控制151层次型神经网络1神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈和相互连接。可用于函数逼近、模式识别。感知器网络BP网络径向基函数网络智能控制161 层次型神经网络2在前向神经网络中有的在同一层中的各神经元相互有连接，通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。智能控制171 层次型神经网络3在层次网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列，也可以用于动态时间序列过程的神经网络建模。Elman网络智能控制182 互连型神经网络任意两个神经元之间都可能有相互连接的关系。有的神经元之间是双向的，有的是单向的。神经网络处在一种不断改变状态的动态过程中。它将从某个初始状态开始，经过若干次的变化，才会到达某种平衡状态，根据神经网络的结构和神经元的特性，还有可能进入周期振荡或其它如浑沌等状态。主要用作各种联想存储器或用于求解最优化问题。Hopfield网络Boltzman机网络智能控制19神经网络学习智能控制20四学习:

神经元之间的连接权值按照一定的学习规则进行自动调整，调整的目标是使性能函数达到最小。学习是神经网络中最重要的特征之一。它使神经网络具有自适应和自组织能力。学习算法对网络的学习速度、收敛特性、泛化能力等有很大的影响。按学习方式分：无监督学习、有监督学习。按学习规则分：Hebb学习规则、Delta学习规则。1无监督的学习神经网络根据预先设定的规则自动调整权值。聚类操作Hebb规则智能控制212 有监督学习神经网络根据实际输出与期望输出的偏差，按照一定的准则调整各神经元连接的权系数。期望输出称为导师信号Delta

学习规则智能控制223智能控制23Hebb学习规则Hebb规则认为两个神经元同时处于激发状态时，它们之间的连接强度将得到加强。它是无监督学习方法，只根据神经元连接间的激活水平改变权值，又称为相关学习或并联学习。4Delta学习规则,

wn]d

神经元的期望输出(教师信号)；y

f

(wu)

神经元的实际输出；f

(

)

神经元的作用函数；w

神经元的输入权值向量，即w

[w0

,

w1,0 1n,u

]Tu

为输入向量，即

u

[u

,

u

,e

d误差智能控制24实质：函数最优化过程。基础：最优化算法中的梯度下降法。思想：沿着E的负梯度方向不断修正w，直到E达到最小。智能控制25N目的：误差准则函数达到最小，实际输出逼近于期望输出。误差准则函数E

(d

(t)

y(t))2t

1N

(d(t)

f(wu(t)))2t

14 Delta学习规则典型神经网络智能控制262.2

TypicalNeural

Networks前馈神经网络学习算法智能控制272.2一 梯度下降算法二三BP神经网络及其学习算法RBF神经网络及其学习算法梯度下降算法智能控制28一Delta学习规则⚫目的：误差准则函数达到最小，实际输出逼近于期望输出。⚫误差准则函数NNE

(d

(t)

y(t))2t

1

⚫实质：函数最优化过程。⚫基础：最优化算法中的梯度下降法。⚫思想：沿着E的负梯度方向不断修正w，直到E达到最小。梯度下降算法一

F

(

x)

F

(

x)

F

(

x)这个向量

F(x)称为多变量函数

F(

x)在点x

上的梯度。梯度给定一个

n

元多变量函数F

(

x)

F

(x1,

x2

,

,

xn

)

，F(

x)在向量空间

Rn 内具有一阶连续偏导数，则对于Rn

内的任一点,

xn

)都可以定义出一个向量x

(x1,

x2

,智能控制29Taylor级数展开给定

n

维多变量函数F

(

x)

F

(x1,

x2

,

,

xn

)，该函数在点

xˆ

上的Taylor级数展开为：利用梯度，有F

(x)

F

(xˆ)

F

(x)T (x

xˆ)

x

xˆTn nˆ21 1 2(x

x(x

xˆ

)

其中：(

x

xˆ)

(x

xˆ

)

)

n智能控制30

T

x

x

21F

(

x)

F

(

x)

x F

(

x)F

(

x)

梯度下降算法一梯度下降算法一)成立，则称xˆ

为F(

x)的极小(大)点，F

(

ˆ 为函数F(

x)的极小(大)值。极值设有多变量函数F

(

x)

F

(x1,

x2

,

,

xn

)

在点

xˆ

(xˆ1,

xˆ2

,

,

xˆn

)的某个邻域

(

0

)内有定义，使得当

x

0

时，对于所当

x智能控制31

0

时，若对于所有

x

都有F(xˆ)

F)成立，则称xˆ

为F(

x)

的强极小(大)点，F

(

ˆ

为(F(xˆ)

F(F(xˆ)

F有

x

都有F

(

xˆ)

F

(

ˆ函数F(

x)的强极小(大)值。若对所有

x

0

都有F

(

xˆ)

F

(

xˆ

x)(

F(xˆ)

F(xˆ

x))成立，则称xˆ

为F(

x)的全局极小(大)点，F

(

xˆ)为函数F(

x)的全局极小(大)值。x

xF(x)

F(xˆ

x)

F(xˆ)

F(x)T ˆ

xx

xˆ假设

F(x)T其中，

很小的正数。

0 取

x

F。极值存在的一阶必要条件若xˆ

是极小点，且F

(

x)在点xˆ 可微，则

F(x)证明：令

x

x

xˆ

，若

x

很小，F(

x

近似为x

xˆ

F(x)T2x

xˆ

x

F(x)

0有从而有T智能控制32F(xˆ

x)

F(xˆ)

F这与xˆ 是极小点矛盾。所以

F

(

x)

x

xˆ

0所有满足上式的点都称为驻点。梯度下降算法一1 梯度下降算法思想智能控制33其中

(k)为学习步长(

(k)算法任务：确定

(k

和p(k为了实现在线寻优，算法一般以迭代的方式求极值。即：x(k

1)

x(k)

x(k)令

x(k)

x(k

1)

x(k)

(k)

p(k))，向量p(k)代表一个搜索方向。，使F(

x(k

1))

F(x(k))

。2 梯度下降算法推导x

x(k

)函数F

(

x 在x(k)点的一阶Taylor级数展开为F

(

x(k

1))

F

(x(k

)

x(k

))

F

(

x(k

))

F

(

x)T

x(k

)，意味着x

x(k

)

F(x)T p(k)

0欲使F(

x(k

1))

F(x(k))

，上式右边的第二项必须为负，即x

x(k

)x

x(k

)

F(x)T

x(k)

(k)

F(x)Tp(k)

0p(k)

为最大负数时，函数的递减速度最快。x

x(k

)由于

(k)当

F(x)Tx

x(k

)p(k)

F(x)梯度下降方向的向量为梯度下降学习算法x(k

1)

x(k)

(k)

F(x)x

x(k

)智能控制34

(k)

常取固定常数，称为学习步长，它影响算法的收敛速度。1 2例

给定函数F

(

x)

x

2

25x

2，试用梯度下降法求其极值点。

1

50x

2

2x1

x2

x

F

(

x)

解：首先求函数F(

x)的梯度

F

(

x)

F

(

x)

若给定迭代初始值x(0)

[

0.5 0.5

]T，那么在x(0)处的梯度为：

智能控制35

25

1

2

x

x(0)x

x(0)

50x

2x1

F

(

x)3 例题，则梯度下降法的第一次迭代结果为：第二次迭代结果为：假设采用固定的学习步长

0

0.25

1

0.49

0.01

25

0.5

x

x(0)

0.5

x(1)

x(0)

F

(

x)

智能控制36

0.125

0.98

0.4802

0.01

12.5

0.25

0.49

x

x(1)x(2)

x(1)

F

(

x)3 例题注意：对于较小的学习步长梯度下降轨迹的路径总是与轮廓线正交，这是因为梯度与轮廓线总是正交的。4 思考智能控制37为了提高算法的学习速度，一般要增大学习步长。如果学习步长太大，算法会变得不稳定，振荡不会衰减，反而会增大。如何确定学习步长，使得算法既有较高的收敛速度，又保证学习算法稳定？

0.0354 思考智能控制38Delta学习规则又称误差修正规则。N又y(t)

f(x(t))

f

(wu(t))NTt

1

w

2(d

(t)

f

(w(k)u(t))

f

(w(k)u(t))u

(t)

w

w

(k

)N智能控制39NTt

1

E

E

y(t)

x(t)

w

E

y(t)

x(t)

w

t

1

2(d

(t)

y(t))

f

(x(t))u

(t)

4 思考Delta学习规则数学表达式w(k

1)

w(k)

w(k),

w(k)

E

BP神经网络及其学习算法二BP神经网络：基于误差反向传播学习算法的多层前馈神经网络。输入层：iiyI

u

n

H Iij ijw y隐含层：xHjy

H

fH(xH

)j j输出层：lOO Hi

1xh

wjhy

j

yh

fh

(xh

)O O Oj

11

e

x它能够逼近任意非线性函数，可用于非线性系统建模和控制。1作用函数：f

(x)

智能控制401 BP神经网络学习算法输入层：iiyI

uq

nj

ij

iwHy

I隐含层：xHjy

H

fH(xH

)j j输出层：lOO Hhw yj

1x

i

1

yO

f

O

(xO

)h h hm,tq

]T设有

Q

组数据，输入uq

[uq

,uq

, ,uq

]T

输出tq

[tq

,tq

,1 2 n 1 2lOOH qO qOHij

ihhjwf ( w u ))j

1i

1y

f

(h h

jh

j

O H记为

y

(u

)与w ,

w ,j

1, ,

l相关h 1h

2hlhlj1

j2

jnj,

wO],

wO

,

wH,

wH

,m 1 2,

wH]wH,

wH]wO

[wO,

wO,w

[wO

,

wO

,1 2

[wH,

wH,1

e

xnjh j1作用函数：

f

(x)

智能控制41误差准则函数21212QQmO q 2q

hh(tF

(w)

tq

yO

(uq

)

y

(u

))

q

1

q

1

h

1瞬时误差采用梯度下降算法w

w(k

)w(k

1)

w(k

)

F

(w)

w并且用

F

(w)代替F

(w)

，iw

w(k

)

F

(w)wi(k

1)

wi(k

)

wi i智能控制42iw

w(k

)w

(k

1)

w

(k

)

F

(w)

w向量标量1 BP神经网络学习算法(i)

输出层神经元权系数的调整权系数的迭代公式jh jhjhw

w(k

)wO

(k

1)

wO

(k

)

F

(w)

wO

21mOhh

u(k

)

2

h

1F

(w)

t (k

)

y

lOO Hjh

jw y (k)j

1yO(k)

fO(xO

(k))h h h hx (k)

h h jhjh

F

(w)

F

(w)

yO

(k

)

xO

(k

)

wO

yO(k

)

xO(k

)

wOh h＝OlOhOjh

x (k

)

wO

w为表达简洁略去u

h h

F

(w)

yO

(k

)

O(k)

yO

(k

)

xO

(k

)h hh

F

(w)

[t

(k

)

yO

(k

)]h h

yO(k

)O

h hhh

y (k

)O

O

f (

x (k

))

xO

(k

)h jjh

wO

F

(w)

＝

O

(k

)

yH

(k

)智能控制431 BP神经网络学习算法w

w(k)OOOHOOHjh

jhh jjhhj

(k)

y

(k)w (k

1)

w (k)

w

(k)

(k)

y

(k)w

w(k

)OOhh hhhO

O

(k)

[t

(k)

y

(k)]

f

(x

(k))yO

(k

)

f

O

(

x

O

(k

))h h hnjx

H

(k

)

wH

(k

)u

(k

)ij ii

1Hjy

H

(k

)

f

Hl

OO Hhjhjw (k

)

y (k

)j

1x (k

)

yO

(k)

fO(xO

(k))h h hHHjij iw u(k

)x (k

)

i

1jj jnyH(k)

fH(xH

(k))lOO Hhjh

jw y (k)j

1x (k)

OOhh hhh

O

O(k)

[t

(k)

y

(k)]

f

(x

(k))智能控制44(ii)

隐含层神经元权系数的调整ij ijijw

w(k

)

F

(w)权系数的迭代公式

wH

(k

1)

wH

(k

)

wHHHOOm

h h

j j O O HHij

h h j j ij mOOh jhi(k

)u(k

)

(k

)wh

1h

1

y (k)

x (k

)

F

(w)

F

(w)

y (k

)

x

wH

y (k)

x (k)

y (k)

x (k

)

wH

O

O H

H

H

H

h

(k

)wjhf

j (x

j (k

))ui

(k

)

f

j (x

j (k

))

h

1

H

(k

)u

(k

)j i

m

21mOhh2

h

1F

(w)

t (k

)

y

u(k

)

为表达简洁略去uHj

(k

)智能控制45HHHijijHjiijHjiw (k(k)u

(k)=w(k)u

(k)

1)

w (k)

(k)

w

w

(k

)m

OOHjjjjhf (

x (k

))

(k

)

w (k

)H

H(k

)

hh

1njx

H

(k

)

wH

(k

)u

(k

)ij ii

1nHHjij iw u(k

)x (k

)

i

1w

w(k)m智能控制46HOOjjhjhf (x(k

))

(k

)wH

Hj

(k

)

h

12 BP神经网络学习算法3 算法流程①

初始化，设置初始权系数w(0)为较小的随机数。②

提供训练样本数据

uq

[uq

,uq

, ,uq

]T1 2 n 1 2 m,tq

]Ttq

[tq,tq,(u(k),

t(k))

(u1,

t1

),

(u2

,

t

2

),

,

(uQ

,

tQ

)

③ k=0 随机完成按照P18，计算OjhwO(k

1)

wO(k)

按照P20，计算HHHijijj iw (k

1)

w (k)

(k)u

(k)④

判断是否满足终止条件12m

O 2h hh

1F

(w(k))

(t (k)

y (k))

若满足，则学习结束；否则，

k=k+1

，回到③智能控制47k

或3 学习算法的改进

1.05

(k

)

(k

1)

0.7

(k

)

(k

)

F

(w(k

1))

F

(w(k))F

(w(k

1))

1.04F

(w(k))其它智能控制48收敛速度慢收敛速度慢的原因⚫连接权值过大，工作在Sigmoid饱和区，调节停止；⚫采用较小的学习速率，增加了训练时间。收敛速度慢的解决办法⚫选取较小的初始权值；⚫变化的学习速率或自适应学习速率：RBF神经网络:径向基函数（RBF）网络是三层前馈网络。它能够逼近任意非线性函数，可用于非线性系统建模和控制。输入层：iiyI

u2nIi ijj隐含层：

yHi

12

(y

c

)

j

e

输出层：lOO Hhjh

jyw y

j

1RBF神经网络及其学习算法三智能控制49m,tq

]T设有

Q

组数据，输入uq

[uq

,uq

, ,uq

]T

输出tq

[tq

,tq

,1 2 n 1 22nqlOOOHO qhhjjw e

2

(u

c

)

j

i

1

j

1

i ijy

h

jh记为y(u ) 与w ,

c (中心),

(半径)相关h 1h 2hlhHl 1 2lj1

j 2

jnj,

wO],

wO

,

cH

,

cH

,m 1 2cH, ,

c

],

c ,

,

, ,

]wO

[wO,wO

,w

[wO

,

wO

,1 2

[c ,

ci输入层：

yI

uq2nIi ijj隐含层：

yHi

12

(y

c

)i

j

e

输出层：lOO Hhjh

jyw yj

1

1 RBF神经网络学习算法1智能控制5021122QQmqO q 2q

1F

(w)

tq

yO

(uq

)

(t

y

(u

))

h

h

q

1

h

1(i)

输出层神经元权系数的调整误差准则函数 迭代公式OOjhjhjhw

w(k

)

F

(w)w (k

1)

w (k

)

wO2nqi ijlO qOhjhw e

2

(u

c

)

j

i

1

j

1

y (u )

2nqQQqO q h hhjhy (u

))e

2

(u

c

)

j

i

1

i ij

F

(w)

F

(w)

yO(uq

)

(t

wO

yO

(uq

)

wOh jh

q

1

q

12智能控制512 22 2nqi ijnnqqjjQOOqjhjhqhOhQlOOjhqhjh(t(u

))e(t(k

))

(k

)(k

))

(k

)

2

(u

c

)

j

i

1

|w

w(k

)

(u

c(u

c

i

1

)e

i

1

w (k

1)

w (k)

y

i ij

i ij

w (k

)

w (k

)e

q

1

q

1

j

121212QQmqqO q 2hhq

1F

(w)

t

yO

(uq

)

(t

y

(u

))

(ii)

隐层神经元中心的调整误差准则函数迭代公式ij ijijw

w(k

)c(k

1)

c(k)

F

(w)

cq

1

h

n1lO qO H qHhw y (u

)

y (u )

jh2智能控制52nqi ijH qO qQ m

h

j O qH qijhjijqQmqO qOhhjh2jy (u

)

2

(u

c

)

j

i

1

2

y

(u

)

y

(u

)

F

(w)

F

(w)

c

y (u )

c

(ui

cij)

(t

y

(u

))w

e

q

1

h

1

q

1

h

121212QQmqqO q 2q

1F

(w)

t

yO

(uq

)

(t

y

(u

))

(iii)

隐层神经元宽度的调整误差准则函数j jjw

w(k

)迭代公式

(k

1)

(k

)

F

(w)

lO qO H qHhw y (u

)

h

h

q

1

h

1ny (u )

jh2智能控制53nqi ijH qO qQm

h

j O qH qjhjjnq 2QmqO qOhhjh3jy (u

)

2

(u

c

)

j

i

1

2

i

1

y

(u

)

F

(w)

F

(w)

y

(u

)

y (u )

(u

c

)

(t

y

(u

))w

e

q

1

h

1

i ij

q

1

h

112QQm mq O q 2hh(tq

1F

(w)

y

(u

))

2 RBF神经网络学习算法2权系数的调整（中心和宽度已确定）误差准则函数2nqi ijlO qO H qhjh j jw y (ui

12

(u

c

)

j

j

1

y (u )

) y

H

(uq

)

e

由于中心和宽度已定，上式可看成是wO

的函数1 2lhm,

wO],

wO]wO

[wO,

wO,h 1h 2hwO

[wO

,

wO

,12lOqO H q 2h hhjh jw y (u

))F

(w )

(t

q

1

j

1Q智能控制54ml

1F

(wO)

(t

q

求以上函数的极小值点相当于分别求下面函数的极小值点Q1212QlOO H q 2O T TO Th hjh

jhhF

(w(tq

1j

1)

w y (u

))

(B

A(w

)

)

(B

A(w

)

)

h

qOT O TT O T

h h hhh

F

(w )

0

A A(w )

A B

(w )

(

ATA)

1ATB

wO

t1

h

B

tQ

h

11ll

yH(u1)yH

(u1

)

A

yH(uQ)yH(uQ

)

hOlhw

wO

(wO

)T

1h

RBF神经网络学习的一种重要方法：首先，通过经验法或者聚类法确定中心和宽度；然后，采取最小二乘法求最优权值。智能控制55最小二乘法2 RBF神经网络学习算法2神经网络建模智能控制562.3

Neuralnetworkmodelling神经网络建模思想和方法：借助神经网络的逼近能力，通过学习获知系统差分方程中的未知非线性函数。神经网络与待辨识系统具有相同的输入，两者的输出误差被用作网络的训练信号。智能控制57,y(1),

u(n),,

u(n

m

1)]T,

y(n

1)

,

,

[y(N

1),,

y(N

n),

u(N

1),,

u(N

m)]T

,

y(N

)

1.

获得系统输入输出数据{u(1), ,

u(N

)},{y(1),,y(N

)},2.

获得样本数据

[

y(n),智能控制583. 选择合适的神经网络结构，采用第6章介绍的神经网络学习算法训练神经网络。神经网络建模假设待辨识对象为非线性离散时间系统y(k

1)

f

[

y(k), ,y(k

n

1u(k)和y(k)分别为系统k时刻的输入和输出，m和n分别是输入时间序列和输出时间序列的阶次，m≤n。用静态前馈神经网络辨识非线性系统的步骤：采用RBF神经网络对离散模型进行逼近y(k

1)y(k)

u(k

1)3

1

y(k

1)2u(k)在[-2,2]上变化，系统BIBO稳定，y(k)在[-10，10]上变化。神经网络隐单元的个数为60个，中心在[-2,2]×[-10,10]上均匀选择，宽度为2。网络结构为2-60-1。采用最小二乘法确定网络的输出权值。训练样本数为3000。yp(k)

N[u(k

1),y(k

1)]u(k)=sin(2πk/25),k∈(3000,

3100]u(k)=sin(2πk/25)+

sin(2πk/10),k∈[3100,

3200]智能控制591 神经网络建模实例1(i)

石灰窑炉的生产过程含有约30%水分的CaCO3泥桨由左端输入，燃料油和空气由右端喷入燃烧，形成气流由右向左流动，以使泥桨干燥、加热并发生分解反应。最终生成的CaO(石灰)由右端输出，而废气由左端排出。主要控制量有两个，燃料流速u1和风量流速u2。被控量为炉窑热端的温度y1和炉窑冷端的温度y2，二者决定了炉内的温度分布曲线，它是影响产品质量和能耗的最关键的因素。2 神经网络建模实例2智能控制602 神经网络建模实例2

[y(2),

y(1),

u(2),

u(1)]T

,

y(3)T

,

,

[y(3999),

y(3998),

u(3999),

u(3998)]T

,

y(4000)T

(ii)

石灰窑炉的神经网络模型石灰窑NARMA方程是y(k)

f

[y(k

1),

y(k

2)神经网络方程智能控制61样本数据结构8-20-10-2u1和u2：在(u1=1,

u2=1)上迭加幅值为±0.2的PRBS信号智能控制622 神经网络建模实例2神经网络控制智能控制632.4

NeuralNetwork

Control神经网络控制智能控制642.4模型参考控制神经网络内模控制神经网络直接逆控制1 神经网络监督控制2 神经网络自适应控制3456神经网络控制实例缺点:

系统为开环，稳定性和鲁棒性不能保证。(i)神经网络监督控制1神经网络监督控制: 对人工或传统控制器进行学习，用神经网络控制器取代或逐渐取代原控制器。1 神经网络监督控制智能控制65神经网络控制器通过学习，使

e(t)

或

u1(t)

趋近于零，从而使它取代常规控制器。一但出现干扰等，常规控制器重新起作用。优点:

精度高，稳定性、鲁棒性和自适应性强。(ii)

神经网络监督控制21 神经网络监督控制智能控制66直接自校正控制（直接逆控制）神经网络自适应控制包括自校正控制和模型参考控制。自校正控制：根据系统辨识结果，调节控制器参数，使系统满足性能指标。间接自校正控制2 神经网络自适应控制智能控制67模型参考控制：闭环系统的期望性能由参考模型描述，控制的目的是使被控对象的输出一致渐近地趋近于参考模型的输出。直接模型参考控制 间接模型参考控制3 模型参考控制智能控制684 神经网络内模控制神经网络内模控制：用神经网络建立被控对象的正向模型和控制器。该方案有很好的鲁棒性。若模型精确且干扰为0，反馈信号为0，系统成为开环，是直接逆控制，y=yd。若模型不准且/或有干扰，则由于负反馈的作用，仍有y接近yd。智能控制69直接逆控制:

将神经网络逆模型直接与被控对象串联起来，以便使期望输出与实际输出之间的传递函数等于1。直接逆建模系统的输出作为网络的输入，网络的输出与系统的输入进行比较，用来训练神经网络，以建立起系统的逆模型。智能控制705 神经网络直接逆控制假设被控对象为y(k

1)

f[

y(k),,

y(k

n

1

[

y(N

),,

y(N,

y(1),u(n

1), ,u(n

m

1)]T1.

获得系统输入输出数据{u(1),,

u(N

)},{y(1), ,y(N

)},2.

获得样本数据

[

y(n

1),可逆若f

(u(k)

f

1[y(k

1),

y(k), ,y(k

n

1); u(k

1), ,

u(k

m

1)]用静态前馈神经网络建立非线性系