智能控制课件8

（第8课）

第五章学习控制

第六章分层递阶智能控制智能控制IntelligentControl第五章学习控制学习是人类具有智能的显著标志，同时也是智能系统的智能化衡量标准。

KSFU把学习控制与智能控制相提并论1学习控制是为了解决主要由对象的非线性和系统建模不良所造成的不确定性问题。

学习控制通过对未知信息的估计逐步改善控制系统性能。什么是学习，什么是学习控制系统

教材P28325.1概述学习控制与自适应控制

教材P284

自适应控制着眼于瞬时，动态特性随时间变化，没有记忆学习控制强调全局，具有记忆特性学习控制典型类别

（1）基于模式识别的学习控制（2）基于迭代和重复的学习控制（3）联结主义学习控制3机器学习是智能系统（特别是ES）中不可缺少的一个组成部分

ES需要不断适应外界环境的变化，提高解决问题的能力机器学习的研究已经有相当长的历史，提出了很多尚待解决的问题，是AI领域上正在发展的一个课题学习也可以看作是获取知识的方法4（补充）机器学习基本的机器学习方法（1）机械学习（rotelearning）

从特殊到特殊的学习过程，训练时只把特殊知识教给系统。（2）通过指点学习（learningbybeingtold）

从一般到特殊的学习过程，训练者只是给出笼统指示或建议，学习环节把它们具体化为细节知识或特殊规则5（3）通过例子学习（learningfromexample）

特殊到一般的学习，归纳学习（4）通过类比学习（learningbyanalogy）

从特殊事例概括出类比关系和转换规则6实例学习

学习过程：从给定的实例序列E1，E2，…，En（E1必须是正例）中学习概念C

步骤：

（1）取E1为概念C的初始假设H1；（2）处理其余的Ei(i=2,3,…,n)：

---

以Ei匹配当前假设Hi-1，令匹配结果为Hi-1与Hi之差异的某种描述D7

---

根据D并根据Ei是C的正例还是反例，对Hi-1采取行动，其结果为C的修饰过的假设Hi

---

最后结果为Hn，代表对C的理解8例，积木世界拱的概念12349

第1例为正例，成为“什么是拱”的当前假设HiH1rectanglehas_partsupportis_asupport10第2例为反例E2rectanglehas_partsupportis_asupporttouch11E2与H1匹配，得差异D：

E2有一个附加关系touch，修改当前假设H1Rule:ifexampleisnegative,andexamplecontainsarelationRwhichisnotthecurrenthypothesisH,thenforbidRinH(addmust-not-RinH)12H2rectanglehas_partsupportis_asupportmust-not-touch13再看第3例，又是反例E3rectanglehas_partis_a14

与H2不同的是，两个support没有，因而，把两个support连线改为must-support,H2»H3Rule:ifexampleisnegativeandexampledoesnotcontainarelationRwhichispresentinthecurrenthypothesisH,thenrequireRinthenewhypothesis(addmust-RinH)15H3rectanglehas_partmust-supportis_amust-not-touchmust-support16第4例为正例E4trianglehas_partsupportis_asupportrectangle17

将E4与H3匹配，差异是E4顶部为三角形，因而可以把顶部rectangle变为rectangle-or-triangle

若系统有领域知识triangle和rectangle同属于stable-poly,则最后假设为H4

18H4rectanglehas_partmust-supportis_amust-not-touchmust-supportstable-poly19原理

针对先验知识不完全的对象和环境，将控制局势进行分类，确定这种分类决策，根据不同的决策切换控制作用的选择，通过对控制器性能估计来引导学习过程，从而使系统总的性能逐步改善。205.2基于模式识别的学习控制发展

教材P285学习控制器原理及结构

教材P287图5.1图5.2

闭环反馈三个反馈层模式分类“教师”学习21

有教师学习：有监督学习，训练，离线学习

无教师学习：无监督学习，在线学习，如Bayes学习等模式分类

k维特征空间→决策空间22判别函数di(x),i=1,2,…,m

对于x属于ωi则di(x)>dj(x),

j≠i决策面方程：di(x)-dj(x)=0---

线性判别函数ωir：权ωi,k+1：偏置23

意义可参考神经网络P289图5.32类线性分类器---NN的线性阈值单元图5.4m类线性分类器---NN的多层分类器---多项式判别函数24---

统计判别函数考虑为随机向量di(x)=p(x|ωi)p(ωi)

p(ωi)–类ωi的先验概率p(x|ωi)–在状态ωi下观察x的类条件概率。根据Bayes公式，求p(ωi|x)–状态ωi的后验概率25Bayes决策原理：若p(ω1|x)>p(ω2|x)，把x归类为ω1若p(ω1|x)<p(ω2|x)，把x归类为ω2利用Bayes决策，可获得使错误率为最小的分类规则Bayes分类器，P290图5.526可训练控制器

2类线性分类器作为一种可训练控制器使用，并实现一种时间最优学习控制。Bayes学习控制

利用Bayes定理的迭代方法，估计（学习）未知的密度函数信息随机最优控制器设计

27（1）有监督的Bayes学习控制

已知ωi类样本x(1),x(2),…,x(n)及在ωi下样本的概率密度函数p(x|ωi),估计参数θ28（2）无监督的Bayes学习控制

没有x(1),x(2),…,x(n)的正确分类，此时x(i)可能属于m类中的任何一类混合密度29智能控制的对象：复杂系统，其中，一类是指具有复杂的要求，如规划、决策