神经网络、模糊控制及专家系统第一章

神经网络、模糊控制及专家系统,张严心yxzhang2012年秋季,研究生课程,主要教学参考书教材：王耀南，智能控制系统模糊逻辑、专家系统、神经网络控制，湖南大学出版社，1996主要参考书:1王永骥，涂健，神经元网络控制，机械工业出版社，19982诸静，模糊控制原理与应用，机械工业出版社，19953C.H.Chen,Fuzzylogicandneuralnetworkhandbook,NewYork:McGraw-Hill,c19964SimonHaykin,Neuralnetworks:acomprehensivefoundation,Beijing:TsinghuaUniversityPress,20015KevinM.Passino,StephenYurkovich,Fuzzycontrol,Beijing:TsinghuaUniversityPress,2001,6SpyrosG.Tzafestas,Methodsandapplicationsofintelligentcontrol,Dordrecht:KluwerAcademicPub.,19977Zi-XingCai,Intelligentcontrol:principles,techniquesandapplications,Singapore:WorldScientific,19978王伟，人工神经网络原理入门与应用，北京航空航天大学出版社，19959阎平凡，张长水，人工神经网络与模拟进化计算，清华大学出版社，200010杨辉，王金章，模糊控制技术及其应用，江西科学技术出版社，199711刘增良，刘有才，模糊逻辑与神经网络理论研究与探索，北京航空航天大学出版社，199612张乃尧，阎平凡，神经网络与模糊控制，清华大学出版社，199613史忠科，神经网络控制理论，西北工业大学出版社，1997,主要教学参考书,先修内容,现代控制理论或线性系统线性代数或矩阵分析MATLAB语言,第一部分概述（3）第二部分模糊控制（12）第三部分神经网络（10）第四部分集成智能控制系统（7）,课程安排,第一章绪论第二章模糊控制的数学基础第三章模糊控制的基础理论第四章模糊控制系统与模糊控制器第五章常用人工神经网络原理及学习算法第六章神经网络控制器设计第七章集成智能控制系统理论第八章其他智能控制,总学时:32学时，1-8周，每周4学时,智能家居开关图示,世界上最小机器人身高只有16.5厘米、体重仅有350克，但能在90种不同背景音乐的伴奏下行走、跳舞，还能听懂10个语言命令、完成200多种动作、说出约180个短语！,资料图片：一种能钻入血管的机器人想象图,北京一家企业展出的机器人在演奏架子鼓,懂得“甜言蜜语”的会话机器人逗得女客商笑逐颜开,哈工大计算机学院展出的机器人随着音乐表演团体操,一名客商在和汉服装扮的机器人交流,高精度仿真机器人,空中机器人比赛,水中机器人比赛,舞蹈机器人比赛,中国载人航天工程是我国航天史上迄今为止规模最大、系统组成最复杂、技术难度和安全可靠性要求最高的跨世纪国家重点工程，包括：航天员、空间应用、载人飞船、运载火箭、发射场、测控通信、着陆场、空间实验室等八大系统组成。在工程实施方面主要又包括：卫星、神舟载人飞船和嫦娥探月三大系统。,载人航天,卫星测控,地面测控站,我国已建成了比较完整的陆海基测控网，能完成从近地轨道卫星到地球同步卫星的测控任务。我国的测控技术的某些方面己处于国际先进水平。,测控是工程控制科学与通信技术结合的一体化工程，其特点有：1）多任务测控；2)深空跟踪；3）卫星测控设备；4）测控和通信。,第一部分概论,第一章绪论（3学时）,1.1控制理论发展的几个阶段1.2智能控制的基本设计方法,1.1.1.古典控制论（经典控制论阶段）1.1.2.现代控制理论（20世纪60年代）1.1.3.智能控制理论（20世纪70年代）,1.2.1模糊控制（Fuzzycontrol)1.2.2神经网络控制系统（Neuralnetworkcontrol)1.2.3专家控制系统（湖南大学出版社）,1.1控制理论发展的几个阶段,19世纪J.C.Maxwell对具有调速器的蒸汽发动机系统进行线性常微分方程的描述及稳定性分析19世纪劳斯判据（1872）胡尔维茨（1890）李亚谱诺夫（1892）20世纪乃式判据（1932）,1.1.1古典控制论（经典控制论阶段）1.1.2现代控制理论（20世纪60年代）1.1.3智能控制理论（20世纪70年代）,Fig.1-1,1.1.1.古典控制论（经典控制论阶段）,50年代前后的控制理论被称为“自动调节原理”,对象I：单入、单出（SISO）、线性定常系统,频域理论：传递函数、频率特性、根轨迹分布,波德伊凡思,BootLotus,Bodeplot伊凡思的根轨迹法,BodeEvans,劳斯（E.J.Routh）赫尔维茨（Hurwitz）代数判据奈奎斯特（H.Nyquist）稳定性判据,对象II：非线性系统描述函数分析庞加莱（Poincare）的相平面分析法,1.1控制理论发展的几个阶段,1.1.2.现代控制理论（20世纪60年代）,对象MIMO,非线性时变线性定常,时域理论状态方程,（1）能控性能观测性（2）李亚谱诺夫的稳定性理论（直接法）和李亚谱诺夫函数（亦称V函数）（无须求解）（3）统计函数理论相关函数的系统动态特定测量方法（即系统识别）和卡尔漫滤波理论（4）系统最佳控制系统性能指标泛函最小,缺陷,1.1控制理论发展的几个阶段,1.1.3.智能控制理论（20世纪70年代）,随着计算机技术得飞速进展系统信息的模糊性、不确定性、偶然性和不完全性,（1）傅京孙教授人机控制器、机器人（2）J.M.Mendel教授空间飞行器1967,Leondes和Mendel（3）70年代，傅京孙，Glorioso和Saridi等人或提出建立智能控制理论的构思（4）1985年8月，美国纽约PRI。IEEE召开的智能控制专题讨论会，标志着智能控制作为一个新的学科分支被控制界公认。（5）1987年开始，每年一次智能控制国际研讨会,首次提出“人工智能控制”得概念,低层次控制中常规控制器高层次智能决策拟人化功能,与经典控制论和现代控制论不同：研究的主要目标不在于被控对象，而是控制器本身，控制器不再是单一的数学解析型，而是数学解析和知识系统相结合的广义模型，是多种学科知识控制的系统。,1.1控制理论发展的几个阶段,先验智能有关控制对象及干扰的先验知识，可以从一开始就考虑在控制系统的设计中反应性智能在实时监控、辨识及诊断基础上对系统及环境变化的正确反应能力优化智能包括对系统性能的先验性优化及反应性优化组织与协调智能表现为对并行耦合任务或子系统之间的有效管理与协调,智能控制系统的特点,（1）“智能递增，精度递降”的一般组织结构的基本原理（2）开、闭环控制结合，定性与定量控制结合的多模态控制（3）具备学习功能、适应功能和组织功能（4）以知识表示的非数学广义模型和数学模型表示的混合控制过程。数学运算，符号运算的逻辑推理相结合（5）边缘交叉学科,“智能”的分类,1.1控制理论发展的几个阶段,Fig.1-2,1.1.3.智能控制理论（20世纪70年代）,1.2智能控制的基本设计方法,基于模糊推理和计算的模糊控制器Ifthen,RulebasedControl基于人工神经网络的神经网络控制器NeuralNetwork基于专家系统的专家智能控制ExpertSystem基于信息论、遗传算法和以上3种方法的集成型智能控制,几种基本的设计方法,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),1965年L.A.Zadeh,Fig.1-3,(1)定义模糊子集，建立模糊控制规则(2)由基本论域转变为模糊集合论域(3)模糊关系矩阵运算(4)模糊推理合成，求出控制输出模糊子集(5)进行逆模糊运算，判决，得到精确控制量,模糊化,推理,优点：,无需建立数学模型鲁棒性、对非线性、时变、时滞系统离线计算控制查询表、提高系统实时性控制的机理符合人们对过程控制作用的直观描述和思维逻辑,经验控制可解决不确定系统,智能控制基础,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),模糊控制研究分支,(1)稳定性(2)模糊模型及辨识(3)模糊最优控制(4)模糊自组织控制(5)模糊自适应控制(6)传统PID与Fuzzy相结合的多模态模糊控制器,Fig.1-4模糊控制在控制领域中的重要地位与作用,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),发展史,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),Fig.1-5模糊系统相关图,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),模糊系统研究计划,模糊理论与基本技术,人类功能实现与人-机界面,人类智能信息处理过程及自然现象、社会现象剖析,Fig.1-6模糊工程课题覆盖图,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),历史应用,我国1979年开始,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),1984美国推出“模糊推理决策支持系统”1985-1996日本进入了模糊控制实用化时期电视摄象机自动聚焦空调全自动洗衣机吸尘器,现代应用,硬件产品：开发了“模糊控制用的通用系统”“模糊控制用的通用控制器”以模糊推理来决定控制动作的算法作为控制系统核心，并且采用任何一条控制规则，均具有设定的相应功能的一种调节装置。,1.2智能控制的基本设计方法1.2.1模糊控制（Fuzzycontrol),模糊控制工程大致要经历如下4个阶段:,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),起源：生物神经元,Fig.1-7生物神经元示意图,突触：一个神经元末梢与另一神经元树突或细胞体的接触处称为突触。它是神经元之间传递信息的输入输出接口。,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),信息处理与传递：,Fig.1-8突触结构示意图,传递信息过程：,Fig.1-9传递信息过程,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),一个神经元一串脉冲,多个神经元多个脉冲,特点：,人脑神经网络信息处理的特点：,分布存储与冗余性并行处理信息处理与存储合一可塑性与自组织性鲁棒性Robust,成亿个神经元协同工作，与目前的“并行处理机”的机理不同,大脑皮层的大部分突触连接时后天由环境的激励逐步形成的，随环境刺激性质不同而不同。,一定的误差和噪声不会使网络的性能恶化,目前计算机存储和处理分别属于两个独立的部件，速度会受影响。,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),人工神经元（抽象模拟人脑神经元）,1993年由MoCulloch和Pitts定义,Fig.1-9人工神经元模型,加于输入端上的输入信号,突触连接权的系数，模拟突触传递强度,空间累加,阈值,神经元相应函数,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),人工神经网络模型（构成）,1.前向网络（前馈网络）FeedforwordNetwork,每个神经元只与前一层的神经元相连接,感知机,2.从输出到输入有反馈的前向网络,Fukushima网络网络本身是前向型的，但输出到输入之间有反馈回路,3.层内互连前向网络（混合型网络）层状和网状相结合,同一层神经元之间有连接如自组织竞争型神经网络,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),4.互连网络（相互结合型网络）,局部互连全互连全互连是每个神经元都与其它神经元互连局部互连指互连只是局部的,两种,全互连,局部互连,Hopfield网络Boltzmann机,分类方法有多种：如可以分类为有教师学习无教师学习,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),输出,输入,Fig.1-10Hebb学习规则图示,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),例：,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),思考,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),Fig.1-11,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),人工神经网络的发展与现状,50年代末F.Rosenblatt感知机（Perceptron）第一个完整的人工神经网络,Hebb学习规则,并行处理、分布存储和学习,1969年美MTT的M.Minsky和S.Papert编写Perceptron一书单层感知机线性问题求解多层（隐含层）的非线性问题（悲观理论？）70年代芬兰T.Kohonen自组织映射理论美国S.A.Grossberg自适应共振理论日本福岛邦彦（K.Fukushima）认知机（Neocognitron）模型日本甘利俊（ShunIchiAmari）神经网络的数学理论,低谷,1943年心理学家W.S.MoCulloch和数学家W.Pitts提出M-P模型1949年心理学家D.O.Hebb提出连接权的调整正比于两相连神经元之间激活值的乘积,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),1982年1984年J.J.HopfieldHopfield网络模型引入能量函数给出稳定性判据1984年Hinton引入模拟退火Boltzmann机BW网络模型1986年D.E.Rumelhart和J.L.MoClelland两本专著EBP算法（误差反向传播）1987年美R.Hecht-Nielsen对向传播（CounterPropagation）1988年美L.O.ChuaCNN细胞神经网络模型1987年国际神经网络学会1988年NeuralNetwork创刊1990年IEEETransactiononNeuralNetwork同年北京召开神经网络学术大会,人工智能理论和Von.Neumann计算机在视、听、等智能信息处理上受挫脑神经科学的研究成果VLSI技术和光电技术的发展,80年代,高潮,人工神经网络的发展与现状,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),神经网络用于控制,优点：,它能以任意精度逼近任意连续非线性函数对复杂不确定问题有自适应和自学习能力信息处理的并行机制解决大规模实时计算问题信息综合能力适用于多信息融合和多媒体技术神经计算解决优化计算和矩阵代数计算便于用VLSI或光学集成系统实现或用计算机技术实现,冗余性容错能力,高度非线性稳定性、收敛性证明困难（加强）学习速度一般比较慢（研究快速学习算法）缺乏系统优化设计方法（与其它控制方法相结合，构成一个集成智能控制系）缺乏硬件支持，难以真正发挥NN的优点（加强）缺乏比较适合的控制系统的网络结构和灵活的智能神经元,导致,1.2智能控制的基本设计方法1.2.2神经网络控制系统（Neuralnetworkcontrol),功能：,与其它控制方法融合,系统辨识充当各类控制器优化计算,（1）提供非线性系统辨识（2）辨识是非算法式的，无需建模（给