人工神经网络原理应用

1、人工神经网络原理、应用及发展趋势王永骥华中科技大学控制系10/10/1硕士论坛讲座第1页纲要1. 人工神经网络原理2. 人工神经网络优势3. 人工神经网络应用4. 人工神经网络研究趋势5. 结束语10/10/2硕士论坛讲座第2页1. 人工神经网络原理人之所以有智能，是因为大脑中存在一个1000亿个神经元组成生物神经网络;生物神经网络十分复杂，含有高度智能;人们力图抓住主要特点，组成人工神经网络，形成含有一定智能能力信息处理工具。10/10/3硕士论坛讲座第3页1.1 神经系统 复杂性10/10/4硕士论坛讲座第4页10/10/5硕士论坛讲座第5页10/10/6硕士论坛讲座第6页10/10/7硕

2、士论坛讲座第7页10/10/8硕士论坛讲座第8页10/10/9硕士论坛讲座第9页10/10/10硕士论坛讲座第10页What are (artificial) neural networks? It is a network with interactions, in attempt to mimicking the brain UNITs: artificial neuron (linear or nonlinear input-output unit), small numbers, a few hundreds INTERACTIONs: simply by weights, how s

3、trong a neuron affects others STRUCTUREs: could be feedforward, feedback or recurrent It is still far too naive, and the development of the field relies on all of us10/10/11硕士论坛讲座第11页 1.1.2 生物神经元人大脑由1012个神经元组成，神经元相互连接成神经网络神经元组成：细胞体为主体1873年, 意大利 Cajai 银渗透法 发觉Golgi 体神经元功效：刺激、兴奋、传导、效应 形状图 突触传递信息特点10/10

4、/12硕士论坛讲座第12页神经元示意图10/10/13硕士论坛讲座第13页突触传递信息特点(1) 时延性 :（0.31ms）(2) 综合性 ：时间与空间累加(3) 类型：兴奋与抑制(4) 脉冲与电位转换: （D/A功效）(5) 速度：1150m/s(6) 不应期（死区）：35ms(7) 不可逆性（单向）(8) 可塑性 : 强度可变 ,有学习功效 脉冲 10/10/14硕士论坛讲座第14页 1.1.3 人脑神经网络脑神经系统主要组成部分大脑皮层由许多功效区组成（运动、听觉、视觉等） 神经元群 其区域性结构：遗传 其功效：后天对环境适应于学习得来 （自组织特征Self-Organization）

5、子功效模块并行关系 a) 大脑处理信息特点 b) 生物学研究结果 10/10/15硕士论坛讲座第15页 a) 大脑处理信息特点 分布存放与冗余性：记忆在大量元中，每个元存在许多信息部分内容，信息在神经网络中记忆反应在神经元间突触连接强度上(weights）;并行处理：NN既是处理器又是存放器（并行处理不一样于并行机）;信息处理与存放合一：每个元兼有二者功效;可塑性与自组织性：可塑性是学习记忆基础;鲁棒性：高连接度造成一定误差和噪声不会使网络性能恶化。是智能演化主要原因。10/10/16硕士论坛讲座第16页b) BNN研究结果H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼

6、鱼电器特征 得到四个变量非线性微分方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g. 自激振荡 chaos. 多重稳定性等10/10/17硕士论坛讲座第17页HH方程式中，I为膜电流，V为膜电位相对于静息膜电位Er改变，VK, VNa, Vl分别为钾离子、钠离子和氯离子与其它离子形成相对电位。CM为单位面积膜电容，gk,gNa,gl 分别为钾离子、钠离子通道和漏电流通道电导。10/10/18硕士论坛讲座第18页1.2 人工神经网络研究大脑目标：a）揭示功效造福人类 b）结构ANN用于工程及其它领域（生物神经网络模型化：ANN） BNN modeling ANN ANN非BNN模型，

7、而是对结构及功效大大简化后保留主要特征某种抽象与模型。 10/10/19硕士论坛讲座第19页神经网络直观了解神经网络是一个并行和分布式信息处理网络结构，它普通由许多个神经元组成，每个神经元只有一个输出，它能够连接到很多其它神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。10/10/20硕士论坛讲座第20页人工神经网络内容1.2.1 人工神经元模型 （Artificial Neuron model）1.2.2 人工神经网络组成 （structure of ANN）1.2.3 人工神经网络学习 （learning or training of ANN）10/10/21硕士论

8、坛讲座第21页1.2.1 人工神经元模型 BNN 信息传递过程 为 MISO 系统, 信号为脉冲，当脉冲抵达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度相关（时间总合效应）。 各通道都对电位产生影响（空间总合效应）。 10/10/22硕士论坛讲座第22页神经元模型（1）神经元是人工神经网络基本处理单元，它普通是一个多输入/多输出非线性元件。神经元输出除受输入信号影响之外，同时也受到神经元内部其它原因影响，所以在人工神经元建模中，经常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。10/10/23硕士论坛讲座第23页神经元模型（2） 。 10/

9、10/24硕士论坛讲座第24页抽象可得数学表示式： wi 数值（weights) b 阀值（threshold） f(s) 用函数（activated transfer function） 10/10/25硕士论坛讲座第25页几个惯用作用函数 (1)、阀值型（硬限制型) (2)、线性型 (3)、S型函数（Sigmoid） (4)、辐射基函数10/10/26硕士论坛讲座第26页(1)、阀值型（硬限制型） 生物学背景：神经细胞兴奋与抑制；单极性10/10/27硕士论坛讲座第27页生物学背景：神经细胞兴奋与抑制：双极性10/10/28硕士论坛讲座第28页(2)、线性型a) 全线性 生物学背景：神经细

10、胞百分比作用（全方位）10/10/29硕士论坛讲座第29页b) 正线性生物学背景：神经细胞线性百分比作用（单方向）10/10/30硕士论坛讲座第30页(3)、S型函数（Sigmoid）a) 对数正切 y=1/(e-n+1)生物学背景：神经细胞非线性百分比作用（单向）10/10/31硕士论坛讲座第31页b)双曲正切 y=tanh(n)生物学背景：神经细胞非线性百分比作用（全方位）10/10/32硕士论坛讲座第32页（4）辐射基函数a) 高斯函数生物学背景：视觉，听觉等类神经细胞区域性非线性用10/10/33硕士论坛讲座第33页b)三角波函数生物学背景：视觉，听觉等类神经细胞区域性非线性用线性近似

11、10/10/34硕士论坛讲座第34页1.2.2 人工神经网络组成基本模型连接几个基本形式前向网络（feed-forward Networks）回归网络（recurrent Networks）互联网络（全互连与局部互连）也可是以上几个形式组合10/10/35硕士论坛讲座第35页人工神经网络种类1). 前馈型 感知器、线性网络（ADALINE), BP网络 RBF 网络， 2). 反馈型 Hopfield 网络3). 竞争型 ART ， SOFM等10/10/36硕士论坛讲座第36页前向网络结构图10/10/37硕士论坛讲座第37页前向网络特点 1). 神经元分层排列，可又多层 2). 层间无连接

12、 3). 方向由入到出 感知网络（perceptron即为此） 应用最为广泛 10/10/38硕士论坛讲座第38页回归网络全反馈结构图10/10/39硕士论坛讲座第39页Inner RNN结构图10/10/40硕士论坛讲座第40页回归网络特点Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到输入 例： Fukushima网络Inner recurrent 特点：层间元相互连接10/10/41硕士论坛讲座第41页互联网络结构图 10/10/42硕士论坛讲座第42页互联网络特点每个元都与其它元相连 例： Hopfield Boltzmann机 10/10/43硕士论

13、坛讲座第43页1.2.3人工神经网络学习 ANN研究中关键问题 How to determine the weights(加权系数)学习规则介绍 10/10/44硕士论坛讲座第44页关于学习问题学习：实例学习 举一反三能力机器学习: 从数据中归纳出规律,进行预测或者对其性质作出判断神经网络启发式学习支持向量机-统计学习理论10/10/45硕士论坛讲座第45页学习规则1）直接设计计算 e.g. Hopfield 作优化计算2）学习得到,即经过训练(training)10/10/46硕士论坛讲座第46页惯用学习规则a) Hebb学习 D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)学习

14、规则 误差校正规则 梯度方法 （BP即为其中一个） 10/10/47硕士论坛讲座第47页c) 相近学习规则 使 ART SOFM 自组织竞争用此规则10/10/48硕士论坛讲座第48页BP网络模型BP网络模型如图2.4所表示: .输入层隐含层输出层图2.4 多层前向神经网络结构.10/10/49硕士论坛讲座第49页Matlab形式Nnd11nf.m 描述输出与加权系数关系nndemos（chap11 demo1）network function10/10/50硕士论坛讲座第50页BP学习算法（加权值修改方法10/10/51硕士论坛讲座第51页BP网络训练几个模式批处理模式(batch mode

15、)训练过程以全部样本为一个epoch。训练时计算出全部样本整体误差后，加权系数才调整。matlab 函数 trainb，非直接调用，用net.trainFcn说明即，每一次输入样本j时，计算该样本j对应误差ej和对应权值修正量 dwj，但不进行权值修改，而是等到全部样本输入完成后，计算全部样本累计对应权值修正量, dw(k)=dwj 进行一次权值修正。 本方法适合用于离线计算。10/10/52硕士论坛讲座第52页模式学习模式(pattern mode) 训练过程输入一个样本，计算学习误差，调整加权系数。matlab 函数 trainc，trains, trainr非直接调用，用net.trai

16、nFcn 说明即。每一次计算得到dwj都应用来修正加权值，下一次输入样本到网络时，利用新修正加权值计算网络输出。模式学习适合用于在线（自适应）修正权值。10/10/53硕士论坛讲座第53页BP算法改进 BP算法改进主要目标是为了加紧训练速度，防止陷入局部极小值和改进其它能力。 （1）带动量因子算法； （2）自适应学习速率； （3）高阶学习算法； （4）改变性能指标函数 10/10/54硕士论坛讲座第54页10/10/神经网络原理与应用55RBF网络Matlab 形式10/10/55硕士论坛讲座第55页RBF网络学习中心和宽度：随机选择或优化学习输出权矩阵：反向传输或者最小二乘方法学习10/10

17、/56硕士论坛讲座第56页2. 人工神经网络优势任何精度迫近任意连接非线性函数（NL系统统一描述） 对复杂不确定问题含有自适应、学习能力并行机制，处理实时计算问题，含有冗余性容错能力信息融合（Fusion），多媒体技术神经计算：用于优化、矩阵求逆，解方程等计算易于VLSI、光学IC、计算机虚拟实现NN10/10/57硕士论坛讲座第57页统一建模方法因为非线性系统多样性和复杂性，传统方法经常无能为力神经网络提供了一个统一建模方法，不论是静态或动态非线性系统10/10/58硕士论坛讲座第58页自适应、学习能力 传统方法 对线性系统方法成熟、有效 神经网络 线性、非线性都有效10/10/59硕士论坛

18、讲座第59页并行机制传统并行计算机制与神经网络不一样神经网络每一单元均为含有计算能力单元可用于处理实时计算问题，含有冗余性容错能力10/10/60硕士论坛讲座第60页神经计算用于优化、矩阵求逆，解方程等计算10/10/61硕士论坛讲座第61页神经计算机实现易于VLSI、光学IC、计算机虚拟实现NN神经芯片相当于FPGA，可实现算法级通用编程10/10/62硕士论坛讲座第62页3. 人工神经网络应用应用十分广泛 模式识别与分类 自动控制 信号处理与滤波 系统优化各类系统：工程、金融、经济、社会10/10/63硕士论坛讲座第63页模式识别与分类手写数字识别汉字识别分类10/10/64硕士论坛讲座第

19、64页英文字母识别10/10/65硕士论坛讲座第65页肌电信号实时辨识10/10/66硕士论坛讲座第66页肌电信号实时辨识选择节点上小波包分解原始 EMG信号小波包变换参数计算小波包节点能量原始特征向量特征投影降维后特征向量使用ANN进行模式分类辨识结果10/10/67硕士论坛讲座第67页肌电信号实时辨识肌电信号实时辨识 虚拟现实显示视频演示10/10/68硕士论坛讲座第68页优化计算将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络能量函数，把问题变量对应于网络状态。这么当网络能量函数收敛于极小值时，问题最优解也随之求出。假如联接权矩阵W和输入I，把优化问题中目标函数、约

20、束条件与Hopfield能量函数联络起来，电路到达平衡点就是能量函数极小点，也是优化中满足约束条件下目标函数极小点，达就能够利用人工神经网络来完成优化问题。 例：TSP 问题10/10/69硕士论坛讲座第69页HNN 优化10城市TSP10/10/70硕士论坛讲座第70页NN在AC上应用 1）系统辨识 2）系统控制 3）优化计算 4）故障诊疗及容错控制10/10/71硕士论坛讲座第71页1）系统辨识系统辨识 NN系统辨识统一模式 NN非算法性，可用参数为加权 NN模型作为物理实现，可用于在线控制 问题：网络模型、结构选择、快速学习算法、收敛性分析、输入激励信号选择 10/10/72硕士论坛讲座

21、第72页倒立摆系统NN辨识 NNARX模型检验结果 10/10/73硕士论坛讲座第73页2）系统控制控制 提供某种模型 充当各类控制器 作为计算部件实现优化计算对不确定问题： NL系统自适应控制 线性 - NL 无模型直接自适应（single Neuron 控制器）10/10/74硕士论坛讲座第74页应用举例1）神经网络温度控制2）神经网络智能同期控制3） 10/10/75硕士论坛讲座第75页神经网络PID温度控制用于控制封闭式电热炉，设定值为500时10/10/76硕士论坛讲座第76页10/10/77硕士论坛讲座第77页实时仿真试验10/10/78硕士论坛讲座第78页3）优化计算神经网络求解

22、代数方程神经网络在预测控制在线求矩阵逆神经网络在LQR问题中解ARE10/10/79硕士论坛讲座第79页4）故障诊疗及容错控制神经网络用于故障诊疗 1) 基于模型（BP） 2) 基于自组织网络（SOM）神经网络用于容错控制 1）基于整体性设计 2）基于监督学习控制器10/10/80硕士论坛讲座第80页应用中存在主要问题ANN结构确定需一定经验，存在过拟合和欠拟合现象ANN 学习系统为迭代算法，为一非线性优化问题，收敛性分析较困难ANN系统本质为非线性系统，其动态系统分析与设计存在一定困难当前缺乏对应ANN硬件,实现有一定困难。10/10/81硕士论坛讲座第81页神经网络工具箱1）MATLAB

23、NN toolbox 通用工具箱，有各种模型2）nnsysyid 3）nnctrl 适合用于非线性系统建模和控制10/10/82硕士论坛讲座第82页4. 人工神经网络研究趋势简明回顾发展历程1）用于控制系统时,经常利用稳定性原理设计学习算法;2） 第3代神经网络脉冲神经网络(SNN)，用于处理生物信息有特有优势;10/10/83硕士论坛讲座第83页ANN发展史20世纪40年代：兴起与萧条 1943年 M-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出： 形式神经元数学描述与结构方法 与阀值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提

24、出突触强度可调 假设： 学习过程发生在突触上 Hebb规则：10/10/84硕士论坛讲座第84页20世纪50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整ANN 基本组成为阀值单元、网络 初具并行处理、分布存放、学习等功效 用于模式识别、联想记忆 引发NN研究第一次高潮10/10/85硕士论坛讲座第85页20世纪60年代,低潮1969年 Minsky和Papert编写Perceptron 出版，使NN研究进入低潮 Problems：single lager P.仅可解线性问题， NL XOR无法求解； 求解XOR 应该是MLP

25、， 但MLP是否有意义，理论上不能得到有力证实 当初现实状况：数字计算机发达，认为可处理一切问题 工业水平上，NNC不存在 但工作并未停顿。 10/10/86硕士论坛讲座第86页1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory） Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认识 机（Neocognitron）模型 甘利俊（S.Amari）：NN数学理论其它NL系统理论 Prigogine 非

26、平衡系统自组织理论 Haken 协同学10/10/87硕士论坛讲座第87页20世纪80年代 第二次高潮Reasons: 1）AI理论、 Neumann计算机功效受挫（智能、视觉处理等） 2）ANN有新结果、脑科学、神经科学 、 VLSI、光电技术发展 10/10/88硕士论坛讲座第88页J.J.Hopfield 1982年 Hopfield网络模型：网络能量、网络稳定性判据 1984年 HNN用电子线路 实现 HNN用途：联想记忆、优化计算机新路径1984年 Hilton 引入模拟退火法，提出Boltzmann机网络1986年 Rumelhart提出EBP学习算法，处理了MLP隐含层 weig

27、hts 学习问题（error Back-Propagation）10/10/89硕士论坛讲座第89页1987年 Nielson提出了对向传输（Counter Propagation）神经网络1988年 L.O.Chua提出细胞神经网络（CNN）模型，1988 Broomhead and Lowe提出 RBF网络1990 Vapnik 支持向量机SVM自1958年来已经有近40种NN model10/10/90硕士论坛讲座第90页History spiking neural networks (Feng, Cogs) Vapnik (1990) -support vector machineBr

28、oomhead & Lowe (1988) -Radial basis functions (RBF) Linsker (1988) - Informax principleRumelhart, Hinton - Back-propagation & Williams (1986)Kohonen(1982) - Self-organizing mapsHopfield(1982) - Hopfield NetworksMinsky & Papert(1969) - Perceptrons Rosenblatt(1960) - PerceptronMinsky(1954) - Neural Ne

29、tworks (PhD Thesis)Hebb(1949) -The organization of behaviourMcCulloch & Pitts (1943) -neural networks and artificial intelligence were born10/10/91硕士论坛讲座第91页NN研究学术机构 1987年 国际神经网络学会 定时召开ICNN会议 1988年 IEEE Transaction on Neural Networks创刊 1990.12 CCNN（中国）第一次会议 1991年 中国神经网络学会10/10/92硕士论坛讲座第92页AC需求处理不停复杂对象完成不停复杂设计在对象和环境知识所知甚少情况下到达以上两点要求10/10/93硕士论坛讲座第93页AC历