课件：有监督和B神经网络1(1).ppt

基于神经元网络的智能控制,神经元网络的特点：,1）非线性 2）分布处理 3）学习并行和自适应 4）数据融合 5）适用于多变量系统 6）便于硬件实现,神经元网络的简化模型,ai1,ai2,a in,bi1,bi2,bim,wi,y1,y2,y n,u1,uk,um,1,vi,x i,y i,神经元网络的一般模型框架,1）加法器 2）线性动态系统（SISO） 3）静态非线性系统,式中 aij 和bik 为权系数，i,j =1,2,n, k= 1,2,m. n 个加法器可以写成向量形式：, N维列向量, N维列向量（单元输出）,NN维矩阵,NM维矩阵, M维列向量（外部输入）, M维常向量, 线性动态系统,典型的有：,静态非线性系统 典型的有：,g(x),g(x),g(x),x,x,x,阈值函数,阈值函数,Sigmoid函数,（双极型）,Sigmoid,u1,ui,i,u1,ui,i,y i,y i,Adline(自适应线性网）,单层感知器(Perceptron),不同的部件可以组成不同的网络,K,ui,y j,yi,离散Hopfield网,y1,y2,y3,y4,u1,u2,u3,u4,yj,yi,ui,xi,连续的Hopfield网,按学习的方法神经元网络可分成二类： 1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络, 有监督的神经网络,1）感知器网络,感知器是前馈(正向传输)网络,所有节点都是线性的., , , , ,x1,x2,xn,b1,b2,bm,权向量W,2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机,输入与输出的关系：,权矩阵可以按下式求解：,学习规则：,代表输入与输出的差别。,是学习因子,这学习规则即是著名的 学习规则。,随着学习迭代次数k的增加， 保证网络的收敛。, 反传（BP）网络,误差反传（学习算法）,（BP）网络与感知器的主要差别在于：（BP）网络的节点 是非线性的。 采用广义 学习规则。, 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。,j,p,p1,xp1,x pn,t pk,t pm,Op1,O pn,Op2,隐层,wj1,wjn,输入层,隐层,输出层,信息流, , ,pm,隐层节点j输出和输入节点p的关系：,输出节点k和隐层输出节点p的关系：,学习过程：,定义输出误差,学习的目的是要使以下定义的误差平方和最小：,因此，要求以下的偏导，,最后得到二个权值改变的重要公式：,初始化,加输入和期望输出,计算隐层和输出层的输出,迭代次数加1,调节输出层和隐层的连接权值,改变训练样板,训练样终止？,迭代终止？,BP算法的基本流程,No,No,y,y,重要结论,具有至少一个隐层的多层前馈网络，如果隐层单元足够多，那么，利用扁平激励函数和线性多项式集成函数，可以对任意感兴趣的函数逼成到任意精度。,扁平激励函数定义：f : R 0,1 或-1,1是非减函数,扁平激励函数的参数.,理论证明:多层前馈网络是一种通用逼近器,讨论,隐层的数目和节点的数目,何谓合适? 是否收敛到全局最优?(涉及多维误差曲面的不确定性) 3)收敛的速度问题。(涉及隐层节点输出的相互耦合和梯度下降法本身的缺点）,后面内容直接删除就行 资料可以编辑修改使用 资料可以编辑修改使用,主要经营：网络软件设计、图文设计制作、发布广告等 公司秉着以优质的服务对待每一位客户，做到让客户满意！,致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求,感谢您的观看和下载,The user can demonstrate on a projector or compu