人工神经网络幻灯片.ppt

神经网络识别，引言NNI的一般结构是基于BP网络识别的Hopfield网络识别逆动力学系统的建模，2020/6/7，1，一些基本问题NNI的原理NNI的理论是NNI的优点，2020/6/7，2，定义， 鉴别是基于输入输出数据从组给出的模型中，与测定的系统等价的模型L.A.Zadeh鉴别的三要素： I/O数据、系统结构模型、等价基准原理框图、2020/6/7、3、系统鉴别的原理图、系统、鉴别模型、 识别、W(k )、Z(k )、e(k )、u(k )、2020/6/7、4、基本问题、模型选择原则：兼顾复杂性和正确性的NNI :通过模拟确定的输入信号选择对动态系统而言是输入(基本要求)此外，最佳输入信号设计NNNI :噪声或伪随机信号误差基准的确定、2020/6/7、5、误差基准的确定、误差这三种形式是，输出误差反模型识别误差广义的误差例子的2020/6/7、6、输出误差、2020/6/7、7、反模型识别误差、 2020/6/7，8，广义误差，2020/6/7，9，例：s的差分方程式，规范l为学习序列长，数值NNI:NNI :实质最佳化问题，2020/6/7，10， NNI原理线性模型(ARMA模型)针对非线性系统的统一数学模型描述了传统的NN近似，揭示了基于输出误差的NNINNI原理：学习系统I/O数据，建立系统识别形式，最小化误差准则，从中得出隐式I/O关系，2020/6/7，11， 神经网络识别系统的结构图，2020/6/7，12，TDL，X(t) y(t )、2020/6/7，13，具有任何数量的隐藏单元的三层前向网络可以一致接近平方可积分函数，这可以在2020/6/7 可以省略系统结构建模，不需要建立实际的系统识别形式，调节参数可以识别本质的非线性系统，即NN权重，其中，系统的I/O特征、非算法识别算法在网络外部不依赖于识别系统的维度，并且NN 可以在反馈网络(Hopfield )上具有动态链路，其可以实现任何NL静态映射，例如，2020/6/7、15，NNI的一般结构、要被引导的NL模型描述、2020/6/7、16，引导，NN :多层前馈网络(BP等)具有动态链路无法映射NN问题：可以映射任何希望构建新网络、保持两个优势的NL动态网络：将Hopfield网络格式从单层改为多层，2020/6/7， 17、从对象NLmodel描述、状态方程式NLmodel这4个形式得出的4个识别结构，2020/6/7， 18、如果状态方程式系统是具有未知参数的线性对象，那么系统是可控的，其中可以有两种格式：串-并行和并行，2020/6/7， 19，和四种格式： 2020/6/7， 20，识别结构，2020/6/7， 21，并行模型，2020/6/7， 2020 考虑串并行模型、2020/6/7、23、基于BP网络的识别(p77) SISO问题NN的学习算法例、2020/6/7、24、流程图、2020/6/7、25、SISO问题，将NN结构设为3层，各层的神经元的选择：输入层： n、m 的次数，隐藏层H:a (n m)-1/2输出层o :输出矢量组成：2020/6/7、 26 NN的输入输出关系、各层的输入输出关系权重系数修正规则算法步骤(模拟时)、2020/6/7、27、各层的输入输出关系、性能指标：2020/6/7、28、权重系数修正规则、2020/6/7、29、算法步骤， 初始化权重值选择的一个计算通过形成计算将权重系数偏移，以使得上述算法中的权重系数被校正，并且转到下一步骤2020/6/7，30，3.2.5 bp网络逼近仿真示例：使用BP网络逼近程序，chap7_1.m，2020/6/7， 模拟实例，实例1电加热炉辨识模拟实例2实例3，2020/6/7，2020/6/7，33，模型辨识前数据的预处理去除趋势项数据滤波器数据的归一化处理，2020/6/7，34，三温区电热炉系统辨识系统的输入层取6个神经元，抑制层取10个神经元的输出层取3个神经元，目标误差平方和为1.5e-006，加上2位式伪随机信号(PRBS )，实际观测3400个样本，进行归一化处理。从测试样品中选择970样品进行训练，温度从400上升到了428。 2020/6/7、35、网络炉温目标输出与实际输出、2020/6/7、36、局部放大图、2020/6/7、37、几个算法学习训练时间比较、项目标准BP算法加法运算量因子的BP算法LM算法时间(秒) 1209030次数5000300073存在比较标准BP网络和改进算法后的BP网络，前者学习速度慢，需要较长时间，平均训练次数多，训练次数到达也可能达不到目标误差，后者学习速度快，时间短，平均训练次数少，网络输出容易另外，图3-14示出了2020/6/7、38、对象输出和模型输出曲线图、2020/6/7、39、3.2RBF网络的近似以及使用RBF网络来近似对象的结构。 使用2020/6/7、40、图3-14RBF神经网络近似、2020/6/7、41、 RBF网络近似以下对象： RBF网络近似程序参见chap7_3.m。 3.3RBF网络基于示例仿真，2020/6/7、42和7.4回归神经网络对角回归神经网络(drnn )是带反馈的动态神经网络该网络更加直接、生动地反映了系统的动态特性，它使得BP网络基于BP网络的基本结构，通过存储内部状态来映射动态特征，从而使系统具有自适应时变特性，drnn网络是神经网络2020/6/7、43、3.4.1DRNN网络结构drnn网络是三层前向网络，其默认层是回归层。 正向传播可以通过隐藏层将输入信号从输入层传播到输出层，如果输出层获得所需的输出，学习算法将终止，否则，它将继续进行反向传播。 反向传播是指针对每条连续路径反向计算误差信号(理想输出和实际输出之间的差)，并且使用梯度下降方法调整每层神经元的权重和阈值以减小误差信号。 DRNN的网络结构如图7-18所示。 2020/6/7、44、图3-18DRNN神经网络结构、2020/6/7、45、图3-19DRNN神经网络近似、2020/6/7、46、3.4.3DRNN网络近似模拟实例、DRNN网络近似的对象另外，2020/6/7、47、鉴别Hopfield网络(p216 )，如果系统NN是Hopfield网络，则2020/6/7、48、系统、线性系统：在Hopfield网络中模拟系统，使所有状态下的平方误差最小化在、2020/6/7、49、归档网络识别框图、2020/6/7、50、等式中、2020/6/7、51、NN为归档网络的情况下，当r足够大时，在项的下一项不为0时在X(t )、u(t )、0、t中线性独立地出现此时，2020/6/7，52，例如次系统n=2，此时，2020/6/7， 53， 2020/6/7， 54，2020/6/7， 55， 2020/6/7， 56，逆动力学系统的建模，问题的提案NL系统的可逆系统的建模方法是三层模拟网的逆建模2020/6/7，57，提出问题，机器人系统逆动力学问题：寻找控制t实现已知轨迹解答：求逆模型，2020/6/7，58， NL系统的可逆性，线性系统： SISO可逆性对于MIMO一目了然的反NL系统： SISO定义定理： u(k )严格单调，则系统是可逆的，如果系统在任意时刻k成立，则系统是可逆的，定义为2020/6/7，59，存在相反，任意两个不同的输出相等，即系统可能是不同的。、2020/6/7、60、建模方法、作为直接逆系统法的正反系统法的对象的正模型-逆模型学习法等，将直接逆系统法NN作为BP网络、CMAC网络、MADALINE网络等，分别为2020/6/7、61、直接逆系统法、2020/6/7、62、 63、对象-正模型-反模型学习方法2020/6/7，64，反-反系统建模，2020/6/7，65，基于BP网络的反模型识别，例如基于chap7_1_inv.m，2020/6/7，66，3层MADALINE网络的反模型系统结构学习算法，2020/6/7，67，2020/6/7，68， 学习算法的三层网络权限阵列修改算法的定义示例包括，2020/6/7，69，权限阵列，2020/6/7，70，修改算法，2020/6/7，71，对于系统s存在控制u，并且如果满足，则存在一个伪滑移状态， 即系统可逆本系统算法存在：原始：改进：2020/6/7、72，例如(p16 )线性系统非线性系统的两个状况模拟单层：多层：6-3-3-1结构的结果：单层、多层的系统多层对初始值都不敏感2020/6/7，73，神经网络系统识别工具包，1NNSYSID:丹麦工业大学自动化系M.Norgaard博士开发，2020/6/7，74，训练算法2020/6/7，75，非线性系统型号，2020/6/7 L-； NN=221； trpamps=settrain； trpamps=settrain(trpamps，maxiter，300，d，1e-3，skip，10 )； w1，w2，NSSEvec=NNarx(Netdef，nn， 训练结