典型神经网络ppt课件

典型神经网络，7.1单个神经元网络，7章典型神经网络，典型神经网络，2个神经元模型图7-1中神经元的内部状态，阈值，输入信号，从单元到单元的连接权重系数，外部输入信号。单个神经元模型可以解释为：一般的神经网络，一般的神经网络，图7-1单个神经元模型，一般的神经网络，一般使用的神经元的非线性特性有以下四种：(1)临界图7-2临界函数，典型神经网络，(2)分段线性，图7-3段线性函数，典型神经网络，(3)Sigmoid函数类型，图7-4Sigmoid函数，典型神经网络7.2BP神经网络11误差反向波的BP算法简单地称为BP算法，其基本思想是梯度下降法。使用渐变检索技术将网络的实际输出值和预期输出值的平均平方值最小化。典型神经网络，7.2.1BP网络特征(1)是包括输入层、隐式层和输出层的多层网络。(2)层与层之间使用完全的互连，同一层的神经元没有相互连接；(3)权重由学习算法控制。(4)神经元激发函数是s函数。(5)学习算法由正向传播和反向传播组成。(6)层与层的连接是单向的，信息的传播是双向的。典型神经网络，7.2.2BP网络结构，具有隐式层的BP网络结构如图7-5所示，图为输入层神经元，隐藏层神经元，输出层神经元。典型神经网络，图7-5BP神经网络结构，典型神经网络，7.2.3BP网络的近似，BP网络近似的结构如图7-6所示，图中的k是网络的迭代阶段，u(k)和y(k)是近似的输入。BP是网络近似，y(k)是受控对象的实际输出，yn(k)是BP的输出。使用系统输出y(k)和输入u(k)值作为近似BP的输入，使用系统输出和网络输出错误作为近似的调整信号。典型的神经网络，图7-6BP神经网络近似，用于近似的BP网络，图7-7。图7-7用于近似BP网络。典型神经网络、BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经过隐藏层传递到输出层，每个层神经元(节点)的状态仅影响下一层神经元的状态。如果在输出层无法获得所需输出，则转到反向传播，按连接通道反向计算错误信号(理想输出和实际输出的差异)，并将每层神经元的权重调整为渐变降方法，以减少错误信号。典型神经网络，(1)正向传播：计算网络的输出。隐藏神经元的输入是所有输入的权重之和。隐藏神经元的输出由s函数产生。即一般神经网络，(1)正向传播：计算网络输出。隐藏神经元的输入是所有输入的权重之和。隐藏神经元的输出由s函数产生。典型神经网络，输出层神经元的输出：网络输出和理想输出错误如下。错误性能指标函数包括：典型神经网络，(2)反向传播：使用学习算法调整每个层之间的权重。根据拔模下降方法，权重的学习算法如下：输出层次和隐藏层次的连接权重如下：k 1小时网络的权重为：典型的神经网络、隐藏层和输入层连接权重如下：其中，k 1小时网络的权重为：一般神经网络，考虑到最后一个权重对这个权重变化的影响，需要添加动量因子时，权重为：其中权重是学习速度，动量因子。典型的神经网络，数组(对象的输出对控制输入的敏感度信息)算法如下：其中，典型神经网络、7.2.4BP网络的优缺点BP网络可以近似任意非线性映射关系，只要(1)具有足够的隐藏层和隐藏层节点；(2)BP网络的学习算法属于全局近似算法，推广能力强。(3)BP网络输入输出之间的关联信息分布在网络的连接权限上，单个神经元的损伤对输入输出关系影响较小，因此BP网络具有很好的容错能力。典型神经网络、BP网络的主要缺点是(1)要优化的参数多，收敛速度慢；(2)目标函数有多个极值点，根据梯度下降法学习，容易陷入局部最小值；(3)很难确定隐藏层和隐藏层节点的数量。目前基于特定问题确定特定网络结构的方法还没有好的方法，应根据经验尝试。BP网络是典型的神经网络，因为它具有近似模式识别、图像处理、系统识别、函数拟合、优化计算、最优预测和自适应控制领域中广泛使用的非线性映射的功能。BP网络具有很好的近似和泛化能力，可以用于神经网络控制器的设计。但是，BP网络收敛速度慢，难以适应实时控制要求。典型神经网络，7.2.5BP网络近似模拟实例，使用BP网络近似对象：BP网络近似程序参考chap7_1.m，典型神经网络，7.2.6BP网络模式识别，神经网络具有自学、自组织和并行处理等特征，容错性和关联性强，因此神经网络识别模式，在典型神经网络、神经网络模式识别中，使用基于标准I/o模式对的神经网络学习算法，将标准模式训练为学习样本，通过学习调整神经网络的连接权重值。教育满足要求时获得的神经网络权重构成了模式识别知识库，该知识库使用了识别所需输入模式的神经网络并行推理算法。当一般神经网络、要识别的输入模式和训练样本的输入模式相同时，神经网络识别的结果是对应于训练样本的输出模式。如果要标识的输入模式与培训样品的所有输入模式不相同，则可以获得与相似样品相对应的输出模式。如果要识别的输入模式与培训样本的所有输入模式相距很远，则无法获得正确的识别结果。这时，通过将此模式教育为新的样本，可以从神经网络中获得新的知识，并将其存储在网络的权重矩阵中，从而提高网络的识别能力。典型的神经网络，BP网络培训过程如下：正向传播在输入信号通过输入层中隐藏的层传递到输出层，并且输出层获得了所需的输出后，学习算法结束；否则，转向反向传播以图7-11所示的第p示例为例，说明了训练中使用的BP网络结构。典型神经网络，图7-11BP神经网络结构，典型神经网络，网络的学习算法如下：(1)正向传播：计算网络的输出。隐藏神经元的输入是所有输入的权重之和。隐藏神经元的输出由s函数产生：典型神经网络，输出层神经元的输出：典型神经网络，网络初始输出及其理想输出的错误如下。第p个示例的错误性能指标函数包括：其中n是网络输出层的数目。典型神经网络，(2)反向传播：使用倾斜降方法调整每个层之间的权值。权重的学习算法如下：输出层和隐藏层的连接权重的学习算法如下：是典型的神经网络。这里隐藏层和输入层连接权重的学习算法是，典型的神经网络，考虑到最后权重对这个权重变化的影响，需要添加动量因子。权重为：其中是学习速度，是动量因子。典型神经网络，7.2.7模拟示例：将标准示例导入为3输入2输出示例，如表7-1所示。表7-1培训示例、典型神经网络、BP网络模式识别程序包含网络培训程序chap7_2a.m和网络测试程序chap7_2b.m。典型神经网络，7.3RBF神经网络径向基函数(RBF-RadialBasisFunction，RBF-radial basis function)神经网络是J.Moody和C.Darken在80年代末提出的神经网络，是具有单一隐藏层的三层前馈网络。RBF网络是一个本地近似网络，它在人脑中进行局部调整，模拟了相互复盖接收域(或感觉域)的神经网络结构，从而证明了任意精度可以接近任意连续函数。典型的神经网络，RBF网络特征(1)RBF网络的作用函数是局部的，作为高斯函数，BP网络的作用函数是全局的，作为s函数。(2)如何确定RBF网络中隐藏层节点的中心和基本宽度参数是一个难题。(3)经验证，RBF网络具有独特的最优近似特性，而不具有局部微型。典型的神经网络，7.3.1RBF网络结构RBF网络是三层正向网络，I/o的映射是非线性的，隐式层空间到输出空间的映射是线性的，从而大大加快了学习速度并避免了本地最小问题。典型神经网络，图7-13RBF网络结构，典型神经网络，7.3.2RBF网络的近似，使用RBF网络近似一个对象的结构(见图7-14)。典型神经网络，图7-14RBF神经网络近似，典型神经网络，RBF网络结构中网络的输入向量。设定RBF网路的径向基础向量。其中HJ是高滑雪函数。网络中第j个节点的中心向量为：其中I=1，2，n，典型的神经网络，网络的基本宽度向量是节点的基本宽度参数，是大于0的数。网络的权重向量为：k时间网络的输出如下：将理想输出设置为y(k)时，性能指标函数如下：根据典型的神经网络、梯度下降方法，输出权限、节点中心和基于节点的宽度参数的迭代算法如下：一般神经网络，数组(对象的输出与控制输入的敏感度信息)。其中是学习速度，动量因子。使用典型的神经网络、RBF网络近似以下对象：有关RBF网络近似程序，请参见chap7_3.m。7.3.3RBF网络近似模拟示例，典型神经网络，7.4回归神经网络对角回归神经网络(DRNN)是具有反馈的动态神经网络，可更直接、更生动地反映系统的动态特性，通过基于BP网络基本结构存储内部状态，使系统具有动态特性映射功能，从而使系统具有随时间变化的特性，典型的神经网络，7.4.1DRNN网络结构DRNN网络是3层正向网络，其隐式层为回归层。正向传播通过输入层中的隐藏层将输入信号传递到输出层，当输出层获得所需输出时，学习算法结束。否则，将转到反向传播。反向传播是通过反向计算连接信道引起的错误信号(理想输出和实际输出的差异)，将每层神经元的权重和阈值调整为梯度下降方法，来减少错误信号。DRNN网络结构如图7-18所示。典型神经网络，图7-18DRNN神经网络结构，典型神经网络，在此网络中设置为网络输入向量，输入层I神经元的输入，网络回归层j神经元的输出如下。第一个回归神经元的输入总计，s函数，DRNN网络的输出。和输入网络回归和输出层的权重向量和网络层的权重向量。典型神经网络，7.4.2DRNN网络的近似，DRNN网络近似结构如图7-19所示。在图中，k是网络的迭代步长，u(k)和y(k)是识别器的输入。DRNN是网络识别器。Y(k)是控制目标的实际输出，ym(k)是DRNN的输出。将系统输出y(k)和输入u(k)值用作识别器DRNN的输入，将系统输出和网络输出