Matlab神经网络工具箱介绍与数值试验

第四章 Matlab 神经网络工具箱与数值试验1 第一章Matlab 神经网络工具箱介绍与数值试验 1 1 Matlab 神经网络工具箱中 BP 网络相关函数介绍 MATLAB 神经网络工具箱中包含了许多用于 BP 网络分析和设计的函数 BP 网络 的常用函数如表 4 1 所示 10 12 表 4 1 BP 网络的常用函数 函数类型函数名称函数用途 newcf创建一个多层前馈 BP 网络 newff创建一个前向 BP 网络前向网络创建函数 newfftd创建一个前馈输入延迟 BP 网络 logsigS 型的对数函数 dlogsigLogig 的导函数 tansigS 型的正切函数 dtansigtansig 的导函数 传递函数 purelin纯线性函数 traingd基于标准 BP 算法的学习函数 trainrp采用 Rprop 算法训练 trainlm采用 LM 算法训练 traincgf基于共轭梯度法的学习函数 学习函数 traingdm动量梯度下降算法学习函数 仿真函数sim仿真一个神经网络 1 2 数值试验 1 2 1 异或 问题 异或 问题 XOR 是典型的非线性划分问题 这里以它为例 简单介绍 BP 网 络的应用 在 Matlab7 0 环境下 建立一个三层的 BP 神经网络 其中输入层和隐层分别各有 两个神经元 输出层有一个神经元 现要求训练这一网络 使其具有解决 异或 问 题的能力 第四章 Matlab 神经网络工具箱与数值试验2 异或 问题的训练输入和期望输出如表 5 1 表 5 1 异或问题的训练输入和期望输出 1 X 2 X 1 d 000 011 101 110 1 基于标准 BP 算法 结果如下及图 5 1 所示 横轴表示迭代次数 纵轴表示误差 迭代到第 240 次时达到预设精度 迭代停止时 误差为 9 97269e 005 此时的梯度为 0 00924693 050100150200 10 4 10 3 10 2 10 1 10 0 10 1 240 Epochs Training Blue Goal Black Performance is 9 97269e 005 Goal is 0 0001 图 5 1 基于标准 BP 算法的 异或 问题 2 基于共轭梯度法 结果如下及图 5 2 所示 第四章 Matlab 神经网络工具箱与数值试验3 横轴表示迭代次数 纵轴表示误差 迭代到第 16 次时达到预设精度 迭代停止时 误差为 9 0770e 005 此时的梯度为 0 00318592 0246810121416 10 4 10 3 10 2 10 1 10 0 10 1 16 Epochs Training Blue Goal Black Performance is 9 07705e 005 Goal is 0 0001 图 5 2 基于共轭梯度法的 异或 问题 3 基于 LM 算法 结果如下及图 5 3 所示 横轴表示迭代次数 纵轴表示误差 迭代到第 4 次时达到预设精度 迭代停止时 误差为 8 8892e 006 此时的梯度为 0 00727382 第四章 Matlab 神经网络工具箱与数值试验4 00 511 522 533 54 10 6 10 5 10 4 10 3 10 2 10 1 10 0 10 1 4 Epochs Training Blue Goal Black Performance is 8 88918e 006 Goal is 0 0001 图 5 3 基于 LM 算法的 异或 问题 4 基于 RPROP 算法 结果如下及图 5 4 所示 横轴表示迭代次数 纵轴表示误差 迭代到第 31 次时达到预设精度 迭代停止时 误差为 4 6696e 005 此时的梯度为 0 00721433 第四章 Matlab 神经网络工具箱与数值试验5 051015202530 10 4 10 3 10 2 10 1 10 0 10 1 31 Epochs Training Blue Goal Black Performance is 4 66955e 005 Goal is 0 0001 图 5 4 基于 RPROP 算法的 异或 问题 1 2 2 连续函数拟合问题 一个神经网络最强大的用处之一是在函数逼近上 它可以用在诸如被控对象的模 型辨识中 即将过程看成一个黑箱子 通过测量其输入 输出特性 然后利用所得实 际过程的输入 输出数据训练一个神经网络 使其输出对输入的响应特性具有与被辨 识过程相同的外部特性 10 1 线性函数拟合 使用标准 BP 算法 对函数进行拟合 结果如图 5 5 红色虚线和 y 5x 号表示拟合结果 迭代到第 8 次时达到预设精度 迭代停止时 误差为 2 49485e 005 此时的梯度 为 0 0190722 第四章 Matlab 神经网络工具箱与数值试验6 1 0 8 0 6 0 4 0 200 20 40 60 81 5 4 3 2 1 0 1 2 3 4 5 图 5 5 线性函数拟合 2 二次函数拟合 使用 RPROP 算法 对函数进行拟合 结果如图 5 6 红色虚线和 2 y x 4 号表示拟合结果 迭代到第 320 次时达到预设精度 迭代停止时 误差为 9 9923e 005 此时的梯度 为 0 00135595 第四章 Matlab 神经网络工具箱与数值试验7 1 0 8 0 6 0 4 0 200 20 40 60 81 4 3 8 3 6 3 4 3 2 3 2 8 2 6 图 5 6 二次函数拟合 3 sin 函数拟合 使用共轭梯度算法 对函数进行拟合 结果如图 5 7 红色虚线和y sin x 号表示拟合结果 迭代到第 119 次时达到预设精度 迭代停止时 误差为 9 92315e 005 此时的梯 度为 0 0025562 第四章 Matlab 神经网络工具箱与数值试验8 4 3 2 101234 1 0 8 0 6 0 4 0 2 0 0 2 0 4 0 6 0 8 1 图 5 7 sin 函数拟合 4 指数函数拟合 使用 LM 算法 对函数进行拟合 结果如图 5 8 红色虚线和 号表y x e 示拟合结果 迭代到第 8 次时达到预设精度 迭代停止时 误差为 5 99591e 005 此时的梯度 为 0 0544397 第四章 Matlab 神经网络工具箱与数值试验9 2 1 5 1 0 500 511 52 0 1 2 3 4 5 6 7 8 图 5 8 指数函数拟合 5 复合函数拟合 使用 LM 算法 对函数进行拟合 结果如图 5 8 红色虚线和 号 sin1 y x e 表示拟合结果 迭代到第 9 次时达到预设精度 迭代停止时 误差为 9 73363e 005 此时的梯度 为 0 0163562 第四章 Matlab 神经网络工具箱与数值试验10 2 1 5 1 0 500 511 52 1 0 8 0 6 0 4 0 2 0 0 2 0 4 0 6 0 8 1 图 5 9 复合函数拟合 1 2 3 3 bit Parity 问题 这次仿真我们考虑 3 bit Parity 问题 该问题被认为是 异或 问题的三位形式 这个问题描绘了三个二进制输入得到一个二进制输出的过程 如果输入中 1 的个数是 奇数个 则输出是 1 反之 输出为 0 14 3 bit Parity 问题的训练输入和期望输出如表 5 2 表 5 2 3 bit Parity 问题的训练输入和期望输出 1 X 2 X 3 X 1 d 0000 0011 0101 0110 1001 1010 1100 1111 第四章 Matlab 神经网络工具箱与数值试验11 1 基于标准 BP 算法 结果如下及图 5 10 所示 横轴表示迭代次数 纵轴表示误差 迭代到第 113 次时达到预设精度 迭代停止时 误差为 9 99979e 005 此时的梯度为 0 00799224 020406080100 10 4 10 3 10 2 10 1 10 0 10 1 113 Epochs Training Blue Goal Black Performance is 9 99979e 005 Goal is 0 0001 图 5 10 基于最速下降法的 3 bit Parity 问题 2 基于共轭梯度法 结果如下及图 5 11 所示 横轴表示迭代次数 纵轴表示误差 迭代到第 60 次时达到预设精度 迭代停止时 误差为 9 42383e 005 此时的梯度为 0 0161969 第四章 Matlab 神经网络工具箱与数值试验12 0102030405060 10 4 10 3 10 2 10 1 10 0 60 Epochs Training Blue Goal Black Performance is 9 42383e 005 Goal is 0 0001 图 5 11 基于共轭梯度法的 3 bit Parity 问题 3 基于 LM 算法 结果如下及图 5 12 所示 横轴表示迭代次数 纵轴表示误差 迭代到第 19 次时达到预设精度 迭代停止时 误差为 9 49592e 006 此时的梯度为 0 025507 第四章 Matlab 神经网络工具箱与数值试验13 024681012141618 10 6 10 5 10 4 10 3 10 2 10 1 10 0 10 1 19 Epochs Training Blue Goal Black Performance is 9 49592e 006 Goal is 0 0001 图 5 12 基于 LM 算法的 3 bit Parity 问题 4 基于 RPROP 算法 结果如下及图 5 13 所示 横轴表示迭代次数 纵轴表示误差 迭代到第 33 次时达到预设精度 迭代停止时 误差为 9 09842e 005 此时的梯度为 0 0115333 第四章 Matlab 神经网络工具箱与数值试验14 051015202530 10 4 10 3 10 2 10 1 10 0 33 Epochs Training Blue Goal Black Performance is 9 09842e 005 Goal is 0 0001 图 5 13 基于 RPROP 算法的 3 bit Parity 问题 第四章 Matlab 神经网络工具箱与数值试验15 第四章 Matlab 神经网络工具箱与数值试验16 第二章总结 BP 网络的算法实际上就是解决一个无约束最优化问题 标准 BP 算法是 BP 神经网络的最基本的算法 应用了最速下降法的思想 所以它不可避免的具备 了最速下降法所带了的缺点 为了克服标准 BP 算法的缺陷 人们进行了更深 入的研究 对标准 BP 算法进行了改进 并提供了一系列快速学习算法 以满 足解决不同问题的需要 快速 BP 算法从改进途径上可分为两大类 一类是采用启发式学习方法 如 引入动量因子的学习算法 变学习速率学习算法等 另一类则是采用更有效的 数值优化方法 如共轭梯度学习算法 Levenberg Marquardt 算法以及 B B 算 法等 对于不同的问题 在选择学习算法对 BP 网络进行训练时 不仅要考虑 算法本身的性能 还要视问题的复杂度 样本集大小 网络规模 网络误差目 标和所要解决的问题类型而定 10 2 1 各种算法的优缺点比较 标准 BP 算法易于理解 方法简单 每一次迭代的工作量较小 所需要的存 储空间也较小 而且即使从一个不好的初值开始计算 也可以保证算法的收敛 性 11 不过正如前文中数值试验所表现的那样 标准 BP 算法在收敛速度上很 慢 迭代次数很多 而且受学习率的影响很大 Levenberg Marquardt 算法是应用于训练 BP 网络问题的牛顿算法的一个简 单版本 它的突出优点是收敛速度快 而且收敛误差小 它的缺点也很突出 它所需的存储空间很大 计算量也很大 所以当网络规模增大时 它的性能会 变得