神经网络理论在数学建模中的应用.pdf

华南农业大学数学建模专题讲座 1 人工人工神经网络在数学建模中的应用神经网络在数学建模中的应用 华南农业大学理学院华南农业大学理学院 曾庆茂 联系方法 联系方法 1 手机 手机2 电话 电话 020 38294591 3 电子邮箱 电子邮箱 zengqingmao 华南农业大学数学建模专题讲座 2 第一部分第一部分 人工神经网络理论人工神经网络理论基础基础 1 什么是什么是神经网络神经网络 人工神经元网络 简称神经网络 是一种旨在模仿人脑结构及其功能的信息 处理系统 是由大量的人工神经元按照一定的拓扑结构广泛互连形成的 并按照 一定的学习规则 通过对大量样本数据的学习和训练 把网络掌握的 知识 以 神经元之间的连接权值和阈值的形式储存下来 利用这些 知识 可以实现某种人 脑功能的推理机 2 2 神经网络的三个要素神经网络的三个要素 一个神经网络的特性和功能取决于三个要素 一是构成神经网络的基本单元 神经元 二是神经元之间的连接方式 神经网络的拓扑结构 三是用于神 经网络学习和训练 修正神经元之间的连接权值和阈值的学习规则 2 1 神经元神经元 神经元是构成神经网络的基本单位 在人工神经网络中 神经元常被称为 处 理单元 有时从网络的观点出发把它称为 节点 人工神经元是对生物神经元 的一种形式化描述 它对生物神经元的信息处理过程进行抽象 并用数学语言予 以描述 对生物神经元的结构和功能进行模拟 并用模型图给以表达 华南农业大学数学建模专题讲座 3 神经元的数学模型为 1 ii txyf 1 n ijji j w y tf 如果令 0 1y 0ii w 则有 00ii y w 上式可写为 0 1 n iijj j i xw yy tfft 若令 012 T jiiiin ww ww W 012 T n y ty ty ty t X 则上式可 进一步写成 1 T iji y tf xf W X 通过以上对人工神经元模型的分析 我们知道神经元中的激发函数决定了神 经元的特性 常用的转移函数有 1 阈值函数 10 00 x f x x 2 线性函数 f xkx 3 对数 Sigmoid 函数 1 1 x f x e 4 正切 Sigmoid 函数 1 tanh 1 x x e f xx e 5 高斯函数 22 x f xe 2 2 神经神经网络的拓扑结构网络的拓扑结构 单个的人工神经元的功能是简单的 只有通过一定的拓扑结构将大量的人工 神经元广泛连接起来 组成庞大的人工神经网络 才能实现对复杂信息的处理与 存储 并表现出各种优越的特性 根据神经元之间连接的拓扑结构上的不同 可 华南农业大学数学建模专题讲座 4 将神经网络结构分为两大类 即层次型结构和互连型结构 1 层次型拓扑结构 层次型结构的神经网络将神经元按功能分为若干层 一般有输入层 中间层 和输出层 各层顺序连接 如图 2 所示 输入层接受外部的输入信号 并由各输 入单元传递给直接相连的中间层各单元 中间层是网络的内部处理单元层 与外 部没有直接连接 神经网络所具有的模式变换能力 如模式分类 模式完善 特 征提取等 主要是在中间层进行的 根据处理功能的不同 中间层可以有多层也 可以没有 由于中间层单元不直接与外部输入输出打交道 故常将神经网络的中 间层称为隐含层 输出层是网络输出运行结果并与显示设备或执行机构相连接的 部分 图 2 典型层次型结构的神经网络模型 2 互连型拓扑结构 互连型结构的神经网络是指网络中任意两个单元之间都是可以相互连接 的 如图 3 所示 例如 Hopfield 网络 波尔茨曼机模型结构均属于此类型 图 3 互连型结构神经网络模型 华南农业大学数学建模专题讲座 5 2 3 神经网络的学习规则 算法 神经网络的学习规则 算法 一般认为 生物神经网络的所有功能 包括记忆 都存储在神经元和它们之间 的联系当中 学习可以看成是神经元之间新连接的建立或对现有连接的修正 为 此 神经元按一定的拓扑结构连接成神经网络后 还必须通过一定的学习规则或 算法 对神经元之间的连接权值和阈值进行修正和更新 神经网络的学习算法或规则有很多 根据一种广泛采用的分类方法 可将神 经网络的学习算法或规则分为三类 第一类是有导师学习 第二类是无导师学习 第三类是死记式学习 有导师学习也称为有监督学习 这种学习模式采用的是纠错规则 在学习训 练过程中需要不断给网络提供一个输入模式和一个期望网络正确输出的模式 称 为 教师信号 将神经网络的实际输出同期望输出进行比较 当网络的输出与 期望的输出不符时 根据差错的方向和大小按一定的规则调整连接权值和阈值 以使下一次网络的输出更接近期望结果 对于有导师学习 网络在能执行工作任 务之前必须先学习 当网络对于各种给定的输入均能产生所期望的输出时 即认 为网络已经在导师的训练下 学会 了训练数据中包含的知识规则 可以用来工 作 无导师学习也称为无监督学习 在学习过程中 需要不断地给网络提供动态 输入信息 网络能根据特有的内部结构和学习规则 在输入信息流中发现任何可 能存在的模式和规律 同时能根据网络的功能和输入信息调整连接权值 这个过 程称为网络的自组织 其结果是使网络能对属于同一类的模式进行自动分类 在 这种学习模式中 网络的权值调整不取决于外来教师信号的影响 可以认为网络 的学习评价标准隐含于网络的内部 应该指出的是在有导师学习中 提供给神经网络学习的外部指导信息越多 神经网络学会并掌握的知识越多 解决问题的能力也就越强 但是 有时神经网 络所解决的问题的先验信息很少 甚至没有 这种情况下无导师学习就显得更有 实际意义了 死记式学习是指网络事先设计成能记忆特定的例子 以后当给定有关该例子 的输入信息时 例子便被回忆起来 死记式学习中网络的权值一旦设计好了就不 再变动 因此学习是一次性的 而不是一个训练过程 华南农业大学数学建模专题讲座 6 常用的学习算法或规则有 1 Hebbian 学习规则 2 Delta 学习规 则 3 Widrow Hoff 学习规则 4 概率式学习 5 Winner Take All 胜者为 王 学习规则 6 Outstar 外星 学习规则等等 详见参考文献 1 复印资料 3 数学建模中常用的数学建模中常用的两种两种神经网络神经网络 在数学建模中 常用的神经网络主要有两种 一种是基于误差反传算法的前 馈神经网络 即 BP 神经网络 主要用来实现非线性映射 另一种是自组织神经 网络 主要用来聚类和模式识别 3 1 BP 神经网络神经网络及其及其 MATLAB 实现实现 参见文献 2 复印资料 3 2 自组织自组织神经网络及其神经网络及其 MATLAB 实现实现 参见文献 2 复印资料 第第二二部分部分 神经网络在数学建模中的应用举例神经网络在数学建模中的应用举例 1 BP 神经网络神经网络在数学建模中的应用举例在数学建模中的应用举例 电子电路的故障诊断问题电子电路的故障诊断问题 如下图 某一电子电路中有 3 个元器件 分别用 A1 A2 A3 表示 就电子电路系统的某一特定的元器件来说 当系统正常工作时 其关键点的 电压应是稳定的 在工作环境温度一定的情况下 其芯片温度值也是一个稳定值 U3 A1 A3 A2 U1 U2 Ui1 Ui2 华南农业大学数学建模专题讲座 7 当电路中的元器件发生故障时 这些元器件的关键点的电压将会偏离正常范围 温度信号也会发生变化 因此 通过对电压和温度信号的测试 可以对元器件是 否发生故障进行诊断 为此 我们选用探针和热像仪 2 个传感器来获取该电路中 3 个元器件的故障特征 探针用来测电路中 3 个关键点的电压信号 热像仪用来 测试 3 个元器件的工作温度信号 假设我们通过试验已经获得多组试验数据 见下表 温度和电压测试数据 序 号 电子电路中元器件的故障特征 诊断结果 电 压 温 度 A1 A2 A3 U1 U2 U3 T1 T2 T3 1 9 00 4 01 7 81 10 41 11 33 11 25 1 0 0 2 10 51 6 50 6 35 11 01 10 30 11 21 0 1 0 3 10 40 3 99 4 32 11 11 11 10 10 54 0 0 1 4 6 65 2 05 7 52 10 70 11 61 11 45 1 0 0 5 7 40 3 25 6 72 11 40 10 81 11 45 0 1 0 6 7 41 2 06 4 03 11 60 11 61 10 70 0 0 1 7 5 05 3 45 2 75 11 81 12 60 12 55 1 0 0 8 5 45 4 40 1 90 12 32 11 60 12 45 0 1 0 9 5 44 3 55 1 80 12 50 12 41 11 80 0 0 1 10 8 50 3 65 8 50 11 80 12 66 12 55 1 0 0 11 9 55 5 20 7 40 12 40 11 85 12 55 0 1 0 12 9 56 3 65 5 50 12 60 12 46 11 74 0 0 1 13 7 70 2 45 9 05 12 30 13 12 13 12 1 0 0 14 8 65 4 07 7 75 12 90 12 21 13 12 0 1 0 15 8 70 2 60 6 54 13 00 12 91 12 32 0 0 1 16 5 32 1 45 6 91 11 83 12 74 12 65 1 0 0 17 6 30 2 35 6 52 12 63 11 93 12 66 0 1 0 18 6 32 1 60 5 22 12 82 12 64 11 94 0 0 1 在上表中 Ui i 1 2 3 分别表示 3 个元器件关键点的电压 Ti i 1 2 3 分别表示 3 个元器件的工作温度 在表格中的输入部分 前三列是在 18 次取样 试验中 传感器 1 探针 对 3 个元器件关键点所测得的电压值 后三列传感器 2 热像仪 对 3 个元器件所测得的工作温度值 最后一列是在 18 次取样实验中 各元器件的故障设置情况 0 表示元器件工作正常 1 代表元器件出现故障 如 1 0 0 表示第 1 个元器件有故障 第 2 3 个元器件工作正常 试根据以上数据建立一个故障诊断模型 并利用这个模型进行电子电路故障 诊断 华南农业大学数学建模专题讲座 8 1 1 问题的分析问题的分析 问题中给出了 18 组数据 每组数据给出了 6 个故障特征信息 并给出了它 们所对应元器件的故障诊断情况 所以 本问题的实质是 找出从故障特征信 息集合 元器件故障状态集合的映射关系 用数学表达式来表示就是要找到一个 对应法则 f 使得 123123123 fU U U T T TA A A 显然 这是一个从 6 维空间到 3 维空间的映射关系 这种关系难以用数学公 式写出来 为此 我们考虑用 BP 神经网络来实现这一映射关系 即把这个故障 诊断问题的的数学模型建立成一个 BP 神经网络模型 并利用这个建立好的神经 网络模型进行故障 2 2 模型的建立模型的建立 Kolmogorov 理论指出 具有单个隐含层的 BP 神经网络可以映射所有连续 函数 而具有双隐含层的 BP 神经网络网可以映射任何 函数 包括不连续函数 在此 我们不清楚所要建立的映射关系是否连续 所以先考虑有单个隐含层的 BP 神经网络 如果不能满足我们的要求 就考虑再加一个隐层 网络的输入是个 6 维向量 即三个关键点的电压和三个元器件的工作温度组 成的 6 维向量 因此输入层应设置 6 个神经元 输出是一个 3 维向量 即三个元 器件的故障情况组成的向量 故输出层应设置 3 个神经元 隐层的节点个数由文 献 1 给出的经验公式算出 应为 6 34 24264mnl 这样便可以确定一个 6 4 3 的 BP 神经网络 为了实现网络输入和输出之间的非线性映射 隐层神经元的传递函数采用对 数 Sigmoid 函数 1 1 x f xe 输出层神经元的传递函数采用 Purelin 函数这 样可以保证输出层的输出向量各分量均为 0 1 中的数 通常 BP 神经网络的权值和阈值是通过沿着网络误差的负梯度方向进行调 节的 最终使网络误差达到极小值或最小值 即在这一点误差梯度为零 限于梯 度下降算法的固有缺陷 标准的 BP 学习算法通常具有收敛慢 易陷入局部极小 值等缺点 因此 出现了许多改进的算法 这些改进的 BP 算法 从改进途径上 可分为两大类 一类是采用启发式学习方法 如引入动量项因子的学习算法 变 华南农业大学数学建模专题讲座 9 学习速率学习算法 弹性 学习算法等 另一类是采用更有效的数值优化方法 如共轭梯度学习算法 quasi Newton 算法以及 Levenberg Marquardt 优化方法等 在此 我们用 Levenberg Marquardt 优化方法对 BP 神经网络的权值和阈值进行 训练 下面我们利用 MATLAB 工具箱中的相关函数来建立 BP 神经网络模型 基 本思路如下 第 1 步 定义 BP 网络输入向量组成的矩阵 P 和目标输出向量组成的矩阵 T P 是一个 6 18 的矩阵 P 中的其中的每一列表示 2 个传感器对电路中 3 个元器 件所提取的 6 个故障特征 T 是一个 3 18 的矩阵 其中的每一列表示正确的故 障诊断决策 即对应元器件的障碍状态 第 2 步 利用 MATLAB 中的 newff 函数构造原先设计好了的神经网络 代 码如下 net newff minmax P 4 3 logsig purelin trainlm 第 3 步 设置好网络的训练参数 利用 train 函数对网络进行训练 代码如下 net trainParam show 50 net trainParam lr 0 05 net trainParam mc 0 9 net trainParam epochs 5000 net trainParam goal 1e 3 net tr train net P T 接下来 我们考察按以上代码建立的 BP 神经网络是否满足精度要求 即网 络输出和实际输出的误差是否满足精度要求 如果符合规定要求的话 这个训练 好了的 BP 神经网络 用 net 表示 就是我们要建立的神经网络模型 否则 就 重新调整网络的相关参数 直至满足精度要求 3 3 利用神经网络模型进行故障诊断利用神经网络模型进行故障诊断 神经网络模型建立了后 所学习到的不确定性推理知识以连接权值和阈值的 形式储存在网络之中 利用这些权值和阈值可以实现故障特征信息集合 元器件 故障状态集合的映射关系 下面 我们利用 MATLAB 来进行实例仿真 首先 我们利用 rand 函数生成一个随机矩阵 R 作为故障特征矩阵 P 的噪 华南农业大学数学建模专题讲座 10 声 R rand size P 0 5 10 其次 将随机噪声 R 加到故障特征 P 上 得到带有噪声的故障特征矩阵 PP PP R P 最后 利用 sim 函数 对带有噪声的故障特征矩阵进行故障诊断仿真 A sim net PP 很容易发现 利用已建立好的神经网络模型 可以对带有噪声的故障特征进 行故障诊断 正确率可达到了百分之九十以上 这说明网络有一定的容错性和鲁 棒性 为此 用神经网络对故障特征信息进行融合是有效的 完整MATLAB程序参见M文件 神经网络Matlab程序 电子电路故障诊断问题 2 SOM 网络网络在数学建模中的应用举例在数学建模中的应用举例 土壤的分类问题土壤的分类问题 已知我国某地区的 10 个土壤样本 每个样本用 7 个理化指标表示其性状 如下表 试建立一个数学模型 能正确地对这 10 组土壤样本进行分类 并能对 未知的土壤样本进行正确的归类 土壤样本及性状 序号 全氮 全磷 有机质 PH 代换量 根层厚 cm 密度 g cm3 1 0 27 0 142 6 46 5 5 35 8 21 1 03 2 0 171 0 115 3 46 6 3 33 60 0 78 3 0 114 0 101 2 43 6 4 26 5 25 1 13 4 0 173 0 123 3 3 5 8 28 9 65 1 09 5 0 145 0 131 3 28 6 28 5 25 1 03 6 0 173 0 14 3 45 5 8 33 4 60 0 98 7 0 25 0 177 5 51 7 2 42 5 45 0 93 8 0 237 0 189 5 37 6 1 32 9 27 1 00 9 0 319 0 227 7 04 5 8 35 9 24 1 03 10 0 163 0 124 3 73 6 2 30 6 61 1 28 1 1 问题的分析问题的分析 本问题给出了 10 组土壤样本向量 每个样本中包括 7 个元素 要求建立相 关的数学模型 能正确地对这 10 组土壤样本进行分类 并利用这个模型能对未 知的土壤样本进行正确的归类 华南农业大学数学建模专题讲座 11 可见 问题的实质是 通过对已知的 10 组样本所蕴含的分类知识进行学习 提炼出某种分类规律 再利用这种分类规律对未知的土壤样本进行正确的归类 自组织神经网络是一类无教师学习的神经网络模型 它无需提供教师信号 它直接从所提供的样本内部学习分类知识 提炼出蕴涵在样本中的相关分类知 识 并将这些知识存储在网络的连接之中 利用这些知识可以对未知的样本进行 正确的分类 为此 我们可以考虑用自组织神经网络来进行建模 2 2 模型的建立模型的建立 自组织神经网络有多种 我们这里采用自组织特征映射 SOM 网络来建 立相关模型 首先 因为共有 10 个土壤样本 每个样本有 7 个理化指标 所以输入向量 矩阵应为一个 7 10 的矩阵 其次 利用函数 newsom 建立一个 SOM 网 代码为 net newsom minmax P 6 4 其中 P 为输入向量 minmax P 指定输入向量元素的最大值和最小值 6 4 表示创建网络的竞争层为 6 4 的结构 网络的结构是可以调整的 此处的样本 量不是很大 所以选择这样的竞争层是合适的 然后利用函数 train 和仿真函数 sim 对网络进行训练和仿真 由于训练步数 的大小影响着网络的聚类性能 这里设置训练步数为 10 100 和 1000 分别观 察其分类性能 完整MATLAB程序参见M文件 神经网络Matlab程序 土壤的分类问题 对聚类结果进行分析可知 当训练步数为 10 时 样本序号为 1 3 5 8 和 9 的分为一类 样本序号为 2 4 6 和 10 的分为一类 而序号为 7 的数据单 独成为一类 由此可见 网络已经对样本进行了初步的分类 这种分类虽然准确 但不够精确 当训练步数为 100 时 样本序号为 1 和 9 的样本分为一类 序号为 2 4 和 6 的样本分为一类 序号为 3 和 5 的样本分为一类 序号为 7 的样本为一类 序 号为 8 的样本为一类 序号为 10 的样本为一类 这种分类结果更加细化了 当训练步数为 1000 时 每个样本都被划分为一类 这和实际情况是吻合的 华南农业大学数学建模专题讲座 12 此时 如果再提高训练步数已经没有