基于传递函数自我优化的BP网络算法改进 .pdfVIP

第 5 1卷第 1 1期 2 0 1 4年6月 l O日 电测与仪表 Ekc t r ic al n e a s u r e m e n t I n s t r u m e n t at io n Vo 1 5 l N0 1 1 J u n 1 0 2 0 1 4 基于传递 函数 自我优化 的 B P网络算法改进 米 曲朝 阳 计超 郭晓利 张贺 东北电力大学 信息工程学院 吉林 吉林 1 3 2 0 1 2 摘要 目前使用 比较普遍的优化方法对 B P算法改进之后 改进的 B P神经网络预测过程都存在复杂程度变大 更加消耗人力资源等缺陷 针对这些缺陷 本文提出一种传递函数 自我优化算法来改进神经网络 然后将改 进的网络应用到风电功率预测 中 以东北某风电场一段时间的风 电运行数据作为实验样本 分别采用传统 B P 神经网络和改进的 B P神经 网络进行预测分析 仿真结果证明 改进之后的 B P神经 网络不仅有更快的收敛速 度 还有更加精确的预测结果 并且不需要认为干预整个预测过程 极大提高了网络的预测能力和效率 关键词 传递函数 自我优化 神经网络 风电功率预测 B P算法 中图分类号 T M9 3 文献标识码 A 文章编号 1 0 0 1 1 3 9 0 2 0 1 4 1 1 0 0 5 6 0 4 BP Ne ur a l Ne t wo r k Al g o r it h m I mpr o v e m e n t Ba s e d o n Tr a ns f e r Fun c t io n Se l f Op t imiz a t io n Q U Z h a o y a n g J I C h a o G U O X i a o l i Z H A N G H e C o l l e g e o f I n f o r ma t io n E n g in e e r in g N o r t h e a s t D ia n l i U n i v e r s i t y J i l in 1 3 2 0 1 2 J i l in C h in a Ab s t r a c t Us in g c o mmo n o p t imiz a t i o n me t ho d t o imp r o v e t h e BP a l g o ri t h m wi l l in t r o d uc e s h o rtc o mi ng s s u c h a s i n c r e a s e d c o mp l e x i t y a n d mo r e h u ma n r e s o u r c e c o n s u mp t io n in p r e d ic t io n p r o c e s s T o s o l v e t h e p r o b l e m t h is p a p e r pr e s e n t s a t r a n s f e r f u n c t io n s e l f o p t i miz a t io n a l g o ri t h m f o r n e u r a l n e t wo r k imp r o v e me n t Th e i mp r o v e d n e t wo r k is f u r t he r a p p l ie d t o win d p o we r p r e d ic t io n Ta k in g t h e o p e r a t i ng d a t a o f a t ime p e ri o d a t a n o r t he a s t win d f a rm a s e x p e ri me n t a l s a mp l e s b o t h t r a d it io na l a n d t h e i mp r o v e d BP n e ur a l n e t wo r k a r e u s e d t o a n a l y z e t h e p r e d ic t io n Th e r e s u l t s s ho w t ha t t he imp r o v e d BP n e u r a l n e t wo r k e n h a n c e s n o t o n l y c o n v e r g e n c e r a t e b u t a l s o p r e d ic t io n a c c u r a c y Ke y wor ds t r a n s f e r f u n c t io n s e l f o p t imiz a t io n n e ur a l ne t wo r k wi n d po we r p r e d ic t i o n BP a l g o ri t h m 0 引 言 人工神经网络 自上世纪4 0年代末期产生到现在 仅仅几十年 但是 由于其 自身所具有 的非线性特点 并行分布结构 以及 自动学习 的能力 使其 在机器人 控制 信号处理 知识工程 专家系统等多个领域都 有较深的研究 和应用 其 中尤其 以人 工神经 网络 中 的 B P神经网络应用最为广泛 B P神经网络 B a c k P r o p a g a t i o n N e t w o r k 也可 以 称为反向传播 网络 它是一种 可以对 非线性可微分 函数进行权值训练 的多层 网络 目前在预测过程中 绝大多数的人工神经 网络模型都是采用 B P网络 以 及通过改进过后 的 B P网络 B P神经 网络是前 向型 神经 网络 的核 心 是人工神经网络的精华所在 国 基金项目 国家自 然科学基金资助项目 5 1 2 7 7 0 2 3 一 5 6 一 内外对神经网络研究的重点大多集中在网络权值优 化 传递函数改进和改变网络结构等 网络权值学 习算法中影响最大的是误差反响传播算法 B P算 法 该方法包括正向传播和反向传播两个步骤组 成 但是传统的 B P算法存在收敛速度慢 容易陷入 局部极小值等 缺点 所 以各 种 B P优化算 法层 出不 穷 本文提 出 的新算 法采 用传 递 函数 自我 优化 算 法 J 新算法可以显著提高 网络的收敛速度和 网络 的预测能力 1 B P网络概 述 B P神经网络不仅学 习能力较强 并且有很好 的 容错机能 能够很好地处理非线性映射关系 B P神 经网络的完整结构包括输 入层 隐含层 以及输 出层 其 中输入层 和输 出层各有一个 而隐含层可 以有 多 个 同层神经元互相无 连接 而不 同层 的神 经元是 学兔兔 w w w x u e t u t u c o m 第 5 1卷第 l l期 2 0 1 4年6月 1 0日 电测与仪表 El e c t r i l M e a s ur e m e n t I n s t r u m e n t at io n V0 1 51 NO 1 1 Ju n 1 0 2 0 1 4 完全连接关系 信号的正向传播和误差的反向传播是 B P神经 网络完整的学习过程 首先输入层得到一个输人信 号 隐含层利用 与输入层 的映射 关系得到隐含层输 出信号 同时输出层将隐含层的输出信号作为的输 入信号 最后输 出层再利用 与隐含层的映射关系组 中得输出层的实际输出 如果输 出层 的实际输 出与 期望输出误差较大 超出了预测的预定值 则进行误 差的反向传播 误差的反向传播与信号的正向传播 正好相反 误差沿着正 向传播 的路径返 回修改神经 元的权值 从而使网络误差减小 神经网络的学习过程也是各层权值不断调整 的 过程 这个过程一直重复直到出现两种情况 1 网 络误差达到预定值 2 学习次数达到预定值 2 B P算法的改进 对 B P算法改进主要有以下几种方法 1 数值优化算法 这类算法包括共轭梯度法 拟牛顿法和 L M法 拟 牛顿法和 L M 法都要 近似计 算 H e s s ia n矩阵 尽 管网络收敛速度 比较快 但 是需 要非常大的存储 量 共轭梯度法虽然需要较小 的存 储量 收敛速度却很慢 并且 以上这些算法都存在局 部极小值的问题 2 传递 函数 自我优化算法 对传递 函数 的优 化的 目的是为了改变传递 函数 的压缩程度 斜率 进而可以有效避免网络陷入局部极小值 提高网络 的收敛速度 在确定 了 B P网络 的结构 和训练数 据 之后 网络误差主要由传递函数决定 优化传递函数的方法大多是在传递函数中增加 控制参数 如 传统 的 S ig m o i d型传 递 函数 G 1 1 e 的形状是固定不变 这会影 响网络的收 敛速度 所以一 般的改进方式是 函数 中增加一个控 制参数 A 即 G 1 1 A e A 0 改 进过后的函数连续光滑且单调 定义域为 一 值域为 0 1 满足传递函数的条件 其中 A的作用是控制传递 函数 的压缩程度 然而这种 改进方法虽然可 以在一定程度 上改变函数的特性 但是参数都是根据经验进行赋值 所 以参数 的引入 需要根据 自己的实 际需要 这就大大增加 了网络学 习的复杂程度 本文采用传递 函数 自我优化算法 通过检验 网 络学习过后的权值能否减小 网络误差来 自动调 整参 数 A的值 J 自我优化传递函数 的参数 A调整方 法如公式 1 所示 A f 1 f 0 8 a t E E 一 1 1 2 A t E t E t 一1 式中 t 为迭代次数 E为网络误差 相比之下 公式 1 由于增加了一个控制传递函数 压缩程度 斜率 的一个 自适应参数 A 在 B P网络误差 反向传播时 参数 A随着误差信号进行修正 这样不仅 可以提高 B P网络的 自适应能力 与根据经验给参数 A 赋值的方法相比 能够明显加快网络的收敛速度 3仿真验证 以东北某风电场 2 0 1 2 0 2 1 0 2 0 1 2 0 2 2 9之间 2 0天的风电机组历史运行数据作 为实验数据 通过 使用传统 B P网络和改进 B P网络分别进行风电功率 预测 对预测结果进行分析 本 文进行风 电功 率预 测的神经网络输入端有 分辨率为 1 5分钟的风机有 功功率 单 日风速平均值 单 日 风向角度平均值 网络输出端为预测 日的风机有功功率 根据上面分 析可知 本文使用的神经网络输入层和输出层神经 元个数分别为 9 8和 9 6 神经网络隐含层神经元数 目 一般根据建模者的经 验和仿真实验进行确定 因而不存在固定 的方法 因 为隐含层是连接输入层和输出层的纽带 所以它的神 经元数 目取决于输入层和输出层神经元 的个数 如果 数 目过少 则神经网络无法获取解决问题的信息 如果 数 目过多 则 网络会过于臃肿 从 而导致学 习时间过 长 本文隐含层神经元数目借助应用比较广泛的经验 公式h m n 0 0 0 1 0 来确定 式中m 表示输入层神经元个数 表示输出层神经元个数 0 表示0 到 1 0 之间的整数 再经过多次仿真分析 确定 当隐含层神经元个数为 2 5时 预测效果最好 对 风电数据归一化处理之后 以时间 2 0 1 2年 0 2 1 0 o 2 2 8之间的数据作为训练样本 以时间 2 0 1 2年 0 2 2 8 0 2 2 9之间 的数据作为测试样本 网络学 习次 数为 1 0 0 0 0次 目标误差设置为 0 0 1 使用 M A T L A B软件进行网络训练 传统 B P算 法 的网络 训 练过 程 的收敛 情 况 如 图 1所 示 经 过 4 1 4次循环达 到了 网络误差 要求 的精 度 改进 B P 算法 的网络训练过程的收敛情况如 图 2所示 网络 误差到达要求 的精度仅需要 5 8次循环 通 过对 图 1和图 2进行对 比可 以得 出结 论 在 达到相 同误差 精度 的情况下 使用新算 法改进之后 的 B P神经 网 络需要更少 的训练次数 却可 以得 到更 快的 网络收 敛速度 本文首先对使用传统 B P算法的网络的预测结 一 5 7 学兔兔 w w w x u e t u t u c o m 第 5 l卷第 l 1期 2 0 1 4年6月 1 0日 电测与仪表 El e c t r ic a l Me a s u r e me n t l n s t r nin e n t a t io n VO 1 5l N0 1 1 J u n 1 0 2 0 1 4 1 0 U 1 O 一 1 0 2 1 旷 Pe r f o r ma n c e is 0 01 0 2 8 21 Go a l is 0 O 1 1 1 O 5 O 1 0 0 l 5 O 2 0 o 2 5 0 3 0 0 3 5 0 4O 0 图 1 传统算法收敛曲线 Fig 1 Tr a d it io n a l a l g o ri t h m c o nv e r g e nc e c u r v e 果进行分析 其中 图 3和图 4分别显示 预测时 间 段的功率曲线图和功率误差图 图 3中蓝色曲线代 表风 电功率的实际值 红色 代 表风电功率预测 值 从对图 3和图 4分析可 以得 出结论 风 电功 率 的预测值曲线基本上是对实际值曲线的一种跟随 关 系 误差 的最 小值 为 1 0 5 最大 值 为 3 6 2 l l O 一 l O 2 1 0 3 Pe rfo r ma n c e is 0 0 0 4 7 9 0 3 6 Go a l is 0 O 1 0 l O 2 0 3 O 4 0 5 0 5 8 Ep o c h s 图 2 改进算法收敛 曲线 Fi g 2 I mp r o v e d a l g o ri t h m c o n v e r g e n c e c u Y v e 虽然功率预测在 只考虑风 速和 风 向角度 对功 率影 响的前提 下 功率 预测 的误 差能 保 持在 2 1 2 以 下 但是在功率变化 比较剧烈的时间点 预测的误 差 比较大 网络 的预测结 果并 不精确 预测 能力 也 不稳定 图 3传 统 网络预 测 功 率 曲线 F ig 3 T r a d it i o n a l n e t wo r k p r e d ic t io n p o we r c u r v e 图4传统 网络预测功率误 差曲线 F ig 4 Tr a d it i o na l n e t wo r k p r e dic t io n p o we r e r r o r c urve 在图 5和图 6中 分别显示的是使用改进 B P 算法 的网络进行风 电功率 预测 得到 的功率 曲线 图 和功率误差图 在图 5中 蓝色 曲线代 表风 电功率 的实际值 红色 代表风电功率预测值 对图5 和图 6的分析可 以得 出结论 使用改进算法 的网络 预测误差明显小 于使用 传统算 法 的 网络 预测产 生 的误差 最 小误 差为 0 3 最大 误差 为 2 1 3 并且使用改进算法的网络预测误差绝大多数都比 一 5 8 一 使用传统算法 的网络小 可见新 网络的预测能力 要大大优于传统网络 从上面使用两种算法分别 进行功率预测得 到的结果 可以看出 使用 改进算法 的网络收敛速度更快 网络 的预测能力 有了很大 的 提高 在功率剧烈变化的时 间点上预测 的准确性也 更高 转移 函数 自动优化 不需 要人 为赋 值 实验 分析认证结果表明 改进 的网络在预测能力上较传 统网络有大幅的提升 窆 J 0 学兔兔 w w w x u e t u t u c o m 第 5 1卷 2 01 4 生 第 1 1期 6月 l 0日 电测与仪表 El e c t r ic a l M e a s ur e m e n t I n s t r u m e n t at io n V0 I 5 l No 1 1 J u n 1 0 2 0 1 4 8 0 o 6 0 0 皇 4 0 0 2 0 o O 40 3 O 羞 1 O 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 l 6 1 7 l 8 1 9 2 0 21 2 2 2 3 2 4 t h 图 5 改进 网络预 测功 率 曲线 F i g 5 I mp r o v e d n e t wo r k p r e d ic t io n p o w e r C H il e 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 l 3 1 4 l 5 l 6 l 7 1 8 l 9 2 O 2 1 2 2 2 3 2 4 t h 图6改进网络预测功率误差曲线 F i g 6 I mp r o v e d n e t wo r k p r e d ic t io n p o w e r e r r o r c u r v e 4结束语 神经网络优化改进的本质 目的 是加快提高网 络的预测速度和精度 在现实应用中的意义十分重 要 通过以上分析和本文 的预测模 型 可以得出 以 下结论 1 对神经网络进行有效 的优化改进 可以提高 网络的学习能力 还可 以提高神经 网络模 型的非线 性逼近能力 这将提高神经网络每一次的预测效果 2 数值优化算法中的共轭梯度法 拟牛顿法和 L M法都具有不同的方法特性 使用这些算法进行 数值优化过程中虽然可以影响网络的收敛速度 但 是这些算法都存在使网络陷人局部极小值的问题 3 传递函数自我优化算法原理简单 算法流程 清晰容易实现 具有很快的收敛速度 可以大幅度减 小 B P神经 网络 的学习时间 并且新算法在学 习过 程中采用参数 自适应算法 不需要手动根据经验给 参数赋值 网络具有更好的 自主优化能力 参 考 文 献 1 姜雷 李新 B P 算法收敛性分析及改进 J 计算机时代 2 0 1 0 1 2 2 9 3 0 J I A N G L e i L I Xin B P Alg o ri t h m C o n v e r g e n c e A n a l y s is a n d I m p r o v e m e n t J C o m p u t e r E r a 2 0 1 0 1 2 2 9 3 O 2 杨甲沛 李锵 刘郑 等 基于自 适应学习速率的改进型 B P算法 J 计算 机工程 与应用 2 0 0 9 4 5 1 1 5 6 6 6 Y A N G J i a p e i L I Q i a n g L I U Z h e n g e t a1 T h e I m p r o v e d B P A l g o r i t h m B a s e d o n A d a p t i v e L e a r n i n g R a t e J C o m p u t e r E n g i n e e rin g and A p p l i c a t i o n s 2 0 0 9 4 5 1 1 5 6 6 6 3 黄庆斌 B P算法的改进及其应用研究 D 西安 西南交通大 学 2 0 1 0 5 HU A N G Q i n g b i n T h e i m p r o v e m e n t o f B P al g o rit h m a n d i t s a p p l i c a t i o n r e s e a r c h D X i a n S o u t h w e s t j i a o t u n g u n iv e r s i t y 2 0 1 0 5 4 王美玲 王念平 李晓 B P神经网络算法的改进及应用 J 计算 机工程与应用 2 0 0 9 4 5 3 5 4 7 4 8 W ANG Me i l in g W ANG Nia n p in g LI Xia o T h e I mpr o v e me n t a n d A p p l i c a t i o n o f B P N e u r a l N e t w o r k A l g o rit h m J C o mp c c t e r E n g i n e e ri n g a n d A p p l i c a t i o n s 2 0 0 9 4 5 3 5 4 7 4 8 5 朱英 改进的B P神经网络预测模型及其应用 J 武汉理工大学 学报 2 0 1 2 3 6 6 1 2 5 2 1 2 5 5 Z HU Yin g I mp r o v e d BP Ne u r al Ne t wo r k P r e d ic t io n Mo d e l and it s Ap p l i c a t i o n J J o u m a l o f Wu h a n U n i v e r s i t y o f T e c h n