（控制理论与控制工程专业论文）基于判别分析和二阶网络的新型hme建模.pdf

北京化工大学位论文原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立进行研究工作所取得的成果 除文中已经注明引用的内容外 本 论文不含任何其他个人或集体己经发表或撰写过的作品成果 对本文 的研究做出重要贡献的个人和集体 均己在文中以明确方式标明 本 人完全意识到本声明的法律结果由本人承担 作者签名 么组重 日期 2 业z 么 芝 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论文 的规定 即 研究生在校攻读学位期间论文工作的知识产权单位属北 京化工大学 学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘 允许学位论文被查阅和借阅 学校可以公布学位论文的全 部或部分内容 可以允许采用影印 缩印或其它复制手段保存 汇编 学位论文 保密论文注释 本学位论文属于保密范围 在上年解密后适用 本授权书 非保密论文注释 本学位论文不属于保密范围 适用本授 权书 作者签名 篡j 匹 室 日期 2 芝垒乙笸 笸 导师签名 盔塾丛日期 三垄翌2 么f 丝 学位论文数据集 中图分类号 和f 吕弓 学科分类号 参 o g r o 富 论文编号 日 b 厕 智妊 密级 t 学位授予单位代码 1 0 0 l o 学位授予单位名称北京化工大学 作者姓名 致锰宪 学号 1 0 坼d p p 乎蔓厂 获学位专业名称 擅彦j 理汔甜跆j 琢呈 获学位专业代码 d 2j j d 课题来源 百妩厥b 研究方向 幻昀珍钮九周维 论文题目 舞彳驯易1 名新知二衙网佬锄勘卅椭础档 一 一 一 一 一 关键词 者液 锯汜每专盛 厂1 目舅当j 磊祈二衙融 锄彪脚石鲥渚么摩嗣纭 论文答辩日期 抽日 s 木论文类型 左用研垸 学位论文评阅及答辩委员会情况 姓名 职称 工作单位学科专长 指导教师 锄林翮描 3 匕觚衄大墨大i 女觞国铭算 评阅人1 d 醐口么 评阅人2 评阅人3 评阅人4 评阅人5 答辩委员会主席 李呒理鬲l 微鸸a 匕京私描大髫 答辩委员1 王晶巨1 放旖舵烹 融大学 答辩委员2 獗如钮副旅旗北京缸工7 学 答辩委员3 叶 答辩委员4 答辩委员5 注 一 论文类型 1 基础研究2 应用研究3 开发研究4 其它 二 中图分类号在 中国图书资料分类法 查询 三 学科分类号在中华人民共和国国家标准 g b t1 3 7 4 5 9 学科分类与代码 中 查询 四 论文编号由单位代码和年份及学号的后四位组成 摘要 基于判别分析和二阶网络的新型h m e 建模 摘要 建模是分析问题和解决问题的一种重要的手段 对于复杂且具有 严重非线性的系统 应用一般的单模块的神经元网络建立的系统模型 往往不能满足要求 因此 本文在动态委员会机器的框架基础上 结 合判别分析和单模块二阶神经元网络的优势 建立了一种具有训练速 度快 泛化能力强 对复杂函数逼近能力强等优点的组合网络 新 型分层混合专家网络 分层混合专家各个模块的性能直接影响网络的整体性能 在新型 分层混合专家模型中 专家网络采用二阶网络模型 以判别分析为基 础 借鉴模块化设计理念 改进了门网结构 这种门网抛弃了传统网 状结构 结构清晰 模块分工明确 训练参数少 专家和门网模块的 改进与设计 从根本上降低了分层混合专家网络的训练难度 提高了 网络的训练速度和泛化能力 以典型的包含严重非线性的化工过程 一p h 值混合槽为仿真对象 对新型分层混合网络模型进行实验 结果表明 利用这种新的网络模型 对于静态系统过程和动态系统过 程 都有很快的学习速度和较高的精度逼近系统模型 针对这种新型物理模型结构的分层混合专家网络应用和实现 在 算法方面 提出了划分输入空间的交叉分类模式 并采用分步训练的 方式对整个网络训练 首次提出负数概率概念 并建立了合理的门网 北京化 t 人学硕 i j 学位论文 数学模型 以降低模型误差 在b p 算法中加入了自适应方法 并给 出了相应的准则 对初始权值的设计进行了初步探讨 给出了初始权 值选择方法 以p h 值混合槽模型为仿真对象进行实验 实验结果表 明 算法各方面的改进和没计 有效的降低了网络的训练难度和模型 误差 提高了模型的逼近精度 说明了方法改进的有效性 基于新方法的新型分层混合专家模型网络融合了各种方法的优 点 具有学习速度快 逼近精度较高 泛化能力好 网络的复杂度低 和令人满意的动态组合网络的整体性能 实验证明 它适合解决环境 信息复杂 背景知识不清楚和推理规则不明确的建模问题 为解决现 实中困难的建模问题提供了一种行之有效的方法 关键词 建模 分层混合专家 门网 判别分析 二阶网络 负数概 率 交叉分类 分步训练 l i 卜 a b s t r a c t n o v e lh m em o d e lb a s edo n d i s c r i m i n a n ta n a l y s i sa nd m u l t i l a y e rq u a d r a t i cp e r c e p t r o n a b s t r a c t m o d e l i n gi s a ni m p o r t a n tm e t h o dt oa n a l y z es y s t e m sa n ds o l v e p r o b l e m s f o rs i n g l em o d u l a rn n s i ti s t o oh a r dt oa c h i e v es a t i s f y i n g p e r f o r m a n c ef o rac o m p l i c a t i o ns y s t e m t h a te x h i b i ts t r o n gn o n l i n e a r b e h a v i o r s oan o v e lh m e n h m e m o d e lb a s e do nc o m m i t t e em a c h i n e s t r u c t u r ew i t hag o o dp e r f o r m a n c ew a sp r e s e n t e d t h em o d e li sam o d u l a r n e t w o r kw i t haf a s tt r a i n i n gs p e e da n dah i g hp r e c i s i o n c h i l dm o d u l e si n f l u e n c eo nn h m ep e r f o r m a n c ed i r e c t l y an h m e i sc o m p o s e do fm u l t i l a y e rq u a d r a t i cp e r c e p t r o n m l q p e x p e r t sa d o p t e d f i r s ta n di m p r o v e dm o d u l a rg a t i n gn e t w o r k sw i t haf e wp a r a m e t e r sa n da p l a i ns t r u c t u r e an h m eh a sab e t t e rp e r f o r m a n c ea n d t h ed i f f i c u l t yo f t r a i n i n gi sr e d u c e db e c a u s eo fm l q pe x p e r t sa d o p t e da n dn e wg a t i n g n e t w o r k si m p r o v e d t h et y p i c a lp h m i x t u r et a n ks y s t e mw i t hb a d l y n o n l i n e a rc h a r a c t e rh a db e e na p p l i e da st h es i m u l a t e dm o d e l sf o rn h m e i i i 北京化t 人学坝i j 学位论文 n e t w o r k t h er e s u l t so fs i m u l a t i v ee x p e r i m e n t si n d i c a t e dt h a tn h m ec a n m o d e lf o rs t a t i ca n d d y n a m i cs y s t e m sp r o c e s s e sw e l l o nr e a l i z i n ga n du s i n gn h m ef u n c t i o n c r o s ss o r t sa r i t h m e t i co f 畦 d i v i d i n gi n p u t s p a c ea n dl a y e rt r a i n i n gw e r ei n t r o d u c e d m o d e le r r o r r e d u c e db e c a u s eo fm i n u sp r o b a b i l i t ya n di t sm a t h e m a t i c a l m o d e l i n g p r e s e n t e d t h ea d a p t i v es t u d yr a t ew a su s e di nb pa r i t h m e t i ca n dt h er u l e w a sp r o p o s e d t h ep a p e ra l s oe l e m e n t a r i l ys t u d i e dw e i g h t si n i t i a l i z a t i o n m e t h o d sa n df o u n dt h es e e m l yc r i t e r i o n t h er e s u l t so fe x p e r i m e n t so n n h m ew i t hp h m i x t u r et a n kv a l i d a t e dt h ee f f i c i e n c yo fn e wm e t h o d s t h en h m em o d e lb a s e do nn e wm e t h o d se x h i b i tm a n ym e r i t s i t h a saf a s t e rt r a i n i n gs p e e d h i g hm o d e l i n gp r e c i s i o n g o o dg e n e r a l i z a t i o n a b i l i t y as i m p l en e t w o r ks t r u c t u r e a n dt h e s a t i s f y i n gp e r f o r m a n c e e x p e r i m e n t sp r o v e dt h a tn h m ei s ag o o dm o d e lt h a ta d a p t st os o l v e i n c r e a s i n g l y d i f f i c u l t p r o b l e m s w i t h c o m p l i c a t e d c i r c u m s t a n c e i n f o r m a t i o n f u z z yb a c k g r o u n dk n o w l e d g ea n da m b i g u o u sr e a s o n i n g r u l e s an h m em o d e li sa na v a i l a b l ea n de f f i c i e n tm o d e l i n gm e t h o df o r t h er e a l i s t i cs c a b r o u ss y s t e m sp r o c e s s e s k e y w o r d s m o d e l i n g h i e r a r c h i c a l m i x t u r eo f e x p e r t s g a t i n g n e t w o r k d i s c r i m i n a t ea n a l y s i s m u l t i l a y e rq u a d r a t i cp e r c e p t r o n m i n u s p r o b a b i l i t y c r o s ss o r t s l a y e rt r a i n i n g i v 目录 第一章绪论 1 1 1 分层混合专家建模的研究及意义 1 1 2 分层混合专家网络的发展与现状 3 1 3 委员会机器模型介绍 5 1 3 1 静态委员会机器模型 5 1 3 2 动态委员会机器模型 7 1 4 单模块神经元网络的发展和现状 9 1 5 论文内容及章节安排 一1 1 第二章分层混合专家和统计学基础理论 1 2 2 1 神经网络理论基础 12 2 1 1 神经网络介绍 1 2 2 1 2 神经网络构成的基本原理 1 3 2 1 3 神经网络的优点 1 6 2 1 4 神经网络的应用领域 1 6 2 2 分层混合专家理论基础 一1 7 2 2 1 分层混合专家介绍 1 7 2 2 2 分层混合专家构成的基本原理 1 7 2 3 聚类分析理论 19 2 3 1 聚类分析 19 2 3 2 聚类分析的类别和方法 2 0 2 4 判别分析理论 2 0 2 4 1 判别分析 2 0 2 4 2 距离笋0 别法 2 1 2 4 3 判别准则 2 l 第三章二阶网络应用研究与算法改进 2 3 3 1 多层二阶神经网络 2 3 v 3 1 1 二阶网络模型 2 3 3 1 2 改进学习算法及其在二阶网络中的应用 2 6 3 2 权值初始化 2 7 3 2 1 权值初始化分析 2 7 3 2 2 初始权值选择方法 2 8 3 3 仿真实验 3 0 3 3 1 实验背景 3 0 3 3 2 实验结果与分析 3 l 3 3 2 1 改进算法对学习速率的影响 3 2 3 3 2 2 权值初始化对学习速率的影响 3 4 3 3 2 3 二阶网络与一阶网络性能比较 3 5 3 3 2 4 二阶网络仿真实验 3 5 3 4 小结 3 7 第四章基于二阶网络和判别分析建立新型h m e 物理模型 3 8 4 1 分而治之思想与h m e 网络 3 8 4 1 1 分而治之 3 8 4 1 2h m e 神经元网络 3 8 4 2 模块化门网结构设计 一3 9 4 2 1 模块化设计的优点 3 9 4 2 2 判别分析与欧氏距离 3 9 4 2 3 门网结构设计 4 0 4 3 新型分层混合专家模型建立 4 1 4 3 1 模块分析 4 2 4 3 2n h m e 模型建立和算法推导 4 2 4 4 实验仿真 4 5 4 4 1n h m e 和普通h m e 模型性能比较 4 5 4 4 2h m e 和二阶网络性能比较 4 6 4 4 3n h m e 仿真实验 4 8 4 5 小结 5 0 第五章新型分层混合专家算法与程序设计 5 2 5 1 分步训练 5 2 v i 卜 5 2 交叉划分输入空间 一5 3 5 3 数据处理 5 4 5 4 激活函数选择 一5 5 5 5 负数概率 一5 6 5 5 1 负数概率和负数概率模型 5 7 5 5 2 负数概率的物理意义 5 8 5 6 程序设计 5 9 5 6 1n h m e 主程序设计 5 9 5 6 2n h m e 二阶网络专家程序设计 6 0 5 6 3n h m e 门网程序设计 6 2 5 7 实验仿真 一6 4 5 7 1 负数概率和改进方法对n h m e 模型的影响 6 4 5 7 2n h m e 模型综合仿真实验 6 5 5 8小结 6 7 第六章结论与展望 一6 8 6 1 工作总结 6 8 6 1 1 课题改进和创新点简述 6 8 6 1 2 工作内容总结 6 8 6 2 研究展望 7 0 参考文献 7 1 致谢 7 5 研究成果及发表的学术论文 7 6 作者及导师简介 7 7 v i i v i i i co n t e n t s c h a p t e r1i n t r o d u c t i o n 1 1 1r e s e a r c ha n ds i g n i f i c a n c eo fh m e 1 1 2d e v e l o p m e n ta n ds t a t u sq u oo fl i m e 3 1 3r e v i e wo fc o m m i t t e em a c h i n em o d e l 5 1 3 1s t a t i cc o m m i t t e em a c h i n em o d e l 5 1 2d y n a m i cc o m m i t t e em a c h i n em o d e l 7 1 4d e v e l o p m e n ta n ds t a t u sq u oo fs i n g l em o d u l a rn n s 9 1 5c o n t e n t so f t h e s i sa n da r r a n g e m e n t sf o rc h a p t e r s 11 c h a p t e r 2f o u n d a t i o n a lt h e o r yo fh m ea n ds t a t i s t i c s 12 2 1f o u n d a t i o n a lt h e o r yo f n n s 12 2 1 1i n t r o d u c t i o no f n n s 1 2 2 1 2b a s i cp r i n c i p l en n ss t r u c t u r e 13 2 1 3m e r i t so f n n s 16 2 1 4a p p l i c a t i o nf i e l d so f n n s 1 6 2 2f o u n d a t i o n a lt h e o r yo fh m e 17 2 2 1i n t r o d u c t i o no f h m e 1 7 2 2 2b a s i cp r i n c i p l eh m es t r u c t u r e 17 2 3c l u s t e ra n a l y s i st h e o r y 19 2 3 1c l u s t e ra n a l y s i s 19 2 3 2c l u s t e ra n a l y s i ss o r t sa n dm e t h o d s 2 2 4d i s c r i m i n a t ea n a l y s i st h e o r y 2 0 2 4 1d i s c r i m i n a t ea n a l y s i s 2 0 2 4 2d i s t a n c ed i s c r i m i n a n c e 21 2 4 3d i s c r i m i n a n c ec r i t e r i o n 2 1 c h a p t e r3a p p l i c a t i o nr e s e a r c ho fm l q p a n di m p r o v e da r i t h m e t i c 2 3 3 1m l q pn e t w o r k s 2 3 i x 3 1 1m l q pm o d e l 2 3 1 2i m p r o v e da r i t h m e t i ca n da p p l i e dt om l q p 2 6 3 2w e i g h t si n i t i a l i z a t i o n 2 7 3 2 1w e i 曲t si n i t i a l i z a t i o na n a l y s i s 2 7 3 2 2i n i t i a lw e i 曲t ss e l e c t i o nm e t h o d 2 8 3 3s i m u l a t i v ee x p e r i m e n t s 3 3 3 1e x p e r i m e n tb a c k g r o u n d 3 0 3 3 2r e s u l t so f e x p e r i m e n t sa n da n a l y s i s 3 1 3 3 2 1i n f l u e n c eo fi m p r o v e da r i t h m e t i co nl e a r n i n gs p e e d 3 2 3 3 2 2i n f l u e n c eo f w e i g h t si n i t i a l i z a t i o no nl e a m i n gs p e e d 3 4 3 3 2 3p e r f o r m a n c ec o m p a r i s o nb e t w e e nm l q pa n dm l pm o d e l s 3 5 3 3 2 4s i m u l a t i v ee x p e r i m e n t so nm l q pm o d e l 3 5 4b r i e fs u m m a r y 3 7 c h a p t e r4e s t a b l i s h m e n to fn o v e lh m ep h y s i c a lm o d e lb a s e do n m l q p a n dd i s c r i m i n a n ta n a l y s i s 3 8 4 1p r i n c i p l eo f d i v i d ea n d c o n q u e ra n dh m e n e t w o r k 3 8 4 1 1p r i n c i p l eo fd i v i d ea n dc o n q u e r 3 8 4 1 2h m en n s 3 8 4 2d e s i g n i n gs t r u c t u r eo fm o d u l a rg a t i n gn e t w o r k 3 9 4 2 1m e r i t so f m o d u l a rd e s i g n 3 9 4 2 2d i s c r i m i n a n ta n a l y s i sa n de u c l i d e a nd i s t a n c e 3 9 4 2 3g a t i n gn e t w o r kd e s i g n 4 0 4 3e s t a b l i s h m e n to f n o v e lh m e 4 1 4 3 1m o d e l sa n a l y s e s 4 2 4 3 2e s t a b l i s h m e n to f n h m em o d e la n dd e r i v a t i o n so f a r i t h m e t i c 4 2 4 4s i m u l a t i v ee x p e r i m e n t s 4 5 4 4 1p e r f o r m a n c ec o m p a r i s o nb e t w e e nn h m ea n dh m em o d e l s 4 5 4 4 2p e r f o r m a n c ec o m p a r i s o nb e t w e e nh m ea n dm l q pm o d e l s 4 6 4 4 3s i m u l a t i v ee x p e r i m e n t so nn h m em o d e l 4 8 4 5b r i e fs u m m a r y c h a p t e r 5d e s i g no fa r i t h m e t i ca n dp r o g r a m so fn h m e 5 2 x 5 1l a y e rt r a i n i n g 5 2 5 2c r o s ss o r t sa r i t h m e t i co f d i v i d i n gi n p u t s p a c e 5 3 5 3d a t ap r o c e s s i n g 5 4 5 4s e l e c t i n ga c t i v a t i o nf u n c t i o n 5 5 1 5m i n u sp r o b a b i l i t y 5 6 5 5 1m i n u sp r o b a b i l i t ya n dm a t h e m a t i c a lm o d e l 5 7 5 5 2p h y s i c a lm e a n i n g so fm i n u s p r o b a b i l i t y 5 8 5 6p r o g r a md e s i g n 5 9 5 6 1m a i np r o g r a md e s i g no f n h m e 5 9 5 6 2p r o g r a md e s i g no fm l q pn e t w o r k so f n h m e 6 0 5 6 3p r o g r a md e s i g no fg a t i n gn e t w o r k so fn h m e 6 2 5 7s i m u l a t i v ee x p e r i m e n t s 6 4 5 7 1i n f l u e n c eo f m i n u sp r o b a b i l i t ya n dn e wm e t h o d so nn h m em o d e l 6 4 1 7 2s y n t h e s i se x p e r i m e n t so nn h m em o d e l 6 5 5 8b r i e f s u m m a r y 6 7 c h a p t e r6c o n c l u s i o n sa n dp r o s p e c t 6 8 6 1w o r kr e p o r t 6 8 6 1 1b r i e fi n t r o d u c t i o na b o u tr e f o r i i la n di n n o v a t i o nf o rt h e s i s 6 8 6 1 2b r i e fw o r kr e p o r t 6 8 6 2r e s e a r c hp r o s p e c t 7 0 r e f e r e n c e s 7 1 a c k n o w l e d g e m e n t 7 5 r e s e a r c ha c h i e v e m e n ta n dp u b l i c a t i o n s 7 6 c u r r i c u l u mv i t a e 7 7 x l 第一章绪论 第一章绪论弟一草缮化 摘要 本章介绍了分层混合专家的研究以及它的意义 对分层混合专家和单 一网络的发展和现状进行了概述 并简单的叙述了几种委员会机器结构模型 最 后列出了本文研究的内容以及本文的结构框架 1 1 分层混合专家建模的研究及意义 神经网络系统研究的重要意义已为许多科学家所承认 它是智能计算发展的 一个主流方向 神经元网络所具备的独特知识表示结构和信息处理的原则 l 使 其在许多应用领域取得了显著的进展 2 卅 能够为解决一些传统计算机极难求解 的问题提供满意的解 或者为寻求满意解提供全新的思路 5 近几年来科技发达 国家的主要公司对神经网络芯片 生物芯片独有情钟 例如i n t e l 公司 i b m 公 司 a t t 公司和h n c 公司等已取得了多项专利 已有产品进入市场 被国防 企业和科研部门选用 公众手中也拥有神经网络实用化的工具 其商业化令人鼓 舞 神经网络的发展目标就是成为智能信息处理的核心工具之一 委员会机器 f c o m m i t t e em a c h i n e e 6 1 的提出及发展也证表明了这一目标 混合专家 7 网络 m i x t u r eo f e x p e r t s m e 是委员会机器发展中最为活跃的一个分支 分层混合专家 吲网络 h i e r a u r c h i c a lm i x t u r eo f e x p e r t s h m e 自然扩展了混合专家的结构 使神经 网络有了更好的整体性能 对它的研究使委员会机器进入了一个更为广阔的发展 领域 委员会机器是一种监督学习神经元网络 它是基于分而治之 p r i n c i p l eo f d i v i d ea n dc o n q u e r 的工程原则建立的 从结构上划分 委员会机器属于组合 m o d u l a r 神经元网络 委员会机器建模不同于一般的神经元网络建模 在网络构架方面 它是建立 多个普通的神经网络模型 而后由一个组合器整合 从而建立一个完整网络模型 在工作的方式及过程方面 它的输入输出的映射对应关系不是一步建立起来 而 是经由专家层和组合层逐步建立 委员会机器这种组合建模方式 使得它比一般 的网络在学习和泛化这两个阶段更具智能性 在网络学习阶段 特别是对于分层 混合专家 它并不要求每个专家对样本集中所有的样本进行学习训练 而是采取 根据某种准则划分输入空间的方式 每个专家只在自己的子空间中进行有针对性 北京化t 大学顾i 学位论义 的训练 这样各专家在自己的学习领域将具有最好的性能 并且由于学习子空间 小 使得它学习难度大大的降低 而组合器 包括协调者 门网 只需要根据相 应的原则 简单的学习和调节专家的组合输出 使输入向量所属子空问对应的专 家输出在组合输出中占主导优势 而在泛化应用时 必定有一个专家对输入向量 能做出最佳的相应 这样 组合器根据先验知识做出合理的分配和调节 决定各 个专家的输出怎样的被整合 从而得到更好的最终输出 给出满足要求的系统响 应 委员会机器模型的这种网络构架 以及建立在这种构架基础上的划分输入空 问算法 分解了复杂且难计算的任务 使复杂甚至使用其他方法难以解决的问题 得到了很好的解决 它多用于分类和研究建模问题 对于分类 理论上 只要有 足够数量的专家 就能把各类几乎完全分开 这是因为专家就是建立在分类基础 之上 对于建模问题 由于专家在分解的子空间上作业 使得相对复杂且具有严 重非线性系统分解后 对于各专家来说 非线性特征将大大削减 甚至在足量专 家的情况下 每个专家可以看成是对从 线性 问题拟合 再加上组合器有规则 的调节 建立的网络模型将会 真实 体现系统模型特征 从基本上说 这种组 合建模方式及学习方法 充分体现了分而治之思想和委员会层层组合机制 它的 最终输出融合了所有专家的知识并通过委员会机器层层修正 这个最终决策将优 于任何一个专家单独做出的决策 在实际工业过程中 复杂背景的非线性系统普 遍存在 因此 能够建立高性能和高精度的委员会机器模型有着重大的意义 在众多前人的努力下 这种解决监督学习任务的分层混合专家网络有了一定 的发展 它所具有的分类 逼近性能也得到了证明 由于委员会机器是神经元网 络的一个分支 虽然单一神经元网络的建模方式 算法类型很多 但分层混合专 家网络的模型和算法的却并不是那么的完善 任何事物都是发展的 分层混合专 家网络的发展也将会随着对其他神经网络的研究前进 由于分层混合专家网是由 单一网络模块和其他模块组成 可以设想 不论哪一层在计算精度或逼近性能上 有所改进 那么总体的性能将可能也会提高的 所以 它的发展 也是各种单个 网络结构和算法创新及改进的结果 目前 对于单模块网络的算法及模型结构研 究很多 并取得了很大的进步 在工业应用中 建模是分析问题和解决问题的一 种重要的手段 对于复杂的非线性系统 单模块的神经网络建模方法要么无法达 到期望的预测精度 要么模型过于庞大复杂 很难进行进一步的分析和利用 而 2 第一章绪论 组合网络分层混合专家 它本身就具有着很好整体决策能力 能有效的提升低精 度 简单算法的泛化性能 广泛应用于系统建模当中 但是 现今人们对分层混 合专家网络的研究却比较少 所以改进和创新它的模型和算法 以满足当前解决 复杂难题是可行并且势在必行的 分层混合专家的进一步发展 必将大大推动现 代工业的进程 1 2 分层混合专家网络的发展与现状 随着人工智能技术的飞速发展 越来越多的人工神经元网络被用在解决环境 信息十分复杂 知识背景不清楚和推理规则不明确的问题上 委员会机器是一个 组合网络 它根据分而治之的原则 把一个复杂的计算任务分解成一些简单的任 务 分别求取各个简单任务的解 然后再将这些任务的解重新组合起来 正是因 为委员会机器的这种分解解决任务的特性 使得它在解决复杂问题领域得到了快 速的发展 至委员会机器提出以来 人们对于委员会机器的研究同新月异 前辈 们提出了大量的物理结构模型和应用算法 7 9 1 分层混合专家是委员会机器的一 个典型代表 它随着委员会机器的发展而逐渐成熟和完善 委员会机器思想 l o 最早是n i l s s o n 在1 9 6 5 年提出的 并在这个基本思想的 基础上建立了简单的神经元网络模型 这是委员会机器的雏形 随后 w o l p e r t p e r t o n e h a s h e m 详细的讨论了总体平均 1 1 2 1 方法 e n s e m b l ea v e r a g i n gm e t h o d 并基于这种方法建立模型 模型的整合器用单个神经元网络代替 通过对复杂任 务的分解 模型的各个专家在训练时都收敛到误差曲面的不同的局部极小 但使 整个系统性能通过对专家们的输出进行某种组合得到了提高 n a f t a l ye ta 1 另辟 途径 从统计分析的角度出发 以统计分析为算法基础 设计了由初始条件空间 的总体平均训练委员会机器方法 并基于太阳黑子数据和能量一预测竞争数据得 出实验结果 显著降低了求得的平均值的方型1 3 从相反的方向 s c h a p i r e 等人 研究了使专家在各自不同的训练集上学习的模型和算法 提出了推举委员会机 器 这种方法可以用来提高任何学习算法性能 其中较为常用的有通过过滤推举 1 4 1 5 和自举 1 6 1 两种 与此同时 另一类结构的委员会机器也在迅速发展 因为在 这类委员会机器中 各单个专家输出组合成整体输出的机制直接和输入信号有 关 因此也称之为动态结构 这种结构充分运用了输入信号的信息 理论上讲 3 北京化t 人学顾i j 学位论义 它将有着比前一类更好的整体性能 混合专家 m i x t u r eo f e x p e r t s m e 模型 7 1 是动 态结构中的最初形念 混合专家中有协调者作用的门网结构把输入信号的信息引 入到组合器 建立组合输出机制 起到了动念组合的作用 这是o s h e r s o ne ta l 组合概念 1 7 下的真正的组合网络 国内学者史忠植 张建对混合神经网络 统计 流形机器以及微分流形神经场计算理论进行了深人的研究 1 8 1 9 张悦等利用这种 计算理论研究并实现了知识可增殖人工神经网络 2 0 并取得了很好的结果 在混 合网络机构框架和建模思想的基础上 人们延伸并推广了混合专家 建立了分成 混合专家模型 8 2 由于分层混合专家模块化层次化的结构 使得它表现出更好 的训练泛化性能 2 2 1 这也使得人们对它的研究r 渐深入 取得了巨大的进展 2 1 2 3 1 并广泛应用到一些实际生产生活当中 为人们提供了解决困难复杂问题 4 2 4 1 的途 径 分层混合专家是一种动态委员会机器 它是由多个单一网络模型模块和门网 模块构成的组合网络 分层混合专家采用局部子模型 2 5 1 的建模方法 它是对混合 专家的自然扩展 混合专家网络的完善对分层混合专家的研究有着很大的推动作 用 j a c o b s 7 等人提出的混合专家模型中 每个专家网络都是一个小型前向单模 块网络 它们接受相同的输入并分别给出自己的输出 另外还采用一个前向网络 作为选通网络 它相当于一个多路丌关 具有与其他专家网络相同的输入 并根 据输入来决定采用哪一个专家的输出作为最终的输出 早在1 9 8 5 年 t a k a g i 和 s u g e n o 2 6 根据模糊的概念提出了模糊神经网络建模 这种模型的输入空间分解为 一些模糊区间 这种方法可以实现用少量的简单函数逼近一个高度非线性函数 1 9 9 4 年j o r d a n 和j a c o b s 提出分层混合争家模型并对它进行了详细的分析 8 对 于离散建模问题 专家网络输出给定输入向量x 等于每个取值的概率密度 p yix 其中e 表示的i 个神经网络 同时门网也根据相同的输入向量x 为每 一个专家网络配一个权值g x 然后可计算出输入向量等于每个取值的加权概 率密度p yx g 唧 x p yi 工 并选择概率最大的取值作为最终的输出 l i m a 2 7 等人对混合专家模型在非线性动态系统辨识中的应用进行了大量的仿真 研究 温津伟 罗四维等人认真研究了信息几何分析理论和知识增值模型的可能 4 第一章绪论 性 提出了一种建立具有知识可增值和结构可扩展性的多分层混合专家 2 8 的建模 方法 因为组合网络各个模块为简单的子模型 最终的输出由一个或几个输出来决 定 并且各个子模块可以采用不同的 线性的或非线性的模型结构 2 9 3 0 使得人 们对它的研究非常广泛 3 1 3 2 并在实际建模当中等到了广泛的应用 1 8 2 0 2 2 1 特别 是对于动态系统 采样得到的是一些时间序列 不同时刻的值是相互关联的 并 且当自订时刻的输出不但与过去的输入有关 还与过去的输出有关 因此 在网络 不太庞大的情况下 一般的神经网络很难较好的建立满足要求的网络模型 h m e 的发展 f 好弥补了神经网络在这方面的不足 但由于h m e 网络相对比较复杂 训练过程比价复杂 学习速度慢 子模块选择一些传统的单一网络 使得h m e 的发展和单一模块网络的发展不相适应 以致不能表现出很好的整体性能 h m e 的优势不能显现出来 任务分解困难 2 2 1 并且缺少门网产生分配信息的适当准则 目前 混合专家和分层混合专家发展仍比较缓慢 1 3 委员会机器模型介绍 综合分析委员会机器的发展历程 根据组合专家响应的机制与输入信号之间 有无联系 它们可以被分为两大类 类是静态结构 因为它们的专家响应组合 机制与输入信号无关 它包括总体平均和推举方法两种 另一类是动态结构 在 这种委员会机器中 将各个专家输出组合成整体输出的机制直接和输入信号相 关 一般常见的结构有混合专家模型和分层混合专家模型 1 3 1 静态委员会机器模型 以总体平均方法建立静态委员会机器 实例如图1 1 所示 它们每个专家都 是训练好的神经元网络 有着一个共同的输入 而后将它们的输出通过一个总体 平均器 e n s e m b l ea v e r a g e 1 3 整合成一个总的输出v 这样我们将得到一个相对有 较多可调参数的网络 训练时间可能也会相应的增加 并且 如果可调参数数目 i t i j l l 练数据集的基数大时 过拟合数据可能性也会增加 在使用这样的委员会机 器模型时 期望分别训练的专家收敛到误差曲面的不同的局部极小点 但是 整 个系统的性能会因为总体平均器的作用而提高 经过实验推导证明 基于这个模 5 北京化工人学硕i 学位论文 型的委员会机器产生的总体平均函数的偏置正好和属于一个单个神经网络的函 数的偏置相同 并且 总体平均函数的方差小于单个神经网络函数的方差 机器 的专家成员故意过度训练是因为偏置减少 方差会增加 但再通过对初始条件总 体平均专家 方差会减少而保持偏置不变 输出 y n 图1 1 基于总体平均的委员会机器结构图 f i g 1 1s t r u c t u r eo f c o m m i t t e em a c h i n eb a s e do ne n s e m b l ea v e r a g i n gm e t h o d y g s y g y g y g s y g y g y g 是总体平均组合函数 关于静态结构的另一个分支一推举 b o o s t i n g 方法 它和总体平均有很大的不 同 总体平均委员会机器中 所有的专家在 个数据集上训练 在训练过程中 它们是由于初始条件不同而导致不同的 推举委员会机器是各个专家的训练集是 完全不同的分布 前人给出了三种基本不同的推举的方法实现 在s c h a p i r e 1 4 描述了通过过滤推举方法 它的基本思想是基于一个与分布无关的或可能近似正 确的 p r o b a b l ya p p r o x i m a t e l yc o r r e c t p a c 3 3 3 5 1 学习模型 这种方法涉及盗用 一个弱学习算法的不同版本过滤训练样本 其过程示意图如图1 2 所示 其他的 两种推举方法为通过子抽样推举和通过重新加权推举 这两种推举方法在f r e u n d a n ds c h a p i r e 1 6 3 6 f 币1f r e u n d 3 7 中有所描述 对于推举理论的实验研究 有很多的 文献给出了相关的阐述 6 第一章绪论 训练后的 专家l 具有和专家l 学习的样木集 不同的统计性 质的n 1 个样本 a 专家1 完成的过滤样本 具有和专家1 和专家2 学习 的样木集不同 的统计性质的 n 1 个样本 b 专家l 和专家2 完成的过滤样本 图1 2 通过过滤的推举示意图 f i g 1 2s k e t c hm a p o fb o o s t i n gb yf i l t r