（计算机应用技术专业论文）神经网络结构化设计与研究.pdf

学位论文数据集 中图分类号口3 9 l学科分类号 5 2 0 2 0 论文编号l o o l 0 2 0 1 1 0 7 2 5密级公开 学位授予单位代 1 0 0 1 0 学位授予单位名称北京化工大学 码 作者姓名郑晓妍学号 2 0 0 8 0 0 0 7 2 5 获学位专业名称计算机应用技术获学位专业代码 0 8 1 2 0 3 人工智能理论与应用 课题来源自选项目研究方向 技术 论文题目神经网络结构化设计与研究 关键词 人工递阶神经网络，数据空间属性，任务分解 论文答辩日期 2 01 1 5 2 6论文类型 应用研究 学位论文评阅及答辩委员会情况 姓名职称工作单位学科专长 指导教师朱群雄教授北京化工大学智能系统，数据挖掘 评阅人l许南文副教授 北京化工大矿 网络数据库 f 评阅人2李辉副教授北京化工爿肇密码学理论与应用 评阅人3 评阅人4 评阅人5 答辩委员删赵瑞莲教授北京化工大学 答辩委员l许南山副教授北京化工大学网络数据库 答辩委员2李辉副教授北京化工大学密码学理论与应用 答辩委员3肖亮副教授北京化工大学核磁共振医学成像 答辩委员4 王雪晶 副教授北京化工大学图像处理与模式识别 答辩委员5 注：一论文类型：1 基础研究2 应用研究3 开发研究4 其他 二中图分类号在中国图书资料分类法查询 三学科分类号在中华人民共和国国家标准( g b 厂r1 3 7 4 5 9 ) 学科分类与代码中 查询 四论文编号由单位代码和年份及学号的后四位组成 摘要 神经网络结构化设计与研究 摘要 人工神经网络作为数据建模的重要工具，被广泛应用在各个行业领域 中。随着现代过程工业规模的扩大，生产工艺、设备以及生产过程复杂度 也随之增加，简单模式的神经网络已经难以满足用户的需求，单一结构神 经网络存在泛化性能有限、物理结构缺乏可理解性等问题，为了解决其局 限性，繁衍出多种神经网络设计。 本课题主要针对人工神经网络结构的智能性进行理论研究，总共涉及 三部分内容：数据空间属性分析及处理、结构化神经网络模型设计以及人 工神经网络性能优化。通过实现神经网络结构化学习实验平台的设计和开 发，解决了神经网络黑箱性问题，削弱网络对专家知识的依赖性。平台核 心内容是基于自联想神经子网和树形神经网络的两种新型的结构化神经 网络。 通过分别采用多组u c i 国际标准数据集以及实际石化企业精对苯二 甲酸( p t a ) 溶剂脱水塔装置的生产数据和高浓度聚乙烯降耗( h d p e ) 建 模应用数据来验证课题研究内容。结果表明自动划分子网和由此生成的结 构化神经网络具有很好的物理意义和实际有效性，大大提高了神经网络泛 化能力和系统稳定性。因此，结构化神经网络研究对实际工业应用具有现 实指导意义。 北京化工大学硕士学位论文 关键词：人工递阶神经网络，数据空间属性，任务分解 i i c a l a so n eo ft h em o s ti m p o r t a n td a t am o d e l i n gm e t h o d ，a r t i f i c a ln e u r a l n e t w o r ki sw i d e l yu s e di na l lk i n d so fa r e a s i nt h ed e v e l o p m e n to fa r t i f i c a l n e u r a ln e t 、7 l ，o r k ，s i n 9 1 em o d eh a s1 0 t so fp r o b l e ms u c ha sp o o rg e n e r a l i z a t i o n a n du n e ) 【p l a i n a b l es t m c t u r e ，a l lo ft h e mc a nn o tg u a r a n t e et h eu s e r s r e q u i r e m e m s t h e r e f o r ，o t h e rk i n d so f n e u r a ln e 撕o r kh a v eb e e nd e s i g n e d b a s do nt h ei n t e l l i g e n tm e o 巧r e s e a r c h ，t h i ss u b j e c tc o n t a i n st l l r e ep a r t s o n ep 矾i sa j l a l y s i so fd a t as p a c e ，t h es e c o n dp 础i sa b o u td e s i g no fs t m c t l l r e n 饥i r a ln e t w o f k ， a n dt h el a s t p a r t i sa b o u t p e r f i o r m a n c eo p t i m i z a t i o n m e a n w h i l e ，i no r d e rt o s e t t l et h ep r o b l e mo fb l a c kb o xa i l dr e d u c et h e d 印e n d e n c eo fe x p e ns y s t e m ，al e 砌n gp l a n t f i o mo f s t m c t i l r en e u r a ln e 俩o r k i sd e v e l o p e d t h ek e yp a r to ft h i sp l a 【l t f o m li st h ea p p l i c a t i o na n dt r a i la b o u t t h en e w 咖eo fs t m c t u r en e u r a ln 咖o r k 1 h r o u g hu s i r 培t h es t a n ( 1 a 订d a t a s e t s mu c i a n dp t a ，h d p ef b mr e a l c h e m i c a lf a c t o 巧t ot e s t ，1 r e et y p e dh i e 聊c a i ln e u r a ln e 觚o r ka n da s s o c a i t e t y p e dh i e 眦h i c a ln e u r a ln e t o w r ks h o w e dt l l ee 航c t i v e n e s sa n d 砸。啊o f e x p l a i n c a t i o n t h i ss t e a d yp e r f o r m a n c em a k e s t h i st e c l l i l o l o g yv a l ua _ b l ea 1 1 d m e a n i n g 向1 i nt h er e a l i t yi n d u s t r yp r o d u c tp r o c e s s i n g m 北京化工大学硕士学位论文 k e yw o r d s ：h i e r a r c h i c a ln e u r a ln e t w o r k ，d a t aa c t i i b u t e sd e c o m p o s t i o n ， t a s kd e c o m p o s i t i o n 目录 目录 第一章绪论l 1 1 课题研究背景1 1 1 1 人工神经网络的概述1 1 1 2 神经网络结构化的概述2 1 2 国内外研究现状4 1 3 课题研究内容。6 1 4 论文组织结构8 第二章数据空间属性分析及处理。1 l 2 1 数据空间属性分析概述1 1 2 1 1 数据属性划分组合定义和定理1 1 2 1 2 数据属性划分组合的应用1 1 2 2 数据空间属性处理方法1 2 2 2 1 属性特征向量内部相关性1 2 2 2 2 属性特征向量对目标的影响性1 4 2 2 3 混合处理方法1 7 2 3 本章小结18 第三章结构化神经网络模型设计1 9 3 1 递阶神经网络1 9 3 1 1 递阶神经网络概念1 9 3 1 2 同其他类似复杂模型的比较1 9 3 2 递阶神经网络的衍生模型2 1 3 2 1 树形递阶神经网络2 l 3 2 2 自联想递阶神经网络2 3 3 3 基于数据空间属性方法的递阶神经网络2 5 3 3 1 实验数据。2 6 3 3 2 算法步骤2 6 3 3 3 结果对比和分析2 8 v 北京化工大学硕士学位论文 3 4 本章小结2 9 第四章实验平台实现及应用31 4 1 实验平台的设计开发3l 4 1 1 平台需求功能分析31 4 1 2 平台构架设计3 3 4 1 3 平台流程图。3 7 4 1 4 平台开发小结3 9 4 2 平台中其他算法4 0 4 2 1 建模算法4 0 4 2 2 优化算法4 4 4 3 实验平台的应用4 5 4 2 1p t a 溶剂脱水塔装置预测应用4 5 4 2 2h d p e 聚合反应过程预测应用4 8 4 4 本章小结51 第五章总结与展望5 3 5 1 工作总结。5 3 5 2 工作展望5 3 参考文献5 5 致谢5 9 研究成果及发表的学术论文6 1 作者和导师简介6 3 v l c o n 渤t s c 0 n t e n t s c h a p t e r li n t i o d u c t i o n 1 1 1b a c k 田o u l l d 1 1 1 1c o n c e p to f a n n 1 1 1 2c o n c e p to fs 仃u i 咖r ea n n 2 1 2r e l a t e dw o r k 4 1 3c o n t e n t so f r e s e a r c | h 6 1 4o r g 锄i z a t i o no f c h a p t e f s 8 c h a p t e r 2d a t aa t t r i b u t e sa n a l y s i s 1 1 2 1c o n c e p to fd a t aa t t r m u t 韶1 l 2 1 1d a t aa t t d b u t e sd e c o m p o s t i o nd e f i i l i t i o na n dt l l e o r y ：11 2 1 2d a t aa _ 嘶b u t e sd e c o m p o s t i o na p p l i c a t i o n 。l l 2 2c i a t aa b u t e sd e c o m p o s t i o nm e m o d s 1 2 2 2 1h l s i d ei n n u n c eo f t h ea 佃b u t e s 1 2 2 2 20 i u t s i d ei n n u n c eo f t l l ea t t r i b u t e s 1 4 2 3s u m m a r v 1 8 c h a p t e r 3d e s i g no fs t r u c t l i r a la n n 1 9 3 1h i e f a r i c a ln e u r a ln 绷r k 1 9 3 1 1c o n c e p to f l l i e r a r i c a ln e u r a ln e t w o r k 1 9 3 1 2c o m p a r i s i o no f o m e rs 协j c t u a ln e u r a ln e t 、) l ，o r k 1 9 3 2d c v e l o p e dm 觥c l l i c a ln 眦r a ln e t 、7 l ，o r ki n o d e l s 2 1 3 2 1t k e t y p e dl l i e r a r i c a ln a l r a 】n e t w d r k 2 1 3 2 2a u t o a s s o i c a t e d1 1 i e r a r i c a ln e u r a ln e t w o r k 2 3 3 3b a s e do nd a dm e 1 0 dl l i e r a c l l i c a ln e u r a ln e t w o r k 2 5 3 3 1t b s td a t a s e t 2 5 3 3 2a l g o i d 岫2 6 3 3 3r e s u l t sc o m p a r s i o na i l da 1 1 a l y s i s 2 7 3 4s 切枷a r y 2 8 v l i 一 ! ! 室垡三奎堂堡主堂垡丝塞一一 _ - - - - _ - - - _ - - _ _ _ _ - _ _ _ - - _ _ _ _ _ _ - - _ _ - 一 c h a p t e r 4d e s i g na n di m p i e m e n t a t i o n o fp l a n t l o r m 3l 4 1p 1 锄t f o 吼d e s i g n 3 l 4 1 1r e q u 硫e n t sa n a l y s i s ”3l 4 1 2a n i t e c h t u r ed e s g m 。3 3 4 1 3f l o wc h a r to f p l a i l t f o m 一3 7 4 1 4d e v e l o ps l m l m e 巧3 9 4 2o m c ra l g o d 缸si np l 髓t f o m l ”4 0 4 3 1m o d e l i n ga l g o r i m m s 4 0 4 3 2h i l p r o v 锄e 1 1 ta l g o r i l l i l s ”4 4 4 3a p p l i c a t i o n s ：”4 5 4 3 1p t aa p p l i c a t i o n 4 5 4 3 2h d p ea p p l i c a t i o n 4 8 4 4s u n 皿e r y 5 l c h a p t e r 5c o n c l u s t i o n a n df u t u r ew o r k 5 3 5 1w o r kc o n c l l l s i o n 5 3 5 2f u t u r e 、7 l r o r k 5 3 r e f e r e n c e 5 5 a c l m o w l e g m e n t s ”5 9 r 电s e a r c ha c h i v e m e n t sa n dp u b l i s h e dp a p e r 6 1 i n t r o d u c t i o no fa u t h o ra n ds u p e r v i s o r 6 3 v i i i 第一章绪论 1 1 课题研究背景 1 1 1 人工神经网络的概述 第一章绪论 人工神经网络( a n i j 6 i c i a ln e u r a ln e 时o d ( s a n n s ) ，简称神经网络q n s ) ，或者又称 作连接模型( c o 皿e 砸o i l i s tm o d e l ) 是随着信息生产力的进步，发展起来的重要的人工 智能应用和研究领域。 神经元数学模型是由心理学家m c c u l l o c h 和数理逻辑家p i t t s 在1 9 4 3 年提出，其 后又出现感知器，自组织神经网络，自适应神经网络等多种模型，8 0 年代中期的误差 反传人工神经网络( b a c kp r o p a g a t i o n n e u r a ln e t 、o d 【b p ) 是最为广泛使用的网络模型， 如图1 1 所示，其包含一个输入层，一个输出层以及多个隐含层，且包含任意个数的 节点，其中，连接节点的是权值，通过调整权值接近期望目标。 墨 而 图1 1 误差反传人工神经网络 f i g 1 - 1b a c kp r o p a g 撕o nn e u m l 咖出 鼍- 传统人工神经网络的基本原理是：基于对人脑中的自然神经网络，对其基本特征 的抽象和模拟，并运用数理方法进行学习训练，从而达到模型的建立。 国际著名神经网络研究专家h e d l t n i e l s e i l 描述其为：“人工神经网络是由人工建 立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行 信息处理 。 根据人工神经网络的本身特性，可以归结其基本特征： ( 1 ) 非线性，可以逼近任意复杂的非线性关系。 ( 2 ) 非局限性，多个神经元构成的网络整体学习训练泛化。 ( 3 ) 非确定性，神经网络本身处理信息时不断变化，迭代演变。 ( 4 ) 非凸性，模型演化不取决于具体状态函数，具有多个平稳态。 以上四种特性以及特殊的神经网络模型结构决定了其具备自学习，联系存储，寻 北京化工大学硕士学位论文 优解的能力，可以实现函数近似，模式分类，数据聚类，建模预测等功能，并广泛运 用于人工智能，自动控制，统计学，机器人等各个领域的信息处理【1 1 。 1 1 2 神经网络结构化的概述 神经网络结构化主要包含两个方面，一个方面是针对神经网络节点以及层级的最 优化性能的研究，另一个方面主要针对部分具体的神经网络模型结构的研究，如图1 2 所示的基本神经网络类型，按照网络学习机制和网络结构划分，总共可以分为三类， f e c df 0 御a r d 、h o 面e l d 以及w i l l i l c rt a k e sa l l ，提供各自解决问题的模型。 本课题着重于第二方面，具备可理解性模型结构的研究，并在其基础上，进一步 改善神经网络的性能。 图l - 2 基本神经网络类型 f i g 1 2b 鹊i c 白，p e so f a n i f i c a i ln e u m ln e 帆o r k 神经网络从7 0 年代应用到现在，在各行各业都有广泛的应用，根据具体问题和 数据，采取具体的解决措施。本课题主要针对神经网络黑盒子模型以及参数设置的不 确定性，研究单个神经网络结构的扩展，即根据功能模块划分或者相关度划分的输入 子网的结构化递阶神经网络，其主要优势如下： ( 1 ) 增强用户的可理解性 在一定程度上揭开了部分黑匣子，使得神经网络物理意义比较清晰明确，譬如对 于依照并联两个反应器建立子网的工业数据建模，通过现实条件的约束，使得神经网 络有了一定的意义，比较传统的黑匣子b p 神经网络，使得研究人员可以进一步观察 调节人工神经网络对于智能的模拟。 ( 2 ) 提高网络综合性能 多个输入子网的训练的不相关性，对于开发神经网络的人员而言，也有着重要的 意义，利用线程并发，对于子网进行同步的运行计算，在一定程度上，提高了网络学 习和泛化的速度，同时，子问题分解对于开发模式也有着启发式的作用。 2 第一章绪论 结构化神经网络类型研究众多，本课题主要针对功能模块划分，用户可理解性方 向进行深入研究，其中包括递阶神经网络，树形( 瀑布形) 神经网络，权值可调节可 删除的神经网络等，其物理意义明确，现实针对性强，且便于理解【2 】。 另外，在实验中根据具体具体对象题进行神经网络构造，例如并串联化工过程中 反应器建模，时序数据在过程工业中的建模等等，通过参数调整，网络构造设计，应 用结构化神经网络也是本课题研究的重点，并且有着具体实际意义，解决了样本中高 维数据的分类、时间数据影响过程的处理等问题，方便工业中过程模拟、预测等并指 导和控制工业生产，提高经济效益。 目前有很多有关神经网络性能改善的研究，但由于缺乏实际仿生学的物理意义， 结构化神经网络，尤其是递阶神经网络技术在针对现实中具体问题，如并行处理实时 性要求，处理时序性数据规律和大规模数据压缩处理等，都有着优势和应用前景。 1 9 8 5 年，c o t 嘲1 g w 【3 】开创性地提出了神经网络结构扩展方法。1 9 9 6 年，时狮 n a m p b o 【4 】用理论和现实应用证明，可以简单地输入子网的模块化划分，并行进行子网 训练，将问题分解，并且具有实际的物理功能意义，进一步地模拟了大脑分区协作， 功能处理的生物特征，部分地揭开了神经网络黑匣子的面纱。 ” m a l ln a m p h 0 对于大规模图像数据进行压缩当中，应用了两层神经网络的理论【5 】， 并且进一步应用这种自联想学习的神经网络【6 锕，组成大规模的神经网络结构，这种 对称的神经网络结构，如图1 3 所示包含输入层，输出层，融合层，压缩层，分解层。 其中，输入层和融合层是依据自联想神经网络原理，即输入等于输出这种模式训练而 来的神经网络权值确定的模型组合。自联想神经网络将在第三章节中介绍。 图l - 3 层次多子网级联神经网络 f i g 1 - 3m u l t i 一1 e v e ls u b n e t sc 嬲c a d en u e r a ln e t w o 出 在输入子网划分上，存在很多可以研究的领域，譬如从数学相关度，现实具体问 题的物理意义上都可以做出很多尝试。另外，对于结构化组合网络的建立，目前研究 上，a d t c i lb e r g 【9 】提出主要从功能划分、集成、递阶层次等方面研究神经网络结构。 无论是瀑布式还是分布式，在一定程度上，相对于传统神经网络，已经被实例验证有 较好的性能，并且在一定环境下有了一些进步。 3 北京化工大学硕士学位论文 传统的权值增删的研究，也可以做为研究的一个分支，放入到结构化神经网络的 研究中，通过过程中的不断筛选优化，避免了神经网络容易陷入局限最优解的困境。 也增加了神经网络结构的灵活性，提高了神经网络的学习和泛化性能。 1 2 国内外研究现状 结构化神经网络一直处于研究的重点，无论是从改进单一网络局限性的神经网络 集成还是单个神经网络结构算法改进来说，都各有特色，本课题研究的递阶神经网络 和树形神经网络在国内研究甚少，应用性比较狭隘，在国外文献中，原创的递阶神经 网络在图像压缩中应用广泛，笔者查找文献，主要包括以下几个方面： ( 1 ) 复杂层次结构的神经网络 中国科技大学自动化系的丛爽【l o 】，分析和比较几种局部连接神经网络结构及性 能，为选择和应用局部神经网络提供了依据。王波和何山【l l 】根据现实中生物体内大脑 的构造，提出基于功能划分的组合神经网络模型。但以上两者都缺乏实际工程验证。 电子学报中，孙功星【1 2 】提出层次多子网级联神经网络，如图l - 4 所示。层次多子 网级联神经网络自动生成各个工作子网，共同处理目标任务。但训练模式导致第一个 或前几个工作子网学习任务过重，并且，此结构所需学习样本数量多，结构复杂，因 此其学习速度和网络的泛化能力也必然受到一定程度的限制。另外，结构要求每个工 作子网配备监督子网，每个监督子网的目的是划分子项任务，使得所服务的工作子网 能够处理，监督子网也在一定程度上增加了整个结构的复杂性。 图l - 4 层次多子网级联神经网络 f 堙1 4m u l d - l e v e ls u b n e t s c 嬲c a d em l 锨ln e t 、o r k 控制与决策【1 3 】中提出基于分布式多子网神经网络的多组分混合气体识别的应 用。基于分布式多子网神经网络方法使得子项任务的复杂性都是基本均匀分配，并提 供给各子网所擅长处理的子项任务之间明显的界限，完成由总网对各工作子网任务的 分解和分配。另外，网络的结构比较简单，充分利用分解学习，分而治之的思想【1 4 】【1 5 】， 学习速度和泛化能力较单一网络好，并且通过增加子网数还可以进一步降低各个子网 的学习样本数。但是，分布式多子网神经网络子网的数量，以及各子网所要处理的子 4 第一章绪论 项任务，都是根据实际问题的复杂性，人为制定，即利用人为因素专家经验地对复杂 任务进行合理地划分和分配。 ( 2 ) 基于误差反传算法的串并神经网络 针对实际污水处理过程的多变量和多非线性子系统的串级特点，周志华等【1 6 】提出 了基于处理过程机理的串行神经网络建模方法，利用串联达到一定的物理意义，并得 到了实际工程应用的验证。 在计算机工程和应用中，基于串并混合神经网络的汽车胎号识别方法【1 7 】进一步 应用了串并组合神经网络。在实际应用中，串并混合神经网络解决了单个种类神经 网络存在的两类缺陷：第一类缺陷主要是任务分解过程中样本分类过程导致网络结构 复杂，并且单级网络学习时间较长，各个参数无法进行迅速有效的调整；第二类缺陷 主要针对对于大规模数据问题，拓展其大规模数据处理承载量； 串并混合神经网络为了缩短网络学习训练的时间，将整体网络划分成多个子网 络，并对各个子网先学习再组装，其中学习的过程采用并行处理的方法，此方法有效 减少训练时间，降低并行计算的成本，并且具各良好的泛化能力。 对于样本处理方面，每个子神经网络采用不同的样本子集进行训练。具体方法是 在训练样本集中抽取特征样本子集合，并作为不同分类器的特征量进行输入，从而生 成不同个体网络的神经网络分类器。当所有个体神经网络的训练结束时，通过组合方 式，将所有神经网络的结果进行处理，来提高模型的精度和鲁棒性。与传统的串行方 法不同，无需先分类后细分，而是通过将不同输入特征向量分配不同子网，进行多级 分类，保证系统的可靠性。 图1 - 5 串并多级神经网络 f i g 1 5s 耐懿觚dm u l t is t a g en 即m ln e t w o 血 2 0 0 1 年，凌卫新提出的并行协作模块化神经网络的体系结构1 8 】也针对实现复杂 任务的自动分解判断和模块训练，提高了网络训练速度，改善网络性能，并且，高度 并行性，更好地达到了控制系统的实时性和鲁棒性等要求。2 0 0 8 年，串并型神经网络 算法在武汉理工大学硕士论文中得到充分地分析和理论推导验证，如图1 5 所示。 并且在b 超图像显示中得到指导性的实际应用。 5 北京化工大学硕士学位论文 在本校2 0 0 6 年北京化工大学自然学报中，曹柳林【2 0 】也利用串并联神经网络建立 化学反应器模型。此方法分别使用了串联，并联并且由反馈，递归等结构结合的b 样 条权神经网络，从而进行混合神经网络建模【2 1 1 。串并联神经网络方法可以降低单个 网络的训练难度，也可将非线性系统控制策略的求解分解，从而转换为线性系统的求 解方式。其改善使用单一神经网络建模精度不高和训练时间长等缺陷，也为非线性系 统控制策略的求解提供方法。 ( 3 ) 国外结构化神经网络研究模型 外文文献中，有关结构化神经网络的模型也很多，大体分为三类，功能神经网络， 层次神经网络，递阶神经网络。1 9 8 5 年c o 删1 g w 首先提出基于误差反传神经网络 结构扩展模型，并且利用神经网络得到图像压缩；1 9 9 6 年，加锄n a i n p h o l 再次确定 了递阶神经网络的模型，并且用人工合成和现实图像的例子都充分证明了递阶神经网 络的可行性和优越性。它在图像压缩中，不仅仅提高了图像压缩的压缩比率，而且保 证了整个网络的鲁棒性，并且增强了泛化能力和增加了数据恢复的功能；2 0 0 3 年， a dt e l lb e r g 提出的功能化和递阶神经网络的构想，结合节点融合和分解子网的特点， 并且利用不同的传递函数，实现了结构化神经网络的性能优化。网络结构情况如图1 6 所示。 图l _ 6 功能和递阶神经网络 f i g 1 6m b d u l 盯锄dh i 盯鲫c h i c a ln e l l m ln e t w o r k 通过文献查阅的过程，可以得出，神经网络结构化研究类型多样，应用广泛，可 以针对具体问题特定环境下显示其优越性。但在众多研究之中，正由于对象具体化的 特点，所以一般采用了专家经验去构造网络结构【2 2 。2 3 1 。本课题由此出发，进行深入的 结构和性能的研究，以消弱科研中的主观性和经验值的影响。 1 3 课题研究内容 结合现实中的具体情况，例如数据实时性、用户可理解性以及大量数据并发处理 的要求，主要研究神经网络的结构化扩展网络，目前为止，满足现实要求且满足训练 和泛化能力，达到部分性能有所提高的网络的结构设计仍然是研究的重点。 6 第一章绪论 ( 1 ) 基于具体应用对象的输入神经网络子网划分的研究。 对于结构化神经网络，尤其是递阶神经网络等将输入首先划分成不同子网的神经 网络，找出最佳子网划分方法是提高整个网络性能的关键。在递阶或者扩展递阶上， 找合适的对象，预想目标如下： 第一类是人工合成数据，其中注意数据之间的要添加相关度，根据合成数据公式 的子项也作为不同的子网的输入； 第二类是串连化工反应的数据，譬如高浓度聚乙烯过程预测数据，虽然串连数据 在递阶神经网络中的意义不是很大，因为子网是相互影响的，即输入数据间难以寻找 合适的判断点，可是由于现实世界，大多应用的输入数据都是相关联的，所以，这类 相关联的数据依然具有研究价值，本课题继续延伸相关性的研究，尤其注意不同相关 性算法的对比，皮尔逊系数相关度也只是其中一个解决方法，优势是研究两个数值型 变量的关系及相关影响。另外，在今后研究中，可能在预处理中将数据类型扩展，由 数值型，扩展到字符型或者分类型数据等等，使得网络具有通用性。 第三类是基于并联反应器的数据，这正好体现了递阶神经网络应用特点，子网无 相互链接，无影响，而都最终汇总到下一反应阶段。 一 第四类是过程中时序数据类的应用。课题将延伸到时间数据挖掘。 第五类是结合分类数据进行可视化分析，如同1 7 所示。 图l - 7 可视化数据分类 f i g 1 7 s u a l i 五0 no fd a _ t ac l 嬲s i f i c a t i 蚰 ( 2 ) 神经网络结构的研究 神经网络结构的确定仍存在很多可以研究的地方，例如目前的多种结构构造，递 7 北京化工大学硕士学位论文 阶，树形，层次结构等等，通过比较和应用，对具体问题解决方案做出决策，帮助用 户进行网络构造选择，寻找最合适的网络结构。另外，除了输入部分的研究，网络隐 含层之间的权值大小，方向的限定以及传递函数的变化都直接造成神经网络结构变 化，影响整体网络的性能。本课题旨在是通过根据具体问题建立相应的结构化神经网 络，进行具体问题的解决和网络改善，进一步提高网络性能和价值体现。 ( 3 ) 实验软件平台开发的研究 在进行理论研究的同时，对于软件开发平台也是必不可少的。通过对输入子网划 分，神经网络结构的确定等算法的确定，以及对于具体用户群的具体要求，设计和开 发软件平台，研究满足不同用户的需求的最佳方案，进行实施。通过软件工程的项目 管理，科学严谨地进行软件的开发，如图1 8 所示软件开发平台。 图1 8n e u r o s o l u t i o n 平台 f i g 1 - 8n e u r 0 s o h l t i o np l 卸t 矗) m ( 4 ) 平台算法实际应用的研究 依据具体的项目，根据数据和用户需求，进行平台的实际应用。通过实际数据和 具体需求，不断修正和完善平台，达到提高建模预测等效果，同时，通过实际情况的 真实性验证本课题的有效性和必要性。 1 4 论文组织结构 全文共分五章，具体安排如下： 第一章绪论 8 第一章绪论 首先介绍了课题的研究背景神经网络的概念，其次分析了神经网络结构化国内外 的研究现状，最后提出了课题主要的研究内容以及本论文的组织结构。 第二章数据空间属性分析及处理 本章主要介绍数据空间属性分析及处理方法。首先介绍了基于数据空间属性的两 种关联方式，其次介绍了数据空间属性划分的方法，其中皮尔逊相关性方法是解决空 间属性划分的重要途径之一。 第三章结构化神经网络模型设计 本章主要介绍递阶神经网络模型设计。借鉴前入的研究成果，提出了两种基于数 据空间属性划分的结构化递阶神经网络结构，即树形递阶神经网络和自联想递阶神经 网络，并对前面章节提出的基于数据空间属性分析的结构化神经网络模型进行实验验 证和比较。通过人工拟合的数据，u c i 国际标准数据集以及实际石化企业中苯二甲酸 ( p t a ) 溶剂脱水塔装置的生产数据，分别进行实验和结果分析。 第四章实验平台实现及应用 本章主要介绍实验平台的实现和在化工领域的应用。其中，包含实验平台的整体 架构设计，并详细介绍实验平台的功能模块及各部分的具体应用。一 第五章总结与展望 本章主要对当前所完成的工作进行分析和总结，并且展望了未来人工神经网络结 构化的发展方向和可继续深入的工作内容。 9 北京化工大学硕士学位论文 l o 第二章数据空间属性分析及处理 第二章数据空间属性分析及处理 2 1 数据空间属性分析概述 研究数据属性划分是改进递阶神经网络结构设计的关键，因此，本文提出无需专 家经验支持，通过分析数据属性自动进行任务纵向分解【冽，建立局部子网，最终构成 递阶神经网络进行预测分类等活动的基于数据属性划分组合的递阶神经网络方法。 数据属性空间主主要包含两个部分： 1 需求定义为输入类型的数据属性( i n p u t sa t t 曲u t 鼯i a ) 。 2 需求定义为输出类型的数据属性( o u 蚋j t s o a ) 。 接下来简单介绍一下数据属性划分组合的定义和定理。 2 1 1 数据属性划分组合定义和定理 定义1 ：数据属性划分组合( d a t aa t 仃i b u t e sd e c 0 i n p o s i t i o n - d a d ) 是将一组数据 属性向量进行划分组合。在一个数据集中，有，1 个数据样本，每一个样本都是由k 个 属性特征组成，向量铲何l ，尼，血) ，代表一个样本，其中净1 ，2 ，甩，数据集 通过转换，可生成代表属性向量皆( 町l ，即，跏) ，其中_ ，= 1 ，2 ，k ，向量集合f 等于于s 的转置，属性集合空间划分组合的目标是通过对，即属性向量集合分析， 将属性特征进行聚类组合。 卜s - 蠢r 降一 | i 二：二j = l 五：五j 以 定理1 ：按照属性特征聚类组合划分子网，相似类型的输入属性特征构成的局部 网络代表一定的物理意义，同时帮助递阶神经网络向着正确的方向进行学习。 2 1 2 数据属性划分组合的应用 现实数据存在大量的数据冗余以及不规范性，数据预处理是进行数据建模分析的 首要部分。 数据属性划分组合的优势： ( 1 ) 解释性( e x p l 锄a t o 劝： 相对于传统神经网络的“黑盒性( b l a c kb o x ) ”，数据属性划分组合d a d 将具有相 同性质，关联性较大的输入属性特征向量聚集，给予其一定的物理意义，如上述定理 1 所示，相似类型的输入特征组合成的局部网络，同时在网络结构显示于用户，具有 北京化工大学硕士学位论文 解释性，从某种程度上减少对专家知识和先验知识的依赖。 ( 2 ) 伸缩性( f 1 e x i b i l i t y ) ： 通过任务分解( t a s k d e c o r n p o s i t i o n ) ，子网聚合，数据属性划分神经网络可以处理 包含高维属性数据集合，同理。处理维数较低属性数据集可以通过单独一个子网的设 计而实现低维属性数据建模。 ( 3 ) 高效性( e m c i 饥c y ) ： 所谓高效性是指高维数据属性通过数据属性划分组合d a d 进行数据归约，数据 重组从而加快神经网络向着正确的方向进行学习。 大多数聚类算法均是针对低维数据对象，而随着信息获取范围的扩大和精确性， 尤其是图片信息，实时信息，文本信息等高维数据属性集合的处理【2 5 1 。 在数据归约处理中目前已存在的方法，如表2 1 所示： 表2 1 数据归约方法 1 a b k2 1m e l o d so fd a t a 托d u c t i o n 2 2 数据空间属性处理方法 不同于在所有特征中只选择重要特征组成集合的属性集合特征选择( f e a ：t l 】r e s u b s e ts e l e c t i o