（控制理论与控制工程专业论文）基于神经网络的水质软测量方法研究.pdf

摘要 摘要 随着近现代工业的迅猛发展，作为人类赖以生存的水资源遭到了极大的破坏， 如何控制水资源的进一步恶化，采取行之有效的污水处理方法已成为人类迫在眉 睫的头等大事。本文针对建立污水处理过程控制参数及水质参数的软测量模型进 行了研究，为进一步实现污水处理过程的自动控制和参数在线检测创造条件，主 要做了以下几个方面的工作： 1 研究分析了b p 神经网络，拟定所有参数因子为辅助变量，在此基础上，提 出了以l e v e n b e r g m a r q u a r d t 优化b p 神经网络的方法。 2 从粗糙集理论的基本概念和方法入手，提出一种基于粗糙集的b p 神经网络 模型，其充分利用粗糙集的数据处理分析能力，对水质数据进行预处理，约减影 响因素，简化网络输入变量，确定输入变量及个数；提炼学习样本质量。从而优 化了神经网络结构，改善了学习效率。 3 利用p s o 算法的优点，通过p s o 算法与b p 算法的结合，优化b p 神经网络， 实验证明该模型对水质具有更高的预测精度、更快的收敛速度和更好的泛化性能。 4 构造了一种r b f $ 申经网络，其采用改进的减聚类算法和动态聚类算法相结 合的算法进行训练。对水质仿真效果很好，具有较强非线性处理能力和逼近能力， 同时具有学习时间短，网络运算速度快，性能稳定等优点。 关键词：软测量技术；神经网络；水质 广东工业大学硕士学位论文 a b s tr a c t w i t ht h er e c e n tr a p i dd e v e l o p m e n to fm o d e r ni n d u s t r y ，a sah u m a nl i f eh a sb e e n ag r e a td e a lo fw a t e rd a m a g e ，h o wt oc o n t r o lt h ef u r t h e rd e t e r i o r a t i o no fw a t e r r e s o u r c e sa n da d o p te f f e c t i v em e t h o d so fs e w a g et r e a t m e n th a sb e c o m ea ni m m i n e n t p r i o r i t y i nt h i sp a p e r ，t h ep r o c e s so ft h ee s t a b l i s h m e n to fs e w a g et r e a t m e n ta n dw a t e r q u a l i t yc o n t r o lp a r a m e t e r so ft h es o f t - s e n s o rm o d e lp a r a m e t e r sw e r es t u d i e di no r d e r t of u r t h e rt h er e a l i z a t i o no fa u t o m a t i cc o n t r o lo ft h es e w a g et r e a t m e n tp r o c e s sa n d p a r a m e t e r st oc r e a t ec o n d i t i o n sf o ro n l i n et e s t i n g ，m a i n l yd o n eo nt h ef o l l o w i n g a s p e c t s ： 1 r e s e a r c ha n d a n a l y s i so ft h eb pn e u r a ln e t w o r k ，a l lt h ep a r a m e t e r sf a c t o rf o r t h e d e v e l o p m e n to fa u x i l i a r yv a r i a b l e s ，i nt h i sb a s e do n al e v e n b e r g m a r q u a r d t o p t i m i z a t i o nm e t h o do fb pn e u r a ln e t w o r k 2 f r o mt h er o u g hs e tt h e o r yt h eb a s i cc o n c e p t sa n dm e t h o d ss t a r tw i t har o u g h s e tb a s e do nt h eb pn e u r a ln e t w o r km o d e l ，w h i c ht a k ef u l la d v a n t a g eo fr o u g hs e t a n a l y s i so ft h ed a t a - p r o c e s s i n gc a p a b i l i t i e s ，d a t ap r e p r o c e s s i n go fw a t e rq u a l i t y ， r e d u c et h ei m p a c to fs o m ef a c t o r s ，s i m p l i f yn e t w o r ki n p u tv a r i a b l e st od e t e r m i n et h e n u m b e ro fi n p u tv a r i a b l e sa n d ；r e f i n i n gt h eq u a l i t yo fl e a r n i n gs a m p l e s t oo p t i m i z e t h es t r u c t u r eo ft h en e u r a ln e t w o r kt oi m p r o v et h el e a r n i n ge f f i c i e n c y 3 t h eu s eo ft h ea d v a n t a g e so fp s oa l g o r i t h m ，t h r o u g ht h ep s oa l g o r i t h ma n d b pa l g o r i t h mw i t hb pn e u r a ln e t w o r ko p t i m i z a t i o n ，e x p e r i m e n t a lp r o o fo ft h ew a t e r q u a l i t yo ft h em o d e lh a sah i g h e rp r e d i c t i o na c c u r a c y , f a s t e rc o n v e r g e n c es p e e da n d b e t t e rg e n e r a l i z a t i o np e r f o r m a n c e 4 c o n s t r u c tar b fn e u r a ln e t w o r k ，w h i c hi m p r o v e db y u s i n gc l u s t e r i n g a l g o r i t h ma n dt h ec o m b i n a t i o no fd y n a m i cc l u s t e r i n ga l g o r i t h mf o r t r a i n i n gt h e a l g o r i t h m s i m u l a t i o nr e s u l t so fw a t e rq u a l i t yv e r yg o o d ，w i t hs t r o n gn o n l i n e a r a p p r o x i m a t i o na b i l i t ya n dt h ea b i l i t yt od e a lw i t ha tt h es a m et i m eas h o r tt i m et o l e a r n ，n e t w o r kc o m p u t i n gs p e e d ，t h ea d v a n t a g e so fs t a b l ep e r f o r m a n c e i i a b s t r a c t k e yw o r d s ：s o f t - s e n s i n gt e c h n i q u e ；n e u r a ln e t w o r k ；w a t e rq u a l i t y i i i 独创性声明 独创性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过的成果，与我一同工作的同志对本研究所做的贡献均已 经在论文中做了明确的声明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师指导下取得的，论文 成果归广东工业大学所有。 申请学位论文与资料有不实之处，本人承担一切相关责任，特此声明。 6 5 指导老师签字：夕兹哆。 论文作者签字：朦埒彳f ； 妒7 年夕月彳日 第一章绪论 1 1 研究背景及意义 第一章绪论 随着经济发展、人口增长、城市化水平和人们物质文化生活水平的提高，一 方面，世界各地对水的需求日益增长，供水形势日益严峻：另一方面，工业废水和 生活污水排放量急剧增加，大量的未经处理的工业废水和城市污水直接排入水体， 造成水源水特别是地表水污染，水体污染又加剧了水资源的供求矛盾。以我国水 体污染为例，目前我国年均排放废水量为6 0 0 亿立方米，其中5 0 来自工业废水， 其处理率低于7 0 ，达标率仅为5 0 ：5 0 来自城市废水，其处理率仅为1 6 5 2 ， 8 0 以上的城市污水直接排入受纳水体。水资源短缺和水体污染严重已成为制约 我国经济和社会可持续发展的主要因素之一，而水质的测量无论是城市污水处理 还是工业废水处理，由于其进水水质和水量时刻在变化，处于非稳定状态下运行， 这必然引起其他参数和出水质量的不断变化，出水水质不易在线实时测量，废水 处理成本较高，至今仍没能实现实时控制和最优控制。因此，解决这些指标的测 量问题，具有关键性意义。 软测量技术就是为了解决这一问题应运而生的。目前软测量技术己经是现代 流程工业和过程控制领域非常关键和前沿的技术，成为控制领域的一个研究热点。 软测量技术通过可以测量的过程变量和其他一些参数，在线估计出那些无法直接 测量的参数和变量，从而为过程控制、质量控制、过程管理与决策等提供支持， 为生产过程的综合自动化奠定了基础。 软测量模型是软测量技术的核心。人工神经网络模型由于具有可以任意逼近 非线性函数，不依赖于系统的先验知识，运算速度快，容错性强等优点，被广泛 地应用于软测量建模。基于人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k sa n n ) 的方法 无疑是目前软测量研究中最活跃的领域，正是由于神经网络强大的非线性映射能 力、不依赖于系统的先验知识的学习能力、可以实现在线控制等特点，神经网络 能广泛应用于软测量。多层前向网络因为己被证明具有以任意精度进行复杂非线 性函数拟合的能力，因而应用得最多。 本论文研究的就是神经网络建模方法，文章对其网络结构、学习方法进行改 广东r t 业大学硕士学位论文 进，目的是以较好的性能应用到工业实际中去。 1 2 国内外研究现状 近年来迅猛发展的神经网络因具有联想记忆、自学习、高度容错、快速处理 以及逼近高度复杂的非线性系统的特点，越来越受到国内外污水处理专家的重视。 由于其辨识模型易于实现，适合于非线性、时变的水力过程建模，在污水处理自 动控制中取得了许多具有推广应用价值的成果。可以说基于神经网络的软测量技 术已成为过程控制和过程检测领域的一大研究热点和主要的发展趋势之一。 1 2 1 国外水质软测量的研究现状 在国外，尤其是美国、英国、日本等一些国家自2 0 世纪7 0 、8 0 年代就开始污 水生化处理过程的建模和控制研究，同时发表了大量的研究报道m 】。 z h u f 5 】等人研究开发了一种基于时间延迟神经网络模型的在线废水水质预测 系统。他们首先提出采用多层感知器( m u l t i l a y e rp e r c e p t r o nm l p ) 网络模型对所 建立的时间延迟神经网络( t i m ed e l a yn e u r a ln e t w o r kt d n n ) 的输入节点进行筛 选，最后得到一个1 0 输入t d n n 模型，网络经过训练以后，其刊废水处理预测 精度均优于标准m l p 模型。 g o n t a r s k i 等人应用b p 算法神经网络预测一个工业废水处理厂的出水水质，试 验中共使用了7 个神经网络，每一个反应器用一个神经网络，最后一个神经网络用 来预测出总有机炭( t o t a lo r g a n i cc a r b o nt o c ) 的变化。试验结果表明，废水的流 量和进水p h 值是废水处理厂重要的控制参数。在活性污泥法污水处理厂中，污泥 膨胀是引起运行不正常的一个严重问题，它直接影响污水处理厂的处理效率，因 此许多学者从活性污泥法的运行机理上对污泥膨胀现象进行了广泛的研究，但至 今尚未获得克服污泥膨胀的经济而有效的方法。近年来，国外一些学者采用神经 网络技术建立模型来预测和防止污泥膨胀现象的发生【6 】1 7 1 。c a p o d a g l i 等人【e 】在分析 活性污泥系统输入和输出的基础上，应用污水处理厂的数据建立了神经网络模型， 随后用这种模型预测未来污泥膨胀的发生。为使所构建的模型能更好地反映活性 污泥法的实际状况，他们为输入参数选择了一个时间滞后输入方案。从模型预测 结果可以看出，这种模型的预测精度远远超过其他传统预测方法。 2 第一章绪论 b e l a n c h 等 7 j 在c a p o d a g l i 建立的模型基础上引入定性信息，这些定性信息主要 来源于显微镜对细菌和微型动物的观察和一些主观经验，并利用该模型对废水处 理厂污泥膨胀现象进行预测。试验结果显示，定性信息对处理厂污泥膨胀现象影 响很大，模型对污泥膨胀的预测同污水处理厂专家的评价判断吻合得很好。 t a y 等人【8 j 在一个神经模糊模型的基础上，为污水厌氧处理系统开发出一个快 速预测神经模糊模型来预测高速率厌氧系统对干扰的响应，此系统可以提前l 小时 对不同系统的干扰进行预测。因此，该系统在实时控制上有很大的应用潜力。 w e n 等人1 9 1 研究了一种曝气池神经网络模型。该曝气池神经网络模型的数据 由一个专家系统来提供，专家系统又从神经网络模型获取其所要的数据，从而对 整个污水处理厂实施智能控制。专家系统从各种传感器和检测器获得信号后检查 系统的状态，并推断出一个污泥回流比。然后，专家系统把这个值送给神经网络， 神经网络把从专家系统获得的当前状态值与通过网络预测得到的值进行比较。分 析该值是增加还是减小或者是维持不变。 1 2 2 国内水质软测量的研究现状 国内在这一领域的研究见诸报道的相对较少，是目前急需解决的重要问题， 也是对污水处理过程控制研究的热点。目前国内在污水处理过程中除了监测，报 警等常规管理以外，其他高级控制技术，如污水处理综合自动化控制、模糊控制 等还很少应用，为保证出水水质达标，将自动控制技术应用于污水处理中以提高 污水处理的自动化水平己成为污水处理中的关键点。因而提高污水处理自动化水 平和污水处理质量，是我国城市建设的重要问题。 要提高污水处理厂的处理效率和自动化水平，在线测量污水质量指标是问题 的着眼点也是难点【l o 】。污水处理为复杂的动态工程系统，难以用数学的模型来描 述，采用传统的控制策略难以获得满意的控制效果。 国内也有学者对污水处理过程建模和控制作了相应的研究一3 】。有些是避开 建模，采用模糊控制卅，】，控制量为中间变量，但在实际应用过程中控制精度不 高。文献【1 2 】针对北京某活性污泥工艺的污水厂，利用专家系统研究了一套模拟预 测软件，其模拟值能够比较好地反映该污水处理厂实际运行状况。 昆明理工大学冯丽辉等人【1 s 】应用多元线性回归软测量模型( m u l t i p l el i n e a r 广东工业大学硕士学位论文 r e g r e s s i o nm l r ) 对昆明市某污水厂的处理出水参数进行预测，其辅助变量为进水 生化需氧量( b i o c h e m i c a lo x y g e nd e m a n db o d ) 、总氮( t o t a ln i t r o g e nt n ) 、总磷 ( t o t a lp h o s p h o r u st p ) 、曝气池活性污泥混合液悬浮固体( m i x e dl i q u o rs u s p e n d e d s o l i d sm l s s ) 的浓度及进水流量( q u a n t i t yo f f l o wq ) ，主导变量为出水b o d 、t n 、 t p 。所获软测量模型结构简单，但其辅助变量多为进水参数，而进水参数的测量 同样存在滞后性，尤其是b o d ，且由于实验中采样时间过长且不均、辅助变量太 少及过程存在非线性等方面的原因，虽然取得了较好的拟合结果，但预测效果不 太理想。 陈健波等【1 9 】对基于序列间歇式活性污泥法( s e q u e n c i n gb a t c hr e a c t o rs b r ) i 艺的活性污泥呼吸速率( o x y g e nu p t a k er a t eo u r ) 在线软测量进行了研究，作者首 先推导出了呼吸速率关于饱和溶解氧，溶解氧，氧传递系数等变量的机理模型， 然后拟合出饱和溶解氧关于温度，氧传递系数关于曝气流量的曲线，从而得出呼 吸速率软测量模型。通过计算机仿真，得出呼吸速率的实时软测量结果。但是并 没有验证结果的准确性。 郭劲松等【：0 1 根据神经网络理论和方法，针对活性污泥间歇曝气系统的特点， 提出了活性污泥间歇曝气系统的反向传播算法( b a c k p r o p a g a t i o nb p ) 神经网络水 质模型。选择曝气时间、停曝时间、进水化学需氧量( c h e m i c a lo x y g e nd e m a n d c o d ) 等为输入变量，输出的是出水c o d 浓度。选择合适的隐含层和各层单元的数 目，从而建立了模型。通过对模型预测结果与实测值的比较表明：其具有精度高适 应性强，使用方便的特点。 冉维丽等【2 l i 提出基于主元分析( p r i n c i p a lc o m p o n e n ta n a l y s i sp c a ) 一粗集与遗 传b p 神经网络( g e n e t i ca l g o r i t h mb pg a b p ) 神经网络的污水水质b o d 软测量方 法。该方法由两部分组成：主元分析和g a b p 神经网络。利用p c a 技术，按累计方 差贡献率9 0 选取主元，将原来的12 维输入辅助变量降到了4 维。用g a b p 法采用 局部改进遗传算法优化神经网络权值，并采用自适应学习速率动量梯度下降算法 对神经网络进行训练，建立软测量模型。 1 3 论文的主要工作 本文较为全面深入地研究了基于神经网络的水质的软测量方法，主要内容为： 4 第一章绪论 第一章详细介绍了水质软测量的意义及国内外研究现状。 第二章介绍了b p 神经网络的基本知识和工作、设计原理，针对试验得到的数 据进行b p 网络设计及仿真。 第三章提出一种基于粗糙集( r o u g hs e tr s ) 的b p 软测量模型，利用粗糙集的 数据处理分析能力，对神经网络训练数据进行预处理。 第四章提出了基于粒子群算法( p a r t i c l es w a r mo p t i m i z a t i o np s o ) 的b p 软测量 模型，实验证明p s o b p 算法有效地解决常规b p 算法学习网络权值和阂值收敛速 度慢、易陷入局部极小等问题，具有较快的收敛速度和较高的预测精度。 第五章阐述了基于径向基算法( r a d i a lb a s i sf u n c t i o nr b f ) 网络的污水指标软 测量模型，并根据试验数据进行了r b f 网络设计及仿真，仿真结果表明r b f 网络 能更快更好地实现主导变量等的预测。 广东工业大学硕士学位论文 2 。1 引言 第二章基于b p 网络的水质软测量方法 为掌握基于神经网络的污水处理出水水质参数的预测，建立了一个水质指标 软测量模型。利用某污水处理厂的水质指标实测数据作为学习样本，选取了选择 流量( o ) 、进水浊度及悬浮物( s u s p e n d e ds u b s t a n c es s ) 、曝气池溶解氧浓度 ( d i s s o l v e do x y g e nd o ) 、曝气池时间( t i m et ) 、氢离子浓度指数( p o n d u sh y d r o g e n i i p h ) 、氧化还原电位( o x i d a t i o nr e d u t i o np o t e n t i a lo r p ) 、曝气池活性污泥混合液 悬浮固体( m l s s ) 及温度( k e l v i n ，k ) 以及出水s s 等10 个参数为辅助变量，出水化学 需氧量( c o d ) 为主导变量，运用l e v e n b e r g m a r g u a r d t 优化算法对学习样本进行优 化，建立了反向传播( b p ) 神经网络模型，并运用该模型对出水水质c o d 及b o d 进 行了预测。结果表明，b p 神经网络模型的预测精度较高，预测速度快，对c o d 及 c o d 能够得到较好的预测值，相对误差的绝对值较小。此b p 神经网络能够有效地 应用于水质指标的预测和水质趋势的预警预报系统中。 2 2b p 网络的基本原理 b p 算法1 2 2 是d r u m e l h a r t 等人提出的一种有导师的学习算法，采用反向传播算 法进行学习的多层神经网络，简称反向传播神经网络( b a c k p r o p a g a t i o nn e u r a l n e t w o r kb p n n ) 。 2 2 1b p 神经网络的基本结构 在多种多样的前馈神经网络结构中，b p 神经网络【2 3 】，即误差反向传播神经网 络，是能实现映射变换的前馈型网络中最常使用的一类网络，也是人们研究最多、 认知最清楚的一类网络。图2 1 是一个典型的三层b p o 经网络的拓扑结构。 6 第二章基于b p 网络的水质软测量方法 输出层 节点 隐含 层节 点 输入 层节 点 输出信号 粮八信号 图2 - lb p 网络拓扑结构图 f i g u r e2 1b pn e t w o r ka n a l y s i ss i t u ss t r u c t u r ed r a w i n g 从结构上讲，三层b p 神经网络是一个典型的前馈型层次网络，它被分为输入 层( i n p u tl a y e r ，i l ) ，隐层( h i d d e nl a y e r ，h l ) ，输出层( o u t p u tl a y e r ，o l ) 。同层节 点间无关联，异层神经元间前向连接。 b p 神经络的输入与输出关系是一个高度非线性映射关系，如果输入节点数为 n ，输出节点数为m ，则网络是从, 1 维欧氏空间到聊维欧氏空间的映射。 2 2 2b p 算法的具体过程 b p 算法【2 4 】分为学习和工作两个阶段。 1 b p 网络学习阶段 b p 算法在学习阶段由四个过程组成： ( 1 ) 正向传播过程：也即输入信号由输入层经中间层向输出层的“模式顺传播 过程。在这个过程中，输入信息从输入层向前传播到隐含层节点，经隐含层的激 励函数处理后向前传播，传至输出层输出节点计算网络的输出。每一层神经元的 状态只影响下一层神经元的状态。隐含层节点的作用激励函数通常选取s 型函数， 见式( 2 1 ) ： 1 以功2 雨翥丽 ( 2 _ )、7 1 + e x p ( 一肛) 、7 式中为调整激励函数形式的s i g r n o i d 参数。 ( 2 ) 反向传播过程，即当网络的输出层实际输出与期望输出存在偏差( 称为误 7 广东工业大学硕士学位论文 差信号) 时，误差沿原来的连接通道由输出层经中间层逐层修正层间连接权的“误 差反传播 过程。这样得不到期望的输出，则转入反向传播，将误差信号返回， 通过修改各层神经元之间的连接权值，使得误差信号最小。 ( 3 ) 记忆训练过程，由“模式顺传播”与“误差反传播”反复交替进行网络连 接权值的修正和网络输出的计算过程。 ( 4 ) 网络的学习收敛过程，即网络的全局误差趋向极小值过程。归结起来一句 话网络的学习阶段为“模式顺传播 一“误差反传播 、“记忆训练”一“学习收 敛”过程。 2 b p 网络工作阶段 神经元网络层间联接权值不变，由网络的输入得到相应的输出，实现某些难 以在线测量的参数的估计。 2 2 3b p 算法的学习规则 b p 学习算法，即误差反向学习算法，是一种典型的误差修正方法，其学习过 程由正向传播和反向传播两部分。当给定网络的一个输入模式时，它由输入层单 元传到隐层单元，经隐单元逐层处理后再送到输出层单元，由输出层单元产生一 个输出模式，这是一个逐层状态更新过程，每一层神经元只影响下一层神经元的 状态，称为正向传播。如果输出响应与期望输出模式有误差，不满足要求，那么 就转入误差反向传播，将误差值沿连接通路逐层传送并修正各层连接权值。对于 给定的一组样本，不断用一个个训练模式进行学习，重复正向传播和误差反向传 播过程，当各个训练模式都满足要求时，b p 网络训练完毕。 b p 网络学习是典型的有导师学习，通过一个使目标函数最小化过程完成输入 到输出的映射，通常，目标函数定义为所有输入模式上输出层单元希望输出与实 际输出的误差平方和。即算法的主要学习过程如下： 设输入层有，z 个神经元，输入矢量坝x = x ，x 2 ，x n ) ，隐层有1 1 1 个神经元，隐层 矢量 ( h = h i ，h 2 ，h 。) ，输出层设有k 个神经元，输出矢量y ( y = y l ，少：，y k ) 。如输 入层与隐层间的权为 ，阂值为日，隐层与输出层之间的权为p ，阈值为9 t 。 ( 1 ) 网络初始化 给所有连接权值与节点阈值赋初值，一般取小的随机数。若初始值选择的太 8 第二章基于b p 网络的水质软测量方法 大，会导致网络不可训练。 ( 2 ) 对每个输入样本做如下计算： ( a ) 前向计算 输出层及隐层节点的输出分别为： 弘= c o j t h j ( 2 2 ) h 卢狮 ( 2 3 ) o _ j 、 i = 1 设传递函数为s i g m o i d 函数。 对于训练集中的第只个样本，网络输入矢量为x = x ，x 2 ，x n ，实际输出为 y = y 1 ，y 2 ，y k ，希望的输出为t = t l ，t 2 ，t k ，定义误差函数e ： ， = 去m y 0 2 ( 2 4 ) 厶七；1 设样本总数为，则平方误差的均值为： 6 女= ( “一弦) 厂。( 溉)( 2 5 ) e a r 为平方误差的均值，学习的目的是使e a v 达到最小。 ( b ) 反向计算局部梯度6 对输出单元6 仁( t , - y o f 似) ( 2 6 ) 对隐层单元 占。：篓f ( 溉) ( 2 7 ) 似 ( c ) 修正权值 利用梯度最速下降法求误差函数的极小值，则气的更新量可由下式表示： f ：_ a e - r ( 2 8 )f = _( 2 8 ) c y k 其中r 为学习速率，其值大于零。 ( 3 ) 输入新的样本直到e a t , 达到预定要求。 2 2 4b p 算法存在的问题 b p 算法理论依据坚实，推导过程严谨，误差精度较高，通用性强。由于这些 9 广东工业大学硕士学位论文 优点，它至今仍是多层前向神经网络的最主要学习算法。但人们在使用中发现即 本身也存在许多不足之处。主要有如下两点： ( 1 ) 学习过程收敛速度缓慢 b p 算法收敛速度缓慢的直接原因在于固定的学习率：学习过程中存在的“平 台”现象：学习过程中样本、神经元的收敛速度不平衡。 ( 2 ) 易陷于局部极小 b p 算法，本质上是以误差的平方和为目标函数，用梯度法求其最小值的算法。 除非误差平方和函数是正定的，否则必然产生局部极小点。实际问题的求解空间 往往是极其复杂的多维曲面，存在着许多局部极小点，更使得这种陷于局部极小 的可能大大增加。 2 3b p 神经网络的改进 2 3 1 l e v e n b e r g m a r q u a r d t 优化方法 为了克服常规b p 算法的缺陷，本文采用l e v e n b e r g m a r q u a r d t 方法f 2 5 l 对其进行 改进。在m a t l a b 中l e v e n b e r g m a r q u a r d t 方法由函数t r a i n l m 实现。其格式为： n e t ，t r ，a c ，e i 】= t r a i n l m ( n e t ，p d ，t i ，a i ，q ，t s ，v v ，t v ) 其中，p d 为延迟输入；t i 为每层的目标矢量；a i 为初始输入条件；q 为批量输 入数据的个数；嬲为时间步数；y y 为验证矢量；丁矿为测试矢量。函数返回已训练 好的神经网络对象n e t 、训练记录t r 、最后一次仿真时各层的输出a c 和误差e i ，其 中，训练记录豫是由训练次数t r e p o c h 、训练性能t r p e r f 、验证性能t r 印g 巩 测试性能t r t p e r j t 阳自适应调整参数t r m u 组成。 2 3 2b p 神经网络推广能力的提高 推广能力( g e n e r a l i z a t i o n ) 【：s 】是衡量神经网络性能好坏的重要标志。一个“过 度训练 ( o v e r f i t i n g ) 的神经网络可能会对训练样本达到较高的匹配效果，但对于 一个新的输入样本矢量却可能会产生与目标矢量差别较大的输出，即神经网络不 具有或具有较差的推广能力。本文采用提前停止方法( e a r l ys t o p p i n g ) 。 “提前停止”方法的基本思想是：将样本数据划分为三个子集，即： 训练子集一用于计算梯度，更新网络权值和偏差。 1 0 第二章基于b p 网络的水质软测量方法 验证子集一用于在神经网络训练的同时监控网络的训练进程。在训练初始阶 段，验证子集形成的验证误差通常会随着网络训练误差的减小而减小，但是当网 络开始进入“过度训练”时，验证误差就会逐渐增大，当验证误差增大到一定程 度时，网络训练会提前停止，这时训练函数会返回验证误差取最小值时的网络对 象。 测试子集- 钡, t j 试集形成的测试误差在网络训练时未被使用，但它可以用来评价 网络训练结果和样本集划分的合理性。若测试误差与验证误差分别达到最小值时 的训练参数差别很大，或两者曲线的变化趋势差别较大，则说明样本集的划分不 是很合理，需要重新划分，该子集可选“提前停止 方法可以和任何一种b p 算法 结合起来使用。采用“提前停止 方法的t r a i n 函数，其调用格式为： 【n e t ，t r 】= t r a i n ( n e t ，p t r ，t r ， 】， 】，v a l ，t e s t ) ； 或( 当不提供测试集时) 【n e t ，t r 】= t r a i n ( n e t ，p t r ，tt r ，【】，【】，v a l ) ； 其中，p t r 和打分别代表训练子集的输入矢量和目标矢量：v a l 为验证子集，t e s t 为测试子集。 2 4b p 神经网络软测量的设计与仿真 本文以某污水处理厂的实测数据，数据见附录，建立网络模型。以某污水处 理厂实测的3 2 组数据( 见附录) 的前2 4 组用于网络训练，最后8 组用于模型仿真。 选择流量q 、进水浊度及s s 、曝气池d o 、t 、p h 、o r p 、m l s s 及k 以及出水s s 等1 0 个参数为辅助变量，出水c o d 为主导变量。 在进行b p 网络设计前，一般应从网络的层数、每层中的神经元个数、初始值 以及学习方法等方面来进行考虑。 1 网络层数的选择 ( 1 ) k a i m o g o r o v 定理在理论上证明：给定任一连续函数：f ：u ”一只”， f ( x ) = 】，。这里u 是闭单位区间 o ，1 】，月以精确地用一个三层前向网络实现，此网 络的第一层( 即输入层) 有玎个处理单元，中间层有2 n + 1 个处理单元，第三层( 即输 出层) 有m 个处理单元。该定理保证任一连续函数可由一个三层前向网络来实现， 但它没有提供任何构造这样一个网络的可行方法。下面给出的b p 定理可在b p 网络 广东工业大学硕士学位论文 中以任意精度实现任意的连续函数的逼近。 ( 2 ) b p 定理：给定任意 0 。和任意l 2 函数厂： o ，1 】”_ r ”，存在一个三层b p 网路，它可在任意s 平方误差精度内逼：近乒也即具有偏差和至少一个s 型隐含层加 上一个线性输出层的网络，能够逼近任何有理函数。增加层数主要可以更进一步 的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时 间。而误差精度的提高实际上也可以通过增加隐含层中的神经元数目来获得，其 训练效果也比增加层数更容易观察和调整，所以一般情况下，应优先考虑增加隐 含层中的神经元数。 综合以上两点，本章拟采用三层b p 神经网络。 2 隐含层的神经元个数 从理论的观点，k o l m o g o r o v 定理提出了精确近似的问题，定理指出：任何个 变量的连续函数可以用单变量的非线性、连续、渐增函数的线性组合来计算从网 络实现的观点，这个定理还指出：为了近似一个个变量的连续函数，可以精确地 用一个三层前向神经网络实现，此网络的第一层即输入层有个神经元，中间层 2 + 1 个神经元，第三层即输出层有m 个神经元。根据上述理论，采用一个n x 2 ( + 1 ) xm 结构的三层神经网络。其中：为输入特征量的个数，m 为输出的状态数。 即本文的b p 神经网络结构输入层有lo 个神经元，中间层有2 1 个神经元，输出层有1 个神经元。 3 权值的选取 由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛以 及训练时间的长短关系很大。如果初始值太大，使得加权后的输入落在激活函数 的饱和区，从而导致其导数俐非常小，而在计算权值修正公式中，因为万正比于 厂( x ) ，当厂( x ) o0 时，则有6 寸0 。使得_ 0 ，从而使得调节过程几乎停顿下来。 所以，一般总是希望经过初始加权后的每个神经元的输出值都接近于零，这样可 以保证每个神经元的权值都能够在它们的s 型激活函数变化最大之处进行调节。所 以，一般取初始权值在( 0 ，1 ) 之间的随机数。但w f a l l m a n 建议用( 一0 3 ，0 3 ) 之间的 随机数作为b p 神经网络的初始连接权值效果较好，能使学习处于良好的开始状 态。 4 学习速率 学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导 第二章基于b p 网络的水质软测量方法 致系统的不稳定，但小的学习速率将会导致训练较长收敛速度很慢，不过能保证 网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在般情况下， 倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0 0 1 0 8 之间。 5 期望误差的选取 在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适 的值，这个所谓的“合适 ，是相对于所需要的隐含层的节点数来确定，因为较 小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。 建立b p 神经网络结构见图2 - 2 。 p l i i l s s o 盱 出水s s d o 图2 - 2b p 神经网络软测量模型图 一 。 f i g u r e2 - 2b pn e u r a ln e t w o r ks o f ts u r v e ym o l d e dr e l i e fm a p 在图2 2 的基础上，结合相应的实验数据即可对b p 神经网络进行训练。本文 以实测的3 2 组数据的前2 4 组用于网络训练，最后8 组用于模型仿真。 初始化：建立一个b p 网络并为网络权值和阈值赋初始值。在本文中，建立一 个结构为4 9 3 的b p 网络，传递函数分别为t a n s i g 和l o g s i g ，训练函数为t r a i n l m 。调 用格式为： n e t = n e w f ( m i n m a x ( p ) ， 2 1 ，l 】， t a n s i g l o g s i g ，t r a i n l m ) 训练：设置训练参数： n e t t r a i n p a r a m s h o w = 5 0 两次显示之间的训练次数 n e t t r a i n p a r a m g o a l = le 3 网络目标性能 n e t t r a i n p a r a m e p o c h s = 1 0 0 0 训练次数 其余参数取默认值。调用t r a i n l m 算法训练b p 网络。 在网络训练过程中，只要满足下列六个条件之一，网络训练便会停止： 达到最大训练次数n e t t r a i n p a r a m e p o c h s 广东工业大学硕士学位论文 网络误差性能降低到目标值n e t t r a i n p a r a m g o a l 训练时间达到最大值n e t t r a i n p a r a m t i m e 性能函数梯度降低到最小梯度n e t t r a i n p a r a m m i ng r a d 调整参数m u 达到最大值n e t t r a i n p a r a m m um a x 连续验证失败次数达到最大值n e t t r a i n p a r l m m a xf a i l 仿真：对b p 神经网络进行仿真：a = s i m ( n e t ，p ) 仿真输出结果见图2 3 。 基于b p 的c o d 软溯量 输入样本点 图2 3 基于b p 神经网络仿真曲线和实测曲线图 f i g u r e2 3b a s e do nb pn e u r a ln e t w o r ks i m u l a t i o nc u r v ea n da c t u a ld i a g r a mo fc u r v e s 仿真结果与实测结果数据见表2 1 。 表2 - 1b p 神经网络c o d 实测结果与预测值对照表 t a b l e2 1b pn e u r a ln e t w o r kc o da c t u a lr e s u l ta n dp r e d i c t e dv a l u ec o m p a r a t i v et a b l e 样本号 2 52 62 7 2 82 9 3 03 13 2 实测值 1 3 0 0 0 01 3 0 0 0 01 3 0 0 0 01 4 0 0 0 01 6 0 0 0 01 3 0 0 0 01 1 0 0 0 01 4 0 0 0 0 输出值1 5 6 4 0 21 3 3 2 4 6 1 3 9 7 9 71 3 3 9 5 01 6 7 6 7 7 1 4 4 4 5 77 9 2 8 81 4 0 9 9 5 实验平均绝对百分比误差( m e a na b s o l u t ep e r c e n t a g ee r r o rm a p e ) 为1 0 6 1 ， 均方差( m e a ns i g n e de r r o rm s e ) 为2 5 6 5 ，训练步数为1 9 2 ，训练时间为2 7 1 4 s 。 在实际的水质处理过程中，b o d 的含量通常为c o d 的4 0 ，因此有c o d 的曲线即可推出b o d 的曲线。b o d 实测结果与预测结果见表2 2 。由以上分析可 见基于b p 人工神经网络水质软测量系统，能够有效的进行水质的实时估计。 1 4 第二章基于b p 网络的水质软测量方法 表2 2b p 神经网络b o d 实测结果与预测值对照表 t a b l e2 - 2b pn e u r a ln e t w o r kb o da c t u a lr e s u l ta n dp r e d i c t e dv a l u ec o m p a r a t i v et a b l e 样本号 2 52 6 2 72 82 93 03 13 2 实测值 5 2 5 2 5 25 66 45 24 4 5 6 输出值6 2 5 6 0 85 3 2 9 8 45 5 9 1 8 85 3 5 8 05 7 0 7 0 8 5 7 7 8 2 83 1 7 1 5 25 6