（工程热物理专业论文）人工智能技术在中储式制粉系统中的应用.pdf

_111，jj 肖蔚然同学的硕士学位论文针对中间储仓式制粉系统分别建立制粉单耗和煤粉细度 模型，然后采用混合遗传算法对制粉单耗模型进行寻优，以获得不同工况下制粉单耗最小 的运行参数，最后通过煤粉细度模型对优化工况进行煤粉细度预测，根据预测出的煤粉细 度是否在给定范围内来反馈控制制粉单耗的优化。该论文选题具有一定的理论意义和应用 价值。 该论文将磨煤机存煤量的声音频率作为表征信号，提出了一种新型的磨煤机存煤量 测量方式一基于频谱分析的磨煤机存煤量测量。论文设计了多段分频电路，并以此为核心 完成基于频谱分析的磨煤机存煤量测量仪的设计。磨煤机存煤量测量仪结构简单，对运行 环境没有严格要求，具有较高的抗干扰能力，可作为制粉系统优化控制与运行调整的重要 组成部分。通过对某电厂5 0 m w 机组现场热态试验，表明这种基于煤粉细度反馈控制的制 粉优化控制系统具有较高的可靠性和实用性，可以指导运行人员进行制粉系统的优化调 整，从而提高机组运行的安全性和经济性。 论文叙述清楚，层次分明，分析方法正确，数据可信，观点j 下确。论文反映作者具 有较扎实的基础知识和系统的专业知识，具备了独立从事科学研究的能力。论文已经达到 了硕士学位论文的要求，答辩委员会一致通过肖蔚然同学的论文答辩，建议授予工学硕士 学位。 论文答辩日期：爱忉2 年左月z _ 日一 答辩委员会委员共i 【人，到会鸯员j 人 表决票数：优秀( f ) 票；良好( 坳票：及格( ) 票；不及格() 票 表决结果( 打“ ) ：优秀() ；良好( 1 4 ：及格() ；不及格( ) 决议：同意授予硕士学位( 不同意授予硕士学位( ) 答辩 携斥壳。主席，主、，7 罄飞卅彦 委员 一t 9 会成 播以农艇圭 员签 名 一 人工智能技术在中储式制粉系统中的 作者姓名：肖蔚然 申请学位级别：工学硕士 研 论 学 答 应用研究 指导教师姓名、职称：刘定平副教授 学科专业名称：工程热物理 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 7 作劳懈嗍习彩月莎日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校 有权保存并向国家有关部门或机构送交论文的复印件和电子版，允许学位 论文被查阅( 除在保密期内的保密论文外) ；学校可以公布学位论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论 文。本人电子文档的内容和纸质论文的内容相一致。 本学位论文属于：、 | 噱：。 9 ，保密，在盈过年解密后适用本授权书。 口不保密。 学位论文全文电子版提交后： 口同意在校园网上发布，供校内师生和与学校有共享协议的单位浏览。 框内打“”) 、 岂皋 f 日期：印么吕 日期：z 帅7 石 摘要 随着国家电力体制改革的不断深入，电力市场运营机制的逐步实施，电厂已成为一 个独立的企业实体，作为电力市场的参与者，其若想在竞争中取胜就必须提高自己的竞 争力，通过降低发电成本是提高企业竞争力的有效手段之一。 钢球磨中储式制粉系统因其煤种适应性强、运行维护简单、可靠性高等特点，在我 国火力发电厂中有广泛应用。如果磨煤机不能始终保持在最经济状态下运行，就会造成 制粉单耗高，经济性差。由于中储式制粉系统的耗电量占全厂的厂用电量高达1 5 一2 0 ， 所以制粉系统既是电厂的耗电大户，也是潜在的节能大户。如何实现制粉系统的优化控 制以降低制粉单耗，对火力发电厂降低成本、提高企业竞争力具有重要的实际意义。 制粉系统的优化目标主要是制粉单耗和煤粉细度，本文利用非线性方法对中间储仓 式制粉系统分别建立制粉单耗和煤粉细度模型，然后采用混合遗传算法对制粉单耗模型 进行寻优，以获得不同工况下制粉单耗最小的运行参数，最后通过煤粉细度模型对优化 工况参数下所对应的煤粉细度进行预测，根据预测出的结果是否在给定范围内来反馈控 制制粉单耗实现运行优化。 磨煤机存煤量是钢球磨中储式制粉系统的重要参数，本文利用声音频率这种磨煤机 存煤量的优质表征信号，提出了一种新型的磨煤机存煤量测量方式一基于频谱分析的磨 煤机存煤量测量。本文设计了多段分频电路，并以此为核心完成基于频谱分析的磨煤机 存煤量测量仪的设计。磨煤机存煤量测量仪结构简单，对运行环境没有严格要求，具有 较高的抗干扰能力，可作为制粉系统优化控制与运行调整的重要组成部分。 通过对某电厂的5 0 m w 机组现场热态试验，表明这种基于煤粉细度反馈控制的制 粉优化控制系统具有较高的可靠性和实用性，在实际应用中可以指导运行人员进行制粉 系统的优化调整，从而提高机组运行的安全性和经济性。 关键词：中储式制粉系统；球磨机；优化控制；煤粉细度 p u l v e r i z i n gs y s t e mi s 舔m u c ha s15 - 2 0p e r c e n to ft h ee n t i r ep l a n tf a c t o r yc o n s u m p t i o n m i l l i n gs y s t e mi sn o to n l yam a j o rp o w e rc o n s u m p t i o no ft h ep l a n t ，a n dt h ee n e r g y s a v i n g p o t e n t i a li sb i g h o wt oa c h i e v eo p t i m a lc o n t r o ls y s t e mt or e d u c em i l l i n gu n i tc o n s u m p t i o no f t h e r m a lp o w e rp l a n t st or e d u c ec o s t s ，e n h a n c et h ec o m p e t i t i v e n e s so fe n t e r p r i s e si so fg r e a t p r a c t i c a ls i g n i f i c a n c e t h em a i ng o a lo fp u l v e r i z i n gs y s t e mo p t i m i z a t i o ni sm i l l i n gu n i tc o s ta n dc o a lf i n e n e s s t h i sa r t i c l ee s t a b l i s h e dm i l l i n gu n i tc o n s u m p t i o na n dc o a lf i n e n e s sm o d e lb y u s i n gn o n l i n e a r m e t h o df o rs t o r a g ep u l v e r i z i n gs y s t e mt h e ng e tt h eo p e r a t i n gp a r a m e t e r so fs m a l l e s tm i l l i n g u n i tc o n s u m p t i o ni nd i f f e r e n tc o n d i t i o n sb yu s i n gh y b r i dg e n e t i ca l g o r i t h m f i n a l l y ，c o a l f i n e n e s sm o d e lf o r e c a s t st h ec o a lf i n e n e s sb e l o n gt od i f f e r e n tc o n d i t i o n s w h e t h e rt h ef o r e c a s t r e s u l ti si nag i v e na f e ac a nf e e d b a c kc o n t r o lm i l l i n gu n i tc o n s u m p t i o nt oa c h i e v eo p t i m a l o p e r a t i o n b a s e do n a5 0m w p o w e rp l a n tt h e r m a lu n i t so n s i t et e s t i n g 。t h er e s u l ts h o w st h a tt h e o p t i m a lc o n t r o ls y s t e mb a s e do nt h ef e e d b a c ko fc o a lf i n e n e s sh a s l l i g hr c l 4 a b i l i t ya n dp r a c t i c a l i t y i nt h ep r a c t i c a la p p l i c a t i o n ，t h i sc a ng u i d et h e o p e r a t i o n sp e r s o n n e lt oo p t i m i z em i l l i n gs y s t e m ，a n dt h e r e b ye n h a n c i n gt h es a f e t ya n d e c o n o m y k e y w o r d s ：s t o r a g ep u l v e r i z i n gs y s t e m ；b a l lm i l l ；o p t i m i z a t i o nc o n t r o l ；c o a lf i n e n e s s 2 目录 摘罩要i a b s t r a c t i i 第一章绪论5 1 1 课题研究背景及意义5 1 2 制粉系统运行优化研究动态6 1 3 研究内容j 7 1 3 1 制粉系统的非线性模型。8 1 3 2 煤粉细度的软测量8 1 3 3 基于频谱分析的磨煤机存煤量测量。9 1 3 4 基于混合遗传算法的制粉系统优化控制技术。9 第二章非线性系统的建模方法1 0 2 1b p 神经网络l o 2 1 1b p 网络结构1 0 2 1 2b p 网络的训练误差函数1 2 2 1 3 改进的b p 网络学习算法1 3 2 1 4 多层前馈网络的主要能力1 4 2 2 最小二乘支持向量机1 4 2 2 1 支持向量机的基本思想1 5 2 2 2 最d x - 乘支持向量机( l s s v m ) 1 6 第三章最优化理论与方法1 9 3 1 遗传算法( g a ) 19 3 2 复合形法2 2 3 3 混合遗传算法( h g a ) 2 2 第四章煤粉细度的软测量2 5 4 1 软测量的建模思想2 5 4 2 煤粉细度的软测量模型2 5 4 3 煤粉细度软测量技术的应用2 6 4 3 2 基于b p 神经网络的软测量技术2 9 4 3 - 3 基于最小二乘支持向量机的软测量技术3 0 4 4 本章小结3t 第五章球磨机存煤量的测量3 2 s 1 球磨枫存煤量的i 贝| 量技术综述3 2 5 1 1 基于音频信号分析的存煤量测量技术3 2 5 1 2 基于进出口差压信号分析的存煤量测量技术3 2 5 1 3 基于磨煤机电流大小的存煤量测量技术3 3 5 1 4 基于轴振频谱分析的存煤量测量技术3 3 5 2 球磨机存煤量的分频测量技术3 4 5 2 1 磨煤机存煤量测量仪的结构3 5 5 2 1 分频电路的设计3 6 5 2 2 分频点的计算3 6 5 2 3 电磁屏蔽的结构3 6 5 3 球磨机存煤量测量的仿真计算3 7 5 3 1 仿真原理3 7 5 3 2 仿真结果3 8 5 4 本章小结3 9 第六章制粉系统优化控制研究。4 0 6 1 制粉单耗、煤粉细度影响因素的分析4 l 6 2 现场试验4 1 6 3 混合遗传算法对帛l j 粉系统模型的寻优研究4 5 6 4 基于l s s v m 和h g a 的常f j 粉系统优化控制4 6 6 5 基于b p 砧叮n 和h g a 的制粉系统优化控制4 8 6 6 本章小结5 0 第七章结论5 2 7 1 主要结论5 2 7 2 论文的创新之处5 2 7 2 后续工作展望5 3 参考文献5 4 攻读学位期间发表的论文。5 8 在学期间参与的科研项目5 9 至l 【谢6 0 4 第一章绪论 1 1 课题研究背景及意义 第一章绪论 随着国家电力体制改革的不断深入，电力市场运营机制的逐步实施，电厂已成为一 个独立的企业实体，作为电力市场的参与者和竞争者，其若想在竞争中取胜就必须提高 自己的竞争力，通过降低发电成本是提高企业竞争力的有效手段n 2 1 。 钢球磨中储式制粉系统因其煤种适应性强、运行维护简单、可靠性高等特点，在我 国火力发电厂中有广泛应用，但如果其不能始终保持在最经济状态运行，就会造成制粉 单耗高，经济性差。中储式制粉系统的耗电量占达厂用电的1 5 一2 0 h 。7 1 ，制粉系统是电 厂的耗电大户，也是潜在的节能大户，如何实现制粉系统的优化控制以降低制粉单耗， 对火力发电厂提高企业竞争力具有重要的实际意义。 球磨机作为一种通用的研磨设备己经有1 6 0 多年的历史，自2 0 年代美国密尔沃基 电厂第一次在锅炉内采用煤粉燃烧技术以来，球磨机一直作为主要机型在世界各地得到 广泛的应用，磨煤机成为火力发电厂制粉系统的关键设备嘲。钢球磨中储式制粉系统最 突出的优点是煤种适应广，运行安全可靠，维护方便，对所磨制煤种的可磨性指数和磨 损指数几乎没有任何限制。它可以磨制包括褐煤在内的所有煤种，特别适合磨制无烟煤 及磨损指数k e 3 5 的煤种。基于燃煤煤种复杂、煤质恶劣的原因，到目前为止，我国 火电机组的锅炉，特别是7 0 年代以前，大都选用具有煤种适应性广、结构简单、维护 方便等优点的球磨机来研磨煤粉。钢球磨煤机中储式制粉系统是燃煤电站锅炉的重要辅 机，它的运行情况直接影响到整个发电机组的安全性和经济性。 从火力发电厂制粉系统的实际运行看，中储式制粉系统存在诸多缺点，主要表现在 以下几个方面旷1 3 1 ： 制粉管道长、部件多、占地面积大、占用空间大； 耗电量大，制粉单耗高。火力发电厂厂用电占电厂总发电量的1 0 左右，而钢球 磨制粉系统约占厂用电的1 5 - 2 0 左右，比中、高速磨高出7 0 以上。 自动化控制品质差。中储式制粉系统是一个多输入多输出系统( m i m o ) ，各输入量 和输出量之间耦合严重，具有非线性、强耦合、时变性等特点，正是由于这个原因，中 储式制粉系统自动化程度不高，控制品质差。虽然许多火电厂都配有自动控制系统，但 5 华南理工大学硕士学位论文 球磨枫运行过程中会出现跑、冒、堵、漏等阿题，错| 粉系统运行的好坏几乎全部依赖于 运行人员的经验和操作的好坏。 钢球磨煤机中储式制粉系统运行的好坏几乎全部依赖于运行人员操作的好坏，单位 耗电量一般为3 6 3 7 k w h t ，有的甚至超过4 0k w h t ，目前国内大部分制粉系统都是人工 操作运行，运行的经济性几乎是取决于运行人员的专业理论水平和实际调整能力及工作 责任心等，这就造成了各厂的制粉电耗水平参差不齐，即使是同一电厂运行管理好同管 理不当时相比，也相差5 1 0 k w m n 4 1 。 制粉系统的经济运行是发电厂实现节能降耗的重要途，而多变量、强耦合、非线性 等特点，是钢球磨煤机中储式制粉系统实现自动控制的主要困难，本文通过可较好描述 此种特点的非线性对其进行建模，用全局搜索能力较强的遗传算法和局部搜索能力较好 的复合形法结合的混合遗传算法对模型进行寻优，以得到制粉系统经济运行的相关指 标，从而降低制粉系统能耗，提高电厂的效益。 1 2 靠i j 粉系统运行优化研究动态 从国内外的情况看，欧美等一些发达国家火力发电所占比例很小，而且制粉系统大 多是中速磨和直吹式制粉系统，对主要应用中间仓储式制粉系统的研究比较少；我国和 俄罗斯是使用中间仓储式钢球磨较多的国家。国外电力工程技术界除了2 0 世纪7 0 ，8 0 年代出现一些研究成果外，近期的相关研究报导不多。但是在水泥、矿山、化工等领域， 因生产工艺的限制，无法用中速磨代替钢球磨，仍然用钢球磨煤机制取细粉。因此，国 内外进行了大量相关的研究，但研究的重点多集中于钢球磨，对钢球磨的研究多于对制 粉系统的研究n 5 1 7 1 。 在我国二十世纪六十年代末，大都采用模拟控制仪表进行磨煤机的单回路控制；二 十世纪七十年代初期，我国开始设计以三输入三输出的控制系统，即以给煤量控制磨煤 机进出口压差，以热风量控错| 磨煤机出口温度，以再循环风量控制磨煤机入口负压：进 入八十年代和九十年代，随着先进控制理论和检测技术以及计算机技术的飞速发展，在 消化引进国外钢球磨制粉系统控制技术的同时，基于多变量控制理论、解耦控制、模糊 控带i j 理论、预测控制等的一些研究成果己经应用到火电厂制粉系统的热工控制中n 8 伽1 。 近年来，对于寻求中储式制粉系统的优化运行方式，我国的电力工作者对中储式制 粉系统进行了大量的研究，取得了很多的成果，主要集中在对制粉设备结构调整、设计 6 际推广中运用面比较窄w 。 一部分是采用先进的数学方法在理论上对制粉系统运行进行建模、寻优，未考虑实 际生产中各种状况，距实际运用也有较大距离乜5 | 。 还有一部分研究结合生产实际状况，以整体的方式对制粉系统进行研究，采用人工 智能方式对制粉系统建立模型，优化求解，则是解决制粉系统优化问题的最佳方案，但 由于难度较大，相关研究成果较少，不过，这将是制粉系统优化控制的发展方向汹1 。 1 3 研究内容 制粉系统的优化目标主要是制粉单耗和煤粉细度，本文利用最小二乘支持向量机对 中间储仓式制粉系统分别建立制粉单耗和煤粉细度模型，然后采用混合遗传算法对制粉 单耗模型进行寻优，以获得不同工况下制粉单耗最小的运行参数，最后通过煤粉细度模 型对优化工况进行煤粉细度预测，根据预测出的煤粉细度是否在给定范围内来反馈控制 制粉单耗的优化。 本文的主要研究内容包括描述制粉系统的非线性模型、预测煤粉细度的煤粉细度 软测量模型、基于频谱分析的球磨机存煤量测量研究、基于混合遗传算法的制粉系统寻 优模型。 7 华南理工大学硕士学位论文 图1 1 优化控制模型流程图 f i g 1 1t h ef l o wc h a r to fo p t i m i z a t i o n 1 3 1 制粉系统的非线性模型 制粉系统是一个复杂的多因素作用的结果，它的影响因素很多，它们具有强耦合、 非线性等特征，对于这些复杂的过程，难以用机理模型来描述，而非线性模型则可以较 好地对其进行描述瞳7 嘲。b p 神经网络和最小二乘支持向量机都可以较好得逼近任意近似 非线性函数和动态系统，因此本文分别采用b p 神经网络和最d x - - 乘支持向量机建立制粉 系统模型，并对其进行对比。 1 3 2 煤粉细度的软测量 煤粉细度是电站锅炉运行的一个重要的控制指标，煤粉过粗或过细都会直接关系到 锅炉运行的安全性与经济性。煤粉过粗，煤粉着火困难，且机械不完全燃烧损失增大； 煤粉过细则制粉电耗增加，燃烧着火提前，易产生烧坏火嘴的危险汹1 。因此，运行中需 要恰当、及时地控制煤粉细度，从而保证机组运行的安全性和经济性。 但是，在实际运行中，煤粉细度都是靠人工取样、测量，难以实时在线检测，这在 时间上与燃烧调整存在较大的滞后，不能及时满足锅炉燃烧调节的需要1 。为了解决这 个问题，必须采用软测量技术，通过在线分析一些易于实时测量的与被测变量密切相关 的变量，来估计难以实时在线测量的煤粉细度。软测量的技术核心在于建立软测量的数 学模型，以实现辅助测量对主导测量的最佳估计。 8 第一章绪论 1 3 3 基于频谱分析的磨煤机存煤量测量 球磨机是火电厂中使用较多的磨煤设备，具有煤种适应性广，煤粉细度调节范围宽 等优点。但由于其筒内存煤量难以准确测量，造成球磨机难以一直保持在最佳工况点运 行。存煤量的准确测量，已成为制约磨煤机的优化控制和运行调整的重要因素口。 目前，磨煤机存煤量的测量方法主要有压差信号法、噪音法等。压差信号法采用进 出口差压信号来表征球磨机的存煤量，但差压信号并不是存煤量的单值函数，因此其不 能准确地反映存煤量。噪音法是采用球磨机在不同负荷时运行的噪音来表征其存煤量， 但其抗干扰能力差，且安装不便羽。 本文应用频谱分析的方法对球磨机存煤量进行研究，首先测得球磨机在不同存煤量 时的声音频率和现场环境干扰源的频率，得出存煤量与声音频率的关系曲线，然后根据 关系曲线，应用分频电路对其频带进行分段，得到不同存煤量所对应的声音频带，最后 通过对现场音频所属频带的分析达到对磨煤机存煤量测量的目的。本文通过m u l t i s i m 进 行仿真计算，计算结果表明基于频谱分析的球磨机存煤量测量技术测量精度较高、抗干 扰能力强，可成为制粉系统优化控制的重要组成部分。 1 3 4 基于混合遗传算法的制粉系统优化控制技术 在对制粉系统进行非线性建模之后，可根据已建立的非线性模型来优化指导制粉系 统参数控制。实际上应用已训练好的非线性模型来寻优制粉系统参数，恰好与非线性模 型的训练过程相反。训练过程是从输入到输出，而优化过程则是从输出到输入，即求取 在给定条件下单耗和飞灰含碳量最低时，各输入参数所对应工况。因此，制粉系统优化 的问题转化成给定条件下求目标函数最小值的优化问题： 因为优化目标是由非线性模型，输入和输出之间的函数关系具有高度的非线性特 性，对其求导相当困难，所以需要寻求优化目标函数的直接算法来满足实际要求。 通过将遗传算法与复合形法结合可以得到一定的互补效果：遗传算法是全局优化算 法，这意味着遗传算法能够在含有多个局部最优解的解空间中找到全局最优解的位置。 复合形法，采用不同的策略，根据相邻点的信息，可以以较高的精度收敛到局部最优解。 利用遗传算法搜索到的可行个体作为复合形的初始点，避免了初始复合形产生问题，同 时可以保证初始复合形的形心落在可行域内，这样既实现了遗传算法的低精度、全局搜 索，也实现了复合形法高精度、局部搜索，加快算法收敛速度。 9 华南理工大学硕士学位论文 第二章非线性系统的建模方法 钢球磨中储式制粉系统是一个耦合强烈的的非线性系统，其中的各个环节的动态 特性，随运行工况变化各不相同。另外，制粉系统又具有大惯性、参数时变和很多不 确定因素，因此，许多的传统的建模和控制的方法很难应用于锅炉优化运行中。相比 之下，使用具有黑盒模型的人工神经网络、支持向量机建模在这方面显示了明显的优 越性。通过它的学习训练，可以建立模型输入输出之间的函数关系，这种关系可以 逼近任何复杂的函数1 。 选择神经网络、支持向量机建立钢球磨中储式制粉系统这样的非线性系统的模型， 需要它满足如下要求： ( 1 ) 具有非线性函数的逼近能力以及良好的泛化能力 常! 粉系统性能( 制粉单耗、煤粉细度) 与它的多个输入变量之间是非线性关系，通过 学习实际系统样本获得这些规律。由于实际过程中，只能获得一部分系统运行状态下的 数据，而机器学习是在不完备的数据中学习系统规律，因此需要神经网络、支持向量机 能够给出训练样本之外的一些预测。这种泛化能力不仅取决于训练模型的初始参数和结 构，同时与机器的学习过程也有很大的关系。 ( 2 ) 自适应学习能力 由于制粉系统运行过程中，随着时间的积累，它的特性会发生变化。根据最初训练 数据建立的模型可能不能够准确反映变化后的制粉系统运行规律，所以需要网络能够自 适应地在线学习。 ( 3 ) 学习训练速度满足工程需要 实际系统需要进行在线提供最优调整参数，需要求训练学习的时候速度要快，这 样才能够满足工程需要。 2 1b p 神经网络 2 1 1b p 网络结构 反向传播网络( b p ) 是一种前向型分层神经网络，在人工神经网络实际应用中，绝 大部分的函数通近网络使用的是b p 网络或其变化的形式m 1 。 i o 第二章非线性系统的建模方法 典型的b p 网络是一个三层的网络，包括输入层、隐含层和 全连结，层内的神经元之间没有连接。如图2 1 所示： p t ( q ) p 2 ( q ) p n ( q ) nml 图2 1 三层b p 网络 f i g 2 1b p n e u r a ln e t w o r kw i t h3l a y e r 图中口为样本序号，网络输入层每输入一次，定义为一个样 样本数共9 个，则q = 1 , 2 ，q ；n 为输入层节点数，为网络输出节点数， p q l , 岛2 ，p 叫为网络输入的第g 个样本。 o q l , o 口2 ，d 驰为网络的输出层节点的输出。n e t q l , 聆p f q 2 ，n e t q i , r t e t q m 为对应第g 个样本时网络隐层各节点的输入值，其值为n e t 掣= o + 也。 = l w i l - w g 表示网络隐层与输入层节点间的连接权，m 为隐层节点数。 b i ，6 ：，b m 为网络隐层节点的阈值，其值相当于输入层中某一输出值恒为1 的节点 与隐层相应节点间的连接权。 d ：l d 二，0 0 为网络隐层各节点的输出值，其值为d 二= f ( n e t q , ) ，其q pf ( n e t q , ) 为 网络的激励函数。 以l 一，以，w 0 为网络输出层与隐层节点间的连接权。其中l 为输出层的节点 数。 6 ：，巧，b ：为网络输出层节点的阈值。 ，z p ，：l 一，n e t ，n e t q z 为网络输出层节点的输入值，同样有力p = w t ，o q t + 6 j 。 在以后的公式推导中为了表达方便起见，将上述有关符号中的撇号省去，采用d 二表 示网络隐层节点的输出；代表网络输出层与隐层节点间的连接权；6 ，表示网络输出 层节点的阈值：n e t q t 表示输出层节点的输入值。 华南理工大学硕士学位论文 均i ，一，蜘，为对应网络输出层节点的计算输出值，其值为y = g ( 拧p f ) ， g ( 疗e ) 为网络输出层节点的激励函数。 ，。l ，白，为对应第留各样本网络的目标输出值。 臣为网络的计算输出与目标输出之间的偏差值，根据算法的不同其表达式也不 同。 2 1 2b p 网络的训练误差函数 对于给定的第g 个训练输入样本及相应的目标输出 ( x q i , z 。：，x 州) 专( f 。，r 。2 ，) ，网络的计算输出值蜘和相应的目标输出值白间的 误差函数通常可以取为： ( 1 ) 单样本误差对应单个样本网络的输出与其相应的目标输出间的误差，其表达式 为： e q = 寺( 白- y ) 2 ( 2 ) 样本总误差如果样本集中共有q 个样本，对应这q 个样本的总误差为： e ：兰毛：丢兰圭( f q l - - y q l ) ： 另外，在对网络进行训练中，通常还会用到平均误差的概念，常被用来作为网络训 练精度的一个指标，其表达式如下： g m - 吉姜= 面1 刍q 荟l ( 白一蜘) 2 网络的训练过程实际上就是通过不断地调整网络内部的连接权及阈值，使网络的 误差函数逐渐最小，直至达至l j 给定的精度。这样，在权值及阈值修正过程中，所依据 的误差函数不同，相应地就产生不同的训练方法。目前，在网络的训练过程中，常见 的有：1 ) 基于使单样本误差e 。下降的方向来修正连接权及阈值；2 ) 基于使总误差e 下 降的方向来修正连接权及阈值。这两种方式决定了网络的两种训练算法，即，单样本 训练算法和批处理训练算法。在样本数较多时，批训练比单样本训练时的收敛速度快。 t 2 第二章非线性系统的建模方法 2 1 3 改进的b p 网络学习算法 b p 网络突出的优点就是具有很强的非线性映射能力以及灵活的网络结构。网络 的中间的隐层数，各层的处理单元的数目都可以根据应用灵活设定。 但是，b p 网络不是一个十分完善的网络，它存在以下一些缺点1 ： ( 1 ) 学习收敛速度太慢，即是一个比较简单的问题，也需要几百次甚至上千次的学习 才能够收敛。 ( 2 ) 不能够保证收敛到全局最小点。 ( 3 ) 网络隐含层的层数以及隐含层的单元数的选择尚无理论上的指导，而是根据经验 确定，因此，网络往往有很大的冗余，无形中也增加了网络学习的时间。 ( 4 ) 网络学习具有不稳定性。一个训练结束的b p 网络，当给它提供新的记忆模式的 时候，将使得已有的连接权值改变，导致以前的学习模式的信息消失。要避免这种的现 象，必须将原来的学习模式连同新加入的新的学习模式一起重新进行训练。 针对于b p 网络一些不足，发展了一些改进的b p 网络算法，其中主要包括有： 增加动量项、自适应调节学习率、引入陡度因子以及模拟退火等方法，以下介绍两种常 用的方法： ( 1 ) 增加动量项： 为了提高网络的训练速度，可以在权值调整公式中增加一动量项。如果使用w 代 表某层权矩阵，p 代表某层输入向量，则含有动量项的权值调整向量表达式为： a w ( t ) = r 1 6 p + a a w ( t - 1 ) 增加动量项是从前一次权值调整量中取出一部分叠加到本次权值调整量中，其中口 称为动量系数，一般口( 0 ，1 ) 。动量项反映了以前积累的调整经验，对于t 时刻的调整 起到阻尼作用，可以减小震荡趋势，提高训练速度。 ( 2 ) 自适应调节学习率 学习速率叩也成为步长，在标准b p 算法中，一般定为常数，然而在实际应用中， 很难确定一个从始至终都很适合的学习速率。r 太小会使得训练次数增加，r 太大会因 调整量过大而引起展荡，反而使得训练次数增加。一个较好的思路是自适应改变学习速 率，使得在其该大的时候大，该小的时候小。 一种的实现的方法为：假设初始的学习速率为玎，如果经过一批次的权值调整后， 网络的总误差e 上升，则本次的调整无效，同时将学习速率减小r = 7 7 ，( 1 ) r 。 2 1 4 多层前馈网络的主要能力 多层前馈网络是目前应用最多的神经网络，这主要归结于基于b p 算法的多层前 馈网络具有以下一些重要能力汹1 。 ( 1 ) 非线性映射能力 多层前馈网络能学习和存储大量输入一输出模式映射关系，而无需事先了解描述这 种映射关系的数学方程。只要能提供足够多的样本模式对b p 网络进行训练学习，它便 能完成由玎维输入空间到脚维输出空间的非线性映射。 ( 2 贬化能力 多层前馈网络训练后，当向网络输入训练未曾见过的样本数据时，网络也能完成由 输入空间到输出空间的正确映射。这种能力称为多层前馈网的泛化能力，它是衡量多层 前馈网络性能优劣的一个重要方面。 ( 3 ) 容错能力 多层前馈网络的魅力还在于，允许输入样本中带有较大的误差甚至个别错误。因 为对权值矩阵的调整过程也是从大量的样本对中提取统计特性的过程，反映正确规律 的知识来自全体样本，个别样本中的误差不能左右对权值矩阵的调整。 2 2 最小二乘支持向量机 近年来，作为机器学习领域中备受瞩目的支持向量机( s v m ) 在许多领域取得了 成功的应用，显示出巨大的优越性：( 1 ) 支持向量机基于统计学习理论，根据结构 风险最小化原贝l j ，具有小样本学习能力，即由有限的训练样本得到小的误差，对独立 的测试集仍然能保证小l 抢误差；( 2 ) 支持向量机算法是一个凸优化问题，因此局部最 优解一定是全局最优解；( 3 ) 支持向量机算法中的核函数利用隐式非线性变换，巧妙 地解决了维数灾难问题。最小二乘支持向量机( l s s v m ) 是标准支持向量机的一种 扩展，它是支持向量机在二次损失函数下的一种形式。最小二乘支持向量机只求解线 性方程，其求解速度快，在函数估计和逼近中得到了广泛应用。 v a p 珏i k 于1 9 9 5 年在“统计学习理论的本质 中完整而明确地提出了支持向量机 1 4 第二章非线性系统的建模方法 ( s v m ，s u p p o r tv e c t o rm a c h i n e s ) 分类方法。之后，在1 9 9 7 年，v a p n i k ，g o k o w i c h 和s m o l a 详细介绍了基于s v m 方法的回归算法和信号处理方法( 1 9 9 7 ) s v m 实质上 是统计学习理论在实际应用的一种实现方式，它在解决小样本、非线性以及高维模式 识别问题中显示了许多特有的优势，如计算复杂度与输入空间的维度无关，仅与输入 样本数有关。同时，s v m 也可以推广到函数估计等其他的机器学习问题，具有很好 的通用性。 2 2 1 支持向量机的基本思想 s v m 的基本思想就是：通过某种非线性映射，将输入空f 司( i n p u ts p a c e ) 的输入向 量x 映射到一个高维的特征空间( f e a t u r es p a c e ) ，然后在这个高维的特征空间中，构造 最优分类超平面或者是线性拟和函数。 考虑到非线性的映射：五一乞。其中，x i 为输入空间x 的输入向量，z i 为高维特 征空间z 的向量。如果要在z 中求解最优分类超平面，就要在高维特征空间中计算相应 的内积( ) ( x ，) ，如果显式计算，会产生“维数灾难”( c u r s eo f d i m e n s i o n ) s v m 采用 了核函数( k e r n e lf u n c t i o n ) 使非线性映射中不必要进行显式计算，从而简单地回避了“维 数灾难”。根据统计学习理论，只要一种核函数k ( 毛，x j ) 满足m e r c e r 条件( v a p n i k v n ， 1 9 9 8 ) ，它就对应了某种变换空间中的内积。核函数k ( 而，x j ) = ( 薯) r ( x ，) 。这样就可 以得到在高维空间中的最优分类超平面的“分类规则”，可用如下决策函数来表示： 生 f ( x ) = s g n a i y e k ( x 。，x ) + 6 ) i = 1 这就是支持向量机在分类情况下的形式，其中睨为支持向量对应的非零支持值，b 为偏 置值。 这种结构的s v m 类似于一个神经网络，输出是中间节点的线性组合，每个中间节 点对应一个支持向量，如图2 2 所示。它与神经网络之间最大的区别就是，神经网络中 的节点是“无结构单元”，这样在训练过程中便无法控制其学习能力，从而可能导致这 种学习能力可能是无穷大的，进而产生过学习的现象。但是支持向量网络，其中的学习 单元是有结构的，而且通过结构风险最小化原则控制了此学习单元的v c 维上界，也就 限制了该学习单元的学习能力，因此不易出现过学习现象。 华南理工大学硕士学位论文 图2 2 支持向量机结构示意图 f i g 2 2d i a g r a m o fs u p p o r tv e c t o rm a c h i n e ss t r u c t u r e 支持向量机的一个重要特征就是解的稀疏性，即求解得到的大多数，都为0 ， 只有少数的q 不为0 。因此在应用中只要少量样本( 支持向量) 就可以构成最优分类器， 从而使样本数据大大压缩。 2 2 2 最, j 、- - 乘支持向量机( l s s v m ) 对于标准支持向量机( s v m ) 而言，函数预估问题可以描述为解一个凸优化问题( 典 型的二次规划问题1 ，所得的解是唯一，且为最优解，这样不存在一般神经网络的局 部极值问题，但当数据量较大时，求解过程所需计算资源很大。最小二乘支持向量机 ( l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s - l s s v m ) 求解一个线性方程，虽然不能保证其 解为所求问题的全局最优解，但线性方程的求解速度要比二次规划快，且所需计算资 源少，具有较高的准确率。两者能较好地解决小样本、非线性等实际问题。最小二乘 支持向量机是支持向量机的一种演变，即将s v m 法中的不等式约束改为等式约束， 且将误差平方和( s u ms q u a r e de r r o r - s s e ) 损失函数作为训练集的经验损失，这样就把 问题转化为一个线形矩阵求解问题。详细算法用如下形式的函数对未知函数进行估计 【3 y ( x ) = w 1 9 ( x ) + b 其中，x r n , y r ，非线性函数( ) ：r ”一r 将输入空间映射为高维特征空间。 1 6 给定训练数据集k ，雎 m a n ，( w p ) w 。d e 满足约束条件： 为此，可以定义如下l a g r n g e 函数， l ( w ，b ，p ，口) = ，( w p ) 一吼 w r 缈( ) + 6 + 吼一y k ) k = l 其中瓯是拉格朗日乘子。分别求( w ，b ，p ，口) w , b ，p ，口的偏微分，可以得到式2 1 的 最优条件如下， 丝：o o w 丝：oj = i i 丝：o 一= i j 啼 a e k 旦：o 一 一= i j a 吼 w = a k q ( x k ) k = l 吼= o b 1 ( 2 2 ) w r 呼o ( x k ) + b + e k 一所= 0 k 0 + ；i 丌j t 0 6 i j = i 其中，y = ；蜘】r ，i = 1 ；1 】r ，口= 【；r ，q 是一个方阵，其第k 行1 列的元素 为= 伊( 吒) r 伊( 而) = k ( 稚，x t ) ，k ，= l ，n 。选择y o 保证矩阵 啦l ， 小。 i 3 ， 1 7 华南理工大学硕士学位论文 其中，k ( x ，x k ) 是核函数，它可以是满足m e r c e r 条件( s m o t a ，1 9 9 6 ) 的任意对称函 数。 由上述的分析可见，l s s v m 算法将二次规划问题转变成一组线性方程的求解， 而同时又不会改变原本的核函数映射关系及全局最优等特性。另外l s s v m 与标准 s v m 相比减少了一个调整参数( 仅有两个参数，正规化参数y 和径向基核参数仃) ，减 少了n 个优化变量，因而与标准的s v m 相比简化了计算复杂度。在后面的章节中， 我们主要采用r b f 核函数进行仿真试验，即x ( x k ，西) = e x p 一( | ix k 一葺1 1 2 2 0 2 】。这主 要是因为在没有关于问题的先验知识时，由这种核函数训练而成的模型具有比基于其 他核函数的模型更好的总体性能。 t g 厶+ 、- 、 墨，- 芷 吼 蹦 = 、， x ，ly 第三章最优化理论与方法 3 1 遗