（计算机软件与理论专业论文）基于组合svr的高炉铁水含硅量预测方法研究.pdf

东北大学硕士学位论文摘要 基于组合s v r 的高炉铁水含硅量预测方法研究 摘要 准确预测高炉铁水含硅量是有效控制高炉的前提。结合时差( t e m p o r a ld i f f e r e n c e ， t d ) 方法的b p 神经元网络( t d b p 神经网络) ，已经在高炉铁水含硅量的预报方面取 得了显著进展，对大部分炉况运行平稳月份的数据预测已达到了很高的命中率。但是对 于炉况运行变化剧烈的月份，使用t d 。b p 神经网络进行预测其命中率显著下降。 高炉铁水含硅量的预测属于时间序列直接多步预测问题。同时，由于高炉冶炼过程 是十分复杂的物理化学变化过程，而且高炉内部的生产条件非常严酷，通过仪器测得的 信息十分有限。所以高炉铁水含硅量的预测属于时间序列预测问题中比较复杂的非平稳 时问序列预测问题。 对于炉况运行变化剧烈的月份，本文提出采用具有全局最优解和泛化推广能力更好 的支持向量回归机( s v r ) 作为建立模型的基本工具。在对复杂的非平稳时间序列进行 模糊分块和对传统的支持向量回归进行改进的基础上，通过启发式的加权方法将模糊分 块的信息与s v r 结合起来，通过多s v r 组合的方式对高炉铁水含硅量建立预测模型。 在预测部分，本文引入了主成分分析理论，以及基于主成分的相似性测度s p c a 。通 过综合考虑含硅量变化趋势和s p c a ，进一步提出了用于高炉铁水含硅量预测的相似性测 度作为特征匹配的方法。 通过对典型的月份的高炉铁水含硅量进行预测实验表明，所提方法相比于t d b p 神经网络大幅提高了预测命中率，具有一定的理论和实用价值。本文的研究工作是辽宁 省基金项目“面向复杂工业对象的预测方法研究”的一部分。 关键词： 高炉、铁水含硅量、预测、支持向量机、支持向量回归、组合s v r 、t d b p 神经网络、主成分分析 i i 东北大学硕士学位论文a b s t t a c t t h er e s e a r c ho fm u l t i s v rb a s e dp r e d i c t i o nm e t h o df o rs i l i c o n c o n t e n to ft h eh o tm e t a l i nb l a s tf u r n a c e a b s t r a c t i ti se s s e n t i a lt op r e d i c ts i l i c o nc o n t e n to ft h eh o tm e t a la c c u r a t e l yf o r t h ep u r p o s eo f c o n t r o l l i n gb l a s tf u r n a c eu n d e rg o o do p e r a t i o nc o n d i t i o n c o m b i n i n gt e m p o r a ld i f f e r e n c e ( t d ) m e t h o dw i t hb pn e u r o nn e t w o r kh a so b t a i n e dr e m a r k a b l ei m p r o v e m e n ti np r e d i c t i n gs i l i c o n c o n t e n to ft h eh o tm e t a l f o rm o s tm o n t h sw h o s eo p e r a t i o nc o n d i t i o nr u n so na ne v e nk e e l t d - b pn e u r a ln e t w o r kh a sa c h i e v e dar a t h e rh i g h l yh i tr a t i o b u tf o r t h em o n t h su n d e r d r a s t i c a l l yc h a n g i n go p e r a t i o nc o n d i t i o n ，t h eh i tr a t i ow i l ld r o pr e m a r k a b l eb yu s i n gt d - b p n e u r o nn e t w o r k t h ep r e d i c t i o no ft h es i l i c o nc o n t e n to ft h eh o tm e t a li nt h eb l a s tf u r n a c eb e l o n g st o p r e d i c t i o nm u l t i - s t e p sa h e a d b e c a u s et h ep r o c e s so ft h eb l a s tf u r n a c es m e l ti saq u i t e c o m p l i c a t ep h y s i c a lc h e m i s t r yp r o c e s s ，a n dt h ep r o d u c t i o nc o n d i t i o no f t h ei n n e rb l a s tf u r n a c e i sv e r yh a r d ，t h ei n f o r m a t i o nm e a s u r e db yi n s t r u m e n ti sv e r yl i m i t e d s ot h ep r e d i c t i o no ft h e s i l i c o nc o n t e n to ft h eh o tm e t a lb e l o n g st oc o m p l i c a t e da n dn o n - s t a t i o n a r yt i m es e r i e s p r e d i c t i o np r o b l e m f o rt h em o n t h si nw h i c hb l a s tf u r n a c er u n su n d e rd r a s t i c a l l yc h a n g i n go p e r a t i o n c o n d i t i o n t h i st h e s i sp r o p o s e st oa d o p ts u p p o r tv e c t o rr e g r e s s i o n ( s v r ) a st h eb a s i c m o d e l i n gt o o l ，w h i c hh a sg l o b a lo p t i m u ma n dp r e f e r a b l eg e n e r a l i z a t i o n b a s e do nt h ef u z z y s e g m e n t a t i o no ft h ec o m p l i c a t e dn o n - s t a t i o n a r yt i m es e r i e sa n dm o d i f i e ds v r ，i tc o m b i n e s t h ei n f o r m a t i o no ff u z z ys e g m e n t a t i o na n ds v rw i mah e u r i s t i cw e i g h t i n go n8 a n db u i l d s t h ep r e d i c t i o nm o d e l so ft h es i l i c o nc o n t e n to fh o tm e t a li nt h eb l a s tf u r n a c eb ym u l t i s v r i nt h ep a r to ft h ep r e d i c t i o n ，t h i st h e s i si n t r o d u c e sp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) t h e o r y ，a n dt h es i m i l a r i t ym e a s u r es p c a b yc o n s i d e r i n gt h et e n d e n c yo ft h ec h a n g eo ft h e s i l i c o nc o n t e n ta n dt h es p c aj o i n t l y ，t h i st h e s i sp r o p o s e sas i m i l a r i t ym e a s u r ea st h ef e a t u r e b a s e dm a t c h i n gm e t h o df o rt h ep r e d i c t i o no ft h es i l i c o nc o n t e n to ft h eh o tm e t a li nt h eb l a s t f u m a c e e x p e r i m e n t i n go nt y p i c a lm o n t ho f t h es i l i c o nc o n t e n to fh o tm e t a li nt h eb l a s tf u m a c e ， t h er e s u l t ss h o wt h a tt h em e t h o dp r o p o s e di nt h i st h e s i sh a si m p r o v e dt h ep r e d i c t i o nh i tr a t i o c o m p a r e dw i t ht d - b p ，a n di ts h o w ss o m et h e o r ya n dp r a c t i c a lv a l u e s t h er e s e a r c hw o r ko f t h i sp a p e ri sp a r to ft h en a t u r a ls c i e n c ef o u n d a t i o no fl i a o n i n gp r o v i n c en a m e d t h er e s e a r c h _ i i i 东北大学硕士学位论文 a b s t r a c t o f t h ep r e d i c t i o nm e t h o do r i e n t e dc o m p l i c a t e di n d u s t r i a lo b j e c t k e yw o r d s ：b l a s tf u r n a c e ，s i l i c o nc o n t e n to f t h eh o tm e t a l ，p r e d i c t i o n ，s u p p o r tv e c t o r m a c h i n e ，s u p p o r tv e c t o rr e g r e s s i o n ，t d b p n e u r a ln e t w o r k ，p r i n c i p a lc o m p o n e n ta n a l y s i s 独创声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加 以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也不包括本人为 获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示诚挚的谢意。 学位沦文作者签名：左二声 签字日期：2 阳6 绎i 自| 1 e 1 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即 学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交 流。 ( 如作者和导师同意网上交流，请在下方签名：否则视为不同意) 学位论文作者签名：复夕伍导师签名： p 茬罗钯 签字日期：2 舯；争，捍肛旦签字日期：一历知l 纣f 2 们 东北大学硕士学位论文 第一章绪论 第一章绪论弟一早三百y 匕 本章对全文内容做出概述。首先指出本文研究课题的产生背景及所要解决的问题， 然后在简要分析相关技术的基础上提出解决方法，即高炉铁水含硅量模型建立以及预测 的方法。最后给出论文结构框架。 1 1 研究背景 预测问题是国民经济和社会发展中的一个具有普遍性的科技难题。而预测问题存在 于许多复杂的工业生产过程中，经常需要提前对一些重要的控制指标进行预测，以便更 好地对生产过程进行控制。 在高炉炼铁的过程中工艺非常复杂，高炉生产铁水的质量很大程度上决定于高炉的 热状态。维持良好的高炉热状态是高炉稳定顺行、实现高炉优质、高产、低耗、长寿实 现的直接保证。尤其是现在辅助燃料的喷吹和加湿鼓风等措施加入后，炉况的波动更加 剧烈，炉热的控制则更加困难和重要。寻求一种较好的预测方法来对高炉的炉热状态提 前做出可靠的判断，将有利于高炉操作人员尽可能早地改善高炉的操作，以维持高炉顺 行。而高炉铁水含硅量是代表炉热的主要控制指标，因此，各国竞相对高炉铁水含硅量 的建模及预测进行研究。 高炉炉热预测的发展过程中，可以将高炉热状态模型分为三类1 1 , 2 1 ：一类是机理模型， 即通过建立静态数学模型来描述高炉的特征 3 , 4 1 。象法国的w u 模型、日本新日铁的t c 模型和开本住友的t s 模型等。一类是基于生产数据的统计模型，时间序列预测被引入 到高炉生产领域，以时间序列方法为基础的统计学高炉炉热方法也就应运而生。最早应 用高炉操作数据建立动态数据系统铁水硅预报模型的工作是由美国威斯康星一麦迪逊大 学的p a n d i t 、c l u m 和w u 完成的口 。随着人工智能技术的不断发展和完善，近年来人们 将人工智能的方法引入冶金行业。如采用动态数据分析、自适应预报和神经网络技术等 方法，发展高炉热状态的生铁含硅量预测。 1 2 问题提出 高炉铁水含硅量的预报属于时间序列预报问题，对该问题的研究主要包括：数学模 型方法( 机理模型和统计模型) 6 , 7 , 8 1 ，人工智能方面基于知识的传统专家系统方法 9 , 1 0 , 1 1 】 和神经网络方法1 1 2 , 13 , 1 4 等等。在实践过程中，这些方法存在着不同程度的问题。其中， 基于数学模型方法建立的方程是对高炉铁水含硅量变化过程理想化的描述。由于高炉过 东北大学硕士学位论文 第一章绪论 程非常复杂，是一种在正常炉况和异常炉况之间转换的连续非线性动态生产过程，而且 由于高炉内部的生产条件十一分严酷( 如高温、炉尘等) ，许多高炉内部的数据无法直接 测量造成信息不全，无法建立出完全符合高炉的数学模型，迄今为止还没有任何一种数 学模型能很好地模拟高炉铁水含硅量变化的实际过程。基于知识的传统专家系统方法的 主要缺陷在于其缺乏学习能力。传统的专家系统中知识库的建立，往往是通过知识工程 师收集调查方式来向知识库中添加规则。这一过程漫长而繁琐，受人为因素影响很大， 成为了专家系统的瓶颈，限制了专家系统的应用的推广。采用神经网络技术进行铁水硅 含量预测引起了各国专家的注意，主要使用改进的b p 网络作为建模及预测的工具。其 中，东北大学的王玉涔” 等人研究的神经网络与时差方法相结合的铁水含硅量预报模型 是一种较好的预测模型，相比单一的1 3 p 网络大幅提高了预测命中率。 然而在研究高炉铁水含硅量预报模型的过程中，笔者注意到以下的问题： 基于神经网络的预测模型对于变化比较平稳的高炉含硅量预测精度很好，而从炼钢 数据上观察，有时会遇到变化较剧烈的月份。如遇到高炉调整、更换燃料、调整工艺等 情况，高炉铁水含硅量的变化将会较平时高炉顺行时剧烈很多，这种情况对于从长期的 角度观察( 如以一年或半年为一周期) 铁水含硅量来说，属于一种特殊的时间段( 月份) 。 这段时间的铁水含硅量变化的幅度远大于其他平稳顺行的月份，而且其变化规律在此之 前很少或基本没有出现过。所以，之前很长时间的历史数据对于这段时间的铁水含硅量 预测来说，起的作用不是很大。 对于含硅量变化较为平缓的月份，其变化趋势可以通过一定时间的工作和观察相对 比较容易地由人工获得，如体现为炉长以及操作人员的“经验”等。对于这种变化较为 平缓的月份，用人工智能方式如神经网络预测得到的值虽然准确率很高，也并没有与人 工经验相差太大，相对于人工经验智能方法达到的精度所起到的效果可描述为：“准确 性很高，可也在意料之中”。然而，对于变化剧烈的月份，由于已经超出了由人工长期 获得的经验所能做出的预测，用人工经验以不能做出预测，这种情况下如果能用智能方 法提供具参考价值的预测，则很有实际意义。 1 3 解决方法 针对上面提出的问题，本文从以下方面来解决： ( 1 )近十几年来，人们提出用神经网络作为高炉铁水含硅量的预测模型，来改进 铁水含硅量的预测精度。并且，世界各国已有大量的用神经网络对高炉铁水含硅量进行 东北大学硕士学位论文第一章绪论 建模及预测的实例【1 “，显示神经网络作为高炉铁水含硅量预测工具的有效性。但是由于 高炉工作过程的复杂性，以及神经嘲络也有其自身的局限性，如易陷入局部极小、推广 能力不足和过度拟合等缺陷。 在统计学习理论基础上发展起来的支持向量机已经展现出优秀的学习性能，并由最 初的分类任务成功地扩展到处理回归、概率密度估计和异常值检测等问题 1 7 , 1 8 , 1 9 1 。支持 向量机改进了传统的经验风险最小原则，提出了结构风险最小化原则，使模型具有更好 的泛化推广能力。支持向量机相对于神经网络的一些优势可以通过实验结果展示出来。 ( 2 ) 高炉铁水含硅量的预报属于时间序列预报问题2 叭。现在已经有大量的研究 和实验表明支持向量机作为时间序列建摸及预测是一个很有效的工具 2 1 , 2 2 , 2 3 。现实世界 中的时间序列数据通常都是非平稳的，包括高炉铁水含硅量数据。支持向量机只有少数 可调的参数，而且训练问题可以归结为解一个凸二次规划问题，从而所得的解是全局最 优的，通常是唯一的。通过实验比较和分析，支持向量机更适合对非平稳时间序列进行 建模，所以本文选择支持向量机作为建模工具。 ( 3 ) 处理非平稳时间序列的一种有效的方法是先对它进行分块，然后再对每一个 分块进行建模【2 “。对于多数据源的非平稳时间序列数据，本文提出一种基于组合s v r 的非平稳时间序列的模糊建模方法。首先，提出一种改进的支持向量回归( s v r ) 的表 达形式；然后，通过启发式的加权方法将模糊分块的信息与s v r 结合起来；最后，提 出一种基于组合s v r 的建模方法。实验结果表明，本文提出的方法对于非平稳时间序 列的建模具有较高的实用价值。 ( 4 ) 在使用建立好的模型对新的铁水含硅量进行预测时，需要对待测数据以及训 练数据进行特征的抽取和匹配，匹配方法是否合理将直接影响模型预测的精度。由于铁 水含硅量数据是比较复杂的带状态量的非平稳时间序列，本文综合考虑待测数据和训练 数据的含硅量变化趋势之间以及输入参变量之间的相似性，提出结合s p c a 与绝对距离 的综合测度，对待测数据与训练数据之间的相似性进行测量。 1 4 论文结构 本文详细论述了基于组合s v r 的对高炉铁水含硅量进行建模及预测。第一章为绪 论部分，介绍一些相关背景知识及问题的提出与解决方法；第二章简单介绍高炉含硅量 预测原理和时间序列的有关概念以及支持向量机的相关知识；第三章阐述本文选择基于 s v r 建模的理由，并详述改进的s v r ；第三章阐述本文基于s v r 建模的理由；第四章 东北大学颂士学位论文 第一章绪论 建模及预测的实例“1 ，显示神经网络作为高炉铁水含硅量预测工具的有效，| 生。但是由于 高炉工作过程的复杂性，以及神经网络也有其自身的局限性，如易陷入局部极小、推广 能力4 i 足和过度拟合等缺陷。 在统计学习理论基础上发展起来的支持向量机已经展现出优秀的学习性能，井出最 初的分类任务成功地扩展到处理回归、概率密度估计和异常值检测等问题l l t as , 1 9 。支持 向量机改进了传统的经验风险最小原则，提出了结构风险最小化原则，使模型具有更好 的泛化推广能力。支持向量机相对于神经网络的一些优势可以通过实验结果展示出来。 ( 2 ) 高炉铁水台硅量的预报属于时间序列预报问题口0 1 。现在已经有大量的研究 和实验表明支持向量机作为时间序列建模及预测是个很有敛的工具口1 ，“。现实世界 中的时间序列数据通常都是非平稳的，包括高炉铁水含硅量数捌。支持向量机只有少数 可调的参数，而且训练问题可以归结为解一个p 、二次规划问题，从而所得的解是仝局虽 优的，通常是唯一的。通过实验比较和分析，支持向量机更适合对1 f 平稳时间序列进行 建模，所以本文选择支持向量机作为建模工具。 ( 3 )处理非平稳时间序列的一种有效的方法是先对它进行分块，然后再对每一个 分块进行建模【2 。对于多数据源的非平稳时间序列数据，本文提出一种基于组合s v r 的非平稳时间序列的模糊建模方弘。首先，提出一利一改进的支持向量叫归( s v r ) 的表 达形式；然后，通过启发式的加权方法将模糊分块的信息与s v r 结合起来；虽后，提 出一种基于组合s v r 的建模方法。实骑结果表明，本文提出的方法对于非甲稳刚间序 列的建模具有较高的实用价值。 ( 4 ) 在使片j 建立好的模型对新的铁水台硅量进行预测时，需要对待测数据以及训 练数据进行特征的抽取和匹配，匹配方法是否合理将直接影响模犁预测的精度。由于铁 水含硅量数据是比较复杂的带状态量的非平稳时间序列，本文综合考虑待测数据和训练 数据的含硅量变化趋势之间以及输入参变量之间的相似性，提出结合s p c a 与绝对距离 的综合测度，对待测数据与训练数据之间的相似性进行测量； 】4 论文结构 本文详细论述了基于组合s v r 的对高炉铁水禽硅量进行建模及预测。第一章为绪 论部分，介绍些相关背景知识及问题的提出与解决方法；第二章简单介缁高炉台硅量 预溉原理和日、j 问序列的有关概念以及支持向量机的十h 关知识；第三章阐述本文选择基r s v r 建模的理由，并详述改进的s v r ：第三章阐述本文基丁二s v r 建模的理由；第四章 s v r 建模的理由，并详述改进的s v r ；第三章阐述本文基丁二s v r 建模的理由；第u q 章 东北大学硕士学位论文第一章绪论 叙述了基于组合s v r 的高炉铁水含硅量预测模型的建立；第五章对基于组合s v r 和基 于t d b p 神经网络模型的高炉铁水含硅量的预测方法和步骤进行了介绍；第六章展示 了实验结果以及对比数据；第七章总结此次工作中的创新和有待改进的地方。 东北大学硕士学位论文 第二章高炉硅预报原理 第二章高炉含硅量预测原理 高炉铁水含硅量预测问题属于时间序列预测问题。本章首先介绍时间序列相关概 念，然后引入本文所采用的建模方法支持向量机，最后简要介绍高炉铁水含硅量数 据。 2 1 时间序列介绍 时间序列是被观测到的依时间次序排列而又相互关联的数据序列。如按空间的前后 次序排列的随机数据，或按其他物理量顺序排列的随机数据。 2 现实中的时间序列数据及分类 在现实生活中，大量数据集中的数据都带有时间特征，时间序列随处可见，遍及经 济、气象、通信、医疗等等多个领域。股市每日( 或月) 指数、交换机每小时的业务量、 年太阳黑子数、生产过程中的温度指数等等，这些都是比较常见的例子。在经济，工程， 自然科学和社会科学等领域的实际工作者和研究人员都要和系列的观察数据打交道， 按时间顺序产生和排列的，随时间变化且相互关联的观察数据序列都可被称为是时间序 列 2 5 】。 在时间t l , t 2 ，t 3 ，t n 所获得的离散时间序列的观察值可以用z ( t 1 ) ，z ( t 2 ) ，z ( t f ) ，z ( t 。) 表示。如果用于分析的n 个连续观察值，则可以用z i ，z 2 ，zb ，z 。表示在相同时间间 隔t o + h ，t o + 2 h ，t o + t h ，t o + n h 的观察值。 如果一个时间序列的未来数值可以由某一数学函数，如 z t = a e “( 2 1 ) 来确定，称为确定型时间序列。如果时间序列的未来数值，只能用一概率分布来描述， 则称为随机时间序列。 如果一个时间序列的统计特性不随时间的推移而变化，则称它为平稳时间序列，否 则称其为非平稳时间序列。 2 1 2 时间序歹0 预报 时间序列预报就是根据时间序列的历史实际观测值t = y ( t ) ，y ( t 一1 ) ，y ( t - m + 1 ) ) 及影 响该时间序列的相关变量i = x l ( t ) ，x 2 ( t ) ，x n ( t ) 对其未来时刻t + k ( k 0 ) 时的取值 y ( t + k ) 进行估计。即寻找未来时刻的取值y ( t + k ) 与其历史观测值t 及其影响变量i 取值之间的 塑! 垄兰堡主兰堡垒墨 箜三主壶芝竺翌! 垦墨墨 关系。可用下式描述： y ( t + k ) = p ( i ，t )f 2 2 1 其中，当k 2 l 时称为一步预报，当k l 时称为直接多步预报。参数m 称为步长。时间 序列预报是通过建立模型来拟合函数p ( ) ，以进行时制序列的一步或多步预报。 2 2 支持向量机原理介绍 2 ，2 1 支持向量机的引入( s u p p o r tv e c t o rm a c h i n e ，s v m ) 支持向量机理论是依据统计学习理论( s t a t i s t i c a ll e a r n i n g t h e o r y ) 形成的一种新的 机器学习方法【17 1 。统计学习理论是一种研究在小样本情况下机器学习规律的理论研究。 它开始于2 0 世纪6 0 年代末，到9 0 年代中期，随着其理论的不断发展和成熟，也由于 神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重 视1 1 8 】。 统计学习理论是研究小样本统计估计和预测的理论，其主要包括以下四方面内容： ( 1 ) 经验风险最小化准则下统计学习一致性的条件； ( 2 ) 在这些条件下关于统计学习方法推广性的界的结论； ( 3 ) 在这些界的基础上建立的小样本归纳推理准则； ( 4 ) 实现新的准则的实际方法( 算法) 。 支持向量机是建立在统计学习理论的v c 维理论和结构风险最小化( s t r u c t u r er i s k m i n i m i z a t i o n ，s r m ) 准则理论基础上的。对于给定的具有有限的样本信息，对经验风 险和泛化性进行了折中，以得到最佳的训练和泛化性能。 2 2 2 支持向量机 设给定训练样本集d = y ，) ，芦1 ，h ，x r “，y + 1 ，一1 。如果训练集中的 所有向量均能被某超平面f 确划分，并且距离平面最近的不同类向量之间的距离最大， 则该超平面为最优超平面，如图2 1 。其中距离超平面最近的向量被称为支持向量 ( s u p p o r tv e c t o r , s v ) ，一组支持向量可以唯一确定一个超平面。s v m 是从线性可分情 况下的最优分类面发展而来，其超平面记为x w + 6 = 0 ，对它进行归一化，使得线性可 分的样本集满足： y ， ( w + 6 ) 】1 0 ，i = l ， ( 2 3 ) 由于支持向量与超平面之间的距离为1 l l w l i ，两类支持向量之间的距离为2 l l w l l ，因 此问题转化为求( 2 3 ) 式最小，即 东北大学硕士学位论文第二章高炉硅预报原理 ( 2 4 ) 另外，考虑到可能存在一些样本不能被分类超平面f 确划分，如图2 2 ，因此引入 松弛变量 善，o , i = 1 ，n ( 2 5 ) 超平面的约束变为： y i ( w x ，一6 ) 1 一喜，i = 1 ，” ( 2 6 ) 对1 1 w | | 稍加变形后，问题转化为在约束( 2 5 ) 和( 2 6 ) 的条件下最小化 妒( w ，百) ：昙w o w + c 主专 ( 2 7 ) i 式的第一项使分类间隔尽量大，从而提高泛化能力；第二项则使误差尽量小。其 中c 为可调参数，c 越大对错误的惩罚越重，从而在算法的复杂度和样本的错分误差之 间进行折中。 为了求解这个优化问题，引入拉格朗同函数，目标函数变为 三：1 1w i l 2 + c 专+ a ，【1 一百一”( w x j + 6 ) 卜_ 专( 2 8 ) 其中：a 。，玛为正的拉格朗日乘子。函数l 的极值应满足条件 v 。= w 一y i x ，= 0 鬲o l ：口，卫：o ( 2 9 ) 、。 罢：c 叫一_ ：o a f 将( 2 9 ) 式代入( 2 8 ) 式中，得到 三：委| | w 1 | ：+ 口，一m 薯w 一6 q m + ( c 一_ 一口，) 夤 ( 2 1 0 ) 新的目标函数变为 q ( a ) ：a ，一妻口，a ，m 乃一_ 0 口，c ，i = 1 ，( 2 1 1 ) d ，只= 0 该问题为一个线性约束的凸二次规划问题，有唯一解。其中大多数为零解，只有很 查! ! 垄堂堡主堂堡垒圭 整三主壹生竺塑墼曼翌 少一部分是非零解，这部分非零解为支持向量，记为a + ，判别函数为 ，( x ) = s g n ( w x ) + 6 ) = s g n c t * y ，( 蕾x ) + n ( 2 1 2 ) s f 其中：s g n ( x ) 为符号函数，b + 是分类闽值。 一 淤 幽2 1线性可分情况f 的最优分类面 f i g2 1 t h eo p t i m a lh y p e r p l a n eu n d e rt h el i n e a rc o n d i t i o n 图2 2 不完全线性口】分情况f 的最优分类面 f i g2 2 t h eo p t i m a lh y p e r p l a n eu n d e rt h en o b - l i n e a rc o n d i t i o n 对非线性问题，可以通过非线性变换转化为某个高维空问中的线性问题，在变换空 间求最优分类面。这种变换可能比较复杂，因此这种思路在一般情况下不易实现。但是 注意到，在上面的对偶问题中，不论是寻优函数( 2 1 1 ) 还是分类函数( 2 1 2 ) 都只涉 及训练样本之间的内积运算( x r x j ) ，这样，在高维空间实际上只需进行内积运算，而这 种内积运算是可以用原空间中的函数实现的，我们甚至没有必要知道变换的形式。根据 泛函的有关理论，只要一种核函数k ( x ，x ，) 满足m e r c e r 条件，它就对应某一变换空间 r 一 东北大学硕士学位论文 第二章高炉硅预报原理 中的内积。 因此，在最优分类面中采用适当的内积函数k ( x ，x j ) 就可以实现某一非线性变换后 的线性分类，而计算复杂度却没有增加，此时目标函数( 2 1 1 ) 变为 q ( a ) = “，一去a ，口，y , y ，l q x i l x j ) ( 21 3 ) i = l f i = l 而相应的判别函数也变为 厂( 工) = s g n ( c t j | y , k ( x i ，x ) + 6 i ) ( 2 1 4 ) i = 1 这就是支持向量机。 概括地说，支持向量机就是首先通过用内积函数定义的非线性变换将输入空间变换 到一个高维空间，在这个空间中求( 广义) 最优分类面。s v m 分类函数形式上类似于一个 神经网络，输出是中问节点的线性组合，每个中间节点对应一个支持向量，如图2 3 所 7 k 。 图2 3 支持向量机 f i g2 , 3s u p p o r tv e c t o rm a c h i n e s v m 中不同的内积核函数将形成不同的算法，目前研究最多的核函数主要有三类， 一是多项式核函数 k ( x ，t ) = 【( x - t ) + 1 r ( 2 1 5 ) 所得到的是q 阶多项式分类器；二是径向基函数( r b f ) 世( x ，) = e x p 一l ! ! 笋) ( 2 - 1 6 ) 所得分类器与传统r b f 方法的重要区别是，这里每个基函数中心对应一个支持向量， 东北大学硕士学位论文 第二章高炉硅预报原理 它们及输出权值都是由算法自动确定的。也可以采用s i g m o i d 函数作为内积， 即 x ( x ，t ) = t a n h ( v ( x 一) + c )( 2 1 7 ) 这时s v m 实现的就是包含一个隐含层的多层感知器，隐含层节点数是由算法自动确定 的，而且算法不存在困扰神经网络方法的局部极小点问题。 2 2 3 支持向量回归( s v r ) s v m 同时考虑经验风险和置信范围【2 5 , 2 6 】。因此可通过最小下面的目标函数得到问 题的解 q ( w ) = l l w l l 2 + c 一。，( ) f 2 1 8 ) 其中，第一项使得函数更加平坦从而提高推广能力，第二项是经验误差，常量c 称 为惩罚系数，体现对样本预测误差的惩罚程度，也是对置信范围和经验风险的一种折中 【7 j ；r 。( d 为损失函数一般包括【1 3 ：h u b e r 函数、l a p l a c e 函数、不敏感参数等，不敏 感参数因其具有较好的性能而被广泛采用。一支持向量回归机就是使用不敏感损失函 数的支持向量回归机。 在使用支持向量回归机进行建模时，需要确定参数：惩罚系数c ，不敏感参数 及核函数参数。 2 3 高炉铁水含硅量预报介绍 2 3 1 高炉铁水含硅量数据 高炉铁水含硅量的高低反映了高炉冶炼过程的热状态及燃烧比，维持稳定且较低的 铁水含硅量是炉况稳定并产生较低燃烧比的直接保证。 本文处理数据的是9 6 年4 月1 0 日至1 0 月2 1 日在鞍钢1 0 # 高炉现场采集的铁水含 硅量以及相关数据。高炉铁水含硅量数据是一个时间序列2 0 1 。高炉铁水含硅量的预报属 于时问序列预报问题，但不是一种纯时问序列问题。铁水含硅量不仅与自身时问序列的 历史数据有关，还与高炉的某些特征参量有关。根据经验，常用的特征包括：热风温度、 炉内透气性指数、冷风流量、冷风压力、焦炭、矿石和喷煤量等。而且，由于原料成分 波动大等原因，高炉铁水含硅量数据表现出在部分时段较平稳，而在部分时段变化又比 较剧烈的特点。如图2 4 为9 6 年6 月份高炉铁水含硅量的数据为较平稳的月份，而图 2 5 为7 月份数据，波动很剧烈 东北大学硕士学位论文第二章高炉硅预报原理 图2 41 9 9 6 年6 月份铁水含硅量的数据 f i g2 4 t h ed a t ao f t h es i l i c o nc o n t e n td u r i n g6 1 9 9 6 图2 51 9 9 6 年7 月份铁水含硅量的数据 f i g2 5 t h ed a t ao f t h es i l i c o nc o n t e n td u r i n g7 1 9 9 6 对于本文所收集的高炉铁水含硅量数据，在大部分月份内数据变化都比较平稳，与6 月 份相似。7 月份可能是由于修炉等原因铁水含硅量数据变化非常剧烈，其幅度远超过其 他运行平稳的月份，而且收集到的数据量很少。本文则针对7 月份这样的波动大、数据 量少，根据平时的工作经验难以进行预测的情况采用合适的建模和预测方法来提高对铁 水含硅量预测的命中率。 2 3 2 高炉铁水含硅量预报 高炉铁水含硅量的预报不是一种纯时间序列的问题，铁水含硅量不仅与自身时间序 列的历史数掘有关，还与高炉的某些特征参数有关。所以在建立预报模型时应该综合其 历史数据与状态量。根据经验，本文选用1 2 个含硅量的时间序列数据和6 个状态量数 东北大学硕士学位论文第二章高炉硅预报原理 据，即风温、透气性、风量、风压、焦炭、矿石和喷煤量作为支持向量机的输入。通过 将现场采集的真实数据按月份做成样本集，再把每个样本集分成训练集和测试集。通过 训练集的数据对支持向量机进行训练，使其学习数据问的关系p ( ) ，再通过测试集来 检验学习是否准确。 东北大学硕士学位论文 第三章建模工具的选择和改进 第三章建模工具的选择和改进 本章首先通过对比实验选择本文对高炉铁水含硅量建立预测模型所用的工具 ( s v r ) ，之后针对非平稳时间序列问题对对传统s v r 进行改进，并通过仿真实验验 证了该方法的有效性。 3 1 神经网络与支持向量回归机的选择 对于时间序列建模，神经网络( n n ) 应用的较多，神经网络具有并行处理的结构， 可塑性的网络连接、分布式的存贮 己忆、全方位的互连、强大的非线性处理能力等优点， 但也存在诸多问题收敛速度慢，易陷入局部极j , 并n 推广能力不足等缺陷；而第二章介绍 的s v m 是一种较适合非线性数据建模的新方法，具有推广能力强、全局最优解、适合 小样本数据训练等优点。对于本文所研究的非平稳时间序列的建模问题，究竟采取二者 中的哪种方法更适合，本小节将通过对典型的纯时间序列数据的实验进行分析和论述。 太阳黑子是一种纯时间序列预测问题，纯时间序列预测只涉及到其历史数据，就是 根据时间序列的历史实际观测值从f ) ，y ( t - 1 ) ，y ( t + 1 ) ) 对其未来时刻t + k ( 胁0 ) 时的取 值y ( f + 曲进行估计。对于一般可用下式描述： y ( t + 女) = f ( y ( f ) ，y ( t 一1 ) ，y ( t 一，”+ 1 ) ，x 1 ( r ) ，x 2 ( r ) ，x 。( f ) )( 3 1 ) 对于太阳黑子活动数据只考虑一步预测和纯时间序列预测，即： y ( t + 1 ) = ，( y o ) ，y ( t 1 ) ，y ( t m + 1 ) )( 3 2 ) 当训练回归模型时，样本对可以表示为：输入向量抄( d ，颤r 一1 ) ，y ( t - 埘+ 1 ) ，对应 的输出值为y ( f + 1 ) ，由n 个训练样本就可以构建n - m 个训练样本对。本节回归步数m = 5 。 本节采用1 7 0 0 年至1 7 8 4 年8 5 个太阳黑子活动数据。为使数据处理更方便，本文对数 据进行了标准化。 图3 1 经过标准化的太阳黑子数据 f i g3 1 t h e n o r m a l i z e ds u n s p o t sd a t a 1 3 翌生! 塑生生塑兰坠 篁三主塞燮三墨堕堕堡童些兰 图3 i 中经过标准化后的8 0 个太阳黑子数据，数据呈现非线性和非平稳性。下面将 分别采用支持向量回归和b p 网对该数据集进行训练和预测，以比较两种建模方法在预 测方面的性能。 ( 1 ) 采用s v r 进行建模 通过多次实验比较，选择一组较优的参数：惩罚系数c = 2 0 ，不敏感参数8 ：0 5 ， 同时采用的核函数为径向基核函数，即： e x p ( 一g a m m a + 一一v f “2 )( 3 3 ) g a m m a 2 0 0 0 3 9 0 6 2 5 。 ( 2 ) 采用n n 进行建模 由于是采用n n 对非线性过程进行预测，不但n n 的输入、输出存在着强烈的非线性， 因此要求所建立的n n 不但要具有良好的学习、容错能力，而且要求n n 在训练过程中 具有较快的收敛速度，同时还要求结构简单。综合以上的因素，本节选用一个三层的 b p 神经网络，输入层有5 个单元；隐含层有2 0 个单元，转移函数为t a n s i g ；输出层有 1 个单元，转移函数为p u r e l i n ；训练算法是t r a i n l m ，即l m 算法。 采用的误差计算公式为： n ( f ，一f ：) 2 二一、， ，7 n m s e = 号_( 3 4 ) ( 厂，) 2z j 、， j = l 其中，n 为数据集中样本数据的数目，o 为某一点的真实值，t f 为某一点的估计值， j 为所有点的估计值的平均。 用8 0 个太阳黑子样本，前6 0 个作为训练样本，后2 0 个作为预测样本，实验结果 如图3 2 所示。 东北大学硕士学位论文第三章建模工具的选择和改进 图3 2 标准化的太阳黑f 数据及s v r 和n n 的结果比较 f i g3 2 t h en o r m a l i z e ds u n s p o t sd a t aa n dt h ec o m p a r i s o nb e t w e e ns v ra n dn n 实验误差见表3 1 表3 1s v r 和n n 误差比较 t a b l e3 1t h ec o m p a r i s o no f e r r o rb e t w e e ns v ra n dn n 从图3 2 可以看到，虽然在拟合部分，n n 的误差要小于s v r 的误差。但是由于6 0 个太阳黑子样本数据对于整个太阳黑子规律来说仍是小样本数据，不能包括太阳黑子全 部的规律性信息，实验表明n n 的推广能力不如s v r ，所以在预测部分，n n 的误差要 远远大于s v