（制浆造纸工程专业论文）小波变换与现代优化算法在近红外建模中的应用.pdf

小波变换与现代优化算法在近红外建模中的应用 摘要 近红外光谱分析技术具有高效、快速、低成本、无损伤和绿色环保等优点，可以用于 现场快速检测和实时在线分析，在制浆造纸工业生产中，应用前景非常广阔。但是由于近 红外光谱本身的吸收机理原因，吸收信号的信噪比比较低，导致了分析灵敏度较低，虽然 采用了一些常规的处理方法，但建立模型的准确度仍然有待提高。 小波变换作为一种新的信号处理工具，具有良好的时频局部化性质，在信号的去噪、 压缩方面优势明显。遗传算法是智能优化算法中应用最为广泛也最为成功的算法，在很多 领域都得到了成功应用。 本文将小波变换和遗传算法应用到近红外光谱预处理中，采用小波变换软阂值进行处 理后建模和利用某些小波系数直接建模两种方法。建模结果表明，小波变换不仅过程简单， 而且建模效果优于常规的预处理方法。另外，将小波变换与遗传算法结合建模，利用遗传 算法的优化特性，对光谱的谱区进行选择，减少了参与建模的光谱数据，节省了建模时间， 同时提高了模型的精度。 关键词：近红外光谱小波变换小波去噪遗传算法谱区选择偏最小二乘法 a p p l i c a t i o no fw a v e l e tt r a n s f o r ma n dm o d e r no p t i m i z a t i o n a l g o r i t h m i nt h em o d e l i n go fn e a ri n f r a r e ds p e c t r o s c o p y a b s t r a c t n e a ri n f r a r e ds p e c t r o s c o p yi sa l le f f i c i e n t ，r a p i d ，l o w c o s t , n o n i n v a s i v ea n dn o td e s t r o y i n g e n v i r o n m e n t i tc a nb eu s e df o rr a p i dd e t e c t i o na n da n a l y s i so fr e a l - t i m eo n l i n e ，a n di th a sa v e r yw i d ea p p l i c a t i o np r o s p e c ti nt h ep r o d u c t i o no fp u l pa n dp a p e ri n d u s t r y h o w e v e r ，d u et o n e a ri n f r a r e da b s o r p t i o ns p e c t r ao ft h em e c h a n i s mo ft h e i ro w n r e a s o n s ，t h ea b s o r p t i o ns i g n a lt o n o i s er a t i oi sr e l a t i v e l yl o w ，r e s u l t i n gi nal o w e rs e n s i t i v i t yo ft h ea n a l y s i s an u m b e ro f c o n v e n t i o n a la p p r o a c h e sh a v eb e e nu s e d ，b u tt oe s t a b l i s ht h ea c c u r a c yo ft h em o d e ls t i l ln e e d s t ob ei m p r o v e d a san e ws i g n a lp r o c e s s i n gt o o l ，w a v e l e tt r a n s f o r mh a v eag o o dn a t u r eo ft i m e - f r e q u e n c y l o c a l i z a t i o n ，e s p e c i a l l yi ns i g n a ld e - n o i s i n ga n dc o m p r e s s i o n 。g e n e t i ca l g o r i t h mi so n e o ft h e m o s tw i d e l yu s e da n dt h em o s ts u c c e s s f u la l g o r i t h mi ni n t e l l i g e n to p t i m i z a t i o na l g o r i t h m ， w h i c hh a sb e e ns u c c e s s f u l l ya p p l i e di nm a n yf i e l d s i nt h i st h e s i s ，w a v e l e tt r a n s f o r ma n dg e n e t i ca l g o r i t h ma r ea p p l i e dt on e a ri n f r a r e d s p e c t r o s c o p yp r e - p r o c e s s i n g m o d e l sw e r eu s e dt h ew a v e l e tt r a n s f o r ms o f tt h r e s h o l da n dt h e s e v e r a lw a v e l e tc o e f f i c i e n t s t h em o d e l i n gr e s u l t ss h o wt h a tw a v e l e tt r a n s f o r mi ss i m p l ea n d t h ee f f e c to fm o d e l i n gi ss u p e r i o rt oc o n v e n t i o n a lm e t h o d s w a v e l e tt r a n s f o r ma n dg e n e t i c a l g o r i t h ma r ec o m b i n e df o rm o d e l i n g ，a n da sar e s u l t ，u s e dt h eg a ，t h er e g i o na r es e l e c t e d ，a n d r e d u c e so ft h em o d e l i n gs p e c t r a ld a t as a v e sm o d e l i n gt i m ea n di m p r o v e st h ea c c u r a c yo ft h e m o d e l k e y w o r d s ： n e a ri n f r a r e d s p e c t r o s c o p y ， w a v e l e tt r a n s f o r m ，w a v e l e td e n o i s i n g ， g e n e t i c a l g o r i t h m ，r e g i o ns e l e c t i o n ，p a r t i a ll e a s ts q u a r e 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下进行的研究工作 所取得的成果。尽我所知，除文中已经特别注明引用的内容和致谢的地方外，本 论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做 出重要贡献的个人乖集体，均已在文中以明确方式注明并表示感谢。本人完全意 识到本声明的法律结果由本人承担 学位论文作者( 本人签名) ：镧7 虬云。( 年6 其| c 日 学位论文版权使用授权书 本学位论文作者完全了解南京林业大学有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版( 中国科学技术 信息研究所；国家图书馆等) ，允许论文被查阅和借阅本人授权南京林业大学 可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以汇编和综合 为学校的科技成果，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论 文全部或部分内容。 保密口，在年解密后适用本授权书。本学位论文属于不保密o ( 请在以上方框内打“ 刀) 薹筝： 主盒萎主兰籀多；手：指导教师( 本人签名嘞爆乎吵年阳 凡a 慨咖 致谢 本论文是在导师胡慕伊教授的悉心指导下完成的。从论文选题到资料收 集，从结构调整到内容确定，从初稿到定稿成文，无不渗透着导师的远见卓 识和大量心血。在三年的学习过程中，导师渊博的专业知识、丰富的实践经 验、严谨的治学态度、务实的工作作风和无私的奉献精神令我受益匪浅。在 此，向胡老师致以最诚挚的感谢和敬意! 在论文的研究过程与撰写修改过程中，特别感谢熊智新老师的帮助，他 帮我解决了很多难题，提出了许多宝贵的意见，在此表示衷心的感谢。 感谢陈朝霞老师和胡明老师在我日常学习和生活中，给予我的指导和帮 助。在此，向他们表示真诚的谢意! 同时感谢舍友和各位师弟师妹们在生活中的各种帮助，谨向关心、帮助 过我的老师、同学和朋友们表示由衷的感谢! 感谢南京林业大学对我的培养，祝愿母校的明天更加美好! 胡风云 2 0 0 9 年4 月 第一章绪论 在现代工业生产中，过程质量控制分析是保证产品质量，调节生产参数的关键，在工 厂的监测分析中占有很大比重。但是，目前所采用的传统分析手段大多复杂、耗时，不能 满足生产快速反应的要求，成为实现自动化生产的“瓶颈”。近几年来迅速发展起来的近 红外分析方法成为解决这一问题的主要手段，它快速、简便，能在几秒内到几分钟内，仅 通过对样品的一次简单测量，就同时测定一个样品的几种甚至几十种物理性质或含量数 据，而且被测样品用量很少，无破坏，无污染，很适合在线检测。 1 1 近红外分析技术 近红外光谱( n e a r - i n f r a r e ds p e c t r o s c o p y ，n i r ) 是介于可见光i s ) 和中红外光( m i r 或 i r ) 之间的电磁波，美国材料检测协会( a s t m ) 将近红外光谱区定义为波长7 8 0 2 5 2 6 n m 的 光谱区( 波数为1 2 8 2 0 3 9 5 9 c m d ) ，习惯上又将近红外区划分为近红外短波( 7 8 0 1l o o n m ) 和近红外长波( 11 0 0 2 5 2 6 n m ) p 眄个区域。近红外光谱根据其检测对象的不同，分成近红 外反射光谱( n i r ) 和近红外透射光谱( n i t ) 两种，n i r 正常的工作波长范围是l1 0 0 2 5 0 0 a m ；n i t 是根据透射与入射光强的比例关系来获得物质在近红外区的吸收光谱，其正常 的工作波长范围是8 5 0 1 0 5 0n n l 。近红外光谱技术主要是利用近红外光包含有的物质信息 进行分析的一种技术，进入2 0 世纪9 0 年代其发展速度非常迅速，现已成为当今科学界的 热门研究课题之一1 2 j 。 近红外光谱分析技术的发展经历了以下几个主要阶段。1 8 0 0 年h e r s c h e l 第一次发 现了近红外区域p j 。1 9 世纪末，a b n e y 和f e s t i n g 在近红外短波区域首次记录了有机化 合物的近红外光谱【4 】。1 9 2 8 年b r a c k e t t 5 】测得第一张高分辨率的n i r 图，并对有关基团 的光谱特征进行了解释。由于缺乏可靠的仪器基础5 0 年代以前，近红外光谱的研究只限 于为数不多的几个实验室中，而且没有得到实际应用。5 0 年代中期k a y e 6 j 首先研制出能 准确得到n i r 光谱的仪器一些公司也相继开发了商业化的仪器。n o r r i s 等人在近红外光 谱漫反射技术上所做的大量工伊7 1 ，掀起了近红外光谱应用的一个小高潮，近红外光谱分 析技术在测定农副产品的品质方面得到了广泛使用。进入6 0 年代中后期，由于经典近红 外光谱分析技术暴露出灵敏度低、抗干扰性差的弱点，加之各种新的分析技术的出现，使 人们淡漠了近红外光谱分析技术。8 0 年代以来，随着计算机技术的普及以及化学计量学 的应用，使分析工作者能更有效地处理大量光谱信息。近红外分析方法以其快速、准确、 简便的优势得到迅速发展。有关近红外分析方法的研究及应用的文献日益增长，近红外分 析方法被越来越多地应用于农业、医药、食品、石油化工【s 以l 】等各个领域，引起人们广泛 的重视。尤其是近十年来，随着光纤技术在近红外分析中的应用，实现了在线分析和对生 产过程的实时监控，取得了可观的经济效益，n i r 分析方法成为分析化学中的革命性技术。 1 2 近红外分析技术的分析原理 当一束红外单色光或复合光穿过样品时，如果被照射样品的分子选择性地吸收辐射光 中某些频率波段的光，则产生吸收光谱。分子吸收了光子后会改变自身的振动能态。近红 外光谱主要是由于分子振动的非谐振性使分子振动从基态向高能级跃迁时产生的。能量跃 迁包括基频跃迁对应于分子振动状态在相邻振动能级之间的跃迁、倍频跃迁对应于分子振 动状态在相隔一个或几个振动能级之间的跃迁和合频跃迁对应予分子两种振动状态的能 级同时发生跃迁。出现在近红外区的能量跃迁主要为倍频跃迁和合频跃迁。在近红外光谱 区能产生吸收的功能团主要是含氢基团，包括：c h ( 甲基、亚甲基、甲氧基、羧基和芳 基等) ，羟基o h ，巯基s h ，氨基n h ( 伯胺、仲胺、叔胺和铵盐) 等【1 2 】。 吸收光谱的定量分析是根据样品对某一谱区光吸收强度与吸光粒子( 低能态的分子或 原子) 之间的关系，并考虑到样品中吸光粒子数与样品粒子总数的关系来定量的。吸收光 谱定量的基础是比尔定律。 比尔定律，也称之为物质对光的吸收定律，简称吸收定律。比尔定律的表达式为： 止。g 毒硝c ， 其中：，。为波长入的平行、均匀入射光束强度；i 为透过溶液后的光束强度；a 为吸 光度；为待测组分的摩尔吸光系数；b 为光程；c 为待测组分的物质的量浓度。 比尔定律可表述为：对一定波长的单色光，物质的吸光度a 与光程b 及浓度c 成正 比，比例常数称为吸光系数，它与所用的浓度单位有关。单波长点的吸光度，其信息量较 小，可用于对已知组分的定量分析；由各波长点的吸光度组成的光谱，其信息量较大。吸 光度a 是一个多元函数，确定的( 对一定波长的光与物质) 可以得到a c 的线性关系， 即定量分析的工作曲线，用于定量分析：对于定的b 和c ，a 入间的关系即组分的一维 吸收光谱，用于定性分析。 获得近红外光谱主要应用两种技术：透射光谱技术和反射光谱技术。透射光谱f 波长 一般在7 0 0 1 1 0 0 n m 范围内) 是指将待测样品置于光源与检测器之间，检测器所检测的光 是透射光或与样品分子相互作用后的光( 承载了样品结构与组成信息) 。若样品是混浊的， 样品中有能对光产生散射的颗粒物质，光在样品中经过的路程是不确定的，透射光强度与 样品浓度之间的关系不符合比尔定律。对这种样品应使用漫透射分析法。反射光谱f 波长 一般在1 1 0 0 2 5 0 0 r i m 范围内) 是指将检测器和光源置于样品的同一侧，检测器所检测的是 样品以各种方式反射回来的光。物体对光的反射又分为规则反射( 镜面反射) 与漫反射。规 则反射指光在物体表面按入射角等于反射角的反射定律发生的反射；漫反射是光投射到物 体后( 常是粉末或其它颗粒物体) ，在物体表面或内部发生方向不确定的反射。应用漫反射光 进行的分析称为漫反射光谱法。 漫反射光谱是分析与样品内部分子发生作用的光，负载了样品的结构和组成信息。固 体样品亦可进行漫透射光谱分析，透射光也负载有样品的结构和组成信息。在漫反射或漫 透射过程中，样品与光的作用有多种形式，除样品组成外，其粒径大小与分布及形状均对 漫反射光强度有一定影响，因此，漫反射不遵守比尔定律，而遵守k u b e l k a m u n k ( k m ) 方程： - - 。_ _ _ _ _ - _ - _ _ _ _ _ _ _ - _ _ - _ _ _ - 。_ _ - 。_ - _ _ _ 。一 r 。= l + k s 一、( k s ) 2 + 2 ( k s ) ， ( 1 2 ) f ( r 。) 三( 1 一尺。) 2 ( 2 r 。) = k s ( 1 3 ) 式中，尺。是样本厚度无穷大时的绝对漫反射率，k 是吸收系数，s 是散射系数。 对某一样品组分，当各样品间散射系数s 一定时，在某一波长处，f ( r 。) k ，可 得k - m 函数与浓度的关系： f ( r 。) = k s = e c s = b c ( 1 4 ) 式中：b 为常数，与样品摩尔吸光系数及光程等有关；c 为样品组分浓度。即k m 函数与样品浓度之间的关系与比尔定律一样，是正比关系【1 3 】。 1 3 近红外分析技术的特点 近红外光谱技术之所以成为一种快速、高效、适合过程在线分析的有利工具，是由其 技术特点决定的。近红外光谱分析的主要技术特点如下： ( 1 ) 分析速度快。光谱的测定过程大多可在l m i n 内完成( 多通道仪器可在1 s 之内完 成) 。 ( 2 ) 分析效率高。通过一次光谱测量和已建立的相应校正模型，可同时对样品的多个 组分或性质进行测定，提供定性、定量结果。 ( 3 ) 适用的样品范围广，通过相应的测样器件可以直接测量液体、固体、半固体和胶 状体等不同物态的样品，光谱测量方便。 ( 4 ) 样品一般不需要预处理，不需要使用化学试剂或高温、高压、大电流等测试条件， 分析后不会产生化学、生物或电磁污染。 ( 5 ) 分析成本较低( 无需繁杂预处理，可多组分同时检测) 。 ( 6 ) 测试重现性好。由于光谱测量的稳定性，测试结果很少受人为因素的影响。 ( 7 ) 对样品无损伤，可以在活体分析和医药临床领域广泛应用。 ( 8 ) 便于实现在线分析。近红外光在普通光纤中具有良好的传输特性，从而实现远程 分析检测。 ( 9 ) 对操作人员的要求不苛刻，经过简单的培训就可胜任工作。 当然伴随着以上优点，近红外光谱分析技术也存在着一下的局限性： 近红外光谱分析技术必须用相似的样品先建立一个稳健的模型才能快速得到分 析结果，二模型的建立需要投入一定的人力、财力和时间。对于经常性的质量控制是十分 经济且快速，但并不适用于偶然做一次的分析工作。 物质一般在近红外区的吸收系数小，因此对痕量分析并不适用。 1 4 近红外分析中的化学计量学方法 由于近红外光谱为某些基团的倍频和合频的吸收，吸收信号的信噪比比较低，导致了 分析灵敏度较低，某些低含量组分分析的准确度不高。为了尽量多地利用近红外光谱中有 用信息对样品进行分析，化学计量学被应用到近红外光谱分析中解决分析中的关键问题。 化学计量学是- - f - j 关于计算机、数学及统计分析技术在化学中的应用的科学。光谱化 学计量学软件是现代近红外光谱分析技术的一个重要组成部分，采用多变量校正技术来进 行数据处理，能获得准确可靠的分析结果。近红外光谱中化学计量学方法的研究主要涉及 三个方面的内容 1 4 15 1 ： 谱图预处理近红外光谱仪所采集的原始光谱中不但包括与物质化学结构相关 的信息，还包括其它干扰因素所产生的信号，这些信号的存在会影响测定的准确性和重复 性。谱图预处理旨在采用数学方法将这些非信息因素降至最小，从而提高模型的准确性及 可靠性。谱图预处理主要包括选择合适的分析波长区间，对光谱进行校正，去除背景和共 存组分的干扰等，从而提高信噪比。 由于仪器、样品背景及其它因素的影响，近红外分析中常会出现谱图基线的漂移和倾 斜现象，使待测性质相关的信息很难凸现出来，从而对建模造成一定的困难。最常用的预 处理方法是平滑处理和基线校正。在光谱信号处理中，平滑是滤除噪音最常用的方法，有 关平滑处理的数学方法有很多，如傅里叶变换、奇异值分解及其它方法，但最常用和最有 效的方法还属卷积平滑法。平滑处理时应注意窗口大小的选择，窗口过大，可能丢失有用 信息，过小则达不到理想的滤噪效果。基线校正常用的解决方法是对光谱进行微分处理， 一阶微分处理主要解决基线的偏移，二阶微分处理主要解决基线的漂移。此外还有多元信 号校正( m u l t i p l es i g n a lc o r r e c t i o n ，m s c ) 、正交信号校正( o r t h o g o n a ls i g n a lc o r r e e t i o n ， o s c ) 等。 建模由于近红外光谱信号较弱，光谱干扰严重，很难像其它光谱定量分析方法 那样进行分析测定，必须充分利用各个波长范围的有用信号进行分析。为了达到这个目的， 近红外光谱分析发展了利用数学模型来进行定性和定量分析的方法。通过大量样品的被测 组分和近红外光谱的测定，用化学计量学方法建立数学模型( 相当于传统定量分析的标准 曲线) ，再利用模型对未知样品进行定性和定量分析。 定性分析中常用的判别方法有主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) ， m a h a l a n o b i s 距离( m d ) 或n o r m a l i z e d 距离，模式识别( p a t t e r nr e c o g n i t i o n ) 和人工神 经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 等也得到越来越多的应用。定量分析中常用的 各种多变量校正技术有：偏最小二乘法( p a r t i a ll e a s ts q u a r e s ，p l s ) 、主成分回归( p r i n c i p a l c o m p o n e n tr e g r e s s i o n ，p c r ) 、多元线性回归( m u l t i p l el i n e a rr e g r e s s i o n ，m l r ) 、拓 扑( t o p o l o g y ) 和人工神经网络等。 模型传递技术近红外分析中所建立的模型往往耗资巨大，所以希望模型库能够 实现共享，以节省建模费用。另外，仪器元件的更换及长期使用都可能造成仪器状态在某 种程度上出现差异，因此要求模型在这种状态下仍能可靠使用。模型传递技术就是通过数 4 学方法，消除不同仪器之间或不同仪器状态之间的差异，使模型能够在多台仪器上长期使 用。 模型传递技术分为有标传递和无标传递两种方式。有标传递中p d s ( p i e c e w i s ed i r e c t s t a n d a r d i z a t i o n ，分段直接传递) 的传递效果最好，需要的定标样品较少。无标传递技术 主要有f i r ( f i n i t ei m p u l s er e s p o n s e ，有限响应脉冲) 方法。 1 5 近红外技术在造纸工业中的应用 进入2 0 世纪9 0 年代n i r 作为- - i - 1 现代测试技术已基本成熟，其应用领域迅速扩大， 从最初的食品行业和检测领域，迅速渗透到农业、石油、化工、环境、生化、医药、医学 等行业。在工艺控制、产品质量分析检测方面发挥了突出的作用，并创造了巨大的经济效 益，在过程控制方面获得了广泛成功。而n i r 在造纸工业中的运用尚处于探索和实验阶段。 在制浆造纸工业中，虽然依靠提供优质的纤维原料和改进制浆造纸工艺来促进生产， 但是随着世界范围内浆和纸的产量和质量的不断增长还必须运用新型的过程分析仪器和 传播器来指导和控制生产。随着n i r 技术和光谱数据处理软件的发展，促进了其在制浆 造纸过程中的应用。其应用主要体现在以下方面【1 6 】： 确定纸浆中针叶木的含量。 测量混合木浆的卡伯值。 测量蒸煮锅喷放管线中纸浆的k n o ( 卡伯值的对数) 。 测量纸页的水分和纸板的质量。 检测木纤维中的蜡和苯酚树脂含量。 检测干木浆中的木素含量。 检测涂布纸的涂布层。 由上述可见，近红外光谱在制浆造纸行业应用广泛，具有很好的应用前景。特别是将 近红外光谱用于测定纸浆中木素含量或卡伯值，近年来已成为国际上制浆造纸行业分析测 试领域的热门话题。 蒸煮是制浆过程中的一个重要步骤，但蒸煮粗浆质量波动大、得率低，能耗和化学品 消耗高等问题，是制浆造纸自动化中较薄弱的一个环节。由于蒸煮过程反应机理复杂，影 响产量和质量的因素很多，如原料的种类、水分及化学成分等，而这些因素的在线测量都 比较困难。 纸浆的卡伯值是蒸煮过程中一个重要指标，通过对卡伯值的精确控制，能获得较好的 经济效益。目前的蒸煮过程大多采用h 一因子或h 因子与有效碱相结合的方法，来实现蒸 煮过程中纸浆卡伯值的软测量，进而进行蒸煮终点的预报等，但这仅仅是一个简单的开环 前馈控制。为了对蒸煮过程实现更好的闭环反馈控制，就必须实现纸浆卡伯值的直接在线 测量。卡伯值的在线分析和控制是化学制浆中最困难和最有经济潜力的。目前，国内利用 n i r 对蒸煮过程中纸浆卡伯值的在线测量研究已却得初步进展【1 7 】。 1 6 近红外分析技术尚存在的问题 就当前国内外近红外光谱分析的研究现状而言，虽然近红外光谱分析技术的研究领域 非常广泛，相关的研究论文和报道也比较多，但是能够成功地解决实际测量中的技术难题， 实现良好应用的案例并不多。目前，这些关键的技术基础问题尚未得到彻底解决，严重阻 碍着近红外光谱分析技术的进一步应用和发展。 近红外光谱分析技术面临的问题主要包括以下几点： ( 1 ) 由于近红外光谱区包括含氢基团不同级别的倍频和不同形式组合的合频吸收， 所以与中红外光谱相比，其谱峰较宽，谱峰重叠严重，而且吸收强度较弱，光谱的信噪比 低。因此，如何从复杂、重叠的光谱中提取微弱的化学成份变化信息，提高测量精度，是 近红外光谱分析技术中的一个技术难点。 ( 2 ) 近红外光谱容易受到测量条件( 如温度、仪器) 、样品状态等外界因素的影响， 引起以系统误差为主的光谱不确定性。例如影响近红外吸收峰位置的因素就有很多，如氢 键的影响、温度的变化。另外，很多其它干扰信息，如样品粒度、均匀性、松紧程度等引 起的光谱变化都会被加载到样品的近红外光谱上。这些都使近红外光谱解析更加复杂化。 ( 3 ) 近红外光谱分析技术的应用需要化学计量学方法与检测技术、分析仪器等专业 知识的紧密结合。然而目前理论研究与实际测量应用严重脱节，建模方法的设计与优化均 缺乏物理依据和理论指导。近红外光谱的分析应该进一步从化学结构信息和数学建模方法 两个角度综合提取模型的有用信息，消除无关因素的影响，从而提高校正模型的稳健性和 解释性。 ( 4 ) 由于近红外光谱分析技术为“黑匣子分析技术，化学计量学模型比较复杂、 抽象，物理意义不明确，因此需要对数学模型中重要的品质因数的意义进行分析，以帮助 明确影响系统构成的主要因素和系统特征，并可以判断近红外光谱测量过程是否受到外界 干扰因素的影响，建立的模型是否与待测成分的性质真正相关，为测量结果的误差分析和 测量方法、测量条件的优化提供物理依据。 1 7 论文主要研究内容 针对近红外光谱分析技术的研究现状，本文通过对小波变换和遗传算法作为新的光谱 预处理方法的研究，为近红外光谱分析提供了新的方法，为建立更优秀的模型开辟了新的 途径。 本文研究的主要内容如下： ( 1 ) 小波变换在n i r 建模预处理中的应用 通过小波变换的理论分析，可以看到小波变换的作用主要体现在滤波、基线校正和数 据压缩等方面。滤波和基线校正的处理，可以使光谱的建模效果有很大的提高；利用小波 系数进行建模，可以大幅度降低建模数据维数，节省建模时间，同时对建模的效果也所提 6 高。 ( 2 ) 遗传算法的应用 遗传算法作为众多优化算法中的一种，在很多方面都得到了广泛应用。算法中染色体 的编码方法在对光谱进行特征区间和特征波长选择时，显得更为有效、简洁。本文把光谱 分为若干区间，利用g a 选择出特征区间，然后再利用选择出的光谱数据进行建模。这样， 不仅建模的数据维数大幅降低，也使建模的效果得到很大提高。另一方面，也利用g a 对 小波系数进行提取，得到数目更少的特征系数，再进行建模。此有限个的系数可以作为神 经网络建模输入层，为以后研究神经网络建模打下基础。 2 1 优化问题简介 第二章优化算法知识介绍 优化是一个古老的问题，在理论研究与过程实际中都不断出现，它研究数学上定义的 问题的最优解，对于实际的问题，从众多的方案中选出最优方案。优化方法具有很长的历 史，早在1 7 世纪，牛顿在发明微积分的时代，就提出了极值问题，求极值就是最基本的 优化方法之一。1 8 4 7 年，c a u c h y 研究了函数值沿什么方向下降最快的问题，提出了最速 下降最优化方法。到了1 9 世纪4 0 年代，一方面，生产实际中涌现出许多复杂的优化问题， 比如大规模线性规划问题，需要快速而实用的算法；另一方面，随着泛函分析的逐渐发展， 为优化方法奠定了坚实的理论基础。之后计算机开始出现并用于实际问题，使各种优化算 法的实现具有更为便捷和快速的工具，这些因素促使优化逐渐发展为一门学科【l 弘1 9 】。随 着人类生存空间的扩大，以及认识世界视野的扩宽和改造世界要求的深入，从理论研究和 工业生产中产生了越来越多的更加复杂的优化问题，这些问题通常具有如下的特点： 1 优化问题的对象涉及到很多因素，导致目标函数的自变量维数很多，常常达到数十 维甚至上百维，使得计算量大大增加。 2 问题本身的复杂性导致目标函数是非线性的，同时，还具有如下性质：比如有些函 数不可导、不连续，某些极端情况下甚至函数本身不能用解析式表达，函数值只能通过一 些步骤和程序得到。 3 目标函数在待优化区域内具有多个极值点，函数的空间形状非常复杂。 在优化问题中出现以上因素时，会大大增加优化问题的困难程度，传统的优化方法很 难奏效，因此必须结合其他的方法来解决。白二十世纪七十年代以来发展的一些非传统的 优化方法，这些方法都是根据某些物理或生物现象的启发而设计的，这些方法主要包括遗 传算法( g e n e t i ca l g o r i t h m s ，g a ) 、模拟退火( s i m u l a t e da n n e a l i n g ，s a ) 、蚁群优化算 法( a n tc o l o n yo p t i m i z a t i o n ，a c o ) 、禁忌搜索( t a b us e a r c h ，t s ) 以及粒子群算法( p a r t i c l e s w a r mo p t i m i z a t i o n ，p s o ) 等。 2 2 模拟退火算法 模拟退火算法的基本思想来源于固体的退火过程。该思想最早由m e t r o p l i s 于1 9 5 3 年提出的，但当时没有得到科学界的足够重视。直到1 9 8 3 年k i r k p a t r i c 及其合作者认识 到固体退火过程与组合优化问题之间的相似性，并提出了模拟退火的迭代算法之后，该方 法才得到了重视，并发展成为一种重要的全局优化算法 2 0 1 。s a 算法是局部搜索算法的扩 展，它不同于确定性局部优化算法之处主要在于它以一定的概率选择领域中比当前解更差 的解。 退火是一个物理过程，金属物质( 晶体结构) 加热到熔化状态，它的所有分子在状态 空间中自由运动，若再将其冷却至凝固状态，则随着温度的降低，分子逐渐停留在不同的 状态，到达温度最低时，分子重新以一定的结构排列。如果温度下降很快，冷却体中会出 现不规则的晶体结构，而这种不规则的晶体结构的能级要比完美晶体结构高得多。如果温 度下降很慢，温度在足够长的时间内稳定在一个水平，以使晶体能到达所处环境的热平衡， 那么它的最终能级将最小。 统计热力学表明，在温度t ，分子停留在状态r 的概率符合b o l t z r n a n n 分布，即 p r 谚= e ( ，) ) = 熹e x p ( 掣) ( 2 1 ) 厶i , lj 托 其中，e ( r ) 为状态r 的能量，k 为b o l t z m a n n 常数，z ( 7 ) 为概率分布的标准化因子。 模拟退火算法是将优化问题比做一个物理系统，将优化问题的目标函数f ( x ) 比做物 理系统的能量e ( x ) 。该算法属于迭代算法，它从某一较高温度t 开始，通过模拟物理系 统逐步降温达到最低能量状态的退火过程来完成优化。 模拟退火算法的基本过程如下： ( 1 ) 给定初始温度瓦及初始可行点x ，计算该点的函数值f ( x ) ； ( 2 ) 随机产生一个可行点石，计算a f = f ( x ) 一f ( x ) ； ( 3 ) 若0 ，则接受新点作为下一次模拟的初始点； a ， ( 4 ) 若鲈 0 ，则计算新接受概率p ( 鲈) = o x p ( 等) ，产生 o ，1 】区间上均匀分布的伪 托 随机数r ， 0 ，1 ，如果，尸( a f ) ，则接受新点作为下一次模拟的初始点；否则放弃新 点，仍取原来的点作为下一次模拟的初始点。 以上步骤成为m e t r o p o l i s 过程。以一定的方式逐步降低温度，重复m e t r o p o l i s 过程， 将构成模拟退火算法。当系统的温度足够低时，即认为达到了全局最优状态。 2 3 禁忌搜索 禁忌搜索( t s ) 的思想由g l o v e r 在1 9 8 6 年首次提出【2 1 1 ，是人工智能在组合优化问 题中的成功应用，已被运筹学家广泛应用。t s 算法的特点是采用了禁忌技术，即禁止重 复前面的工作，它通过一个禁忌表记录下已经到达过的局部最优点，在下一次搜索中，利 用禁忌表中的信息不再或者有选择地搜索这些点，以跳出局部最小，t s 是一种人工智能 的方法。相对于模拟退火和遗传算法，t s 是又一种搜索特点不同的现代启发式 ( m e t a - h e u r i s t i c ) 算法，迄今为止，t s 算法在组合优化、生产调度、机器学习、电路设 计和神经网络等领域取得了很大的成功，近年来又在函数全局优化方面得到较多的研究， 并大有发展的趋势。 禁忌搜索是人工智能的一种体现，是局部邻域搜索的一种扩展。禁忌搜索最重要的思 想是标记对应已搜索到的局部最优解的一些对象，并在进一步的迭代搜索中尽量避开这些 对象( 而不是绝对禁止循环) ，从而保证对不同的有效搜索途径的探索。禁忌搜索涉及到 邻域( n e i g h b o r h o o d ) 、禁忌表( t a b ul i s t ) 、禁忌长度( t a b ul e n g t h ) 、候选解( c a n d i d a t e ) 、 藐视准则( a s p i r a t i o nc r i t e r i o n ) 等概念。 组合优化是t s 应用最多的领域。置换问题，如t s p 、调度问题等，是一大批组合优 化问题的典型代表，在此用它来解释禁忌搜索算法的思想和操作。对于n 元素的置换问题， 其所排列状态数为，z ! ，当n 较大时搜索空间的大小将是天文数字，而禁忌搜索希望仅通过 搜索少数解来得到满意的优化解。 简单禁忌搜索算法的步骤可描述如下： ( 1 ) 给定算法参数，随机产生初始解，置禁忌表为空。 ( 2 ) 判断算法终止条件是否满足。若是，则结束算法并输出优化结果；否则，继续 以下步骤。 ( 3 ) 利用当前解x 的邻域函数产生其所有，或若干邻域解，并从中确定若干候选解。 ( 4 ) 对候选解判断特赦准则是否满足，若成立，则用满足特赦准则的最佳状态y 替 代x 成为新的当前解，即x = y ，并用与y 对应的禁忌对象替换最早进入禁忌表的禁忌对象， 同时用y 替换“b e s ts of a r ”状态，然后转至步骤6 ；否则，继续下一步骤。 ( 5 ) 判断候选解对应的各对象的禁忌属性，选择候选解集中非禁忌对象所对应的最 佳状态为新的当前解，同时用与之对应的禁忌对象替换最早进入禁忌表的禁忌对象元素。 ( 6 ) 转至步骤( 2 ) 。 我们可以明显地看到，邻域函数、禁忌对象、禁忌表和藐视准则，构成了禁忌搜索算 法的关键。其中，邻域函数沿用局部邻域搜索的思想，用于实现领域搜索禁忌表和禁忌对 象的设置，体现了算法避免迂回搜索的特点；藐视准则，则是对优良状态的奖励，它是对 禁忌策略的一种放松。需要指出的是，上述算法是禁忌搜索的一般框架，对各关键环节复 杂和多样化的设计则可构造出各种禁忌搜索算法。同时，算法流程中的禁忌对象，可以是 搜索状态，也可以是特定搜索操作，甚至是搜索目标值等。 同时，与传统的优化算法相比，t s 算法的主要特点是： ( 1 ) 在搜索过程中可以接受劣解，因此具有较强的“爬山”能力； ( 2 ) 新解不是在当前解邻域中随机产生，而或是优于“b e s ts of a r 的解，或是非禁 忌的最佳解，因此选取优良解的概率远远大于其他解。 由于t s 算法具有灵活的记忆功能和藐视准则，并且在搜索过程中可以接受劣解，所 以具有较强的“爬山”能力，搜索时能够跳出局部最优解，转向解空间的其他区域，从而 增强获得更好的全局最优解的概率，所以t s 算法是一种局部搜索能力很强的全局迭代寻 优算法。但是，t s 也有明显的不足，即( 1 ) 对初始解有较强的依赖性，好的初始解可使 在解空间中搜索到好的解，而较差的初始解则会降低t s 的收敛速度；( 2 ) 迭代搜索过 程是串行的，仅是单一状态的移动，而非并行搜索。为了进一步改善禁忌搜索的性能，一 方面可以对禁忌搜索算法本身的操作和参数选取进行改进，另一方面则可以与模拟退火算 法、遗传算法、神经网络以及基于问题信息的局部搜索相集成。 1 0 2 4 蚁群优化算法 蚁群优化算法( a c o ) 由d o r i g o 于1 9 9 1 年首次提出 2 2 】，用于组合优化问题，该算 法在旅行商问题( t s p ) 上取得巨大成功。蚁群算法是受到对真实蚁群的觅食行为的研究 的启发而提出的，生物学研究表明一群互相协作的蚂蚁能够找到食物源和巢之间的最短路 径，而单只蚂蚁却不能。生物学家通过大量细致的观察研究表明，蚂蚁个体之间是通过一 种称之为信息素的物质进行信息传递的，蚂蚁在运动过程中，能够在它所经过的路径上留 下信息素，蚂蚁在运动过程中能够感知这种信息素，并根据信息素的浓度来选择自己的行 走路径。一条路上的信息素越浓，其它蚂蚁将以越高的概率跟随此路径，从而该路径上的 信息素将被进一步加强，因此，大量蚂蚁的集体行为表现出一种信息正反馈现象某一路径 上所走过的蚂蚁越多，则后来者选择此条路径的概率也就越大。 作为分布智能体的人工蚂蚁除了能根据人工信息素轨迹的指引进行寻优外，还能充分 利用基于问题的启发式信息，另外，蚁群优化算法还有两个重要的机制：信息素挥发和后 台行为。遗忘是一种高级的智能行为，作为遗忘的一种形式，路径上的信息素随着时间不 断挥发将使人工蚁能够探索新的空间，从而避免求解过程陷入局部最优解。后台行为包括 近邻搜索过程及问题全局信息的收集等，蚁群优化算法是一种基于种群的构造型启发式优 化方法，这种构造型的方法如果与改进型方法( 如近邻搜索、禁忌搜索等) 相结合，能产 生更好的优化结果此外，通过在解构造过程中动态收集基于问题本身的启发式信息，将引 导蚁群在高质量的问题空问中进行精细的搜索，从而产生更好的解。 在蚁群优化算法中，人工蚂蚁相互协作地在问题的解空间中搜索优质的解，这些人工 蚂蚁按照人工信息素踪迹和基于问题的启发式信息的指引在问题空间中概率移动，从而构 造出问题的解，算法的主要步骤可描述如下： ( 1 ) 设置参数，初始化信息素踪迹和启发式信息； ( 2 ) 判断算法收敛准则是否满足，若满足，则输出优化结果，否则重复下述操作； ( 3 ) 对蚁群中的每只蚂蚁，重复( 4 ) ( 6 ) ； ( 4 ) 对每个解构造步，重复( 5 ) ( 6 ) ； ( 5 ) 按照信息素和启发式信息的指引构造一步问题的解； ( 6 ) 进行信息素局部更新( 可选) ； ( 7 ) 进行后台操作，如紧邻搜索、禁忌搜索( 可选) ； ( 8 ) 根据已获取的解的质量进行全局信息素更新。 蚁群算法是基于生物蚁群系统的集体觅食行为而发展起来的一类仿生优化算法，因此 算法必然带有真实蚁群系统的许多优点，总结如下： ( 1 ) 并行分布式计算 所有蚂蚁独立、无监督的同时搜索解空间中许多点，非常适合于并行实现，因此本质 上是一种高效的并行搜索算法。蚁群算法的分布计算特点表现在两个方面，一是信息素分 布在构造图的各条边上，每一只蚂蚁根据当前所在点的信息素情况构造解，不需要控制中 心；另一方面，在一只或者几只蚂蚁个体停止工作时，整个蚁群系统仍然能够保持正常功 能，因此算法具有较强的鲁棒性。 ( 2 ) 强大的全局寻优能力 使用随机生成的蚂蚁群体而不是单只蚂蚁，使得算法找到全局最优解的概率增加；另 外，使用概率规则而不是确定性规则指导搜索，使得算法能够逃离局部最优。而传统优化 算法对初值、迭代步长的选择较敏感，一旦陷入局部最优就很难逃离。 ( 3 ) 适应性强 蚁群算法对搜索空间没有任何特殊要求，如目标函数的连续性、可导性以及目标函数 和约束函数的精确数学描述。 ( 4 ) 易于与其它算法结合 蚁群算法解的构造过程是逐步完成的，在这个过程中可以方便地结合该领域的先验知 识。蚁群算法的解构造机制还有一个非常好的优点，就是能够方便地处理约束条件，蚂蚁 可以在解构造过程中动态的调整下一步可访问的节点从而保证解的可行性，而处理复杂约 束条件则是遗传算法的一个薄弱环节。 在蚁群算法取得成功的同时，也存在如下的缺点： ( 1 ) 算法搜索时间较长 算法的计算复杂度主要在解构造过程，比如t s p 问题为o ( i t e r ，；，y ) ，其中i t e r 为算法 迭代次数，为城市的数量，y 为蚂蚁的数量。通常选择y = 札，因此随着问题规模的 增大，算法消耗的时间将以三次幂的速度增加。此外，信息素初期积累时间过长也是导致 算法消耗时间较长的原因