（控制科学与工程专业论文）柴油十六烷值近红外机理模型开发.pdf

摘要 十六烷值是反映柴油燃烧性能的一项重要指标，目前对十六烷值的预测方法有多 种，近红外光谱分析方法作为预测油品物性的方法之一，具有快速、无污染、安全等优 点。本文基于近红外光谱分析技术，对柴油十六烷值性质的机理预测模型进行了开发。 本文对柴油十六烷值性质进行了详细的分析，研究了在柴油烃类族组成中，与十六 烷值性质相关的结构基团以及它们对十六烷值性质产生的影响，结合近红外光谱分析技 术，利用二阶微分、二维相关光谱等方法提取出了相关基团的近红外光谱信息，提出了 三种基于十六烷值与基团光谱信息的机理函数模型思想，模型包括两个线性模型和一个 非线性模型，采用l m 算法来估测模型参数。选用一组柴油光谱和性质数据作为预测样 本，分别建立了偏最小二乘( p l s ) 模型和三种机理模型对样本十六烷值性质进行预测， 机理模型分别采用相关基团的十一点和十四点光谱吸收信息。仿真实验研究表明，由于 非线性机理模型的变量均与十六烷值性质相关，不包含冗余信息，且能够反映性质与烃 组分的非线性关系，所以预测效果最好，较传统的p l s 统计模型具有更高的预测精度， 且无需进行光谱数据进行预处理，简化了建模过程。 关键词：近红外，结构基团，十六烷值，机理模型，开发 t h ed e v e l o p m e n to fam e c h a n i s mm o d e lo fn e a r - i n f r a r e df o rc e t a n e n u m b e rp r e d i e t i o n w a n gq i y u n ( c o n t r o ls c i e n c ea n de n g i n e e r i n g ) d i r e c t e db yp r o f x i ab o k a i a b s t r a c t c e t a n en u m b e ri sa ni m p o r t a n ti n d e xw h i c hr e f l e c t sb u r n i n gp e r f o r m a n c eo fd i e s e l t h e r ea r ea l r e a d ym a n ym e t h o d sf o rc t e t a n en u m b e rp r e d i c t i o ni nn o w a d a y s n i rt e c h n o l o g y , a so n eo ft h em e t h o d sf o rp r e d i c t i n gf u e lp r o p e r t i e s ，h a st h ea d v a n t a g eo fq u i c k ，n o n - p o l l u t i o n a n ds a f e t y t h i sp a p e rd e v e l o p sam e c h a n i s mm o d e lw h i c hi su s e dt op r e d i c tc no fd i e s e l f u e lb a s e do nn i rs p e c t r o s c o p yt e c h n o l o g y t h ep a p e rc o n d u c t sad e t a i l e da n a l y s i ss p e c i f i ct oc np r o p e r t y , r e s e a r c has e r i e so fc - h g r o u p sr e l a t e dt oc np r o p e r t yi n c l u d e di nh y d r o c a r b o n sc o m p o n e n t so fd i e s e lf u e l ，a n da l s o s t u d yt h ea f f e c tc hg r o u p sc a u s e dt oc np r o p e r t y m e a n w h i l e ，t h i sp a p e re x t r a c t st h en i r a b s o r bi n f o r m a t i o no fr e l a t e dg r o u p sb yu s i n gt h em e t h o d so fs e c o n dd i f f e r e n t i a la n d t w o - d i m e n s i o ns p e c t r o s c o p y , b r i n gu pt h r e em e c h a n i s mm o d e l sb a s e do nc e t a n en u m b e ra n d n i ri n f o r m a t i o ng r o u p sr e l a t e d t h em o d e l si n c l u d et w ol i n e rm o d e l sa n dan o n l i n e a rm o d e l ， a n dt h ep a r a m e t e r so ft h em o d e l sa r ee s t i m a t e db yl ma l g o r i t h m as e r i e so fs p e c t r o s c o p y a n dp r o p e r t i e sd a t ao fd i e s e lf u e la r ec h o o s e da ss a m p l ed a t a p l sm o d e la n dt h r e e m e c h a n i s mm o d e l sa r eb u i l tt op r e d i c tc e t a n en u m b e r t h et h r e em e c h a n i s mm o d e ls e p a r a t e l y s e l e c t s1la n d14p o i n t ss p e c t r o s c o p yd a t aa si n p u t t h es i m u l a t i o ne x p e r i m e n t ss h o w st h a t t h en o n l i n e a rm e c h a n i s mm o d e lg a i n sh i 曲e rp r e d i c t i v ea c c u r a c y ，b e c a u s ep a r a m e t e r si n n o n l i n e a rm e c h a n is mm o d e la r ea l lr e l a t e dw i t hc np r o p e r t y , s or e d u n d a n ti n f o r m a t i o ni s r e m o v e d m e a n w h i l e ，i tr e f l e c t st h er e l a t i o nb e t w e e nh y d r o c a r b o n sc o m p o n e n t sa n dc e t a n n u m b e r w h a t sm o r e ，m e c h a n i s mm o d e ln e e d n tt oc o n d u c td a t ap r e p r o c e s s i n gw h i c h s i m p l i f yt h ep r o c e d u r eo fb u i l d i n gam o d e l k e yw o r d s ：n e a ri n f r a r e d ，s t r u c t u r eg r o u p ，c e t a n en u m b e r , m e c h a n i s mm o d e l ，d e v e l o p 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：垂叁日期：幻7 d 年石月q 日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印刷版 和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅和 复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他 复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：垒鱼叁 指导教师签名：蓼虹 日期：助f o 年石月0 1 日 醐刎0 年们7 日 中国石油大学( 华东) 硕士学位论文 1 1 课题的背景与意义 第1 章绪论 汽车用柴油是柴油发动机汽车的专用燃料，柴油发动机和汽油发动机相比热效率高 2 5 - - - 4 0 ，且动力性能好、功率大、较汽油机清洁性好，因此，国内车用柴油的需求 量一直在迅速上升。柴油产品质量是好还是坏取决于它的燃烧性、氧化安定性和低温流 动性。为保证质量，我国对各类出厂柴油均制订了相应的国家标准【。而衡量柴油燃烧 性能的主要指标是十六烷值，所以能够准确的测定出油品的十六烷值对油品性能的定位 有很重要的意义。 柴油十六烷值的定义就是把纯正十六烷( 正十六烷浓度为1 0 0 ) 的十六烷值定为 1 0 0 ，纯甲基萘( 甲基萘的浓度为1 0 0 ) 的十六烷值定为零，把它们以不同的比例混合 起来，由此可以得到十六烷值为0 至1 0 0 的不同抗爆性等级的标准燃料，并在单缸试验机 上与待测柴油做对比。一般低速柴油机要求柴油十六烷值在3 5 4 0 单位之间，转速在 1 0 0 0 1 5 0 0 转分之间的柴油机需要十六烷值在4 0 4 5 之间，而转速高于1 5 0 0 转分，要求 柴油的十六烷值为4 5 6 0 。 最原始的十六烷值的得出是用发动机法和实验室法来测定。发动机法是在试验机上 测定，常用的有同期闪火法、临界压缩比法、发火延迟时间法等。但是由于该标准试验 机价格很高，所以很多的小炼厂中很少配备该试验机；而在一些大型炼厂中，虽然具备 试验机，但是由于使用和维护的费用较高，所以一般每月很少用来测量，平时的时候多 采用十六烷指数来评价柴油的燃烧性能。实验室法是使用燃料的某些物理性质借鉴测 定，常用的有苯胺点法和柴油指数法等。而由于十六烷指数的影响因素较多，它与十六 烷值的对应关系往往随着油品组成的改变而变化，以致影响对油品燃烧性能的j 下确评 价。 鉴于以上测量技术的缺陷，一些高性能的十六烷值测量技术应运而生。其中近红外 光谱分析技术就是一种测量油品性质的有效手段，因为近红外光谱主要是含氢基团( c h ，o h ，n h ，s h ) 分子振动光谱的倍频和组合频谱吸收带，它包含了绝大多 数类型有机物组成和分子结构的丰富信息，不同的基团和同一基团在不同化学环境中的 第l 章绪论 吸收波长有明显差别，可以作为获取组成或性质信息的有效载体，而石油化工产品的主 要成分是各种烃类化合物，它们的主要官能团是c h ，因此特别适合近红外分析。近年 来，采用化学计量学方法建立的近红外分析方法，已经广泛用于油品组成及其物化性质 的快速测定。 运用近红外技术，通过光谱仪可以测得大量与柴油样本组成性质相关的近红外光谱 数据，然后用化学计量学方法对这些数据进行处理和分析，就可以预测出该柴油样本十 六烷值。用近红外光谱法测定十六烷值具有重复性好、测定速度快、分析成本低且不消 耗样本等优点，所以现代近红外光谱技术已经成为2 0 世纪9 0 年代以来发展最快、最引人 瞩目的光谱分析技术。 但是目前所使用的光谱信息是计算机从石油产品的近红外光谱图中，提取出来的表 征结构吸收基团特征的间接信息，不能像其它领域，比如像核磁共振波谱那样，能够确 定有机化合中所具有的不同结构基团种类，或者像色谱分析那样从吸收信息中对性质贡 献的量值深度来解释“构效关系”。它能够得到的是非常“模糊 的结构基团信息，我 们并不能够直接使用这些信息，只能知道进“黑匣子”的是含有石油产品结构基团信息 的近红外光谱谱图信息，出“黑匣子”的是所需要预测的石油产品性能，但是对黑匣子 中的中间运作过程一无所知，是一种“傻瓜 形式的分析，造成近红外光谱的这种分析 特征是因为光谱特征信息弱，谱带较宽，且互相重叠严重，许多化合物在整个近红外光 谱区都产生吸收，这样就使得光谱的辨析比较困难，不能够像中红外那样比较容易的确 定谱带归属。同时目前用近红外光谱测量技术来测定油品性质，都是采用全谱波长数据， 其包含大量冗余信息，影响建模效掣到。 由于十六烷值与柴油组分的构成信息密切相关，柴油的近红外光谱吸收特征取决于 其各类烃基团的组成，但是各基团的量以及它们之间的连接状态又决定十六烷值，因此 可以通过直接关联来研究十六烷值与各类烃基团组成的关系。根据十六烷值和柴油组分 的性质关系，结合近红外光谱分析技术，先做分析然后挑选出有用的波长信息，然后建 立具有机理分析的预测柴油十六烷值性质的近红外光谱模型，将会大大减少所需测量的 光谱信息，并且能够对十六烷值与柴油内部基团的机理关系有所了解。这将会使近红外 光谱分析技术在十六烷值性质的检测方面取得巨大的进步。本课题就是进行此方面的研 究。 2 中国石油大学( 华东) 硕士学位论文 1 2 十六烷值性质预测技术现状 1 2 1 柴油十六烷值性质测量现状 要检测柴油的燃烧性能就必须检测柴油的十六烷值。国际上多采用a s t m d6 1 3 实 验方法，我国用g b t3 8 6 方法测定石化柴油的十六烷值，用这种方法测量性质数据需要 大量的油样和较长的实验时间，并且试验机价格昂贵，因此这种方法不能用于在线测量， 同时费时费力。另种方法是用十六烷指数作为技术指标来代替十六烷值性质，它无需 直接通过试验机法来测定，而是通过大量实验建立十六烷值性质与柴油苯胺点、镏程、 密度等性质的经验关联式，然后代入测得的以上这些柴油物性实际数据来计算十六烷值 指数，当用于测定物性的柴油样品过少时，用十六烷值指数来估计柴油十六烷值是一种 有效的方法，但是在实际结果中存在一定偏差。 与此同时，人们还开发了大量的经验关联式，采用多种数据处理方法来估测十六烷 值，此方法是为了达到快速方便的目的。 国内方面，典型的有构建了十六烷值和柴油1 3 个烃组成含量的线性关联式【3 l ，以及 用拓扑指数法【4 j 采用了表示分子中碳原子个数、环数和碳链长度的拓扑指数，将其与 十六烷值进行了多项式拟合。另外还有运用近红外光谱分析技术，建立了十六烷值和1 1 个波长点的多重线性回归模型，以及基于最小二乘支持向量机的统计模型【5 】，另外也有 结合人工神经网络、小波分析等计量学方法建立十六烷值统计模型【6 】【7 1 。 国外方面，除了和以上国内相同的研究技术外，近两年还构造了十六烷值和各1 2 9 个柴油组分集总十六烷值、体积分数的分式关系式【8 】，以及运用反函数基础性质，构造 了十六烷值和碳原子数的定量构效关系式 9 1 ，模型都具有较好的稳定性，数据采集一般 都是用质谱、色谱等技术测出，关联出来的一般都是十六烷值和碳个数或碳键个数等的 函数。但这些关联式应用范围具有很大的局限性，它们只适用于特殊类别，具有相似性 质的油品。 1 2 2 近红外光谱分析技术研究现状 1 9 8 5 年，h o n i g s 等人详细的论述了近红外光谱分析的技术原理、应用领域等内容， 并且应用这一技术预测了一些混合烃的物理性质，达到了准确的预测效果 1 0 l 。由此开 始，近红外光谱分析技术开始应用于石油化工产品的性质预测、聚类分析等领域，同时 第l 章绪论 随着化学计量学的诞生和光谱仪器以及计算机水平的提高，近红外光谱分析技术更为广 泛的在工业领域得到的应用。 近几十年来，我国近红外光谱分析技术在石化领域发展最为迅速，目前这一技术已 较为广泛地应用于线过程分析中。在柴油方面，测定的物理性质有十六烷值、密度、凝 点、闪点等指标，涉及到的柴油类型有直馏、催化裂化等油品，化学组成包括详细族组 成、饱和烃、芳烃总量等。下表是利用近红外光谱分析技术能够分析预测的汽油和柴油 质量指标【l i 】。 表1 - 1 利用近红外光谱预测的汽油和柴油质量指标 t a b l e1 - 1p r o p e r t i e so fg a s o l i n ea n dd i e s e lp r e d i c a t e db yn e a ri n f r a r e ds p e c t r o s c o p y 燃烧性能 蒸发性能低温和流动性能组成 汽油辛烷值 馏程、闪点等雾点、黏度等芳烃、烯烃、烷烃、环烷 烃等 柴油十六烷值 凝点、黏度等 在石油产品物性的定量分析方面，目前的近红外光谱都是采用化学计量学方法来建 立模型。近红外光谱在预测这些燃料油性质质量指标的工作中，已经取得了较大的应用 进展，所建的统计模型都能够较为精准的预测出这些物性。徐广通，刘泽龙等使用偏最 小二乘的化学计量学方法测定了柴油的组成，结果表明利用所建模型测定的的性质指标 符合再现性要求【1 2 】。陈斌、王忠等通过分析润滑油的光谱信息随发动机工作时间的变 化，提出了用近红外光谱法预测润滑油使用时间的方法【l3 1 。徐广通，陆婉珍等通过已 经获得的柴油中芳烃含量的基础数据，采用近红外光谱分析技术测定了柴油中的芳烃含 量【1 4 j 。徐广通等考察了采用两种不同的红外光谱仪来测定预测柴油物理性质的可行性 【”】。王晓红建立了用支持向量机的方法结合近红外光谱分析技术和主成分分析，来测 定柴油凝点的预测模型【1 6 。姚肖刚，戴连奎等提出一种基于支持向量机和最小二乘， 同时结合近红外光谱分析技术来测定柴油十六烷值的方法，在模型的预测精度上比传统 的偏最小二乘等化学计量学方法有显著的提副1 。7 1 。 但是目前这些预测油品物性的近红外光谱模型都是傻瓜式的模型，只有简单的数据 输入和输出，而没有对模型的机理解释。这对了解建立模型所用的数据与被测油品物理 性质之间的关系毫无意义。在建立这样的模型过程中，往往需要运用大量的甚至是全谱 的样本光谱吸收数据，这些数据里面包含了大量的冗余和噪声信息，增加了建模过程的 负荷。并且所建模型对所测性质具有很大的局限性，不能实现模型问的有效传递。 中国石油大学( 华东) 硕士学位论文 1 3 本文主要内容 本文通过对近红外光谱分析技术和柴油十六烷值性质测量现状的分析研究，提出了 建立近红外机理预测模型的思想，并对柴油的十六烷值性质进行了预测，具体为以下几 个方面的内容： 1 第一章通过中外文献的阅读，介绍了课题的背景、意义及十六烷值性质预测技 术现状。较为系统的介绍了近红外光谱分析技术在油品物性测量方面的应用，以及十六 烷值的传统测量方法和标准。 2 第二章介绍了近红外光谱分析技术的理论基础，包括近红外光谱技术的工作原 理、振动模型及光谱吸收基本定律；分类介绍了常用的光谱预处理方法、异常样本剔除 方法以及传统的建模步骤和模型的验证标准。讨论了三种用于建模的常用的化学计量学 方法；同时还介绍了二维相关光谱分析技术的概念、数学原理和分析原则。 3 第三章进行了基于近红外光谱的柴油十六烷值性质机理分析，对十六烷值与柴 油烃组分的结构关系做了详细介绍；分析了柴油烃的主要结构基团以及在这些基团中， 对十六烷值性质产生影响的结构基团；确定了相关基团的近红外光谱吸收位置，并且利 用二维相关光谱分析技术进行光谱信息的提取；最后对基团所属烃类进行了归属分析。 4 第四章建立了十六烷值性质的传统统计模型和三种机理模型。通过一批柴油样 品及其十六烷值数据，根据以上章节中的机理分析，提出了预测十六烷值性质的机理模 型思想，由此建立了三种机理线性和非线性预测模型，并将这三种模型与传统统计模型 偏最小二乘( p l s ) 模型进行了比较，其中非线性机理预测模型取得了较好的预测效果， 且在模型性质方面，非线性机理模型更占具有优越性。 5 对本课题的研究内容和研究成果作了总结，阐述了课题研究过程中所存在的问 题以及发展方向。 第2 章近红外光谱技术基础 第2 章近红外光谱技术基础 2 1近红外光谱分析的适用范卧1 8 】 1 、可检测样品的物态 由于近红外光谱具有较强的穿透能力，因此近红外光谱分析可以对较广的物态进行 检测，具体的说它可以检测液体( 透明、不透明) 、固体、粉末、浆状、纤维等。 2 、应用场合 近红外光谱在农业中的应用最早。近年来，随着近红外光谱技术的发展，它的应用 已经扩展到其他许多领域，比如石油化工、高分子和有机化工、食品工业、纺织工业、 制药工业及医学药学等领域。应用范围十分广泛。 3 、测量的内容 近红外光谱分析技术主要是对样品进行定性和定量分析。定性方面比如区分形态相 似但物性不同的药品、油品等；定量方面比如测定油品的辛烷值、十六烷值、密度以及 物品的水分含量等。 2 2 近红外光谱分析的基本理论 2 2 1 分子光谱振动模型 近红外区域是指波长在7 8 0 - - 2 5 2 6 n m 范围内的电磁波，与中红外区域相邻。习惯上 又将近红外区划分为近红外短波( 7 8 0 , - - , 1 l o o n m ) 和长波( 1 1 0 0 - - - 2 5 2 6 n m ) 两个区域。 红外光谱主要是由分子从基态向高能级跃迁时产生的，记录的主要是c h 、o h 、 n h 、s h 、p h 等基团振动基频的倍频和合频吸收。不同基团之间或同一基团在不 同环境中的近红外吸收波长与强度都存在着明显差别。 分子吸收红外辐射( 光子能量) 后会引起构成分子中各化学键的振动，这些化学键 振动方式类似于双原子振子。理想的双原子分子是谐振模型，谐振子的振动完全符合虎 克定律，称简谐振动。其振动频率为： 1 厉 归西、万 ( 2 - 1 ) 采用这个较为简单的振动频率公式可以解释许多红外区出现的光谱吸收特征。但是 中国石油大学( 华东) 硕士学位论文 在十九世纪末，通过实验观察得到的数据显示能量并不是连续吸收的，这与以上经典的 结论是难以吻合的，1 9 0 0 年普朗克提出了光的量子理论合理地解释了这一实验现象，进 一步给出了系统辐射和吸收的电磁波的能量变化与频率之间的相互关系： ae=hv(2-2) 动：h u ( n + i 1 ) ( 2 - 3 ) 式中h 是普朗克常数，v 为振动常数，刀= 1 、2 、3 。 以上模型是理想谐振子振动模型，但实际上，分子不是理想谐振子的模型。与谐振 子不同，非谐振子能级不再是等间距分布的，其能级间隔也随着刀的增加而慢慢减小。 对于非谐振子，倍频吸收的频率不恰好是基频吸收的2 、3 、倍，热谱带的频率也小 于基频跃迁的频率。 例如，o - h 基团的谐振波数( _ )3 7 3 5 c m ，已知其x = t ；= 8 2 8 ，则其基频为： d 一2 x = 3 7 3 5 2 x 8 2 8 = 3 5 6 9 6 ( c m 一1 ) 较谐振子的基频小。第一倍频的波数为 2 0 6 x = 2 x 3 7 3 5 6 8 2 8 = 6 9 7 3 6 ( c m 一) 2 2 2 光谱吸收基本定律 与红外光谱分析原理中最基本的的分光光度分析方法一样，利用近红外光谱分析的 待测样本浓度和吸光度之间也符合这两个定律：一个是朗伯一比尔定律，另一个是吸光 度加和定律。下面我们分别对其进行介绍： ( 1 ) 朗伯比尔定律 朗伯比尔定律是光谱分光度法定量分析的理论基础，是人们依据单波长吸光度， 定量分析物质体系中某组分含量的理论基础。朗伯比尔定律的数学表达式为： a = 占c l ( 2 4 ) 式中：彳一吸光度； s 一摩尔消光系数； c 一组分摩尔浓度： 一吸收层厚度， 其中消光系数与溶液的性质、温度等因素有关，同时相同结构基团，由于受其相邻 7 第2 章近红外光谱技术基础 化学键和相邻基团的影响，其s 是不同的。 该定律物理意义是当一束平行单色光垂直通过某一均匀非散射的吸光物质时，其吸 光度a 与吸光物质的浓度c 及吸收层厚度l 成正比。根据朗伯比尔定律，进行近红外光 谱预测分析的简单步骤为： ( 1 ) 确定光程l ，测量无样品时的近红外光谱原始能量l o ； ( 2 ) 测定样品浓度，在光程l 一定的情况下将样品放入样本池，然后测量透过样品 后的光谱能量i ； ( 3 ) 计算吸光度a = l o g l o ( 1 t ) ； ( 4 ) 根据式( 2 4 ) 计算出摩尔消光系数s ； ( 5 ) 更换未知浓度的样品，重复步骤( 2 ) ，由此测得该未知样品的吸光度彳； ( 6 ) 将占、l 、a 代入式( 2 - 4 ) 计算得到该未知样品的组分浓度c 。 通过此定律也反映出，样本浓度与其吸光度间存在定量关系。 ( 2 ) 吸光度加和定律 在近红外光谱定量分析中，除了以上提到的朗伯比尔定律，待测样品浓度与吸光度 之间还符合吸光度加和定律。这一定律表示如下： 以= a l + 4 + 4 + + 4 = 口4 ( 2 5 ) 当样本溶液不是单一样本，而是含有多组分样本时，就需要运用吸光度加和定律来 对其进行理论分析。这一定律说明溶液对某一波长光的总吸光度等于溶液中每一成分的 吸光度之间的线性加和。 由于近红外光谱重叠比较严重，所以在同一波长处测定的近红外光谱吸收信息有可 能是多个基团的同时吸收而不是单一基团的吸收，这样就必须利用吸光度加和定律，对 波长光谱数据进行分析。 2 3 近红外光谱数据处理 2 3 1 光谱数据预处理过程 对样品进行定量分析或定性分析所得模型质量的好坏，在很大程度上取决于数据本 8 中国石油大学( 华东) 硕士学位论文 身质量。数据质量一方面指在数据采集过程中各因素，包括内部和外部环境的干扰对数 据的影响，另一方面是由于描述样本的特征类型或变量类型之间的差别较大而带来的， 对光谱数据进行预处理的目的归根结底是为了获得更好的定量、定性分析结果。 1 数据增强算法 在建立样品物性的近红外光谱分析的统计模型时，需要将样本的光谱吸收特征信息 与待测性质进行关联。因此在建3 立_ n i r 模型以前，往往需要采用一些数据( d a t a e n h a n c e m e n t ) 算法【1 9 】来增强光谱数据的有用特征信息，消除多余信息，减少建模样本 之间的特征差异，从而提高模型的稳健性和预测能力。常用的数据增强算法有均值中心 化( m e a nc e n t e r i n g ) 、标准化( a u t o s c a l i n g ) 和归一化( n o r m a l i z a t i o n ) 等。其中最常用的两 种方法是均值中心化和标准化。 所谓的数据中心化 2 0 1 的算法就是将原始数据中某列的每个元素都减去所在列的平 均值，经过中心化处理后的光谱数据都分布在零点两测，使得数据分布比较均匀，能够 提高计算的稳定性，并且不影响原有信息： 而= 嘞一( f = 1 ，2 ，3 ；，= 1 ，2 ，3 ) ( 2 - 6 ) 式中，是原始数据，乃是中心化后的数据，x j 是原始数据各元素所在列的平均 值。 数据标准化处理是将原始数据经过数据中心化处理后的数据值再除以所在列元素 的标准偏差。 毛= 孕 协7 ， 式中，s j 中心化处理后各列元素的标准偏差： s j = 一】占 x ，= 二 。置 ( 2 8 ) 。 n 智” 2 导数算法 一阶和二阶导数是n i r 光谱分析中常用的光谱分辨预处理方法。它们能够消除光谱 存在的基线漂移。光谱求导有直接差分和s a v i t z k y g o l a y 求导两种算法。直接差分法用 于波长采样点多、分辨率高的光谱，经过处理后的光谱不但能够提高光谱分辨率，并且 9 第2 章近红外光谱技术基础 不会损失原有信息；但当波长采样点很少时，直接差分法就会存在很大误差，因为对其 处理会大大改变光谱信息，这时要采, 用s a v i t z k y g o l a y 求导法【2 1 1 。导数光谱可有效地 消除基线漂移和背景的干扰，提高光谱的分辨率和灵敏度。但同时它会一定程度的引入 噪声和降低信噪比。 3 平滑算法 信号平滑【2 2 】【2 3 】是消除噪声的常用方法。它可以消除光谱信号中的高频噪音，但如 果平滑点数选用不当就可能导致信号的失真。 常用的信号平滑方法同导数算法有两种方法：移动平均平滑法和s a v i t z k y g o l a y 平 滑法。当采用第一种方法时，要特别注意平滑窗口宽度大小的选择，因为如果窗口宽度 选择太4 , n 达不到理想的除噪效果；反之如果窗口宽度过大则会丢失掉有用信息而使信 号失真。第二种方法的实质是加权平均法，它通过最d , - - 乘方法来对窗口内数据进行拟 合。第二种方法是目前应用较广泛的去除噪声的方法。 4 小波变换 小波变换【2 4 1 在信号和图像处理中的应用在近几年来日趋广泛和成熟起来，在近红 外光谱数据处理上也得到了很多的应用。小波变换具有时频局部化特性，能够对信号进 行多分辨细化分析，因此它比傅里叶变换能得到更丰富的信息。小波变换的实质是将信 号投影到小波上，得到便于处理的小波系数，然后根据分析情况对小波系数进行处理， 最后对处理后的小波系数进行反变换就得到了变换后的信号信息。 2 3 2 光谱信息的优化 光谱信息优化主要是异常样本的剔除。通常，异常样本定义为：集合中严重偏离大 部分数据所呈现趋势的那些数据点。就近红外光谱分析技术来说，在数据采样过程中， 由于操作失误、环境温度变化或者光谱仪器的缘故，而使所采集到的数据严重偏离了其 它数据，基本上为错误的数据，这将对以后的建模过程存在很大影响，所以需对数据进 行异常样本的检测【2 5 】【2 6 1 【2 7 1 。 常规的异常样本检测有两种方法：基于统计的检测方法和在实践中应用较多的基于 距离的检测方法。第一种方法需要预知样本的分布和异常样本的数量：第二种方法是建 立在距离的基础上，可利用的距离概念有欧氏距离及马氏距离，杠杆值等。由于马氏距 离能够较好的消除不同数量级之问样本属性差异的影响，所以被广泛应用。 1 0 中国石油大学( 华东) 硕士学位论文 ( 1 ) 马氏距离 马氏距离【2 8 1 的定义是指一组样本光谱与性质相同的标准光谱集间的距离，计算公 式为： 研= ( - t ) r c o y 。1 ( r ) ( f j - t ) ( 2 9 ) 其中：f 一光谱集单因子吸光度的平均值； 一光谱集单因子的吸光度。 c o v 一协方差阵； ( 2 ) 杠杆值 杠杆值2 9 】的性质同马是距离相似，其计算公式如下： h = 薯( k 7 以) 。1 f ( 2 1 0 ) 其中：一f 样本的吸光度； 鼍一光谱集矩阵； 当样本的马氏距离和杠杆值和标准样本集偏差较大时，可判定此样本为异常样本。 ( 3 ) 光谱残差( s p e c t r a lr e s i d u a l ) 光谱残差反映了样本集中重构光谱与样本光谱的差距，其可用来检测异常光谱，计 算公式如下： s r 2 = ( 品一“) 丁( 二一z ，) ( 2 1 1 ) 式中u 和“分别为为样本重构光谱和原始光谱。 2 3 3 光谱预测模型建立 样品的待测物性与样本光谱间存在着定量关系，它们之间的关系可通过使用化学计 量学的统计方法拟合出来。可选用一组样本作为校正集样本进行建模，另一部分样本作 为预测集样本来对样本性质进行预测。近红外光谱分析常用的计量方法有多元线性回 归，偏最d x - - 乘法和人工神经网络法等。 ( 一) 多元线性回归 利用近红外光谱进行样本的定量分析，一般需要多个波长点的光谱吸收信息来测定 f t 第2 章近红外光谱技术基础 样本的待测物性，而多元线性回归分析方法作为最早使用的分析方法具有模型简单易懂 的优点。 利用多元线性回归分析可得到，近红外光谱的性质数据矩阵与光谱信息矩阵的关系 式为： y = x b + e( 2 1 2 ) b = ( x 7 x ) _ x t y ( 2 1 3 ) 其中，l ，为待测性质矩阵，b 为系数矩阵，x 为样本光谱信息矩阵，e 为偏差矩阵， 即性质数据重构后的值与原始值的差值。 对于单一样本，y 与x 的对应关系为： m 均 ： y m 而l五2 而l x 2 2 靠l x 2 而。 而。 ： 6 l 6 2 ： 吃 + q 乞 ： ( 2 1 4 ) 多元线性回归仅适用于对光谱数据和性质数据间线性关系好的样本进行预测，但是 对于那些数据量少且线性关系差的样本体系则预测能力较差，因为它反映的是线性关系 而非非线性关系。由于这一局限性使得它不能够解决存在共线性的光谱矩阵，从而令模 型的预测能力不尽人意【3 0 。3 4 1 。 ( 二) 偏最小二乘法 作为化学计量学中也是近红外光谱分析中最有力工具之一的偏最小二乘法【3 5 】 ( p a r t i a ll e a s ts q u a r e s ，p l s ) ，是一种常用的多元统计数据分析方法，多年来一直受到 化学化工工作者的高度重视。它能够解决近红外光谱数据中多元线性回归不能解决的高 维、共线等多种数据问题，并且其有较强的提供信息的能力，所以成为众多近红外光谱 数据处理方法中备受推崇的一种化学计量学方法【3 6 。9 1 ，在数据预处理中得n - f 大量应 用。 p l s 法是建立在主成分分析方法基础上的一种算法，是求解矩阵特征值和特征矢量 最常用的方法。主成分分析p c r 中，所处理的仅为光谱矩阵x ，而对于成份含量和物性 值矩阵y 中的信息并未进行处理，实际上这丢失了很多有用信息。而p l s 方法在矩阵x 的因子测试中同时考虑矩阵】，是对主成分回归分析的更进一步，对矩阵x 和表示样品 含量和质量指标的y 同时做处理。 1 2 中国石油大学( 华东) 硕士学位论文 p l s 的第一步，做矩阵分解，其模型为： x = t p f + e( 2 1 5 ) y = 7 + e ( 2 1 6 ) 其中，p 7 是x 的载荷矩阵，q 7 是】，的载荷矩阵，毋和耳同多元线性回归是引入 误差，丁和u 矩阵是光谱和性质矩阵的得分矩阵，p l s 的第二步，是做丁和u 的线形 回归： u = t b( 2 1 7 ) 其中，b 为最后得到的系数矩阵。根据由此得到的系数矩阵就可对待测样本集的性 质进行预测： 测= 测b q ( 2 - 1 8 ) 主成分数是偏最小二乘模型的重要性质，一个好的p l s 模型需要确定最优的主成分 数或主因子数，需要有一种好的选择和评价方法。为了这个问题，人们提出了很多种方 法，其中为交互验证法( c r o s s v a l i d a t i o nm e t h o d ) 是目前解决这个问题的最常用的方法， 这种方法的计算过程如下： 计算各主成分数对应的p r e s s 值： ( 1 ) 选择一个样品，从校正集中除去该样本对应的x 向量和y 向量，并设主成分数 = l 。 ( 2 ) 使用剩余样品组成校正集和使用t 个主成分建立模型。 ( 3 ) 使用步骤( 2 ) 建立的模型去预测被踢出样本的y 值，并计算p r e s s 值。 ( 4 ) 循环迭代，f = f + l ，返回步骤( 2 ) ，直到仁d 。 ( 5 ) 把剔除的样品重新放回，再剔除另一个样品，返回步骤( 1 ) 重复计算。得到 的预测残差平方p r e s s 和与上次计算的预测残差平方和进行累加，如此重复操作，使每 个样品被且仅剔除过一次。 通过p l s 方法求取数学模型后，利用校正所建立的数学模型即可对未知样品的n i r 光谱进行解析，并预测各组分浓度。 ( 三) 人工神经网络法 人工神经网络【钧1 ( a r t i f i c i a ln e u r a ln e t w o r k ，。a n n ) 是近2 0 年得到迅速发展的一门 1 3 第2 章近红外光谱技术基础 新的信息处理技术，它在一定程度上反映了大脑的功能特征，但并非神经系统的真实描 述，而是一种用计算机简化和模拟大脑神经网络的一种产物。人工神经网络具有强大的 处理信息的能力，目前在光谱分析领域以及物理化学等其他领域，人工神经网络更有了 多方面的应用f 4 5 i 4 6 1 。 b p 神经网络1 47 j 一般采用三层网络结构，即输入层、隐含层和输出层，采用的是反 省传输模型。数据经标准化处理后由输入层输入，经标准化处理并施以权重后传输到隐 藏层，由隐含层进行输入的权重加和、转换，然后传输到输出层。网络结构模型如图2 1 。 五 而 输入层 输出层 m 乃 图2 - 1 反向传播( b p ) 神经网络结构 f i g2 - 1 t h es t r u c t u r eo fb a c k - p r o p a g a t i o nn e u r a ln e t w o r k b p 算法的具体步骤是：权重系数初始化，随机设置各层权重系数值；隐含层 数值传递，将训练样本数据x 输入到网络输入层，结合权重系数和传递函数计算各层的 输出y ，然后分析输出值与期望值的误差信号；根据上步分析得到的误差信号重新调 整连接权重值；根据误差停止学习或返回继续学习。 传递函数的作用则是将求和后的信息转化为输出。实际应用中最为广泛的是s 型传 递函数f ( x ) 。 1 1 f ( x ) 2 丽( 2 - 1 9 ) 隐藏层的点数是神经网络中的一个重要参数，隐藏层的层数不同点数就不同，所建 立的神经网络模型的效果就不同，这是b p 模型结构设计中难以解决的问题，需要通过 实验结果来验证。在近红外光谱数据的数据处理中，对于二层以上隐藏层结构，一般是 与输入层连接的隐藏层点数大于输出层点数，随后的隐藏层点数逐渐减少，与输出层点 1 4 中国石油大学( 华东) 硕士学位论文 数连接的隐含层点数最少。对单层隐蔽层结构，隐蔽层点数一般少与输入层点数，大与 输出层点数。 人工神经网络具有解决非线性问题的强大能力，当然对于线性问题，人工神经网络 可以得到更好的结果。在近红外光谱分析中，对于燃料油这一大类油品的近红外光谱定 量分析，采用线性数据处理工具能够得到满足分析要求的预测结果，但是对于像润滑油 这样的结构复杂，分子质量较大的结构对象，采用想人工神经网络这样的数据处理工具， 可以得到较好的预测结果。 2 3 4 光谱模型的验证 对建立的校正模型必须通过验证集样本的测量来判断模型的质量，模型质量的好坏 通常用以下几个统计数字来评定： ( 1 ) 残差( e r r o ) ，这是最简单的指标，可以反映每一个样本的预测误差，其最好 分散分布在零的两侧： e r g o2 y f y f ( 2 ) 相对残差( c o m p _ e r r o ) ，它反映了预测值与实际值的相对偏差大小： 叩一e r r o ：譬善 ( 2 2 0 ) ( 2 2 1 ) ( 3 ) 预测残差平方和( p r e s s ) ，它反映了预测集样本的整体偏差程度，值越大则 整体残差越大： p r e s s p r e s s = ( 咒一只) 2 = 。( y ；多i ) 2 ( 2 2 2 ) ( 4 ) 预测集标准偏差( s e p ) ，它表示数据中各值偏离实际值的趋势的大小，标准 偏差比较小，表明这群数据大多集中在它的实际值附近： s e p = 溉而 ( 2 2 3 ) ( 5 ) 相关系数( r ) ，它代表实际值与预测值的线性相关关系的大小，值越大越好： 肚一垒望堕 ( 乃一歹) 2 ( 或一歹：) 2 1 5 ( 2 2 4 ) 第2 章近红外光谱技术基础 2 4 二维相关近红外光谱 二维相关光谱作为一种光谱数据处理方法，最早起源于核磁共振技术。它是通过 对原始红外光谱进行数据处理，将光谱信息在二维方向上做相关性分析而获得的，样本 光谱间的相关信息将在二维谱图上被表现出来。 二维相关光谱是通过在样本上添加外界环境的干扰而实现的。然而在最初的二维红 外相关光谱理论中，外界环境的干扰波形仅局限于正弦波形。这就极大地限制了这一技 术在普通光谱上的进一步发展。后来在1 9 9 3 年，n o d a 再次对已有的理论进行深入研究， 最终打破了外扰正弦波形的局限，与此同时还用h i l b e r t 转换代替了原来二维光谱相关分 析中的f o u r i e r 转换，这样就缩短了处理的时间，由此“广义二维相关光谱技术这一新 名词诞生【4 引。这样，应用的外扰的波形种类就多了起来，从简单的正弦波到静态的物 理变化或随机噪音，都可被应用于外界干扰。此后，二维相关光谱分析技术开始逐渐适 用于拉曼光谱、荧光谱、x 射线等其它谱学技术中【4 9 捌】。 近年来，广义的二维相关光谱分析技术得到了迅速地发展，并逐渐应用到不同类型 光谱的分析当中，同时也开始渗入到化学、生物、环境和工业品质管理等不同的研究领 域中。 2 4 1 相关光谱数学原理【5 2 】 二维相关光谱的基本假设外部扰动是正弦波形： 盯o)=osin(wt)(2-25) 样品体系受外界环境干扰而产生的变化函数是： y ( v ，f ) = y ( v ) s i n w t + ( y ) 】 ( 2 2 6 ) 而两波数1 31 、u2 上受外界扰动而产生的动态红外吸收峰的相关函数为： x ( f ) 2 t l i m 。a 丁kj ，( q ，f ) 。y ( 呸，f