近红外光谱谱图预处理对近红外光谱仪器质量的影响

近红外光谱谱图预处理对近红外光谱仪器质量的影响

对光谱分析的研究稳定可靠的光谱测量、准确的数据收集和化学计量方法的结合，形成了现代近红外光谱。光谱化学计量学研究则是开发研制光谱分析软件的基础。近红外光谱化学计量学方法研究通常涉及三个方面的内容。一是光谱预处理方法研究,针对特定的光谱测量和样品体系,对测量的光谱进行合理的处理,减弱以至于消除各种非目标因素对光谱信息的影响,为稳定、可靠的校正模型的建立奠定基础;二是定性和定量校正方法研究,主要研究如何通过合理的计算方法准确地识别样品的类型,提高测定结果的准确性;三是校正模型的传递研究,即如何将在一台仪器上建立的模型可靠地移植到其它同型号,甚至不同型号相同测试波段的仪器上,对许多重要的分析的模型,这一问题的解决可以节省大量的时间和模型重新建立所花费的费用。本文将主要讨论我们研制的CCD近红外光谱仪器在谱图预处理中有关最佳参数的确定及对分析结果的影响。1实验部分1.1芳烃的测定柴油样品:齐鲁石化公司胜利炼油厂,柴油中芳烃含量采用高效液相色谱分离,移动丝氢火焰检测器检测;柴油十六烷值采用GB/T386方法测定。1.2像素cd分离器(1)CCD近红外光谱仪(英贤仪器实业有限公司制造,石油化工科学研究院研制),2048像素CCD检测器,分辨率1.5nm,光谱采集范围700～1100nm,数据间隔0.2nm。(2)计算机设备及编程:PⅡ266MMX计算机,计算程序采用MATLAB语言编写。1.3光谱扫描次数将测定的样品倒入10cm玻璃样品池,放入样品池架3min后以空气为参比进行光谱扫描,扫描次数为48次。图1为CCD-NIR仪器测定的胜利柴油在近红外短波区域的谱图。2结果与讨论2.1基于最小二乘的卷积平滑平滑是光谱信号处理中改善信噪比最常用的方法,对滤除高频噪音十分有效,但平滑方式和平滑窗口大小的不同将影响平滑的效果。就平滑方式而言,Savitzky和Colay基于最小二乘原理提出的卷积平滑方式在保持分析信号有用信息方面是一种较好的平滑方法,但平滑窗口数据点的设定与仪器参数、信号数据点的采集密度及检测器的类型等因素有关。在此,采用Savitzky的卷积平滑方法,比较了不同平滑点数下的光谱处理效果,以确定适合CCD-NIR仪器采集光谱的平滑处理参数。2.1.1平滑窗口分析图2a为CCD-NIR仪器在常规操作下所记录的空白基线谱图。可以看出,由于CCD各象元量子化效率存在差异以及其他各种因素的影响,尽管记录的谱图已是48次扫描的叠加,但谱图的高频噪音仍明显存在。对基线谱图分别做5、7、9、11、13和15点平滑处理,取谱图905～915nm区间观察不同平滑点数对谱图的处理效果,见图3。可以看出,平滑窗口点数越多,表观平滑效果越好。但如果平滑点数过大,则可能在滤除噪音的同时,导致样品信息的损失。当平滑点数为5时噪音滤除效果不明显,当平滑点数大于或等于9时已能较好滤除各种因素产生的高频噪音,图2b为9点平滑时得到的空白基线谱图。以柴油样品为例,信噪比随平滑点数的变化见图4,可以看出,随平滑点数的增加,信噪比提高,但7点后提高趋势渐缓。2.1.2平滑强度的影响从前述平滑对光谱信号的处理可以看出,平滑可以有效地消除光谱信号的高频噪音。但如果提高平滑点数过分追求高的信噪比,则可能导致信号的失真。由于油品的光谱谱带较宽,平滑参数对谱形的变化不易观察,在此,以汞灯的发射谱线为对象,观察平滑点数对窄带光谱形状的影响。图5a和图5b分别为CCD-NIR仪器扫描的汞灯不同谱线采用不同平滑点数的处理结果。由图可以看出,随平滑点数的增加,谱带半高宽度增加,会导致光谱分辨率下降,特别当平滑点数大于9时谱带变宽明显。图5b则显示,当谱带稍宽时,平滑点数对谱峰的高度影响并不明显。表1为用CCD-NIR仪器测定柴油中芳烃时采用不同平滑点数、偏最小二乘(PLS)回归的校正结果,可以看出也是9点平滑时校正结果最好。综合平滑参数对基线噪音、信噪比、谱带形状及校正结果等的影响,采用2048线阵CCD作检测器,针对所使用的光路系统,要获得较好的信噪比,又不影响谱图信息,较合适的平滑点数为9。如光谱后续处理中涉及微分等操作,原始光谱的平滑显得尤为必要,图6为柴油光谱未平滑二阶微分(下)和平滑后二阶微分(上)谱图的比较,显然光谱平滑后再进行微分,噪音明显减小。2.2样品池和微分处理在近红外短波区域对油品进行分析时,测量的是样品振动光谱3级和4级倍频吸收,由于该区域光谱摩尔吸光系数很低,必须采用长光程样品池,此时,样品背景颜色及其他因素经常导致测量的光谱出现明显的位移或漂移,如只对原始光谱进行平滑处理,建立的校正模型往往得不到理想的结果。通过微分处理可以较好地解决光谱的位移和漂移,改善校正效果,提高未知样品结果预测的准确性。因此,微分处理成为净化谱图信息最常用的处理方法。2.2.1基于pls回归的光谱校正在此以柴油十六烷值测定为例说明微分在光谱预处理中的作用。图1为胜利柴油在700～1100nm的近红外谱图,谱图的漂移主要是由于柴油背景颜色所致。将平滑后的光谱与柴油十六烷值进行关联,得到的相关图见图7。从各光谱点的相关系数看,最大值不超过0.6,显然颜色对光谱的影响进而也影响了光谱与性质的相关性。为消除背景颜色的影响,对平滑后的原始光谱二阶微分处理,得到的光谱图见图8,图中虚线为十六烷值与微分光谱的相关图。由图示结果可以看出,微分处理后与十六烷值的相关性得到明显改善。为了综合比较谱图处理效果,在700～1100nm范围,对相同的样品集采用不同的光谱预处理方法并通过PLS回归建立校正模型,处理结果列于表2。可以看出经微分处理后,校正模型的相关系数明显提高,预测标准偏差减小;二阶与一阶微分处理结果相比,二阶微分略好于一阶微分,主要是由于不同柴油光谱在出现位移的同时有漂移现象。2.2.2窗口分隔发展微分参数主要指微分窗口所取的数据点数。最佳微分带宽点数的确定与检测器的类型、光谱数据取样间隔和仪器的分辨率及微分阶数有关,对确定的仪器设计,微分窗口应当有一个合理的数值范围。窗口点数过少,微分谱图噪音较大,信噪比降低。如图9为对一个柴油样品7点二阶微分的近红外光谱。显然由于微分窗口偏小,信噪比很差,噪音信号几乎掩盖了样品信号。窗口过大则可能导致谱图信息的丢失,如图10为35点二阶微分谱图,与图8相比,显然一些谱峰的分辨能力已受影响。为了对CCD-NIR仪器测量的光谱确定最佳的微分参数,比较了微分光谱信噪比随窗口点数的变化,结果见图11和图12。从图示结果看出,CCD-NIR仪器上采集的光谱采用一阶微分处理时最合理的窗口点数为9或11,二阶微分的最佳值为19或21。3光谱预处理的必要性由于近红外光谱分析一般勿需对分析样品进行前处理而直