近红外光谱模型的标准化方法

近红外光谱模型的标准化方法

基于光谱标准化的模型传递多元校正技术是化学计量中非常重要的方法。提取信号中的化学组成信息可以用作定性或定量分析。近红外光谱结合多元校正技术已成功应用在石化、农业、医药等行业。但是在近红外光谱的实际应用中,在某一光谱仪(称源机,Master)上建立的校正模型,在另一台与源机相同功能的光谱仪(称目标机,Slave)上使用时,因各仪器测量的光谱有差异,模型不再适用,计算的结果偏差很大或根本无法使用。解决这类问题的过程称之为模型传递(Modeltransfer),也称仪器的标准化(Standardizationofspectrometricinstruments)。模型传递的本质是克服样品在不同仪器上的量测信号(即光谱)间的不一致性。目前通常采用的途径是通过建立源机和目标机所测信号或预测结果之间的函数关系,变换目标机所测信号或预测结果来实现模型传递,主要包括直接校正(directstandardlization,DS)、分段直接校正(piecewisedirectstandardlization,PDS)、Shenk’s算法、普鲁克分析(Procrustesanalysis)、相关分析法(Correlationanalysis)等。这些方法已经得到广泛的验证和应用。然而这些方法都需要从大量样本中选择具有代表性的样本,并且利用这些样本在源机和目标机都测得光谱,以获得相互关系矩阵,而且要保证样本测量过程的准确性。在通常情况下,收集到大量样本,选择具有代表性的样本并且测得这些样本在源机和目标机上的谱图难度较大。因此这些方法的使用具有一定的局限性。本文采用一种简便的光谱标准化方法,通过对不同光谱仪所测得的相差较大的谱图的归一化处理,并且进行波长范围的优化,达到由不同型号的光谱仪所测得的标准样本之间模型传递的目的。本方法不需要预先获得大量样本,也不需要将同一样本在不同光谱仪上测的谱图进行比较,因此更加简便和通用。1标准化处理方法1.1光谱数据标准化在光谱的获取和放大过程中,各种噪声均会混入光谱信号中,需要对光谱信号进行标准化处理。这里首先对原始光谱的吸光度曲线进行去基线处理,然后对去除基线的谱线进行标准归一化(Standardnormalvariate)。对于不同的光谱仪,光谱测量范围和测量点有较大差别,本文采用二项式插值处理的办法获得相同测量点的光强信号,而光谱波长范围取两台光谱仪测量范围的交集。设两台光谱仪的测量范围分别为[a1,a2]和[A1,A2],若[a1,a2]⊂[A1,A2],取光谱波长范围为[a,b],其中[a,b]⊂[a1,a2],在[a,b]范围内对光谱作插值处理,以取得相同波长点的光强信号。光谱数据标准化处理的详细步骤如下。(1)对于从光谱仪读取的光谱数据,采用插值的方法,获得原始光谱和参考光谱曲线。(2)利用原始光谱和参考光谱计算原始传输率和吸光度。(3)采用大窗口多项式卷积平滑算法,获取吸光度光谱的基线;将吸收光谱减去其基线(即基线校正),获取基线校正光谱。(4)对基线校正后的光谱进行标准归一化处理以克服光程影响。(5)采用小窗口多项式卷积平滑算法进行光谱滤波,滤除光谱曲线中的高频噪声。(6)将上述谱线减去由训练样本得到的中心线得到差分谱线,作为模型所需的输入。其中第(3)步和第(5)步所用的多项式卷积平滑算法是相同的,只是所取的窗口半宽不同。第(6)步所用到的中心线是由训练样本谱线所求得的,与待测样本的分布无关。经过上述各步处理后的不同光谱仪的谱图将会有相近的模型输入曲线。因此,对于训练样本光谱收集时,无论测量范围和测量点是否相同,只要有完整的光谱曲线,经过以上处理,均可作为标准化的训练样本,用于各种场合。1.2源机和目标机光谱预处理实验数据来自某炼油厂提供的五个未知牌号的汽油样本进行。源机采用美国海洋光学公司(OceanOpticsInc.)的USB2000型近红外光谱仪,目标机采用自行研制的光纤光谱仪,得到的原始谱图如图1所示。其中源机测得的每条谱线有2048个点,波长为638.81～1298.3nm;目标机测得的每条谱线也有2048个点,但波长范围为775.01～999.48nm。从图1看出,源机和目标机测得的原始谱图相差很大,这里先取交集[a,b]=[775.2,999]⊂[775.01,999.48]nm之间的谱图,采用上述标准化算法进行光谱预处理,处理结果如图2所示。这里对原始吸光度光谱采用二项式插值法,每隔0.2nm取值,大窗口多项式卷积平滑窗口半宽取260(52nm),小窗口多项式卷积平滑窗口半宽取30(6nm)。从图2可以看出,经标准化处理后,目标机与源机光谱趋于一致。下面进一步讨论波长范围和滤波窗口半宽的优化问题。2优化波长范围的方法2.1谱线距离的计算对于不同光谱仪之间的模型传递,最好的情况是经过处理后,两台光谱仪测得的同一样本的谱线相对距离尽可能小,而同一光谱仪测得的不同样本之间的区分相对较大。设每台光谱仪各测量了k个样本,构造光谱标准化误差指标(spectrastandarderror,SSE)为SSE=J2J1(1)SSE=J2J1(1)式中J2表示同一样本在不同仪器上测得的谱线的距离,J1表示目标机的k个样本相对中心谱线的距离之和,这里中心谱线指k个样本求和后取得的平均值。SSE表示了同一样本在不同样机上的差别与不同样本之间区分度的比值,因而波长范围优化的目标应使SSE达到最小。设源机和目标机的原始光谱用Fi(j)和fi(j)表示,其中i表示第个i样本,j表示光谱的波长点,其中1≤i≤k,a≤j≤b,目标机的光谱均值为f¯(j)=1k∑i=1kfi(j)(2)f¯(j)=1k∑i=1kfi(j)(2)而J1=∑i=1k∑j=ab[fi(j)−f¯(j)]2,J2=∑i=1k∑j=ab[Fi(j)−f¯(j)]2(3)J1=∑i=1k∑j=ab[fi(j)-f¯(j)]2,J2=∑i=1k∑j=ab[Fi(j)-f¯(j)]2(3)2.2a、w、se条件选取由(3)式可知SSE成为a和b的函数。又由于光谱经大窗口平滑滤波和基线校正,因此SSE也是其窗口半宽w的函数。由于图2中的两个吸收峰反映了样本的特征信息,所以要求a<883nm,b>913nm。这里k=5,下面讨论参数a,b和w的优化问题。图2中,a取775.2,b取999,w取260,此时SSE为1.418。先固定b和w,对a进行优化,这里b取为960,w取300(60nm),以消除基线影响。光谱标准化误差指标随a的变化如图3所示。选定a=830,w仍取300(60nm),参数b对光谱标准化误差指标的影响如图4所示。由图4看出,在970nm以前,各点对SSE影响不大,这里b取=950,波长范围为[830,950]nm。下面考察窗口半宽w对评价指标的影响(见图5)。由于a和b之间只有601个点,因此窗口半宽必须在300(60nm)以内。从图5看出,在w取160(32nm)时,SSE最小。因此,在下面预测中,取[830,950]nm之间取值进行预处理,取大窗口平滑的窗口半宽为160(32nm)。经过对a,b和w的优化选择,使SSE达到0.167,这表示同一样本在不同光谱仪上测得的光谱之间的相对距离与不同样本在同一台光谱仪上相对中心距离比值为0.167,在这种情况下,不同样本之间有着较好的区分度,因此这些参数的选择结果是有意义的。3预测结果与分析近年来采用近红外光谱分析汽油品质方法得到了广泛的应用[13,14,15,16,17,18]。它利用汽油在近红外光谱区(700～2500nm)的吸收光谱所提供的丰富信息,建立汽油属性与特征光谱之间的校正模型,并利用该模型对未知样本进行分析预测。近红外光谱分析仪具有不损耗试样、测量周期短、测定参数多以及日常维护方便等优点。这里以汽油辛烷值为例讨论上述标准化方法的应用。训练样本为利用源机在多个炼油厂收集的250个标准样本。测试样本为某炼油厂提供的8个未知牌号的成品汽油,分别用源机和目标机测取各个样本的光谱,并且采用同一训练样本集进行预测,所用到的源机和目标机的中心线分别为前文中的5条谱线所测得的中心线。本实验涉及的算法程序均由Matlab6.5语言编写,在Pentium4微机WindowsXP环境下运行,预测结