红外与近红外光谱常用大数据处理算法

1、一、 数据预处理(1)中心化变换(2)归一化处理(3)正规化处理(4 )标准正态变量校正(标准化处理I Standard Normal Variate,SNV )(5 )数字平滑与滤波(Smooth )(6 )导数处理(Derivative )(7 )多元散射校正(Multiplicative Scatter Correction,MSC )(8 )正交信号校正(OSC )二、特征的提取与压缩(1)主成分分析(PCA )(2)马氏距离三、模式识别(定性分类)(1)基于fisher意义下的线性判别分析(LDA )(2 ) K-最邻近法(KNN)(3 )模型分类方法(SIMCA )(4 )支持向量

2、机(SVM )(5 )自适应 boosting 方法(Adaboost)四、回归分析(定量分析)(1)主成分回归(PCR )(2 )偏最小二乘法回归(PLS )(3 )支持向量机回归(SVR )一、数据预处理(1)中心化变换中心化变换的目的是在于改变数据相对于坐标轴的位置。一般都是希望数据集的均值与坐标 轴的原点重合。若Xik表示第i个样本的第k个测量数据，很明显这个数据处在数据矩阵中 的第i行第k歹山中心化变换就是从数据矩阵中的每一个元素中减去该元素所在元素所在列 的均值的运算:-无，其中冗是n个样本的均值。(2)归一化处理归一化处理的目的是是集中各:向量具有相同的长度，一般为单位长度。其公

3、式为：归一化处理能有效去除由于测量值大坏同所导致的数据集的方差，但是也可能会丢失重要 的方差。(3)正规化处理正规化处理是数据点布满空间，常用的正规化处理为区间正规化处理。其处理方法是以原始数据集中的各元素减去所在列的最小值，再除以该列的极差。该方法可以将量纲不同，围不同的各种变量表达为值均在0-1围的数据。但这种方法对界外值很敏感，若存在界外值，则处理后的所有近乎相等。(4)标准化处理(SNV )也称标准正态变量校正该处理能去除由单位不同所引起的不引人注意的权重，但这种方法对界外点不像区间正规化 那样的敏感。标准化处理也称方差归一化。它是将原始数据集各个元素减去该元素所在列的元素的均值再除以

4、该列元素的标准差。(5)数字平滑与滤波数字平滑与滤波的目的在于消除随机误差与仪器的噪声，它是一种最简单的滤波方法。平滑 的实质是略去数据中较小的偏离，而保留具有较大偏离的部分。设滤波值为y*一原始信号值为九，两者间的关系如下：式中，k为原始数据点的序号，2m+l表示窗口(滤波带竞)的大小，m为调节滤波带竞的参数。随着窗口的移动，即得到经过滤波后的7一系列信号值。滤波使数据的噪声减小，但在实际应用过程中应慎重选择滤波带竞，否则会扭曲结构。对分析信号的滤波可以采用多种方法，在这里主要介绍多项式平滑.在移动囹口均值滤波中，所有原始数据埼给以相同的权重，这样的滤波往往使 数据扭曲,若给数据以不同的权重

5、，则可获得更有效的数据平滑.Savi：Zky-Go- lay滤波就是这样种方法，它是-,种基于鼠小二乘原理，能够保留分析信号中的 有用信息，消除随机噪声的有效的数据平滑方法。它是利用高次多项式来进行数据 的平滑，其实质是一种去卷积运算，设有=加十】各等间距（即各相邻变量间的距陶相等）量测点力（，=一加, m +nt + 2,0, m 1 , rn）,在这些实脍点处的测聚值可对应写作：yi（i= m.用+ 1, m + 2,，0 ，w-1, m） 9 这里，2加+ 1 称为 滤波窗口的宽度.或漉波带宽“ ”是滤波使用的痂始数据的数目。通常，从量测点 组成数据集中取一子集作为胸口，而不是用整个数据

6、点。现考虑采用人一1次多项式迸行拟合，即，y = 0十4 i十心2 十十以 1户- 1于是就有了力个这样的方程，构成4元线性方程组。要求解其中E个拟合参数与 G = o, 1, 2,2 D,选取的波波器宽度”应大于或至少等于g 当h=4时,可用线性代数的方法求解其参数，而当方时，则必须采用最小二乘法求解。因 此就布用矩阵表示为A的最小二乘解为V2”T I)/I=X(zw+i 八*4+1+ e.vi/ = (*X)】yY的模型预测或滤波值为P = * A = X （Xr X）- XT Y = e Y（10 1）这里.B仅与X祖於有关这样只要给出滤波带宽（2加+1）和多项式的次号 “一 1）就惟一

7、地确定了 X矩阵，b矩阵足一个（ZwH-D （2m+l）汾矩阵，其元 素称作速波系数，式（107）即为浅波公式，它体现了滤波值与原始数据V矩阵之 间的线性关系，包含广（2加+1）个表达式，用于计算滤波窗口内各点的滤波值。 确定漉波带宽和多项式的最高次器U 1）,由上述所述即得相应波波公式。 如和A = 3得5点2次滤波模型，涉及的5个滤波公式如下-二亲（31+ 9） 3% 5y 4 3y ）=公(95._2十13?_1 +12以)+6x 一)5 J-?产袅-3, 2+ 23+17州+ 12y 33 )J J2NL泵(-5)2+63 1+12?。+ 13例+9%)力=焉（3丫 2 5） 3丫口十

8、9+31式）其中6.2, V-I *仇和仇为当前四口两端的流波直.仇为窗口中心点的滤波值。同理，可以得到其它滤波模型的滤波参数。对于量测数据点数大于涯波带宽的量测数据集，则先求出中心点和两端的滤 波公式.然后将窗口向前移动，按中心点滤波公式求每个窗口中心点的帐波值，对 于处于原始数据集两端的2加个数据，则利用两端的点滤波公式计算相应的滤 波值，数值滤波的关键参数是波波带宽。为了进行适当的滤波，须遵循下列准则。O滤波带宽取决于港带或诺峰的最人半宽度。太小的带宽不能满足平滑要求， 太大则会扭曲原始数据的结构。滤波对峰高的扭曲较蜂面积更为严重。因此在进行以峰高为基准的定量分 析时，应采用较小的滤波带

9、窕。沌波带宽对谐带扭曲的影响可用相对油波带宽来描述，即,_b_f s式中，力为滤波带宽，M“为谐峰的最大半峰宽。若测定峰面积.只有在相对漉波带宽大于1时才存在明显误差，当测定峰高 时，相对漉波带宽应小于0.于（6）导数处理若求得多项式滤波公式的拟合参数矢量后，就可利用窗口的2m + l个数据对 窗口中心点（?=（）求信号的;）阶导数。对平滑多项式求导有=旬+2%，+ 3公/+ （大一）4人ii7如仅在窗口的中心点处评估导数，则求户阶导数A （。= 1 ,2,次一1）即在窗口中心求量测数据y的P阶导致等于A矩阵的第p + 1个元素占p乘以 P的阶乘.信号求导是非常有用的一种信号处理方法，它可以消

10、除信号的背景，确定谱峰 的位置.以及改善滑峰的分辨率（如更叠峰的分辨）。（7 ）多元散射校正（msc）由于样品的不均匀性（粒度分布）常导致所测的样品光谱具有很大的差异性，不同批号的 同一样品所测的光谱从表面看，也可能有很大的差异。在许多情况下，散射引起的光谱变化 可能要大于样品成分引起光谱的变化。散射的程度与光的波长、颗粒度和样品的折射指数等 有关，因此在整个光谱围，散I寸的强度是不同的，通常表现为基线的平移、旋转、二次和高 次曲线。MSC是由Geladi等人提出的，目的是校正每个光谱的散射并获得较理想的光谱。MSC法 假定与波长有关的散射对光谱的贡献和成分的贡献是不同的，理论上，通过光谱上许

11、多点的 数据分析，可以把这两部分分开。MSC方法认为每一条光谱都应该与理想光谱成线性 关系，而真正的“理想光谱无法得到，可以用校正集的平均光谱来近似。因此每个样品的 任意波长点下反射吸光度值与其平均光谱的相应吸光度的光谱是近似线性关系，直线的截距 和斜率可由光谱集线性回归获得，并用以校正每条光谱，截距(即附力映应)大小反映样品 独特反射作用,而斜率大小则反映样品的均匀性。平均光谱；力=力/A1线性回归，4二叱彳十2A -bMSC 校正？_L上述公式中，A是校正集的光谱矩阵，4为第1个样品的光谱，?和舟是第 1个光谱4与平均光谱：的线性回归的斜率与截距，都是列向量。通过调整7,和 c的不同，使得

12、在减少光谱差界的同时，尽量保留原有的与化学成分有关的信息。 通过校正，随机变异得到最大可能的扣除。在光谱与浓度线性关系良好和化学 性质相似的情况下,MSC校正的效果良好。二、特征的提取与压缩(1)主成筋析(PCA ) 又称抽象因子分析,主成分分析是把原来多个变量划为少数几个综合指标的一种统 计分析方法，从数学角度来看，这是一种降维处理技术。思想：利用降维的思想，把多指标转化为少数几个综合指标。在研究多变量问题 时，变量太多会增大计算量和增加分析问题的复杂性，人们自然希望在进行定量 分析的过程中涉及的变量较少，而得到的信息量又较多。主成分分析是解决这一 问题的理想工具。（主要分析众多变量之间的相

13、关性）一、数据结构适合用主成分分析的数据具有如下结构：指标维号XI X2 X3 X4 Xm123 nxax .j =Z-,t = 1,2,.，/ =主成分分析录大的问题是臭量纲的影响，因 此，实际应用中，需要对数据进行标准化。一般使 用体方差矩阵E或相关宗数矩阵R进行分析。二、主成分的基本恩慈在实际研究中，由于主成分的目的是为了降 维，减少变量的公数，故一般选取少量的主成 分（不超过5或6个），只要它们能包含原变量 信息量的80%以上即可。三、主成分分析的具体实现设相关矩侔为Rpxp，求特征方程I R一入I | = 0, 其斛为特征根8将斛由小到大进行排序为：4 N 4 之2 4 01J （生

14、,5p）实际上是对应于L的特征向量。若原 支量服从正态分布，则各主成分之间相互独立；2）全部p个主成分所反映的n例样本的总信息，等于 P个原变量的总、信息。信息量的多少，用变量的方差 来度量。3J各主成分的作用大4、是：Z Z2.Zp；4）第i个主成分的贡故率是 乙-* I 00%X% /-I5）前m个主成分的累计贡故率是：X 100% P I /-I在应用时，一般取累计贡欷率为80%以上 比较好。四、MATLAB软件实现pc, score, variance, t2=princomp(X)一般地，要求n po要求m v p。X =X1 X2XP输入数据矩阵:输出变量： pc主分量Zj的杂致(

15、q,.,Cip),也叫因子米数；注 意:pd*pc=单值阵score是主分量下的得分彼；得分矩阵与数羽矩阵 X的阶效是一致的；variance是score时应列的方差向量，即和关系数 矩阵R的特征值；余易计算方差所占的百分比percent-v = 100Avariance/$um (variance);t2表示检球的t2-疣讨董(主要用于方差分析)总结：关于主成分的实际定义要结合具体问题 和有关专业知识才能给出合理的解释。虽然 利用主成分本身可对所研究的问题在一定程 度上作分析，但主成分分析本身往往并不是 最终目的，更重要的是利用主成分综合原始 变量的信息，达到降维的目的，然后对数据 作进一步

16、的分析，如回归分析、聚类分析、 判别分析等。主成分分析计算步骤计算相关系数矩阵(1)在(353 )式中，q (i/j=l/2/./为原变量的xi与夕.之间的相关系数，其计算公式为X。%-兄）（%-亏）片）二（均一弓）2V A-I*-1（ 2 ）因为R是实对称矩阵（即个喻,所以只需计算上三角元素或下三角元素即可。计算特征值与特征向量首先解特征方程W-可=0 ,通常用雅可比法（Jacobi ）求出特征值 4& = 12,p）,并使其按大小顺序排列，即4之之之学乙之。;然后分别求 出对应于特征值人的特征向量4（i = 12,）。这里要求闷=1,即”1 , 1其中与表示向量q的第/个分量。计算主成分贡

17、献率及累计贡献率主成分z,的贡献率为白（，=12一,）Jt=l累计贡献率为G = 12：p）A=1一般取累计贡献率达8595%的特征值4,4,4所对应的第一、第 二，第777 （ m就是要寻找的投影方向令w(Z)和灰Z)分 别为量Z的组内和组间的离差G ，过,(2)= ZZ (Z6ZQGb9 - nx(Z-Z)可以证明，可以从下式求得。m2=r(xr：1 Tx2 )f=l,2 .冽r-l 其中、,叫十犯W(而|一毛”为C与无关，对所求的仅起放大或缩小的作用。求得营后，则可计算两组样本在投影空间上的均值r/t&= Z “心 K=L 2-1及在直线上的分界点Z” =浮1 +*2 对于任意给定的样本

18、，算出它们的判别函数，即投影点ZG)m Z 371t1当ZQ) z,时，把样本归为第一类母体，反之则为第二类母体.一、相关知识已知N个维样本数据集合% = 七,小其中，M个属于助类，N2个属于灯类。Fisher线性判别的基本原理是：把维空间的样 本投影到一条直线上，形成一维空间。找到某个最好的、最易于分类的投影方向，使在这个 方向的直线上，样本的投影能分开得最好。这就是Fishe法所要解决的基本问题。对乙的分量作线性组合y,t = H = T,2,，N(F2.1)从几何意义上看,若MH = 1 ,则每个K就是相对应的X”到方向为w的直线上的投影。 W的方向不同，将使样本投影后的可分离程度不同，

19、从而直接影响识别效果。寻找最好投 影方向w* , Fishe准则函数为(F2.2 )式中,比为样本类间离散度矩阵，S”为样本总类离散度矩阵。使人)取极大值时的“ 即为4维空间到一维空间的最好投影方向：(F2.3 )式中，%i = l,2为在”维空间的两类样本的均值向量。 利用先验知识选定分界阈值点儿，例如选择(F2.4 ).而+疥2.N向 + N2m2 _ =itjN/N?病 i + 而ln(P3)/ P,)(F2.5 )(F2.6 )式中，凤,i = 1,2为投影到一维空间的两类样本的均值，尸(3” =1,2为两类样本的先验 概率。对于任意未知类别的样本X，计算它的投影点y ：(F2.7 )

20、y = wx决策规则为MATLAB 中有函数 fisheiris、classify 可以调用(2 ) K-最邻近法(KNN)MATLAB里面的函数knnclassify可以调用K最邻近法在化学卜一应用极为广泛，它是直接以横:式识别的基本假设即同类 样本在模式空间相互靠近为依据的分类方法。这种算法极为直观，即使圻研究的体 系线性不可分，这种方法仍卬应用.KNN法对每一个待判别的未知样本，逐一计算与各训练样本之间的距离，找 占其中最近的K个进行判决。如K = l,很自然未知样本的心属与这一个最近邻样 本相同.如K1,则未知样本与这K个最近邻样本不一定属于一类，这时要采用 “表决”的方法，对这K个近

21、邻的情况按少数服从多数进行表决。一个近邻相当于 一票、但考虑K个邻近与未知样本的距离有所判别，所以对各票进行加权，距离 最近的近邻的类属.应予以较重的权。KKV二率*=各含式中，以为近邻的类属取值。对两类分类，i属于第一类时取“十”，属于第 二类时取“一 1”。D,为未知样本与第，个近邻的距离，K为最近邻数。当V0 时，则未知样本归入为类I；否则归于类2。这种方法因采用获多数“票的方法确定未知样本的也属，所以K一般采丹 奇数。K值不同时，未知样本的分类结果可能不同。KNN法结果的准确性与K值的关系较大。虽然现在K值的选择尚无规律可 循但实际中K值的选择一般可采用类重心法，即将训练集中每类的重心

22、求Hl, 比较未知样本与类重心的距离，并根据最小生翱来判别未知样本的类别归属。此时 因判别未知样本时仅需计算它与类重心的距.离，所以计算量可以大大减少。KN法无需要求对不同类的代表点线件可分，只要用每个未知点的近邻类来 判别就可以.KNN法也不需要作训练过程,KNN法的跳笈是它没有对训练点作 信息压缩，因此每判别一个新的未知点都需要把它和所有已知代表点的距禽全部算 一遍，因此计算工作信大，对已知代表点太多的情况不甚合适.但正是因为没有作 信息压缩，而用全体已知点的原始信息作判据，故有时可得到极好的预报准确率, 其效果一般优于或等于其它模式识别方法。(3 ) 模型分类方法(Soft indepe

23、ndent modelling of class analogy , SIMCA )31MCA日叫(soft independent modeling of class analogy)法是模型分类方法， 即对每一类构造一个主成分模型，在此基础上进行样本的分类。此法在1976年 由瑞典学者S.Wold提出。SIMCA方法的特点是按样本类别分别处理样本的数据, 假定每一类样本的分布有其特有的规律性，我们可以用一个统一的线性方程近似 地描述其分布，则可按SIMCA方法处理。假定有个样本点分布在，维空间中，已知有0类，还包括未分类的样本。芍 I r!2Xln为样本数；，为变量数（如波长数）：q为类数

24、：%为类内部的样本数, 对于类/其主成分回归模型为：o=（3-4）式中。一主成分数：，一主成分参量，对应于变量A8一得分变量，对应于样本数4一各样本的诸变量张开的模式空间的实际维数; 一拟合误差。步骤：.对X进行标准化.交互验证法确定主成分数4（1）将训练集中的某一类进行分组，分组应考虑到样本的代表性，即将划分 的任何一组样本从训练集中除去后，应不会影响到原训练集的代表性。首先将该类的第一组样本从训练集中除去，以剩余样本做训练集，建立 主成分模型，进行拟合。 使用中建立的模型去拟合被除去的样本，令。= 1,2,7-1或-1 （取 其中较小的），对应于每个，值，计算这些样本的光谱与其拟合的光谱间

25、的残差， 求出对应于。的残差平方和4O（4）将这些样本重新放回到训练集中。（5）再从训练集中除去该类的另外一组样本，重复步骤（3）,直到该类中的 每一组样本恰好被除去1次为止。（6）将上述计算得到的各组的残差平方和相加，得到残差平方和根据下 式进行尸检验，从而确定最佳“值。（.3-5）尸二2 （，_0_ 1）（7）以同样方式确定各类的最佳主成分数。即建立起各类的拟合模型。并计 算训练集的残差标准差： =心（疔启-4-1麻-4日A=l 1=1/.未知样本的分类在为训练集的每一类q建立了模型后，得到了一套参量如和6。使用 校验集样本进行考察，用类的主成分模型对未知样本做回归拟合：。一年=2琮% +

26、琮（3-7）0=1其中/为回归得到该样本的得分向量，这时可考察它是否落在第7类的得分 范围内。同时，由各变量/（，个）的和自由度（，-4）,计算残差标准差：38)判别样本是否属于第4类，使用F检验:*/（%-下-1的）7 附(3-9)将计算得到的产值和仁兄比较，如果尸金兄，则样本属于q类；否则，样 本将归于其它类，再用训练集中另一类的模型去做上述的重复拟合过程，直到确 定类属为止。如果样本不属于训练集中的任何一类，则将其归类于训练集外的一 新类。SIMCA法属子类模型方法.即对每类构法-个主成分的回归模型，并在此基 础上进行样本的分类例如有如下的数据矩阵:变 ft择本12k N1Xuyit y

27、u 3】、9V21依 .9Xx3Xu丁港 Jn.v4y；i加 J4.ViM】y* *.MVw?VmK*4类】荚Q未分云桂本训练集利k集其中，N为样本数，M为变量，即维数，Q为类数.对于某一类样本，主成分回归模型为A% % + s山8at+J式中，。为变量，的均值；4为主成分数1H和6是为使偏差达到极小的 参数。对于多类样本，则主成分回归模型为:A丁然二中,+ X附心 +*a l I其中q表示类，SICMA方法的计算步骤如下。第1步：数据标准化。第2步：主成分数4的确定。第3步：主成分模型中产和。等参数的确定。这两个参数可以由矩阵Z3，ZW 对角化求得。ZW矩阵为第q类训练集中每一个变量减去平均

28、值后所形成的数据 阵，可由Z值减去公式中3和。和乘积项得到，则方差可由下式求得：S M却=2（四产兀（叫一人一1）（乂一人）一旦每一类中匕述卷数求H；之后,即可运用主成分回归模式去预测未知样本。第4步：未知样本预测 用主成分回归模式去也合未知样本，拟合方法与一般 多兀回归相同。此时Z=y/-a，为因变量.（=1, 2, A）为自变量：= -可）=L/里4金“n 1式中，。为回归系数。样本的拟合程度可由下式表示：MS = （2）2./（M-Aq）i = 判别样本。是否q类.可用尸显著性检验，其公式为：f-OJ -Aq -1）/s/s将F值的计算值与临界值自由度分别为M-AQ和心一人一 1）（“一

29、 A。）相比较，若FVF临界，则样本。归入。类；否则格拟合干其它类，此时F 检脸性公式为；f=st7s”，第5步：两类间相似发 用类厂中的所有样本去拟合类4主成分模型,则可以 得到类间的相似度测盘。类和类同的方差为：心 MM-AN将计算得到的方差与第3步中计算得到的方差相比较，可以得到两类间相似度 的测量第6步，变量重要性的测量 变量在判别中的重要性可由残余方差与原始数据 的方差相比校的得。若原始数据经过标准化处理，则所有变量i的方差相同：S3 =自劳（月八-”25）-1 /1qS3 = Z（e 攵）2/,1“值越大，即残余方差与原始数据方差的比值愈小.该变量在主成分模型中 的作用就越大。第7

30、步：样本相关性测量与变量相同类，即将样本的残余方差计算式（第4 步中）与某-一类的整个方差计算式（第3步中）相比较（F检验），其残余方差越(4)支持向量机(SVM)一、相关知识已知数据(孙弘),(电,，2)，,(，果)七八1其中，X = x,i = 1,2, u京表示个维样本集， = +i = 1,2,。，y=l或 -1标记两类样本。对于一个新的数据x ,判别x属于哪一类，即判断(x,)，)中的y是+1还 是一1 O支撑向量机可表示为如下的二次规划问题：(吗 n(知七)一之%N /-I 7-1/-I二(F6.1)st 2必=。，0 a, (m)=Za；M(。，) , i=la；0/ / / 、

31、b = F。盘%2/(孙巧)+。萼2.。不同的核函数表现为不同的支撑向量机算法，常用的积函数有以下几类：d阶非齐次多项式核函数和d阶齐次多项式核函数K(x,xJ= (x-xj + lrf 与 K(x,xJ = (xxf)( F6.3 )(2)高斯径向基核函数K(x,xj = exp 5-( F6.4 )b-(3) S型核函数K(X,X,) = tanh v(x-x,)4-c( F6.5 )（4）指数型径向基核函数U(F6.6 )(F6.7 )exp（5）线性核函数K（x,xJ = x-Xj线性核函数是核函数的一个特例。（5 ）自适应 boosting 方法（Adaboost）四、回归分析（定量

32、分析）多变鼠咬正（多元校正）方法是同时考虑多个测量系统（称为响应向母或矩阵 V）与多个组分含量（称为浓度向量或矩阵X）之间的对应关系，即Y = X5 + E, 通过一定的数学方法建立校正模型,并确定模型叁数，多元校正并不是单变夙校正 的简单推广，它可以斛决很多单变量校正中被认为不盯能实现的问题.多变量校正 多种多样，如多元线性回H、因子分析、主成分回归法和偏最小二乘法等。化学计 显学主要就是解决多变星校正问题，即研究多组分不经分离或掩蔽进行同时测定的 问题。计算机科学与技术的发展使人们能在瞬间获得大量的富含信息的多维化学量 濯数据，也使复杂的数学处理过程得以顺利进力.使大批不论是否对数学知识梢

33、通 的技术人员都能够应用化学计量学的方法去解决复杂问题.进而促进了化学校正理 论的进步发展。（1）主成分回归（PCR）主成分回归是在因子分析的基础上进行的最小二乘回归分析，以实现多组合混 合体系同时测定时的多元校正，它可以很好地解决线性回归所遇到的变量线性相 关、矩阵病态或变量过多所带来的相关问题。设有化学量测模理：X = Xnx mJSntX / +p首先对X阵进行主成分分析：T=XPT阵的维数可以与*阵相同，如果使用整个丁阵参加回归，这样得到的结果 与多元线性回归没有多大的区别，而主成分回归一般只有前面k个主成分参与回 归，因为前面的a个主成分包含rx矩眸的绝大部分有用的信息，而后面的主成 分则往往与噪声和干扰因素有关，这样参与主成分回归的是少数主成分组成的矩 阵，在维数上要远远小于x阵。将降维后的t阵与丫阵进行多元线性问归，Y=TB+Ettv对于未