化学校正理论与主成分分析的应用

1、华东理工大学East China University of Science And Technology化学校正理论与化学校正理论与主成分分析的应用主成分分析的应用华东理工大学仪器分析教研室华东理工大学仪器分析教研室倪力军倪力军l校正(calibration)：利用已知样本的信息利用已知样本的信息建立自变量与未知量间的数学关系的过建立自变量与未知量间的数学关系的过程，也可以说是一个建立定量模型过程程，也可以说是一个建立定量模型过程。l多元校正(multivariate calibration): 利用利用测得的多变量信息对混合物体系进行浓测得的多变量信息对混合物体系进行浓度预测的一种化学计量

2、学方法。度预测的一种化学计量学方法。l很多分析仪器都配有化学校正方法软件很多分析仪器都配有化学校正方法软件（HPLC、GC、NIR）常用概念常用概念l预测(prediction)：预测未知样本信预测未知样本信息的过程息的过程 l校正集(calibration set)：用于建模用于建模的已知样本集合的已知样本集合 l检验集(validation set)：用于检验模用于检验模型准确性的一组已知测定结果的样型准确性的一组已知测定结果的样本集合本集合 l预测集(prediction set)：用于预测用于预测的未知样本集合的未知样本集合。分析化学校正理论发展的背景分析化学校正理论发展的背景 （1）

3、新型仪器（如色谱、光谱、波谱、极）新型仪器（如色谱、光谱、波谱、极谱等）可提供含有样本的定性（结构）与定谱等）可提供含有样本的定性（结构）与定量信息的谱（多变量数据）。每一谱图在数量信息的谱（多变量数据）。每一谱图在数学上可看成一个矢量。学上可看成一个矢量。 （2）许多数学上过去由于计算困难而难以）许多数学上过去由于计算困难而难以应用的问题也得以解决；应用的问题也得以解决； （3）联用仪器还可产生矩阵（张量）类型）联用仪器还可产生矩阵（张量）类型的数据信息（如的数据信息（如GC-MS, HPLC-DAD, GC-IR, HPLC-MS, 多维核磁共振谱等）多维核磁共振谱等）l 分析仪器的进展促

4、成了分析仪器的进展促成了化学计量学中的校正化学计量学中的校正理论从简单的一元校正到多元校正的发展。理论从简单的一元校正到多元校正的发展。l 多元校正研究对象是以矩阵形式表达的多元校正研究对象是以矩阵形式表达的Lambert-Beer Law，将化学原理与线性代数、，将化学原理与线性代数、统计、优化等数学方法结合，提出了各类多统计、优化等数学方法结合，提出了各类多元校正方法。元校正方法。l多元校正理论目的是不经过分离或掩蔽实现多组分系统的同时测定，使得很多受实验条件限制而难以开展的定性、定量分析可以借助于数学方法和计算机手段去解决 。校正理论的发展过程校正理论的发展过程l标准曲线法标准曲线法单变

5、量校正（相当于一元线性单变量校正（相当于一元线性回归）：回归）：经典分析化学的常用校正方法经典分析化学的常用校正方法 l直接校正：直接校正：(1)多元线性回归多元线性回归(multiple linear regression, 简称简称MLR)(2)卡尔曼滤波法卡尔曼滤波法 l间接校正：间接校正：(1)K矩阵法；矩阵法；(2)P矩阵法；矩阵法；(3)主成分回归主成分回归(PCR)；(4)偏最小二乘法偏最小二乘法(PLS)单变量校正在单变量校正在HPLC中的应用中的应用单变量校正在单变量校正在HPLC中的应用中的应用建立校正表建立校正表第二个峰对应物质的标准工作曲线第二个峰对应物质的标准工作曲线

6、第第5个峰对应物质的标准工作曲线个峰对应物质的标准工作曲线多元校正的理论基础多元校正的理论基础 （53）是多元校正理论的基础，采用不）是多元校正理论的基础，采用不同的方法确定系数矩阵同的方法确定系数矩阵B，形成不同的多，形成不同的多元校正方法。元校正方法。直接校正直接校正多元线性回归多元线性回归l原理：用纯组分灵敏度系数构成的矩阵用纯组分灵敏度系数构成的矩阵直接代替（直接代替（5-3）式中的系数矩阵）式中的系数矩阵B，然，然后求未知样本浓度矩阵后求未知样本浓度矩阵X。l注意：此处的多元线性回归的含义与统此处的多元线性回归的含义与统计回归分析中的意义不同：模型参数矩计回归分析中的意义不同：模型参

7、数矩阵阵B不是由校正集矩阵不是由校正集矩阵X与与Y回归得到的。回归得到的。 MLRMLR法适用范围法适用范围l 混合物系中定性组分已知的白色体系；混合物系中定性组分已知的白色体系；l 体系的响应值与组分浓度间呈线性关系；体系的响应值与组分浓度间呈线性关系；l 各组分的光谱之间线性无关（即光谱曲各组分的光谱之间线性无关（即光谱曲线形状相差很大，如果不同组分光谱曲线形状相差很大，如果不同组分光谱曲线间存在倍数关系或完全重迭，相当于线间存在倍数关系或完全重迭，相当于B B矩阵中存在相关的行，会造成矩阵矩阵中存在相关的行，会造成矩阵BBBBT T奇奇异，无法求逆）；异，无法求逆）；l 各组分间无相互作

8、用或相互作用很小。各组分间无相互作用或相互作用很小。 例例1：亮氨酸：亮氨酸(组分组分1),异亮氨酸异亮氨酸(组分组分2)均能均能与茚三酮发生显色反应，形成有色络合物。与茚三酮发生显色反应，形成有色络合物。在在546nm到到590nm间每隔间每隔4nm测定纯组分测定纯组分1、2溶液的吸光度。用单变量校正曲线方法求溶液的吸光度。用单变量校正曲线方法求得组分得组分1、2在对应波长下的吸收系数，见在对应波长下的吸收系数，见表表1。配制。配制4个由组分个由组分1、2构成的混合物样本，构成的混合物样本，经显色反应后在相同条件下分别测定经显色反应后在相同条件下分别测定4个样个样本的吸光度，吸光度值见表本的

9、吸光度，吸光度值见表2。试用。试用MLR法法求求4个混合物样品中组分个混合物样品中组分1、2的浓度。的浓度。由（由（54）可求出）可求出4个混合物的浓度矩阵，个混合物的浓度矩阵，结果见表结果见表53。lMLR法预测的组分浓度值与实测值法预测的组分浓度值与实测值相差很大，甚至出现负值，为什么？相差很大，甚至出现负值，为什么？这两种氨基酸的这两种氨基酸的光谱曲线形状十光谱曲线形状十分相似，矩阵分相似，矩阵B B的行接近相关，的行接近相关，使得使得BBT病态，病态，求逆时会带来很求逆时会带来很大误差，造成大误差，造成MLR模型预测模型预测值不合理。值不合理。间接校正法间接校正法K K矩阵法矩阵法l

10、基本思路基本思路根据混合物的校正矩阵根据混合物的校正矩阵X、Y，借助最小二，借助最小二乘法求得灵敏度系数矩阵乘法求得灵敏度系数矩阵B，然后根据，然后根据B去去求得未知待测混合物的各组分的浓度。求得未知待测混合物的各组分的浓度。l 基本模型基本模型l 优点优点可消除由纯组分物性代替其在混合物中物性可消除由纯组分物性代替其在混合物中物性带来的误差。带来的误差。 例例2：对不同浓度的亮氨酸、异亮氨酸组成的对不同浓度的亮氨酸、异亮氨酸组成的16个混合样品，采用与例个混合样品，采用与例1相同条件测其吸光度。相同条件测其吸光度。利用实验所得的利用实验所得的16个样本的吸光度数值个样本的吸光度数值, ,由（

11、由（5-12）可得）可得K矩阵为：矩阵为： 配制配制3个混合物样本作为检验集，测定这个混合物样本作为检验集，测定这3个样个样本在对应波长下的吸光度矩阵本在对应波长下的吸光度矩阵Y。由（。由（5-13）有：）有： X3*2=YKT(KKt)-1 , X3*2的结果见表的结果见表5-4。结果比结果比K矩阵法有所改进，但误差仍然较大。矩阵法有所改进，但误差仍然较大。原因：原因：Y Y接近相关造成接近相关造成K K的行接近相关，对的行接近相关，对KKt t求逆带来很大误差。求逆带来很大误差。间接校正法间接校正法P P矩阵法矩阵法l模型：模型：lP为回归系数矩阵为回归系数矩阵l未知样本浓度预测未知样本浓

12、度预测l不足：不足：校正集样本数校正集样本数n必须必须大于或等大于或等于测试点数于测试点数p p 。通常用选择测试点的。通常用选择测试点的办法降低办法降低p的个数。的个数。主成分回归主成分回归（PCR） PCR采用相互正交的矢量组成的矩采用相互正交的矢量组成的矩阵替代矩阵阵替代矩阵Y，剔除了噪声，求回归，剔除了噪声，求回归系数矩阵时，不存在矩阵奇异无法系数矩阵时，不存在矩阵奇异无法求逆的问题，使校正模型的准确性求逆的问题，使校正模型的准确性得以提高。因而既保持得以提高。因而既保持了了P-矩阵法矩阵法可进行实验设计和一步计算的优点，可进行实验设计和一步计算的优点，又克服了又克服了P-矩阵法要丢失

13、大部分量矩阵法要丢失大部分量测信息及损失估计准确性的不足。测信息及损失估计准确性的不足。 偏最小二乘偏最小二乘(Partial Least Square) 交叉验证交叉验证（Cross-validation）l 用用PCR、PLS建模时，取几个主成分，建模时，取几个主成分，模型预测性能最好？模型预测性能最好？l 依次取依次取1m个主成分，在每个主成分下个主成分，在每个主成分下建模时，取建模时，取n-1个建模，留第一个做检验，个建模，留第一个做检验，然后取第二个样本做检验，其余然后取第二个样本做检验，其余n-1个样个样本建模，将本建模，将n个模型预测值与实际值的误个模型预测值与实际值的误差平方求

14、和，称为差平方求和，称为PRESS (prediction sum of squares)。对应。对应PRESS最小的最小的主成分个数即为最佳建模主成分数。主成分个数即为最佳建模主成分数。 此时模型的预测效果最好此时模型的预测效果最好,这一过程叫交这一过程叫交叉验证。叉验证。华东理工大学East China University of Science And TechnologyPCA的应用的应用 用偏最小二乘方法建立用偏最小二乘方法建立 丹参提取过程的在线检测模型丹参提取过程的在线检测模型 近红外光谱是介于可见光和中红外之间，频率近红外光谱是介于可见光和中红外之间，频率 为为40001000

15、0cm-1的谱区的谱区,分子内部的含氢基团分子内部的含氢基团 （C-H，N-H，O-H等）在这一谱区内产生伸缩等）在这一谱区内产生伸缩 振动与弯曲振动的倍频与合频吸收。由于有机振动与弯曲振动的倍频与合频吸收。由于有机 物分子中一般都含有这些基团，因此这一谱区物分子中一般都含有这些基团，因此这一谱区 包含了丰富的物质信息。可作为定性、定量分包含了丰富的物质信息。可作为定性、定量分 析的基础。析的基础。不同提取时间下丹参水提液的不同提取时间下丹参水提液的NIR谱图谱图不同提取时间下丹参水提液的不同提取时间下丹参水提液的HPLC谱图谱图 不同提取时间下的丹参酮不同提取时间下的丹参酮IIA与与 丹酚酸

16、丹酚酸B的的HPLC面积百分比面积百分比0510152025303540020406080100120 minarea%丹酚酸B丹参酮A对数 (丹酚酸B)乘幂 (丹参酮A) 丹参酮丹参酮IIA最小二乘建模最小二乘建模 （取（取13001300nmnm1600nm1600nm与与12001200nmnm2400nm400nm的的 二阶导数光谱分析）二阶导数光谱分析） 丹参酮丹参酮IIA偏最小二乘建模分析结果偏最小二乘建模分析结果 （最佳主因子数最佳主因子数3 3） 丹参酮丹参酮IIA偏最小二乘建模分析结果偏最小二乘建模分析结果 （相关系数相关系数R R2 2=0.9427=0.9427） 丹参酮

17、丹参酮IIA偏最小二乘建模分析结果偏最小二乘建模分析结果 因子数、相关系数、校正标准差因子数、相关系数、校正标准差、PRESSPRESS 丹参水提液中丹参酮丹参水提液中丹参酮IIA的实测值与预测值的实测值与预测值 丹酚酸丹酚酸B偏最小二乘建模偏最小二乘建模（取（取1300nm1300nm1600nm1600nm和和22002200nmnm2400nm2400nm的一阶导数光谱分析）的一阶导数光谱分析） 丹酚酸丹酚酸B最小二乘建模分析结果最小二乘建模分析结果 （最佳主因子数最佳主因子数5 5） 丹酚酸丹酚酸B偏最小二乘建模分析结偏最小二乘建模分析结果果 （相关系数相关系数R R2 2=0.914

18、3=0.9143 ） 丹酚酸丹酚酸B偏最小二乘建模分析结果偏最小二乘建模分析结果 因子数、相关系数、校正标准差、因子数、相关系数、校正标准差、PRESSPRESS 丹参水提液中丹酚酸丹参水提液中丹酚酸B的实测值与预测值的实测值与预测值 小结：小结： K-矩阵、矩阵、P-矩阵、矩阵、PCR以及以及PLS方法相互方法相互贯通，经历了一个逐步发展的过程：贯通，经历了一个逐步发展的过程：P-P-矩阵法克服了矩阵法克服了K-K-矩阵法要求两次逆而引起误差扩大的缺矩阵法要求两次逆而引起误差扩大的缺点；点；主成分回归则克服了主成分回归则克服了P-P-矩阵不满秩求逆或需丢失光谱信息矩阵不满秩求逆或需丢失光谱信

19、息的弱点，采用的弱点，采用PCAPCA分解量测矩阵分解量测矩阵Y Y得其广义逆而显著改善了得其广义逆而显著改善了P-P-矩阵法；矩阵法；PLSPLS则不仅分解矩阵则不仅分解矩阵Y Y也分解浓度矩阵也分解浓度矩阵X X，并同时考虑这两，并同时考虑这两个矩阵间的线性关系与相互影响，比个矩阵间的线性关系与相互影响，比PCRPCR具有更好的回归具有更好的回归预测效果。预测效果。多元校正理论的新进展多元校正理论的新进展l 神经元网络结合神经元网络结合PCA进行多元建模：如对进行多元建模：如对光谱信息用光谱信息用PCA进行压缩，抽提若干主成进行压缩，抽提若干主成分作为神经元输入节点值，需预测的组分分作为神

20、经元输入节点值，需预测的组分浓度作为输出值。浓度作为输出值。l 对偏最小二乘（对偏最小二乘（PLS）的改进算法）的改进算法NIPLSl 引进数学中的一些新方法（如稳健算法、引进数学中的一些新方法（如稳健算法、岭回归法等）建立多元校正模型。岭回归法等）建立多元校正模型。校正理论在现代分析仪器中的应用 化学计量学的发展与计算机技术的普及给化学计量学的发展与计算机技术的普及给现代分析仪器带来了新的发展契机与革命。现代分析仪器带来了新的发展契机与革命。近红外技术（近红外技术（NIRNIR）的发展与普及就是一）的发展与普及就是一个典型的例子。个典型的例子。 NIR是一种测量技术，它能反映共价键是一种测量

21、技术，它能反映共价键联接的有机化合物的振动光谱。联接的有机化合物的振动光谱。 NIR是一种分光光度学技术，遵循比尔是一种分光光度学技术，遵循比尔(Beer)定律，定律，A=abc；A是吸收率；是吸收率；a是是分子衰减系数；分子衰减系数；b是样品的光程长；是样品的光程长；c是是分析物浓度。分析物浓度。 NIR区域（区域（11002500nm或或400010000波数）中活跃的吸收带是组合带波数）中活跃的吸收带是组合带及其谐波带。它分为四个子区域，在子及其谐波带。它分为四个子区域，在子区域中含区域中含R-H功能的分子，包括取代基功能的分子，包括取代基的作用，都会吸收近红外辐射，每个子的作用，都会吸

22、收近红外辐射，每个子区域吸收的线性动态浓度范围响应不同区域吸收的线性动态浓度范围响应不同的光程长度。总的来说是从中度（大于的光程长度。总的来说是从中度（大于0.01%）浓度范围到纯（）浓度范围到纯（100%）浓度的）浓度的范围都有范围都有NIR吸收吸收。 合适的合适的NIR分光仪拥有较高的能量分光仪拥有较高的能量（光通量），可以用来测定粉末、颗粒（光通量），可以用来测定粉末、颗粒和液体（包括混浊悬浮液）样品。光导和液体（包括混浊悬浮液）样品。光导纤维常用来把纤维常用来把NIR射线从仪器传输到样品。射线从仪器传输到样品。 NIR采用化学计量学方法去采用化学计量学方法去“标定标定”或仿效一个分析过

23、程。一旦模型建立和或仿效一个分析过程。一旦模型建立和被检验通过，它就可以被使用或转移给被检验通过，它就可以被使用或转移给其它的其它的NIR仪器使用。仪器使用。 NIR技术被广泛应用的原因 (1) 高分析速度；高分析速度； (2) 极少或不需要样品预处理；极少或不需要样品预处理； (3) 无需使用化学试剂或溶液；无需使用化学试剂或溶液； (4) 高动态浓度范围；高动态浓度范围； (5) 较深的样品穿透率较深的样品穿透率 NIR光谱仪可以用来解决两类问题：（1） 定性分析 一系列有代表性的样品经过光谱分一系列有代表性的样品经过光谱分析、数据经统计学评估通过后，加析、数据经统计学评估通过后，加入到光

24、谱数据库中，作为将来评估入到光谱数据库中，作为将来评估未知样品时使用的预测数据资料库。未知样品时使用的预测数据资料库。对新的样本用模式识别得方法确定对新的样本用模式识别得方法确定其归属或分类。其归属或分类。 （2）定量分析（多元校正） 对于事先准备好的（浓度已知）样对于事先准备好的（浓度已知）样品依次进行品依次进行NIR测试，相应谱图数据测试，相应谱图数据保存在校正表中，选择合适的回归模保存在校正表中，选择合适的回归模型（如多元线性回归、型（如多元线性回归、PCR、PLS等）等）建立谱图数据与样品浓度间的关系，建立谱图数据与样品浓度间的关系，然后进行模型校验。对于未知样品，然后进行模型校验。对

25、于未知样品，其浓度可以根据所建模型与其浓度可以根据所建模型与NIR光谱光谱数据预测数据预测。用烟叶的用烟叶的NIRNIR光谱测定尼古丁含量光谱测定尼古丁含量烟叶样品的烟叶样品的NIR一阶导数谱一阶导数谱用已知样品进行用已知样品进行PLS建模结果建模结果尼古丁实测值与模型预测值尼古丁实测值与模型预测值近红外光谱法测定缓释制剂中冰片释放量近红外光谱法测定缓释制剂中冰片释放量 l 冰片缓释制剂的制备：将冰片、乙基纤维素和聚将冰片、乙基纤维素和聚乙二醇乙二醇4000按两种不同配比制得两种缓释制剂按两种不同配比制得两种缓释制剂（样品（样品1与样品与样品2），将其溶于一定量的乙醇中，），将其溶于一定量的乙醇中，在室温下不断搅拌使乙醇挥发，混合物再放置至在室温下不断搅拌使乙醇挥发，混合物再放置至没有乙醇味得到冰片固体分散物。没有乙醇味得到冰片固体分散物。 l 近红外建模样品制备：因乙基纤维素不溶于因乙基纤维素不溶于50%乙醇，准确称取一定量的冰片和聚乙二醇乙醇，准确称取一定量的冰片