QAnalyst定量,热电红外.ppt

TQ Analyst 红外定量分析,刘 全 Applications Specialist ,定量分析理论基础,比尔定律,A = a b c a - absorption coefficient吸光系数 b - pathlength光程 c - concentration浓度 吸光系数 通常可认为是常数，但应注意分子间的相互作用. 光程 定量分析时非常重要且复杂的因数，特别是固体样品的定量分析. 如果光谱采集时光程不可知或无法保证其恒定，建模(Calibrate)时必须加以考虑. 含量 事先需确定合适的含量范围.,定量分析方法,简单比尔定律(Simple Beers Law) 一元线性回归 经典最小二乘(CLS) 多元线性回归 逐步多元线形回归(SMLR) 反向回归 主成分回归(PCR) 基于主成分分析PCA的回归 偏最小二乘回归(PLS) 基于PLS的回归 除比尔定律外，其它几种方法均为多元校正方法(Multivariate Calibration),简单比尔定律(一元线性回归),A = a b c a - absorption coefficient吸光系数 b - pathlength光程 c - concentration浓度 通常 A = a C + b 一元线性回归 两点确定一条直线 需至少两个标准样品（Standard）,简单比尔定律(一元线性回归),通常，采用更多standards绘制标准曲线 Ai = a Ci + b i = 1, 2, 3, 4, 5, 或 A = KC 最小二乘回归得原理是，根据观测值找出最佳的a, b的估值，使观测值与预测值达到最佳接近的程度。a的值可以通过最小二乘法得到，即选取a使观测值与预测值间的残差平方和达到最小,c = (A b ) / a,Calibration Model,简单比尔定律(一元线性回归),非常简单的线性回归模型 Very simple model using simple linear regression of absorbance versus concentration. 只需最少的标准样品(standards) Uses a minimum number of standards. 不适用于存在谱峰重叠的情况下 Can not be used with significantly overlapped peaks. 要求含量与吸光度间呈线性关系 Linear behavior between concentration and absorbance is required. 通常不适用于NIR定量分析 Not very effective in NIR quantitative analysis because band overlap is generally present.,经典最小二乘回归 (CLS),经典最小二乘回归 多元线性回归算法 经典(Classical) 反向(Inverse),经典最小二乘回归 (CLS),在比尔定律中，因变量只有一个“峰面积”或 特定波长处的“峰高”（吸光度） 比尔定律方程 A = KC 可被扩充至包含光谱中多个波长处的吸光度，K - K矩阵 An=(K1C1+K2C2+K3C3+KnCn)n 通过对以上方程采用最小二乘法求解，可以解决光谱重叠问题.,经典最小二乘回归 (CLS),CLS要求必须对光谱中的所有变化因素都能够作出解释，不能处理未知的干扰和相互作用 最少标准样品数量 = 组分数 + 1 通常不用于NIR，但对该方法的理解有助于理解基于因子分析的建模方法,反向最小二乘回归(Inverse Least Square, ILS),“经典”校正假设误差主要来自于响应来拟合模型，而“反向”校正假设所有误差主要来自于含量测定来拟合模型 基于对比尔定律的反向表达： C = PA 要求标准样品数量大于自变量即所使用的光谱点数,C = PA “P矩阵”,A = KC “K矩阵”,ILS 与 CLS,逐步多元线性回归 (SMLR),逐步多元线性回归 逐步回归是从多元线性回归的m个自变量中挑选出对y的变化起重要作用的那些因子来组成偏回归方程，为此我们需要对回归方程中的每个自变量对每个因变量作用大小进行比较。 逐步回归的基本思想是，在计算的每一步中，都要对回归方程中当时所含的自变量x逐个进行检验，看其对y的作用是否显著，一旦发现不显著的x时予以剔除。只有在回归方程中所含全部x对y的作用都显著时，才考虑在未选入回归方程的那些x中挑选出对y作用最大者，检验其显著性。若显著，则引入回归方程，否则计算即行停止。这样所得回归方程全部包含了并且仅包含对y作用显著的那些x。,逐步多元线性回归 (SMLR),逐步多元线性回归（SMLR）属于反向最小二乘（IIS）回归方法（也称为”P矩阵”） 基于对比尔定律的反向表达： C = PA 与CLS不同，SMLR不需要所有所有组分的含量值 对所利用的吸光度点数有限制 这就是SMLR为何使用单点或离散点（或一段光谱范围内吸光度平均值）的原因,逐步多元线性回归 (SMLR),用户不需要选择每个数据点，只需给出光谱范围 逐步算法按组分逐个选择被使用的最佳的数据点(TQ提供设置数据点个数的选项) Summation of responses compensates for matrix (chemical) effects. 可以通过选择第二个光谱范围作为分母对无关的物理因素作出补偿 当建模时所使用的光谱点数太多时，存在“过拟合(over-fitting)”的风险,SMLR的Other窗口,SMLR的特点,对简单样品体系往往可以得到较比尔定律或CLS更好的效果 Good for quantifying fairly simple systems but does better than Simple Beers law or CLS. SMLR可用于无法获知所有组分含量的情况下 Can be used when all “components” can not be accounted for by standard concentrations. 许多情况下是一种相对简单且稳健的方法 A fairly simple and robust method for many problems. SMLR不增加多余变量，但正因为此，不能处理异常样品 SMLR does not add unnecessary variables, but it cant handle unusual samples because of this same fact. 只有在变量只受待测组分含量变化而变化的情况下才能采用 It only works well when variation is due exclusively to the component of interest. 标准样品数量较少时，是一种较好的方法（例如，用于可行性研究） Good for instances with a limited calibration set (i.e. feasibility studies),基于因子分析的建模方法(Factor-based Modeling),PLS 偏最小二乘 PCR 主成分回归 与SMLR一样，均采用反向最小二乘算法 与SMLR采用有限的数据点不同，PLS和PCR运用因子分析，对光谱信息进行了压缩 主因子通过主成分分析(PCA)计算得到,主成分(Principal Component, PC)或因子(Factor),以5张光谱的2个波长点的简单对象为例. 第一个特征向量是最重要的，最大程度上描述了数据的变化 该简单对象通过第一个特征向量得到了完全描述. 可从该特征向量中计算出主成分或因子.,X,Y,X,主成分(Principal Component, PC)或因子(Factor),以30张光谱的2个波长点的简单对象为例. 两个相互正交的特征向量组成了一个椭圆的空间 两个主成分描述数据信息 更多的波长增加了空间的复杂性 数据间的共线性现象带来大量的冗余信息，允许通过相对较少的主成分数或因子数对复杂体系进行描述,X,Y,X,Y,“特征向量1”,“特征向量2”,PCR 和 PLS 模型,PCR和PLS通过PCA对原始光谱数据进行压缩(降维，特征提取)，然后通过ILS(反向最小二乘算法)创建线性多元回归模型 PCR and PLS use a PCA step to reduce the data into factors then use an ILS step to create a linear combination of variables which generate calibration parameters. PCR仅利用光谱信息计算主成分 PCR uses only the spectral information to determine the factors. PLS同时利用光谱数据和浓度信息计算主因子 PLS uses both the spectral and concentration information to determine the factors. 因此，PLS在避免引入不相关因素方面风险更小 Due to this fact, PLS runs less risk of correlating to irrelevant information.,PCR 和 PLS,Spectrum,Result 1,Result 2,Result 3,Result 4,Result 5,Statistical Model or Calibration Method,Principal Components PLS Factors,Concentrations,PCR主成分数仅计算自光谱数据,PLS 主因子数计算自光谱信息和含量数据,NIR光谱分析中的PCR和PLS,通常，PLS和PCR比SMLR更为稳健，大多数情况下PLS是首选 NIR光谱信息复杂，PLS力图从复杂的光谱信息中提取感兴趣的相关信息 避免变量间的内部共线性（SMLR的潜在问题） 需要避免“过拟合（ over-fitting ）”，例如，使用太多的主因子数往往会出现该现象,多元校正方法的选择 “决策树”,红外定量分析中的其它关键问题,光谱预处理(Pretreatment) 减小pathlength不一致的影响 基线校正 提高信噪比 光谱范围选择(Look for Regions) 避免干扰信息 修正(Correction) 常数偏移，线形偏移，非线性偏差 实验设计 避免组分间的共线性 避免过拟合(Over-fitting) 定量模型的评价,光谱预处理,Pathlength窗口,Other窗口,Spectra窗口,Pathlength窗口,Constant 光程为常数 Know 光程为已知 Predict 光程被当作一种“组分” Internal reference (A=K*b*c) 设定一个光谱区域，从中可计算出计算出一个与光程成比例的值，校正时用其乘含量值，预测时除以该值 Peak ratio or Normalization (A/b=k*c) 设定个光谱区域，从中可计算出计算出一个与光程成比例的值，校正和预测前均将整个光谱除以该值 Multiplicative signal correction (MSC) 最小二乘拟合各光谱与平均光谱 多元散射校正： Standard normal variate (SNV) 在设定光谱范围内减去平均光谱再除以标准偏差,Advanced中设置气体分析参数,MSC和SNV示意图,MSC,SNV,Spectra窗口,导数（微分） 一阶导数 二阶导数 平滑 避免损失分辨率 Savitzky-Golay Filter 搜索因特网改善信噪比 Norris derivative Filter,原始,一阶,二阶,Other窗口,数据平均中心化Centering 数据方差归一化Scaling 数据标准化Normalization =数据中心化+数据归一化,中心化,归一化,标准化,光谱范围选择(Look for Regions),光谱范围选择(Look for Regions),分析者对分析对象的知识非常重要和有帮助 在不清楚的情况下，以TQ的专家知识作为开始 运用TQ的统计光谱（Statistical Spectra）工具,高相关区域,修正(Correction),以气体分析为例，理论上，符合比尔定律，即呈线性,在气体浓度很高时，分子间相互作用增加，往往偏离比尔定律，呈现非线性,修正(Correction),非线性现象 ycali = f(x),非线性修正 ycor = a * ycali 2 + b * ycali + c,TQ的Correction窗口,实验设计,了解分析对象 定量分析模型建立的第一步需要通过回答下列问题来仔