如何建立和评价模型ppt课件.ppt

电话真 E mail zhao 网址 建立 评价近红外定量分析模型方法探讨 近红外分析技术的难点和技术策略 近红外分析是属于从复杂 重叠 变动的光谱中来提取弱信息的技术 应用化学计量学的方法来建立相应的数学模型来解决上述困难 建立优秀数学模型存在的一系列困难 好的仪器 优秀的分析软件 建模经验丰富的人员 代表性的样品资源 合理应用样品资源技术 准确测定化学值水平 可靠性 稳定性及动态适应性 模型还要进行不断检验 修正 转移 Reliablewetchemistryasreference componentvalues RightsamplepresentationandcorrectNIRmeasurement Spectra ComparableamountofsampleanalyzedbywetchemistryandNIRAlldifferentandpowerfulchemometrictoolsandalgorithms likePLS cannotcalculategoodresultsfromabaddataset SuccessfulcalibrationsetupstartslongbeforeusingPLS 1 标准方法分析样品 2 采集光谱 3 优化 检验和建立模型 1 测定未知样品光谱 2 调用模型 3 预测结果 建立模型 分析样品 理论背景 怎样建立好的近红外定量分析模型 1 确定近红外定量分析的目标准确度 实验室标准方法的准确度和精密度确认 2 选择分析样品的近红外附件 光谱扫描的参数 规范操作步骤 3 选择或配备代表性建模样品集 4 模型优化 5 模型验证 内部交叉验证和外部验证 确定近红外定量分析的目标准确度 近红外定量分析方法是二级方法 利用化学计量学方法将近红外光谱与实验室分析数据进行关联 建立近红外模型对未知样品进行预测 实验室分析数据的准确度非常重要 完全遵循 量子传递 的误差理论 实验室数据越准确 近红外模型的准确度也会越高 目标准确度是评价近红外模型的首要条件 确定近红外定量分析的目标准确度 考察实验室数据 方法的可靠性方法的准确性方法的重现性方法的误差范围测试中偶然误差 系统误差 怎样建立好的近红外定量分析模型 1 确定近红外定量分析的目标准确度 实验室标准方法的准确度和精密度确认 2 选择分析样品的近红外附件 光谱扫描的参数 规范操作步骤 3 选择或配备代表性建模样品集 4 模型优化 5 模型验证 内部交叉验证和外部验证 近红外光谱仪的选择1 理论研究 要求仪器附件配置齐全 扩展能力强 稳定可靠 光谱数据格式转换方便 2 实际推广应用根据应用的现场要求 分析指标难 易程度以及应用推广的数量和范围对仪器进行选择 应用现场比较复杂 分析指标比较难 应用推广的数量和范围比较宽 要求仪器的性能指标比较高 模型能够直接传递 否则 对仪器的要求比较低 近红外仪器的选择 AdvantagesofBrukerNIR 近红外仪器的选择 多功能研究级仪器 大范围推广型仪器 工业现场仪器 专用水分测定仪器 实验条件的选择 根据仪器的光谱响应特征1 选择分析样品的近红外附件液体样品要选择不同光程的比色皿 颜色深 吸收强的样品 光程短 颜色浅 吸收弱 光程长 固体样品要根据粒径大小 均匀程度选择 粒径大 不均匀的样品应选择扫描面积大的样品附件 粒径小 均匀的样品应选择扫描面积小或大的样品附件 2 光谱扫描的参数分辨率 扫描次数 光谱范围 3 规范操作步骤特别对固体样品要保证装样的一致性 最终目的 得到稳定的高质量光谱 不同光程比色皿测定的光谱 5mm光程 2mm光程 实验条件的选择 根据仪器的光谱响应特征1 选择分析样品的近红外附件液体样品要选择不同光程的比色皿 颜色深 吸收强的样品 光程短 颜色浅 吸收弱 光程长 固体样品要根据粒径大小 均匀程度选择 粒径大 不均匀的样品应选择扫描面积大的样品附件 粒径小 均匀的样品应选择扫描面积小或大的样品附件 2 光谱扫描的参数分辨率 扫描次数 光谱范围 3 规范操作步骤特别对固体样品要保证装样的一致性 最终目的 得到稳定的高质量光谱 用样品旋转器和积分球测定不均匀样品 用样品旋转器和积分球测定不均匀样品 不均匀样品测试结果差异 测试光斑直径6mm 样品旋转杯直径47mm 测试光斑直径15mm 样品旋转杯直径90mm 实验条件的选择 根据仪器的光谱响应特征1 选择分析样品的近红外附件液体样品要选择不同光程的比色皿 颜色深 吸收强的样品 光程短 颜色浅 吸收弱 光程长 固体样品要根据粒径大小 均匀程度选择 粒径大 不均匀的样品应选择扫描面积大的样品附件 粒径小 均匀的样品应选择扫描面积小或大的样品附件 2 光谱扫描的参数分辨率 扫描次数 光谱范围 3 规范操作步骤特别对固体样品要保证装样的一致性 最终目的 得到稳定的高质量光谱 高分辨率 高质量光谱 原始光谱 二阶导数光谱 怎样建立好的近红外定量分析模型 1 确定近红外定量分析的目标准确度 实验室标准方法的准确度和精密度确认 2 选择分析样品的近红外附件 光谱扫描的参数 规范操作步骤 3 选择或配备代表性建模样品集 4 模型优化 5 模型验证 内部交叉验证和外部验证 样品集的选择 选择或配备代表性建模样品集 天然样品和反应过程中的样品 选择的代表性样品数量比较大 成分已知样品 选择的代表性样品数量比较少 可使用化学计量学方法对样品进行选择 设计 大豆样品的挑选 选 不同含量样品数的选择 不同含量样品数量选择不能以现实的样品变化进行选择 应该在所有含量范围内均匀选择 完美的分布 很少出现的情况 比较合理的分布 样品分布 饲料 食品 烟草 化工 炼油等产品的样品分布情况 10 Mean 25 百分比分布 ofSampleswithLevelofConstituent 制药分布 10 正常样品 25 百分比分布 ofSampleswithLevelofConstituent Predictedvalue Referencevalue Typicalconcentrationrange extremesample orgoodoutlierUsefulformodelupdate Theconcentrationrangeofthecalibrationshouldalwaysbelargerthantheexpectedanalysisrange badoutlier needtoIdentifythecauses 异常样品的判断 建立模型 检验模型 图表页 双击异常点由红变黑 由黑变红 以示剔除 恢复 NIRprediction Referencevalue Randomerror NIRprediction Referencevalue Systematicerror 系统误差和随机误差 各组分之间出现相关性 组分之间存在高度相关 怎样建立好的近红外定量分析模型 1 确定近红外定量分析的目标准确度 实验室标准方法的准确度和精密度确认 2 选择分析样品的近红外附件 光谱扫描的参数 规范操作步骤 3 选择或配备代表性建模样品集 4 模型优化 5 模型验证 内部交叉验证和外部验证 模型优化 模型优化谱区范围的选择选择信息量相关性最大的谱区 光谱预处理方法的选择选择减小光谱漂移 增加信息量 稳定可靠的光谱预处理方法 最佳Rank PLS算法 相同的谱区范围 RMSECV无显著性差别 Rank小的模型好 模型优化条件的选择 谱区宽度 Rank大小 预处理方法 最佳Rank的选择 最佳谱区的选择 最佳谱区 最佳谱区的相关图 交叉检验的相关图 绝对误差分布图 矢量归一化预处理的PLS模型 R2 96 63RMSECV 0 05 Rank 2 光谱预处理方法选择 一阶导数预处理的PLS模型 R2 99 68RMSECV 0 02 Rank 2 怎样建立好的近红外定量分析模型 1 确定近红外定量分析的目标准确度 实验室标准方法的准确度和精密度确认 2 选择分析样品的近红外附件 光谱扫描的参数 规范操作步骤 3 选择或配备代表性建模样品集 4 模型优化 5 模型验证 内部交叉验证和外部验证 信息的提取 将数据降维 用数目较少的新变量最大限度地表征原变量的数据结构特征 Simpleexample 5spectra 因子 1 2 3 4 5 因子分析 Factoranalysis SimpleExample 利用所有的因子重构光谱 7 731 得分 因子 因子分析 Factoranalysis Simpleexample 用两个因子重构光谱 可获得超过99 的原始光谱信息量 spectrum 7 731 scoresofspectrum factors 因子分析 Factoranalysis 偏最小二乘法的基本思想 分别求出样品集光谱矩阵和样品组分矩阵的主成分矩阵 将这两个矩阵相关联 求其线形关系 用所建立的线形函数来预测未知样品 其中的最佳主成分矩阵的维数采用内部交叉检验来得出 优点 1 充分提取样品光谱的有效信息 2 消除了线性相关的问题 3 考虑了光谱矩阵与样品成分矩阵之间的内在联系 模型更稳健 4 适合于复杂分析体系 该方法是世界上近红外定量分析商品化软件中最流行的算法 在主成分回归中 只对光谱矩阵作了分解 消除了光谱矩阵中的无用信息 同样 浓度矩阵中也包含了无用信息 也应作相应处理 偏最小二乘法 分别求出样品集光谱矩阵和样品组分矩阵的主成分矩阵 将这两个矩阵相关联 求其线形关系 用所建立的线形函数来预测未知样品 其中的最佳主成分矩阵的维数采用内部交叉检验来得出 理论背景 偏最小二乘法 第一步 矩阵分解 其模型为 X TP EY UQ F第二步 将T和U作线性回归U TB预测时 先求出未知样品X矩阵的T未知 再按下式计算浓度Y未知 T未知BQ 优点 充分提取样品光谱的有效信息消除了线性相关的问题考虑了光谱矩阵与样品成分矩阵之间的内在联系 模型更稳健适合于复杂分析体系 缺点 计算速度较慢 计算过程较繁琐 需要多次迭代模型建立过程复杂 较抽象 较难理解 理论背景 偏最小二乘法 世界上近红外定量分析商品化软件中最流行的算法 内部交叉检验 Differ1Differ2Differ3 Differn 内部交叉检验 crossvalidation 外部检验 Prediction Differ1Differ2Differ3 Differn 模型 检验样品 模型内部交叉检验 决定系数 均方差 同一组样品 同一组分 R2越大 RPD越大 RMSECV越小 决定于模型优化的条件 实验室化学分析水平和近红外仪器的性能 RMSECV最重要 决定预测样品的误差大小 RPD ResidualPredictionDeviation SD SEPbias 如何判定近红外定量分析是否可行 RMSEE RMSEC或SEC C Calibration RMSECV SECV CV CrossValidation RMSEP P Prediction 三者的关系 RMSEE与RMSECV 同一模型 RMSEE一定小于RMSECV 但两者不应存在显著性差异 否则 样品代表性不好或模型信息提取不充分 RMSECV与RMSEP RMSEP远大于RMSECV 建模样品的代表性差 模型信息拟和不够或过拟和 RMSEP远小于RMSECV 验证样品代表性差 文章或方法中只给出校正均方差 不能说明任何问题 要注意 至少要给出交叉检验均方差 当然最好给出预测均方差 RMSECV应该与实验室标准方法的精密度相当 校正 交叉检验 如何判定近红外定量分析模型的质量 外部检验 RMSECVvsRank图表 模型内部交叉检验 结果不好 模型内部交叉检验 RMSECVvsRank图表 结果一般 模型内部交叉检验 RMSECVvsRank图表 好的结果 Quant2OPUS7 NewMahalanobisDistancethreshold BeforeOPUS7thedefaultthresholdincludingfactor2wasalwaystolow AdjustmentsforeachcomponentindividuallywererequiredbeforestoringthemethodorafterwardsinOPUSLAB Quant2OPUS7 NewMahalanobisDistancethreshold InOPUS7thethresholdissetbasedonthecalibrationsetstatistic Almostallcalibrationspectrawillbebelowthethreshold Thisislogicalbecausethosesamplesbelongtothecalibrationset Quant2OPUS7 NewMahalanobisDistancethreshold Customizedlimitcanbesetdirectlybyenteringtherequiredvalue Quant2OPUS7 NewMahalanobisDistancethreshold TocheckMDsettingsgotocalibration ForcrossvalidationresultstheMDvaluesaresometimesextremebecausesamplesareoutsidethecalibrationwhenthosevaluesareobtained Detectionof