现代近红外光谱分析技术的原理及应用

1、现代近红外光谱分析技术的原理及应用1 简介近红外光（near infrared,NIR ）是介于可见光（VIS）和中红外光（MIR或 IR）之间的电磁波美国材料检测协会（ASTM将近红外光谱区定义为波长 780-2526nm的光谱区（波数为12820-3959cnV）习惯上又将近红外区划分为近红 外短波（780-1100nm）和近红外长波（1100-2526nm）两个区域。从20世纪50 年代起，近红外光谱技术就在农副产品分析中得到广泛应用， 但是由于技术上的 原因，在随后的 20多年中进展不大。进入 20世纪 80 年代后，随着计算机技术 的迅速发展，以及化学计量学方法在解决光谱信息提取和消

2、除背景干扰方面取得 的良好效果， 加之近红外光谱在测试技术上所独有的特点， 人们对近红外光谱技 术的价值有了进一步的了解从而进行了广泛的研究。 数字化光谱仪器与化学计量 学方法的结合标志着现代近红外光谱技术的形成。数字化近红外光谱技术在 20 世纪 90 年代初开始商品化。近年来，近红外光谱的应用技术获得了巨大发展， 在许多领域得到应用， 对推进生产和科研领域的技术进步发挥了巨大作用。近红外光谱技术是 90 年代以来发展最快、最引人注目的光谱分析技术，测量信号的 数字化和分析过程的绿色化使该技术具有典型的时代特征。 由于近红外光在常规 光纤中有良好的传输特性， 使近红外光谱技术在实时在线分析领

3、域中得到很好的 应用。在工业发达国家，这种先进的分析技术已被普遍接受，例如1978年美国和加拿大采用近红外法代替凯氏法，作为分析小麦蛋白质的标准方法。20 世纪 90年代初, 外国厂商开始在我国销售近红外光谱分析仪器产品 , 但在 很长时间内，进展不大，其原因主要是：首先，近红外光谱分析要求光谱仪器、 光谱数据处理软件 （主要是化学计量学软件） 和应用样品模型结合为一体， 缺一 不可。但被分析样品会由于样品产地的不同而不同，国内外的样品通常有差异， 因此，进口仪器的应用模型一般不适合分析国内样品。 如果自己建立模型， 就需 要操作人员了解和熟悉化学计量学知识和软件， 而外商在中国的代理机构缺乏

4、这 方面的专业人才， 不能有效地根据用户的需要组织培训， 因此，用户对这项技术 缺乏全面了解，影响到了它的推广使用。其次，进口仪器价格昂贵，售后技术服 务费用也往往超出大多数用户的承受能力。1995 年以来，国内许多科研院所和大专院校开始积极研究和开发适合国内 需要的近红外光谱分析技术， 并且做了大量技术知识的普及工作， 为我国在这一 技术领域的发展奠定了良好的基础，开创了崭新的局面。2 工作原理 近红外光谱主要是由于分子振动的非谐振性使分子振动从基态向高能级跃 迁时产生的。近红外光谱记录的是分子中单个化学键的基频振动的倍频和合频信 息，它常常受含氢基团X-H（X-C、N、O）的倍频和合频的重

5、叠主导，所以在近 红外光谱范围内，测量的主要是含氢基团 X-H 振动的倍频和合频吸收。 获得近红外光谱主要应用两种技术透射光谱技术和反射光谱技术。 透射光谱 （波长一般在7801100nm范围内）是指将待测样品置于光源与检测器之间，检 测器所检测的光是透射光或与样品分子相互作用后的光 （承载了样品结构与组成 信息）， 若样品是混浊的，样品中有能对光产生散射的颗粒物质，光在样品中 经过的路程是不确定的，透射光强度与样品浓度之间的关系不符合 Beer 定律。 对这种样品应使用漫透射分析法。 反射光谱（波长一般在11002526nm范围内） 是指将检测器和光源置于样品的同一侧， 检测器所检测的是样品

6、以各种方式反射 回来的光。物体对光的反射又分为规则反射（镜面反射）与漫反射。 规则反射 指光在物体表面按入射角等于反射角的反射定律发生的反射， 漫反射是光投射到 物体后（常是粉末或其它颗粒物体） ，在物体表面或内部发生方向不确定的反射。 应用漫反射光进行的分析称为漫反射光谱法。 此外，还有把透射分析和漫反射分 析结合在一起的综合漫反射分析法和衰减全反射分析法等。由于倍频和合频跃迁几率低，而有机物质在 NIR 光谱区为倍频与合频吸收， 所以消光系数弱， 谱带重叠严重。 因此从近红外光谱中提取有用信息属于弱信息 和多元信息，需要充分利用现有的光机技术、电子技术和计算机技术进行处理。 计算机技术主要

7、包括光谱数据处理和数据关联技术。 光谱数据处理是消除仪器因 素（灯及测量方式等）环境因素（如温度等）和样品物态（如颜色、形态等）等 对光谱的影响。常采用的方法有平滑、微分、基线漂移扣减、多元散射校正（MSC 和有限脉冲响应滤波（FIR）等也可以用小波变换来 进行部分处理。 数据关联技术主要是化学计量学方法。 化学计量学的发展使多 组分分析中多元信息处理理论和技术日益成熟，解决了近红外光谱区重叠的问 题。 通过关联技术可以实现近红外光谱的快速分析。 在近红外光谱的应用中我 们所关心的是被测样品的组成或各种物化性质， 因此，如何提取这些有用信息是 近红外光谱分析的技术核心。 现在的许多研究与应用表

8、明， 利用化学计量学方法 进行近红外光谱分析是非常有效的。 化学计量学理论在近红外光谱仪器中的应用 对仪器的实用化是非常关键的。在近红外光谱分析中被测物质的近红外光谱取决于样品的组成和结构。 样品 的组成和结构和近红外光谱之间有着一定的函数关系。 使用化学计量学方法确定 出这些重要函数关系， 即经过校正， 就可以根据被测样品的近红外光谱， 快速计 算出各种数据。 现在常用的校正方法主要有：多元线性回归（MLR主成分分析（PCA，偏最小二乘法（PLS人工神经网络（ANN和拓扑（Topological ）方3 技术特点近红外光谱技术之所以成为一种快速、 高效、适合过程在线分析的有利工具， 是由其技

9、术特点决定的。 近红外光谱分析的主要技术特点如下： ?（ 1）分析速度快，测量过程大多可在 1min 内完成。（ 2）分析效率高，通过一次光谱测量和已建立的相应校正模型，可同时对样品 的多个组分或性质进行测定提供定性、定量结果。（3）适用的样品范围广，通过相应的测样器件可以直接测量液体、固体、半固 体和胶状体等不同物态的样品光谱测量方便。（4）样品一般不需要预处理，不需要使用化学试剂或高温、高压、大电流等测 试条件，分析后不会产生化学、生物或电磁污染。（5）分析成本较低（无需繁杂预处理，可多组分同时检测）。（6）测试重现性好。（7）对样品无损伤，可以在活体分析和医药临床领域广泛应用。（8）近红

10、外光在普通光纤中具有良好的传输特性，便于实现在线分析。（9）对操作人员的要求不苛刻，经过简单的培训就可胜任工作。 近红外光谱技术存在的问题是：（ 1） 测试灵敏度相对较低，被测组分含量一般应大于 0.1%。 （2）需要用标样进行校正对比，很多情况下仅是一种间接分析技术。4 仪器分类根据分光系统， 近红外光谱仪器可分为固定波长滤光片、 光栅色散、 快速傅 立叶变换和声光可调滤光器（AOTF四种类型。光栅色散型根据使用检测器的不 同又分为扫描式和固定光路式两种。根据测试方法， 近红外光谱法主要分为透射测定法， 漫透射测定法和反射测 定法 3 种。透射测定法用于透明样品的分析， 样品浓度与对光的吸收

11、关系符合比 尔定律。漫透射测定法，由于样品中含有光散射物质，光在穿透分析样品时，除 了吸收外还有多次散射， 比尔定律不适用。 反射测定法， 近红外光照射到样品表 面后，由于样品表面状态和结构的不同，光线会发生多次反射。5 对硬件和软件的要求在硬件上，光栅型近红外光谱仪的设计与紫外， 可见光谱仪的设计极为相似， 但使用的光栅，滤光片和检测器不同（有些需要更换光源）。 目前 FT-IR 光谱 仪主要用于中红外区，但只要更换一些光学元件（光源、分束器及检测器）并配 合适用的软件，就可扩展到近红外区，AOTF是一种新的分光方法，已经有厂家将其用于中红外和近红外光谱仪器。 使用滤光片的仪器，主要用于对仪

12、器要求 不太高的专项测量。在软件上，应该设计光谱测量通用软件， 化学计量学光谱分析软件和仪器自 检系统。光谱测量通用软件完成近红外光谱图的获取、 存储等常规功能， 化学计 量学光谱分析软件完成对样品的定性或定量分析， 是近红外光谱快速分析技术的 核心。常用的化学计量学方法有：多元线性回归（ MLR，主成分分析（PCA、 偏最小二乘法（PLS、人工神经网络（ANN和拓扑（Tonological ）等。所采 用的算法的好坏 (收敛速度) 直接影响仪器的分析速度， 所以在这一方面需要加 强研究。仪器自检系统完成仪器性能状态的自我检测， 判定仪器是否符合样品的 测试条件，仪器在硬件上要有相应的功能。另

13、外，还需要建立相应的模型库(训练集)。这项工作需要具有相应领域专 业知识的人才 ?大量有代表性的样品， 准确的标准分析数据 (主要是化学分析) 数据建模并建成相应的光谱数据库，才有可能完成。6 应用 -茶叶定性和定量近红外光谱分析方法研究尝试应用近红外光谱分析技术,结合聚类分析和偏最小二乘回归(MPLS)方法, 对茉莉花茶、苦丁茶、龙井和铁观音 4个种类进行定性分析与建模 , 同时建立了 茶叶中水分、茶多酚和咖啡碱的定量分析模型 , 并对其适用性进行检验。1 材料与方法1 1样本收集分别购买市售茉莉花茶、苦丁茶、龙井和铁观音 4个种类各 30个, 共计 120 个样本 , 分别产自湖北、河南、

14、海南、浙江、福建等地。全部样本分成定标集和 验证集 , 定标集为 102 个样本 , 验证集为 18 个样本。1 2三种成分化学分析样本三种主要成分的测定按照国家标准的测定方法 ，水分采用103C恒重法 (GB/T83042002); 茶多酚采用酒石酸亚铁比色分光光度法 (GB/T83132002); 咖啡碱采用紫外分光光度法(GB/T83122002)。化学分析结果见表1。Table 1 Chemical analysis result of samples(%, weight percent)成分最小值最大值平均值标准差水分 3 76 9 36 6 69 1 14茶多酚 21 59 39

15、86 32 51 3 62咖啡碱 2 91 6 35 4 27 0 621 3光谱采集与异常样本剔除本实验使用丹麦 FOSS TECATO公司生产的NIRSys-tems6500型近红外光谱 分析仪，波长范围为4002 500 nm;扫描速度为1 8次 s-1;检测器为硅(4001 100 nm),硫化铅(1 1002 500 nm);工作温度为1532C ;取点间隔为2 nm;扫描 次数为 32。光谱分析软件采用与 NIRSys-tems6500 型近红外光谱分析仪配套化 学计量学软件 WinISI川实现。随机抽取样本，按照仪器使用要求进行装样，对每 份样本进行 3次装样, 分别进行扫描 ,

16、取 3次扫描光谱的平均光谱作为分析光谱。 样本原始近红外光谱见图 1 所示。Fig 1 Original spectrum of samples利用WinISI川对光谱文件进行聚类分析，分析方式为PL1方式,即利用 扫描数据矩阵及各成分含量的实验室数据计算得分 , 解释光谱间差异。马氏距离 超过3 0的被视为异常样品，应被剔除6,7。1 4光谱预处理方法 为了去除来自高频随机噪音、基线漂移、样本不均匀、光散射等影响 , 需要 对光谱进行预处理。光谱数据预处理方式包括散射处理MSC无散射处理None)、标准正常化+趋势变化法(SNV+D),导数处理(1阶导数或2阶导数),导数处理光谱 间隔点(2

17、, 4, 8), 平滑处理间隔点都取为 4, 二次平滑处理间隔点都取为 1。1 5定性和定量分析模型的建立方法利用 WinISI 软件中的 Discriminant Equations( 判别方程)程序在全光谱段建立茶叶种类识别定性分析模型 , 茉莉花茶、苦丁茶、龙井和铁观音的定性值分 别设定为 1, 2, 3,4 。采用聚类分析技术对各组样品分别判定 ,一类样本作为目 标样本, 其样本预测值越接近于 2,表明其被认为属于目标样品 ,同时样本预测值 必须大于1 5,否则被判断为不同类样本8,9。三种主要成分定量分析模型的 建立采用修正的偏最小二乘(MPLS)回归方法。为了防止过拟合现象的发生,

18、采用 交互验证 (Cross Validation) 方法确定模型的主因子数 , 为了考察模型的准确性 , 用独立的验证集进行了预测。定标集的统计参数包括决定系数R2G标准差SEC和交互验证标准 SEGV同时通过目标函数 f(x)=RC心+SECV)来评价定量分析模 型的优劣 ,f 值越大表明模型预测效果越好。验证集的统计参数包括决定系数、 系统偏差Bias、斜率Slope和验证标准差SEP另外，使用相对分析误差RPD寸 预测精度进行进一步评价，即相对分析误差RPD=SD/SEP(S为验证集标准偏差)。 如果RP» 3,说明预测效果良好，建立的定量分析模型可用于实际检测；如果2 5&

19、lt;RPD<3说明利用NIRS定量分析是可行的，但预测精度有待于进一步提高； 如果RPDC 2 5,则说明难于进行NIR定量分析10。2 结果与分析2 1定性分析2 1 1定性分析模型的建立利用 WinISI 软件中的 Discriminant Equations( 判别方程)程序在全光谱段 建立定性定标模型 , 经过多次建模比较 , 最大主成分数、交叉验证分组数分别取为 15和4时定标结果较好 ；光谱预处理方法为二阶导数结合 9点平滑处理时定标效 果最优。同时分别讨论了不确定因子分别为 1 0和2 0时对定标结果的影响， 结果见表 2。Table 2 Calibration resu

20、lts at uncertaintyfactor(UF) of 1 0 and 2 O定性值不确定因子UF=1- 01 2 3 4不确定因子UF=2- 01 2 3 4总样品数 30 28 29 30 30 28 29 30 判断错误样品数 0 0 0 0 0 0 0 0 不确定样品数 0 0 0 0 2 0 2 1 判断准确样品数 30 28 29 30 28 28 28 29从表2可以看出，当不确定因子UF=1-0时的定标结果最好，对四个种类 茶叶都是100%判断准确,而不确定因子UF=20时,茉莉花和龙井均有2个不确 定样本存在，铁观音有1个不确定样本存在，故本实验采用不确定因子UF=1

21、 - 0建立定性分析模型。图 2 为样本种类识别定标得分空间分布图 , X 轴表示样本的 第一主成分得分 (PC1),Y 轴表示样本第二主成分得分 (PC2),Z 轴表示样本第三主 成分得分(PC3)。从图中可以看出，不同种类茶叶之间有明显的聚类现象，有较清 晰的分界线,但龙井的聚类都不是很密集 ,与铁观音之间有重叠现象。 图 2显示了 不同类别茶叶的聚类效果 ,定性地描述了四种茶叶的特征差异。说明主成分聚类 分析法是识别茶叶种类的一种有效方法。 Fig 2 3D graph of calibration scoresfor qualitative analysis2 1 2定性分析模型验证利

22、用独立验证集样本对建立的定性分析模型进行检验 , 检验结果见表 3。从 表中可以看出 , 茉莉花、苦丁茶和铁观音判别正确率达 100%,龙井有 1 个不确定 样本数。因此 , 利用近红外光谱分析方法定性识别茶叶的种类是可行的。 Table 3 Prediction result of samples in validationset by qualitative analysis model 样品编号定性值预测值 1 2 3 401 1 1 8 1 0 1 4 0 802 1 2 2 10 0 6 1 203 1 2 0 1 0 1 1 0 904 1 1 7 1 0 1 1 1 205 1

23、1 8 1 1 1 0 1 206 2 1 1 2 0 1 0 0 907 2 1 1 2 0 1 0 0 908 2 1 1 1 9 1 0 0 909 2 0 9 2 0 0 9 1 210 3 0 6 1 1 1 9 1 511 3 1 3 1 0 1 6 1 112 3 1 1 0 9 1 8 1 313 3 1 4 1 0 1 9 0 814 3 0 6 1 0 2 2 1 315 4 1 0 0 9 1 1 1 916 4 1 1 0 9 1 2 1 817 4 1 0 1 0 1 2 1 818 4 1 2 1 1 0 9 1 8判断错误样本数 0 0 0 0 不确定样本数 0

24、0 1 0 判断准确样本数 4 4 3 42 2定量分析2 2 1定量分析模型的建立光谱预处理方法和主因子数的选择是决定定标模型优劣的关键。 选择最优的 光谱预处理方法不仅有利于加快模型运算速度 , 更重要的是可以提高模型的预测 精度和能力。采用修正的偏最小二乘(MPLS)回归方法，以决定系数R2G标准差 SEG交互验证标准SECV以及目标函数为评价指标,在全谱区范围内,比较了不 同光谱预处理方法对定标效果的影响 , 建立了优化的水分、茶多酚和咖啡碱的近 红外定量分析定标模型 , 结果见表 4 所示。从表 4 中可以看出 , 所优化建立的三种主要成分 NIR 定标模型的预测值 与实测值之间的决定系数 R2G均在093以上,具有较好的相关性,同时目标函数 f(x)均大于95%,说明定标效果良好。2 2 2定量分析模型的验证为了检验以上建立的近红外定量分析模型的预测精度 , 对 18 个验证集独立 样本相应的三种成分分别进行预测 , 验证评价指标统计见表 5。Table 4 Parameters and statistics of calibration models 成分光谱预处理方法主因子数 SEGR2cSEGVf(x) 水分 MSG,2,4,1,1 6 0 159 1 0 985 6 0 234 1 9