近红外光谱分析知识整理.doc

近红外光谱分析知识整理近红外光谱分析及其应用简介1、近红外光谱分析及其在国际、国内分析领域的定位近红外光谱分析是将近红外谱区（800-2500nm）的光谱测量技术、化学计量学技术、计算机技术与基础测试技术交叉结合的现代分析技术，主要用于复杂样品的直接快速分析。近红外分析复杂样品时，通常首先需要将样品的近红外光谱与样品的结构、组成或性质等测量参数（用标准或认可的参比方法测得的），采用化学计量学技术加以关联，建立待测量的校正模型；然后通过对未知样品光谱的测定并应用已经建立的校正模型，来快速预测样品待测量。近红外光谱分析技术自上世纪60年代开始首先在农业领域应用，随着化学计量学与计算机技术的发展，80年代以来逐步受到光谱分析学家的重视，该项技术逐渐成熟，90年代国际匹茨堡会议与我国的BCEIA等重要分析专业会议均先后把近红外光谱分析与紫外、红外光谱分析等技术并列，作为一种独立的分析方法；2000年PITTCON会议上近红外光谱方法是所有光谱法中最受重视的一类方法，这种分析方法已经成为ICC（International Association for Cereal Science and Technology国际谷物科技协会）、AOAC(American Association of Official Analytical Chemists美国公职化学家协会)、 AACC（American Association of Cereal Chemists美国谷物化学家协会）等行业协会的标准；各发达国家药典如 USP(United States Pharmacopoeia美国药典)均收入了近红外光谱方法；我国2005年版的药典也将该方法收入。在应用方面近红外光谱分析技术已扩展到石油化工、医药、生物化学、烟草、纺织品等领域。发达国家已经将近红外方法做为质量控制、品质分析和在线分析等快速、无损分析的主要手段。我国对近红外光谱技术的研究及应用起步较晚，上世纪70年代开始，进行了近红外光谱分析的基础与应用研究，到了90年代，石化、农业、烟草等领域开始大量应用近红外光谱分析技术，但主要是依靠国外大型分析仪器生产商的进口仪器。目前国内能够提供完整近红外光谱分析技术（近红外光谱分析仪器、化学计量学软件、应用模型的研发）的公司正处于发展阶段。由于我国经济的快速发展，持续发展型经济与建立节约型社会方针的确定与贯彻我国生产、科研、教学领域和市场对产品的检测与控制要求迫切，按照国际经验，近红外光谱分析技术将是一种首选技术。随着国产近红外光谱仪的研制和生产，近红外光谱分析技术在分析界必将为更多的人所认识和接受，会在越来越多的领域广泛应用。 2、近红外光谱分析与常规光谱分析方法的不同通常可以把基本紫外、可见光谱分析和红外光谱分析等称为常规光谱分析，近红外光谱分析由于谱区信息的不同，方法和仪器的不同使其与常规光谱分析有很大的差别。2.1 近红外光谱分析谱区的不同近红外谱区的波长介于可见光与中红外光之间，该谱区的分析兼备了中红外谱区信息量丰富的优点与可见谱区使用方便的优点。与中红外谱区一样，近红外光谱分析利用分子振动的信息，但本谱区主要是振动的倍频与合频信息，此谱区分析几乎可以实现所有与含氢基团有关的样品化学性质、物理性质，某些生物性质等多项目分析或同时分析，被认为是一种“具有解决全球农业分析潜力”的当代分析方法。与紫外、可见、中红外谱区相比，物质对近红外谱区吸收的能力较弱，该谱区可以透入样品内部，取得样品内部的信息，因此近红外光谱分析样品可以不需要或者只要少量的物理前处理，便可用于各种快速分析，尤其适用于复杂样品的无损分析。2.2近红外光谱分析方法的不同常规光谱分析一般要求样品通过前处理，使组分和浓度调整后再进行分析。仪器测试结果只是给出样品对某一波长吸光度，吸光度和待测量（如浓度）间的关系是简单的线性关系；常规光谱分析只要仪器给出准确的吸光度，即可由用户自行建立的个性化工作曲线（属于各台仪器特定分析方法的）得到待测量。近红外光谱分析是在复杂、重叠、变动的背景下提取弱信息，复杂样品近红外光谱和待测量间的关系是复杂的间接关系；近红外光谱分析必须借助化学计量学方法用全部波长点和待测量进行多元关联，建立光谱与待测量间关系的数学模型，依靠数学模型由光谱计算样品的待测量。近红外光谱分析仪器不仅要给出吸光度，还须捆绑数学模型才能得到待测量。2.3近红外光谱分析仪器的不同常规光谱分析一般由用户自备标样后测定标准曲线或工作曲线。每种工作曲线只相对于某台仪器使用，这种分析属于相对分析，相对分析可以通过个性化的工作曲线校正仪器与方法的某些系统偏差，因而对仪器的精确度要求较高；相对于仪器的波长、吸光度准确度的要求较低。近红外光谱分析依靠捆绑的数学模型，直接计算出样品的待测量，这种分析属于绝对分析，绝对分析对仪器的准确度与精确度要求较高。但用户可以对不经过前处理的样品直接分析待测量。近红外光谱分析建立数学模型的过程比较复杂、烦琐，为了避免用户自行建立个性化数学模型，厂家必须克服仪器的台间差异，为仪器捆绑统一的数学模型。近红外光谱分析仪器要求整合精密、稳定的硬件和软件、数学模型；并需要资源、分析方法与分析经验等条件的集合才能实现，是一种难度较大的分析技术。3、近红外光谱分析的特点3.1 近红外光谱分析应用方式的特点：近红外光谱的工作谱区信息量丰富，对样品有较强的透过能力。近红外光谱分析能在几秒钟内对被测样品完成一次光谱的采集测量，瞬间即可依靠数学模型完成其多项性能指标的测定。分析过程不产生污染、不消耗其它材料、不破坏样品，分析重现性好、成本低；可以实现快速分析、绿色分析、廉价分析，具有“多、快、好、省”的特点。尤其是在复杂物、天然物的无损、微损分析、在线分析、原位分析、瞬间分析等领域具有常规分析无法比拟的优点。近红外光谱分析技术对于适时的质量监控与大量样品分析是十分经济且快速的，由于建立近红外光谱方法之前须投入大量人力、物力和财力才能得到一个准确的校正模型。因此近红外光谱分析对于没有相应的数学模型、零星样品的分析不太适用。近红外光谱分析技术属于应用数学模型的间接分析，是二级的分析技术；一般不适合做实验室高精度，高稳定性分析；近红外光谱分析也不适合做微量分析。3.2 近红外光谱分析方法学的特点：近红光谱外分析结果的准确度不但与待测样品有关，还取决于建模样品与模型（准确度与稳定性），优秀的模型可以使测定结果的准确度逼近经典方法。近红外光谱分析的精确度可达到或超过经典方法；近红外光谱分析的速度较快，当分析模型建立后，分析的速度一般以秒为单位；近红外光谱分析的检测极限不易做得很低，一般只能做到10-310-4，难以应用于农业残留分析等领域。近红外光谱分析的效率极高。近红外光谱分析的仪器可以作成类似傻瓜式仪器，用户只要简单地培训即可操作仪器，使用模型（数学模型由仪器的开发人员或制造商来完成）进行分析，分析成本相对常规分析要低的多。4、近红外光谱分析的应用领域：近红外光谱主要是反映与C-H、O-H、N-H、S-H等基团有关的样品结构、组成、性质的信息，因此分析范围几乎可覆盖所有的有机化合物和混合物。加之其独有的诸多优点，决定了它应用领域的广阔，使其在许多行业中都能发挥重要作用。主要的应用领域包括：石油及石油化工、农业、烟草、食品、饮料、制药、有机化工、精细化工、生命科学、医学临床、纺织、造纸、化妆品、地理地质、航空、遥感、质量监督、环境保护等领域。在石化领域可测定油品的辛烷值、十六烷值、闪点、冰点、凝固点、馏程等；在农业领域可以测定谷物的蛋白质、氨基酸、醣、脂肪、纤维、水分等内部组份含量与硬度等性质；在医药领域可以测定药品中的有效成分、组成和含量；亦可进行样品的种类鉴别，如酒类和香水的真假辨别，环保废弃物的分检等。（参阅近红外光谱分析基础与应用一书）我国近红外光谱分析主要应用于石化、农业、烟草、食品、饮料等领域，其他还可应用于宝石鉴定、遥感等方面。以烟草分析为例，烟草常规分析包括总氮、总醣及烟碱等九种成分，通常采用流动注射分析方式，速度慢、成本高，对分析人员的技术要求也高。采用近红外光谱分析方法一旦数学模型建立后，分析速度可以提高数十倍，分析成本会降低很多，分析的重复性超过常规方法；因此，近红外方法从90年代后，已经完全被烟草界认可。我国主要烟草公司已普遍采用近红外分析技术，已装备了上百台高档近红外分析仪，用于现场、实验室与在线测量分析与原料监测。我国著名的酒厂均采用近红外光谱仪，用于酒糟发酵等过程的监控。5、近红外分析系统：近红外光谱分析必须通过数学模型，因此近红外分析要求仪器的硬件、软件和资源三位一体，缺一不可，通常还需要构建近红外分析网络系统，他们共同组成近红外分析系统。优良的近红外光谱分析仪器用于产生准确的光谱；近红外分析软件（包括模型）用于解析光谱提取待测量信息；近红外分析资源（已知待测量的代表性样品、数学模型等）用于建立数学模型；近红外光谱分析的网络系统用于为仪器厂家和用户之间的网络支持。5.1 近红外光谱分析的仪器：近红外光谱分析技术主要分成两个谱区： 0.81.1m称为短波近红外谱区，主要利用含氢基团高（45）倍频的信息，该谱区被物质吸收弱，透过能力强，适合于做透射分析，尤其适合于做整粒样品的透射分析，仪器的价格相对较低。1.12.5m称为中长波近红外谱区，主要利用含氢基团的低（23）倍频区，该谱区透过能力比短波近红外弱，适合做粉末样品的反射光谱分析。近红外光谱仪按结构分，主要分为连续波长型和离散波长型。前者分析谱区的光谱具有波长连续的特征；又分为色散型（单检测器或阵列检测器）与傅立叶变换型等，分析的范围相对较宽；后者利用滤光片或LED等，选用几个特征（离散的）波长进行分析，价格相对较便宜。5.2 近红外光谱分析的软件：近红外光谱分析软件用于包括对近红外光谱的预处理（复原与压缩等功能算法），关联近红外光谱与待测量建立数学模型的算法，以及利用模型预测未知样品的光谱并对分析结果进行检验等功能。5.3 近红外光谱分析的资源：为了建立优秀的近红外光谱分析模型，必须广泛收集样品并且用标准方法测定化学值，这些样品以及由此建立的数学模型需要耗费大量人力物力是近红外分析资源，这些资源的数据达到海量的规模，一般需要用数据库来管理。5.4 近红外光谱分析的网络系统：近红外光谱分析的模型需要经常维护修正，这些工作的难度较大，需要专业人员的帮助，因此，近红外专用分析仪器厂商需要通过网络为用户提供各种技术支持。北京世农绿方高新技术发展中心研发的近红外仪器样机属于短波近红外谱区的色散型连续波长CCD阵列检测器近红外光谱分析仪，属于中档类仪器；仪器捆绑了相应的软件模型与数据库。这些工作是在多项国家科技部项目的支持下，北京世农绿方高新技术发展中心与中国农业大学、普析通用仪器有限责任公司等合作研究的成果。主要参考文献主编：严衍禄，近红外光谱分析基础与应用，中国轻工业出版社2005年1月出版近红外光谱分析的化学基础近红外光谱分析的范围一般为 4000cm-1以上，即波长 2.5m以下，由于有不同级别的倍频谱带及不同形式组合的合频吸收，使得谱带复杂，信息丰富。 近红光的信息强度比中红外要低一个数量级左右，由于近红外谱区吸收弱，所以可以对不经稀释的样品进行直接测量，分析样品可以不需任何物理、化学制备与预处理，也不需要分析的后处理，一但近红外的数学模型建立后，对操作人员进行分析的知识背景与经验背景可以大幅降低。近红外光谱分析的数学基础作为一种软件技术，近红外光谱分析着重用数学方法来解决其谱峰重叠、测量信息高背景低强度、图谱测定的不稳定造成的光谱失真三大难点。通过化学计量学的多元校正方法来解决谱峰重叠、测量信息高背景低强度的难点；用信息处理技术来校正图谱测定不稳定造成的光谱失真。近红外光谱常规分析方法近红外光谱的分析测定技术大体可以分为两大类：一类为透射光谱法，一类为反射光谱法。 透射光谱法就是把待测样品置于作用光与检测器之间，检测器所检测到的分析光是作用光通过样品体与样品分子相互作用后的光，若样品是透明的真溶液，则分析光在样品中经过的路程一定，透射光的强度与样品组分浓度由比耳定律决定。 反射光谱分析时，检测器与光源置于待测样品的同一侧，检测器检测到的分析光是光源发出的作用光投射到物体后，以各种方式反射回来的光。物体对光的反射分为规则反射光（镜面反射）与漫反射。规则反射光指在物体表面按入射角等于反射角的反射定律发生的反射。漫反射是光投向漫反射体（颗粒或粉末）后，在物体表面或内部发生的方向不定的反射。近红外光谱分析的用途近红外光谱分析主要包括定性分析和定量分析。 1）定性分析 近红外光谱定性分析利用模式识别与聚类的一些算法，主要用于鉴定。在模式识别运算时需要有一组用于计算机 “ 学习 ” 的样品集，通过计算机运算，得出学习样品在数学空间的范围，对未知样品运算后，若也在此范围内，则该样品属于学习样品集类型，反之则否定。聚类运算时不需学习样品集，它通过待分析样品的光谱特征，根据光谱近似程度进行分类。 2）定量分析 近红外光谱分析与其它吸收光谱按照比耳定律作定量分析类似。作常规光谱定量分析时，需要建立光谱参数与样品含量间的关系（标准曲线）。但对复杂样品作近红外光谱定量分析时，为了解决近红外谱区重叠与谱图测定不稳定的问题，必须充分应用全光谱的信息。这是因为在近红外光谱中和各个谱区内都包含多种成分的信息（即谱峰重叠），而同一种组份的信息分布在近红外光谱的多个谱区：不同组分虽然在某一谱区可能重叠，但在全光谱范围内不可能完全相同，因此，为了区别不同组分，必须应用全光谱的信息，建立全谱区的光谱特征与待测量之间的关系即数学模型。近红外光谱分析的流程与步骤近红外光谱定量分析的流程分成两个大步骤：即 建立数学模型（分析方法、预测方程）并检验、优化模型的稳定性；以及应用数学模型，利用未知样品的近红外光谱，预测未知样品中有关组分的含量或性质。 近红外光谱分析适合于大量样品的分析。进行近红外光谱分析，必需首先收集一批有代表性的、含量或性质（称为化学值）已知的标准样品，准确测定其近红外光谱与化学值，校正近红外光谱测定不稳定造成的图谱失真，然后，利用化学计量学算法，建立全谱区的光谱信息与含量或性质间的数学关系（称为数学模型，相当于标准曲线），并且通过严格的统计验证、选择最佳数学模型。对于未知样品，只要测定其光谱，就可由选定的数学模型计算其对应成份的含量或性质。近红外光谱定量分析的七个环节： 准确扫描校正样品集中各个样品规范的近红外光谱：为了克服近红外光谱测定的不稳定性的困难，必须严格控制包括制样、装样、测试条件、仪器参数等测量参数在内的测量条件；利用该校正校品集建立的数学模型，也只能适用于按这个的测量条件所测量光谱的样品。 选择与建立校正样品集中各个样品：为了克服近红外光谱复杂与变化的高背景，校正样品集中的各个样品必须包括今后待测样品中的全部背景，利用该校正样品集建立的数学模型，就能够校正样品中各种复杂的背景，该数学模型也只能适用于包括这些背景的样品。可以按光谱特征或浓度来选择校正校品集。 准确测定样品集中每个样品的各种待测成分或性质（称为化学值）。因为这些值测定的精确度是近红外光谱运用数学模型进行定量分析精确度的理论极限。 剔除异常值，建立校正校品集（标样集）：由上述 、 环节测定的校正样品集中种样品的光谱与化学值，有可能由于种随机的原因而有较严重的失真，这些样品的测定值称为异常值。这些失真的样品，若包含在校正校品集中，就会影响所建数学模型的可靠性，因此在建立模型时应当剔除这些异常值。一般定量分析程序中都包含用统计方法指出某些异常值，应用人员可以根据情况决定是否将这些异常样品剔除。 对校正样品集中样品光谱的预处理与分析谱区的选定：光谱的预处理与谱区的选定，是克服近红外光谱测定不稳定的有效环节。根据标样光谱的状况对光谱预处理，包括求导、数字滤波、付立叶变换与小波变换滤波等，以降低系统背景与随机背景。近红外光谱定量分析数学模型所包含的谱区（光谱的数据点）一般应根据样品的特点而选定；增加谱区的范围就可以增加对光谱信息采集的范围，即提高信息量；但因为每个光谱的数据点也包含了测量误差，因此数学模型所利用的数据点越多，则包含的测量误差也越大，为了减少近红外光谱中某些信息量小、失真大的部分谱区，以避免这些谱区的测量误差影响数学模型的稳定性，需要选择建立数学模型所用的谱区。可以依据导数光谱或相关系数随频率变化的相关图，用以选择数学模型包括的频率范围。 选择算法、确定模型的参数、建立、检验与评价数字模型：常用的算法有逐步回归分析、偏最小二乘法、主成分回归分析等。这些算法的基本思想是应用近红外光谱的全光谱的信息，以解决近红外光谱的谱峰重叠与复杂背景的影响。如前所说，不同组分虽然在某一谱区可能重叠，但在全光谱范围内不可能完全相同，因此，为了区别不同组分，必须应用全光谱的信息。 可用内部交叉证实法确定数学模型所用的最佳维数（即阶数）。内部交叉证实的方法是评价确定数学模型的一种有效方法。这种方法是依次、每次从校正样品集中提出一个或几个样品，然后用剩余的样品建立数学模型，并用数学模型预测原来提出的一个或几个样品，作为对数学模型的检验。反复进