高光谱检测技术教程文件

1、高光谱检测技术1. 光与物质的作用F1、简单透过F2、只改变传播方向（折射、衍射、弹性散射）F3、传播方向和波长同时改变（非弹性散射）F4、被吸收F5、发出不同波长的光F6、简单反射处理方法：1和6属于宏观现象，由几何光学就可很好地说明；2、3、4、5需考虑物质的微观结构及性质。400-800纳米纳米1纳米纳米 = 10 米米1000纳米纳米 = 0,000 001 米米 = 0,001毫米毫米可见光可见光200紫外紫外0,2X-射线射线近红外近红外1200-2400中远红外中远红外收音机收音机3mm-20cm10m-30km-9红外光谱红外光谱微波微波2. 光散射的定义及物理解释光的散射定义

2、: 指由于媒质中存在的气体，液体或固体的微小粒子对光束的影响，使光波偏离原来的传播方向而向四周散射的现象物理解释： A: 强调粒子概念分子场吸收一个光子的同时，发射一 个光子（拉曼散射） B: 强调波动概念由于物质密度的起伏光被散 射瑞利散射）3散射引起反射，折射及衍射：散射是衍射的一种特殊情况，即散射是细微粒子（比波长要小）的衍射效应。3使透射光强减弱的原因:光的吸收与光的散射 其中，：吸收系数 ：散射系数leII0leII03. 近红外光与固体样品的作用 食品物料的光学特性主要包括光反射率、光透过率、光吸收率、光密度、光发射现象等，如图。小麦中各成分的光谱4.分子吸收能量后发生的变化F分子

3、吸收一个光子后，分子就从基态跃迁到激发态；反之，当分子释放一个光子，分子能量降低的程度与光子的能量相当。 F原子轨道刻划了原子中的电子的分布，同理，分子轨道描述了分子中电子的分布。F在电子跃迁过程中，电子从一个分子轨道跃迁到另一个轨道，并伴随着分子能量的增加或者减少。5.光谱测量的基本方法（1）透射率（Transmittance） T=I/I0 (一般采用百分比)（2）吸光度（Absorbance） A=lg (I0 /I) I0 ： 单色光的入射能量 I ：光通过样品后的出射能量（3）反射率R（Reflectance）Lambert-Beer Law理想的情况下，浓度为C的某种特定成分对于某

4、波长光（辐射）的吸收可用如下公式描述：其中 I: 透射光强度； I0: 入射光强度 c: 特定成分的浓度(concentration) : 特定成分在某吸收波长处的吸收系数 (absorptivity) L: 光程长(样品的厚度, pathlength)clTAIITclIIln/)exp(00 近红外光谱主要是由于分子振动的非谐振性使分子振动从基态向高能级跃迁时产生的，记录的主要是含氢基团X-H（X=C、N、O）振动的倍频和合频吸收。不同基团（如甲基、亚甲基、苯环等）或同一基团在不同化学环境中的近红外吸收波长与强度都有明显差别，NIR光谱具有丰富的结构和组成信息，非常适合用于碳氢有机物质的组

5、成与性质的测量。对称伸缩振动-非对称伸缩振动-摇摆振动-摇摆振动-弯曲振动-剪切振动 透射光光谱法透射光光谱法反射光谱反射光谱法可用于可用于定性和定性和定量定量分析分析 定性分析常用的方法定性分析常用的方法 聚类分析是典型的无监督模式识别方法, 利用同类样本彼此相似, 即物以类聚 , 聚类分析就是使相似的样本聚 在一起, 从而达到分类的目的 另一种常用方法是Mahananobis距离, 其核心是通过多波长下的光谱数据, 定量描述出测量样本离校正集样本的位置, 因而在光谱匹配、异常点检测和模型外推方面都很有用。 目前国际流行的方法是依靠主成分分析( PCA )结合Mahananob is距离判据

6、 , 既利用了PCA处理不丢失信息的特点, 又利用Mahananob is距离便于建立定量域值的优点。定量分析常用的方法定量分析常用的方法 定量分析是通过多元校正方法建立光谱与组成或性质间的校正模型, 使用该模型可预测未知样品的组成或性质。 各种多元校正技术有多元线性回归法(mu ltiple linear regression, MLR ) 主成分回归法( principa l component regression, PCR ) 偏最小二乘法( partia l least square, PLS) 人工神经网( art ific ia lneura l ne tw ork, ANN )

7、 拓扑( topo logy, TP)法 优点：（1）快速，通常30秒内就可给出分析结果，可进行在线分析；（2）制样简单；（3）信息量大，可同时测定多组分；（4）经定标建模后，无须用其他常规化学分析手段，不使用有毒有机 试剂，无污染；（5）非破坏性分析，可实现产品的无损质量检测；（6）可使用光纤，从而可实现远程分析检测。缺点：（1）建立模型需要大量有代表性且化学值已知的样品； （2）模型需要不断的维护改进 ；（3）近红外测定精度与参比分析精度直接相关，在参比方法精度不够的情况下，无法得到满意结果。 食品： 酒制品、饮料、调味品、乳制品、食用油、烘焙食品、肉类等成分鉴别、产地鉴别、真伪鉴别农牧：

8、谷类作物、烟草、咖啡、水果、蔬菜、茶叶等 成分鉴别、成熟度、品质分级、品种鉴定、产地鉴别、真伪鉴别石油炼制： 原油、天然气、汽油等 成分鉴别、重整（1）用近红外光谱技术鉴别蜂蜜真伪参考文献：钟艳萍，钟振声，陈兰珍，叶志华，赵静近红外光谱技术定性鉴别蜂蜜品种及真伪的研究J现代食品科技，2010，26(11)：1280-1282应用例应用例 在120004000 cm-1 范围内采集荆条蜜、槐花蜜、油菜蜜和掺假蜜的近红外光谱，结合一阶导、多元散射校正及变量标准化)三种方法对光谱进行预处理，以主成分分析结合马氏距离判别法，在不同谱区建立蜂蜜品种及真伪定性鉴别模型。研究发现61005700 cm-1

9、谱区为最佳建模波段，品种判别正确率达90%以上，真伪鉴别正确率93.10% 。（2）植物油品质分析中的应用 1994 年Sato采用近红外光谱技术鉴别大豆、玉米、棉籽、橄榄、花生及油菜等植物油种类。 陈永明等结合遗传算法建立了不同产地的橄榄油近红外分析模型, 可以快速、无损地鉴别出未知产地的橄榄油, 将为其他植物油产地鉴别提供了一种便捷手段。在油脂植物含油量测定中的应用 刘福莉等利用傅里叶变换近红外透射光谱法扫描食用调和油中大豆油、花生油以及玉米油的光谱, 采用偏最小二乘法( PLS )建立了各自含油量的定量分析模型, 其R2EV分别为99. 89% 、99. 88%、99. 76%, RMS

10、EP分别为1. 09%、1. 17% 、1. 48%。在脂肪酸化学组成测定中的应用Kova lenko 等研究了不同统计分析方法对脂肪酸预测准确性的影响, 发现在总饱和脂肪酸(棕榈酸+ 硬脂酸)上获得的预测结果较好( R2EV = 0. 91 0. 94) , 而在油酸(R2EV = 0. 76 0. 81)、亚油酸(R2EV = 0. 73 0. 76)和亚麻酸(R2EV = 0. 67 0. 74)上的预测效果次之。（2）在乳品行业的研究及应用乳制品液体奶奶粉及奶酪 液态奶是多种物质组成的混合物, 如新鲜牛奶, 是包含真溶液、高分子溶液、胶体悬浮液、乳浊液及其过渡状态的分散体系。 Chen

11、 等研究建立了检测鲜牛奶中脂肪含量的近红外模型, 考察了不同光谱预处理方法及波长范围( 700 1100 nm) 对模型的影响。奶粉及奶酪 针对奶粉质量问题频出的现象,近年来国内借助近红外光谱技术对奶粉的化学指标进行检测的报道较多。丁丽等 建立了奶粉中三聚氰胺的近红外定量分析模型,。朱俊平等 利用近红外光谱分析了儿童高钙奶粉中水分、蛋白、脂肪、乳糖和蔗糖的含量。（3）近红外在无损检测方面的研究应用 水果褐变检测很早以前已经开始，Lord等首先研究了元帅水心病苹果在贮藏中褐变发生过程，在冷藏条件下褐变产生在贮藏一个月后，而常温下褐变仅在采摘7 d后就发生。 韩东海等先后对受损苹果颜色和组织的近红

12、外光谱特性以及苹果水心病的光学无损检测进行了研究。 利用可见近红外连续透射光谱技术(650900 nm)对苹果内部褐变进行了研究。分析了其光谱特性，选择715 nm，750 nm，810 nm 3个特征波长进行了褐变果判别分析，实验结果表明，样品的正确判别率达到9565 利用红外光谱法可以在不损伤苹果的前提下，在不到1 min的时间内快速地判断出苹果内部是否发生褐变，检测准确性高，为实现水果在线分选提供了可行性支持。1. 分光系统的性能参数F 波长分辩率F 分光可能的波长范围F 能量利用率(亮度)F 分光所需时间(速度)2.对近红外光谱系统的要求F可靠性：光谱横轴（波长）及纵轴（能量）稳定F多

13、用性：灵活可变的测样方式，宽广的波长范围、 F方便性：对应的计量学软件F快速性：软、硬件的高速度F在线性：自动进样系统、强抗干扰能力3.近红外分光的硬件F光源F分光元件F光电检测F谱图获得（1）滤光片型近红外仪器A1A2A3A4A5A6（2）光栅旋转分光原理(光栅扫描)（3）傅立叶变换式分光法光栅固定分光原理(多通道)仪器分光系统仪器分光系统二极管阵列检测器Array瞬时多波长检测自动波长准确性检查并自动校准附：近红外检测技术的建模（校准）附：近红外检测技术的建模（校准）校准 = 教会仪器 近红外光谱定量分析技术又称“黑匣子黑匣子”分析技术，是一种间接的测量方法，即通过对样品光谱和其质量参数进

14、行关联，建立预测模型，然后通过预测模型和未知质量参数的样品光谱来预测样品的组成和性质。 近红外是间接检测 必需校准 必需有参考分析方法近红外技术应用前提条件近红外技术应用前提条件 一般来讲，能否应用近红外技术定量精确检测某种成分的含量主要由以下三方面的因素决定：被检测的样品是否有很好的近红外光谱反应特性，即通常所说的“红外活性”。仪器自身的特性及相关的技术指标：检测过程中光谱的重复性精度、信噪比以及波长范围等因素。1.用于建模定标的样品的化学值的准确程度。什么是校准& 描述特定近红外波长光的吸收特性和样品组 成之间的关系。Y = C0 + C1*A1 + C2*A2 + + Cn*An

15、 红外光谱定量分析流程红外光谱定量分析流程 G在测量方法一致的情况下，浓度预测误差(RMSEP)与仪器精度(SNR)成反比例关系，即仪器精度越高，浓度预测误差越小。G在浓度测量精度目标确定时，一定的仪器精度是实现该预测精度目标的必要前提。多变量校正方法测量精度的实验结论建模方法对测量精度与仪器精度的影响结论G如果采取有效的建模方法，即使在仪器精度相同的情况下，都可以有效地提高预测精度，而且还可以大大降低实现期望预测精度所必需的仪器精度的要求。G选择有效的建模方法（如优选波长变量，改进建模算法等）对于提高复杂近红外光谱测量情况的预测效果具有重要意义。 光谱定量分析流程收集样品加入界外点重新建模检

16、查分析方法检修仪器日常分析对模型进行评价建立多元回归模型选择验证集选择校正集对光谱必要的处理测定全波长谱图测定全部样品的物化性质检测结果是否正确仪器及操作是否正确样品是否为界外点正确不正确不是是正确不正确校正模型训练集样品的选择F尽可能要覆盖待分析样品的范围F对于待测的物化性质，样品应均匀分布F样品的基底应相同（如PH值或水分）F若各组分间相互反应，要注意光谱采集合采集瞬间的组成变化F包括尽可能多的有代表性的样本F样本变化范围越大，模型的适用范围越宽，但分析结果的精度可能变差；模型适用范围小时，分析结果的精度相对较高，但适用面变窄。对样品物化性质的测定F对于人工合成样品，比较简单F对于复杂的天然产品，必须选用被大家接受权威的分析方法。F模型预测结果的准确性在很大程度上取决于标准测量结果的准确性。F用多次分析结果的平均值来降低误差建模常用化学计量学方法建模常用化学计量学方法 多元线性回归（Multivarate Linear Regression, 缩写为MLR） 主成分分析（Principle Component Analysis,缩写为PCA） 主成分回归（Principle Component Regression，缩写为PCR） 偏最小二乘法（Partial Least Square, 缩写为PLS） 拓扑学方法和人工神经网络方法（Artificial Neu