大学近红外光谱信号有效提取方法研究

XX 大 学 2007 届 毕 业 论 文第 1 页 共 27 页1 绪论1.1 近红外光谱分析技术1.1.1 近红外光谱简介近红外(Near Infrared简称NIR)光是波长范围介于可见光(VIS)与中红外(MIR) 区之间的电磁波，波长范围为7802526nm 1 ，波数范围128203959cm -1。该谱区是1800 年Herschel 发现的，由于分子在 NIR 谱区的倍频和合频吸收信号弱，谱带相互重叠多，信息量大，解析复杂，受当时计算分析条件的限制，一直“冷落” 至20世纪50 年代末，60年代后随着计算机技术的发展，近红外光谱分析技术得到迅速发展，应用领域不断扩大，在农业、医药、石油化工、纺织、化妆品、烟草、宝石鉴定等很多领域得到广泛应用。近红外光谱分析技术是综合光谱学、化学计量学(Chemometrics) 2和计算机应用等多学科知识的现代分析技术，分析过程的高效和绿色化又使其具有典型的现代分析特性。1.1.2 近红外光谱工作原理 近红外光谱分析的原理主要是利用在近红外区用漫反射光谱作定量分析，决定物质品质的主要成份。近红外技术是依据某一化学成分对近红外区光谱的吸收特性而进行的定量测定，所以应用 NIR 光谱进行检测的技术关键就是在两者之间建立一种定量的函数关系，依靠这种关系，就能从未知样品的光谱中求出样品的成分和含量 3。近红外光谱主要是由于分子振动的非谐振性使分子振动从基态向高能级跃迁时产生的。近红外光谱记录的是分子中单个化学键的基频振动的倍频和合频信息，它常常受含氢基团 X-H (X=C、N、 O) 的倍频和合频的重叠主导，所以在近红外光谱范围内，测量的主要是含氢基团 X-H 振动的倍频和合频吸收。近红外光谱分析技术，其实就是一种间接的相对分析，通过收集大量具有代表性的标准样本，通过严格细致的化学分析测出必要的数据，再通过计算机建立数学模型，即定标，以最大限度反应被测样本群体常态分布规律，然后再通过该数学模型或定标方程，预测未知样品的所需数据。从近红外光谱中提取有用信息属于弱信息和多元信息，需要充分利用现有的光机技术、电子技术和计算机技术进行处理。计算机技术主要包括光谱数据处理XX 大 学 2007 届 毕 业 论 文第 2 页 共 27 页和数据关联技术，数据关联技术主要是化学计量学方法。在近红外光谱的应用中我们所关心的是被测样品的组成或各种物化性质，因此，如何提取这些有用信息是近红外光谱分析的技术核心。1.1.3 近红外光谱分析的特点 近红外光谱技术之所以成为一种快速、高效、适合过程在线分析的有利工具，是由其技术特点决定的。近红外光谱分析的主要技术特点 4如下:(1) 分析速度快，测量过程大多可在 1min 内完成。(2) 分析效率高，通过一次光谱测量和已建立的相应校正模型，可同时对样品的多个组分或性质进行测定，提供定性、定量结果。(3) 适用的样品范围广，通过相应的测样器件可以直接测量液体、固体、半固体和胶状体等不同物态的样品，光谱测量方便。(4) 样品一般不需要预处理，不需要使用化学试剂或高温、高压、大电流等测试条件，分析后不会产生化学、生物或电磁污染。(5) 分析成本较低 (无需繁杂预处理，可多组分同时检测) 。(6) 测试重现性好。(7) 对样品无损伤，可以在活体分析和医药临床领域广泛应用。(8) 近红外光在普通光纤中具有良好的传输特性，便于实现在线分析。(9) 对操作人员的要求不苛刻，经过简单的培训就可胜任工作。1.1.4 近红外分析技术操作流程 1)收集具有代表性的样品(其组成及其变化范围接近于要分析的样品)；2)采集样品的光谱数据；3)利用标准的化学方法对样品进行被测成分的化学测定；4)通过数学方法和化学计量学方法将样品光谱数据和化学测定的成分指标数据进行关联，一般将光谱数据预处理后与化学测定值进行回归计算，然后得出定标方程，建立数学模型；5)预测未知样品，先对待测样品进行光谱数据采集，根据光谱数据值利用建立的预测模型计算出待测样品的成分含量。确定预测模型的过程关键是定标过程，定标的好坏直接关系到预测结果的准确性；6) 预测精模型的质量评价。XX 大 学 2007 届 毕 业 论 文第 3 页 共 27 页1.2 国内外研究进展1.2.1 水果内部品质近红外光谱检测方法的研究现状近20年间，日本、美国和欧洲的一些国家对可见/近红外光无损检测水果糖酸度的方法、仪器设备进行了深入的研究，并在这方面取得了很大的进展。近红外光在水果品质检测的研究在国内还处于起步阶段，虽然在基础方面的研究已经取得了较好的成绩，但在实际应用中还是存在一定的差距。我国对可见/近红外光谱技术的研究及应用起步较晚，1979年才开始引入NIR 仪器，但从1995年开始才受到了较多方面的关注，NIRS研究也形成相当规模的研究队伍，并在仪器的研制、软件开发、基础研究和应用等方面终于取得了可喜的成果。Dull和Birth(1989)等用近红外884nm和913nm2个波长反射光谱法测定了成熟罗马甜瓜中蔗糖与可溶性固形物的含量。试验结果得出了近红外光谱与可溶性固形物含量的相关系数:样品薄片为0.97，但完整果仅为 0.60，笔者认为测定值的差异主要是果皮强吸收的原因。Maurizio Ventura等人（1998） 5应用基于双光束光纤便携式光谱仪对苹果的糖度进行了无损检测的研究，采用MLR方程，对log(1/R)取一阶导数得到的最显著的r 2(0.56)，这时SEC为1.01，SEP为1.14。Peirs等（1999）6利用近红外光通过对苹果、甜瓜、蜜瓜、芒果、梨、土豆、洋葱等7个品种试验，研究了不同品种水果在不同部位的糖度和干物质含量（DMC）与光谱的相关关系，结果蜜瓜的糖度变异系数最大为22.8%，土豆的糖度的变异系数最小为0.6%。 Burks等人（2000） 7试验用近红外光谱对干无花果进行分级。对Calimyrna，Adriatic这两个品种基于近红外光谱，采用偏最小二乘法建模进行分级，正确的分级比率在83-100范围内。McGlone等人（2003） 8在800-1000 nm 对刚收获的或者冷藏6周的Royal Gala苹果对光谱数据和测得的成分建立预测模型。DMC预测模型的准确率都很高(r 2=0.95， RMSEP=0.32) 。而糖度预测模型在冷藏后测得的准确率(r2=0.94 ， rmsep= 0.32)，要比收获测得的(r2=0.79， RMSEP =0.51)高。Slaughter等人（2003） 9研究了通过无损光学测量新鲜完整李子总固态物含量（TSC ）和糖度的方法。预测结果分别为：TSC (r2=0.98， SEP=0.80) 和糖度 (r2=0.96， SEP=1.02)。McGlone等人（2005） 10研究了两种不同的近红外检测系统（TDIS和LAS系统），借助于直接透射的方式对以500 mm/s 高速运动的完整苹果进行检测。在650-950nm范围内检测来自苹果的透射光对 DMC进行预测，XX 大 学 2007 届 毕 业 论 文第 4 页 共 27 页TDIS和LAS系统的r 2、RMSEP值分别为0.81、0.48 和0.87、0.43。Manuela 等人(2002)在300 1100nm波长范围通过对 4个品种的苹果叶绿素含量的透射光谱分析，采用多元线性回归分析建立了苹果叶绿素含量与透射光谱的数学模型，其相关系数分别为r 2 = 0.88(Elstar)， 0.98(Jonagold)， 0.90 (Idared) 和0.87 (Golden delicious);Lu等(2002) 11利用近红外光谱(7001700m)来检测Empire 和Delicious 苹果的硬度和糖含量，光源采用250W的石英钨丝卤素灯，且分别在315mm和515mm采用2根光纤接受光谱信息，通过对光谱数据的处理分析，并与破坏性分析相结合，建立了预测苹果内部品质的数学模型，但由于检测器不适合用于水果检测，导致检测精度不高，光谱信息提取困难。从以上国内外最新研究报道来看，利用水果的光学特性来对水果内部品质无损检测和最终实现水果按等级分级是一种具有广泛应用前景的新技术 12 。但还是存在一些问题，如水果的测试部位选取、光学测量方式的优劣评判、检测精度、检测速度和实时性等需作进一步研究。相对国外的研究而言，国内对水果糖度、酸度和硬度等重要内部品质指标的无损光学特性检测尚未见有详细而系列的报道。陈世铭，张文宏等人(1998) 13-14利用10002500nm 近红外光谱对水密桃和洋香瓜等果汁的糖度检测进行了研究，分析了多元线性回归、偏最小二乘法和神经网络3 种校正模式对不同光谱处理的近红外线光谱检测果汁糖度的影响，何东健 15介绍了反射、半透射和透射3 种测试装置的优缺点，并以柑橘和苹果为检测对象，采用透射光方法对2种水果的糖度、酸度和内部褐变进行实验验证，结果表明，在线检测水果糖度值与实测值的相关系数在0.95以上，酸度相关系数大于0.85，且基本上能检测内部缺陷，但试验的样品数量不多。1.2.2 存在的主要问题和应用前景从国内外的研究中我们看到，水果糖度近红外无损检测装置的研究中存在着一些共性问题： 外部环境和检测系统自身温度变化对检测精度的影响 合理的光源装置的设计 水果大小对检测装置的影响目前，国内的水果内部品质近红外光谱无损检测装置的研究还处于初级阶段，而水果糖度的无损检测就最容易的，因此，在今后的研究中，我们以水果糖度近XX 大 学 2007 届 毕 业 论 文第 5 页 共 27 页红外光谱无损检测装置的研究为起点，设计一个通用型的近红外光谱检测装置无损快速动态检测水果的内部品质。总而言之，水果内部品质近红外光谱无损检测装置的商业化前景是我们所能预料得到的。目前在水果内部品质方面的研究国内尚处于起步阶段，研究对象也很不全面，有待探索的问题还很多。(1) 进一步研究水果的不同光学、声学及电学等特性在内部品质检测中的可行性和应用潜力，突破目前水果内部成分分析时的破坏性，以及费时、费力、实时性差等问题；(2) 在借鉴和使用文献报道的“最佳方案”或“最佳条件”时，一定要认真考查“最佳”效应的前提条件，包括水果的内部和外部环境条件；(3) 水果测试部位的选取、光学测量方式的优劣评判、检测精度、检测速度和实时性等需要进一步研究；(4) 建立用于水果光谱分析的校正模型与开发用于水果品质检测与分级的软件系统，是光学特性无损检测技术能否用于水果内部品质检测与分级的重要前提。1.3 课题简介1.3.1 研究目的和意义对果品进行商品化处理，是果品从数量型向质量型、健康型发展的需要，是增强市场竞争力的需要，是进入国际市场、扩大出口的需要。商品化处理技术已经成为发展我国柑橘产业不可或缺的一项技术。但是目前，我国柑橘商品化处理率不到鲜销量的 5，与发达国家高达 95的商品化处理率相比，存在明显的差距。为提高我国柑橘的市场竞争力，大力发展柑橘商品化处理技术已成为业内面临的紧迫课题。柑橘是世界第一大水果，目前全世界年产量近 1 亿吨，约占水果总产量的 14，约有 35的柑橘果实用于加工制汁。柑橘增长最快的主要是巴西、中国，目前柑橘生产的大国依次为巴西（占 23.7）、美国（占 15.9）、中国（占 10.8）、墨西哥（占 5.5）和西班牙（占 4.6），这几个国家的产量合计占世界的 605。世界人均柑橘占有量为 16 千克，其中柑橘鲜果消费量为9.7 千克。巴西、美国、日本等发达国家人均柑橘占有量达 4070 千克。我国2003 年柑橘总产量为 1100 万吨（其中，宽皮柑橘占 60，甜橙 30，其他品种占 10），约有 90用于鲜销，人均占有量 8 千克。我国柑橘品种资源丰富，拥XX 大 学 2007 届 毕 业 论 文第 6 页 共 27 页有甜橙类、宽皮柑橘类、柚类、柠檬和酸橙类等几乎所有品种。目前，世界柑橘出口比例占总产量的 10左右，约 1000 万吨。柑橘（含鲜果、果汁和罐头）的年贸易额为 68 亿美元，仅次于小麦（160 亿美元）和玉米（100 亿美元），是第三大国际贸易农产品。据统计，我国柑橘鲜果出口量 2001 年 17.1 万吨、2002 年21.7 万吨，2003 年 29.2 万吨，呈逐年增加趋势。但出口比例还很低，2003 年出口量约占我国柑橘总产量的 2.9（主要出口周边国家和地区），远低于柑橘出口量超过总产量 10的世界平均水平。基于目前国内外对柑橘内部品质大多采用破坏性检测方法，现有在线无损实时检测技术和方法还不成熟且投入商业化应用较少的现状，选择柑橘内部品质中最重要的糖度和酸度指标进行实验分析，以先进的美国尼高力（Nicolet）仪器公司的高性能、高精确度的NEXUS智能型FT-IR光谱仪、美国海洋公司（Ocean Optics）光纤光谱仪以及现有的水果外部分级生产线和试验台为硬件条件，开展对柑橘水果内部品质实时无损检测新方法的研究。而近红外无损检测技术的基础就是提取有效信号，研究如何能更好的提取近红外有效信号成为现代包装系统一个重要环节。1.3.2 研究方法及技术路线1.3.2.1 研究方法和手段：实时光谱预处理方法的研究；实时检测模型算法的研究；从这两方面实现实时近红外光谱信号有效提取方法的研究，并应用于实时检测的试验验证中。1） 熟悉近红外光谱数据的格式，了解近红外光谱信号提取的一些基本方法，掌握光谱信号处理软件的操作和应用；2）通过已经采集得到的水果的近红外光谱和样品的化学糖度值，经过相应的近红外光谱信号提取方法的应用，找出最适合建模计算的最佳信号提取方法；3）用OMNIC、TQ Analyst等软件处理水果的近红外光谱数据和糖度数据；4) 不同信号提取方法分析及对比，选出最佳方案。1.3.2.2 技术路线： XX 大 学 2007 届 毕 业 论 文第 7 页 共 27 页收集近红外光谱信号提取资料关信息选取水果样品进行分析实验对取得的光信号进行预处理归一化处理导数方法 平滑处理 小波滤波多元散射校正利用 OMNIC 和 TQ Analyst 软件分析各个数据不同信号提取方法的实际比较选出最佳方案XX 大 学 2007 届 毕 业 论 文第 8 页 共 27 页2 近红外光谱信号有效提取方法研究2.1 近红外光谱信号提取近红外光谱根据其检测对象的不同分成近红外反射光谱(NIR)和近红外透射光谱(NIT) 两种。由于倍频和合频跃迁几率低，而有机物质在 NIR 光谱区为倍频与合频吸收，所以消光系数弱，谱带重叠严重。因此从近红外光谱中提取有用信息属于弱信息和多元信息，需要充分利用现有的光机技术、电子技术和计算机技术进行处理。在近红外光谱的应用中我们所关心的是被测样品的组成或各种物化性质，因此，如何提取这些有用信息是近红外光谱分析的技术核心基础。在分析信息的采集、处理、提取与利用的全过程中，现代近红外光谱分析技术的策略是运用硬件与软件技术两个手段，通过两方面来实现从复杂、重叠、变动的光谱中提取微弱信息：一方面尽量开避并提高分析信号源(样品的近红外光谱)中的有效信息率，建立完成近红外分析所需的数据集可称为“开源” ；另一方面运用化学计量学算法尽可能将样品近红外光谱中的有效信息提取出来，并将其表达为待测量可称为“节流” 。近红外光谱分析运用硬、软两个手段，通过两类措施来实现“ 开源” ：一类措施是降低光谱中的干扰信息与无效信息，可称为“去伪”；主要是指运用软件和硬件的滤波技术降低光谱 (用于分析的数据)中的两种误差，即随机误差与系统误差，以增加光谱的信噪比，降低光谱的不确定性。另一类措施是增加光谱中的有效信息，充分采集与获取完成分析必需的信息，可称为“存真”。近红外光谱分析主要通过两个数据群体，采集与获取复杂背景和重叠光谱中的有效信息。2.2 数据预处理方法的应用近红外光谱分析方法由于一系列独特的优点，正在全球范围内受到广泛的重视和推广应用 16，17 。近红外光谱由被测样品的近红外特征光谱主导，包含了噪声、各种外界干扰因素。噪声主要来自高频随机噪音、基线漂移、信号本底、样品不均匀、光散射等。因此要想通过近红外光谱来分析样品的物质成分，就应该先进行光谱预处理，以便降噪、减少各种干扰的影响，简化后续建模处理运算过程，提高分析准确度 18，19 。XX 大 学 2007 届 毕 业 论 文第 9 页 共 27 页2.2.1 多元散射校正技术多元散射校正（MSC）不仅可以修正透射光谱测量过程中的光程长误差，而且可以消除反射光谱和扩散透射光谱过程中的光散射影响 20，21 。处理过程可分为以下三步：第一，计算所有样品光谱的平均光谱 ；第二，将每个niIJJA1样品的光谱与平均光谱进行线性回归，求得回归系数mi，bi， ；第iiib m三，计算校正后的光谱， ；其中，i=1，2，n，n 为样品数；iMSCimbA)()(j表示第j个波数。经过多元散射校正后，不同样品光谱之间的差异变小了，而样品的信息特征更加明显了。图2.1为多元散射校正前后的光谱，可以看出，经过多元散射校正后，不同样品光谱之间的差距变小了，而样品的信息特征更加明显了。图2.1 多元散射校正前、后的透射光谱2.2.2 平滑( smoothing) 算法由光谱仪得到的光谱信号中既含有有用信息，同时也叠加着随机误差(噪声)。信号平滑是消除噪声最常用的一种方法，其基本假设是光谱含有的噪声为零均随机白噪声，若多次测量取平均值可降低噪声提高信噪比。常用的信号平滑方法有移动平均平滑法和Savitzky-Golay 卷积平滑法 22， 23 。采用移动平均平滑法，平滑窗口宽度是一个重要参数:若窗口宽度太小，平滑去噪效果将不佳 ;若窗口宽度太XX 大 学 2007 届 毕 业 论 文第 10 页 共 27 页大，进行简单求均值运算，会平滑掉一些有用信息，造成光谱信号的失真。为此Savitzky-Golay提出了卷积平滑法。 Savitzky-Golay 卷积平滑法与移动平均平滑法的基本思想是类似的，只是该方法没有使用简单的平均，而是通过多项式来对移动窗口内的数据进行多项式最小二乘拟合，其实质是一种加权平均法，更强调中心点的中心作用。Savitzky-Golay 卷积平滑法是目前应用