NIR分析技术在食品工业应用中的几个关键问题的探讨.doc

NIR分析技术在食品工业应用中的几个关键问题的探讨摘要：文章介绍了近红外光谱分析技术的主要技术特点和在食品和农产品品质快速检测中的应用情况，根据多年研究积累的经验，对近红外光谱分析技术在实际应用中的几个关键问题进行了比较详细的分析，分别针对本底材料的选择、专用附件的选择、光谱信息的预处理方法、模型传递方法等问题提出了多种解决问题的方法，对正确、合理应用好该分析技术提供了借鉴。关键词：近红外光谱分析，应用研究，信息提取，模型传递Discussion on the key questions of NIR analysis technique in food industry applicationAbstract: It is presented firstly in this paper about the main technical characteristics of near- infrared spectrum analysis technique and its applications in the fast inspection of food and farm produce. According to the accumulated research experiences through many years, the author then made detailed analysis and descriptions on several key questions of near-infrared spectrum analysis technology in practical applications, and finally put forward multiple solutions to the questions such as background material selection, special accessory selection, spectrum information pretreatment, and model transferring, etc. It provides us with a reference as exact and rational use of the analysis technique.Keywords: near-infrared spectrum analysis, application research, information pick-up, model transferring一、 NIR分析技术的特点近红外（Near Infrared简称NIR）谱区指可见光区到中红外谱区（简称MIR）之间的电磁波，其波长范围为0.782.5m（波数12 820 4 000 cm-1），本谱区是于1800年被Herschel所发现的1。现代NIR分析技术是20世纪90年代以来发展最快、最引人注目的光谱分析技术，被誉为分析的巨人。测量信号的数字化和分析过程的绿色化又使该技术具有典型的时代特征。NIR分析技术的主要技术特点如下：(1)信息丰富；(2)信号稳定，强度小；(3)多组分同时检测；(4)对样品无特殊要求，无需样品的预处理；(5)检测速度快，可用于现场检测和在线检测；(6)一般用于常量检测，检测范围在 1% 95%。二、 NIR分析技术在食品与农产品中的应用现代NIR分析是从农业分析研究开始的。20世纪50年代开始，美国农业部仪器研究室Norris等人开始研究用可见光的透射和反射技术测定鸡蛋的质量（鸡蛋的新鲜度等）、测定蔬菜和水果的质量（新鲜度、病虫害等）2，由于NIR谱区包含的信息比紫外、可见光丰富，他们开始用NIR光谱分析农产品质量，进行了农产品水分、脂肪、蛋白质等的测定。20世纪80年代中期以后，美、日、意等国家相继开始致力于把NIR技术应用于医药、农产品和食品加工的在线质量监测与控制的研究，90年代NIR技术又进一步拓展到石油、化工、制药与临床医学、生物、环境科学、纺织、食品、法医鉴定等许多行业。在农业领域，NIR技术可通过漫反射方法，检测种子或作物的质量，如水分、蛋白质含量等的测定。NIR技术还被用在烟草的分类、棉花纤维、饲料中蛋白质及纤维素的测定，并用于监测可耕土壤中的物理和化学变化3。在食品分析中，NIR用于分析肉、鱼、蛋、奶及奶制品等食品中脂肪、蛋白、氨基酸等的含量以评定其品质4，1995年日本学者研究了NIR分析酱油类产品的检验方法；NIR还用于水果如苹果、梨中糖的含量分析。我国20世纪70年代年后期引进NIR分析仪器，严衍录最先在国内开始了NIR技术在农产品方面的应用研究工作。李大群、王文真等人利用450型NIR光谱仪测量了大豆和小麦中的蛋白质含量5；朱才、王乐凯、金香哲等人用德国生产的8100型NIR仪先后测定了小麦蛋白质的含量和玉米淀粉的含量6；陈捷光、林玉珍等人采用Nicolet 170 SX傅里叶变换NIR仪作了面粉、烟叶的NIR漫反射光谱的多组分同时分析7；金同铭等人利用短波NIR对完整草莓和黄瓜以及苹果中的VC的非破坏性快速检测进行了研究8。随着NIR技术的发展，国内其他行业中的应用研究也逐步开展起来。江苏大学农产品加工与贮藏教研室1996年开始了NIR在农产品和食品工业中的应用研究，曾先后获得国家“863”招标项目、自然科学基金和国家教委博士基金项目。对方便面、大米、调味品、啤酒、菜籽油、发酵液、苹果、甲硝唑等物料的主要成分的检测进行了研究。三、 NIR分析中的几个关键问题与解决方法探讨食品和农产品是由多组成构成的混合体，有固体、粉状体、胶体、糊状体，也有流体、半流体和气体等多种形态。由于被测物体的多样性，因此在进行NIR分析时，需要根据被测物体特点采用不同的检测方式和选择不同的检测附件。对于固体物料（采用反射式检测时），检测表面的形状以及与检测元器件之间的相互空间位置参数，如：光洁度、检测表面法线与入射光的相互位置、光程等因素都会对光谱造成很大的影响；对于粉状体（一般采用漫反射的检测）需要严格控制物料的粒度、表面的平整度和装填密实度等参数；对于流体和半流体物料要考虑温度对流动性的影响，同时也要考虑到检测附件的清洗方便；对于气体检测时要保持气体的压力和温度，同时应采用较高扫描分辨率采集近红外光谱。除了上面介绍的针对不同物料性质的考虑的检测模式和检测参数选择外，根据自己在研究中所遇到的一些实际情况，认为以下几个问题也是影响检测精度的重要因素。3.1 本底材料的选择为了消除仪器和检测环境引起的光谱漂移，在检测时先检测本底的光谱，然后再检测物料的光谱，不管是反射还是透射形式，最后得到的光谱是物料光谱与本底光谱相除后再经过某种数学运算得出的。因此选择不同的本底材料就得出不同的光谱。选择本底首先考虑的问题是能获得最大的样品光谱信息，同时也能最大限度地扣除样品中某些组分对光谱稳定性和可靠性的影响。对于固体和粉状物料采用反射或漫反射检测模式时一般选择硫酸钡为本底材料，这是因为在全NIR区域硫酸钡的反射率几乎是常量，故可以得到稳定的相对反射光谱。对于液体，由于溶剂的不同对本底材料的选择尤波数 空气本底乙醇本底蒸馏水本底吸光度 A图1 “镇江香醋”在不同本底材料时的吸光光谱为重要。首先需要分析光谱信息大致在什么位置、哪些是有效的光谱信息、哪些是背景（溶剂）的光谱信息等等问题后，再做出选择本底的决定。一般而言选择能扣除溶剂背景，凸现待测溶质的光谱信息的物质为本底材料最好，选择溶剂本身作本底可以消除或部分消除溶剂对光谱的影响。图2 不同光程时的水的透射率 图1是采用不同本底的“镇江香醋”的透射光谱9。从图中可以清楚地看到，因本底不同，光谱在7 500 cm-1以下产生很大的差异，其原因是水在NIR区是强吸收物质，由于水与空气（包括乙醇）在NIR区透过能力存在巨大的差异，造成了光谱的变形，因此对该物料不易选择空气或乙醇做本底。波数 /cm-12 mm5 mm10 mm相对透过率 T/% 本底的选择与检测参数选择也有密切的关系。“镇江香醋”是以水为溶剂的多种乳酸、还原糖和微量元素为溶质的溶液，其中水约占总量的8590%。虽然水是强吸收物质，但可以提高入射光的强度或减小光程获得光谱信息。图2是不同光程下水的NIR光谱的透过情况9。从图中看出在7 2006 500cm-1和5 3005 000 cm-1处，水有两个强吸收区间；10 mm光程的水在小于7 200 cm-1的区间上几乎吸收了全部的NIR能量（透射率为零）；5 mm光程在6 5005 300 cm-1情况有所好转；2 mm光程除在5 3005 000 cm-1的区间上透射率接近零外，其它处的透射率均不为零，因此使用2 mm光程将获得更多的待测成分的信息。3.2专用附件的选择待测样品窗片出射光线图3. 透反射样品池示意图入射光线NIR技术不是MIR分析技术扩展，该技术涉及到分析化学、仪器仪表、应用数学、计算机应用、物理光学、数字信号分析等多方面的知识，是多种学科交叉、渗透交融的实用性技术。方便、简单、快捷、实用的检测规范和稳定的仪器性能是保证能否在实际生产中得到应用的前提，没有实用型专用附件的NIR检测系统是不可能得到应用的。现在每个仪器公司都为自己的光谱仪器配置了众多可选的检测附件，如：积分球、自动上料、各种光导纤维探头附件等等，为应用提供了极大的方便。但如何合理地选择附件是NIR工作者必须考虑的问题。选择附件的原则是获得稳定、可靠的光谱信息和方便检测。对于同一检测对象，选择不同的检测附件常常会产生很大的差异，即使使用同样的检测附件，由于某种元件的物理光学特性不同也会对光谱的采集产生较大的影响。图5 不同光纤对白酒样品扫描光谱的影响进口原装光纤某国产光纤010203040506070809090897611121248138415201656波长进口光纤国产光纤透过率 %图4 两种光导纤维检测附件的光谱透射率比较在“镇江香醋”品质检测的研究中，原先采用石英比色皿，由于只能采用2mm的比色皿，给装样和清洗带来了较大的困难，也容易造成光谱检测的随机误差。改用了透反射检测模式后装样和清洗变得极为方便，特别是检测脂溶性物质时该特点更为突出，图3是透反射附件的原理图。使用附件时还必须各种光学材料在NIR区域的透过特性和附件结构对最终光谱的影响，如图3中窗片的性质、入射光与反射光的焦点位置、反射镜的特性等问题都会对最终光谱产生较大的影响。光导纤维探头在NIR应用中是一个必不可少的检测附件，光纤探头具有使用方便和便于在线布置且不易受检测环境影响等特点，在生产过程检测中得到广泛的使用。但是不同光纤的光谱特性是不一样的，图4是两根石英光纤的相对透射率光谱10。一根是原装进口的，另一根是国内某单位生产的，由于羟基含量的不同，造成了相对透过率光谱的差异，在1 384nm附近两光谱之间的差异最大。图5是在一台仪器上使用相同的探头（不包含光纤部分），使用不同的光纤检测同一个白酒样品的两条光谱11。图中可以清楚地看到在1 400 1 500 nm区域光谱存在有较大的差异，该差异会给后续建立校正模型带来麻烦，影响模型的预测精度，在使用中应关注这类问题，避免使用该段区域的光谱信息。3.3 光谱信息的预处理方法要使NIR技术得到应用，稳定可靠的光谱是基础，从丰富的NIR光谱中提取出有效信息是关键，化学计量学方法是提高预测精度的保证。NIR光谱中包含着丰富的物料组分的信息，同时也包含着大量的背景噪声。NIR光谱是有机基团的二次甚至是三次倍频和合频信息，并且信息的相对强度远远低于MIR基频吸收信息，如何有效地抑制背景的干扰从NIR中提取出有效的信息，是影响NIR技术应用的最重要的原因之一。3.3.1 平移误差与旋转误差的消除基线平移和旋转误差是NIR中最常见两种系统误差，分别可以看成是基本光谱上增加了一个常量和一次项分量。传统的消除这类误差的方法是对光谱进行微分处理，一次微分可以消除平移误差，二次微分可以消除旋转误差。光谱微分处理的前提是原始光谱应该是高质量的随机误差较小的光谱。3.3.2 NIR光谱中噪声的消除从数字信号分析的角度观察NIR光谱，多组分物料的NIR光谱曲线变化缓慢的低频信号（即：NIR光谱多为常说的“馒头峰”），这是各个组分中每种有机基团的倍频和合频吸收的综合反映。事实上在NIR中还包含着大量的高频噪声，这些高频噪声来源于各个方面：电子线路、电源、探测器暗电流、在多通道光谱仪器中探测器间个体差异形成的高频噪声、操作过程中的随机误差、环境的扰动等等。消除噪声的传统方法是多项式平滑，它可以有效地改善光谱的质量，但在使用中因为平滑点数的选取不合理，难以得到最理想的滤波（平滑）效果，选多了虽然光谱很平滑了，但牺牲了光谱的细节，光谱变得过于平缓；平滑点数选择少了得不到理想的效果。对光谱的平滑人们一直寻找新的解决问题的途径，根据NIR光谱的频率特性进行平滑处理的方法近来得到大量的应用，该方法是将NIR的时域信号转变成频域信号，按NIR的频域特性进行频率分解、平滑、逆变换到时域。目前研究的比较多的方法有：1快速傅立叶变换（Fast Fourier Transform，简称FFT）滤波器平滑法，该方法是将FFT技术用于测量后数据的平滑处理。其过程为：对光谱的时域数据进行FFT，得到频域数据；再将频域数据乘以平滑函数（如矩形平滑函数等）滤去高频成分并作截断处理，对上述经过平滑和截断处理的频域数据进行FFT逆变换得到平滑后的时域数据10。2小波分析滤波法，小波变换时-频域的局部化性质可以很好地获得信号的局部化特性，对突变信号和非平稳信号的检测非常有效。小波消噪是一个正在研究中的课题，常用的小波分析滤波法有3种，即：（1）小波分解与重构法 该方法是将信号通过低通和高通两组滤波器，近似分量主要反映信号的低频部分，细节分量主要反映信号的高频部分。根据光谱信号和噪声信号的频谱分布有选择的去掉某几个尺度下的细节分量，用保留下来的小波系数重构信号，达到消噪的目的，主要适用于信号与噪声的频带相互分离的确定性噪声的情况。（2）非线性小波阈值法 小波变换特别是正交小波变换具有很强的去数据相关性，它能够使信号的能量在小波域集中在一些大的小波系数中；而噪声的能量却分布于整个小波域内，因此，经小波分解后，信号的小波系数幅值要大于噪声的系数幅值，幅值比较大的小波系数一般以信号为主，而幅值比较小的系数在很大程度上是噪声。于是，采用阈值的办法可以把信号系数保留，而使大部分噪声系数减小至零。（3）小波变换模极大值法，当信号中混入了随机噪声，由于随机噪声通常导致信号的奇异性，奇异性的大小由一个指数（）来度量。随机噪声的与有效信号本身的奇异点的大小不一样，从而它们的小波变换模的极大值在不同尺度下的传播行为也不一样，利用这一特性可将有效信号从随机噪声中提取出来。函数在某一点的越大，该点的光滑度越高；越小，该点的奇异性越大。事实上，从光谱频域特性上进行平滑处理，不但消除了光谱中的高频分量的噪声，同时也消除了光谱中特低频的噪声，如：光谱的平移误差（频率可以看成是0 ，即周期无穷大）、光谱的旋转误差（频率可以看成1，周期为整个光谱范围）。试验举例：仪器WQF400N型傅立叶变换近红外光谱仪（北京第二光学仪器厂），PbS探测器，全透射方式，10 mm石英比色皿，采样波数9 5003 600 cm-1，分辨率为4 cm-1，64次平均，光源选用6V卤钨灯，材料：芥酸含量不同的5个菜籽油样品。平滑（滤波）效果的评价采用信噪比（SNR）和均方根误差（RMSE）其中：为真实信号的功率，为噪声的功率。消噪后信噪比越大，消噪的效果越好。其中：为原始信号，为小波消噪后的估计信号。RMSE值越小光谱中所含噪声越少。表1 5个菜籽油样品不同平滑（滤波）方法的效果比较9点平滑法SNR(RMSE)小波分解与重构法滤波SNR(RMSE)非线性阈值法滤波SNR(RMSE)模极大值法滤波 SNR(RMSE)样品编号12.4094（3.1257）2.2414（3.1867）6.5465（1.9413）16.7267（0.6013）22.5693（3.0796）2.3814（3.1469）6.6052（1.9351）16.7586（0.6012）32.6846（3.0158）2.4653（3.0932）6.6246（1.9162）16.9079（0.5865）42.8341（2.8919）2.5951（2.9726）6.6167（1.8709）17.5001（0.5344）53.0442（2.7933）2.7642（2.8848）6.7237（1.8287）17.6675（0.5187）平均值2.7083（2.9813）2.4895（3.0568）6.6233（1.8984）17.1122（0.5684）标准差0.2181（0.1225）0.1791（0.1122）0.0572（0.0427）0.3935（0.0350）各种平滑方法的参数选择为：多项式平滑选用9点，小波选用db3小波对光谱信号进行6尺度分解。采用小波分解与重构法时，对对光谱进行多尺度分解，然后对近似部分a6和细节部分d6、d5、d4分别进行重构相加；小波软阈值法消噪时，对d6、d5、d4、d3、d2、d1分别给以阈值为0.002、0.002、0.002、0.005、0.008和0.014对小波系数进行修正，再进行小波逆变换得到消噪后的光谱；小波模极大值法消噪时迭代次数为6次，虽然从表中可以看到模极大值法消噪性能最好，但这不是绝对的结论，应根据实际情况，针对不同的检测系统和对象，采用相对应的平滑方法会得到最好的效果。3.3.3 NIR光谱有效信息的提取可以将NIR信息分成两种信息，一种是对建立校正模型、提高预测精度有效的有效信息，另一种统统可以划入干扰信息中，与光谱的平滑滤波相比，光谱的有效信息提取是从另一个角度进行预处理。对光谱进行微分处理也有提取有效信息的作用，解卷积、多元回归分析、光谱的主成分分析中的成分分解、偏最小二乘分解等等方法，也是常用的有效信息提取的方法。随着数字信号分析和小波分解技术在NIR中应用研究的进展，多种新型的有效信息提取的方法不断出现，也推动了NIR技术的进步和发展。根据数字信号分析中两个函数之间的相关分析思想，有人提出了通过两个光谱之间的自相关和互相关分析凸现有效信息的思想12。相关分析技术是应用信号周期性的特点，通过自相关或互相关运算，互相关函数是表示两个随机变量间的相关性，而自相关是互相关的一种特殊情况13。Rxy()是表示两组数据和之间依赖关系的相关统计量。互相关函数的函数表示是：式中的为时间延迟量。如果x()和y()两信号是同频率的周期信号或者含有同频率的周期成分，那么即使0，互相关函数也不收敛并会出现该频率的周期成分。如果两信号含有频率不等的周期成分，则两者不相关，简言之就是同频相关，不同频不相关。使用上述原理，江苏大学刘青格14（2003）、黄传旭15（2004）和张惠风16等硕士（2005）等人进行了较为系统的研究，分别采用甲硝唑和淀粉等物料，通过相同的化学计量学方法建立的校正模型的预测精度比较，证实了相关分析方法可以从丰富的NIR中提取出所需要组分的信息，对不需要或干扰作用的信息得到大大抑制。南开大学武中臣博士（2006）对相关分析的思想和方法进一步发展作了大量的探索性工作17，将该技术用于到模型的传递的研究中，取得了非常理想的结果18。3.4 模型的传递生产过程控制中，仪器、部件、使用环境等因素都可能发生改变。模型传递技术11就是将在一台仪器上建立的定性或定量校正模型可靠地移植到其它相同或类似的仪器上使用，或将在某一条件建立的模型用于同一台仪器另一条件采集的光谱。常用的模型转移算法有：限脉冲响应算法(FIR)、直接校正算法(DS)、分段直接校正算法(PDS)、Shenks和正交信号校正算法（OSC）等。模型传递效果的主要评价指标是预测精度。最近进行这方面研究的报道很多，这里不做详细讨论。需要强调的是，大多数研究的仅仅是通过一定的算法先对原始光谱做处理后再带入到原模型中进行预测计算实现模型的传递。这里考虑的是光谱变形的何如修正问题，至于是什么原因造成的光谱变形，不同条件改变（光源、探测器、分光系统等硬件的更换）引起光谱变形的特征是什么等等问题未作探讨。要得到更好的模型传递效果，作者认为必须综合考虑造成光谱变形的原因和不同原因下的光谱变形特征，这对指导光谱仪器的硬件设计是很有意义。四、 结束语本文主要讨论了NIR技术在应用中的几个关键问题，许多论点是作者本人的观点，希望得到大家一起讨论，提出宝贵的意见。由于NIR是多种学科的交叉点，而且是一门工程应用技术，如何在工程中应用是该技术能否发展的根本。目前进行应用研究的人员来自不同的学科领域，相互沟通、相互学习、相互融会、取长补短才能发挥各自的特长，将仪器硬件与化学计量学方法相互结合研究是该技术的新的研究理念，相信通过大家不懈的努力，NIR分析技术一定会在生产工程中得到越来越多的应用。参考文献1 吴瑾光. 近代傅立叶变换红外光谱技术及其应用(上卷). 北京: 科学技术文献出版社. 19942 严衍禄,张录达等.傅立叶变换近红外漫反射光谱分析研究论文集. 北京农业大学学报.1990.16（增刊）3 L S Chin. Near Infrared Spectroscopy: The Future Waves, 7th Proc. Int. Conf. Near Infr