（农产品加工及贮藏工程专业论文）模型转移技术在近红外光谱仪器上的应用研究.pdf

l 一 吐j i i 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：苌继啁 日期：_ a 0 7 年o 月i o 日 - f 1 弋 【静 - l 模型转移技术在近红外光谱仪器上的 应用研究 a p p l i c a t i o no f t h em o d e lt r a n s f e rt e c h n o l o g yf o rt h en e a r i n f r a r e ds p e c t r u mi n s t r u m e n t s 2 0 0 7 年6 月 、 d 卜 r 江苏大学硕士学位论文 摘要 随着人民生活水平的不断提高，人们对农产品质量的要求也越来越高，目前我国 已经制定了相关的质量标准来满足人们的这些需求。近红外分析技术作为一种快速、 准确、灵敏、省时、实时、实用的农产品品质快速检测方法已经被分析人员所接受。 本文针对近红外分析过程中出现的模型转移问题进行了探讨，研究了部分算法，初步 利用单台仪器的光谱修正方法解决了模型精度问题，同时初步解决了两台仪器间模型 的共享问题。 本论文主要针对以下几个内容做了细致的研究：首先，针对单台仪器间的光谱漂 移问题，将报警程序嵌入了n i r 8 0 0 型近红外光谱仪器的系统光谱采集过程中，通过设 置仪器稳定性最底阈值，达到了控制仪器稳定性的目的，并通过实验验证了该方法的 可行性；其次，针对两台台仪器间光谱模型共享问题，设计了n i r m d t ( v e r s i o n1 软件， 该软件集成了d s 、p d s 、s h e n k s 、f i r 等模型转移算法，并通过马氏距离、欧氏距离、 相似系数、相关系数来判断转移效果的好坏，并且配合江苏大学近红外光谱分析工作 组开发的化学计量学软件( n i r s a ) ，调用该软件做成的模型进行预测；最后，通过b r u k e r 公司提供的数据寻找到了针对该样品的两台仪器间光谱模型转移的最佳的转移参数 ( 标准品数量、窗口选择大小) ，并且收集了菜籽油样品，测定了菜籽油样品的近红外 光谱数据；用气相色谱法获得所收集到的菜籽油样品准确的芥酸的化学指标值，通过 标准品和窗口长度的选择，修正了w q f 4 0 0 n 型傅立叶变换近红外光谱仪器上测量得 到的菜籽样品的芥酸含量，通过光谱修正技术提高了模型的预测精度； 研究结果表明：本论文探讨的方法有利于提高单台仪器上建立的模型的预测精度， 同时初步解决了两台仪器间的模型转移问题。 关键词：近红外光谱，光谱修正，模型转移 江苏大学硕士学位论文 a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to ft h ep e o p l e sl i v i n gs t a n d a r da n dt h ei n c r e a s i n g l y h i g h e rd e m a n d st ot h eq u a l i 哆o fa g r i c u l t u r a lp r o d u c t s ，t h eg o v e r n m e n th a sa l r e a d yw o r k e d o u tc o e l a t i o nq u a l i t ys t a n d a r d st om e e tt h en e e d so fp e o p l e a sak i n do fr a p i dd e t e r m i n i n gm e t h o do nt h eq u a l i t yo fa g r i c u l t u r a lp r o d u c t s ， n e a r - i n f r a r e da n a l y t i c a lt e c h n o l o g yi sf a s t , a c c u r a t e ，k e e n ，t i m e s a v i n g ，r e a l t i m ea n dh a s b e e nc e a s e l e s s l ya c c e p t e db ya n a l y s t s t h ep a p e ri n v e s t i g a t e st h ep r o b l e mo fc a l i b r a t i o nt r a n s f e ri nt h ep r o c e s so fn e a 卜 i n f r a r e ds p e c t r a la n a l y s i sa n ds t u d i e ss o m ea l g o r i t h m s ，t h i sa r t i c l ee x p o u n d st h es p e c t r a l c o r r e c t i o nt e c h n i q u ef o rd e a l i n g 丽t l lt h ep r o b l e mo fm o d e la c c u r a c yi nas i n g l ei n s t r u m e n t ， a n da l s os o l v e st h em o d e ls h a r i n gi s s u e sb e t w e e nt w oi n s t r u m e n t s f i r s t l y , t h i sp a p e rd e a l sw i t ht h ep r o b l e mo fs p e c t r a le x c u r s i o ni nas i n g l ei n s t r u m e n t b yi n s e r t i n gaw a r n i n gp r o g r a mi i l t 0t h ep r o c e s so fs p e c t r u mc o l l e c t i o ni nt h en i r 8 0 0 i n s t r u m e n t ，a n db ys e t t i n gt h eb o t t o ms t a b i l i t yt h r e s h o l dt oc o n t r o lt h ei n s t n m a e n t ss t a b i l i t y i nc o n c l u s i o n ，t h i sm e t h o di sp r o v e dt ob ea p p l i c a b l eb yt h er e s u l t so fe x p e r i m e n t s e c o n d l y , n i r m d t ( v e r s i o n1 0 ) h a sb e e nd e s i g n e dt os o l v et h ep r o b l e mo fs p e c t r u m c a l i b r a t i o nt r a n s f e rb e t w e e nt w oi n s t r u m e n t s ，w h i c hi n c l u d e ss o m ec a l i b r a t i o nt r a n s f e r a l g o r i t h m s ，s u c ha sd s ，p d s ，s h e n k s ，f i ra n d s oo n ，a n dt h er e s u l to ft r a n s f e re f f e c tc a nb e j u d g e db ym a h a l a n o b i sd i s t a n c e ，e u c l i d i a nd i s t a n c e ，s i m i l a rc o e f f i c i e n ta n dc o e f f i c i e n t c o r r e l a t i o n a tl a s t ，t h em o d e lg o tb yn i r s aw h i c hi sd e s i g n e db yn i r w o r k g r o u pi nj i a n g s u u n i v e r s i t yi su s e dt od op r e d i c t i o n a tl a s t ，b a s e do nd a t u mp r o v i d e db yb r u k e rc o m p a n y , t h eo p t i m a lt r a n s f e rp a r a m e t e r s ( t h ea c c o u n to fs t a n d a r dm e r c h a n d i s e ，t h es i z eo fs e l e c t e dw i n d o w ) o fs p e c t r u mc a l i b r a t i o n t r a n s f e rb e t w e e nt w oi n s t r u m e n t st ot h i ss a m p l eh a v eb e e nf o u n do u t ，a n da c c o r d i n gt ot h e c o l l e c t e ds a m p l e so fc o l z ao i l ，t h en e a r - i n f r a r e ds p e c t r a ld a t u mo fc o l z a0 nh a v eb e e n m e a s u r e d ；b e s i d e s ，t h ec h e m i c a li n d e xo fc o l z ao i l se r u c i ca c i dc o n t e n tc a nb ea c c u r a t e l y g o tb yg a sc h r o m a t o g r a p h y , t h ee r u c i ca c i dc o n t e n to ft h ec o l z as a m p l e sm e a s u r e d b yt h e w q f 一4 0 0 nf o u r i e rt r a n s f o r mn e a ri n f r a r e ds p e c t r o m e t e rh a sb e e nm o d i f i e db yc h o o s i n g s t a n d a r ds a m p l ea n dt h el e n g t ho fw i n d o w s ，m e a n w h i l e ，t h em o d e l sp r e d i c ta c c u r a c yc a l l b ei m p r o v e db ys p e c t r a lc o r r e c t i o nt e c h n i q u e t h i sa r t i c l eh a si n d i c a t e dt h a tt h em e t h o d si su s e f u lt ot h ei m p r o v e m e n t sf o rt h ep r e c i s e o ft h em o d e l p r e d i c t i o nw h i c hi sm a d eo nt h es i n g l ei n s t r u m e n t a n di ta l s os o l v e st h e m o d e ls h a r i n gi s s u e sb e t w e e nt w oi n s t r u m e n t s k e y w o r d s ：n e a ri n f r a r e ds p e c t r u m ，s p e c t r u mc o r r e l a t i o n ，m o d e lt r a n s f e r 一 惑 江苏大学硕士学位论文 目录 第一章绪论1 1 1 近红外光谱分析技术简介1 1 1 1 近红外光谱分析技术的发展1 1 1 2 近红外光谱分析技术的应用2 1 1 3 近红外光谱分析技术的基本原理3 1 1 4 近红外光谱分析技术特点。4 1 2 近红外光谱分析中的化学计量学理论5 1 3 本课题研究的目的、内容及意义9 1 3 1 模型转移问题的由来及研究内容。9 1 3 2 问题解决方法1 0 1 3 3 课题研究意义1 2 第二章近红外光谱检测系统基础1 3 2 1 近红外光谱仪器的基本组成与结构1 3 2 2 衡量近红外光谱仪器性能的主要指标1 5 2 3 近红外光谱仪器分析的软件技术1 8 第三章近红外光谱模型转移软件设计1 9 3 1 近红外光谱模型转移技术的基本原理1 9 3 2 模型转移算法介绍1 9 3 2 1s h e n k s 算法原理1 9 3 2 2d s 算法流程2 0 3 2 3p d s 算法流程2 0 3 2 4f i r 算法原理2 1 3 3 不同仪器间模型转移n i r m d t 软件设计2 1 3 3 1n i r m d t 软件设计操作框图。2 1 3 3 2n i r m d t 软件设计关键技术要点2 1 m 江苏大学硕士学位论文 3 3 3d e l p h i 与m i d e v a 混合编程关键技术剖析2 2 3 4 单台仪器光谱修正程序设计3 1 3 4 1 单台仪器光谱修正设计思想3 1 3 4 2 单台仪器光谱修正程序设计流程3 l 3 5 报警程序设计3 2 第四章实验过程与方法3 4 4 1 两台仪器所测样品数据验证n i r m d t 软件3 4 4 1 1b r u k e r 源机光谱数据模型的建立3 4 4 1 2 样品中标准样品的选择3 5 4 1 3 窗口大小的选择。3 5 4 1 4 标样数量对转移的影响3 7 4 2 单台仪器光谱验证4 0 4 2 1 光谱测量4 0 4 2 2 数据预处理和模型建立4 1 4 2 3 结果与分析4 3 第五章总结及展望4 6 5 1 研究总结4 6 5 2 未来展望4 7 致谢鹌 参考文献4 9 硕士期间发表论文5 1 附录a k e n n a r d s t o n e 算法源程序5 2 附录b窗口大小对b r a n + l u b b e 预测集指标的影响5 5 附录c标准样品数目对b r a n + l u b b e 预测集指标的影响5 6 i v 江苏大学硕士学位论文 第一章绪论 引言 随着中国经济的不断发展和人民生活水平的不断提高，人们对农产品的质量要求 也越来越高，高品质的农产品已经融入了大的国际市场，因此，更深层次的国际市场 的竞争也越来越激烈。如何通过提高农产品的品质来提高经济效益将是摆在我们面前 的一个大的课题。尽管，中国已经制定了适应市场经济发展的农产品质量标准，但用 于农产品的品质检测的手段仍十分落后，尤其缺乏成套的新型检测仪器和相关软件， 或者即便是自主开发了部分分析仪器，有些技术问题还有待解决。因此，研究建立一 套快速、准确、灵敏、简便、省时、省事、省力、实时、实用的农产品品质快速检测 方法将具有重要的现实意义。 近红外光谱分析的最大的特点是分析成本低、操作简便、快速，不必对样品进行预 处理，适合在线检测，是一种能满足部分农产品品质快速检测的现代光谱分析技术【蚴。 1 1 近红外光谱分析技术简介 避l # b ( n e a ri n f r a r e d ，n m ) 光是指波长介于可见区( v i s ) 和中红外区( m i r 或i r ) 之间的电磁波，其波长范围约为7 8 0 25 0 0 r i m ，波数范围约为1 25 0 0 - - 40 0 0 c m 。习惯 上又将近红外光谱划分为短波近红外( 7 8 0 r i m 一11 0 0 r i m ) 和长波近红外( 11 0 0 r i m 一2 5 0 0 r i m ) 两个区域。近红外谱区是在1 8 0 0 年由h e r s c h e l 发现的，是人类认识最早的非 可见光谱区【3 1 。 近红外光谱是主要用来分析含羟基基团的物质，他可以用来对物质进行定性分析 和定量分析【4 】。近红外光谱分析的基本思路是通过对同类样品在不同的波长下具有相 近的光谱吸收，通过化学计量学方法从复杂、重叠的光谱图中提取出有用的化学信号， 然后再通过数学方法快速检测出物质内部的化学成分。 1 1 1 近红外光谱分析技术的发展 近红外光谱分析技术发展至今，大体上可分为五个阶段： 第一阶段从1 9 世纪8 0 年代到2 0 世纪5 0 年代初期：近红外光谱分析仅局限于 几个实验的研究，由于当时的理论与技术水平还无法将近红外谱区的信息充分提取出 来，所以此阶段主要是开创性的理论性研究，远远没有达到实际应用化水平的阶段。 第二阶段从2 0 世纪5 0 年代到6 0 年代中期，美国的n o r r i s 等人杰出的工作使 江苏大学硕士学位论文 近红外光谱分析技术有了突飞猛进的发展【5 6 1 。近红外光谱分析技术首先在农副产品分 析中得到广泛应用，此阶段主要用来分析水分、蛋白质和脂肪含量等。然而，在这个 阶段虽然人们已经意识到了近红光谱区包含的信息比紫外、可见区丰富的多，已经开 始在农产品中得到研究和应用，但由于分析方法的局限，光谱分析还是没有得到分析 界足够的重视。 第三阶段2 0 世纪6 0 年代中期至7 0 年代末期，美国的一家公司首先研制出了近 红外品质分析仪器忉。该机器主要用于分析农产品中的水分、蛋白质等的含量，并于 1 9 7 3 年1 0 月登记了美国专利( 3 7 7 6 6 4 2 号) g r a i n ia n a l y s i sc o m p u t e r 。由于这类仪器 只要事先经过校正，即使不熟悉光谱的人员也能迅速得到分析结果，能够满足粮库、 港口对粮食品质分析的要求，因此很多的单位和公司采用了此项技术。从此，近红外 光谱分析技术开始获得越来越多的关注。但是，由于仪器研发、制造技术等原因，近 红外光谱分析只是局限于农产品方面的应用研究。 第四阶段2 0 世纪8 0 年代到9 0 年代初期，由于高强度光源、低散射光栅以及高 灵敏度检测器的研制成功，尤其是计算机硬件和软件技术的发展及其广泛应用，为近 红外光谱仪器的研发提供了良好的基础i 踟。借助化学计量学等数学方法提取光谱中的 微弱信号、消除干扰等方面取得了重大突破，使得真正意义上的光谱仪器、计算机技 术和化学计量学方法的充分结合，从而促成了现代近红外光谱分析技术。从此，光谱 分析技术达到了成熟应用的阶段。 第五阶段2 0 世纪9 0 年代至今，通过一些厂家和科研单位的积极努力，在近红 外光谱仪器的研制、软件研发等方面取得了一定的成绩。尤其是光纤技术以及化学计 量学等软件技术在近红外光谱分析仪器上的应用，带动了现场、实时、在线检测技术 的发展。同时，借助强有力的i n t e r a c t 网络资源，带动了近红外光谱分析技术的网络 化，部分科研院所已成功研制出了近红外网络远程分析软件【9 , 1 0 ；但此技术只是处于 研究阶段，成熟的产品还有待发展和提高。 1 1 2 近红外光谱分析技术的应用 现代近红外光谱分析技术经过半个多世纪的发展，已经在食品、精细农业、环境、 化学、高聚物、药物、纺织、石油化学、生物医学、生命科学、化妆品以及医学等十 几个领域中得到成功运用【1 1 1 。 在食品分析中，近红外光谱分析技术已经成功地用于谷物中水分、蛋白质、脂肪、 2 - 产 江苏大学硕士学位论文 淀粉等化学成分的测定。如：美国农业部贝茨维尔农业仪器研究室k h n o r r i s 博士及 其同事开展了固体样品近红外漫反射光谱的研究，并且首先开始了对谷物材料中水分 的定量分析【1 2 1 。此外，在食品工业中的应用还涉及到肉类、奶制品以及各种液体饮料 化学指标的测定等，这些指标包括水分、淀粉、蛋白质、油脂、糖分、纤维以及灰分 等的含量测定【1 3 】。江苏大学的陈斌等人( 2 0 0 1 年) 先后用近红外光谱测定了食醋中的 总酸、还原糖以及挥发酸的含量【1 4 1 。林松( 2 0 0 4 年) 利用近红外光谱分析技术对啤酒 中的酒精度含量做了细致研究1 1 5 】。赵杰文等人利用近红外光谱检测技术对苹果的糖度 进行了检测，取得了良好的效果。 在石油化工行业，中国石油化工科学研究院曾对近红外光谱分析技术测定喷气燃 料的冰点、芳香含量、馏程以及密度等指标做了较系统的研究【1 3 1 。j e f f r e yj k 等建立 了使用短波近红外光谱分析技术测定无铅汽油的辛烷值方法【1 6 1 。 在纺织工业，李晓薇等用近红外光谱定量分析技术建立了一套混纺毛织品中羊毛 的质量分数测定方法【1 7 1 ，改变了凭感官指标测定需要经验且因人而异、通过理化分析 耗时、操作困难的弊端。w a y n e 和t m c h e r 等人通过3 4 个波长进行回归准确地测定 了聚酯纤维和棉花混合物中两者的比例【1 8 l ；江苏大学近红外光谱分析组与中国计量学 院合作，也成功的将化学计量学方法应用到了纺织品含棉量的定量分析中。 在生物医学方面，王峰等利用自行设计的双波长反射式近红外组织氧合变化监护 仪，运用修正了的朗伯比尔定律，提出了在强散射的生物介质中定量检测还原血红蛋 白合氧合血红蛋白变化的方法【1 9 1 。e m i lwc i u r c z a k 等对近红外光谱分析技术在生物技 术方面做了较详细的介绍【2 0 1 。 在医药方面，吉林大学化学系任玉林等对近红外在药物分析中的应用方面做了许 多研究工作，先后用近红外光谱快速测定了安乃近【2 l 】、磺胺甲基恶唑【2 2 】等药物中主要 成分的含量。 总之，近红外光谱分析技术的研究最初以农产品为研究对象，经过多年的发展已 经涉及到社会生活的多个领域。随着计算机和仪器技术、数学等基础理论研究的不断 进步，近红外光谱分析技术必将会延伸到更多的领域。 1 1 3 近红外光谱分析技术的基本原理 分子是由原子组成的，而原子是由原子核和围绕它的电子构成的。根据量子力学 理论，分子中存在着电子能级和振动一转动能级，如果分子的能级由基态跃迁到激发 3 江苏大学硕士学位论文 态，就会产生吸收光谱，分子不同能级问的跃迁产生不同的分子吸收，当特定波长红 外光与分子相遇时，如果光与分子不发生相互作用，则光随即通过该物质，并不会产 生吸收光谱；而如果光与分子以特定的方式发生相互作用，则物质吸收该波长的光， 就会产生吸收光群2 3 刎。 近红外光谱分析技术的核心就是依据被测样品中的某种基团对近红外光谱特征区 的吸收特性而进行检测的技术。通过此种光谱吸收来收集、记录分子中单个化学键的 基频振动和倍频、合频信息。将收集到的光谱信号通过特定的信号处理技术，运用化 学计量学方法提取其中的弱信号，通过此方式间接反映出物质内部的化学成分，从而 达到快速分析、无损检测的目的【2 5 1 。 在近红外光谱分析测量过程中，光谱显示出的是综合波带与谐波带，它是r h 分子团( 其中r 代表o ，c ，n 和s ) 产生的吸收频率谐波，并常常受含氢基团x - - h ( x c 、n 、o 、) 的倍频和合频的重叠主导，所以在近红外光谱范围内，研究的对象主要是 含氢基团x h 的有机物【硐。 1 1 4 近红外光谱分析技术特点 从近红外光谱分析的原理中可以看出，现代近红外光谱分析技术都是建立在以物 理仪器为基础上的间接检测方法，所以近红外光谱无法直接反映样品成份的含量，必 须通过把近红外光谱与理化分析方法联系起来，通过建立校正模型对被测物质进行定 性、定量分析。因此，它所能得到的准确度不可能超过在建模时所用到的理化方法测 定出的组份含量或性质指标的精度。 然而与传统的理化检测方法相比，近红外光谱分析技术有其自身固有的特点： ( 1 ) 无污染，低成本由于近红外光谱分析技术无需大量的化学试剂、溶剂等化 学药品，所以不会污染环境，而且可以降低成本； ( 2 ) 分析速度快，操作简单近红外光谱分析技术不需要对样品进行前处理，试 剂制作简单，可迅速分析，而且精度高。测试技术简单，不需要专门的技术人员： ( 3 ) 无损检测 由于光谱分析无需对被测样品进行预处理，所以样品不会被破坏， 不会对被测样品产生影响； ( 4 ) 实时、远距离检测由于光纤技术的发展，借助光纤可以使仪器远离采样现 场，通过光纤将仪器采集得到的光谱信号实时地传输给仪器，再进行后期地处理，可 以有效地保护仪器的安全； 4 一 直 江苏大学硕士学位论文 ( 5 ) 结果重现性好现代光谱分析技术可以有效的避开测量过程中人为因素的影 响，比理化分析有较好的结果重现性； ( 6 ) 样品可重复使用由于光谱分析技术对样品的无破坏测量，因此可以对样品 进行跟踪连续测定； ( 7 ) 多个被测指标同时获得光谱分析技术可以对同一个样品的多个指标信息同 时获得。 然而，针对目前的研究现状，虽然光谱分析技术得到了很大的发展，但由于其自 身固有的特点，在实际的测量过程中也存在一些技术难题： ( 1 ) 由于现代近红外光谱分析技术需要借助已经建立好的模型信息来预测未知样 品的信息，这就势必要用到软件技术提高分析效率，降低操作难度。然而，大多数仪 器供应商不可能提供通用的模型。这就要求有专业的操作人员针对不同的被测样品建 立适合本样品的模型信息，造成模型的重复利用率较底； ( 2 ) 近红外光谱容易受到测量条件( 如：温度、仪器、环境、装样人) 以及样品 状态等因素的影响，通过仪器所获得的光谱会受到测量条件的影响，从而会引起系统 误差为主的光谱不确定性； ( 3 ) 在建模的过程中，要想建立稳健的模型，首先必须在模型中包含丰富的样品 信息，提供较准确的理化分析得到的化学数据；其次，校正方法的选择及模型的检验 指标也会对模型稳健性有较大影响。 1 2 近红外光谱分析中的化学计量学理论 现代近红外光谱分析技术是集计算机技术、分析化学方法、计算数学等多个学科 的发展而不断发展壮大的，而化学计量学的发展为现代近红外光谱分析技术的发展奠 定了基础。 化学计量学理论【2 7 彩】主要在如下几个方面推动了近红外光谱分析技术的发展：( 1 ) 光谱预处理和波长筛选方法，主要是针对特定的样品体系，通过对光谱的适当处理或 变换来减弱或者消除各种非目标因素对光谱的影响，来消除无关信息变量，提高分辨 率和灵敏度，从而提高校正模型的预测能力和模型的稳健性；( 2 ) 建立光谱定量分析模 型的多元校正方法，如多元线性回归( m u 吼主成分回归口c r ) 、偏最小二乘( p l s ) 、 局部权重回归( u w r ) 和人工神经网络( 等，来建立用于预测未知样品性质或组成 的分析模型；( 3 ) 建立合格性验证方法，如样品的合格性检验等，常用的方法主要为线 5 江苏大学硕士学位论文 性学习机、k 最近邻法和s i m c a 法等有监督模式识别方法以及聚类分析法等无监督 模式识别方法，目的是针对不同样品的近红外光谱数据对样品按照某些特征通过样品 之间的内在联系获得决策性信息，从而建立样品的合格性验证；( 4 ) 模型转移方法( m t ) ， 如无标量模型转移方法一有限脉冲响应算法( f i r ) ，有标量模型转移方法一直接校 正算法( d s ) 、分段直接校正算法( p d s ) 、和专利算法( s h e n k s ) ，通过这些算法可以将一 台仪器上建立的模型可靠的移植到其他仪器上使用，或者将某一条件下建立的模型适 用于同台仪器的其他条件下的光谱数据，同时通过此算法也可以在仪器上采集光谱数 据的同时，对光谱数据不断修正，来消除仪器变动、环境等因素引起的仪器光谱数据 的漂移，然后再对修正后的光谱数据建模，从而提高模型的预测精度。 曰日圉 矽 巨固 圄 图1 1 近红外光谱分析流程及其应用示意图 通过化学计量学理论建立起的光谱分析方法步骤主要在如下几个方面得以体现： 建立与优化校正样品集并测量其近红外光谱；通过适当的预处理方法对光谱数据进行 优化以消除各种因素对光谱的影响；采用标准或者认可的方法测定样品中所关心的组 成化学值或性质数据；通过合理的化学计量学方法建立样品光谱值和标准测量值之间 的关联关系校正模型( m o d e l ) ；建立与检验校正模型的稳健性和适用性，主要是运 用化学计量学方法对样品集内部样品光谱数据的交叉验证和校正模型外部的样品光谱 数据对该校正模型进行检验；针对未知样品对本校正模型的适用性的检验，确定建立 的校正模型是否适合对未知样品的预测；对未知样品类别的判断、组成及其性质的判 定；以上几大步骤的关系图如图1 1 所示。其中，样品集的选择好坏对所建模型的稳 健性具有重要的作用，由于现代近红外光谱分析技术需要借助已经建立好的模型信息 6 一 江苏大学硕士学位论文 来预测未知的样品信息，所以在预测的过程中，必须首先提供稳健的模型，所建模型 必须充分包含待预测样品的化学值或性质数据。其次，在测量过程中的人为因素、仪 器失灵、操作错误以及样品处理不达要求等因素都会产生对模型的建立有重要影响的 异常值。目前检验校正集中有无异常值的常用的算法主要有杠杆点算法( l e v ) 、m s i d 算法、k e n n a r d s t o n e 算法【姗。另一方面，样品中的异常值对模型的稳健性也会产生重 要的影响【3 1 1 。异常值主要分为：光谱异常值和化学异常值。导致光谱异常值的原因主 要有：( 1 ) 测量仪器和性能参数的变化，如仪器能量【3 2 1 的变化；( 2 ) 测量方法的变化， 如制样条件的不同；( 3 ) 测量环境的变化，如测量环境的温度和湿度的变化；( 4 ) 样品 其他物理或机械特性的变化，如粒度p 2 1 、粘度、光洁度等的变化；( 5 ) 近红外光谱分 析技术在农业上的应用中样品来源的变化，使得吸光度或某些特征峰强度异常，如产 地、放置时间、储存方式、采摘期和耕作方式等变化；( 6 ) 样品变质或错位等的失误。 化学值异常的主要来源有：( 1 ) 所用仪器和方法的可靠性：( 2 ) 测定方法的变化；( 3 ) 样品 来源的变化；( 4 ) 操作人员的失误，如在测量过程及数据录入过程中的错误等；在选择 合适的方法建模之前首先必须剔除样品集中的异常值，才能建立稳健和适用的模型。 光谱的预处理1 3 3 】主要包括噪音消除、归一化正规化处理、光谱范围的优化选择、 中心化及标准化处理等。预处理掉的噪音主要来自高频随机噪音、基线漂移、信号本 底、样品不均匀、光的散射等，可以通过下列方法消除影响： 平滑处理主要去掉高频噪音对信号的干扰。最常用的方法是s a v i s k y 与c o l a y 卷积平滑方法【洲。 基线校正主要是扣除仪器背景或漂移对信号的影响，可以采用峰谷点扯平、偏 置扣减、微分处理和基线倾斜等方法。 归一化处理用于消除光程的变化或样品的稀释等变化对光谱响应产生的影响。 光谱波长范围的优选采用全光谱计算时，计算工作量很大，实际上有些光谱区 域样品的光谱信息很弱，与样品的组成或性质问缺乏相关关系，有时将这些波段参与 建模，预测效果反而会降低，为找出最有效的光谱区域，可以将测定的组成或性质数 据与样品的光谱数据进行关联，求出相关系数，并得到相关系数与波长的相关图，通 过相关图可以选出较大相关系数的光谱区域。还可以针对组成或者性质数据不清楚的 时候对光谱( 或经预处理方法处理后的光谱) 进行方差处理，光谱变化最明显的区域就 是光谱信息最丰富的波长区域。目前还有其他的方法也可以对光谱范围进行优化选择， 如：逐步回归法、无信息变量的消除法( e l i m i n a t i o no f u n i n f o r m a t i v ev a r i a b l e s ，o v e ) 、 7 江苏大学硕士学位论文 间隔偏最小二乘法( i i l t e a lp l s ，i p i s ) 、遗传算法( g e n e t i ca l g o r i t h m s ，g a ) 等，其中 g a 是也是除了相关系数法和方差分析方法外应用较广泛的一种波长选取方法。 中心化及标准化处理数据中心化是从每个光谱数据中减去各个样品的平均值， 处理后的光谱数据能够充分反映光谱的变化信息，使所有的数据都分布在零点两侧， 对于以后的回归运算可以简化、稳定；标准化通常是用同一列光谱数据的方差去除， 此方法可以使每一个数据之间的数据在标度上有可比性。 除了上述所提及的光谱预处理方法外，还有导数算法( d e r i v a t i v e ) 、标准正态变量 变换( s t a n d a r dn o r m a lv a r i a t et r a n s f o r m a t i o n ，s n v ) 、去趋势算法( d e t r e n d i i l g ) 算法【绷、多 元散射校正( m l l l 邱l i c a t i v es c a t t e rc o r r e c t i o n ，m s c ) 、分段多元散射校i e ( p i e c e w i s e m u l t i p l i c a t i v es c a t t e rc o r r e c t i o n ，p m s c ) 、傅立叶变换( f o u r i e rt r a n s f o r m ，哪【3 5 】、小波变 换( w a v e l e tt r a n s f o r m ，w d 以及净分析信w s ( n e ta n a l y t es i g n a l ，n a s ) 算法等。 经过预处理后的光谱数据同测量值或性质数据借助数学算法来建立数学模型，目 前建模方法 3 4 1 主要有：多元线性回归( m u l t i p l el i n e a rr e g r e s s i o n ，m l r ) 、逐步回归 ( s t e p w i s em u l t i p l el i n e a rr e g r e s s i o n ，s m l r ) 、主成分回归( p r i n c i p a lc o m p o n e n t r e g r e s s i o n ，p c r ) 、偏最小二乘( p a r t i a ll e a s ts q u a r e s ，p l s ) 等方法，这些方法需要确定数 学模型的波长数目，建立的数学模型通常不用建模光谱的全部波长点，而是选择少数 几个信息量最大的波长点。s m l r 分析方法是进行多组分分析的常用方法，选择合适 的波长点和波长间隔，可用统计分析的方法验证分析结果。m l r 和s m l r 法只用一 些特征波长的光谱信息，丢失其它波长的信息，易产生模型过拟合( o v e r - f i t t i n g ) 问题。 p l s 是一种全光谱分析方法，该方法充分利用了多个波长下的有用信息，不需要去刻 意地选择波长，并且能滤去原始数据的噪音，提高信噪比，可解决一些有交互影响的 非线性问题。p c r 与p l s 一样，可以利用较多的光谱信息，从全光谱图上抽出主成分， 并得到定量分析结果。p c r 和p l s 可以对参与定标的光谱数据随意取舍，可以是全谱 ( g l o b a ls p e c t r u m ) ，也可以是子谱( l o c a ls p e c t r u m ) ，消除了m l r 丢失光谱信息的问 题，用交互检验( c r o s s - - v a l i d a t i o n ) 消除模型过拟合问题，比m l r 和s m l r 预测精度 提高。稳健最小二乘法( r o b u s t p l s ) 定标建模可以减小异常样点干扰误差。人工神经 网络算法( a r t i f i c a ln e u r a ln e t ，姗是后来得到迅速推广的一种方法，在处理非线性定 量模型的问题上具有明显的优势。 建立定性分析模型常用的判别分析方法主要有主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 1 3 4 1 ，马氏距离( m a h a l a n o b i s ) 3 6 1 、欧式距离( n o r m a l i z e d ) 3 6 1 等，模 8 一 、 江苏大学硕士学位论文 式识别( p a t t e mr e c o g n i t i o n ) p 7 l 和人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 3 8 】等也得 到越来越多的应用。而m a h a l a n o b i s 方法同定量分析中的p l s 方法结合的模式识别算 法也有较多的应用【3 9 1 。模式识别定性方法主要分为有监督的模式识别方法和无监督的 模式识别方法，有监督的模式识别方法主要有线性学习机、支持向量基( s u p p o r t v e c t o r m a c h i n e ，s v m ) 、k 一最近邻法和s i m c a ( s o f ti n d e p e n d e n tm o d e l i n go fc l a s s a n a l o g y ) 法等；无监督的模式识别方法主要有聚类分析等模式识别方法；模式识别的意义主要 在于通过近红外光谱数据对不同样本按其某些共同的特征进行分类识别，从而发现被 测样本之间的内在联系，依此联系获得决策性的信息。 模型转移技术( m o d a lt r a n s f e rt e c h n o l o g y ) 【州2 】是在现代近红外光谱分析技术的 应用过程中为不断提高模型的适用性而发展起来的一项新技术，其目的是将在一台仪 器上建立的校正模型稳健的移植到其它同类型的仪器上使用或者将同台仪器不同测量 条件下测量的光谱数据修正到同测量条件下的转移技术，从而提高模型的适用性或提 高同台仪器所建模型的精度。本文的研究重点和主要内容就在于将光谱修正技术应用 到提高同台仪器所建模型的精度研究和不同仪器间的光谱转移实用化和应用化的研究 上。 1 3 本课题研究的目的、内容及意义 1 3 1 模型转移问题的由来及研究内容 在光谱采集过程中，仪器的稳定性及其加工的标准化方面存在多个影响因素，这 些影响因素将直接影响到模型的适用性能。因此，最近这一问题已逐渐引起人们的广 泛关注【4 3 1 。 首先在单台仪器中，由于光学仪器本身的工艺精度和测量环境因素的变化、人为 装样、系统误差等因素的存在，在测量光谱的过程中将会造成扫描的光谱不稳定，因 此，在测量光谱的过程中，随着测量时间的推移，即使同一样品的光谱也经常会出现 光谱的漂移、波长转变、线性或非线性改变等变化。而且如果这些变动影响发生在校 正集光谱采集和对未知样品分析过程中，这些影响因素都将导致错误的结果。如果将 变化较大的样品光谱测量结果不经过模型转移技术就直接应用到模型的建立和预测过 程中，就会出现较大的预测偏差或者精度下降。也就是说在建模时仪器的时漂、温漂、 仪器的不稳定性以及测量的环境改变等因素都将会出现在建模和预测所需要的光谱测 量过程中，而且在模型建好后在实际应用过程中，测量待预测样品时外界参数也很难 9 江苏大学硕士学位论文 达到建模时的条件，这些因素的存在都将会降低模型的预测能