（茶学专业论文）近红外光谱分析技术对绿茶主要呈味物质定量分析的研究.pdfVIP

浙江大学硕士毕业论文 摘要 随着光学、计算机数据处理技术、化学计量学理论和方法的不断发展，以及 新型n l 仪器的不断出现和软件版本的不断翻新，近红外光谱技术的稳定性、 实用性和准确性不断提高。其分析快速、简便、非破坏性以及可同时测定多成分 的优点不断为人所认识，在国内外许多领域中越来越广泛地应用，成为近年来发 展最快的测定技术之一。 本研究利用国标法对绿茶茶汤的水浸出物，茶多酚、氨基酸、咖啡碱进行常 规的化学测定，然后对三种呈味物质进行近红外分析，通过比较不同预处理方法 和统计回归方法，建立了茶多酚、氨基酸和咖啡碱含量( 占茶汤水浸出物干重的 百分含量) 的定标模型。在建模过程中，光谱预处理方法采用多元散射校正法 ( m s c ) 、标准归一化( s n v ) 、卷积平滑( s g ) 、归一化( n o r m a l i z a t i o n ) 、l 阶导和2 阶导处理；统计回归方法采用主成分回归法( p c r ) 和偏最小二乘法 ( p l s ) 。经过比较分析，各组分均以p l s 法建立的定标模型效果最佳。经内部 交叉验证，茶多酚不迸行光谱预处理处理的模型效果最好，定标集标准差( s e e ) 、 相关系数( s e er ) 和验证集标准差( s e p ) 、相关系数( s e p ) 分别为：1 1 4 5 5 、 0 8 7 9 2 、1 0 6 0 0 、0 8 6 2 3 ：氨基酸以l o g 光谱预处理的效果最好，定标集标准差 ( s e e ) 、相关系数( s e e - r ) 和验证集标准差( s e p ) 、相关系数( s e p ) 分别为： 0 2 5 1 8 、0 9 7 2 8 、0 2 5 9 7 、0 9 7 2 2 ；咖啡碱不进行光谱预处理处理的模型效果最好， 定标集标准差( s e e ) 、相关系数( s e e r ) 和验证集标准差( s e p ) 、相关系数( s e p ) 分别为：0 5 5 5 3 、0 9 6 4 8 、0 5 3 1 5 、0 9 5 5 4 。三个组分的定标模型，以茶多酚模型 效果较差。经外部验证，所测样品的化学值与模型预测值的决定系数r 分别为： 茶多酚o 8 9 3 5 ，氨基酸0 9 5 4 1 ，咖啡碱o 9 3 8 6 。 茶多酚、氨基酸、咖啡碱三种物质占绿茶茶汤水浸出物的7 0 左右，最高 可达8 0 以上，所以滋味评分与茶汤中主要的三种呈味物质密切相关，通过统 计分析，建立回归方程，以期能快速、准确得到滋味评分。本实验对4 2 种茶样 茶汤主要呈味物质与滋味感官评分的相关分析发现，茶多酚与滋味评分呈显著负 相关( p 值为0 0 3 6 ，小于0 0 5 ) ，氨基酸与滋味评分呈极显著的正相关( p 0 0 0 1 ) ， 而咖啡碱与滋味评分没有达到显著水平。对单个成分的分析是不全面的，通过对 各个成分的多因子综合分析发现，可建立如下回归方程： y = 8 4 2 5 1 - 0 2 6 3 x t + 3 2 9 5 x 2 - 0 7 0 3 x 3 ( y ：滋味评分，x i ：茶多酚含量，x 2 ：氨基酸含量，x 3 ：咖啡碱含量) 本实验对绿茶茶汤中的三种呈味物质( 茶多酚、氨基酸、咖啡碱) 进行了近 浙江大学硕士毕业论文 红外定量分析，并建立了相应的预测效果较好的定标模型，只要对未知样品进行 扫描( 每个样品只需3 分钟) ，然后把采集的光谱带入相应的模型就可得到三种 成分的预测值。这样省时又省力。最后将所得的三种呈味物质的预测值代入到所 建的回归方程( 评分与三种呈味物质的相关性) 中，即可预测茶样的滋味评分。 本研究通过近红外光谱分析和统计回归分析，得到了相应的定标模型和回归方 程，为茶汤里味物质快速测定和滋味的仪器评分提供了理论基础。 关键词：近红外光谱技术，绿茶，茶多酚，氨基酸，咖啡碱，定标模型， 滋味评分，统计分析 2 浙江大学硕士毕业论文 a b s t r a c t w h e no p t i c s ，d a t ap r o c e s s i n gt e c h n i co ft h ec o m p u t e r , t h e o r e t i c so fc h y m i s t r y m c u d l o g ya r ei m p r o v i n g , a n dn e w i n s t r u m e n t so fn tc o m ef o r t h , a n dw i t hr e t r e a d o fs o f t w a r ee d i t i o n , s t a b i l i z a t i o n , p r a c t i c a b i l i t ya n dv e r a c i 锣o fn e a ri n f r a r e d s p e c m ) s c u p yh a v eb e i n gi n c e s s a n ti m p r o v e d b e i n ge x c e l l e n c eo fs p e e d i n e s s ，h i g h e f f i c i e n t ，c o n v e n i e n ta n dc a p a b i l i t yo fm e a s u r e dm o r ec o m p o n e n t sg co n et i m e ，n i r t e c h n i q u eh a sb e e na c q u a i n t e db yp e o p l e s ，i su s e di nm a n yf i e l d s a n di t i so n eo f a n a l y t i c a lt e c h n i q u ew h i c hh a sn l a d er a p i dp r o g r e s sa tp r e s e n t t h i sp r o j e c tw a st om e a s u r a t el k i “u m , t e ap o l y p h e n o l s ( t p p ) a n l i n oa c i d s ( a a ) a n dt h e i n eo fg r e e nt e as o u pb yn a t i o n a ln o r m a lm e a s u r e a n d t h e nc o n s t i t u t e c a l i b r a t i o nm o d e l sf o rt e ap o l y p h e n o l s ( t p p ) ，a m i n oa c i d s ( a a ) a n dt h e i n eo fg r e e n t e as o u p ( t h ep e r c e n to fl i x i v i u m ) b yu s i n gd i f f e r e n ts p c c t r , dp r e t r e a t m e n tm e t h o d sa n d r e g r e s s i o nm e t h o d sf o rt e as a m p l e s s p e c t r o s c o p yp r e t r e a t m e n tm e t h o d sv ，e 他 m u l t i p l i c a t i o ns c a t t e rc o r r e c t i o n ( m s c ) ，s t a n d a r dn o r m a l i z e dv a r i a t e ( s n 、协s v i t z k y g o l a y ( s g ) ，n o r m a l i z a t i o i l 丘r s td e r i v a t i v ea n ds e c o n dd e r i v a t i v e ；r e g r e s s i o n m e t h o d sw e r ep r i n c i p a lc o m p o n e n t sr e g r e s s i o n ( p c r ) a n dp a r t i a ll e a s ts q u a r e ( p l s ) t h er e s d t si n d i c a t e dt h a tt h ep l sw a st h eo p t i m a lm e t h o df o rc a l i b r a t i o nm o d e l so f t h r e ec o m p o n e n t s i ti n d i c a t e dt h a t b y i n t e m a lc r o s sv a l i d a t i o n ：t h et e a p o l y p h e n o l s ( t p p ) m o d e l 、】i ，i t l ln o n es p e c t r ap r e t r e a u n e n tw a st h eb e s t 印e 咖 p r e t r e a t m e n t t h es t a n d a r de r r o ro fc a l i b r a t i o n ( s e e ) ，c o r r e l a t i o nc o e f f i c i e n t ( r ) o f c a l i b r a t i o ns e t ( c s e t ) ，s t a n d a r de r r o ro f c r o s s v a l i d a t i o n ( s e p ) a n da n dv a l i d a t i o ns e t ( v - s e t ) w e f c1 1 4 5 5 、0 8 7 9 2 、1 0 6 0 0 、0 8 6 2 3 ；t h ea am o d e lw i t hl o gs p e c t r a p r e t r e a t m e n tw a st h eb e s t , i t ss e e s e e - r , s e p , a n ds e p - rw e r _ e0 2 5 1 8 、0 9 7 2 8 、 0 2 5 9 7 、0 9 7 2 2 ；t h et h e i n em o d e lw i t h 丘n o n es p e c t r ap r e t r e n t m e n tw a st h eb e s t , i t s s e e s e e rs e p , a n ds e p - rw e r e0 5 5 5 3 、0 9 6 4 8 、0 5 3 1 5 、0 9 5 5 4 t p pc a l i b r a t i o n m o d e lh a dl e s se f f e c tt h a na aa n dt h e i n ec a l i b r a t i o nm o d e l s i ti n d i c a t e dt h a tb y e x t e r n a lc r o s sv a l i d a t i o n , c o r r e l a t i o nc o e f f i c i e n t ( r ) o ft r u ec o n t e n to fs a m p l e sa n d f o r e c a s t e dc o n t e n to fs a m p l e s ：ro f t p pi so 8 9 3 5 ，ro f a a i s0 9 5 4 1 ，ro f t h e i n ei s 0 9 3 8 6 t h ep e r c e n to f1 1 p pa aa n dt h e i n ei ns o u pl i x i v i u mi sa b o u t7 0 , t i p r o pi s u p w a r d s8 0 s og l a d eo fs a v o u rc o r r e l a t ew i t ht h r e es a v o u rc o m p o n e n to f t e as o u p t h i sa r t i c l ec o n s t i t u t e ds t a t i s t i ce q u a t i o nb ys t a t i s t i c a la n a l y s i s ，e x p e c t i n gt oo b t a i n g r a d eo f s a v o u ra p a c ea n db yr u l ea n dl i n e b ya n a l y z i n gr e l a t i v i t yo f t h em a i nq u a l i t y 3 浙扛大学硕士毕业论文 c o m p o n e n t sa n do r g a n o l c p t i ce v a l u a t i o ni nt e as o u po f 4 2t e as a m p l e s ，i tc a nb ef o u n d t h a tt p pi sp r o m i n e n tm i n u sc o r r e l a t i o n 、i t hs a v o rg r a d e ( p - v a l u ei s0 0 1 0 7 1 e s st h a n o 0 5 ) ，a ai sp r o m i n e n tp o s i t i v ec o r r e l a t i o nw i t hs a v o rg r a d e & v a l u e 0 0 0 1 ) ，b u t t h e i n eh a sn o tp r o m i n e n tc o r r e l a t i o nw i t hs a v o rg r a d e i ti sn o ta l l s i d e dt h a ti t a n a l y z e sf o rs i n g l ec o m p o n e n t , b yi n t e g r a t i n ga n a l y s eo f e v e r yc o m p o n e n t ，i tc a ns e t 印s t a t i s t i ce q u a t i o n ： y = 8 4 2 5 1 - 0 2 6 3 x l + 3 2 9 5 x 2 0 7 0 3 x 3 ( y ：s a v o rg r a d e ，x 1 ：t p p ，x 2 ：a a ，x 3 ：t h e i n e ) t h i s p r o j e c t m a k e sn i ra n a l y s i sf o rt h em a i nq u a l 时c o m p o n e n t s ( t e a p o l y p h e n o l s ( t p p ) ，a m i n oa c i d s ( a a ) a n dt h e i n e ) i nt e as o u po f4 2t e as a m p l e s ，a n d h a ss e tl l pc a l i b r a t i o nm o d e l sw h i c hh a v eb e t t e re f f e c t , i tc a nf o r e c a s tc o n t e n to f s e a l e ds a m p l e sb ys c a ns e a l e ds a m p l e sa n di m p o r ti n t oc a l i b r a t i o nm o d e l s , w h i c hi s s a v et r o u b l e f i n a l l yf o r e c a s tc o n t e n to ft h em a i nq u a l i t yc o m p o n e n t sa r ei m p o r t e d i n t os t a t i s t i ce q u a t i o n , a n dc 姐o b t a i ns a v o rg r a d eo ft e as a m p l e s t h i sp r o j e c to b t a i n c a l i b r a t i o nm o d e l sa n ds t a t i s t i ce q u a t i o nb yn i r a n a l y s i sa n ds t a t i s t i ca n a l y s i s , w h i c h a f f o r da c a d e m i cf o u n d a t i o nf o rm e n s u r a t i o no ft h em a i nq u a l i t yc o m p o n e n t so ft e a s o u pa n ds a v o rg r a d eo f i n s t r u m e n t a lm e n s u r a t i o t x k e yw o r d s ：n e a ti n 矗a r e ds p e c 怕s c o p y ；g r e e nt e a ；t e ap o l y p h e n o l s ；a l l l i n oa c i d s ； t h e i n e ；c a l i b r a t i o nm o d e l ；s a v m g r a d e ；s t a t i s t i c a la n a l y s i s 4 浙江大学硕士毕业论文 1 前言 1 1 近红外光谱分析技术 现代近红外光谱( n i r ) 分析技术是近年来分析化学领域迅猛发展的高新分 析技术，越来越引起国内外分析专家的注目，在分析化学领域被誉为分析“巨人”， 它的出现可以说带来了又一次分析技术的革命。 1 1 1 近红外光谱分析技术原理 近红外光( n e a ri n f r a r e d ，n i r ) 是介于可见光( v l s ) 和中红外光( m 吸) 之间的电磁波，a s t m 定义的近红外光谱区的波长范围为7 8 0 2 5 2 6 n m ( 1 2 8 2 0 3 9 5 9 e m 1 ) ，习惯上又将近红外区划分为近红外短波( 7 8 0 1 1 0 0 r i m ) 和近红外 长波( 1 1 0 0 2 5 2 6 n m ) 两个区域。近红外光谱主要是由于分子振动的非谐振性 使分子振动从基态向高能级跃迁时产生的，记录的主要是含氢基团x h ( x = c 、n 、0 ) 振动的倍频和合频吸收【1 1 。不同基团( 如甲基、亚甲基，苯环等) 或 同一基团在不同化学环境中的近红外吸收波长与强度都有明显差别，n 瓜光谱具 有丰富的结构和组成信息，非常适合用于碳氢有机物质的组成与性质测量。但在 n i p 区域，吸收强度弱，灵敏度相对较低，吸收带较宽且重叠严重嘲。因此，依 靠传统的建立工作曲线方法进行定量分析是十分困难的，化学计量学的发展为这 一问题的解决奠定了数学基础。 i i 2 国内外近红乡卜分析技术的发展情况1 3 “l 近红外是人们最早发现的非可见光区域。由于物质在该谱区的倍频和合频吸 收信号弱，谱带重叠，解析复杂，受当时的技术水平限制，近红外光谱“沉睡” 了近一个半世纪。直到2 0 世纪5 0 年代，随着商品化仪器的出现及n o r r i s 等入 所做的大量工作，使得近红外光谱技术曾经在农副产品分析中得到广泛应用。到 6 0 年代中后期，随着各种新的分析技术的出现，加之经典近红外光谱分析技术 暴露出的灵敏度低、抗干扰性差的弱点，使人们淡漠了该技术在分析测试中的应 用，从此，近红外光谱进入了一个沉默的时期。8 0 年代后期，随着计算机技术 的迅速发展，带动了分析仪器的数字化和化学计量学的发展，通过化学计量学方 法在解决光谱信息提取和背景干扰方面取得的良好效果，加之近红外光谱在测样 技术上所独有的特点，使人们重新认识了近红外光谱的价值，近红外光谱在各领 域中的应用研究陆续展开。进入9 0 年代，近红外光谱在工业领域中的应用全面 展开，有关近红外光谱的研究及应用文献几乎呈指数增长，成为发展最快、最引 人注目的一门独立的分析技术。由于近红外光在常规光纤中具有良好的传输特 性，使近红外光谱在在线分析领域也得到了很好的应用，并取得良好的社会效益 浙江大学硕士毕业论文 和经济效益，从此近红外光谱技术进入一个快速发展的新时期。 我国对近红外光谱技术的研究及应用起步较晚，除些专业分析工作人员 以外，近红外光谱分析技术还鲜为人知。但1 9 9 5 年以来已受到了多方面的关注， 并在仪器的研制，软件开发、基础研究和应用等方面取得了较为可喜的成果。但 是目前国内能够提供整套近红外光谱分析技术( 近红外光谱分析仪器、化学计量 学软件、应用模型) 的公司仍是寥寥无几。随着中国加入w t o 及经济全球化的 浪潮，国外许多大型分析仪器生产商纷纷登陆中国，想在第一时间占领中国的近 红外光谱分析仪器市场。由此也可以看出近红外光谱分析技术在分析界炙手可热 的发展趋势。在不久的未来，近红外光谱分析技术在分析界必将为更多的人所认 识和接受。 1 1 3 近红外光谱仪器 1 1 3 1 仪器组成 5 1 由光源、取样器、分光器、检测器和计算机五部分 光源：n i r 光源应在所测量的光谱区域内，发射一定强度的稳定光辐射， 照射试样。卤钨灯是最常用的光源，价格较低，线性度较差，需加滤光片除可见 光。发光二极管( 班d ) 是一种新型光源，波长范围可以设定，线性度好，适于 在线或便携式仪器，但价格较高。 取样器：是指承载样品与样品作用的器件。液体样品使用玻璃或石英样品 池。固体样品使用积分球或漫反射探头。在线分析常用光纤取样器。 分光器：是仪器的核心器件，其作用是将复合光转化为单色光。主要分光 类型有滤光片、光栅、干涉仪、声光调谐滤光器等。 检测器：是用于把携带样品信息的n 侬光信号转变为电信号，再通过a d 转变为数字形式输出。检测器的光谱范围取决于它的构成材料。 计算机：n 取光谱仪采集、传输和处理光谱信号，均通过计算机实现。其 过程是，由分光器输出的单色光，经过检测器转换为电信号，再经d 数字化， 然后送给计算机处理。n i r 光谱仪有计算机内部插卡式和外挂式两种。一些基于 陈列检测器的小型n i r 光谱仪，把分光器、检测器和a d 等集成在一块卡上， 插在计算机内工作。大部分n i r 光谱仪与计算机是分开的，仪器自身带有m p u 或d s p ，实现数据采集和部分预处理。仪器与计算机之间通过u s p 进行通讯。 光谱数据处理主要基于化学统计学的定性定量分析软件。 1 1 3 1 仪器类型6 1 近红外光谱器从分光系统可分为固定波长滤光片、光栅色散、快速傅立叶变 换、声光可调滤光器和阵列检测五种类型。 滤光片型主要作专用分析仪器，如粮食水分测定仪。由于滤光片数量有限， 6 浙江大学硕士毕业论文 很难分析复杂体系的样品。 光栅扫描式具有较高的信噪比和分辨率。由于仪器中的可动部件( 如光栅轴) 在连续高强度的运行中可能存在磨损问题，从而影响光谱采集的可靠性，不太适 合于在线分析。 傅立叶变换近红外光谱仪是具有较高的分辨率和扫描速度，这类仪器的弱点 同样是干涉仪中存在移动性部件，且需要较严格的工作环境。 声光可调滤光器是采用双折射晶体，通过改变射频频率来调节扫描的波长， 整个仪器系统无移动部件，扫描速度快。但目前这类仪器的分辨率相对较低，价 格也较高。 1 1 4 近红外光谱分析的技术构成 近红外分析技术由近红外光谱仪器，化学计量学软件和各种校正模型等组 成。近红外光谱仪器作用为提供被测样品的近红外光谱，作为分析的信息载体。 化学计量学软件是用于关联光谱和性质的软件工具。而模型则是已经建立的定量 或定性的工作曲线，反映样品光谱与性质之间的对应关系。 1 1 5 近红外光谱分析的主要技术特点1 7 i 近红外光谱分析是利用有机化学物质在其近红外光谱区内的光学特性快速 估测样品中的一种或多种化学成分含量的新技术。它是综合多学科( 光谱学、化 学计量学和计算机等) 知识的现代分析技术，实用成套近红外光谱分析技术包括 近红外分析仪、化学计量学光谱分析软件和被测物质的各种性质或浓度分析模 型。 近红外光谱分析具有显著的优点： ( 1 ) 分析速度快，测量过程大多可在l m i n 内完成。 ( 2 ) 分析效率高，通过一次光谱测量和已建立的相应校正模型，可同时对样品 的多个组分或性质进行测定，提供定性、定量结果。 ( 3 ) 适用的样品范围广，通过相应的测样器件可以直接测量液体、固体、半 固体和胶状体等不同物态的样品，光谱测量方便。 ( 4 ) 样品一般不需要预处理，不需要使用化学试剂或高温、高压、大电流等 测试条件，分析后不会产生化学、生物或电磁污染。 ( 5 ) 测试重现性好。 ( 6 ) 对样品无损伤，可以在活体分析和医药临床领域广泛应用。 近红外光在普通光纤中具有良好的传输特性，便于实现在线分析。 ( 8 ) 对操作人员的要求不苛刻，经过简单的培训就可胜任工作。 当然近红外光谱分析也存在本身的弱点： ( 1 ) 由于物质在近红外区吸收弱，灵敏度较低，所以要求被测成分的含量一 7 浙江大学硕士毕业论文 般应大于0 1 。 ( 2 ) 建模工作难度大，需要有丰富的有代表性的样品，配备精确的理化检测 手段，并要求有经验的专业人员建模。 ( 3 ) 由于样品本身的代表性以及光谱采集方法各异，每一种模型只能适应一 定的时间和空间范围，需要不断对模型进行维护。 1 1 。6 近红外光谱定量分析技术操作及技术流程 近红外光谱的关键是建立预测效果优秀的数学模型。数学模型预测样品的效 果决定于建模所用数据，以及( 用算法) 对建模数据中信息的充分提取。近红外 光谱定量分析的步骤如图1 1 1 所示。 采集样品的光谱( 近红外扫描) 收集定标样品 j 一 光谮朐坝处理 工 j l j j 化学真实值测定 j 输入化学真值 图1 1 1 近红外光谱定量分析流程 t a b l e1 1 1t h es t e p so f n i r sf o rq u a l i t ya n a l y s i s 1 1 6 1 样品收集 建立近红外数学模型的过程中，收集样品是最困难，也是最花时间的。收集 样品时必须考虑样品的种类，化学组成，物理结构，颗粒大小颜色，样品的 表面特征，加工条件及其其他因素。将各种因素考虑在内收集到的样品量一定很 大，样品的信息也可能会重叠。因此必须从大量的样品中挑选部分样品，这部分 样品既是化学分析所能承受的范围，又能充分代表原来样品的全部信息，即为具 8 浙江大学硕士毕业论文 有代表性的样品。 近红外分析很重要的试验技术之一就是挑选有代表性的建模样品。挑选代表 性样品的方法很多，可以人为根据样品的产地、品种、年份、等级等进行选择： 也可以按照相应组分的化学值进行挑选；还可以用数学方法根据大量样品的光谱 特征来选择，如聚类法、主成分因子法、网格法等【4 】。 1 1 6 2 光谱的采集 光谱的采集就是为了获取样品的光谱信息，一般过程如图所示 装样 光源照射样品 工 分光器输出的单色光 l 检测器转换为电信号 0 经a d 数字化 j 输送给计算机处理 图1 1 2 光谱采集过程 t a b l e1 1 2t h es t e p so f n i r sf o rs p e c t r ac o l l e c t i o n 1 1 6 3 近红外光谱的预处理【9 i 由于光谱仪采集的吸光度光谱信号往往受到许多不确定因素干扰，比如样品 不同成分之间的相互干扰导致吸收光谱谱线重叠，或低含量成分谱峰被高含量成 分谱峰掩盖，以及信号噪声等问题，如果直接使用原始光谱信号进行定量分析， 必然会影响最终的分析结果的准确性与精度。光谱预处理的目的就是减弱和消除 各种非目标因素对光谱的影响，净化图谱信息，从而区分开信号的有用部分和噪 声，提取出有用的信号并因增强分析信息，获得高信噪比、低背景干扰的信息。 谱图的预处理研究包括两个方面的内容：一是剔除异常样品，即与其它光谱 差异很大的光谱要剔除；二是噪音和其他谱图不规则影响因素的滤除，如消除随 机噪音、样品背景干扰、测样器件引起光谱差异等因素对校正结果产生的影响； 三是谱图信息的优化，即在上述基础上对反映样品信息突出的光谱区域进行选 择，筛选出最有效的光谱区域，提高运算效率。 9 浙江大学硕士毕业论文 1 1 6 3 1 剔除异常光谱 在采集光谱的过程中，光谱信息由于光谱仪本身有误差、样品前处理不当、 环境温度和湿度等因素的影响，可能会产生一定的误差，例如其中一条或几条光 谱的趋势与正常光谱的趋势相反或者不一，这样的异常光谱对校正模型的影响是 绝对不可忽视的，因此在建立校正模型时，必须将其从校正集样品中剔除，这样 有利于缩短建模的时间，提高建模的质量。 1 1 6 3 2 消除光谱噪声及其它干扰因素的影响 对光谱的预处理与谱区的选定是克服近红外光谱测定不稳定的有效环节。根 据标样光谱的状况对光谱预处理，包括求导( 一阶、二阶) 、数字平滑、中心化 及标准化处理等。近年来，一些新的方法如小波变换等正在得到应用和发展。 ( 1 ) 导数算法【1 0 】 光谱的一阶和二阶导数是n i r 光谱分析中常用的基线校正和光谱分辨预处 理方法。对光谱求导一般有两种方法：直接差分法和s a v i t z k yg o l a y 求导法。对 于分辨率高、波长采样点多的光谱，直接差分法求取的导数光谱与实际相差不大； 但对于稀疏波长采样点的光谱，该方法所求的导数则存有较大误差，这时可采用 s a v i t z k yg o l a y 卷积求导法计算。s a v i t z k yg o l a y 卷积平滑也可用于求取导数光谱， 通过最小二乘可计算得到与平滑系数相似的导数系数。导数光谱可有效地消除基 线和其他背景的干扰，分辨重叠峰，提高分辨率和灵敏度。但它同时会引入噪声， 降低信噪比。 ( 2 ) 平滑算法1 6 】 由光谱仪得到的光谱信号中既含有有用信息，同时也叠加着随机误差( 噪 音) 信号平滑是消除噪声最常用的一种方法，其基本假设是光谱含有的噪声为 零均随机噪声，若多次测量取平均值可降低噪声提高信噪比。常用的信号平滑方 法有移动平均平滑法和s a v i t z k yg o l a y 卷积平滑法。 ( 3 ) 中心化及标准化处理【l o l 数据中心化是从每个光谱数据中减去样品的平均值，这样处理后的光谱数据 充分反应了变化信息，使所有的数据都分布在零点两侧，对以后的计算可以简化 并使之稳定，但又不影响数据的相对位置变异信息：标准化通常使用同一列数据 的方差去除，消除变量的量纲效应，使每一个数据在变异信息中具有同等的表现 力。 ( 4 ) 小波变换【l l 】 近年来，小波变换( w d 在信号和图像处理中的应用逐渐广泛和成熟起来。 w t 能够将化学信号根据频率的不同，分解成多种尺度成分，并对大小不同的尺 度成分采取相应粗细的取样波长，从而能够聚焦于信号中的任何部分，因此，被 称为化学信号的“数学显微镜”。 0 浙江大学硕士毕业论文 小波变换在近红外光谱分析中也有运用，如光谱去噪平滑、光谱数据压缩和 化学信息的提取等。中国农大闵顺耕教授等利用w t 对5 2 个烟草样品的漫反射光 谱进行滤波处理，并用p l s 法来计算烟草样品的总氮含量。结果表明，光谱m 滤波后，预测集的相对标准偏差由原来的9 2 降为7 4 ，提高了模型的预测准 确性，其结果优于f t 和5 点3 次平滑方法0 3 。 祝诗平等利用在小波变换下奇异信号和噪声在多尺度空间中的模极大值传 递特性的不同，可以有效地消除近红外光谱信号中的噪声，从而使最终的p l s 模 型更有代表性、稳定、稳健，也提高了品质检测时模型预测精度【1 2 1 。可以看出， 小波分析在近红外光谱的预处理中有着广泛的应用前景。 光谱的预处理对模型的稳健性、预测精度等方面起着非常重要的作用。小波 分析由于其在化学信息处理方面的独特作用，必将会在近红外领域中取得巨大的 进展。对于每一种化学计量学方法而言，它们都有各自的优缺点。因此，将各种 方法联合使用，相互取长补短，将是今后发展的方向。 1 1 。6 4 近红外光谱定量分析中统计分析方法 近红外光谱的定量分析中常用的方法主要有多元线性回归法( m l r ) ，逐 步回归法( s r a ) ，主成分回归法( p c a ) ，偏最小二乘法( p l s ) 0 4 1 。其中主成 分回归法和偏最小二乘法应用最为广泛。两者的区别在于主成分回归法未考虑样 品组成即未提取浓度主成分。而偏最小二乘法既提取了光谱的主成分，也提取了 浓度的主成分，进一步降低了噪音，提高预测能力。 1 1 6 4 1 主成分分析法n 。1 0 1 ( p c r ) 主成分分析过程分为两步：主成分分析和多元线性回归。主成分回归的主要 目的是重新进行预测变量之间的线性组合，把影响较小以及线性相关的变量剔 除，将数据降维，只保留少数影响较大的独立变量( 即主成分) ，以排除众多化 学信息共存中相互重叠的信息。第一个主成分满足样本方差最大，第二个次之， 以此类推，各组主成分相互正交。对于主成分估计，保留主成分个数问题，应用 上常通过所给数据信息确定，一般以方差贡献率的大小来确定主成分数。 主成分分析法的计算步骤一般分为以下4 步： ( 1 ) 对原始数据样本集合进行 标准化处理。( 2 ) 计算标准化之后的数据矩阵的协方差矩阵，并对其进行正交分 解，得出主成分向量。( 3 ) 计算各主成分的累计贡献率，根据要求的贡献率阈值 选取主成分。( 4 ) 针对选取的主成分建立主成分方程，计算主成分。 1 1 6 4 2 偏最t j x - - _ _ _ 乘法t 3 , 1 ( p l s ) p l s 法首先将n 个样品m 个组分的浓度矩阵y = ( y i j ) 。，和仪器测定n 个样 品p 个波长点处吸光度矩阵x = ( x i j ) 。分解成特征向量形式： y = u q + f 浙江大学硕士毕业论文 x = t p 牟e 其中u 和t 分别为n 行d 列( d 为抽象组分数) 的浓度特征因子矩阵和吸光度特 征因子矩阵，q 为d x m 阶浓度载荷矩阵，p ；o d x p 阶吸光度载荷矩阵，f 和e 分别为 t t x m ，n x p 阶浓度残差矩阵和吸光度残差矩阵。 p l s 法是根据特征向量的相关性分解y 和x ，建立回归模型； u = t b + e d 其中e d 为随机误差矩阵，b 为d 维对角回归系数矩阵。 在p l s 算法中抽象组分数d 的确定一般采取交叉证实法，即将x 中部分样品数 据暂时排斥在一维p l s 建模计算之外，由保留下来的数据计算模型参数向量，然 后，以光谱值和计算模型预测“被剔除”样品的浓度值，得到预测值和其真实值的 p r e s s ，再进行第二次删除，重复计算，直到预测平方和中包含了每个样品一次。 而后抽象组分数增加l 。循环继续，循环次数可以人为确定，也可根据预测平方 和p r e s s 的变化确定最佳维数d 。 p l s 和p c r 均采用了全谱信息，将光谱变量压缩为为数不多的独立变量建立 回归方程，通过交叉验证来防止过拟合现象。但是p c r 没有保证主成分一定与感 兴趣组分浓度相关，而p l s 则保证了这一点。因此，目前p l s 是近红外光谱分析 上应用最多的回归方法。 1 1 7 近红外光谱定量分析技术中的关键技术 1 1 7 1 定标集的选择旧 红外光谱分析的定标建模需要大量的样品，选择有代表性的定标集样品不但 可以减少建模的工作量，而且直接影响所建模型的适用性和准确性i 旧。因此挑 选何种样品参与定标是近红外技术的核心。 目前，定标集样品的选择有常规选择和计算机识别两种方法f 1 6 1 。常规选择 是根据样品光谱的积累和性质或组成数据的分布来选择建立定标集的样品，并通 过部分样品进行验证。采用常规方法确定定标集样品建模的最大缺点是必须积累 大量的样品以供选择。计算机识别则是纯粹通过确定的计算模型。用计算机来识 别所采集样品的光谱间差距，确定适合定标集的样品。光谱差异选择定标集的方 法在很大程度上减少了像常规方法那样测量基础数据的样品数，降低了建模费 用。但这种自动识别定标集的方法也存在一定的缺陷，比如有些光谱的差异并非 完全由所测样品的组成或性质差异引起，可能是某些随机因素如样品的温度、粒 径大小等因素的差异造成的。常用的方法有： ( 1 ) 含量梯度法 含量梯度法1 1 7 j 是一种常规选择方法，是将样品集中按某个组分的含量值顺 序( 由大到小或反之) 排列，然后从中按序抽取样品组成定标集或是预测集。使用 浙江大学硕士毕业论文 该种方法，需事先指定定标集的样品数。 ( 2 ) d u p l e x 法( 双向算法) d u p l e x 法是一种计算机识别方法。这种方法思想来源于k e n n a r d - s t o n e t l * 设 计试验方法。使用该种方法，需事先指定预测集的样品数。是纯粹通过样品的光 谱差距进行挑选样品子集。 ( 3 ) k e t m a r d s t o n e 法 k c n n a r d s t o n e 测1 8 , 1 9 1 的设计原理：将光谱差异较大的样品选入定标集，而 其余较相近的样品进入预测集，这样可使有代表性的样品全部进入定标集，从而 在一定程度上避免了定标集样品分布的不均匀。使用该种方法，需事先指定定标 集的样品数。该方法也属于计算机识别方法，同样也没有考虑到有些光谱的差异 并非完全由所测样品的组成或性质差异引起，很有可能将异常样品也选入定标集 中。， 1 1 7 2 异常样品剔除 在使用主成分回归或偏最小二乘法【2 0 ，2 11 对样品近红外光谱数据建立光谱 预测模型时，常常会出现浓度的预测值与标准值之间的相关系数很低的情况，即 使在选择了最佳主成分的情况下，也会出现浓度的预测值与标准值之间的浓度残 差较大的情形。引起上述问题的原因主要是因为训练集样品中混有不适合参与建 立近红外光谱建模的异常样品( o u t l i e rs a m p l e ) 。所谓异常样品，是指浓度标准值 与光谱数据存在较大误差的样品。浓度标准值误差产生原因很多，主要是在测试 浓度标准值时采用的方法不当或人为因素引起的浓度值抄写错误等，光谱数据的 误差主要是由于光谱仪本身有误差、样品前处理不当、环境温度和湿度的影响等 【琵2 3 1 。如果不对异常样品进行剔除，会严重影响建模的效果。 ( 1 ) 一审剔除法 一审法是根据剔除异常样品准则，一旦鉴定出某些样品为异常样品后，就永 久剔除该样品，其算法为：( 1 ) 首先使用全部训练集样品，利用留一交叉校验的 p c 贼p l s 建模方法，预测出每一个被保留下来的样品的组分浓度，求出预测值 与标准值的相关系数。如果相关系数已经满足了要求( 通常应大于或等于0 9 5 ) ， 则就使用该训练集样品建立最终的p l s 预测模型。否则继续下一步。( 2 ) 求出预 测值与标准值的浓度( 或光谱) ，残差，按某一种或几种剔除异常样品准则，鉴定 出异常样品。( 3 ) 重新以剔除异常样品后的样品集作为新的训练集，返回第一步。 ( 2 ) 二审剔除法 剔除异常样品的方法，常采用“一审”剔除法，但该方法容易把非异常样品 错误地当作异常样品剔除。二审剔除法：( 1 ) 首先使用全部训练集样品，利用留 一交叉校验的p c i l 或p l s 建模方法，预测出每一个被保留下来的样品的组分浓 浙扛大学硕士毕业论文 度，求出预测值与标准值的相关系数。如果相关系数已经满足了要求( 通常应大 于或等于0 9 5 ) ，则就使用该训练集样品建立最终的p l s 预测模型。否则继续下一 步。( 2 ) 求出预测值与标准值的浓度( 或光谱) 残差，按某一种或几种剔除异常样 品准则，鉴定出异常样品。( 3 ) 如果鉴定出的异常样品只有一个，直接剔除该样 品形成新的训练集，返回第一步。( 4 ) 如果鉴定出的异常样品不只一个，依次从 异常样品中取出一个，重新放回训练集，对增加了一个异常样品的训练集，使用 p c r 或p l s 方法，再次鉴定该样品。( 5 ) 如果该异常样品仍为异常样品，就继续 标记为异常样品，否则就标记为正常样品。( 6 ) 把所有二次鉴定为异常样品的样 品，从训练集中剔除，二次鉴定为正常样品的样品保留并回收，形成新的训练集， 返回第一步。 1 1 8 近红外光谱技术的研究与应用 由于近红外光谱包含了c h ，o h ，n h 以及其他化学键的振动信息，近红 外光谱测量方式包括透射、漫反射，可以测量液态和固态样品。所以，近红外应 用的领域范围极其广泛。我国n i r 分析工作者从上世纪8 0 年代初期就开始了应 用研究工作，最初主要集中在农产品分析，目前已逐步扩展到石油化工、食品、 药物和临床医等领域。在这些n 取应用研究中，有些研究成果具有鲜明的独创性， 申请了发明专利，有些工作已处于世界先进水平，并在实际科研和生产中得到广 泛应用 1 1 8 1 近红外光谱技术在农业中的应用 近些年来，随着新型近红外仪器的出现和软件的升级，n 取在我国农业领域 的应用和研究出现了新局面，分析对象涉及到谷物、经济作物( 烟草、茶叶和油 料1 、果蔬、饲料、肥料和土壤等，所用