（凝聚态物理专业论文）复杂凝聚态体系中近红外光谱信号的信息提取及定量表示.pdf

中文摘要 中文摘要 本论文采用二甲苯三种同分异构体混合物样品的近红外光谱数据，对近红 外光谱模型建立中的信息提取和信息量的定量表示进行了系统性研究该研究 对近红外预测模型预测准确度的提高、近红外光谱中所含信息量的增强和信息 量的定量表示具有重要的指导意义和应用价值。 本论文对比研究了近红外光谱信息提取中的几种连续波段的选择方法，指出 了多重共线性对预测模型精确度的严重危害性。首次提出在同分异构体组分混 合物的近红外光谱数据处理中使用差谱技术选择光谱波段，可以部分克服多重 共线性问题，提高模型的预测准确度；特别对相关系数法进行了系统性研究， 指出了该方法的优缺点，首次指明了相关系数与近红外光谱数据体系中经过 p c a 提取出来的主要的主成分载荷之间的相似关系，对主成分物理意义的解释 有一定的指导意义。 首次深入研究了互相关分析方法在近红外光谱信息提取中的作用，理论推导 出了近红外光谱信号经过互相关运算后，在一定的条件下变换后的光谱信号强 度和目标组分的浓度呈线性关系，经过互相关分析后目标组分的光谱质量得到 了提升；首次将互相关算法应用到近红外光谱模型的传递中，通过对不同类型 近红外光谱仪器采集到的同一种混合物体系的近红外光谱进行互相关分析，突 显出了不同光谱仪器间存在的固有差别，发现通过补偿的办法可以弥补这个差 别，从而起到模型传递的作用。 首次将信息论的部分概念和观点引入到近红外光谱的分析领域，从信息论的 角度，重新审视了近红外光谱的数据结构；首次采用组分熵对近红外光谱数据 的重叠程度进行了定量表示，在对高度重叠的二甲苯三种同分异构体的近红外 光谱数据的分析中取得了良好的效果；在改进多组分数据体系经p c a 分解后的 信息量增益公式的基础上，首次提出一种加权重的熵代数来定量表示多组分近 红外光谱中所含有的信息量，并采用该代数来评价近红外光谱预处理操作对数 据的变换品质，通过实验分析证实了该代数可以有效地表征近红外光谱数据中 的信息增益，清晰地区分近红外光谱预处理对最终预测结果准确度的好坏影响。 关键词：近红外光谱技术化学计量学信息论波段选择互相关分析 a b s t r a c l a b s t r a c t t h i st l l e s i sh a sp u tt h ee m p h a s e so nt l l ei n f o 彻a t i o ne x t r a c t i o na 1 1 dq u a l l t i t a t i v e e x p r s s i o nd u r i n gt h em o d e lb u i l d i n go f 玎e 8 fi n f r a r e ds p e c t n 鳓u s i n gt h es p e c t r a ld a t a s n so f1 l l ed j m 甜i y lb 朗z 明e i s o m 盯t h er e s e a r c hw o r km a yb ei m p o n a mt o1 1 1 e a p p l i c a t i 狮da c c l l m c yd c v c l o p m e mo f l h en l r m o d e l i nn l i s 龇s i ss e v c m lk i n d so fw a v e l e i l g t l ls e l e c t i o nm 劬o d s ，i n c l u d i n gi m e r v a l p 矾i a ll e a s t s q u 躺s i o n丑l l d m o v i n gw i n d o wp 枷a lk a 昏s q u 甜e r e g r e s s i o i l ，h a v eb c 锄s n l d i e d 柚dc 啪p 撇d b o t l lt l l e i rm 甜t s 卸dd e m “t sh a v e b e e np o 曲t o do l i ls p c c i a l l y ，t h em e t l l o db i s c d 衄t l l ec o n e l a l i o nw i t l lc 0 眦既l 僦o n w 笛c 黜f h l l ys t l l d i e d n es i m i l a r i t yb e t w e 吐圮p c s 锄1 d 龇c o 玎e l a l i c o e 伍d e m w 鹳p o i l l t e do u 衄dd l i s 谢1 lh d p 璐t ob e t t 盯u n d e r s c 锄d t h e m e 豳g o f p c s t h e 跚b t r a c t i v es p 凹唿t c c l l l l o l o 影w 勰u dt op a n j yo v e r c o m ct h c 姗埘c o l l i l l 酬t yo f 1 h e n m s p 。c 协姐d a t as e t s b yw a v c l 锄g i hs e l e c t i o m t h ec r o s s - c o r r e l 撕o na l g 面t h mw 鹧j n 咄e d 勰s p e 曲面p r 酏f e 拙e n ti nn ir f i c l d t h ea 王鲥t h mg a v eas u b s t 删a li 扛l p w 嬲e i i to ft h ep e d b h n a n c ew i 吼也e n 取印c c 仃a 、v i t hc o m p l e ) 【b 卵k 掣。珊d s 锄db i g i w h a ti sm o 赡t l l e c r o s 列珀勰l a t j 佃a l g o r i t l l | nw 部a b oa p p l i e dt oc a l i b f a t i 仃姐s 颤玎o ft l 坨n i r s p c c t r a ，锄d a 9 0 0 d r c s u 肌w 躬g o n 朗 t h e 缸f b r i n a t i t l l e o r yw a sa l i l l 舣 d t l c e df o r 蠲a l y s i ss p e c 乜赳d a t as 打u c t i 玳：证 t h en i rf i e l d t h ec 鲫p o n e mc n 仃o p yw a su s e dt o “a l u a t et i l ed e f o f o v 盯l a p p i l l g o fn i rs p e c 仃a ，卸di tg a v eap o 嘶ls o i u t i o nf b rt l l i sp r o b l 鼬an e wa l g 祈也m ， n 锄c dw e i g l l t e ds h 砌o n s n 唧吼s t e m m i n gf 如mt l 把s h 蛐o n si l l f 0 册a t i o n ，i s u s e dt oa s s st l l e 面硎af o rn i r 印e c t 州d a l ao p t i m i z a t i o n 1 1 l e a n a l y s i sl e s l l l t s s h o wt l l a tt i l eq 啪t i t a t i v ea 玎| a l y s i s 百v e s 柚a c c u t a t e 陀s l l l t 越dt h ea l g o i i t l l mw o f k s v e r yw e i if - o r 鹤s c s s i n gar i g h tc t 鲥o nf o rt l i en l rd a t ad r 科r e a t m e n l k q w 钾d s ： n e a ri i l f 矾ds p e c t 珊玎t e c m o l o g yc h 锄m n e 函c s 1 n f o 姗a t i o nt l l e o r y w a v e l 锄舀hs e l e c t i o n c m s s c o n l a t i o na m i y s i s j l 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者魏式1 丰百 2 0 0 6 年3 月2 0 日 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 年月日 第一章绪论 第一章绪论 第一节本论文研究的目的和意义 近红外光谱( n e a ri n f m r e dg p e c 仃o s c 叩y ，n l r ) 技术是基于光谱仪器、化学 计量学方法、机械工程为一体的光机电算综合新兴技术。作为一种检测技术， 它的最大优点就是快速、无损、高效。基于这一系列的优点，近红外光谱检测 技术已经在石油化工、农产品品质检测、食品质量检测等行业中得到了广泛应 用，有的已经制定出了行业标准，成为国家认定的标准方法，因此对近红外相 关技术的研究具有重要意义和应用价值。 但是近红外光谱技术也有它自身存在的不足。最大的不足是：它是一种间 接测量技术。采用近红夕 光谱技术对未知样品进行检测，首先要在同种样品中 选取有代表性的样品作为校正集样品，采用其它化学方法对校正集样品进行定 标。然后通过特定的化学计量学算法把校正集样品的光谱数据和对应的化学量 数值进行关联构建出一个预测模型来，将未知样品的光谱数据代入预测模型中 才能够计算得到相应的化学量数值，分析的流程如图1 - 1 1 所示； 图1 卜l 近红外光谱技术流程图 第一章绪论 采用近红外光谱技术对物质进行定性定量分析，决定成功与否的因素很多， 但主要有两个： 第一是：建模样品的选择，此步骤直接关系到预测模型的普适性和稳健性。 样品中含有的目标检测组分的含量一般都具有一定的分布范围，这取决于分析 对象的实际情况和测试的具体要求。科研工作者在着手建立预测模型的时候， 第一问题就是校正集样品的选择问题，选择出来的校正集样品既要具有代表性 又要合理分布以提高模型的通用性 第二是：对光谱信号中含有信息的提取能力能否有效地提取这些信息是 近红外技术分析的关键。近红外光谱信号来源于样品所含组分的特征吸收，光 谱信号是物质信息的载体，要想在最大程度上获取信息，必须保证获得高质量 的光谱数据。样品的光谱往往是复杂的，就单纯的化合物本身而言就具有多个 官能团、多种不同类型的振动模式，这些近红外谱峰严重重叠在一起的，这给 光谱的解析工作带来了很大的困难；样品一般是一个混合物体系，不同物质按 照各自的浓度含量相互混合在一起，不同组分的光谱信号也重叠在一起，这更 为组分的定性和定量解析工作带来了困难；对近红外光谱进行解析，困难还不 仅来源于此，仪器一般有光学部份、电子部份和机械部份组成，在纪录近红外 光谱信号的同时不可避免地会受到诸如环境、温度、电路噪声等内外因素的影 响，带来如基线漂移、高频噪音等影响；更重要的是，样品中的非目标物质会 对目标物质的检测带来很大干扰，特别是在背景相对比较强，非目标物质的含 量和种类也在不断变动的情况下，困难会特别地突出 因此对近红外光谱数据进行合理、适当的预处理和光谱变换可以在一定程 度上克服和缓解上述问题，达到优化预测模型的目的另外，如何评价光谱预 处理方法对近红外预测模型的影响也是一个十分在重要的问题，换句话说，在 近红外光谱分析中我们得到了哪些光谱信息? 光谱预处理方法对近红外光谱信 息的获取起到了哪些影响? 这些问题是光谱分析者比较关心的问题 基于上述问题，本论文在这方面进行了初步地探索：从信息论的观点出发 对二甲苯三种同分异构体的近红外光谱数据进行了分析，系统地研究了近红外 光谱的特点：对比分析了凡种建立预测模型的波段选择方法；对近红外光谱信 号的信息提取及信息的定量表示也进行了初步研究，给出了一个基于仙农熵原 理的加权熵代数来定量表述返红外光谱中所蕴含有的信息量增益，并采用该代 数作为评论光谱预处理方法好坏的判据。这些工作将有力地指导近红外光谱模 2 第一章绪论 型的建立和优化。 第二节国内外研究的现状 1 2 1 近红外光谱模型建立中的波段选择算法研究现状 对近红外光谱建立模型的变量选择，是大家普遍关心的问题。变量选择代 数的目的是客观地选择那些携带目标组分信息较多的波段，最有效地提取出图 谱信息，并简化数据运算。相应的选择算法大体有相关分析波长优选法( 相关 系数法) ，显变分析波长选择法协”、遗传算法n ”，间隔偏最小二乘回归嘲， 窗口平移偏最小二乘波段选择法州，神经网络“”等。这些方法各有各的特点，都 在不同程度上通过选择特定的波长点或者波段实现了冗余变量的剔除，部分消 除了近红外光谱的多重共线性叭】，优化了模型，提高运算速度。 ( 1 ) 相关分析波长优选方法 使用相关分析方法进行波段选择的首要前提是确定被检测物质的浓度与近 红外光谱数据在各个通道( 波长) 上的数据点的相关系数曲线，然后确定一个 相对数值比较大相关系数作为波段选择的阈值。所有对应于相关系数大于该阈 值的通道上的光谱数据被选取出来当作建立模型的光谱数据集，被预测的光谱 信号也按照相应的通道选取。 这种算法比较简单，物理意义明确，易于理解和编写相应的计算程序但 是阈值选取主要依据实验者的主观选择，没有一个确定的选择规则，对模型预 测准确度的改进有限。 ( 2 ) 显变分析波长选择法 显变分析波长选择法的基本思想是选取光谱数据中的方差( v a r i 锄c e ) 比较 大的波段进行建模。近红外光谱信号吸收强度上的变化主要是由于目标物质浓 度的变化引起的，因此通过显变分析波长选择法选择出来的波段都明显地表现 出了物质的信息。但是信号中的随机噪声和不稳定的背景干扰会对该方法产生 的较大的影响，因此在使用该方法进行波段选择之前应当进行必要的数据平滑、 小波变换等光谱预处理操作以消除不必要的干扰因素。 ( 3 ) 遗传算法( g e n e t i ca l g o r i t h m s ，g a s ) 3 第一章绪论 遗传算法是一种用计算机模拟生物自然进化过程搜索最优解的方法，使用 它可以实现近红外光谱波段的选择这种算法的出发点是使得较正集数据和预 测得到的计算数据之间的残差最小，因此使用g a s 进行波段选择可以得到一系 列使得预测结果更精确的数据点，但是由于计算量很大计算速度很慢由于选 择出来的数据点一般是一系列离散的数据点，当被预测的数据集受到外界干扰 时预测结果会有较大的偏差，模型的稳健性程度不高。当被预测的目标物质较 多的时候，这一点更加明显。 ( 4 ) 间隔偏最小二乘回归 间隔偏最小二乘回归( i n a e r v a lp 撕a ll e a s t - s q 哪sr e g r c s s i o n ，i p l s ) 是将全 光谱波段等分为玎( 刀为自然数) 个间隔，然后在每个间隔内建立p l s 交互验证 ( c r o 瓣v a l i d a t i o n ) 计算出预测残差平方和( p - e d i c t i v er e s i d u a le n o r 姗o f s q u 嬲， 用隰镕) ，从而选取出朋隰璐较小的波段建立预测模型以提高预测的准确度这 种算法是从数据分析的角度提出来的，将光谱数据进行机械分割，物理意义不 明显，但它是以最终的预测结果作为波段选择标准的，对模型的预测准确度的 改进比较明显。 ( 5 ) 移动窗口偏最小二乘回归 移动窗口偏最小二乘回归( m o 、，i n g 晰n d o wp a n i a li 砒s q 岫r c s r e 伊e 蟠i 删l s r ) 是一种新的波段选择算法采用该方法对波段进行选择， 是通过移动的数据窗口来实现的首先要以光谱数据的第一个数据点为窗口的 起点向后选择一个具有固定数目( 即窗口尺寸的大小) 的连续数据点组成一个 窗口，在这个窗口中对各个目标物质进行p l s 交互验证计算出纠阮镕，接下来 放弃此窗口的第一个数据点并将紧挨着窗口末端的第一个不属于该窗口的数据 点吸收进来，共同组成下一个窗口( 相当于在保持了窗口的尺寸大小不变的条 件下，将窗口向后平移了一个数据点) 然后再计算出这个新窗口例旺镕。依次 顺推，得到一系列的用e e 醛数值假设光谱数据点的个数为埘，窗口的大小为一， 最后一个掰隰s ：s 值就应当是光谱数据最末尾的行个数据点所计算得到的，总共 得到脚一以个窗口尺寸固定不变的列隰嚣数值，然后继续向后平移窗口，由于不 能在吸收新的数据点进入窗口，窗口尺寸逐步在减少，直到窗口的尺寸大小等 于样品数为止。然后将所得的川阮镕数值作为波段选择的标准，确定一个合适 的艘昱s s 数值当作波段选择的阈值，小于该阚值的波段将被选择出来建立预测 模型，可以提高预测模型的准确度。该方法是从最终回归结果准确度的角度来 第一章绪论 选取波段的，虽然在算法上稍微复杂了一点，但是思路十分明确。该方法的缺 点是仍然需要人为的确定个舰e 镕阈值，在进行波段选取时使用必要的光谱 预处理是必要的。 上述波段选择算法中，除遗传算法外，选择出来的波段都是连续波段，由 于近红外谱峰较宽，因此连续波段选择方法更容易理解。但是近红外光谱信号 重叠严重，而且相互重叠的信号之间存在较高的相关性，从而导致了近红外光 谱数据存在多重共线性成为病态体系( i 】1 c o n d i t i o n e d ) “”。相关分析波段选择法 和显变分析波长选择法，对数据体系的多重共线性没有鉴别能力，选择出来的 波段可能由于多重共线性的存在，影响了预测效果：i p l s ，m w p l s r ，是从最终 预测结果的角度实现波段选择的，多重共线性的影响已经体现在波段选择的过 程中了，因此这两种方法比前两种方法又先进了一步。遗传算法选取出的是一 系列离散通道，对于重叠严重的近红外光谱来说，不太容易理解，只是从算法 的本身出发考虑的，外界的干扰对分立的数据点的选取会产生更大的影响。总 之，各种算法有各自的理论依据和优缺点。针对不同的分析体系可以采用相应 的算法进行合理的波段选择。 1 2 2 互相关分析在近红外光谱分析中的应用现状 互相关分析( c r o s s c o r r e l a t i o n ) 是工程信号处理中一种相关检测技术， 广泛应用在电信号的噪声去除过程中。相关检测技术原理就是利用信号和噪声 的不相关性，使信号进行积累而噪声不积累，从而把被噪声淹没的信号提取出 来。互相关分析本身是一种有效的信息提取方法，这种分析方法已经在化学分 析中的原子光谱“”、质谱、色谱“”等领域得到了一定程度上的应用。 近红外光谱信号是一种容易受到高频噪声干扰的弱信号，而且信号一般是 由成分复杂的多组分混合物体系采集得到的，在样品的近红外光谱信号中除了 目标组分的光谱信号以外，在一定程度上会伴随有背景信号，严重影响了对目 标组分的分析工作。可以采用互相关分析对近红外光谱进行变换操作，可以达 到对目标组分信号进行提取增强的目的。 互相关分析被用来作为近红外光谱的预处理方法“”，相关的研究很少报道， 本论文对互相关算法在近红外光谱领域的应用进行了初步的探讨，并将互相关 算法应用近红外模型传递中，取得了良好的结果。互相关分析在近红外光谱中 第一章绪论 的应用，丰富了光谱预处理方法，对近红外光谱的信息提取具有指导意义 1 2 3 信息论在近红外光谱分析中的应用现状 信息论“1 是从统计分析的角度研究信息的记录、储存、传输和使用等基本 问题的理论。它是一门具有高度概括性的科学，它的这种高度概括性使它所论 及的范围远远地超出了通信及类似的学科，延伸到许多其它的学科，甚至进入 到生物学、生理学、心理学等领域。“熵”是信息论中一个核心的概念，它被定 义为信号源产生信息量的量度“熵”是从热力学中借用过来的一个名词，在热 力学中熵用来表述热力学过程中分子运动的无序程度。那些研究对象符合统计 理论又想探明这些对象实际意义的学科，信息理论是对其很有帮助意义的 采用信息理论对化学分析过程进行评估、优化最早出现在上个世纪7 0 年代， 但是采用信息理论对化学计量学中的多变量数据分析方法进行评估、优化出现 在上个世纪的9 0 年代，并有相关论文发表。这些论文主要是应用信息理论对 色谱( c h r 锄t o g r a p h y ) “钾、质谱( m a s ss p e c t r a ) 嘲，中红外光谱 ( m i d d l e i n f r a r e ds p e c t r a ) 啪1 等技术手段的信道容量( c h a n n e lc a p a c i t y ) 渊、特征选择伽、优化设计嘲，小波去噪嘲等方面进行了计算和分析 近红外光谱分析技术作为一种新兴的快速、无损、多组分同时分析的检测 技术，是在上个世纪8 0 年代才真正为人们所注意的。这在很大程度上应归功于 化学计量学方法的应用及过去中红外光谱技术经验的积累，使近红外光谱分析 技术得到迅速推广，成为一门独立的分析技术，并在农业、食品检测、石油化 工，生物医药等领域锝到了广泛的应用。作为一门间接的计量分析技术，近红 外光谱分析更加注重对物质信息的提取和分析将信息理论应用到近红外光谱 分析技术中来，是从统计分析的角度重新审视近红外光谱的光谱处理方法和所 提取信息的统计意义。在这一方面相关的报道还很少，在本论文中作者进行了 有益地尝试，将信息论中的核心概念“熵”，引入到近红外光谱预测模型的优化 过程中，并根据近红外光谱的特点进行了适当的修正，采用它对近红外光谱信 号的重叠度和信息进行了定量表示，取得了良好的效果 6 第一章绪论 第三节本论文研究的内容 本论文采用二甲苯三种同分异构体的混合物近红外光谱数据，从信息论的 角度对近红外中的信息提取和信息量的定量表示进行了系统性研究。该研究对 近红外预测模型的预测准确度的提高、近红外光谱中所含信息量增强和信息量 的定量表示具有指导意义。 本论文分为6 部分相应的分布在全文的6 个章节中： ( 1 ) 第一章：主要介绍了选题的且的、意义及其相关研究的国际国内现状。 ( 2 ) 第二章：主要介绍了近红外光谱的特点、形成的物理机制及近红外光 谱技术的特点，优势和在模型建立中采用的主要的化学计量学方法。 ( 3 ) 第三章：对近红外光谱模型建立中的主要的几种连续波段的选择方法 ( 差谱波段选择法、显变分析波段选择法、相关系数法、i p l s 、m w p l s r ) 进行 了对比分析，指出了各种方法实现波段选择的原理及其优点与不足特别是对 相关系数法进行了系统性的研究：指出了相关系数的特点；其它组分对目标组 分相关系数的影响；相关系数与主成分载荷之间的相似性；从信息提取的角度 对主成分的物理意义进行了初步解释 ( 4 ) 第四章：将互相关分析引入到近红外光谱分析中，理论推导出在一定 的条件下，经过互相关交换的光谱信号强度和目标物质的浓度呈线性关系；指 出互相关分析可以显著去除噪声，提高光谱信噪比，增强目标物质的信息量。 另外，将互相关分析引入近红外光谱的模型传递中并且指出：通过互相关分析 可以凸显出不同近红外光谱仪器在光谱上的固有差别，通过使用模型补偿的办 法可以弥补这个差别，从而起到模型传递的作用。 ( 5 ) 第五章：从信息论的观点出发，引入组分熵函数对近红外光谱的重叠 度进行了定量表示，为分析高度重叠的近红外光谱数据结构提供了有利工具； 在改进多组分体系光谱数据经过主成分分解后的信息增益公式的基础上，首次 提出一种加权的熵代数来评价近红外光谱预处理对数据的变换影响程度，通过 实验分析证实该代数可以有效地表征近红外光谱数据中的信息增益，清晰区分 近红外光谱预处理对最终预测结果准确度的好坏影响。 ( 6 ) 第六章：总结全文，提出一些在近红外光谱分析领域有价值的、有待 进一步解决的问题。 7 第一章绪论 参考文献 【1 1n i l sb ob o c t i i t i 柚n ， h 朋一kj 0 s e f s s 伽，卸dl 鲫ac o w e p e 响加卸c eo f e u r o d e 柚a n i f i c i a l 仳u r a ln e t 、v o r k ( a n n ) c a l i b r a t i 硼f o rm o i 咖他柚dp r o t e i nj nc e r e a j s 懈i n gl l l ed 柚i s b n e 栌i n f m dt r 挪m i s s i o n ( n mn e t w o r k c 帆a ic b 啪，2 0 0 l ，7 8 ( 5 k5 7 2 5 7 7 【2 】陈斌，王豪，林松等基于相关系数法与遗传算的啤酒酒精度近红外光谱分析农业工 程学报，2 0 0 5 ，2 1 ( 7 ) 9 9 1 0 2 【3 】m i c h l j m c s h a 脯g e 删l c o l 6 n 蚰a s s e 鲻m e mo f p a r t j a i l e 缚s q t i a r 髓c a l i b 馏l i o n 锄dw g v c l g t h 辩l e c t i 彻f o rc 锄p l 懿m 弘i n 触r e ds p e c ：仃a a p p l j e ds p e c t r o s c o p y 。1 9 9 8 ， 5 2 ( 6 ) ：8 7 8 8 8 4 【4 】m i c h 卵l j m c s l l a i i e ，g e r a r dl c a 喏，e t 羽s p i e g e h n 锄，v 撕a b l e i e c t i o n 如m u l i i v a r i a l e c a j i h 撕蚰o f as p e c 峨c o p i cg l u c cs 哪s 甜1 9 9 7 ，5 1 ( 1 0 ) ，1 5 5 9 1 5 “ 【5 】j 伽锄莉m b a l l d ，d c l p h i 鹏m a s s 矾，d 豁i 静l 眦l 翩嘣，硒c r d o d 出g 伽哦i c a 1 9 0 f j t l l m s 笛at o o if 研w 神e l 锄g ms c l 6 妯m u l 6 凼l ec a l i b r a 主i a n a l l 嘣c a i c h m j s 时，1 9 9 5 ，6 7 ( 2 3 ) 4 2 9 5 3 0 l 【6 】c b h s i u sa n dgk 咖柚g 锄e a i g o 耐螂自wl a 铲s c a l eo 埘m i 2 撕讥 c h 锄鲫删：a n 印p j i c 鲥伽1 协cm n d s i na i l a 驯c a ic l l e m i s 吼1 9 9 l ，l o ( 8 ) 2 5 4 2 6 1 【刀l 蛐毗砌c c a f d o g 眦词a m p 锄l 咧拍铭g 蚰舐c 蚰g 鲥t l 脚印p l 砌t o 锄觚 辩l e 甜l 硼加p l s 他g 陀s s i ：h o wa n dw 呦t ol 琏em e m c h 锄鲫鲥柚db 恤u i 鲫t l 抽删o r ys y s t c l n s ，1 9 9 8 ，4 1 ( 2 ) ，1 9 5 2 0 7 【8 】l n o r g 删， a s m d j a n d ， j w h 印盯，甜羽1 n l 掰v 甜p 硎a ll 翰髓s q l l a 他sr e 睁e 站i 鲫 ( i p l s ) ：ac 伽叩盯嘶v ec l i e m 彻l 曲沁s m d yw i m 锄e 瑚m p l e 鼬nn e a r - h l f 珀r e d s p e c 仃0 s c o p y a 即1 酣s p e c d ，2 0 0 0 ，5 4 ( 3 ) 4 1 3 4 1 9 【9 jj i 锄岛j - h ；b 啊r j ；s i 髂1 ，h w e tm 恬v c l e i l g t l li n t e r v a ls e i e c t i 如j n m u l t i c 鲫p 0 i 嘲ns p e 咖咖a n a j y s i sb ym o v i n gw i n d o wp a 而a ll e a 吼- s q t i a 螨r e g 麟j o nw i t l l a p p l i c 砒i o 璐t om i d - l l i 觎r e da n dn e a 卜l n 丘a r e ds p c = c t m o p i c 隗b a 删a 姗，2 0 0 2 ， 7 4 ( 1 4 ) ：3 5 5 5 3 5 6 5 【lo 】r t b d e s c h i n i ，d g a l v a g n i k o 啪锄a r t i 矗c 训栅r a ln e m 盯i c s 笛at i 细- w a v c l 窖曲 l e c t i o n nm u l t c o m p o m l i t s p 吲删u 嘶m c 研cp l sm o d c i i n g ：a p p “c 越i 彻t op h o l ， o - c 陀s o l ，m c r e s 0 ja n dp - c 瞄o im i x 眦1 佃1 d si na n a l ”i c 砌c h 啪i s n y ，1 9 9 9 ，l8 ( 2 ) ：9 3 9 8 【1 1 1 王惠文偏最小二乘回归方法及其应用北京：国防工业出版社，1 9 9 9 ：6 7 7 0 1 1 2 】粱逸曾，俞汝勤化学计量学北京：高等教育出版社，2 0 0 3 ：1 3 5 【1 3 1 qm h i e 蝎e ，r 1 b y 钉。盈铋dr l h n a 耐i c a t ；吼o fc o r r e l 砒i a n a l y s i s 幻 s i g i l a l - t o n o i s ee i t l 柚c e 嗍li nf i 哪es p e 曲伽n e n y a n a 虮i c a lc h 啪i s 仃y ， 1 9 7 3 ： 4 5 ( 2 ) ，2 5 3 2 5 8 s 第一章绪论 【1 4 1w fb r y 锄t ，m t v e d i ，b h i n c h m 锄d a t a - b i o c k ；n 9c r o s s c o r t - e l a t i o np e a kd e t e c t j o nj n c o m p u t e r i z e dg a s c h r o m a t o g r a p h y 。m a s s s p e c t r o m e t r y a n a l ”i c a j c h e m i s t r y ，1 9 8 0 ：5 2 ( 1 ) 。3 8 4 3 【1 5 】d c v i l l a j a n l i ，m f b u r k e ，a n dj b p h 川i p s f r e q u e n c ym o d u i a t e dc o r r e l a t i o n c h r o m a t o g 旧p h y a n a j ”j c a lc h e m i s l r y ，1 9 7 9 ：5 l ，2 2 2 2 2 2 2 5 【1 6 1 刘青格，陈斌基于互相关分析技术的近红外光谱信息特征的提取农业机械学报， 2 0 0 3 ：3 4 ( 3 ) ：7 9 8 l 【1 7 】蔡长年，汪润生信息论北京：人民邮电出版社，1 9 6 2 【1 8 】k 酬e c j ( s c h j a g e r 锄dk 1 娜d 彻z e r 1 n f 0 肌a t i o n1 1 1 e 咧i na n a l 舛c a lc h 啪j 哪n e w y b r k ：j o i l i l m k y s 0 彳i s ， i n c ，( 1 9 9 4 ) 【1 9 1k i l g r ；s m “h c 1 kq u a l 时o fq u 枷6 协t i 蚰j i lc h r o m a t c 学a p h yp 矾1 1 n 蕾d n 舱t i o n l j l e o 球d c a lc o n s i d e r 砒i o n s a n a l 州c ac h i m i c a a c 协，1 9 9 6 ，3 3 3 ，3 1 0 【2 0 】g 酬v 锄m 枷 i n f o l 佣a t j o nt l l t ya p p j j c dt o 辩l e c t i 彻o fp e a k sf b r 把啪e v a lo fm a s s 哪e 咖a n a l ”i c a ic h 蜘i s t r y ， 1 9 7 6 ，4 8 ( 3 ) 5 9 5 5 9 8 【2 l 】f h h e j t e ，只f - d i 町埘s ，h a na 1 n 啪e c 羽伽【讲姗y 锄di n a l i t 1 1 e o r y 印p j i c dt o f b 嘲北l e c i i 血髓l n e d 删- 嘲旧d 呻f 研釉咖嘣酣劬e t l 鹏吼i 蚰a n a l 蛳龃c h 蛐i c a a c 忸1 9 r 7 8 ，1 0 3 ( 4 ) ：3 1 3 3 2 l 【2 2 】pc t h 西s s a n dg k 舢咖加o p t i l l l a ld c s i 磬略w i 出加触i 越i o nt 1 1 f y 如i s 嘲u a 懈 p f o b l 锄s a i i a j y 6 c h i l n i c a a c t a ，1 9 8 4 ，1 5 7 ，9 9 1 1 5 【2 3 】b 扪b 删n 鲫l d ，b j 帅ka l s b 廿g an 州姗x i m 啪e n t 唧蛳s c dm 劬o d 细 d e m o l m i 伽o fs p 啪w 砒lh e t a 镪髓d a s t i c i j m m i a lo fc l 瑚o m e 岍c s ， 2 0 0 4 ， 1 8 ( 1 2 ) ：5 3 7 5 4 7 。 9 第二章近红外光谱及近红外光谱技术 第二章近红外光谱及近红外光谱技术 第一节引言 光的物理本质是电磁波，分子光谱的形成源于分子内部能级跃迁过程，不 同类型的能级跃迁在电磁波段上均对应一定的波段分布分子光谱主要分布在 电磁波的红外区和可见、紫外波段红外光谱的范围是0 7 8 1 0 0 0 朋，根据产 生、分离和探测红外辐射所采用的方法及其它用途，又将其分为近红外、中红 外、远红外三个波段近红外光谱介于可见光和中红外光谱之间，最初于1 8 0 0 年被英国物理学家赫谢耳( w i li 锄fh e r s h e l ) 发现，是人们最早发现的非可 见光区域，波长范围为7 8 0 一2 5 0 0 聊l ( 其中7 8 0 1 2 0 0 聊l 属于短波近红外波段) 近红外光谱来源于分子振动能级的合频与倍频；紧挨着近红外区频率较低的波 段是中红外和远红外波段，其中中红外分布在2 5 0 0 2 5 0 0 0 删，此波段由分子 振转能级跃迁形成，绝大多数有机分子的基团振动的基频都在此波段有特征吸 收；2 5 1 0 0 0 j 肼属于远红外区，此波段由分子转动能级的跃迁形成，能量较 低，是分子的指纹谱区，反映的是分子整体转动模式的信息位于近红外波段 更高频端的是可见光区和紫外区，此区对应的分子的电子态跃迁过程，能量较 高。近红外光谱在整个电磁波段所处的位置如图2 卜l 所示； 图2 卜1 近红外光谱在整个电磁波波段的分布位置 第二章 近红外光谱及近红外光谱技术 比较准确地说近红外光谱是最靠近可见光区的红外光谱，这个频段属于光量子 能量最高的红外谱区。近红外光谱信号主要来源于有机化合物含氢基团( 如c h ， o _ h ，n h ，s h ) 振动的倍频与合频，它同时具有了可见光区光谱信号易获取与 红外区光谱信息含量丰富的双重特点。在有机化合物分子的振动能级中，所含 基团存在着各种形式的振动模式，这些振动模式的能级是固定不变的，因此可 通过对这些振动模式的分析来表征化合物的某些特征，电磁波充当了一个“探 针”的角色。当一束光照射在化合物上的时候，化合物通过吸收或释放某种特 定频率的光子，使分子振动能量在不同的能级之间跃迁，这些特性在宏观上表 现为化合物对某些频率光线的吸收或者发射。化合物对近红外光产生的这种效 应可以通过光谱仪器进行观察记录，纪录得到的近红外光谱信号中包含了物质 组分的相关信息，利用近红外光谱信号所携带的这些信息可以对物质进行定性 定量分析。 作为一种高激发态的振动光谱，近红外光谱具有自己独特的特点和产生机 制，这些特点既决定了近红外光谱技术的优势也同是决定了近红外光谱本身存 在的弊端。对近红外光谱的产生机制和特点有比较全面的认识，将有利于对近 红外光谱技术应用层面和具体算法的理解 第二节近红外光谱信号产生的物理机制 经典的分子振动模型是双原子简谐振子模型嘲，依据量子力学的观点，粒子 吸收红外光后会引起分子振动和转动能级之间的跃迁并且这种跃迁要满足一定 的量子化条件( 选律) 。在波动力学中，双原子分子的两个原子核的振动可以等 效为质量为卢的单个质点的运动，描述这个假设质点( 谐振子) 运动的波动方 程为： 式中： 譬+ 学c 占 砷刚 其中：墨二坠 m l + m 2 e ：双原子分子体系总能量： l i ( 2 2 一1 ) 第二章近红外光谱及近红外光谱技术 甲：波函数； ：普朗克常量； k ：双原子分子的键力常数； ：双原子的折合质量； m ，分别为两个原子的质量； 波函数甲是方程( 2 2 1 ) 的解，它用来描述微观粒子的状态，是时间和空 间坐标的单值函数，空问某点波函数的平方i 甲1 2 表示粒子在该点出现的概率。根 据对波函数的统计解释，必须要求波函数是单值、连续、有限且在无穷远处为 零，这样的解只有在占具有下列数值时才存在： 州= 去仨”争 汜 式中，称为振动量子数，只能取整数o ，1 ，2 等自然数，这些值决定了量子力学 允许做简谐振动的双原子分子仅有的一些能级值，也决定了其振动能级分布。 当l ，= o 时称为振动的基态，其它分别称为第一激发态，第二激发态等依次类推。 依据量子力学的观点，当分子吸收红外光引起分子的简谐振动时，其能级 的跃迁要满足一定量子化条件：y = l ，即振动能级只能在相邻的位置之间跃 迁若振动量子数由v ：o 呻l 改变，则其对应的能级跃迁能量差： = 去后c ，+ 争一丢居c 。+ 争= 丢居 c z z 一3 ， 由波尔频率方程式 e = e 终一e 初= y 光 ( 2 2 4 ) 式中：a e 表示能级差： 表示p l a n c k 常数o ，。表示光量子的频率。 丘。表示终止态能级； e 。表示初始态能级； 由方程( 2 2 3 ) 和方程( 2 2 4 ) 解得振动频率为： 岫：去，芦 ( 2 2 - 5 ) 岫2 五恬 2 ” 第二章近红外光谱及近红外光谱技术 v 。称为基本振动频率，简称基频，对应的吸收谱带是基本吸收带或基本振动谱 带。式( 2 2 5 ) 说明双原子分子基频数值大小只与连接两个原子得化学键力常 数k 及折合质量有关。根据上式进行理论计算，发现含氢基团( 如o - h 、c h 、 n - h ) 的基频分布在2 5 5 o j 册( 4 0 0 0 一2 0 0 0 跏1 ) 范围内，也只有这个波段的 基频信号才能在n 1 r 区形成有适当强度的倍频带，倍频振动谱带主要分布在 o 7 8 ，肋到2 o ，朋波段范围内脚。其它含有较重原子的官能团的基频由于出现在 较远的中红外波段，它们的倍频很难出现n i r 区。例如分子量相对较轻的氟化氢 分子( 其x 值较大) ，由式( 2 2 5 ) 可计算出其基频带出现在3 9 5 9 c 啪- 1 ( 即2 5 3 j 鲫) 处，其它较重的分子基频振动谱带将出现在更长得波长区，也就是说它们的分子 基频振动谱带将出现在波长大于2 5 肋2 的中红外区( m i r ) 根据b o l t z 啪n 统 计规律，室温下绝大部分分子处于振动的基态，故按选律：血= l 发生从v l 。能 级跃迁的概率最大，因此中红外区是红外光谱区吸收最强的部分。但是，实际分 子的振动并不是理想的简谐振动。当分子振动的振幅较大，加上分子间及分子内 各个原子之间的相互作用，振动能级跃迁过程中伴随着转动能级跃迁的影响，分 子的振动将会偏离谐振子特性表现为非线性谐振子，其振动能量表达方程 ( 2 2 2 ) 中除一次项外还有二次项，三次项等更高次项圆： 刖= 去后扣加争2 ”抄 = 加，。【( v