（测试计量技术及仪器专业论文）近红外光谱分析中牛奶模型优化方法的初步研究.pdf

中文摘要 近红外光谱分析技术具有快速、成本低、样品无损和绿色环保等优点，既可 以应用于实验室分析又能适用于现场快速检测和实时分析。正确快速检测牛奶中 脂肪和蛋白质的含量意义重大。本文对应用近红外光谱检测技术测量脂肪和蛋白 质的分析方法进行了初步研究，探索了复合光谱法、简单奇异点的剔除、数据预 处理在牛奶模型优化中的应用。 论文的主要研究内容包括： 1 、探索了多变量建模方法对近红外光谱有用信息的提取，比较了不同建模 方法的特点。实验结果显示，m l r 、p c r 、p l s l 对脂肪建模的r m s e p 分别为0 3 2 9 、 0 1 8 5 、0 1 6 4 ，可见偏最小二乘法建立的模型更稳健。 2 、引入组织光学的概念，结合牛奶中脂肪和蛋白质的物理化学特性，分析 了脂肪、蛋白质对透射光谱、漫反射光谱的贡献，提出用复合光谱法同时对脂肪、 蛋白质进行建模可以同时得到很好的结果。实验证明，复合光谱法对脂肪建模 r i v i s e p 提高了2 6 2 3 7 8 ，脂肪和蛋白质模型的r m s e p 可以同时达到0 1 2 。 3 、对数据预处理方法进行了组合研究，并通过实验找到了分别适合脂肪和 蛋白质的预处理经验参数。实验证明，组合预处理方法大大提高了建模精度，透 射光谱经过组合预处理后脂肪建模精度提高了3 3 5 ，蛋白质建模精度提高了 1 7 2 。组合预处理方法与y 残差变量剔除奇异点相结合效果更好，透射光谱经 过组合预处理后脂肪建模精度提高了6 0 3 ，蛋白质建模精度提高了6 8 ，好 于复合光谱法的建模精度。 本文作为近红外光谱法检测牛奶成分的基础研究，为后续的研究奠定了基 础。 关键词：近红外，光谱分析，牛奶检测，复合光谱，多变量回归，预处理 a b s t r a c t n e a r - i n f r a r e ds p e c t r o s c o p ya n a l y s i st e c h n i q u ei sr a p i d , l o wc o s t ，n o n i n v a s i v e ，n o t d e s t r o y i n ge n v i r o n m e n t i ti sn o to n l ys u i t a b l ef o rl a b o r a t o r ya n a l y s i s ，b u ta l s of o r i n - f i e l df a s ta n dr e a l - t i m eo n - l i n ea n a l y s i s i th a si m p o r t a n ts i g n i f i c a n c et od e t e r m i n e m i l k c o m p o n e n t sa c c u r a t e l ya n dr a p i d l y t h i sp a p e l i sc o n c e n t r a t e d o nt h e p r e l i m i n a r ys t u d yo nm i l kc o m p o n e n t sa n a l y s i sa n dm i l km o d e lo p t i m i z a t i o nb a s e do n n e a r - i n f r a r e ds p e c t r o s c o p ya n a l y s i s ，i n c l u d i n gc o m b i n e ds p e c t r o s c o p y ，e l i m i n a t i o n o f o u t l i e r s ，d a t ap r e t r e a t m e n t 。 t h em a i nr e s e a r c hc o n t e n to f t h ed i s s e r t a f i o ni n v o l v e s ： f i r s t l y , t h ea b s t r a c t i o no fi n t e r e s t i n gs p e c t r a ls i g n a li ss t u d i e dw i t hm u l t i v a r i a t e r e g r e s s i o nm e t h o d t h ec h a r a c t e r i s t i c so fd i f f e r e n tm u l t i v a r i a t er e g r e s s i o nm e t h o d s a r ec o m p a r e d t h er e s u l ts h o w st h a tt h er o o tm e a no fs q u a r ee r r o ro fp r e d i c t i o n ( r m s e p ) a r e0 3 2 9 ，o 1 8 5 ，0 1 6 4f o rf a tb ym l r 、p c r 、p l s l ，r e s p e c t i v e l y s o ，p l s l c a na c h i e v ear o b u s tm o d e l s e c o n d l y , t h ec h e m i c a la n dp h y s i c a lc h a r a c t e r i s t i co fm i l k , c o m b i n e dw i t ht h e c o n c e p t so ft i s s u eo p t i c s ，i su s e dt os t u d yt h ec o n s t i t u e n t so ft r a n s m i s s i o n s p e c t r o s e o p ya n dd i f f u s er e f l e c t i o ns p c c t r o s c o p y i ti sa d v a n c e dt h a tt h em o d e lo f c o m b i n e ds p e c t r o s c o p yi sb e t t e rt h a nt h em o d e lo ft r a n s m i s s i o ns p e c t r o s c o p ya n d d i 矗u s er e f l e c t i o ns p e c t r o s c o p y t h el o w e rr m s e pf o rf a t , p r o t e i nc a nb ea c h i e y e d s i m u l t a n e o u s l y , w h i c h i s i m p r o v e d b v 2 6 2 - - 3 7 8 a n d l o w e r t h a n 0 1 2 t h i r d l y , t h ec o m b i n a t i o no fd i f f e r e n tp r e t r e a t m e n tm e t h o d so fm i l ks p e c t r a ld a t a a l es t u d i e x t , a n dt h eo p f i m i z e dp a r a m e t e r so fd i f f e r e n tp r e t r e a t m e n tm e t h o d sa r e a c h i e y e df r o me x p e r i m e n t s t h er e s u l t ss h o wt h a tt h ep r e c i s i o no f m o d e li si m p r o v e d a f t e rc o m b i n e dp r e t r e a t m e n t 。t h er m s e po ff a t ，p r o t e i nm o d e lm a d eu pf r o m t r a n s m i s s i o ns p e c t r o s c o p yi si m p r o v e db y3 3 5 ，1 7 2 r e s p e c t i v e l y f u r t h e rm o r e , a f t e rc o m b i n e dp r e t r e a t m e n ta n do u t l i e re l i m i n a t i o n , t h er m s e po ff a t p r o t e i nr o o d e l m a d eu pf r o mt r a n s m i s s i o ns p e c t r o s c o p yi si m p r o v e db y6 0 3 ，6 8 ，r e s p e c t i v e l y a n dt h i sr e s u l ti sb e t t e rt h a nt h er e s u l to f c o m b i n e ds p e c t r o s c o p y t h ea i mo ft h i ss t u d yw a sf u n d a m e n t a lr e s e a r c ho nt h em e a s u r e m e n to fm i l k c o n s t i t u e n t sb yt h en e a r - i n f r a r e ds p e c t r o s c o p yt e c h n i q u e a n di tl a i dt h ef o u n d a t i o n f o rt h ef i l i t h e ri n v e s t i g a t i o n k e yw o r d s ：n e a r - i n f r a r e ds p e c t r o s c o p y , s p e c t r a la n a l y s i sm i l kc o m p o n e n t s a n a l y s i s ，c o m b i n e ds p e c t r o s c o p y , m u l t i v a r i a t er e g r e s s i o n ， p r e t r e a t m e n t 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得叁盗盘茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：二己彳玖 签字日期：z p q 歹年留月3 r 日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权：苤洼盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：_ = t 雹汲 导师签名：军细乙 签字日期：工口眄年g 月巧日 签字日期：缈厂年孑月乏咱 ， 第一章绪论 1 i 牛奶测量的意义 第一章绪论 随着现代社会物质生活水平的不断提高，牛奶成为日常生活中必不可少的 消费品。据统计资料显示，世界人均年消费乳制品已达1 0 0 千克。同期我国入 均g d p 突破1 0 0 0 美元大关，社会的变化发生在各个方面，尤其是人们的饮食 结构正在由温饱型向营养型、健康型发展。牛奶作为日常消费的营养品，其质 量越来越受到关注。按照国家有关规定，各企业必须按国家标准提供所生产牛 奶的各项指标的含量信息。牛奶收购者应对交售的牛奶进行必要的质量检测， 收购的原料奶应当符合国家规定的生鲜牛奶收购标准。另外，现代的乳制品生 产企业要求能够对生产过程全线监控，从而提供出产奶牛的健康信息。如牛奶 中蛋白质的含量能够反映出饲料中营养的充足与否，对饲料的配比有重要的参 考价值。 因此，快速准确的测定牛奶中主成分的含量成为一个重要的研究课题。 1 2 牛奶主成分测量的现状 牛奶主成分的测量作为一个课题的提出已经有很长时间，但现在依然多种 测量方法并存。究其原因，主要是各种测量方法各有所长。现在我们对这些测 量方法傲一简单介绍： ( 1 ) 化学分析法【1 】： 作为国标法，其准确性勿庸置疑是很高的，可以作为评价其他测量方法的 参考方法。如脂肪测定有哥特里一罗紫法( 企业使用，如中芬乳业) 、盖勃氏 法、巴勃科克氏法，其中哥特里一罗紫法采用较为广泛，即先用氨水使牛奶中 的酪蛋白钙盐成为可溶性的铵盐，再用乙醚从中提取脂肪并秤重。蛋白质采用 半微量凯氏定氮法，即使用试剂将蛋白质中的氮转化成其他化合物并提取称 重，两次平行测定结果之差不得超过两次测定平均值的1 5 。 第一章绪论 由测量原理可以看出，牛奶主成分可以完全反应生成其他化合物，测量精 度高，其中脂肪的测定对l o o g 鲜牛乳来说，两次平行测定结果之差。不得超 过0 0 3 9 。虽然此法广泛采用并发展成熟，但是因为化学发应时间长，并且有 试剂污染，操作过程对人员素质的要求相对较高，因此无法满足在线快速测试 的要求。 ( 2 ) 中红外光谱分析法 中红外光谱分析发展比近红外光谱分析技术较早，相对较为成熟，目前基 于中红外光谱分析法已经有成熟的仪器面世，其中以丹麦的f o s s 公司出产的 m i i k s c a n 系列牛奶成分分析仪为典型代表。f o s sm i l k s c a nf t l 2 0 采用傅立 叶分光技术，并配有均质、清洗、调零等技术，对脂肪、蛋白质的预测精度达 到1 。但是仪器价格不菲，内部结构不适合现场操作，要求实验条件严格， 因此只适合于实验室研究。 ( 3 ) 超声波分析法 超声波探测技术是利用高频声波与物质之间的相互作用以获取被测物质 内部的物理化学性质”m 1 。目前已有多种超声波牛奶成分分析仪面世，如保加 利亚的l a c t o s c a n 系列、美国的l a c t i c h e c k 、我国浙江大学的优创等。 其预测精度c v 值可达到5 的水平，可基本满足牛奶在线分析的需要。但是 仪器受噪音干扰较大。 ( 4 ) 近红外光谱法 近红外光谱分析技术作为“绿色检测技术”的代表，显著优点是分析成本 低、速度快、操作简便、可不破坏样品进行原位测定、不使用化学试剂、多参 数测量，是能够满足牛奶成分检测的现代分析技术。近年来在其他分析测试领 域，特别是在线分析和工业控制领域发挥着越来越重要的作用。在农业、食品 工业、石油工业、制药工业和临床医学等领域，近红外光谱技术也都有着成功 的应用。 在一些文献中可以看到近红外光谱技术应用于牛奶成分分析取得了较好 的效果，然而由于存在一些如吸收强度弱、谱峰重叠严重等问题，这方面的研 究还没有象中红外一样成熟，大多数研究成果都仅仅停留在实验室阶段。 综合上面的情况来看，在近红外光谱分析领域，尚有很大扩展空间。近红 2 第一章绪论 外光谱分析领域还存在一些技术问题，而且国内的相关研究还十分落后，没有 与国际先进水平竞争的实力。因此，我们选择近红外光谱法检测牛奶成分作为 研究课题，它的成果不但可以单独作为中间产品推广使用，而且对于近红外光 谱技术的发展也将起到推动作用。 1 3 应用近红外光谱技术测定牛奶成分的技术问题 近红外光谱分析技术本身存在技术问题，而牛奶本身作为多成分的悬浊液 也是一个复杂的体系，因此应用近红外光谱技术测定牛奶成分主要有以下几个 问题： ( 1 ) 近红外光谱分析技术作为“黑匣子”分析技术，并不是通过研究光 在样品内部的特性参数来获得样品的品质因数，而是通过对出射光的光谱分析 来获得样品的品质因数。而出射光谱不仅和样品的化学性质有关，样品的物理 信息及外界的干扰等因素同样会对出射光谱产生影响，从而增加了光谱解析的 难度。 ( 2 ) 从近红外光谱本身来讲，近红外光谱的信号弱、水的吸收强烈到可 以淹没牛奶主成分的信号、谱峰重叠严重等问题需用预处理方法”1 ”认真解决 的。 ( 3 ) 化学计量学方法的应用需要建立校正模型，而建模样品的浓度分布 应当合理化，需要用实验设计法来解决。我们研究的目的最终是要应用在鲜奶 的测量上，而鲜奶的主成分含量差别不大，对样品校正集的建立增加了不小的 难度。 1 4 本文主要内容 针对牛奶成分红外检测技术的研究现状和存在的问题，本文的目的是 对近红外光谱检测牛奶中的脂肪和蛋白质进行大量实验研究和理论探索等 基础研究工作，为今后原奶的测量、仪器的研制等深入的研究奠定基础。 我们课题组在应用近红外光谱分析技术测量牛奶主成分方面已经取得了 第一章绪论 一些研究成果，在此基础上本文从理论研究和实验探索上主要做了以下几方面 的工作： ( 1 ) 对于牛奶的组织结构、组成以及各主成分的近红外吸收特性做了大 量调查研究与实验研究。 ( 2 ) 根据牛奶测量方面的有关文献及具体实验，对近红外光谱技术测量 牛奶主成分的方法进行了实验研究与理论研究，主要包括关于漫反射光谱测量 和透射光谱测量在脂肪和蛋白质测量上的优劣，以及如何利用复合光谱进行两 种成分的测量。 ( 3 ) 由于近红外光谱所含样品的信息微弱，为了防止测量中不确定因素以 及其它非测量因素的干扰，对数据预处理方法进行了理论上的研究，并在实验 中对测得的牛奶原始光谱光谱采用了不同的数据预处理方法，期望能够找到适 合于牛奶的最合理的预处理方法。 4 第二章近红外光谱分析的基础理论 2 1 、概述 第二章近红外光谱分析的基础理论 近红外光是指波长在7 8 0 2 5 2 6 n m 范围内的电磁波。近红外光谱的信 息主要是含氢基团( 如c - h 、o - h 、n - h 、s - h 等) 分子振动与转动的倍频与合 频吸收信息。这些基团产生的光谱吸收峰位置和强度上有所不同，含有不同 基团的被测样品就在光谱的不同吸收峰上得到了体现。根据朗伯一比尔定律 ( l a m b e r t - - b e e rl a w ) 的基础理论，随着样品的组成或者结构的变化，相应 的出射光光谱也发生变化，这就是近红外光谱分析技术的基础理论。 近红外光谱分析技术又称“黑匣子”分析技术，它是一种间接测量技术， 即通过对样品光谱和样品质量参数进行关联，建立校正模型，然后通过校正 模型预测样品的组成和性质的方法。 近红外光谱分析技术作为一项复杂的系统工程，是综合光谱学、化学计 量学“2 1 和计算机应用科学等多学科的现代综合分析技术。样品的近红外光谱 包含了样品的组成与结构信息，分子振动光谱学从物理学的角度阐述了这一 现象；样品质量参数和光谱之间的关系由朗伯一比尔定律来解释；最后的建 立模型和预测工作则是由化学计量学方法来解决的。本文将从这三个方面介 绍近红外光谱技术。 2 2 分子振动光谱学基础理论 如果用近红外光( 波长1 0 0 0 2 5 0 0 n m ，本文研究的光谱主要在这个区间， 相当的能量大致为1 o 0 5 电子伏特) 照射分子，由于辐射的能量不足以引 起电子能级跃迁，只能引起转动或振动能级跃迁，所得到的吸收光谱就被称 为振动转动光谱或者近红外吸收光谱“”n 8 m 1 。吸收近红外光的分子有两种基 本的振动形式：伸缩振动和弯曲振动。伸缩振动指的是原子沿两个原子连线 方向的运动，而弯曲振动指的是原子间键角的变化。在近红外光谱区，谱带 第二章近红外光谱分析的基础理论 的归属是难以确定的，因为每个近红外谱带可能是若干个不同的基频的泛频 和组频谱带的组合，没有锐峰和基线分离的谱峰，大量的是重叠谱峰和肩峰。 另外，影响近红外谱带位置的变化因素也较多。例如，氢键的形成使谱带向 低频方向移动；稀释及温度升高将削弱氢键，从而使谱带向高频方向移动。 这些都使近红外光谱的解析复杂化。 根据普朗克定律，光与分子相互作用。由表2 - i 可看出，近红外光谱中 所含有的信息是分子基频振动的泛频和合频所引起的。而这些分子主要是含 氢化学基团，如：甲基、亚甲基、次甲基、芳基、羟基、氨基等。 表2 1 几种光谱的能量及光谱特征比较 光谱区波长( r i m )特征 紫外光( u v ) 1 9 0 3 6 0 离域n 电子的跃迁 可见光( v i s )3 6 0 7 8 0 电子跃迁 近红外光( n i r )7 8 0 2 5 0 0 分子基频振动的泛频和合频 中红外光( i r )2 5 0 0 4 0 0 0 0 分子的基频振动( 伸缩、弯曲、扭曲) 远红外光( f i r ) 4 x 1 0 1 0 分子的转动 2 3 近红外光谱分析技术的理论支持 近红外光谱中包含着众多的信息，但是信息的复杂度又是惊人的。因为 牛奶是半透明乳浊液，因此进入牛奶的光束基本上可以分为透射光谱和漫反 射光谱两种，下面分别做介绍。 2 3 1 透射光谱的理论支持：朗伯一比尔定律m _ ”1 在研究近红外光谱之前，有必要先引入几个变量的定义，定义如下： 样品浓度：质量容积( g d 1 ) 第二章近红外光谱分析的基础理论 样品池厚度：样品池内表面之间的距离( d ) 光程长：光束在样品池内由入射到出射所走过的路程( 1 ) 入射光通量：光束进入样品池之前的光通量( 由。) 出射光通量：光束经过样品池之后的光通量( 巾) 透射率：出射光通量入射光通量( t ) 吸光度：i n ( i t ) c a ) 本章前面已提到朗伯一比尔定律是近红外光谱分析技术的基础理论，下 面本章将详细介绍。 1 、朗伯一布格定律 一束辐射( 光) 通量为由。的平行单色辐射，垂直入射通过吸收介质，若 该吸收介质的表面是互为平行的平面，且它内部是各向同性的、均匀的、不 发光不散射的，则透射辐射( 光) 通量由m 随吸收介质的光路长度b 的增加 而按指数减少： 中。= 吼e 。 ( 2 - 1 ) 其中： m ，：出射光通量 m 。：入射光通量 b：样品池厚度 。：吸收系数 。 2 、比尔定律 一束平行单色辐射，垂直入射通过一定光路长度的吸收介质，它的透射 辐射( 光) 通量随介质中吸收物质浓度的增加而按指数减少： ，= o o e 一9 ( 2 2 ) 其中： m 。 ：出射光通量 o 。 ：入射光通量 p：样品浓度 第二章近红外光谱分析的基础理论 ； ：吸收系数 3 、定律加和性 由于两个定律是分别独立提出来的，因此他们之间存在某些相通的地方： 一束平行单色辐射，垂直入射通过几种彼此不干扰的物质所组成的吸收介质 时，若该吸收介质的入射、出射面是互为平行的，且它内部是各向同性的、 均匀的、不发光不散射的，则该吸收介质总的吸光度等于几种特征吸光度的 总和。 4 、朗伯一比尔定律 朗伯定律和比尔定律由于形式上的相通性和内容上的相似性，由定律的 加和性，可将式( 2 1 ) 、式( 2 - 2 ) 表述如下： o 。= o o p 一“ ( 2 3 ) 占：吸收系数 b ：样品池厚度 c ：样品浓度 式( 2 3 ) 就是朗伯一比尔定律。它表示的是透射光谱的理想状态。 由吸光度a 的定义可得到： 肚d t 乩要= 喜如 协a ， a ：吸光度 占：吸收系数 m ：成分数 式( 2 - 4 ) 的适用条件为： ( 1 ) 样品中各成分之间相关性为零或者几乎不相关； ( 2 ) 样品为均匀分布的连续介质； ( 3 ) 样品与入射光相互作用不存在散射、荧光等现象。 在实际应用中，上述条件并不能完全满足，这就需要对原始光谱数据进 行光谱预处理和多元回归分析。下一节将会有详细论述。 第二章近红外光谱分析的基础理论 2 3 2 漫反射光谱的理论支持：k - m 方程町 光束照射到样品表面后，一部分光折射进入样品内部，并经过反射、折 射、散射和吸收等一系列复杂的过程，最后由样品入射面辐射出来，辐射出 来的光由于散射到各个方向而被成为漫反射光。由于这部分光与样品分子发 生作用后同样具有吸收一衰减特性，因而也带有样品信息。而散射效应的存 在与样品成分颗粒的大小有关，也反映了样品的物理化学特性，因而也带有 样品信息。 漫反射光谱不能直接用于定量计算，因为漫反射光谱的吸收率并不与浓 度成线形关系，需要将光谱进行k u b e l k a - m u n k 函数变换： 朋小簪= 吾地 ( 2 5 ) 式中，僻。) 称为k m 函数，r 。代表样品无穷厚时漫反射光谱的反射率，k 为样品的摩尔吸收系数，s 为样品的散射系数。在散射系数一定的情况下， f ( r 。) 与k 成正比，又因为k 与样品浓度c 成正比，因此f ( r 。) 与c 也成正比。 这就是漫反射光谱定量分析的依据。 2 4 近红外光谱的多元数据分析方法”例”1 1 光谱数据处理是近红外光谱分析技术中的重要组成部分，因为实际的测 量光谱还包含仪器噪声、样品散射干扰以及样品成分之间的干扰等，而且实 际测量条件并不一定完全符合朗伯一比尔定律的要求，化学计量学软件的出 现解决了这一问题，它可以有效的剔除噪音，实现混合物多成分的同时定量 分析。 通常随仪器带有化学计量学软件( c h e m o m e t r i c s ) ，它是使用数学、统计 学和计算机科学等方法从化学测量数据中提取信息的学科。由于在样品的近 红外光谱和其质量参数间存在着内在联系，使用数学方法对两者进行关联， 9 第= 章近红外光谱分析的基础理论 可确立这两者间的定量或者定性关系，即校正模型。建立模型后，只要测量 未知样品的近红外光谱，棍据校正模型和样品的近红外光谱就可以预测样品 的质量参数。近红外光谱常用的化学计量学方法为多元校正方法，主要包括： 多元线性回归( m l r ) 、主成分回归( p c r ) 、偏最小= 乘法( p l s ) 等。m l r 、 p c r 和p l s 属线性回归方法，主要用于样品的质量参数为线性关系的关联。 定量校正模型的建立需要有代表性的样品作为校正集，所谓代表性是指： ( 1 ) 校正集样品的浓度范围能够涵盖以后需要进行预测的预测集样品浓度； ( 2 ) 校正集样品的分布在高浓度和低浓度范围内应当是均匀的，这样对高浓 度和低浓度样品的预测才能达到相一致的精度。本文中定量校正集样品的设 计与选择采用化学计量学里面的析因设计法。 2 4 1 多元线性回归( 虬r ) 多元线性回归方法计算简单，物理意义明确，但对参与关联的变量数 目有限制，要求训练集样品的个数多于变量的数目，同时，由于受到多重 线性相关性的影响，效果不是太理想。 若自变量为x ，( j = 1 ，2 ，3 ，m ) ，一个因变量为y ，用多元线形回归方法， 可建立因变量和自变量之间的关系，如下式： y = b l x l + b 2 而+ ak 工。+ e ( 2 6 ) 解多元方程，求其最小二乘解即可。 此法操作简单，物理意义明确，易于理解，只要知道混合物中某些组分 的浓度或性质就可以建立复杂体系的校正模型。对于一些不太复杂的体 系，不用考虑干扰组分的影响也能计算被测组分的组成与性质。但此法要 求参加回归的变量数不得超过校正集的样本数目，因此使用的变量数目受到 限制。如果需要使用较多的变量，则收集样品与测量数据的工作也是比较艰 巨的。 2 4 2 主成分回归法( p c r ) 0 第二章近红井光谱分析的基础理论 主成分回归是为了解决多元线性回归的不足而建立起来的回归方法。其 目标就是降低多变量数据系统的维度，简化变量系统的统计数字特征。为达 到这一目的，引入了“主成分”的概念。主成分相当于一个度量单位，得分 相当于权重。主成分回归通过对参与回归的主成分的合理选取从而去掉了噪 音。 其回归方程为： c = l 。，曰，x + e ( 2 7 ) 其中，b 为校正系数矩阵，n 为全部组分数。 这样我们就能求出被测组分的校正模型： b = r c ( z t 、4 ( 2 - 8 ) 在主成分回归中，仅对光谱变量矩阵进行了降维处理或矩阵分解，而对 浓度矩阵的噪音并没有考虑，实际上由于某些主成分与组分浓度并不定有 相关关系，因此回归结果不一定合理。计算速度慢也是它的一个不足。 2 4 3 偏最小二乘法( p l s ) l 、原理 在p c r 中，只对光谱矩阵做了分解，消除了光谱矩阵中无用的信息。同 样，浓度矩阵中也有无用信息，p c r 却没有作相应的处理。p l s 就是基于这种 思想的回归方法。 ( 1 ) 作矩阵分解，其模型为： k 。= l 。，p ，。+ e ( 2 - 9 ) l 。= 砜。，q + f ( 2 1 0 ) j 和r 分别为光谱矩阵和浓度矩阵，和，分别为光谱矩阵和浓度矩阵 的得分矩阵，p 和p 分别为光谱矩阵和浓度矩阵的载荷( 即主成分) 矩阵，f 和，分别为用尼s 模型拟合j 和j ，时所引进的误差。 ( 2 ) 将，和_ 1 作线性回归： 玑。f = l 。，b f 。， b = ，口仃d 一 ( 2 一1 1 ) ( 2 1 2 ) 第二章近红外光谱分析的基础理论 式中占一关联系数矩阵 在预测时，由未知光谱矩阵壤知和校正得到的p 柱正求出未知样品z 矩阵 的碾知。然后得到： y 未知= 互。雪q 实际上，p l 5 计算并非如此，p l s 把数据矩阵分解和回归并为一步，即j 矩阵和j ，矩阵的分解是同时进行的，并且将j ，信息引入到z 矩阵分解过程中， 在每计算一个新主成分之前，将j 得分和y 得分进行交换，使得到的工主成 分直接与j ，关联。这就不同于p c r , 在j 分解时并不考虑j ，的影响。 p l s 又分为忍n 和咒5 2 。虽然两种方法差别不大，但所得到的结果有很 大差异。所谓忍晓，和解相似，在校正过程中，j 矩阵分解只给出一个，矩 阵和一个p 矩阵，显然，这样得到的，和p 对个别组分并不是最优化的，在 预测时，对于复杂体系，会降低结果精度；在彪负中，校正得到的丁和p 是 对个别组分进行优化的，即对应于不同的组分，其t 和p 矩阵不同。当被校 正分析样品中所含不同组分在浓度变化上相差很大时，p l s l 预测结果普遍优 于其它方法。 与其他回归方法相比，偏最 b - - 乘回归法具有以下特点： ( 1 ) 变量之间的相关性总是不可避免的存在，这对准确的校正模型的建 立十分不利，使模型误差增大。偏最小二乘回归法对数据信息进行了筛选分 解，提取了能够对样品进行解释的综合变量即主成分，剔除了干扰，从而克 服了多变量多重相关性在系统建模中的不良影响。 ( 2 ) p l s 可以实现多种数据分析方法的综合应用，它将建模预测分析方 法与非模型式的数据内涵分析方法有机她结合起来，在一个算法下，可以同 时实现回归建模、数据结构简化( 主成分分析) 以及两组变量问的相关性分 析，这给多维复杂系统的分析带来了极大的方便。 ( 3 ) p l s 方法建模过程经济、方便，解决了在小样本情况下的建模问题。 ( 4 ) 校正集比较大时，运算时间可能会比较长。但是随着计算机计算速 度越来越快，这些问题已不再成为问题了。 2 5 多变量校正模型的评价体系h 1 本文涉及到的模型评价体系主要有以下几个指标： 1 2 第二章近红外光谱分析的基础理论 2 5 1 残差：( e ) p = y y ( 2 1 3 ) 式中：y ：通过光谱测量及数学模型预测的结果 y ：用标准方法测定的参考值； 残差物理意义明确，简单易懂，是评价模型的重要指标。最理想的结果 是对于一组样品，他们的残差一部分为正值，一部分为负值，残差分布在零 点上下，服从正态分布。 2 5 2 相关系数：( r ) 相关系数表征的是预测量和参考值之间的相关度，用公式表示为： r = 孵 ( 2 - 1 4 ) 式中：y ：通过光谱测量及数学模型预测的结果 y ：用标准方法测定的参考值； 歹：y ，的平均值 r o 表明两者正相关，r o 表明二者副相关。r 的绝对值越接近1 表明两 者之间的线性度越好。 2 5 3 预测集样本的标准偏差( 均方根预测误差r m s e p ) 式中：n 表示建模用的样品数 p , m s e p 越小表明模型效果越好。 ( 2 1 5 ) 第二章近红外光谱分析的基础理论 2 6 本章小节 近红外光谱测量技术作为一个复杂体系主要包括光谱学、化学计量学、 计算机应用科学等学科。本章从这三方面着手，分别予以阐述。 分子光谱学本身也是一个非常庞大的知识体系，本章从基础理论入手定 性解释了红外光谱是如何产生的。对近红外光谱测量技术的基础理论朗伯一 比尔定律做了详细阐述，对适用于漫反射光谱的k m 方程给出了基本形式， 在下一章基于需要将会介绍其推导过程。对近红外光谱技术的核心部分多元 校正方法分别介绍了多元线性回归、主成分回归、偏最小二乘回归，并对三 种方法的优缺点及相互关系做了说明。最后介绍了校正模型的评价体系。 1 4 第三章近红外光谱复合测量系统的研究 第三章近红外光谱复合测量法在模型优化中的研究 3 1 概述 由于近红外光自身及近红外光谱产生过程具有许多独有的特点，表现在 样品光谱的获取方式上为可以应用近红外透射( n e a ri n f r a r e d t r a n s m i t t a n c e ) 和近红外反射( n e a ri n f r a r e dr e f l e c t a n c e ) 测量技术很 方便的获得各种物态相应的光谱。近红外透射分析一般适用于均匀透明的真 溶液或固体样品，测量得到的光谱符合朗伯一比尔定律。若样品为一个乳液 体系，样品中的乳液颗粒对光产生散射效应，光的走向和光程都不确定，则 把这种测量分析方法称为漫透射分析。近红外分析中的反射光谱主要是漫反 射测量分析技术，一般应用于固体或者半固体样品分析。 在应用近红外光谱技术测定牛奶中成分浓度时，无论是在文献资料中还 是在我们的研究中，光谱的采集基本采用的都是漫反射或透射。”两种测量方 式。由于牛奶的化学成分极其复杂，各个成分对于透射光谱和漫反射光谱的 贡献存在很大差异，即携带各种成分的信息量的多少差别很大，而这是对样 品光谱进行定量处理并建模校正模型、对预测集进行预测的关键所在。在我 们的研究中也可以看出，用透射方法和漫反射方法对牛奶中的脂肪进行测定 时其结果就存在明显差距。因此，只用一种测量方法不可能同时满足准确测 定各种牛奶成分的目的。 在这种情况下，如何利用现有条件，在透射和漫反射测量两种方法中取 长补短，在得到更多信息同时又能尽量消除干扰，就成了问题的关键所在。 本章着眼于牛奶中脂肪和蛋白质的物理化学性质，参考近红外光在牛奶中的 散射特性与吸收特性，得出了两种测量方法分别适合于脂肪和蛋白质的测量， 并在实验中加以了验证。然后从理论的角度论述了将透射光谱和漫反射光谱 相结合的复合光谱法的可行性，实验表明，复合光谱法在获得信息的同时并 未引入太多噪声，提高了建模精度。 3 2 牛奶的物理化学特性及传统测量方法的理论依据 第三章近红外光谱复合测量系统的研究 3 2 1 牛奶的物理化学特性“ 牛奶的化学成分很复杂，它是一种具有胶体特性的生物学液体，是多种 成分的混合物。在牛奶中至少有1 0 0 种化学成分，但主要是由水、脂肪、蛋 白、乳糖、固形物等所组成。本文中所关心的牛奶的主要化学成分含量为： 水分8 7 5 8 7 6 其中：脂肪3 4 3 ，8 蛋白质3 3 3 5 许多成分在牛奶中并不是都呈真正溶液状态存在，除了其中所含的乳糖 和部分可溶性盐类能够形成真正溶液状态外，蛋白质和不溶性盐类形成胶体 粒子形式悬浮于牛奶中，脂肪则形成乳浊液状态存在于牛奶中。所以说，牛 奶是由这三种体系构成的悬浮状态和乳浊状态的胶体性液体。其中脂肪、蛋 白这两个指标是决定牛奶质量的核心指标，因此，本文的研究主要是针对牛 奶中脂肪和蛋白质含量的定量检测。 ( 1 ) 脂肪 牛奶中的脂肪主要是被包含在细小的球形或椭圆形脂肪球中，脂肪球的大 小依乳牛品种、个体牛的健康状况、疾病、饲料、饲养与放牧条件以及挤奶 情况等因素的变化而不同。未经加工的原奶其乳脂肪球的直径在o 1 1 0 # m ( 平均在3 脚) ，大部分在4 t m 以下。原奶在放置一段时间后会分层，这是因 为脂肪球上浮的缘故。脂肪球的上浮速度与脂肪 球的直径成正比：脂肪球越大，上浮就越快。因 旨件7h7 此，生产中需将牛奶进行均质处理，使脂肪球直甲一q c 、 、 径变小( 直径接近，这样即使牛奶长期 “￥u 释! l a l l 2 t m ) o 放置保存也不会出现分层。峄一。一c i 罕上 牛奶中的脂肪其9 7 9 8 是由3 个脂肪酸 1 ： 与甘油形成的脂类。其他的甘油脂、硬脂酸、磷 去一。一3 、! 吣h 脂、游离脂肪酸等仅占很少部分。图3 1 为乳脂t r 肪的分子结构图，脂肪分子的基团主要为羧基中 c ：0 键和脂肪酸分子链中的饱和c h 键、一 图3 - 1 脂肪分子结构图 c h 2 等化学键。 ( 2 ) 蛋白质 牛奶中的含氮物质除游离氨基酸、尿素、肌酸、嘌呤等非蛋白态氮外， 9 5 是蛋白质。蛋白质主要包括酪蛋白、乳清蛋白及少量的脂肪球膜蛋白质， 是牛奶中的主要营养成分，含有人体必须的氨基酸。其中酪蛋白占了牛奶蛋 1 6 第三章近红外光谱复合测量系统的研究 牛乳中的蛋白质呈亚微细粒及次微胶粒状态存在于胶体悬浮液中，微粒 直径约为0 0 0 5 0 3 # m 。 图3 - - 2 为乳蛋白质的分子结 n酽 h0 构图，由图中可以看出，蛋 i i l 。i + _，i i 篓黧烹黧r 翥h f 八彳二 子通过肽键结合而成的长链 壶| = l o ” 静 h 性主要体现为蛋白质特征结 图3 - 2 蛋白质分子结构图 构肽键( c o n h ) 及其和肽键相关基团的吸收。 牛奶作为多种物质组成的复杂分散体系，其中包含真溶液、高分子溶液、 胶体悬浮液、乳浊液及其过渡状态的分散体系。其中： ( 1 ) 牛奶中的乳糖、水溶性盐类、水溶性维生素等呈分子或离子态分散于牛 奶中，形成真溶液，其微粒直径小于或接近i n m ； ( 2 ) 乳白蛋白和乳球蛋白呈大分子态分散于牛奶中，形成典型的高分子溶液， 其微粒直径约为1 5 5 0 n m ； ( 3 ) 酪蛋白在牛奶中形成酪蛋白酸钙一磷酸钙复合体胶粒，从其结构、性质 及分散度来看，它处于一种过渡状态，一般把它列入胶体悬浮液的范畴， 胶粒直径约为3 0 8 0 0 n m ，平均为l o o n m ； ( 4 ) 乳脂肪以脂肪球的形式分散于牛奶中，形成乳浊液，脂肪球直径约为 1 0 0 1 0 0 0 0 n m 。 因此，对牛奶的测量，可以考虑采用以下两种测量方式：透射测量和漫 反射测量。 需要说明的是，微粒的大小会影响我们的测量结果，因此牛奶的均质处 理很重要。 3 2 2 透射法和漫反射法的理论依据 ( 1 ) 透射法 透射分析法的理论依据就是朗伯一比尔定律，在第二章已做过详细阐述， 在此不再做叙述，我们只给出公式的变形形式为： 1 7 第三章近红外光谱复合测量系统的研究 4 乩导：厶 。智 ( 3 - 1 ) 其中： 西。：为入射辐射强度 o 。：为透过辐射强度 a ：吸光度 占：吸光系数 b ：样品池厚度 c ：样品浓度 ( 2 ) 漫反射法： 为了与透射法相区别，我们引入几个漫反射光谱参数，k 为漫反射物质的 吸光系数，其含义与透射光谱的吸光系数相当，主要取决于样品的化学组成； s 为散射系数，表示由于样品对光的散射，反映光在样品中经过单位光程后的 衰减程度；r 为漫反射率，反映出射光与入射光的比率。 r 与k 、s 之间的关系可由式3 2 表示， 疋：+ 了k 一 ( 菩) 2 + z ( 匐 “2 。一：， 式中，屯样品厚度无穷大时的绝对漫反射率 由于疋不易测定，实际应用中测定相对漫反射率，即以一个在近红外区 域不吸收的材料做参比，如b a s 0 4 ，参比材料的或：1 ，k z o ，可得到代测样 品厚度无穷大时的相对漫反射率& 。 ” 耻嫠小铷孙( 玎 s ， 在漫反射分析中，只有在一定的浓度范围内吸光系数k 才与样品的组分 浓度成线性关系，而比则与样品样品中的组分浓度不成线性关系。与组分浓 度成线性关系的漫反射函数有两种，即反射吸光度a 和k u b e l k a 一n k ( k - m ) 函数。 反射吸光度a 的定义与透射吸光度相似，定义见公式( 3 - 4 ) 。 矧。g ( 手地卜争陶k2 + 2 晦k ) l ，2 。4 第三章近红外光谱复合测量系统的研究 由公式( 3 - 3 ) 可以看出，漫反射体的反射吸光度a 与k s 的关系为一对 数曲线。由数学知识可知，在一定的k s 范围内，a 与k s 可近似的用直线关 系代替曲线关系，见公式( 3 - 5 ) 4 ：口+ 6 墨 s ( 3 - 5 ) 由于k 和c 在一定浓度范围内有线性关系，当散射系数s 不变时，漫反 射吸光度a 与样品浓度的关系可表示为： a = 4 4 - b c ( 3 6 ) 显然，漫反射吸光度与朗伯比尔定律中的吸光度不同，式( 3 - 6 ) 中的 浓度范围较窄，且成立的条件是散射系数s 相同。 将式( 3 4 ) 变形，得到k s 和r 。间的关系式： k 0 一r 。) 2 s 2 r 。 ( 3 - 7 ) 将式( 3 7 ) 等号右侧定义为一个函数，我们将其称为k m 函数： f 蜘等= 冬 ( 3 - 8 ) 由式( 3 - 8 ) 可以看出，当样品的散射系数为一常数时，k - m 函数与吸收 系数k 成正比，亦即与样品浓度成正比，k m 函数与浓度的关系可表示为： f 仳) = k s =