（生物物理学专业论文）近红外仪器能量变化对模型的影响及osc算法的应用.pdf

摘要 近红外技术结合多元回归方法已经广泛应用于许多行业的物质相关成分含量的测定。近红外 光谱不但包含着物质成分信息，而且这些信息完全掩盖在众多复杂背景当中( 包括光散射、背景 噪声以及背景漂移) 。近红外光谱本身也容易受样品的形状、大小、颜色和仪器状态等参数的影 响，其中仪器能量变化是一个重要影响参数。本文第一部分以玉米粉术样品，用漫反射法测定玉 米粗蛋白含量，研究了近红外仪器能量变化对分析模型预测效果的影响。结果表明，随着仪器能 量降低模型相对标准偏差( r s d ) 有增大趋势，仪器相对能量从1 0 0 衰减到1 8 后，模型预 测值r s d 从2 5 增至47 2 。不同能量下的预测值与化学值相关直线的t 检验( a = o 0 5 ) 表明 各相关直线均无显著性差异；模型预测值的方差分析( a = o 0 5 ) 表明仪器能量变化并不会使未 知样品预测值产生显著性差异。由于装样误差在模型整体误差中所占比重较大，所阱严格控制装 样在漫反射近红外分析中仍是一个值得注意的问题。 基于正交信号投影分解的正交信号校, v ( o s c ) 方法，是近年来在化学计量学领域中提出的一 种全新数据预处理方法。o s c 校正法在对原始数据进行滤波时，可确保滤除的信息与待测信息f 浓 度等) 无关，因而优于传统的数据处理方法。本文第二部分考察了o s c 校正算法应用于烟草粉末 样品和液体撵晶模型的预测效果。结果表明在保证模型预测能力的同时，o s c 校正法极强的滤波 能力降低模型的复杂度，也即烟草烟碱模型主因子数从7 减少为3 ，烟草总糖模型主因子数从6 减少为3 ，四元混合体系液体样品中甲苯预测模型主因子数从4 减少为3 。o s c 算法对于粉末状 及其成分比较复杂的样品的分析表明其更具校正优势：而对丁简单样品体系( 如手 ：配制的纯化 学品旅体) 的含量分析，其校正能力不明显。 关键词：近红外傅立叶变换仪器，定量分析，偏最小二乘法，正交信号校正 i f a b s t r a c t t h e a p p l i c a t i o no f n e a r - i n f r a r e d ( n i r ) s p e c t r o s c o p yf o re s t i m a t i n gt h ev a r i o u sp r o p e r t i e si n s a m p l e sh a sb e c o m ew i d e s p r e a dw i t ht h eu s eo f m u l t i v a r i a t ec a l i b r a t i o n w i t hn i r s p e c t r a , t h e a n a l y t i c a li n f o r m a t i o ni sc o n t a i n e di ns m a l ls p e c t r a lv a r i a t i o n sa n du s u a l l yd o m i n a t e d b y t h ef e a t u r e s s u c ha sl i g h ts c a t t e r i n g ，b a c k g r o u n dn o i s ea n d b a s e l i n ed r i f t n i rs p e c t r aa r ea l s oa f f e c t e d b ym a n v f a c t o r sf r e q u e n t l y ，s u c ha sm a t e r i a ls h a p e ，s i z e ，c o l o r ，a n di n s t r u m e n ts t a t u s t h ei n s t r u m e n t ，s e n e r g yi s af a c t o rt h a tw i l la f f e c tt h es p e c t r a i nt h ef i r s tp a r to f t h i st h e s i s ，t h ee f f e c to f n i r i n s t r u m e n t se n e r g y l e v e lo nt h em o d e l p r e d i c t i v ep o w e r w 8 5s t u d i e dw i t hm a i z e s a n l p l e 5 3m a i z es t a n d a r ds a m p l e sd i f f u s e r e f l e c t a n c es p e c t r aw e r ec o l l e c t e df r o m4 0 0 0 c m 1 0 0 0 0 c m 一1a t8c m r e s o l u t i o no np e r k i n e l m e r s p e c t r u mo n en t s n e a r - i n f r a r e di n s t r u m e n ta td i f f e r e n te n e r g yl e v e l 3s a m p l e sw e r es c a n n e d1 0t i m e s r e p e a t e d l ya t1 0 0 ，7 6 a n d3 4 e n e r g yl e v e lf o re n e r g yv a r i a n c ea n a l y s i s ，r e s u l t ss h o wt h a tr e l a t i v e s t a n d a r dd e v i a t i o n ( r s d ) o f p r e d i c t i o nv a l u ew i l lb e c o m e l a r g e rf r o m2 5 t o4 7 2 w i t he n e r g y d e c r e a s i n g f o r m1 0 0 t o1 8 i t i sd e m o n s t r a t e d t h a te n e r g y w i l l n o ts i g n i f i c a n t l y a 能c t p r e d i c t i v e p o w e rb ya n a l y s i so f v a r i a n c e ，b e c a u s e3s a m p l e sf - v a l u ei s1 6 2 ，3 0 2a n d2 2 3t h a ta l ll e s st h a nc r i t i c a l v a l u ef 00 5 = 3 3 5 a tt h es a m e t i m e ，i ti ss u g g e s t e dt h a th o wt ol o a ds a m p l e si ss t i l la ni m p o r t a n ti s s u ei n n i rd i f f u s er e f l e c t a n c e a n a l y s i s 。 o r t h o g o n a ls i g n a lc o r r e c t i o n ( o s c ) i sp r o v i d e dan o v e ls p e c t r a lp r e - p r o c e s s i n gm e t h o di nr e c e n t y e a r s ，w h i c hi sb a s e do n t h eo r t h o g o n a lp r o j e c t i o n t h i sp m - p r o c e s s i n gm e t h o dn o t o n l yr e m o v e sn o i s e f r o mt h es p e c t r u m ，b u ta l s of i l t e r st h ei r r e l e v a n ti n f o r m a t i o nf r o m r e s p o n s em a t r i x i nt h es e c o n dp a r to f t h i st h e s i s ，t h en i c o t i n ea n d t o t a l - s u g a rc o n t e n to f t o b a c c oa n d b e n z e n e m e t h y l b e n z e n e c y c l o h e x a n e c c l 4 s o l u t i o ns y s t e mw a sc o r r e c t e d b y o s cc o m b i n e dw i t hp l s i ti ss h o w nt h a tr e g r e s s i o nm o d e l sa r ef e w e rl a t e n tv a r i a b l e sa n dm o r es t a b l eb y u s i n go s c m e t h o d ，t h e n u m b e ro f l a t e n tv a r i a b l e so f n i c o t i n em o d e li sr e d u c e df r o m7t o3 ：a n dt h en u m b e ro f l a t a n tv a r i a b l e s t o t a l - s u g a ri sr e d u c e d f r o m6t o3 a tt h es a m e t i m e ，w ea l s of o u n dt h a to s ci sm o r ee x c e l l e n tw h e ni t i sa p p l i e do n c o m p l e xp o w d e rs y s t e m t h a ns i m p l es y s t e m k e yw o r d s ：f o u r i e r - t r a n s f o r mn e a ri n f r a r e ds p e c t r o m e t e r , q u a n t i t a t i v ea n a l y s i s ，p a r t i a ll e a s ts q u a r e s r e g r e s s i o n ，o r t h o g o n a ls i g n a lc o r r e c t i o n 独创性声明 6 5 9 3 4 5 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名 张明娣 l 时间：御 年占月叫目 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、 传播学位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名： 娠锾硌 时间：冽年石月叫日 时间：础 年莎月纠日 1 1 国内外研究现状 第一章引言 随着生产不断发展和扩大，在烟草、食品生产等许多行业提出了分析精度高分析速度快的耍 求，而传统的分析方法费时耗力，并且雉以进行实时控制，严重影响生产速度，已经很难适应火 生产过程的需要。因此在许多分析领域，抛弃传统的费时耗力的传统分析方法。而引入成本低、 速度快的分析方法是所有分析人员所梦寐以求的事情。在过去的十几年里，随着统计学、数学、 计算机以及光电技术的飞速发展，使得一部分化学分析简单、快速、低耗的愿望变成了现实，近 红外分析即是其中之一。 根据a s t m ( a m e d c a ns o c i e t yf o rt e s t i n ga n dm a t e r i a l s ) 的定义，近红外谱区是指位于可见谱 区与中红外谱区之间的段电磁波，即介于7 8 0 n m 一2 5 2 6 n m ( 1 2 8 2 0c m 3 9 5 9 e m l ) 的光谱区。 近红外光谱的信息主要来源于含氢基团( 如c - h 、o h 、n h 等) 的倍频( o v e ft o n e s ) 振动和合频 ( c o m b i n a t i o nt o n e s ) 振动的吸收，由于大部分有机物均有吉氢基团，因此依据所测定的负载了含氢 基团信息的近红外光谱则就可用于物质定性、定量分析。 早在1 8 0 0 年人们就发现了近红外光谱区，但是由于近红外区的倍频和合频吸收弱、谱带复 杂和吸收峰重叠，背景容易变动等特点使得光谱中有效信息无法分离和解析，不像可见光区及中 红外光区那样意义明确，限制了近红外在分析化学中的应用。直到上个世纪六十年代，化学计量 学先驱k a r ln o r r i s 教授等人在深入研究近红外光学性质时首先将近红外技术和多波长多元校正 技术相结合，将其应用于谷物水分、蛋白和脂肪含量分析上，并获得了很好的分析结果，才真正 意义上宣布了n i r 光谱用于常规分析的实用价值。 多元统计分析的引入了让人们重新认识了近红外光谱分析的优势，而后又因美国农业部研究 部门的大力推广与专用仪器的电脑化使其在农业与食品分析上崭露头角。八十年代末期，由于光 电科学与电脑技术突飞猛进，配合新兴的化学计量学方法。使近红外光谱分析成为农产品检测领 域中的宠儿。近红外是随着化学计量学( 统计学、数学和计算机科学有机结合) 的发展而一同发 展起来的，随着计算机的普及与化学计量学的发展，近红外光谱分析逐渐成为一项重要的现代光 谱分析技术在农业t 2 1 1 3 】【4 】、烟草1 5 1 1 6 1 1 7 1 1 8 1 、生物学f 9 】【医药学m m l 、石化“1 1 1 ”、轻工f 1 6 1 1 。7 胂1 、 食品f ”i 、环保【“i 、饲料【2 2 】【2 3 i 等方面得到广泛应_ | = j ，并在质量控制中发挥着重要作用。现已成 为美国谷物化学协会( a a c c ) 、公职分析化学工作者协会c a o a c ) 、国际谷物科技协会o c t ) 等机 构的标准测试分析方法。 近红外光谱国际联合会( t h ei n t e r n a t i o n a lc o u n c i lf o rn e a ri n f r a r e ds p e c t r o s c o p y ：i c n i r s ) 和北 美国际组织联合会( c n i r s ) 定期举行近红外会议。在过去的几年里，p i l t c o n 、f a c s s 和e a s 已举 行了关于近红外光谱的专门会议。目前，英国两个刊物专门刊登近红外方面的研究工作：n e a ri r n e w s 和j o u r n a lo f n e a ri n f r a r e ds p e c t r o s c o p y ：美国a n a l y t i c a lc h e m i s t r y ，a p p l i e ds p e c t r o s c o p y 和 a p p l i e ds p e c t r o s c o p yr e v i e w s ，以及国内众多化学类期刊中。经常发表关于近红外方法的论文及 评论，成为分析化学中一项非常重要的热分析技术。国内陆婉珍院十等人也为促进近红外分析 在国内的应用与发展，出版了近红外光谱学与光谱应用专著q 虽然现代近红外光谱分析在各个行业得到广泛应用，但是也不可忽视其固有的弱点。一是测 试灵敏度相对较低，这主要是因为近红外光谱作为分子振动的非谐频吸收跃迁儿率较低，一般近 红外倍频和合频的谱带强度是其基频吸收的1 0 - - 1 0 0 分之一，就对组分的分析而言，其含量一般 应大于0 1 ；二是近红外分析是一种间接分析技术，方法所依赖的模型必须事先用标准方法或参 考方法对一定范围内的代表性样品测定出其组成或性质数据，然后依据现代化学计量学方法才能 建立起可靠的数学模型。 现代化学计量学已经建立起了许多可靠的数据分析方法，例如定量分析中常用的偏最小二乘 法( p l s ) 、主成分回归法( p c r ) ：定性分析中的常用主成分分析( p c a ) 、判别分析、聚类分析 等方法。 1 2 研究目的和意义 由于近红外分析光谱区信噪比( s n ) 低，在光谱中往往携带着随机噪音及仪器的系统偏著 ( 统称为广义噪声) ，关于噪声大小对近红外光谱校正模型的影响，m c c l u r e 等做了较细致的研 究，认为随光谱信号中叠加噪音水平的增加，会使得模型精度变差口。从人为主观意识也可以估 计到。噪声及系统偏差很自然的将影响模型预测能力。 严衍禄等人曾对傅立叶变换近红外漫反射光谱测量误差做过研究，认为采取适当的软硬件措 施，可以对光谱进行很好的校正，从而把广义噪声降到最低限，这对光谱的定量分析有十分重要 的意义，并规范化了谷物粗蛋白测定方法“。；f i f o 林等人曾研究了傅立叶漫反射光谱分析仪参 数( 能量、分辨率) 的确定，规范制样、装样和仪器条件后可以提高蛋白的检测限1 2 6 3 。近红外光 谱定量分析结果的可靠性取决于原始数据准确性( 即采集光谱和化学值测定的可靠性) 以及近 红外分析模型的适应性。光谱数据是否准确则完全依赖于分析仪器的稳定性；分析模型建立之后， 将会在段时间内使用，则将要求模型具有适应较长期分析的适应性，所以仪器稳定性和模型适 应性一直是近红外分析者关注的焦点。近红外光谱在采集的时候伴随着许多可调整参数，这些参 数都会对光谱造成一定影响，赵丽丽等人最近也研究过不同分辨率和激光频率的变化对近红外数 学模型的影响【2 7 】。研究结果表明：以4c m 一，8c m ，1 6c m - 1 的分辨率扫描样品或当激光频 率改变幅度在l c m l 以内时对小麦蛋白模型的影响不显著，样品粒度对模型影响较大，指出对于 烟草小麦粉末样品以8c m l 分辨率扫描样品为宜。扫描粉末样品时在保持样品粒度一致的基础上 应侵粉末过4 0 目以上的筛子。近红外漫反射分析中另外一个不可忽视的问题仪器能量变化使得 光谱发生的微小变化，这些变化也将会带入模型预测计算误差当中使得预测结果发生变化，影 响模型跃期使用稳定性。 仪器能量变化有以下几个原因：一是随着仪器欧期使用，近红外光源老化后能量下降：二是 检测器性能的下降，从获取的光谱上观察与能量衰减时的表现相似；以及其他因素如更换部件、 仪器移动等原因造成能量发生变化。有人在九十年代初研究过反射式傅立叶光谱仪能量变化时对 光谱质量产生的影响但没有分析能量变化将会对一个特定数学模型预测结果产生的影响。 另外系统误差及随机噪声在近红外测量中不可避免，如何正确估计噪声对模型所带来的影 2 响，并找出如何减少这些广义噪声影响的算法，成为一个积极研究的课题。复杂光谱中所携带的 丰富信息，如何从所获取到的光谱中提取到最有效的信息并加以建模利用，一方面可以提高光谱 质量：另一方面也可以减少模型预测误差，增强模型稳定性。传统的校正方法有平滑滤波、导数 法、多元散射校正法( m s c ) 等，这些方法在对原始光谱进行校正的时候并没有考虑到光谱与样 品化学成分含量之间的关系，而仅仅是对光谱本身进行了一些校正，虽然这些方法在许多文献和 实践中得到了充分肯定，而且成为近红外分析方法中一种实用技术，在许多成熟的化学计量学软 件中也得到广。泛集成，成为化学计量学分析工作者在处理数据之前的必须进行的一步工作。但是 由于光谱是直接与样品的化学组成及含量有关的，在包含广义背景的光谱中蕴含了物质的信息， 正交信号校正( o s c ) 算法是w o l d 等人近些年来提出的一种在模型校正之前的一种滤波( f i l t e r ) 技术，这种算法在滤波的同时，充分考虑了光谱与样品化学组成之间的关系。 o s c 算法较新颖，在国外的一些文献中也体现出了它的优势，不论从理论上还是实践上，都 有重要的意义。但是这种算法在国内还没有得到广泛重视，应用得也很少。 本文拟就两个方面考察近红外分析中存在着的两个问题：( 1 ) 仪器能量变化对模型预测能力 的影响；( 2 ) o s c 算法的引入，推广o s c 算法在国内化学计量学中的应用，特别是近红外分析 当中应月j 。 1 3 研究方法和内容 漫反射检测器所检测到分析光为样品经过多次反射，折射，衍射及吸收后返回的光所以凡 是能够影响这些光学现象的因素都会造成光谱的变化，包括样品的粒径大小、分布、外观、温度、 湿度、能量、基体等等因素，这是造成近红外光谱不稳定的主要原因，从而引起分析上的误差和 麻烦。所以在考察近红外仪器能量变化对模型预测能力影响的时候，必须严格控制其他条件的变 化，在一个相对稳定的环境中，采用玉米粉末样品在不同能量条件下采集光谱，仅仅改变仪器光 源输出能量单一条件改变，用其中一套样品光谱建立数学模型来预测其他光谱，比较其预测差异， 考察模型的稳定性。 考察粉末样品在能量变化条件下近红外光谱变化，同样要严格控制其他外界条件的变化和装 样差异，所以将样品密封在一个小样品池中，使得每次光谱采集的时候不需要再次考虑装样存在 的误差，从而只需要考察样品光谱仅在仪器能角：变化条件下的差异。 对烟草粉末样品和手工配比液体样品，应用o s c 算法，对样品光谱进行预处理后，建立起 相应的数学模型。考察o s c 算法的滤波能力，并与其他滤波算法建立的模型进行比较。为o s c 算法推广提供参考意见。 ! ! ! ! ! ! ! ! ! ! ! g ! ! ! s ! ! s ! ! ! ! ! ! ! s ! ! ! ! s s ! ! ! ! ! ! ! s ! ! ! ! !二：= = 第二章理论基础 2 1 近红外光谱学基础 2 1 1 近红外光谱信息和信号特点 在近红外分析当中，对于液体样品常用透射法。对丁嘲体或者粉末样品，则常用漫反射法进 行测定。基于对粉末样品的光漫反射技术( 简称d r s 光谱) ，可应闳于紫外( u v ) ，可见( v i s ) 和近红外( n i r ) 光谱区。已有很多前人已对这种漫反射机理进行了详细研究。入射光照射到样 品后，入射光部分被吸收、部分被散射。被样品所反射的散射光经积分球检测器收集就得到了负 载有用信息的分析光。如图1 所示： x x lf i ll j + j l + 【ltj 图2 - l 漫反射光谱示意图 f i g 2 - ls c h e m a t i cr e p r e s e n t a t i o no f d i f t h s er e f l e c t a n c es p e c t r u m ( 图中i 为入射光j 为反射光l 为入射光增量，a j n 反射光增量) 对于n i r d r s ，固体样品的漫反射吸光度可描述为： 4 ：一l o g 1 + 鱼一 二) ：+ 2 ( 甸，z ( 2 - 1 ) 其中：a 为样品的漫反射吸光度：k 为样品的吸光系数，决定于样品的化学组成；s 为散 射系数，决定于样品的物理特性。当k s 在一定范围内，a 与k s 可用截距不等于零的一条直 线拟合： a = a + b ( k i s ) ( 2 2 ) 另外，也可以采用k u b e l k a - m u n k 函数来描述。 删= 警= 善 c ：m k - - m 理论指出，漫反射率只是k 与s 两个常数的比例函数，而不依赖它们的绝对值大小。 其中r 。称为绝对漫反射率。需要指出注意的是拟合曲线只是在一定浓度范围内a 与c 可成近 中国农业大学硕士学位论文理论摹础 i i i i 似线性关系。 但是由于物质的吸收、散射、漫反射的多样性，以上公式有时候也很难能够完美地诠释所获 得的近红外光谱。 与传统的可见区光谱分析技术不同，近红外光谱分析更多是依靠计算机及软件技术而不是人 为的经验判断和简单计算，近红外光谱分析具有以下特点： ( 1 ) 近红外光谱包含丰富的结构信息，尤其是含h 基团的倍频和组台频信息。在常f 【 ；| 的 4 0 0 0 c m l 1 0 0 0 0 c m - 1 范围内，有含h 基团与其它基团( 如c = o 等) 的组合频和c h 、o h 、n h 等基团一、二二、三倍频振动吸收信息。由7 - 人部分有机物都有这些禽氢基团，所以根据其信息可 以用来进行定性、定量分析； ( 2 ) 光谱谱峰较宽。而且重迭严重。天然有机物与农产品的近红外光谱更是如此。这同样与 含氢基团的多样性有关。 ( 3 ) 信号强度弱，一般一倍频信号强度比基频低一个数量级，这是由跃迁几率决定的。所以 可以进行长光程测量。 ( 4 ) 背景干扰信息强，由于样品一般不经提纯处理，除了分析成分的光谱外，其他干扰成分 的光谱也叠加进去因此近红外分析一般属于多组分分析。 ( 5 ) 光谱易变性，这与测试环境( 如温度、湿度等) 和测试方法( 如制样) 的控制好坏有关，也 与样品本身性状( 如颗粒的几何形状、较度分布等) 有关，通过光谱的预处理可以部分克服光谱 的易变性的影响。 ( 6 ) 近红外分析速度快，可对样品进行无损检测。通过与光导纤维和计算机技术相结合，测 量信号还可以进行远距离传输和分析十分适合原位在线检测。 2 2 常用预处理方法以及化学计量学分析方法 2 2 ，1 常用预处理方法 文中所用符号说明：黑体大写字母表示矩阵，例如x 和y ；小写黑体表示列向量，例如t 和 p ，其相应行向量为t 和p ，；非黑体小写字母均表示数值，如x ；f 标表示索引。 漫反射检测器所检测到的分折光为样品经过多次反射、折射、衍射及吸收后返回的光，所以 凡是能够影响这些光学现象的因素都会造成光谱的变化，包括样品的粒径大小、分布、外观、温 度、湿度、能量、基体等等因素这是造成近红外光谱不稳定的主要原因，从而引起分析上的误 差和麻烦。光谱的变化主要表现在基线的漂移，谱峰相对强度的变化等，如不加处理，同样会影 响校正模型建立的质量和对未知样品预测结果的准确性。 光谱预处理主要目的就是使光谱与化学值之间的线性更加明显，在模型建立之前除去光谱中 所携带的噪声和测量误差，从而得到更好数学模型。增强模型预测效果“”。 噪声消除主要有厢车平均法，移动窗口平均法。其中最常用的是s a v i t z k y - g o l a y 卷积平滑法 5 中国农业人学硕士学位论文理论基础 1 2 9 1 。 基线校正最常用的解决办法是对光谱进行一阶导数或者二阶导数处理，前者主要是解决基线 的偏移，后者则可解决基线的漂移”“。需要注意的是如果考虑噪声的影响，求导以后情况将很复 杂，因为随机噪音般都是高频信号，求导后将会放大噪声信号，反而不利于数据的处理，因此 在对光谱求导之前，必须要求原光谱有较高信噪比。 当分析样品粒径不均匀，或者样品池不一致，造成近红外光谱存在散射问题，常常在不同波 段造成吸收强度发生变化，为使得各个波长处吸光度线性化，提出了多元散射校正( m u l t i p l i c a t i v e s c a t t e rc o r r e c t i o n ，m s c ) 3 1 】【”l 。由于散射的影响会造成光谱的基线漂移和光谱发生旋转变化，所 以对丁 m s c 校正，首先要构造出一条“理想”的光谱作为参考光谱吒，然后将其他光谱相对于这 条参考光谱进行同归校正，校正方法为最小二乘法： x ，女= 口，+ 6 + e ， ( 2 - 3 ) 其中d ，代表了普通基线漂移，b 为光谱增益，这部分与多元散射相关。残差部分就是由于化 学成分的含量不同所包含的信息，所以最后校正光谱形式如下： x 嚣。= ( 工m a 。) 6 ，( 2 - 4 ) 此外还有标准向量归一化( s t a r d a r d n o r m a lv a r i a t e ，s n v ) 1 3 3 1 小波滤波法( w a v e l e t ) 【”1 ， 傅立叶变换法( f o u r i e r t r a n s f o r m a t i o n , f t ) f 3 6 】，去卷积法等等。 2 2 2 偏最, j 、- - 乘法( p l s ) 算法洲3 7 邶胂】 近红外光谱中各成分产生的吸收峰严重重叠，单一波鹾的b e e r 定律将不再适用 分析中一般采用多元线性回归法( m l r ) 。回归模型形式如下： c = b 0 + b 1x a i + b 2x a 2 + + b kx a k 其中 b 。：为吸收常数 b 1 b k ：为第1 至第k 个波长点的回归系数 a l - a k ：为第1 至第k 个波长点的吸收强度值 c ：一批已知样品化学成分含量 因此近红外 ( 2 5 ) 由于近红外光谱中许多波长点存在着很强的相关性。数据中的冗余信息、广义噪声信息使得 普通多元回归变得几乎不可能，解决的办法就是剔除多余变量，仅选择那些最有代表性的波长点 进行分析。选择有效分析波长进行多元回归校正变得尤为重要，其中也提出了一些有代表性的选 择算法h 0 l 。 现在通常使用基于潜变量的分析方法。最为有代表性的应为s w o l d 提出的偏最小二乘法， 该法将校正样品的光谱强度及浓度均用潜变量主成分来表示。p l s 充分利用了强度和浓度矩 阵的信息，同时无需进行任何矩阵求逆，是计算简单而有效的数学处理方法。p l s 是主成分回归 6 中国农业大学硕士学位论文理论基础 ( p c r ) 的发展，在主成分回归方法中，对光谱阵x 进行主成分分析，潜变量进行同归但对于 浓度矩阵y 未加任何处理。事实上，y 矩阵中也包含了非有用信息。p l s 算法同时对浓度y 和 光谱x 矩阵进行主成分分解，并均以潜变量进行回归，迸一步提高了回归模型的可靠性。 偏最小二乘法同帅可以集多元线性同归、典型相关分析和主成分分析的基本功能为一体，将 建模预测类型数据分析方法与非模型式的数据认识性分析方法有机结合起来。p l s 比p c r 更兼 各地考虑了样品光谱数据集和含量数据集之间的内在联系。p l s 主要研究焦点是多因变量对多自 变揖的回归建模。p l s 通过主成分分析使得高维数据降维，去除信号中噪声干扰成分和自变量的 共线性，从很多文献当中可以看出p l s 建模效果优于p c r 和m l r 。p l s 在建模的同时实现了 数据结构的简化，因此，可以在二维平面图上对多维数据的特性进行观察，比如两组变最之间的 相关关系，样品点的相似性结构等等，建模的效果也可以从图形上直观的表现出来，这使得p l s 分析的图形功能十分强人有助于分析工作者交互式的进行建模和修正，而不是盲目地工作。 偏最小二乘法的基本过程可描述为：首先对x 和y 矩阵进行主成分分解，即： x = 7 p + e ，( 2 6 ) r = 十e 。 ( 2 7 ) t 和u 分别称为x 矩阵和y 矩阵的得分( s c o r e ) 矩阵，p 和q 分别称为x 和y 矩阵的载 荷( l o a d i n g ) 矩阵，ey 和e x 分别为拟合x 和y 时所剩余的残差阵。 然后将t 和u 作线性同归b 为关联系数矩阵： u = t b( 2 8 ) 口= r u r ) ( 2 _ 9 ) 在预测时，由来知样品的矩阵z 。h 。和校正得到的p 求出未知样品乙h 。，然后得到： e 。= 乙h 一占q ( 2 一l o ) 实际上p l s 把矩阵分解和回归并为一步，即y 和x 矩阵的分解是同时进行的，并且将x 信息引入到y 矩阵分解过程中，在每计算一个新主成分之前，将y 得分和x 得分进行交换，使 得到y 主成分直接与x 关联。 使用潜变量法建立的模型，第一主成分的信息量贡献最大，相互之间相关程度也最高，第二 主成分次之，其余类推。用主成分来拟合重建光谱，理想化时重建的光谱包含样品的全部光谱信 息而不含任何噪音。如果取的主成分数过少，对重建光谱产生拟合不够，丢掉了样品光谱信息： 取主成分数过多，对重建光谱产生过度拟合，引入噪音。因此，评价模型好坏的一个重要标准是 模型需要多少个主成分数。众多方法较之中，性能最好，也是最常用的是交叉检验( c r o s s v a l i d a t i o n ) 方法。求p r e s s ( p r e d i c t i o ne r r o rs u mo fs q u a r e s ) 判据，它是评价模型预测能力的 一个有效指标，其定义为： h 2 月 p r e s s = c y 。一y 。，) = e 三 ( 2 1 1 ) 忙1i = l 具体做法是：将n 个样本中n 1 个作为训练样本，剩下的一个样本作检验样本。第一次将第 7 中国农业大学硕士学位论文理论基础 一个样本留下作检验样本，用其余的n 一1 个样本建模或确定模型参数，用检验样本代入模型，可 求得第一个估计值，记为y l 第二次再将第二个样本留作检验样本，用其余样本建模将第 二次样本代入模型求得估计值y z ，- 2 ，如此循环f 去，最后可求得n 个估计值，并可求出n 个预 报残差值y i ，一i ，再将这n 个残差值平方求和，即得p r e s s 。p r e s s 越小，表示模型的预测能力 越强。 最小p r e s s 对应的主成分数p 并不是最佳主成分数 计方法来确定最佳主成分数，统计方法如： f “r ) ：p r e s s ( f ) p r e s s ( 厂4 1 往往是造成过度拟合。通常采用f 统 ( 2 1 2 ) 最佳的f 比f * d 、，且满足f ( f ) 5 1 3 i o o o 8 9 0 o 1 0 0 。而在离该峰不远处的 6 0 0 3 e m l 峰尖处，却又呈现出随着光源能量的下降吸光度值整体向f 平移的趋势。在5 9 3 3c m - 1 峰尖处却又出现无规律变化，各个相对能量值水平下吸光度值呈交替变化， 7 1 1 0 0 3 l 8 9 1 5 。 另外，对于化学纯品来说，其由于分子结构简单，形成许多尖锐吸收峰形，当仪器能量变化 时，在这些吸收峰尖处所受到的影响也显得越为明显。而作为可溶性淀粉的一个主要吸收峰6 3 0 0 c n a l 处的宽峰所受到的影响相对要小一些。图3 7 为s 0 6 样品在最低能量测定光谱差减最高能量 测定光谱的所得的差谱图，从图中可以看到两条光谱出现最人差异频数位置为6 1 6 2c m ，6 0 0 2 c m 一，5 9 3 3c m ，4 9 8 8c m ，4 7 1 6c m ，4 4 4 8c m ，4 3 8 1c m ，4 1 4 8c n l 这些峰均为原始 光谱尖锐吸收峰处，说明光谱主要差异主要体现在吸收峰尖处如在6 1 6 2c m l 两条光谱吸光度 差值与最高能量水平下样品吸光度值相比约为2 3 。 c m - 1 图3 - 8s 0 6 # 丙烯酰胺混台物在不同能量水平高频段局部图 f i g 3 - 8a e r y l a m i d eh i g hf r e q u e n c yl o c a ls p e c t r a a td i f f e r e n te n e r g yl e v e l s 中国农业大学硕士学位论文实验部分 08 2 3 o8 0 07 5 07 0 06 5 0 6 0 0 5 8 7 c m - 1 4 3 0 0 4 2 5 73 围3 - 9s 0 6 # 丙烯酰胺混台物在不周能量水平低频段局熟圉 f i g3 - 9 a c r y l a r n i d em i x t u r el o wf r e q u e n c yl o c a ls p e c t r a a td i f f e r e n te n e r g yl e v e l s 另外从图3 8 和图3 9 中可以看出，在相对能量分别为1 5 和3 1 时，光谱基线基本相同，但略 有差异，仪器能量越低，在6 0 0 0 c m _ 1 以上高频波段所带来的噪声也就越大，光谱波动也就越大， 而在6 0 0 0 c m 。以下低频段，却不受能量降低所带来的噪声影响，光谱依然非常平滑，但是波动也 较人导致了一些在高能量卜光谱不存在的噪声出现，这应该归结为能量变化造成较人豹光谱波 动，噪声增大所导致的结果。 表3 1 和表3 - 2 具体比较不同相对能量下光谱的差异，差异大小采用公式 旦 a = y ( 五，一x 2 i ) 2 ( 3 - 1 ) 百“ 作为差异指数表述其数值越大，表示两条光谱之间差异也就越丈，式中j 代表光谱点，l 和2 分别表示两条光谱。其中，表3 - l 为原始光谱差异比较( 采用全谱计算比较) ，表3 - 2 为经过 基线校正之后的差异比较。表中也显示出。相对能量差异越大，则差异指数也就越大，从整体光 谱来看，未经过基线校正之前，相对能量为1 0 0 和相对能量为1 5 下采集的两条光谱之间差异 达到1 0 8 4 2 ，而相