（农业机械化工程专业论文）基于matlab的水质cod近红外光谱预测模型的研究.pdf

中文摘要 近红外光谱分析技术是近年束迅猛发展起来的商新技术，它具有分析速度 快、不破坏样品、操作简单、稳定性好、效率高等特点。近红外光谱技术综合了 物理学、化学计量学、数学和计算机等学科的交叉技术，属于交叉学科。任何含 一h 基团的物质都会在近红外谱区产生吸收，所含信息量极其丰富，但近红外光 谱谱区集中了倍频和合频的信息，大量的信息特征峰在该谱区严重重叠，没有明 显的尖峰，属于弱信息光谱区，利用一般的光谱分析手段无法进行提取，必须结 合化学计量学方法通过计算机才能提取有效的信息。 通过试验的大量数据，找出有机污染物( 含氢基团o h ，c h ，n h ，s h ， p h ) 污染程度与近红外光谱的相关性，建立有机污染物与近红外光谱的定量模 型。为能长时问稳定使用、在线测量有机污染物的近红外传感器的研制、水质状 况实时在线监测系统等作基础性研究。 本论文着重进行了水质化学需氧量( c o d ：c h e m i c a lo x y g e nd e m a n d ) 的近 红外光谱预测模型的研究，预测模型的建立用化学计量学的多元校正分析方法， 即逐步回归分析方法( s m l r ) 、主成分回归分析方法( p c r ) 和偏最小二乘回归分 析方法( p l s ) 。其中逐步回归获得的最好结果是1 5 点平滑处理，其决定系数r 2 为9 5 0 1 ，最佳回归因子数是6 ，校正标准偏差s e e 为1 9 0 3m g 1 ，预测标准 偏差s e p 为1 8 7 2 m g 1 ；主成分回归获得的最好结果是一阶导数处理，当信息贡 献值为9 8 时，其决定系数r 2 为9 7 6 9 ，主成分数是6 ，校正标准偏差s e e 为 1 2 2 6m g 1 ，预测标准偏差s e p 为1 8 7 2 m g 1 ；偏最小二乘回归获得的最好结果 是基线校正处理，其决定系数r 2 为9 9 4 2 ，最佳回归因子数是5 ，校正标准偏 差s e c 为8 9 3m g 1 ，预测标准偏差s e p 为7 5 6 m g 1 。 通过上述三种多元校正分析方法处理的结果，我们看到偏最小二乘回归算法 最优，其次为主成分回归，最后才是逐步回归。各种预处理方法中，要看具体的 算法和分析的问题，在具体应用过程中应尽可能尝试多种数学方法，以便找到适 合于该特定应用的最佳预处理方法。 本论文还开发了v b 与m a t l a b 混合编程的工程计算软件系统。充分利用 m a t l a b 的运算功能和v b 的开发界面方便的特点进行混合编程，方便用户使用， 其开发研究具有实际意义。 关键词：近红外光谱，水质c o d ，数学模型，预处理 a b s t r a c t t h en e a r - i n f r a r e d ( n i r ) s p e c t r u ma n a l y s i st e c h n i q u ei sah i g h - t e c h ， w h i c hi sd e v e l o p e df a s ti nr e c e n ty e a r s 。t h ea n a l y s i ss p e e di sf a s t i t d o e s n td e s t r o yt h es a m p l e s 砀eo p e r a t i o ni ss i m p l e 强es t a b i l i t yi sg o o d i ti sh i 曲e f f i c i e n t i t s y n t h e s i z e d t h e p h y s i c s ，c h e m o m e r i t i c s ， m a t h e m a t i c sa n dc o m p u t e rs c i e n c e ，e t c i tb e l o n g st ot h ec r o s st e c h n i q u e s a l lm a t e r i a l sw i t h hg r o u pw i l ih a v et h ea b s o r p t i o ni nt h en e a r - i n f r a r e d s p e c t r a lr e g i o n i tc o n t a i n sv a s ta m o u n to fi n f o r m a t i o n i tc o n c e n t r a t e st h e i n f o r m a t i o no fo v e r t o n ea r e aa n dc o m b i n a t i o n sa r e a l a r g ea m o u n to f i n f o r m a t i o nf e a t u r ep e a ki so v e r l a p p e ds e r i o u s l y t h e r ei sn oo b v i o u s p e a k s oi tb e l o n g st ot h ew e a ks p e c t r u mi n f o r m a t i o n u s i n gt h eg e n e r a l s p e c t r u ma n a l y s i sm e a n s w ec a n ts o r to u ta v a i l a b l ei n f o r m a t i o nf r o m t h es p e c t r u m s ow es h o u l du s et h ew a yo fc o m p u t e ra n dt h e c h e m o m e r i t i c s a c c o r d i n gt ot h ee x p e r i m e n td a t a w ef o u n dt h ec o r r e l a t i o nb e t w e e n t h ep o l l u t i o nd e g r e eo fs o m eo r g a n i cc o n t a m i n a t i o n s ( 一hg r o u p o h ，c h ， n h ，s h ，p h ) a n dt h en e a r - i n f r a r e ds p e c t r u m a n df o r m e dt h e i rq u a n t a t i v e m o d e l a 1 1t h e s em a d eap r e p a r a t i o nf o rt 1 1 ef u r t h e r s t u d yo ft h e n e a r - i n f r a r e d s p e c t r u m t r a n s d u c e rw h i c hc a nm e a s u r eo r g a n i c c o n t a m i n a t i o n so n l i n e a n dt h er e s e a r c ho fo n 1 i n es y s t e mw h i c hi n s p e c t t h ew a t e rq u a l i t yc o d sr e a l t i m es i t u a t i o n t h ed i s s e r t a t i o ne m p h a s i z e do ns t u d y i n gt h ep r e d i c t i n gm o d e lo ft h e n e a r - i n f r a r e ds p e c t r u mo fw a t e rq u a l i t yc o d bu s e dm u l t i p l ev a r i a b l e a n a l y s i sm e t h o dt of o r mt h em o d e l s u c ha ss t e p w i s el i n e a rr e g r e s s i o n ( s m l r ) ，p i n c i p a lc o m p o n e n tr e g r e s s i o n ( p e r ) a n d p a r t i a ll e a s t s q u a r e s ( p l s ) t h e b e s tr e s u l to fs t e p w i s e r e g r e s s i o n i s15 p o i n t s s m o o t h t h ed e t e r m i n a t i o nc o e f f i c i e n t ( r 一) i s9 5 0 1p e c e n t ，t h en u m b e ro f b e s tr e g r e s s i o nf a c t o ri s6 ，s t a n d a r de r r o rc a l i b r a t i o n ( s e e ) i s19 0 3m 1 ， s t a n d a r de r r o rp r e d i c t i o n ( s e p ) i s1 8 7 2 m g 1 t h eb e s tr e s u l to fp c ri s 坊ef i r s td e r i v a t i v em e a n 晒e nt h ec o n t r i b u t i o ni s9 8p e r c e n t t h e d e t e r m i n a t i o ne o e f f i c i e n t ( r i s9 7 6 9p e r c e n t ，t h en u m b e ro fp r i n c i p a l c o m p o n e n ti s6 ，t h es e ci s12 2 6m e 1 ，t h es e p i sl8 7 2m e 9 1 t h eb e s t r e s u l to fp l si sb a s e l i n ec o v a r i a t i o nm e a n t h ed e t e r m i n a t i o nc o e f f i c i e n t ( r 2 ) i s9 9 4 2p e r c e n t ，t h en u m b e ro ff a c t o r si s5 ，t h es e ci s8 9 3m g l ， t h es e pi s7 5 6m e _ 1 c o m p a r i n gt h er e s u l t so f t h r e ew a y so f t h em u l t i p l ev a r i a b l ea n a l y s i s m e t h o d ，w ef o u n dt h ew a yo fp l si sb e s t ，a n dt h e ni ti st h ew a yo fp c r a n ds m l r w bc a nt r yt ou s ea sm a n ym e t h o d s 豁p o s s i b l et of i n dab e s t 玎 w a yo fp r e d i c t i n gm e a n t h ed i s s e r t a t i o na l s oe x p l o i tt h ew a yo f m i x i n gp r o g r a m m eo fv b a n dm a t l a b i ti st h es o f t w a r es y s t e mo f e n g i n e e r i n gc a l c u l a t i o n u s e r s c a nu s et h e mc o n v e n i e n t l yt om a k ep r o g r a m m eb yu s i n gt h ec o m p u t e f u n c t i o no fm a t l a ba n dt h ec o n v e n i e n ti n t e r f a c e t h er e s e a r c hh a s p r a c t i c a lv a l u e k e y w o r d s ：n e a r - i n f i - a r e ds p e c t r u m , w a t e rq u a l i t yc o d , m a t h m a t i c s m o d e l ，p r e d i c t i n gm e a n t l i 独创性声明 本人声明，所呈交的学位( 毕业) 论文，是本人在指导教师的指导下独立完 成的研究成果，并且是自己撰写的。尽我所知，除了文中作了标注和致谢中已作 了答谢的地方外，论文中不包含其他人发表或撰写过的研究成果。与我一同对本 研究做出贡献的同志，都在论文中作了明确的说明并表示了谢意，如被查有侵犯 他人知识产权的行为，由本人承担应有的责任。 学位( 毕业) 论文作者亲笔签名： 论文使用授权的说明 日期： o 刁 本人完全了解福建农林大学有关保留、使用学位( 毕业) 论文的规定，即学 校有权送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或 部分内容，可以采用影印、缩印或其他复制手段保存论文。 保密，在年后解密可适用本授权书。 不保密，本论文属于不保密。 学位( 毕业) 论文作者亲笔签名：象研 指导蛳亲笔躲弘 眦 口 隰沪7 衣l ：7 日期：缈7 乡，谚 祸王l ! 糸林人学硕：l ：学位论文 1 1 选题的背景及意义 第一章引言 环境的有机污染物包括工业污染、交通污染、农业污染与生活污染。当今世界 各地的地面水污染皆以有机污染物为主。有机污染物对水体中的水生生物的影j j q 最为 显著。它们是以其毒性及便水体溶解氧减少们形式对生念系统产生影响，已经查叨， 绝大多数致癌物质足有毒的有机物质，所以有机污染指标是水质十分重要的指标。 水中的有机污染物，出于转类繁多，难以一一分别测定符种纵分讹定量数值 因此在水质评价过程r f l ，t o c ( 总布机碳含量) 、t o n ( 总有机氮含i 1 1 ) 、t o d ( 总溶肼 氧) 、b o d ( 生化需氧量) 、c o d ( 化学需氧量) 等是广泛采嬲的袭征识机污染程皮的综 合性指标，也足最常用、最重要的指标。t o c 、t o n 等可以直接测定，而t o d 、b o d 、 c o d 铭的测定通过测定与有机物反应的氧化剂的量，问接反映是彳r 机污染物的食挝。 水休c i 的有机污染物成分复杂、数量大，难于对每一利- 污染物制词专门的j | ：f 测分析办 法，因此至今仍多以总有机碳含量( t o c ) 同生化需氧量( b o d ) 和化学需氧量( c o d ) 等总量指标来拙述有机污染状况。 传统的总量指标测量的标准方法是基于传统和己知的化学方法，方便实验宝使 用，测攮周期长，无法及时反映水体污染的动念过程，不适用于在线分析。如果以杯 准方法来组成自动测控系统，则系统复杂，维护量极大，而得到的结果可靠性极差， 而且，试_ 齐i j 的价格：阼常昂贵，其中有些还是 诞危险的污染物，形成二次污染。而， 测量时间也与过程控制不协凋。 近红外光谱分析技术是近年来迅猛发展起来的高新技术使用近红外光褚等分析 法，速度快、不破坏样品、操作简单、稳定性好、效率商，一般取得样品光谱数掘历 可立【j 得到定性或褒定量分圻报告，整个过程可以在2 分钟内完成，孤且只通过样她 的一张光谱图就可以计算出样品的各种组成或性质数据o ”，这比化统的实验室分析 方法来的优越。 1 2 水质c o d 检测方法概述 1 2 1c o d 值常规；9 1 ：4 量方法 化学需氧量( c o d ：c h e m i c a lo x y g e nd e m a n d ) 反映了水q 1 受还原性物质污染的 程度。水r 1 1 还原性物质包挤彳r 机物，弧硝酸z ：、弧铁醯、硫化物褥水被，f ，机物 染 足很背遍的，因此化学需氧盈能够作为有机物相对含量的指标之一 1 重铬酸盐法 周家标准g b11 9 1 4 8 9 规定的巫铬酸熊法测c o d 适用于备利- 类型的含c o d 仙 大于3 0 r a g l 蚋水榉。对未经稀释的水姆的测定上限为7 0 0 m g 乙，适婀于仑讯化 物浓度大于1 0 0 0 m g l ( 稀耳千后) 的含熊水。其原理为：在水样巾加入已知盈的巫铬睃 剀溶液，并在强酸介质下以银盐作傩化剂，经沸腾回流后，以试弧饮灵为指示剂，丌j 福建农林大学硬士学位论文 硫酸亚铁铵滴定水样中未被还原的重铬酸钾，由消耗的硫酸亚铁铵的量换算成消耗氧 的质量浓度。计算方法以m g l 计的水样化学需氧量，计算公式如下1 2 】： c o d ( r a g d = 罕 式中：c 硫酸亚铁铵标准滴定溶液的浓度，t o o l l ： v t 空白试验所消耗的硫酸亚铁铵标准滴定溶液的体积，m l ； v r 试料测定所消耗的硫酸亚铁铵标准滴定溶液的体积，m l ： 8 0 0 0 _ 一( i 4 ) 0 2 的摩尔质量以m g l 为单位的换算值； v 0 一一试料的体积，m l ； 测定结果一般保留三位有效数字，对c o d 值小的水样，当计算出c o d 值小于 1 0 m g l 时，应表示为“c o d 1 0 m g l ”。 在酸性重铬酸钭i 条件下，芳烃及吡啶难以被氧化，其氧化率较低。在硫酸银催化 作用下，直链脂肪族化合物可有效地被氧化。标准溶液测定的精密度为：4 0 个不同 的实验室测定c o d 值为5 0 0 r a g l 的邻苯二甲酸氢钾标准溶液，其标准偏差为2 0 r a g l ，相对标准偏差为4 o 。 2 恒电流库仑滴定法 方法原理： 水样以重铬酸钾为氧化剂，在1 0 2 m g l 硫酸介质中回流氧化后， 过量的重铬酸钾用点剂电解产生的亚铁离子作为库仑滴定剂，进行库仑滴定。根据电 解产生亚铁离子所消耗的电量，按照法拉第定律进行计算： c o d ( r a g l ) = 导等 式中： q 标定重铬酸钾所消耗的电罱； q k 测定过量重铬酸钾所消耗的屯量： 矿水样体积： 9 6 5 0 0 法拉第常数 该方法不需标定滴定溶液，尤其适合于工业废水的控制分析。当用3 m g ，l 、 o 0 5 t o o l l 重铬酸钾溶液进行标定值测定时，最低检出浓度3 m g l ：测定上限为 1 0 0 m g l 。需严格控制消解条件一致和注意经常清洗电极，防止玷污，才能得到较 好的m 现性。 3 高锰酸盐( 钾) 指数 指在一定条件下，以高锰酸钾为氧化剂，处理水样时所消耗的量，以氧的m g l 来表示水中的还原性无机物和在此条件下可被氧化的有机物，均可消耗高锰酸钾。 因此，高锰酸盐指数法常被作为水体受还原性有机( 和无机) 物质污染程度的综合指 2 福建农林大学硕士学位论文 标。国际标准化组织建议高锰酸盐指数仅用于地表水、饮用水和生活污水，不可用于 工业废水。 4c o d 常规方法的不足 重铬酸钾法测化学需氧量( c o d c r ) 和高锰酸钾指数是采用不同的氧化剂在各自 的氧化条件下测定的，难以找出明显的相关关系。一般来说，重铬酸钾法的氧化率可 达9 0 ，而高锰酸钾法的氧化率在5 0 左右，两者均未达完全氧化，因而都只是一 个相对参考数据。 标准法一一重铬酸钾法测定化学需氧量的主要缺点是：操作复杂，测定时间长， 需2 小时；使用了汞盐，二次污染较严重；对测定含氯离子浓度较高，cod 值较低 的试样，准确度较差。 1 2 2 紫外光谱分析法测量c o d 1 紫外一可见光分光光度法 分光光度法是比色法的发展。比色法只限于在可见光区，分光光度法则可以扩 展到紫外光区和红外光区。比色法用的单色光是来自滤光片，谱带宽度从4 0 一1 2 0 n m ， 精度不高，分光光度法则要求近于真正单色光，其光谱带宽最大不超过3 5 n m ，在 紫外区可到l n m 以下，来自棱镜或光栅，具有较高的精度。 不同物质由于其分子结构不同，对不同波长光线的吸收能力也不同，因此，每种 物质都具有其特异的吸收光谱。紫外一可见光分光光度法就是基于物质对光的选择性 吸收来定量测定物质组分的含量。其定量分析的基础是朗伯一比尔( l a m b e r t b e e r ) 定 律，即物质在一定浓度的吸光度与它的吸收介质的厚度呈正比。其基本方法。”为：使 用单色器，从光源中选择性取出某一确定波长的单色光，并确保单色光顺利通过试样， 以试样中被测组分的浓度c 和吸光( 程) 度a 之间所呈现的正比关系，来对试样中被 测组分进行定量分析。吸光度a 产生的原因，是由于在紫外和可见光区的分子吸收光 谱的结果。 优点：1 ) 灵敏度高，检出限低，一般绝对检出限为l o ”1 0 1 ，相对检出限可达 1 0 “g m l ，适合微量组分的测定； 2 ) 准确度较高，浓度测定的相对误差为2 5 ； 3 ) 应用范围广，几乎可以直接或间接地测定所有的无机物和有机物。 局限：1 ) 由于谱线重叠而引起的光谱干扰比较严重，所以选择性有时较差； 2 ) 必须用化学的方法将分析组分转变为吸光物质，该操作往往较麻烦，有 时也会枨来相应的干扰或误差。在分光光度分析中，将被测组分转变成 有色物质的反应叫显色反应。最常用的显色反应为络合反应和氧化还原 反应。与被测组分化合成有色物质的试剂称为显色剂。显色反应能否完 全满足分光光度法的要求，除显色条件不合适，将会影响分析结果的准 确度。显色条件应包括：显色剂的用量、溶液酸度的控制、显色温度和 时间等。 福建农林大学硕士学位论文 3 ) 所测的液体必须是澄清透明的。 2 重铬酸钾紫外光度法 其化学需氧量测定原理为：在强酸性溶液中，定量的重铬酸钾氧化水样中的 有机物和还原性物质，过量的重铬酸钾用紫外光扫描，其减少的重铬酸钾扫描面积与 化学需氧量成正比。用标准曲线法进行定量。生化需氧量测定原理：在规定的条件 下，用活性污泥降解样品，经重铬酸钾消解生物降解前、后的样品，用紫外光扫描测 定重铬酸钾的变化量，求得生物降解前的c o d 和生物降解后的c o t ) ，其差即为b o d ， 再换算成b o d s 。我国已经在这方面做不少努力，取得了不少成果。如由国家环境保护 总局科技标准司主持的“水质c o d 。，b o o 。的测定重铬酸钾紫外分光光度法”， 谢炜平3 等2 ”3 的“九五”攻关课题“c o d b o d 。紫外光度法快速测定等效性验证”中 研究了重铬酸钾紫外光度法快速测定c o d ，b o d ；的技术特点及可行性研究。 该方法采用紫外光度法测定c o d 、b o d 。，并以微机控制，测定c o d 需4 0 m i n ，b o d , 为3 h 。而标准法分别需要2 h 和5 天。该方法依据朗伯一比耳定律，一定波长范围内 扫描吸收峰面积与吸光物质浓度成正比，可建立回归线性方程： y = k s 十b 式中，y 为c o d ，m g l = s 为扫描吸收峰面积： k 为标准曲线斜率； b 为标准曲线截距； 试验数据线性回归得相关系数y = 0 9 9 8 1 用紫外光度法测定不经稀释的废水，c o d 值测定范围为1 0 3 0 0 0 m g l ，比标准 法上限提高了一个数量级，最低检出限为7 6 m g l 。 局限性： 重铬酸钾紫外光度法与标准法相比具有操作简便，快速省时，但仍需要加 入辅助药剂，需要消耗大量硫酸银、重铬酸钾等试剂，而且测试时间偏长，不适合在 线监测。 3 紫外分光光度法 紫外分光光度法c o d 、b o d 的原理是根据大部分有机物因其分子结构的特性，在 紫外区域均有吸收峰。作为测定溶解有机物含量的一种问接方法，可以直接测定污水 中的c o d 、b o d 不需要添加辅助药剂，常采用2 5 4 n m 波长进行测定。 近几年来，困内外对此方法进行了大最的研究，国内如闰百瑞等啪1 、袁丽水协 研究污水紫外吸光度与c o d 的关系；宋来洲8 “等采用u v _ - 2 5 0 1 p c 紫外分光光度计 测定污水处理厂水样的紫外吸光度数值( a ) ，采用重铬酸钾方法测定水样的c o d 值， 建立c o d 值与a 之间的线性关系：李亚新。”等采用紫外分光光度法使用5 3 w 1 3u v v i s 分光光度计测定焦化废水的主要污染物；陈文春啪1 用紫外分光光度法在纯水的c o d ； 以及其他人用于测工业废水的c o d 值口3 却的研究。 4 福建农林人学硕：j ：学位论文 局限性： 1 ) 应用此方法时，必须保证水样是清亮的，因为混浊会产生错误结果。可通过过 滤消除混浊。例如，在试验前j 用平均孔径为0 4 5 u m 的膜过滤水样：为进行比 较，也可以用离心法，即在测定前将水样在一定的转速下离心“”。 2 ) 硝酸盐离子在紫外范围内有光吸收。测定波长越是低于2 6 0 n m ，这种干扰越大 。p h 也影响紫外吸光度，在不同p h 下的2 5 4 n m 吸光度a 。是变化的，一般p h 增加a ，值也增加“。 3 ) 紫外吸光度仅能与一定的水样保持相关性，其中的有机物组成不能有太大变化， 否则，相关性变差。不同的有机物在不同波长范围内有其特定的吸光度值。一 旦有机物本身变化( 比如大分子物质降解成小分子物质) ，或是其在水样中所占 比例发生变化，均影响实验结果”。 4 ) 紫外吸光度适用于稀溶液，浓度商则偏差大。 1 3 近红外光谱分析技术的概况 1 3 1 近红外光谱分析的特点 近红外区域按a s t m 定义是指波长在7 8 0 2 5 2 6 n m 范围内的电磁波，是人们最早发现 的非可见光区域，近红外光谱分析的特点是：光谱仪除消耗少量电能外，不消耗任何 试剂、标准物质和设备零件，被测样品微量即可，极为经济。一台近红外光谱仪用于 控制分析，可以替代多种多台分析仪器，节省了大量设备、人力和物力。另外，近红 外光谱仪用于过程分析，可及时反馈分析数据，实现装置的平稳运行和质量卡边操作， 可产生巨大的经济效益和社会效益。 近红外光谱的信息源是分子内部原子间振动的倍频与合频，该区的信号频率比中 红外的高，介于中红外光谱区和可见光谱区之间，因此，近红外光谱类似于可见光容 易获得和处理近红外光谱信息的特点类似于振动光谱的中红外光谱区，信息量大， 包含了绝大多数类型有机物组成和分子结构的丰富信息，但信息强度比中红外区低而 光谱谱峰宽，且同一基团的倍频与合频信息常可在近红外光谱区的多个波段取得。其 分子振动光谱的倍频和组合频谱带，主要是含氢基团( c - h ，o - h ，h ，s - h ) 的吸收。 不同的基团和同一基团在不同化学环境中的吸收波长有明显差别，可以作为获取组成 或性质信息的有效载体。近红外吸收系数小，样品不经稀释或处理直接测量，可分别 用0 5 - 1 0 c m 和0 1 - 0 5 c m 长的测量池。样品池可用玻璃窗片，操作很方便。但近红外 各谱带宽且交叠多，使用传统方法( 工作曲线) 难以进行定性和定量分析。现代近红外 光谱分析依靠化学计量学和计算机技术有效地克服了这一局限。近红外光谱不仅能够 反映绝大多数的有机化合物的组成和结构信息，而且对某些无近红外光谱吸收的物质 ( 如某些无机离子化合物) ，也能够通过它对共存的本体物质影响引起的光谱变化，问 接地反映它存在的信息。加上近红外光谱可测量形式如漫反射、透射和反射，能够测 定各种各样的物态样品的光谱。 5 福建农韩大学硕士学位论文 1 3 2 近红外对水溶液成分的测定 1 9 9 2 ，k o r s m a n , t 等 4 0 1 论证了应用近红外光反射谱法测量湖水p h 值的可行性。 1 9 9 5 1 9 9 7 ，km o l t 等i a l 嘲l 用近红外光谱法定量分析水溶液在强酸、弱酸、二元无机 盐、有机混合物中的p h 值。 1 9 9 6 年，r ，a n l h o n ys h a w 等 4 5 - 4 7 1 人采用近红外法对尿样中的尿素、肌酐、蛋 白三种成份进行了测量，其光谱范围：2 0 0 0 _ _ 2 5 0 0 n m ；1 9 9 6 年，x d o u 采用拉曼 光谱，测量葡萄糖、丙酮、尿素、肌酐的浓度值；2 0 0 1 年，r a n t h o n ys h a w 在中 红外区域用干膜法进行了尿的成分测量；2 0 0 1 年，h m h e i s e 4 8 l 应用中红外方法对以 肌酐、尿酸、葡萄糖、蛋白四种成份进行了测量。 2 0 0 1 ，史月华等t 4 9 】n 用傅里叶变换近_ e t c h 光谱法同时定量分析水溶液中乙醇、 果精和葡萄精。2 0 0 3 ，刘伟玲等口o 】用近红外光谱对尿液样品进行了主成分分析，证 实了光谱法用于尿液临床分析的可行性及优越性。叶升锋等【副j 工0 用红外光谱法时同 近测定水溶液中葡萄糖、果糖和蔗糖。逯家辉等 5 2 1 用短波近红外光谱法分析酒中乙 醇含量。2 0 0 4 ，王丽杰等【5 剐采用近红外光谱技术检测牛奶中脂肪、蛋白质及乳糖含 量。 1 3 3 近红外光谱快速测量b o d , e 0 d 的研究现状 从已检索到的文献来看，近红外光谱快速测量b o d 5 ，c o d 的研究远比紫外分光 光度法测量b o d 5 c o d 的研究少。国内的有w a n g y 等【5 剐利用卫星遥感监测深期i 水 库水质的变化，用近红外可见光谱测量与实地标准方法测量相比较，测锝t o c 、b o d 、 c o d 值有较高得相关性，二者均方根差接近0 0 2 0 0 3 。国外有美国的s t e p h e 粥以b 等f 辨5 5 1 用近红外，可见光谱来建立_ b o d 5 快速测量的预测模型，避开( 绕开) 了传统的 5 天的保温培养期。对1 5 8 个废水样本用光谱吸收测量和标准的b o d 5 测量方法进行了 测量。光谱透射测定法测定时，先把样品中大于1 4 0 i tm 的微粒过滤掉。用s i l i c o na n d l e a ds u l f i d ed e t e c t o r s ( 光谱仪) 以1 0 r i m 的分辨率( 解析度，) 、l m m 的光程扫描样品， 收集4 0 0 。1 9 0 0n l t l 谱区的数据。对照标准的b o d 5 测量方法对光谱数据进行回归分析， 建立偏最, i s - - 乘法( p l s ) 和主成分回归( p c r ) 模型。偏最小二乘法( p l s ) 模型 有大约4 7 的误差，比标准法大一点，对实际b o d s 值为3 5 - 2 7 5 m g l 的预测的标准差 为2 7 6 m g l 1 4 本课题的关键技术、技术难点和分析流程 近红外光谱分析方法由两个要素组成，一是准确、稳定地测定样品的吸收或漫反 射光谱谱图的硬件技术( 即光谱仪器) ，这一硬件技术的主要要求就是必须保持长时 间的稳定性；另一个是利用多元校正方法计算测定结果的软件技术 。本课题的关 键技术有： ( 1 ) 光谱数据预处理方法的选择，通过预处理获得高信噪比、低背景干扰的分 6 福建农林大学硕士学位论文 析信号。 ( 2 ) 建模算法的选择，建模算法的不同会影响定量分析的结果。 技术难点是：近红外光谱区的吸收强度较弱、光谱的信噪比低，测定不经过预处 理的样品光谱易受样品状态、测量条件等影响造成的、以系统误差为主的光谱不确定 性，以及样品近红外光谱的背景复杂、谱峰重叠等多方面团难。其核心是样品近红外 光谱中的有效信息效率低。对复杂样品进行近红外分析是从复杂、重叠变动的光谱中 提取微弱信息，属于微弱光谱信号提取和处理技术。 近红外定量分析的基本流程是：l 、收集具有代表性的样品( 其组成及其变化范围 接近于要分析的样品) ：2 、采集样品的光学数据：3 、利用标准的化学方法对样品进行 化学成分测定：4 、通过数学方法将这些光谱数据和检测的数据进行关联，一般将光谱 数据进行转换( 一阶或二阶导数) ，与化学测定值进行回归计算，然后得出定标方程， 建立数学模型：5 、分析未知样品，先对待测样品进行扫描，根据光谱值利用建立的模 型可以计算出待测样品的成分含量。其中，确定回归模型的过程其实就是定标过程， 定标的好坏直接关系到分析结果的准确性：6 、计算预测精度。得到的定标方程必须 通过实际测量调整它的准确性和精确性。精确性是指重复测定时测值间的相近程度。 准确性的度量通常用定标方程的预测标准差( s e p ) 来表示。s e p 表示测定值与“真值” 间的相近程度。 1 5 本课题的主要研究目的和内容 1 5 1 本课题的主要研究目的 利用全谱近红外光谱仪等设备采集的数据和样品的化学值，建立数学模型，能够 根据数学模型预测样品的c o d 值，并且精度在允许误差范围内。 通过试验的大量数据，找出有机污染物( 含氢基团o h ，c h ，n h ，s h ，p h ) 污染程度与近红外光谱的相关性，建立有机污染物与近红外光谱的定量模型。为能长 时间稳定使用、在线测量有机污染物的近红外传感器的研制、水质状况实时在线监测 系统等作基础性研究。 1 5 2 本课题的主要内容 首先，用化学计量学方法建立近红外光谱预测模型，将光谱数据和样品的化学值 进行关联，一般多使用基于主成分分析的多元校正方法，包括：多元线性回归、主成 分回归、偏最小二乘等。其次，用v b 建立个界面调用m a t l a b 函数，开发出高质量、高 性能的工程计算软件系统，方便用户使用。 7 榀建农林大学硕士学位论文 第二章近红外光谱分析的基本原理 2 1 近红外光谱产生机理 根据量子力学。物质对光的选择性吸收是由物质的分子结构决定的。只有当光子 的能量( e = h v ) 与分子的转动、振动或电子能的能级间隔相等时它才会被吸收。并且分 子只吸收与它特征振动能量一致的光子并被激发到较高的能级。 一个由n 个原子组成的分子有3 n 个自由度，其中三个是平动自由度，三个为分子 整体转动自由度。剩下3n 6 个为分子内原子相互作用自由度。这3n 一6 个自由度对 应了3 n 一6 个基频吸收。基频吸收是指把分子从量子数为1 的能级激发到量子数为2 的能 级时所吸收的能量若光子把分子从l 能级激发到3 能级或更高的能级，就称为倍频吸 收。光子同时激发两个能级的吸收称为合频吸收。还有一种吸收称作费米( f e r m i ) 共 振。当某一基频频率与另一基频的合频或倍频能量相等时会产生费米( f e r m i ) 共振 此时会出现两个吸收带，它们分别比基频频率的期望值稍高或比合频频率的期望值稍 低。实际上基频吸收并没有那么多，这是因为分子本身具有对称性，一些吸收带会重 合。有的吸收带非常接近，很难区分。有的太弱，观测不到也有的超出了分光度计 的测量范围。 在分子中，如果成键的两个原子的正负电荷中心不重合，这两个原予就形成一对 电偶极子。电偶极予以一定的频率振动，也能吸收光予，因而会对吸收谱产生影响。 若某物质中的原子完全非极性且完全对称，该物质在不同波长处的吸收就相等，吸收 谱就会是一条直线。实际中的分子并非如此，其吸收谱中的每一波峰或每一波谷都反 映了分子的组成结构特征。这就是光谱分析的物理基础。卜。 近红外波段的吸收一般是由质量最小的氢原子( 一h ) 引起。氢原子不仅能引起分 子的基频吸收，还会产生非简谐振动并引起较强的倍频吸收。一h 的基频吸收在 2 8 0 0 - 3 7 0 0c m - 1 ( 约2 7 0 0 3 6 0 0 h m ) 范围内，绝大多数倍频在4 5 0 0 2 5 0 0 0c m “( 约 4 0 0 2 2 0 0 n m ) 内，4 0 0 0 5 5 0 0 c m l ( 约1 8 0 0 - 2 5 0 0 n m ) 为合频区域。一h 的基频和倍频与分子 中的其它振动耦合产生了遍布整个近红外区域的合频吸收。每个分子都会有许多个吸 收带。吸收带的强弱还受分子浓度的影响，这是利用近红外光谱分析样品的浓度的化 学基础蜘巾1 。 任何物质都有其特定的吸收特性。特征吸收是某些分子或原子团所具有的特征。 某一给定分子的确定原子团的基频吸收总是出现在同一位置。当然该位置的准确程度 还要受温度、湿度等外界因素的影响。由于振动的非简谐性，合频与倍频的频率要比 基频的和与倍数稍小。某级倍频或合频的吸收强度比前一级的低卜2 个数量级。若己 知某原予团的特征吸收、其他原子团对吸收的影响以及一些简单化合物的特征吸收， 就可利用近红外吸收光谱对它进行成份分析。主要基团合频与倍频吸收带的近似位置 见表2 1 脚州1 。 8 福建农林大学硕士学位论文 袭2 - 1 主要基团合频与倍颈吸收带的近似位置 单位 a m - 1姗 基团 c - hn - ho _ h h 2 0 。 c - hn ho - h h 2 0 合频4 2 5 0 4 6 5 05 0 0 0 5 1 5 5 2 3 5 02 1 5 0 2 0 0 01 9 4 0 二倍频 5 8 0 06 6 7 07 0 0 06 9 4 01 7 2 01 5 0 01 4 3 01 4 4 0 三倍频 6 5 0 09 5 2 01 0 5 0 01 0 4 2 01 1 8 01 0 5 0 9 5 09 6 0 四倍频 1 1 1 0 01 2 5 0 01 3 5 0 01 3 3 0 09 0 08 0 07 4 07 5 0 五倍频 1 3 3 0 07 5 0 2 2 近红外光谱定量分析理论依据 近红外技术是依据某一化学成分对近红外区光谱的吸收特性而进行的定量测定， 所以应用n i r 光谱进行检测的技术关键就是在两者之问建立一种定量的函数关系。近 红外分析技术是通过测量物质的吸收来预测其成分及含量，但吸收无法直接测量，一 般通过透射率和反射率来表征。根据比尔定律，光对吸收介质的透过率为： t = i 。i 。= 1 0 1( 2 一1 ) 其中i 。一透射光强，l 。一入射光强，a 一吸收系数，a = ce1 。c 一物质中吸收物的浓度， e 一摩尔吸收率，1 一光在物质中传播的距离。由上式c 与透射率t 的关系为： c = i 1j 。g 歹1 ( 2 2 ) 当物质具有较强的反射性或样品厚度较大时，透射率不容易测量，这时可求助于反射 率r ( 漫反射成分) 的测量。反射率和透射率对吸收系数所起的作用是一样的，因而式 2 2 可改写为： c o o l 。8 i 1 ( 2 3 ) 在计算中常用吸光度a 代替l 。g r 或l o g 亍1 即：a = l o g 麦或a - l 。g 亭。2 - 3 式可写为： 【 c a o a 。既物质中吸收物的浓度与吸光度成正比。因此，对于已知吸收成份浓度的样 品，若知道它的吸光度，就可建立回归模型去计算其吸收成份含量。 n i r 作为一种分析手段，可以测定有机物以及部分无机物。这些物质分子中化学 键结合的各种基团( 如c = c ，n = c ，o = co = h ，n = h ) 的伸缩、振动、弯曲等运动都有它固 定的振动频率。当分予受到红外线照射时，被激发产生振，同时光的能量一部分被 吸收，测量其吸收光，可以得到极为复杂的图谱，这种图谱表示被测物质的特征a 不 同物质在近红外区域有丰富的吸收光谱，每种成分都有特定的吸收特征，这就为近红 外光谱定量分析提供了基础。但由于每一物质有许多近红外吸收带，某一成分的吸收 会与其他成分的吸收发生重组，当测定某一复杂物质，如玉米中的粗蛋白质时，则在 9 福建农林人学硕i ：学位论文 所选择的近红外光谱区会受到水、脂肪、淀粉等吸收的干扰，影响特定成分的分析。 2 3 化学计量学方法介绍 化学计量学在近红外分析方法中占有十分重要的地位，正是由于化学计量学和计 算机的应用，才使得近红外分析方法成为一门实用性技术。近红外分析方法中的化学 计量学主要有以下5 个研究方面：谱图预处理方法、谱图压缩及信息提取方法、定量 校正方法、模式识别方法以及模型传递技术( 仪器标准化) “”o ”。 1 谱图预处理近红外光谱仪所采集的原始光谱中不但包括与物质化学结构相关的 信息，还包括其它干扰因素所产生的信号，这些信号的存在会影响测定的准确性和重 复性。谱图预处理旨在采用数学方法将这些非信息因素降至最小，从而提高模型的准 确性及可靠性。谱图预处理主要包括基线校正及噪音剔除两方面。 由于仪器、样品背景及其它因素的影响，近红外分析中常会出现谱图基线的漂移 和倾斜现象，使与待测性质相关的信息很难凸现出来，从而对建模造成一定困难。最 常采用的基线校正方法是一阶微分和二阶微分。在近红外分析中，针对不同情况还可 以采用不同的基线校f 方法，如对样品粒径不均匀或测样容器不一致，可以采用多元 散射校正技术( m s c ) ；对光程有所变化时，采用光谱标准归一化处理( s n v ) 等等。 噪音是在谱图测量中产生的随机高频信号，m c c l u r e 等人研究了随机噪音对近红 外校正效果的影响，认为随谱图中噪音水平的增加，模型精度变差。因此，滤除谱图 中的噪音信号是非常必要的。平滑是滤除噪音的常用方法，最常用、有效的是卷积平 滑方法，即1 9 6 4 年，由s a v i t z k y 和g o l a y 提出的用最d , - - 乘拟合系数来平滑的方法。 平滑处理时应注意窗口大小的选择，窗口过大，可能丢失有用信息，过小则达不到理 想的滤噪效果。 2 谱图压缩及信息提取现代近红外分析多数采用全谱数据，数据维数高，计算时 间长，同时，数据之问的共线性也会使模型不稳定，