（控制理论与控制工程专业论文）色谱分析数据除噪的理论和实践.pdf

摘要 本文以色谱分析仪器的图谱为对象，研究了色谱数据的除噪方法，以便排 除各种频率的噪声干扰，准确确定每个信号峰的位鼍和面积大小，为后续的谱 图定性、定量奠定扎实的基础。本文从理论和实践上对色谱数据的各种噪声以 及除噪算法进行深入而系统的分析，尝试引入新的谱峰描述函数、形态滤波器、 递归神经网络、小波分析和遗传算法相结合的数据处理方法。并根据色谱数据 处理的特点和要求，提出了一些新的优秀算法。 对于色谱数据中的噪声，传统的方法都是以白噪声为模型。为了更准确地 刻划实际色谱噪声，了解噪声的性质，以便更好地评价各种除噪算法的优劣， 本文提出用分形几何的数学模型刻划噪声，并用_ ：鎏险噬篡法进行理论上和实 践上的验证，建立了比白噪声更准确的模型。 力i 程拟合是一种比较常用的除噪算法。为了提高除噪性能，选择合适 的谱峰函数是一个很重要的决定性因素。对此，本文引入一个新的谱 峰函数，经实验证实此函数对拖尾峰比常用的改进双高斯函数有更好 的拟合性能。 形态滤波器在图象处理和信号处理方面已有多方面的应用。本文 把形态滤波器引用于色谱信号的除噪，构造了能自适应地调整尺度的基于集合 的形态滤波器和基于函数的形态滤波器。结果表明，自适应形态滤波器在滤除 脉冲型噪声时，具有很好的效果，它在较彻底滤除噪声的同时又能保存高度完 整的信号信息，是处理色谱数据脉冲型噪声的有力工具。 人工神经网络具有很强的非线性处理能力，它是一种自适应信息处理系 统，通过构造合适的网络和经过适当的训练能够自动处理样品从带噪信号空间 转换到无噪信号空间的非线性映射。本文利用递归神经网络，针对色谱数 据的具体特点，提出采用分段训练方法，并从理论和实践分别证实了 分段训练的递归神经网络的优良除噪性能。 小波分析是从富里叶分析发展起来的新的信号处理方法，它克服 了富里叶分析的某些缺陷。遗传算法是一种模仿自然界生物进化过程 的搜索算法，用于解决复杂对象的全局寻优。这两种方法都已在很多 领域得到了应用。本文把这两种方法完美地结合起来，用于滤除色谱 信号中的噪声。无论从理论上和实际上的使用效果都说明此方法有优 良的除噪性能。卜 最后本文还指出，虽然以上许多算法都是基于色谱数据设计研 制，但是它们也可用于其它种类化学仪器信号的除噪处理。 a b s t r a c t t h ef u n d a m e n t a l sf o rd e n o i s i n go fc h r o m a t o g r a p h ys p e c t r u ma r e s t u d i e di n t h i sw o r k t h et a r g e tist or e m o v ea t is o r t so fn o i s e sw h i c h h a v ed i f f e r e n tf r e q u e n c i e s ，s ot h ep o s i t i o na n ds i z eo f s i g n a lp e a k si nt h e c h r o m a t o g r a p h y d a t ac a nb ed e t e r m i n e dm o r e p r e c is e l y c h r o m a t o g r a p h y n o ts o sa n dk i n d so fv a r i o u s d e n o i s i n ga l g o r i t h m s a r e c a r e f u l l ya n d s y s t e m a t i c a l l ys t u d i e d ，n o v e lp r o c e s s i n gm e t h o d s ，s u c h a sn e w c h a r a c t e r i z a t i o nf u n c t i o no fc h r o m a t o g r a p h i cp e a k s ，m o r p h o l o g i c a lf i l t e r s ， r e c u r r e n tn e u r a ln e t w o r k s ，t h ew a v e l e ta n a l y s i sc o m b i n i n gw i t hg e n e t i ca l g o r i t h m ( g a ) ，a r ei n t r o d u c e da n dt e s t e d t h et r a d i t i o n a lm o d e lf or c h r o m a t o g r a p h i cn o i s e s ，i sg e n e r a l l y b a s e do nw h i t en o i s e i no r d e rt od e p i c t p r a c t i c a lc h r o m a t o g r a p h i cn o i s e s m o r ep r e c i s e l ya n de x p l o r et h ep r o p e r t i eso f n o i s e s ，s u c ht h a td e - n o i s i n g a l g o r i t h m sc a nb ee v a l u t e db e t t e r i nc o n t r a r yt ot h ec o n v e n t i o n a la p p r o a c ho fu s i n g w h i t en o i s e ，t h ef f a c t a lg e o m e t r ym o d e lw a su s e di nt h i ss t u d yt od e p i c tt h en o i s e l h i si sv a l i d a t e db yw a v e l e t st h e o r e m t h er e s u l t ss h o w e dt h a tm o r e p r e c i s em o d e l h a v e b e e ne s t a b l i s h e dt h a nt h ec o n v c n t i o n a lw h i t en o i s e c u r v e f i t t i n gi sc o m m o n l y u s e f u li r ld e n o i s i n g a l g o r i t h m i ti sc r u c i a lt os e l e c t as u i t a b l ef u n c t i o nt om i m i ct h ec h r o m a t o g r a p h i cp e a k s an e wf u n c t i o ni sp r o p o s e d t os i m u l a t ec h r o m a t o g r a p h i c p e a k s ，a n dh a sb e e np r o v e dt h a ti t h a st h ea d v a n t a g e so f b e t t e rf i t t i n ga n dl e s sd i s t o r t i o nt h a nr i s ec o m m o n l yu s e dm o d i f i e dg u a s sf u n c t i o n m o r p h o l o g i c a l f i l t e r sa r eo n eo ft h em o s tp r o m i s e a p p r o a c h e si ni m a g e a n d s i g n a l p r o c e s s i n g a n da r ei n t r o d u c e dt h e d e n o i s i n g o f c h r o m a t o g r a p h i cs i g n a i i n t h i s s t u d y m o r p h o l o g i c a ll i l t msb a s e do ns e ta n df u n c t i o nh a v eb e e nc o n t r u c t e dt oa d j u s ts c a l ea d a p t i v e l y a n du s e dt or e m o v et h ei m p u l s i v en o i s e sf r o mc h r o m a t o g r a p h i cs i g n a l t h er e s u l t ss h o w e dt h a t t h ep r o p o s e dm e l h o dh a sa d v a n t a g e so fb e n e rf i l t e r i n ge f f e c ta n dl e s sd i s t o r t i o n t h i sm e t h o di sa p o w e r f u lt o o li np r o c e s s i n gc h r o m a t o g r a p h i cs i g n a lc o n f o u n d e dw i t hi m p u l s i v en o i s e t h en o r l i n e a rp r o c e s s i n ga b i l i t yo ft h ea n i f i c a ln e u r a ln e t w o r k s ( a n n ) e n a b l ei tt ou s e d a sa g o o dn o n l i n e a r f i l t e rf u g h e n n o r e t h ea n nf i l t e ri sa n a d a p t i v es y s t e mw h i c hc a n a u t o m a t i c a l l yf i n dt h en o n l i n e a r ：n a p p i n gf r o man o i s ys i g n a ls p a c e t oan o i s e f r e es p a c e ，w h i c h c a nb ee s t a b l i s h e di t t h en e u r a ln e t w o r ki sa p p r o p r i a t e l yc o n s t r u c t e da n dp r o p e r l yt r a i n e di nt h i s w o r k ，c o n s i d e r i n gt h er e q u i r e m e n t so fd e n o i s i n gc h r o m a t o g r a p h yd a t a ，r e c u r r e l f fn e u r a l n e t w o r k st r a i n e di ns e c t i o n sa r eu s e dt of i l t e rn o i s eo fc h r o m a t o g t a p h i cd a t a t h et h e o r ya n d e x p m i m e n t sm a d ei nt h i ss t u d ys h o w e dt h a tt h i s a p p r o a c hh a si m p r o v e dt h ep e r f o n n a a c eo f f i l t e r n g w a v e l e tt r a n s f o r mi si 1n c ws i g n a l - p r o c e s s i n gm e t h o dd e v e l o p e df r o mf o u r i e ra n a l y s i s a n do v e r c a m es o m ef a u l to f f e u d e r a n a l y s i s i h eg e n e t i ca l g o r i t h m ( g a ) i sas t o c h a s t i cg l o b a l s e a r c hm e t h o dt h a tm i m i c st h e m e t a p h o ro fn a t u r a lb i o l o g i c a le v o l u t i o l l i ti sa p o w e r f u l o p t i m i z a t i o nm e t h o d sa n ds o l v ed i f f i c u l tp r o b l e m si no u rs t u d y t h e s et w om e t h o d sw e r e c o m b i n e dp e r f e c t l yt o e f f e c t i v e l yr e m o v e 日n o i s eo fc h r o m a t o g r a p h i cs i g n a l t b ec o m b i n e d m e t h o dh a sa c h i e v e dg o o d d e n o i s i n gp e r f o r m a n c e f i n a l l yi t i sw o 咄w h i l et on o t et h a ta l lo f t h ep r o p o s e da l g o r i t h m sw i l ln o to n l ys u i t a b l e t oc h r o m a t o g r a p h i cs i g n a l ，b u ta l s ot od e n o i s i n go f o t h e rc h e m i c a l i n s t r u l n e 】 t a s i w l a 第一章总论 第一章总论 现代化学仪器分析的发展，为分析化学带来了革命性的变化。仪 器分析已成为分析化学的主要手段，在石油化工、医药卫生等许多行 业得到广泛的应用，现代化学仪器分析的灵敏度和选择性正在不断 提高，分析速度也越来越快，定性、定量的结果也越来越精确。仪器 分析在分析化学中所占的地位不断提高，并成为现代实验化学的重要 支柱。可以预计，随着计算机技术的不断引入和分析化学本身的不断 发展，现代化学仪器分析的内容将得到极大的丰富，并在更多领域中 发挥重要的作用。在这个发展过程中，仪器分析数据的计算机处理、 识别和解释日益显得重要，且要求更为精确细致，尤其是对于信号和 噪声的分析。 现代仪器分析方法的种类繁多，其中最为常用的一些方法有： ( 1 ) 色谱分析法：气相色谱法，高效液相色谱法； ( 2 ) 光学分析法：原子发射光谱法，原子吸收分光光度法，紫外 吸收光谱法，红外吸收光谱法，核磁共振波谱法： ( 3 ) 电化学分析法：电位分析法，离子选择性电极分析法，极谱 分析，伏安滴定法。，库仑分析法； ( 4 ) 质谱分析法等等。 本文将色谱分析所得到的数据作为研究对象，因为色谱是种分 离能力强、选择性好、灵敏度高、操作简单、应用广泛的分析、分离 方法。从色谱仪器输出的检测数据都可以谱图的形式表达，统称为色 谱图谱。色谱分析信息就存在于谱图之中。色谱分析的主要任务就是 从色谱图谱中获取有关物质的化学成份的定性、定量信息。而且，色 谱与质谱联用后，可以达到更准确的定性结果。 色谱法实际上是一种分离技术，这种技术应用于分析化学中，就 是色谱分析。它的分离原理是，使混合物中各组分在两相间进行分配， 其中一相是不动的，称为固定相，另一相是携带混合物流过此固定相 的流体，称为流动相。这种借助在两相间分配原理而使混合物中各组 分分离的技术，称为色谱分离技术或色谱法。气相色谱法是采用气体 作为流动相的一种色谱法。而液相色谱法是指流动相为液体的色谱技 术。在经典的液体柱色谱基础上，采用高压泵、高效固定相和高灵敏 度检测器，实现了分析速度快，分离效率高和操作自动化。这种色谱 技术称为高效液相色谱法。 色谱分离主要是基于组分在两相间反复多次的分配过程。如对于 第一章总论 气相色谱仪，一根长l 2 m 的色谱柱，一般可有几千个理论平衡级塔 板，对于长柱，甚至可达一百多万个理论塔板这样就可使一些分配 系数很接近，极难分离的物质，经过为数众多的分配平衡。最后仍能 得到满意的分离。色谱法的分离效能很高，气相色谱仪的柱效约为 2 0 0 0 塔板x ：而液相色谱法的柱效则更高，约可达5 0 0 0 塔板x 以 上。有时一根柱子可以分离1 0 0 种以上组分。因此，色谱法的分离效 能和选择性是很好的，这也是色谱法一个突出优点。 色谱分析操作简单，分析快速，通常一个试样的分析可在几分种 到几十分钟内完成。某些快速分析，一秒钟可分析七个组分。色谱法 在现代仪器分析的范围极广，利用气相色谱法可以分析气体试样，也 可分析易挥发或可转化为易挥发的液体和固体，不仅可分析有机物， 也可分析部分无机物。一般地说，只要沸点在5 0 0 0 c 以下，热稳定性 良好，分子量在4 0 0 以下的物质，原则上都可采用气相色谱法。目前 气相色谱法所能分析的有机物，约占全部有机物( 约三百万种) 的 15 2 0 ，而这些有机物恰是目前应用很广的那一部分，因而气相色 谱法的应用十分广泛。对于高沸点、热稳定性差、分子量大( 分子量 大于4 0 0 以上) 的有机物( 这些有机物几乎占有机物总数的7 5 8 0 ) 都可用高效液相色谱法进行分离、分析。高效液相色谱法也是近来迅 速发展起来的一项新颖、快速的分离分析技术。其应用也非常广泛。 在色谱分析中，由于使用了高灵敏高的检测器，可以检测1 0 。一 1 0 - 1 3 g 物质。因此在痕量分析上，它可检出超纯气体，高分子单体 和高纯试剂等所含有的l p p m 或o 1 p i ) b 的杂质和组分。雨且色谱法所 需试样很少。微升数量级的试样就足以进行全分析。 色谱仪器将被测组份的浓度变化或物理变化转变成某种电性能的 变化，这样就易于实现自动化和联接电子计算机。随着电子计算机技 术的发展，计算机在运算速度、精度和可靠性方面都有很大的提高。 过去在很长时间才能获得的数据，如今在较短时间内即可获得。而且 计算机技术不但可实现分析仪器的智能信息处理，而且可以用于分析 仪器操作的自动调节。近年来出现的色谱仪工作站就是以计算机为主 体，装设相应接口硬件，通过软包件支持，按分析的具体要求，实现 数据的自动采集、数据处理和仪器的自动控制，完成测试分析任务。 和计算机联用的在线色谱仪还在各种工业流程自动监控检测中发挥 重大的作用，以提高生产质量和生产效益。 计算机技术和现代分析测试技术两个学科之间的相互渗透，给色 谱仪器带来了崭新的面貌，也给计算机应用开辟了一块耨的领域。现 代仪器分析以获取分析信息为目的，被认为是一门信息科学【l 。j 。对 第一章总论 化学谱图的数据处理研究就是提高化学谱图提供化学信息的能力，是 现代分析化学的理论基础一计量化学的一个重要分支。计量化学把计 算机科学、数学、信息论应用于化学的一门学科 3 - 4 1 。是一门新兴的 学科，现代计量化学注重计算技术、信息处理技术的应用，以便改进 分析检测仪器，并从分析数据中提取更多、更有用的化学信息【5 i 。 用计算机技术进行色谱谱图的信息处理是计算机工作者和分析 化学工作者的共同任务。目前，对色谱图谱的处理要求各种各样，计 算机处理方法也各种各样，这些处理方法也各有其优缺点。但是，从 色谱仪器得到的分析数据，由于实验装置的不完善、以及分析过程中 很多随机的干扰，使色谱数据中常带夹带有噪声。它们影响化学物质 定量和定性的准确性。根据噪声和信号的不同性质，尽量把噪声去掉， 同时又尽可能如实地保留色谱图谱中有用成份，这是计量化学工作者 的重要任务，也是一项有意义的工作。 1 1 研究对象及范围 色谱仪器的检测器输出的信号是连续模拟量，由于计算机处理的 是离散信号。经检测器输出的信号需要经过采样系统中的模数转换 装置转化成计算机能够处理的离散数字量，这种离散的谱图数据就是 本文的研究对象。 ： 色谱仪器输出的信号强度变化量很小，这类微弱的信号在计算机 处理以前必须进行高增益的放大。然而在采样、放大及变换等装置中 不可避免地存在很多随机的干扰， 5 0hz 的工频干扰及电子线路中 的热噪声与散粒噪声均会混入放大后的分析信号中。除上述的电磁噪 声外，样品的物理状态、环境温度变化等因素均会使分析信号中混有 噪声。例如，半导体光电化学研究中的暗电流，直流极谱与交流极谱 中的电容性电流等。因而，化学谱图数据总是由仪器检测分析对象所 得到的响应信号与各种频率的噪声组成。 纯净的色谱图在特定位置上的信号峰对应于某具体的物质，而 峰的几何尺寸又与此物质的含量有关。各种物质在一定的条件下在谱 图中均有确定不变的位置或保留值，因此可以利用色谱保留值进行定 性分析。而且，色谱法也可与其它方法结合，如与质谱、红外光谱等 仪器联用，与化学方法配合进行定性分析。色谱分析的结果通常利用 归法、内标法及外标法等定量方法来确定具体物质的含量。但这不 属本论文的研究范围。 所分析的对象物质经过色谱仪器和计算机系统，得到所需要信息， 其一般流程见图1 1 ： 第一章总论 待分析物护圈键塑墅鞫堕呈圈一圈 图1 1 色谱分析工作流程 本论文所做的主要工作就是从带噪数据中提取有用信息，相当于 上面流程中“信息提取”的环节。一般来说，信息提取包括除噪、峰 检测和重叠峰分解。具体地说，就是从带噪的色谱数据中去除各种频 率的干扰，排除脉冲峰并确定每个信号峰的位置及峰面积，并从数学 上分解物理上未实现分离的重叠峰，从而获取有效的定性、定量信息， 为下一步的色谱谱图解释打下良好的基础。 带有噪声的色谱数据y ( n ) 可以表示为： y ( n ) = s ( n ) + d ( n )( 1 1 ) 其中s ( n ) 为纯净的色谱数据，d ( n ) 为色谱数据中的噪声。在仪 器信号中的噪声具有很大的随机性，且有一部分是非平稳随机噪声。 所以有必要对仪器信号的噪声进行研究，并将信号峰从仪器信号中分 离出来。本文所做的工作就是在尽可能保留色谱信息的基础上，努力 滤除带噪数据中的噪声。尽管已有很多种除噪方法，但由于在努力保 留色谱有用信息的基础上，把噪声完全滤除是非常难的，结果总是有 不能令人满意的地方。本论文专门在这方面展开深入的研究，以期获 得更好的效果。 1 2 色谱除噪方法综述 随着计算机技术的飞速发展，数据处理方法也产生了巨大的变 革。并产生了一门全新的学科一计量化学。计量化学是一门综合性很 强的交叉学科，涉及化学、计算机、数学、信息论等众多学科，需要 对各个相关学科均有较深的理解，在深层次上进行结合，才能取得一 定的突破。色谱除噪方法也属于计量化学学科。色谱信号除噪处理的 发展已有很长的历史，取分析结果的平均值可以说是最初期的除噪思 想。这种方法引起的误差较大，效果也不好。因而s a y i t z k y g 0 1 a y 提出了基于最小二乘的曲线拟合方法n 3 ，这是经典的一种除噪方法， 其拟合函数可以根据实验条件或物理特性来确定，但是曲线拟合方法 具有较大的局限性。随着计算机技术的发展，7 2 年。p e t e r 对 s a y i t z k y g 0 1 a y 提出的曲线拟合方法进行改进，提出了滑动平滑的 除噪方法n 1 。在八十年代开始，又出现了采用数学滤波器阳“玎对仪器 4 第一章总论 化学分析信号进行除噪。总体来说，色谱除噪方法主要有：( 1 ) 数值 分析方法，典型代表有包括曲线拟合方法、滑动平均方法、中值滤波 方法等。( 2 ) 信号处理方法，包括线性低通数字滤波器方法、维纳滤 波器、k a l m a n 滤波器方法”3 1 等。( 3 ) 非线性映射方法，包括神经网 络方法n “。( 4 ) 函数变换方法，例如小波分析“6 。7 ”3 等，当前在 色谱除噪处理上的应用也已有报道。 1 2 1 数值分析方法 数值分析方法的发展，已有较长历史。它将实际问题归结为数 学问题，建立起合适的、具体的数学模型，如微分、积分、方程、级 数求和等，然后选择合适的解题方法，编制程序，以便在计算机上解 出问题的数值解。在建立模型时，为了便于分析和计算，一般总是把 复杂、繁琐的数学问题进行简化，这是常用的数学处理手段。随着计 算机的发展，数值分析方法在科学计算中的作用也越来越大。多项式 求解、求微分和积分、求解方程的根和解微分方程都用到数值分析方 法。在化学图谱的除噪方法中，典型的有1 9 6 4 年s a y i t z k y g 0 l a y 提出的基于最小二乘法曲线拟合方法“。曲线拟合具有较大的局限 性，首先是采用固定的数学函数无法充分逼近实验结果，其次是基函 数不完全具备反映数据内在性质的物理的和化学的背景。直到1 9 7 2 年，p e t e r 对曲线拟合法进行改进，提出了滑动平均的除噪方法。 1 。2 2 数字信号处理方法 在八十年代后期至九十年代初期，在仪器分析信号处理领域， 利用数字滤波器进行除噪是当时的热门技术”“。数字滤波器主要分 为二类，第一类是基于信号和噪声频率特性的差异，如低通滤波器： 第二类是基于信号和噪声的统计特性的差异，如维纳滤波器、 k a ln l ar l 滤波器。第一类是信号和噪声具有不同的频带时，它们通过 具有选频特性的滤波器时，噪声将尽可能地被消除，有用信号得以保 留。第二类是从统计的概念出发，对所要提取的有用信号在时域里进 行估计，使得在统计指标最优的意义下，估计值最优逼近有用信号， 噪声也是在统计指标最优的意义下得以减弱或消除。这两种方法的原 理和实现方法经历了一定时间的发展，已在很多领域都有应用。 1 2 3 人工神经网络方法 人脑是一个非常复杂的信息处理系统，现代生物学和神经解剖学 第一章总论 的研究表明，人脑是由约一千几百亿个神经元交织在一起的网状结 构，能完成诸如智能、思想情绪等高级精神活动，脑神经科学和人工 智能的研究发展推动了对人脑神经网的模仿，引发了人们对人工神经 网络( a r t i f i c a l n e u r a l n e t w o r k s ，a n n ) 1 1 8 - 2 0 1 的研究。人工神经网络的问 世为信息处理开辟了另一条崭新的途径，是人类智能研究的重要组成 部分，已成为神经科学、脑科学、心理学、认知科学、计算机科学、 数理科学等共同关心的焦点。a n n 是由大量性质完全相同的简单非 线性基本处理单元相互联接而成，是具有层次组织的并行联结而构成 的一种独特的信息处理系统。a n n 反映了人脑功能的基本特性，但 它并不是人脑的真实描写，而只是它的某种抽象、简化与模拟。网络 的信息处理由神经元之间的相互作用来实现，知识与信息的存贮表现 为网络元件互连间分布式的物理联系，网络的学习和识别决定于各神 经元连接权系的动态演化过程。通过各神经元连接权系的调整，人工 神经网络表现出类似人脑学习、归纳和分类等能力的特征，善于抽象、 概括和推广。 由于神经网络以并行、分布式、非线性为特色，具有高度的健壮 性、容错性和自适应性。它的发展非常迅速，在许多应用方面已显示 出强大的潜力。目前，神经网络应用研究较多、较成功的包括计算机 视觉、语音处理、优化计算、模式识别、智能控制及复杂系统的分析、 知识处理及应用等方面。可以看到，神经网络的应用已渗透到各个领 域，在信息处理方面，已开始显示出其它处理方法所没有的特点。 4 2 4 小波分析方法 小波分析凹“2 2 ，是一类泛函分析，傅里叶变换和数值分析等的比 较完美的结合，是傅里叶分析发展史上里程碑式的进展。近年来在国 际上成为众多学科共同关注的热点，并已经开始应用于图象处理，地 震勘探和化学信号处理等诸多领域。原则上讲，过去使用傅里叶分析 的地方，都可以用小波分析代替。小波分析是当前应用数学中一个迅 速发展的新领域，经过近十年的探索研究，重要的数学体系已经建立， 理论基础更加坚实，与f o u r i e r 变换、窗口f o u r ie r 变换相比，小波 变换是空间( 时间) 和频率的局部变换，因而能有效地从信号中提取 信息，通过伸缩和平移等运算功能对函数或信号进行多尺度分析，解 决了f o u r i e r 变换不能解决的许多赧篮问题。可以预料它将成为科 技工作者经常使用的又一锐利的数学工具。 小波变换的一个重要性质是变换结果保持原始信号在时间轴上 的不产生平移，即不改变原始信号的峰位置。这样，结合上面讨论的 对原信号的多尺度分解，我们就得到原始信号的各频率段的“分离” 第一章总论 信号。因而可用来滤除各种信号的噪声。在仪器信号的除噪方面，最 近己有文章用小波分析中的离散小波进行除噪阽”。 1 3 研究的目的 化学谱图数据处理是一门综合性很强的技术，它涉及到分析化 学、化工、电子工程、信息、数学、计算机等众多学科。然而目前各 学科之间的结合还不够密切，交叉渗透也不够深入。此外，有许多先 进的数据及信息处理理论还未能充分应用，许多现代的思想和理论方 法也未能引入化学谱图数据处理，并且也缺乏理论上的系统研究。鉴 于这种情况，本文进行色谱谱图数据处理一除噪方面的基础理论研究 工作，这些工作也适用于其它的化学谱图数据的除噪。作者努力在现 有的色谱谱图以及其它化学谱图数据处理的除噪方法上，对几种有潜 力的新方法、新思想进行研究，加深色谱谱图数据处理和各学科的联 系和交叉渗透，力图为色谱谱图数据的除噪提供更有效的处理手段， 从色谱谱图中更有效、更准确地提取信息，为后续的定性解释及定量 标度提供坚实的基础，为此本文力求引入新的除噪方法，这是本课题 研究的主要内容。 本文对研究的每一算法都从理论和实践两方面加以评价，在总结 传统的各种除噪方法的基础上，作者提出了几种新的优良算法。对所 研制的算法力求在创新、准确、实用等方面加以考虑，努力使算法在 色谱谱图的除噪方面发挥更大的作用，取得更好的效果。经理论和实 践的验证，这些算法的开发已取得了一些实质性的进展。 1 4 本文的组织 本课题主要针对色谱信号的除噪算法进行探讨研究，以便得到 更准确的信息。为将来的准确定量和定性作好准备。本论文作的组织 形式按排如下： 第一章为绪论。首先概述了色谱分析的原理及特点，确定本文 的研究范围一噪声滤除。对色谱分析的历史作了简要回顾并概述了当 前色谱除噪国内处现状。最后明确了色谱除噪的目标和主要研究内 容。 第二章描述了噪声和信号峰的特性。首先指出了噪声的特性、 分类及成因，进一步分析色谱峰的数学描述。最后合成了仿真图谱、 提出了除噪指标，以便对以后各章的算法进行评价。 第三章观察了曲线拟合除噪的方法。曲线拟台方法是较早使用的 方法，本章用s h a r p e n e d 改进的高斯函数来拟合函数，取得了比改进 第一章总论 的高斯函数更好的效果。 第四章深入研究了噪声的性质。鉴于实际噪声不同于白噪声，本 章从分形的角度出发，努力使用分形模拟的噪声接近于实际噪声，并 作了各种比较，说明分形模拟噪声比白噪声更接近于实际噪声。 第五章研究用形态滤波器来除去噪声。从形态滤波器的二个侧面 来除去色谱数据的脉冲型噪声，对基于集合的形态滤波器以及基于函 数的形态滤波器作了较深入的探讨，并与常用的中值滤波器进行了比 较。 第六章提出用递归神经网络进行除噪的方法。结合色谱信号的具 体特点，对色谱数据进行分段训练，从理论和实际数据上论证了分段 训练的递归神经网络的优良除噪性能。 第七章提出了将遗传算法和小波分析掘结合进行除噪。本章充分 考虑了遗传算法和小波分析各自的优点，把它们完善地结合起来。使 滤除噪声的性能比单独用小波分析大为改善。 第二章色谱信号和噪声 第二章色谱信号和噪声 由于实验室电子元件所产生的噪声、电磁场的干扰以及实验分 析条件的变化等因素的影响，使实验中得到的响应一般由所研究对象 的信息和干扰信号组成，这些干扰信号统称为噪声。当色谱仪器输出 的连续模拟量信号经过a d 转换器转换成离散数字量信号时，所得到 的响应信号也是由信息和噪声组成。在色谱谱图数据中，信息体现为 具有特定位置及大小的谱峰，这些谱峰被称为信号峰。噪声则以各种 形式存在于谱图之中，有很大的随机性和复杂性，随具体的仪器不同 其特性也有较大的差别，并无固定的形态。由于噪声的复杂性，在本 课题中也采用色谱信息叠加实际噪声作为标准信号，作为检验算法的 除噪效果。在本章中，详细归纳了色谱谱图数据中信号蜂和一般数学 描述和噪声的一般特性，在此基础上，把色谱信号峰和噪声叠加可以 合成仿真色谱谱图，可以作为以后各章算法除噪效果的检验依据。同 时，也说明了噪声滤除方法的评价标准。 2 1 色谱谱图中的噪声 色谱仪器输出的信号幅度很微弱，这样微弱的信号必须进行放 大才能送入计算机进行处理。在信号放大过程中，电子线路中的热噪 声与散粒噪声均会混入分析信号之中。除电磁噪声外，色谱仪器本身 的不稳定也会使分析数据中混有噪声。这些噪声存在于色谱图谱中， 是影响数据处理精度和分析结果的不需要的电波形。下面对噪声的来 源和特性进行分析。 噪声产生于各种不同的源，而且表现出来的特性也不尽相同。 因此可以根据噪声的来源对之进行分类，也可以依据噪声的随机特性 分类。根据前者，噪声大致有三类： ( 1 ) 自然噪声：例如打雷放电而产生的天电噪声，雨点、砂尖和 下雪等，会产生静电放电并产生噪声：宇宙中的太阳和其它星体会发 出非常强烈的噪声电波。 ( 2 ) 人为噪声：例如各种电气设备，汽车的火花塞所产生的火花 放电，高压输电线路的电晕放电：以及邻近电台信号的干扰等等。 ( 3 ) 电路噪声：电子管和半导体器件内电子、空穴动动所产生的 散弹噪声，电阻内部的热噪声等。 按噪声的特性，首先可以分为脉冲型噪声和连续型噪声。前者 有各种人为噪声它们是重复出现的持续时间甚短的脉冲波形，后者 第二章色谱信号和噪声 如热噪声、散弹噪声那样具有连续波形。 可以按噪声瞬时幅度值的概率分布来分类，其幅度值分布服从 高斯分布的就称之为高斯噪声。从频谱形状来分类，如果噪声频谱均 匀，就称为自噪声。而不具有均匀分布的功率谱的有色噪声。如1 f 噪声、三角噪声等， 在理论上可把噪声分为平稳噪声和非平稳噪声。平稳噪声的统 计特性不随时间的变化而变化，而不平稳噪声就是其统计特性随着时 间的变化而变化。在某一时间间隔内集中发生，而其它时间内几乎不 发生的所谓突发嗓声就是一例。 最后，根据噪声对信号作用的方式，可分为加性噪声和乘性噪 声两种。热噪声和其它一般噪声，出干扰源产生并叠加在信号上雨在 输出端表现出来。也就是说，如果s ( t ) 是信号，n ( t ) 是噪声，则图 谱数据为s ( t ) + r l ( t ) ，这就是加性噪声。 如是乘性噪声，则图谱数据表现为信号和噪声的乘积。 对于色谱仪器的输出数据，大部分噪声服从线性可加原则，可 被视为加性噪声处理。而且，在色谱数据中的噪声主要是非平稳噪声。 有部分的噪声分布在低频段，同时。也不时有脉冲噪声出现，给除噪 带来了固难。 2 2 谱峰的数学描述 试样中各组分经色谱柱分离后，随载气依次流出色谱柱，经检测器转 换为电讯号，然后用记录仪将各组分的浓度变化记录下来，即得色谱图。 色谱图是以组分的浓度变化的信号作为纵坐标，流出时间作横坐标的，这 种曲线称为色谱流出曲线。在色谱国谱中，这种流出曲线表现为含有定性、 定量信息的色谱峰。色谱峰表现为由一个最高点向两侧延伸并逐渐趋于基 线的概率分布曲线。如果进样量很小，且所弱缀分的浓度又处予分配等温 线的线性范围内，则近似认为色谱峰是对称的。但是在实际情况下，峰形 常出现畸变。畸变是在分配等温线不是直线时发生的。随着被测成分在气 相中的浓度不同，它们在固定相中溶解的比例也不同。具体的特征是大部 分的色谱峰表现为不对称峰，不对称峰又可分为拖尾峰和前伸峰，见图 2 1 。其中，前伸峰在峰的前半部缓慢上升而低部被拉开，后半部急剧下 降，一般认为这种现象在溶质( 样品) 和溶剂( 固定液) 中含有不同的官 能团时发生。同样，拖尾峰在峰的前半部上升快而陡直，而峰后部的低部 被拉开，这种现象在气一固色谱中往往是不可避免的。而且，在大部分的 情况下，大部分的峰是拖尾峰。 第二章色谱信号和噪声 ( 。) 前仲峰 图2 。1 不同对称性的色谱峰 由于谱峰的流出曲线在上升及下降过程中变化速率的不同造成 了谱峰的形状各异。为此，已有很多文献提出了很多的数学模型来描 述色谱的谱峰，其中能较准确且较有物理意义描述色谱峰是按g u a s s 概率分布函数来描述。对于对称峰，色谱峰可用高斯分布函数表示( 见 图2 2 ) 。 信 号 图2 2 谱图中的峰信号 第二章色谱信号和噪声 从图2 2 可以说明有关的色谱术语。 基线 当色谱柱后没有组分进入检测器时，在实验操作条件下，反映 检测器系统噪声随时间变化的线称为基线。稳定的基线是一条直线， 如图中o p 所示的直线。 保留时间t 。 表示试样中各组分在色谱柱中的滞留时间。它主要取决于它在 两相间的分配过程，因而保留时间是由色谱分离过程中的热力学因素 所控制的，在一定的固定相和操作条件下，任何一种物质都有一确定 的保留时问。保留时间指被测组分从进样开始到柱后出现浓度最大值 时所需的时问，如图2 2 中0 1 3 。它对组分的定性起重要作用。 半峰宽度y m 峰高为半处的宽度，如图2 2 中g h 。 利用色谱流出曲线可以解决以下问题： ( 1 ) 根据色谱峰的位置( 保留时间) 可以进行定性判定 ( 2 ) 根据色谱峰的面积或峰高可以进行定量测定。 ( 3 ) 根据色谱峰的位置及半峰宽度等，可以对色谱柱分离情况进 行评价。 如果进样量很小，且所测组分的浓度又很低，处于分配等温线 的线性范围内，则色谱峰是对称的，可以用高斯正态分布函数表示， 且所有的自变量皆有明确的物理意义心“： 一f f f j 2 h ( t ) = h + e x p 了2 z o - 式中，t一谱图的横座标位置 ( f ) 一谱图的纵坐标值，随时间f 而变化 h 一峰高 t r 一对应于峰值的保留时间 仃一标准偏差。可认为是峰宽参数 对于实际色谱峰通常用指数修正的高斯分布函数( e m g ) 来描 述，此时当r 卜时，盯= ：当r t r 时，仃= c r b 。、吒分别为峰左、 右拐点到峰项垂线的距离，+ 和吒分别反映一个峰的宽度及 不对称度。 用e m g 函数对实际色谱峰进行模拟基本可以适用。本论文将经常 用e m g 函数来描述色谱谱圈。 基于以上对化学图谱中信号峰和噪声的分析，就可以人工合成 与实际图谱相似的人工谱图进行研究，般的处理是将e m g 函数和噪 第二章色谱信号和噪声 声进行相加。这样，由于信号峰和噪声的真实数据均为已知，检验、 评价各种算法的效果就有了准确的依据。而且，噪声可以采用自噪声、 实际噪声以及后面提到的模拟噪声进行分析。而且在给定的信号峰 下，可以进行各种噪声滤波效果的比较。 2 3 噪声滤除的评价指标 。 z 1 擎l 8 小叫虬0 8 ”可言弋 第二章色谱信号和噪声 a ( ) = la - 一a 。i a 。x 10 0 y 2= iy 。，2 一y 2 l 其中p 、h 、a 、y m 分别为谱峰的位置、峰高、面积以及噪声 方差下标b 、0 分别代表滤波前和滤波后。考虑到有时峰处理峰高 变化比较小，再定义峰高绝对值误差a h = lh 。一h 。i 。 在定性分析中，色谱的有用信息主要是谱蜂位置。因而在定性分析时，应 在p 尽量小的前提下，尽可能地提高s n 的值。而在定量分析中， 色谱的有用信息主要是色谱峰的谱峰面积和谱峰高度。所以在定量分 析时，应在a 和a h 尽可能小的前提下，尽可能地提高s n 的值。同 时，半峰宽偏差a y m 也是一个值得注意的指标，它能反映谱峰形状 的失真程度。可以看到，对不同的分析场合选用合适的除噪方法能达 到更好的效果。在这些指标都达到要求的情况下，滤波时问也是一个 需要考虑的因素，在在线处理中，应该选用速度较快的滤波方法，而 在离线处理时，则可采用速度相对较慢的滤波方法。 在本论文中，将采用人工合成的标准图谱来计算、评价各种算 法的滤波性能，同时用实际色谱图谱来验证实际的滤波效果。 第三章方程拟台除噪 第三章方程拟合除噪 对于实际的色谱数据一般由所研究对象的信息和噪声组成，噪声影 响定性、定量的准确性。因此不少学者都对除噪声方法进行研究，以 在保持信息的基础上，尽可能地消除噪声。其中曲线拟合法是一种常 用的方法，在某些特定条件下，实际数据可用曲线来拟合。不少学者 也在这方面作了大量工作。在曲线拟合的效果方面，选择合适的谱峰 函数是一个很重要的决定性因素。本章也是在这方面进行进一步的研 究。 3 1 谱峰的数学函数模型 有关谱峰数学函数模型的研究已有不少的报道，很多作者采用 统计函数描述谱峰，提出了一些常用的统计函数如高斯函数、 g a m m a 函数、w e i b u l l 函数、l o g n o r m a l 函数等。但是，对于实际 的谱峰，一般来说是不会严格服从某个函数，特别在峰的尾部，只有 在特定情况下才具有较好的拟合效果。因而，有的学者又提出采用复 合函数来描述谱峰。下面将介绍的几个函数，对色