（仪器科学与技术专业论文）微型光谱仪信号处理与分析系统的研究.pdf

中文摘要 i 摘要 微型化、集成化和智能化是光谱仪发展的重要方向。以微机械、微电子和 微光学为基础的微光机电系统为光谱仪的微型化、集成化创造了条件，而计算 机、人工智能和化学计量学的发展则为光谱仪的智能化提供了契机。 光谱信号的处理与分析是整个微型光谱仪分析系统的重要组成部分，也是 光谱仪智能化的关键所在。开展这方面的研究，对提高微型光谱仪的性能，拓 宽应用范围都有着重要的理论和现实意义。 本论文的工作得到了国家自然科学基金项目（60308007） 、国家 863 项目 （2004aa4040,2004aa404023） 、科技部国际合作项目（2004dfa00600）的资助， 以重庆大学微系统研究中心研制的微型光谱仪为基础， 以光谱信号为研究对象， 对微型光谱仪信号处理与分析技术的相关问题进行了深入的探讨，建立了微型 光谱仪信号处理与分析系统的模型体系结构，对多组分检测、波长选择、光谱 识别和模型传递等问题进行了详细的研究，提出了相应的算法与策略。具体而 言，主要完成以下几个方面的研究工作： 在查阅了大量文献、资料和总结前期研制的微型光谱仪信号处理软件的 基础上，建立了具有智能化、实用化特点的微型光谱仪信号处理与分析系统的 模型体系结构。 深入研究了光谱信号的多组分测定问题，以高效、实用化为目标，从实 验设计到算法选择进行了较为详细地分析和论述，提出了基于均匀设计、小波 变换和支持向量机的组合式算法和策略，解决了在光谱多组分测量中遇到的非 线性校正问题。 探讨了光谱信号定量分析中的波长选择问题，提出了基于粒子群优化算 法的分段波长选择方法，以解决定量分析中波长选择的主观随意性和已有方法 算法复杂、收敛慢的缺点。 深入探讨了光谱信号的识别问题，对光谱识别的基本方法和光谱信号的 特征提取方法进行了相应的分析研究，提出了采用多特征和神经网络构建光谱 识别框架的方法，以实现光谱信号的快速正确地识别。 研究了光谱信号的模型转换问题，提出了采用基于支持向量机的分段直 接校正方法解决不同光谱仪对相同测定条件下同种溶液测量信号之间的数据转 换问题，为实现不同光谱仪测量数据的通用性、可比性提供了依据。 关键词：微型光谱仪，光谱分析，信号处理，光谱识别 英文摘要 iii abstract the important trend of spectrometer is microminiaturization、integration and intelligence.thedevelopmentofmicroopticselectronicsmechanics system(moems) creates condition for microminiaturization and integration of spectrometer, the development of computer、artificial intelligence、chemometrics offers opportunity for intelligence of spectrometer. spectral signal analysis is not only an important part of the analysis system of spectrometer, but also key to intelligence of spectrometer. the research on spectral signal analysis is useful to advance performance of spectrometer and extend application range of spectrometer. with the support of the chinese national nature science fund、863 fund、the department of science and technology fund, the paper takes spectral signal as object, studies the technology of spectral signal analysis about the micro spectrometer of the mems center of chong qing university. the primary coverage is listed as following. in this paper, a frame of functional model about software system is built. every functional model is designed in detail. the method based on uniformity design 、 wavelet analysis、 cross validation and support vector machine is put forward for solve the question of nonlinearity、 small- sample in the spectral multicomponent analysis. the method of selecting good wavelength data for building analysis model is an effective improving analysis precision.to quicken convergence, the piecewise wavelength selection method based on particle swarm optimization algorithm is established. the technology of spectral recognition is key to spectral quapitative analysis.for quickly recognising spectral signal,the method of spectral recognition based on based on multiple features and neural network is adopted. the model transfer is a basic method to solve universal and comparable performance of spectrometers.the method based on support vector machine and piecewise direct standardization is put forward for solve the question of nonlinearity、 small- sample. key words：micro spectrometer,spectralanalysis,signal processing, spectral recognition 1绪论 1 1绪论 本章摘要：本章摘要：本章概述了具有微型化、集成化和智能化特点的微型光谱仪的 发展背景，介绍了微型光谱仪信号处理与分析技术的国内外发展现状，最后阐 述了本文的研究目的、意义及主要研究内容。 1.1 微型化、集成化和智能化是光谱仪发展的重要方向 光谱仪是一种通过获取研究物质的光谱信号来分析物质的组成和含量的重 要分析仪器，在军事、科研、工业、农业、环保、医药、生物等众多领域都有 着广泛的应用。随着科学技术的不断发展、人们测量需求的不断提高，具有微 型化、集成化和智能化特点的微型光谱仪已成为光谱仪发展的重要方向。 具有微型化、集成化和智能化特点的微型光谱仪的技术基础是微光机电系 统、计算机、人工智能技术和化学计量学。 以微机械、微电子和微光学为基础的微光机电系统的发展为光谱仪的微型 化、集成化创造了条件。微光机电系统（micro opto- electro- mechanical system 或 moems） 1234是指将微型光学元件、微型电路、微型机械等微型装置和 器件集成在一起，可对光信息进行感知和处理的微型光机电装置。moems 技 术具有微型化、集成化和批量化生产的特点已成为对传统仪器进行更新换代的 重要技术手段。微型光谱仪5678是一种基于 moems 技术的新型光谱仪，具 有重量轻、体积小、探测速度快、使用方便、可集成化、可批量制造以及成本 低廉等许多大型光谱仪器所不具备的优点，是 moems 技术应用领域的一个重 要的研发热点910。 计算机和人工智能技术的发展为化学计量学增添了新的内容，注入了新的 活力，也为光谱仪的智能化提供了契机。人工智能11是在神经生理学、语言哲 学、控制论、信息论、计算机科学等学科的基础上发展起来的通过人工方法达 到模拟和实现人类智能（识别和思维）目的的一门技术。人工智能技术能够部 分替代人脑的思维功能，为从只具有简单测量的传统仪器过渡到具有智能化分 析的现代仪器奠定了坚实的理论基础。 化学计量学12是应用数学和统计学方法， 设计或选择最优量测程序和实验方法，并通过解析数据以最大限度地获取化学 及其信息的一门交叉学科，和分析仪器的发展紧密相关。近年来，化学计量学 广泛吸取了计算机和人工智能技术等领域的最新成果， 并运用到分析仪器中去， 使得分析仪器的自动化、智能化程度不断提高，大大减轻了分析人员的工作压 力、提高了工作效率。基于计算机、人工智能和化学计量学技术的光谱仪具有 重庆大学博士学位论文 2 高效、客观和智能化等特点，是对传统光谱仪进行改造的一个重要的技术方向。 1.2 微型光谱仪的研究概况1314 就微型光谱仪而言，研究的单位和机构比较多，从国外来看，主要有荷兰 delft university of technology 、美国 stanford 大学集成系统中心、美国 northeastern university、英国 university of stirling、美国 ocean optic 公司等， 以美国 ocean optic 公司最为典型， 有相应的产品进入市场。 图 1.1 是美国 ocean optic 公司的型号为 hr2000 的高分辨率微小型光纤光谱仪。从国内来看，主要 有台湾工研院、石油化工科学研究院、北京万拓仪器有限公司、重庆大学微系 统中心等，其中重庆大学微系统中心研制的微型光谱仪已在批量化生产、销售 之中。图 1.2 是重庆大学微系统中心研制的型号为 ms- ii 的微小型光纤光谱仪。 1.3 微型光谱仪信号处理与分析技术的国内外研究现状1516 1.3.1 国外研究现状 就光谱信号处理与分析系统而言，在这方面开展研究的单位和机构报道的 不多，已有的形成产品的软件系统也不多，国外主要有美国 ocean optic 公司的 ooibase32 系统，美国 thermo galactic 公司的 grams/ai 系统，加拿大 acd 公司的 acd/uv- ir manager 系统。 ooibase32 系统是美国 ocean optic 公司与其微型光谱仪配套的软件。其软 件的特点是和光谱仪的硬件结合得较紧密，主要功能包括：能改变光谱仪信号 采集卡的频率，进行光谱的波长定标，光谱的动态图形显示，吸光度的动态计 算和显示，时域实时测量，boxcar 时间单点滤波，均值滤波，采集数据的输出 等。该软件操作简单、使用方便，但侧重于测量方面，数据处理分析功能上欠 图 1.1 hr2000 高分辨率微小型光纤光谱仪 figure 1.1 hr2000 high- resolution miniature fiber optic spectrometer 图 1.2 ms- ii 微小型光纤光谱仪 figure 1.2 ms- ii miniature fiber optic spectrometer 1绪论 3 缺。其软件基本界面如下图 1.3 所示。 图 1.3 ooibase32 系统 figure 1.3 ooibase32 software system grams/ai 系统是美国 thermo galactic 公司的产品，该公司成立于 1986 年， 主要从事光谱分析软件的开发， grams/ai 系统是该公司的主要产品之一。 该软件包含从简单的平滑滤波到高级的自适应滤波、反卷积滤波和分峰等算 法，在算法设计上，提供多个可输入参数，便于对数据的灵活处理，在界面设 计上，提供两个显示窗口，一个为原始数据的图形显示，一个为处理后的图形 显示，可便于比较，以便得到最佳效果。还提供宏编辑方式，以满足特定的工 作需要。由于该软件是独立的，只能用来进行数据分析。其软件基本界面如图 1.4 所示。 图 1.4grams/ai 系统 figure 1.4 grams/ai software system 重庆大学博士学位论文 4 acd/uv- ir manager 系统是 acd 公司的产品，该公司成立于 1993 年，主 要从事化学软件的开发，acd/uv- ir manager 系统是该公司的主要产品之一， 该软件由光谱处理分析和数据库管理两部分组成，其光谱处理分析部分包括： 一般的操作：包括光谱数据的输入输出、编辑宏、定制工具定制窗口特 性、保存等计算机操作。 光谱处理：基线纠正、用 fft 或 savitsky- golay 算法滤去噪声、减去一 个光谱信号，求 1 到 4 阶光谱信号的导数、提高光谱的分辩率、均值滤波等。 光谱分析：窗口缩放、坐标单位的选择、光谱特征点的定位、计算波峰 位置和半波长及相应的值、用高斯、洛仑兹、高斯- 洛仑兹、不对称对数正态函 数进行拟合得出的最高点、进行定量分析等。 数据库管理部分包括： 进行一般的数据查询、修改、保存、删除等操作； 根据欧几里德距离、均方差或绝对差进行光谱的识别，达到定性分析的 目的。 acd/uv- ir manager 系统的基本界面如下图 1.5 所示。 图 1.5aacd/uv- ir manager 系统 figure 1.5aacd/uv- ir manager system 1绪论 5 图 1.5bacd/uv- ir manager 系统 figure 1.5bacd/uv- ir manager system 1.3.2 国内研究现状 国内目前报道的有石油化工科学研究院、九维光电科技有限公司、北师大、 中国农业大学等单位，进入市场的更少，其中石油化工科学研究院研制的化学 计量学光谱分析软件 2.0 最具代表性，该软件和 nir- 2000 近红外光谱仪一起获 99 年度国产仪器仪表行业的最高荣誉bceia 金奖，已进入市场。它包括 3 个 部分：校正系统、常规检测系统和实时检测系统，可用于模型的建立，样品的 定性定量分析，实时分析，软件具有扣减、微分、平滑、标准化和均值中心化 等预处理功能，具有多元线性回归（mlr） 、主成分分析（pca） 、主成分回归 （pcr） 、偏最小二乘法（pls） 、稳健偏最小二乘法（rpls）等多元校正方法， 可快速自动识别样品类型等功能。一般和所产光谱仪配套，针对近红外光谱进 行分析， 应用在石化工业较多。 图 1.6 是石油化工科学研究院以化学计量学光谱 分析软件为基础构建的近红外光谱品质检测软件系统的功能模块图，从中可以 比较好的推断出化学计量学光谱分析软件的基本模块结构； 图 1.7 是其化学计量 学光谱分析软件的基本界面。 另外还有一些基于光谱分析技术而开发的行业性专业软件，其中清华大学 和中国中医研究院联合开发的中药材光谱法快速检测系统影响较大，其基本思 路是依据中药材的指纹光谱借助计算机和模式识别技术达到快速鉴别中药材的 目的。 重庆大学博士学位论文 6 图 1.6近红外光谱品质检测软件系统的功能模块图 figure 1.6basic functional model of nir sprctral analysis software system 图 1.7 化学计量学光谱分析软件 2.0 figure 1.7chemometrics sprctral analysis software v2.0 1绪论 7 1.4 研究微型光谱仪信号处理与分析技术的目的和意义 光谱仪的根本目的是通过获取被研究物质的光谱信号来分析该物质的组成 和含量。随着仪器制造技术水平的提高，光谱仪在获取测量数据的精度、数量 和效率等方面比以前都有很大的进步。获取测量数据已经不是制约光谱仪应用 的障碍，如何对测量数据进行更加有效的分析，如何获取最大限度的有用信息， 已经成为扩展光谱仪应用的关键所在。 光谱信号的处理与分析技术正是以光谱测量信号为研究对象，通过对光谱 测量信号进行相应的数据处理和分析来反映物质组成和含量的技术。光谱信号 的处理与分析已成为整个光谱仪分析系统的重要组成部分。对微型光谱仪的光 谱信号处理与分析系统而言，一方面具有普通光谱仪的光谱信号处理与分析系 统的一般性， 另一方面由于微型光谱仪自身的特征决定了其具有相应的特殊性。 随着计算机和人工智能技术的飞速发展，基于计算机、人工智能和化学计量学 的微型光谱仪信号处理与分析技术具有快速、实时、在线、高效、便携、智能 化等特点，有着传统仪器无法比拟的优势，开展这方面的研究，对提高微型光 谱仪的性能，拓宽应用范围都有着重要的理论和现实意义。 1.5 本论文的主要研究内容 本文以重庆大学微系统中心研制的微型光谱仪为基础，以光谱信号为研究 对象，对微型光谱仪信号处理与分析技术进行了研究，具体而言，主要探讨了 以下五个方面的问题。 软件系统模型体系的设计问题。模型体系结构是光谱分析软件系统的内 在本质，深入探讨软件系统模型体系的设计问题对提高软件系统性能有着重要 意义。 非线性、小样本条件下的多组分分析问题。该问题是实际测量中碰到的 最具有普遍意义的问题，深入研究非线性、小样本条件下的多组分分析问题是 各种快速测量的基本要求。 光谱信号的波长选择问题。深入研究光谱的波长选择问题，达到克服仪 器、人员和溶液杂质等因素的影响，提高光谱分析精度的目的。 光谱信号的识别问题。光谱信号的识别是光谱定性分析的基础，深入探 讨光谱信号的识别问题，以提高光谱定性分析的效率。 光谱信号的模型转换问题。探讨光谱信号的模型转换问题，为实现不同 光谱仪测量数据的通用性、可比性提供了依据。 重庆大学博士学位论文 8 1.6 本章小结 微型光谱仪是整个微型光谱仪分析系统的基础，光谱信号的处理与分析技 术是整个微型光谱仪分析系统的关键，是光谱仪微型化、集成化和智能化的重 要方面。本章介绍了微型光谱仪信号处理与分析技术的国内外研究现状，概述 了研究微型光谱仪信号处理与分析技术的目的和意义，明确了本文主要以重庆 大学微系统研究中心研制的微型光谱仪为基础来开展光谱信号的处理与分析技 术的研究，并详细介绍了主要研究内容。 2相关基础理论 9 2相关基础理论 本章摘要：本章摘要：本章在介绍了光谱仪和光谱分析的一些基础理论的基础上就光 谱分析软件系统的设计与实现问题进行了探讨，根据光谱仪的实际测量过程和 软件系统设计的要求，建立了光谱分析软件系统的基本功能模型框架，并就各 模块进行了较为详细的设计与分析。 2.1 光谱仪的分类和基本结构171819 目前而言，光谱仪的种类很多，分类方法也多种多样。根据光谱仪测量光 谱波段的不同，常把光谱仪分为紫外光谱仪、紫外可见光谱仪、红外光谱仪和 近红外光谱仪等类型,不同光谱波段的范围如表 2.1 所示；根据光谱仪所采用的 分光方法的不同，常把光谱仪分为经典光谱仪和新型光谱仪；根据光谱仪大小 的不同，又可分为大型光谱仪和微小型光谱仪；根据光谱仪功能特点的不同， 常分为单色仪、发射光谱仪、吸收光谱仪和荧光光谱仪等。 表 2.1 光谱波段的划分 table 2.1 band division of spectroccopy 光谱波段紫外光区可见光区红外光区 波长范围 (nm)103803807807801000103 万变不离其宗，无论那种光谱仪其根本目的都是通过获取研究物质的光谱 信号来达到分析物质的组成和含量的， 其基本结构都存在着一定程度上的相似。 对于基于空间色散原理的光谱仪器，通常由光源和照明系统、分光系统和接收 系统等三部分构成，如图 2.1 所示。 光源和照明系统：光源可以是研究对象，也可以作为研究的工具照射到 被研究的物质上，照明系统是用来尽可能多地会聚光源射出的光能量，并传递 给仪器的准直系统。 分光系统：包括准直系统、色散系统和成像系统。准直系统一般由入射 狭缝和准直物镜组成，由狭缝发出的光束经准直物镜后变成平行光束投向色散 系统。色散系统是利用色散元件（棱镜或光栅等）将入射的复合光分解成光谱。 成像系统的将空间上色散开的各波长的光束会聚在成像物镜的焦平面上，形成 一系列的按波长排列的狭缝的单色像。 接收系统: 将成像物镜焦平面上的光谱能量接收，并检测光谱的强度、 重庆大学博士学位论文 10 波长位置，并以光谱图或其它形式的数据输出。 gl3 l1l2c s h 光源和照明系统光源和照明系统分光系统分光系统接受系统接受系统 2.2 测定分析的理论基础20 通常应用光谱仪来研究分析物质性 质的理论基础是朗伯比尔定理。朗伯 比尔定理描述了光的吸收程度与溶液 的浓度和吸收光程（即液层的厚度）之 间的关系，可用式 2.120表示： 2 10 lglg i i abc i i a(2.1) 式中：a溶液的吸光度； i 透过光强度； 0 i 入射光强度；a吸光系数，单位为 11 cmgl； b液层的厚度，单位为cm；c溶液的浓度，单位为 1 lg； 1 i经参比溶液的透过光强度； 2 i经样品溶液的透过光强度； 光谱仪就是根据朗伯比尔定理通过测定溶液的吸光度来研究分析溶液 所含物质的组成和含量的。在多组分溶液的情况下，如各吸光组分的浓度均比 教稀， 可忽略相互之间的作用， 这时体系的总吸光度等于各组分的吸光度之和， 这叫做吸光度的加和性。即有式 2.220成立： n aaaa 210 (2.2) 式中： 0 a 溶液总的吸光度； i a 组分i的吸光度,ni, 1 ； 2.3 产生理论误差的主要来源2021 根据朗伯比尔定律，在溶液厚度一定的情况下，吸光度与溶液浓度之间 图 2.2 测量过程的示意图 figure 2.2 the measuring process of spectroscopy h光源 ；l1聚光镜；s 狭缝； l2准直物镜 ；g色散元件；l3成像物镜 ；c接受检测器 图 2.1 光谱仪的基本结构 figure 2.1 the basic structure of spectrometer 2相关基础理论 11 应呈线性关系，但在实际测量过程中，吸光度与浓度之间常常偏离线性关系， 即产生偏离朗伯比耳定律的现象，这会给最终的分析结果带来误差。产生这 种偏离朗伯比耳定律现象的主要原因有： 非单色光引起的偏离 严格地说，朗伯比尔定律只适用于单色光，而在实际工作中绝对不可能 从光学分析仪器上得到所谓真正意义上的单色光，只能是波长范围很窄的复合 光。由于物质对不同波长的光具有不同的吸光度，因而在实际工作中即使应用 很高级的光谱仪，仍会产生偏离朗伯比尔定律的现象。 化学因素引起的偏离 从理论上讲，朗伯比尔定律只适用于均匀、相互独立的、无相互作用的 吸收粒子体系，但在实际测定过程中，试样经常会发生缔合、离解、电离、溶 剂作用和产生同性异构体、组成新的络合物等化学变化，从而使吸收粒子及其 相互间的平均距离发生变化，以致每个粒子都可影响其邻近粒子的电荷分布。 这种相互作用，可使它们的吸光能力发生改变，从而导致测定结果偏离朗伯 比尔定律。 杂散光引起的偏离 杂散光是引起偏离朗伯比耳定律现象发生的主要因素之一，这是因为： 1)试样溶液由许多粒子组成，这些粒子会对入射光产生散射，并且随 着浓度的增大，这些散射光强度会不断加强，降低透射光强度，使被测试样的 吸光度增大，从而产生偏离朗伯比耳定律的现象。 2)由于仪器本身的光学系统会产生杂散光，使得分析测试的吸光度减小， 以致引起偏离朗伯比尔定律。由于有些物质在光的照射下会产生光致发光现 象或产生荧光，也将产生偏离朗伯比耳定律的现象。 3)其他因素引起的偏离 除以上因素外，测定时的温度、压力等环境因素的变化，探测器的非线性 等都可能引起偏离朗伯比尔定律。 2.4 测量条件的选择20 测量条件选择不当也会产生误差。测量条件主要涉及波长，参比溶液，吸 光度读数范围等。由于参比溶液的选择主要涉及到化学方面的知识，跟信号处 理方面关系不大，在这里就不予讨论了,下面就波长和吸光度读数范围的选择问 题进行论述。 波长的选择 吸光度曲线是选择波长的依据。一般根据待测组分的吸收光谱，选择最大 重庆大学博士学位论文 12 吸收峰所对应的波长作为测定波长，这样可提高测定的灵敏度和准确度。当杂 质干扰物在最大吸收波长处有明显吸收时，则应另选待测物吸收较强而干扰 物吸收很小处的波长为测定波长，同时还应尽量选在吸收峰比较平坦的位置， 以避免产生偏离朗伯比耳定律的现象。这些只是一些指导性的原则，如果要 做精细的分析就远远不够了，在后面本文还将详细讨论这个问题。 吸光度读数范围的选择 常用的光谱仪都有透光度t和吸光度a两种坐标， 其中t为均匀刻度，a为 非均匀刻度，且talg。当对透光度t读数时，在坐标的任何位置会产生确 定的读数误差t。由于 a 的刻度的非均匀性，同样的t在坐标的不同位置所 引起的a的读数误差a是各不相同的。因为吸光度a与浓度c成正比，故同样 的读数误差t在坐标的不同位置所引起的浓度测定的绝对误差c和相对误差 cc也是不同的。 要减小由读数误差所引起的浓度测定误差， 就应该找出浓度 测定的相对误差在坐标刻度的不同位置处的变化规律。根据相关公式推导可得 出如下式子。 tt t c c lg 434 . 0 (2.3) 依据给定的t，根据该式就可以给出合适的吸光度读数范围，从而反过来 保证浓度测量的准确度。对于计算机处理的数据，上述结论仍然具有一定的指 导意义。 2.5 光谱信号的基本特点和去噪声处理 在不考虑噪声的理想情况下，光谱信号是一个由分析物质、波长和仪器决 定的确定信号。由于受仪器噪声、环境微小变化等因素的影响，在实际测量中 所得的光谱信号是真实信号和噪声的迭加，即由代表真实信号的确定部分和代 表噪声的随机部分迭加而成的。一般而言，微型光谱仪相对大型的光谱仪具有 信号较弱、噪声较大等特点，因而对信号进行相应的去噪预处理显得尤为必要。 光谱信号去噪处理的方法较多，传统的方法有限幅滤波、中值滤波、均值 滤波、递推平均滤波、傅立叶变换、曲线拟合等，现代的方法有去卷积、时频 分析、小波分析等。在上述方法中，傅立叶变换和小波分析两种方法用得较多， 其基本去噪过程如图 2.3 所示22。由于具体信号的不同，解决的方法也应随之 变化，究竟选用那种方法要具体问题具体分析，以达到快速去除噪声信号和保 留有用信息的目的。图 2.4 是模拟的理想光谱信号，图 2.5 是模拟的测量光谱信 号，图 2.6 是经过傅立叶滤波后的光谱信号，图 2.7 是经过小波 sym4 滤波后的 光谱信号。从中可以看出，经过滤波后的信号更接近理想信号。 2相关基础理论 13 原始信号去噪信号 原始信号去噪信号 小波域滤波小波逆变换小波变换 傅立叶变换频率域滤波傅立叶反变换 250300350400450500550 - 0.1 0.1 0.3 0.5 wavelength(nm) absorbance 250300350400450500550 - 0.1 0.1 0.3 0.5 wavelength(nm) absorbance 250300350400450500550 - 0.1 0.1 0.3 0.5 wavelength(nm) absorbance 250300350400450500550 - 0.1 0.1 0.3 0.5 wavelength(nm) absorbance 2.6 均匀设计和交叉验证232425 在光谱分析过程中，常常希望用尽量少的实验次数来达到获取最佳实验效 果的目的。特别对多组分分析而言，实验次数的减少意味着分析速度的加快和 图 2.3 小波变换和傅立叶变换去噪的基本示意图 figure 2.3the sketch of removing noise with wavelet transform and fourier transform 图 2.4 理想的光谱信号 figure2.4 the spectral signal without noise 图 2.5 含噪声的光谱信号 figure2.5 the spectral signal with noise 图 2.6 傅立叶滤波后的光谱信号 figure2.6 the spectral signal removed noise with fourier transform 图 2.7 小波滤波后的光谱信号 figure2.7 the spectral signal removed noise with wavelet transform 重庆大学博士学位论文 14 分析效率的提高。因此如何设计安排实验是一个不容忽视的环节。 试验设计正是研究如何最优地设计实验方案，以最有效地获取各种信息， 达到优化实验条件和降低实验成本的目的。常用的试验设计方法有正交试验设 计方法和均匀试验设计方法等。 均匀试验设计方法是我国数学家方开泰和王元等提出来的一种着重在试验 范围内考虑试验点均匀散布，以获得最多试验信息的试验设计方法，特别适用 于多因素多水平而试验次数很少的试验设计。均匀试验设计方法的使用是围绕 均匀设计表进行的，具体步骤基本上与正交试验设计相同。由于均匀设计表安 排允许的因素水平数较多，水平间隔较小，研究因素的范围宽，试验点在整个 试验区域内分布均匀，试验结果具有较好的代表性，一般来说，指标取最佳值 的试验点所对应的试验条件，即使不是全面试验中最好的条件，往往也是接近 于全面试验中的最好条件的。 模型的建立 模型的校验 训练样本集较好的模型 图 2.8 模型建立和模型检验的关系 figure 2.8 the relationship of model and validation 在光谱分析过程中，许多分析方法从数学本质上来说，都是一个建立模型 的过程。 存在着建立模型就必然存在着模型校验。 图 2.8 为模型建立和模型检验 之间关系的示意图。模型校验是检验模型好坏与否的一个重要环节。通常的做 法是：首先将原始数据样本分为两部分，一部分是训练样本，另一部分是检验 样本；然后用训练样本建模，再用检验样本代入模型，并求出所有检验样本的 残差，将其平方求和，用这个计算值的大小作为判据来检验模型的正确性。这 种方法实际应用效果较好，但是在样本数量较少的情况下，该方法将面临着这 样的矛盾：既希望有尽可能多的样本用来建立模型，同时又希望有尽可能多的 样本用来检验模型的正确性。 交叉检验是解决小样本条件下模型校验问题的一个较好的方法，它能充分 利用样本，其具体做法是：首先将原始数据样本分成n组集(n1)，除去一个 集，用1n个集进行建模，用剩下的那一个集来对模型进行检验，然后重复 次同样过程，每次都留一个不同的集作为检验集，每一次这样的过程都会得到 2相关基础理论 15 一个检验误差度量。这样，就可把所有的数据都用来建模和检验了。 2.7 软件系统的基本模型框架 光谱仪是一种常用的定性定量分析仪器，其基本测定过程如下：读取仪器 暗噪声，进行暗噪声扣减，读取参比信号，读取样品信号，计算样品吸光度， 与标准值比较得出样品的浓度数值。 光谱分析软件系统在结构功能上，应具有单组分测量分析，多组分和时域 分析，光谱自动识别，波长标定，吸光度标定等功能；在光谱信号的预处理方 面，应具有去噪，平滑、非均匀性校正、非线性校正等功能；在具体实现算法 上，应具有典型的传统算法和高效的现代算法；另外在软件界面方面上，应界 面友好，简洁方便。 根据光谱仪的基本测定过程和软件系统设计的基本要求，可建立光谱分析 软件的基本模型框架26，结构如图 2.9 所示，其包含的基本模块为：a/d 采集 卡配置，坐标标定，光谱信号预处理，获取样品吸光度，吸光度处理分析，时 域处理与分析，图像与报表输出、软件帮助系统等。 光谱仪分析 软件系统设计与实现 a /d 采 集 卡 配 置 坐 标 标 定 光 谱 信 号 预 处 理 获 取 样 品 吸 光 度 吸 光 度 处 理 分 析 时 域 处 理 与 分 析 图 象 与 报 表 输 出 软 件 帮 助 系 统 p c i 卡 配 置 u s b 卡 配 置 读 取 仪 器 暗 噪 声 读 取 参 比 信 号 读 取 样 品 信 号 计 算 样 品 吸 光 度 单 组 分 分 析 系 统 多 组 分 分 析 系 统 光 谱 自 动 识 别 光 谱 数 据 库 基 本 编 辑 操 作 时 域 系 统 设 置 实 时 数 据 处 理 汞 灯 波 长 标 定 吸 光 度 校 正 非 均 匀 性 校 正 非 线 性 校 正 基 本 去 噪 处 理 图 2.9 光谱分析软件系统的基本功能模块框架 figure 2.9the basic function structure of spectral analysis software 重庆大学博士学位论文 16 不同模块的基本功能和实现方法如下所述。 a/d 采集卡配置模块 包含 pci 卡配置和 usb 卡配置两个子模块， 可以实现信号采集卡的选择和 采集频率的设置。对不同信号，可通过采集频率的调整来相应地改变积分时间 以获得效果满意的光谱信号。 坐标标定 包括横坐标方向上的波长标定和纵坐标上的吸光度校正两个子模块。坐标 标定的目的：一方面可建立探测器像素与波长之间的对应关系，另一方面使同 一产品的不同仪器对同一具体样品的测量结果具有可比性。波长标定的具体方 法：利用已知汞灯谱线的特征波峰位置所对应的波长来标定探测器像素与波长 之间的对应关系，一般采用多项式拟合的算法来实现。吸光度校正的具体方法： 以某种溶液在一定条件下的吸光度曲线为标准值进行校正，可采用最小二乘法 来实现。一般而言，光谱仪在出厂时已进行了标定，由于受环境条件的影响， 标定结果会发生微弱的漂移，为减小这方面的漂移误差，可在测量前重新标定。 光谱信号预处理 测量信号不可能和理想值完全一样，总会存在一定的误差，光谱信号预处 理就是对信号进行相应的处理以减小并消除仪器、环境、人员等因素对光谱测 量结果的影响，其具体包含非均匀性校正，非线性校正和基本的去噪处理等三 个子模块。 非均匀性是指当相同强度的光照在探测器不同像素上，不同像素产生不同 强度的响应；非线性是指在探测器工作范围内，像素的光照强度和该像素的响 应强度不存在线性关系；噪声干扰通常指光谱信号受到各种随机信号的干扰。 实现非均匀性校正的具体算法通常采用两点校正法；实现非线性校正的具 体算法较多，其中多项式拟合和神经网络法较为普遍；进行信号去噪处理的方 法前面已经进行了相关地论述，在选用方法时应该具体问题具体分析。 获取样品吸光度 根据光谱仪的基本测定过程，可分为读取仪器暗噪声，读取参比信号，读 取样品信号和计算样品吸光度等四个子模块，是整个系统测量分析的基础。读 取仪器暗噪声是指在没有光照的情况下，读取光谱仪的实际输出信号，理论上 该信号的值应为 0， 但是由于光电探测器件本身是非理想的器件， 存在积分暗漏 电流、热噪声等因素的影响，因而实际输出并不为 0，暗噪声混杂在测量的参比 信号、样品信号中，对最后计算样品吸光度产生影响，可事先在没光进入光谱 仪的条件下进行测量，利用该值对测得的参比信号和样品信号进行修正。读取 参比信号是指为了消除比色皿、溶液中的溶剂、试剂、其他非待测组分等对入 甘 + ! ， 2相关基础理论 17 射光测量的影响，用具有待测试液相同干扰因素的溶液作参比试剂来抵消上述 影响。读取样品信号是指读取透过样品溶液的光谱信号。计算样品吸光度是指 利用暗噪声、参比信号和样品信号，根据公式(2.1)可计算出样品的吸光度值。 基本的编辑操作 包括光谱信号的采集、保存、输入、输出；窗口缩放、坐标单位的选择， 光谱特征点的定位等。 吸光度处理分析 包括单组分分析系统、多组分分析系统、光谱自动识别、光谱数据库等四 个子模块。 1)单组分分析系统用于对单一组分体系进行数据分析，具体包括差示分光 光度法、导数分光光度法、标准直线法等。 2)多组分混合物中各组分的同时测定问题是光谱分析中的基本问题，多组 分分析系统用于对多组分体系进行数据分析，其基本原理是根据各组分的纯溶 液的吸光度和混合溶液的总的吸光度，利用加和性原理，推测出混合物中各组 分的含量，即对样品的一次测量可同时完成多种质量参数的分析，其实现的具 体方法包括卡尔曼滤波、神经网络、多元线性回归、目标转换因子分析、偏最 小二乘法等。 3)光谱识别技术是指在相同测定条件下，比较光谱信号之间的相似程度， 从而得出两者之间化学组成关系的技术，其基本过程是这样的：对未知光谱信 号进行特征提取，和光谱信号标准特征库中的已知光谱进行比较，然后得出结 论。 图 2.10光谱数据库的调用示意图 figure2.10sketch of call dbms 4)光谱数据库包括光谱信号标准特征库和光谱原始信号库两部分，对光谱 信号进行数据库归档管理，可通过单独运行来进行管理，也可通过处理分析程 序调用 odbc（开放式数据库互联）的方式达到数据维护等操作的目的。 保存数据获取数据 控制指令采集数据 采集卡驱动程序 处理分析程序 光谱数据库管理系统 重庆大学博士学位论文 18 图像与报表输出 对光谱数据库进行一般的数据查询、修改、保存、删除等操作；根据特定 要求实现光谱图像和数据报表的显示和输出。 时域处理与分析 包括时域系统设置和实时数据处理两个子模块，可对某时间段的光谱信号 进行动态监控和实时处理。 软件帮助系统 软件的使用说明和具有操作实例等相关信息的帮助系统。 2.8 本章小结 本章介绍了光谱仪的分类和基本结构、测定分析的理论基础、产生理论误 差的主要来源，测量条件的选择，分析了光谱信号的基本特点，概述了一些去 噪声处理的方法，论述了均匀设计实验方法和交叉验证技术，最后根据光谱仪 的实际测量过程和软件系统设计的要求，就光谱分析软件的设计与实现问题进 行了探讨，建立了光谱分析软件系统的基本功能模型框架，并就各模块进行了 较为详细的设计与分析。 3多组分分析和波长选择 19 3多组分分析和波长选择 本章摘要：本章摘要：多组分分析和波长选择是光谱分析中的基本问题。本章在概述 多组分分析和波长选择常用方法的基础上，提出了基于支持向量机、均匀设计、 交叉验证和小波分析的多组分分析方法和基于粒子群算法的分段波长选择方 法，并采用计算机模拟的方式分别进行了相应的方法验证。 3.1 多组分分析问题的提出 在光谱信号的分析过程中，最常见的是对单组分的纯品物质进行测定，而 现实生活中碰到的大多数是多组分的混合物，如果对混合物中的各个组分进行 分离提纯再逐一测量当然可行，但是费时费力。特别是在石化、医药和环保等 行业，要求对如石油、中草药和废水废气等复杂的混合物样品能够快速给出分 析结果的时候，这种分离、提纯、再逐一测量的方式显然不能满足要求。如何 达到不经分离就能快速准确地测量出混合物中各个组分的含量已成为一个很现 实的问题摆在人们面前。 正是在这样的背景下，光谱信号的多组分分析受到了人们的普遍关注，在 光谱分析技术中占有着重要的地位。光谱信号的多组分分析技术是指运用相关 的算法对测量的光谱数据进行相应的分析处理，从而达到不经分离、一次测量 就可同时得出混合物中各组分含量的目的。 光谱的多组分分析技术和其研究的原始对象混合物有着密切的关系。混 合物性质的差异影响着进行多组分分析具体的方法和策略的调整。通常，人们 把分析工作中所碰到的混合物体系按对其组成成分了解的程度分为白色体系、 黑色体系和灰色体系等三种1227： 白色体系是指在混合物体系中各个组成组分均已知（即已完成定性分 析） 。分析的目的只在于对各个组成组分进行定量分析； 黑色体系是指对分析试样的组分组成数量和性质以及浓度均未知。分析 的目的不仅要确定其组分数， 进而对样品进行定性 （即将其转化成为白色体系） ， 而且还要进行定量分析； 灰色体系是指在混合物体系中部分组分已知还有部分组分未知的。分析 的目的是视具体要求而定， 既可能存在要求完全解析该混合物的定性定量分析， 也可能存在只要求对已知组分的定量分析。 一般而言，黑色体系的多组分分析难度最大，灰色体系次之。由于黑色体 系和灰色体系的多组分分析常涉及到光谱识别技术（本文第四章） ，因此在本章 重庆大学博士学位论文 20 中不再对其进行讨论。本章所讨论的混合物如未做特别说明均指白色体系，所 讨论的光谱多组分分析方法也指的是针对研究白色体系的。 现有常用的光谱信号的多组分分析方法28- 38从具体的实现思路来看，基本 上可分为三类23：一是根据光谱信号的加和性原理和各物质单组分的吸光度系 数，直接进行分析预测，如多元线性回归、卡尔曼滤波等方法；二是根据光谱 信号的加和性原理，在已知一组样本数据的基础上采用间接的方式进行分析预 测，如 k 矩阵、主成分回归等方法；三是根据统计学理论，从一组已知样本数 据出发进行研究并寻找规律，然后利用这些规律对未来数据进行预测，如神经 网络等方法。 尽管方法不少，但不同的方法有着不同的适用范围和条件。探讨各种方法 的适用范围和效果、改进现有方法、研究更新的方法