（生物医学工程专业论文）ftir谱图的研究及其在大气监测中的应用.pdf

声明 本学位论文是我在导师的指导下取得的研究成果， 尽我所知， 在 本学 位论文中， 除了 加以 标注和致谢的部分外， 不包含其他人已 经发 表或公布过的 研究成果， 也不包含我为获得任何教育机构的学位或学 历而使用过的材料。 与我一同工作的同事对本学 位论文做出的 贡献均 己在论文中作了明确的说明口 研究生签名: 神 年卯 硒 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档， 可以 借阅 或上网公布本学位论文的部分或全部内 容， 可以向有关部门或机构送 交并授权其保存、 借阅或上网 公布本学 位论文的部分或全部内容。 对 于保密论文 ，按保密的有关规定和程序处理。 研究生签名: 叫年 夕 月 必 日 硕士论文 f flr谱图的研究及其在大气监侧中的应用 1引言 大 气环境监测包括污染 物时间 和空间的 监测， 其中大气污染 物的 空间 分布是 指 进入大气环境的污染物浓度或污染因素强度随空间不同而不同的情况， 大气污染的 监测与防治越来越引起社会的关注。20 世纪 80 年代发达国家开展了卫星遥感监测 技术，用于对地球大气环境监测111 ，近些年来，遥感开路傅里叶变换红外光谱 ( r e m o tes ens i ng0 p enp ath f oun ertr ans fo rm i n fr ar ed， o p 一 f t i r ) 技术逐渐应 用于 遥感监 测气体空间浓度分 布121 . f t i r 在气体实时定量测量分 析技术中变 得越来越重要， 最 近美国 环保署( e p a ) 已 经通过了o p 一 fr ir 监测有毒气体污染物 ( h a p ) ， h a p是在 1990 年e 以 的清洁 空气法案中定义的。为了支持基于遥感的红外技术，美国国家标准与技术研究院 ( n ls t ) 最近发 展了一 种基于按重量 制备标样的i i a p 标准定量光谱数据 库13) 。 随着对分析要求的提高， 单纯的仪器分析与化学分析 已经不能满足现代分析的 要求了，它正在与数学、物理学、计算机科学、生物学等学科有机的结合起来，由 单 纯的 提供 数据 上升到 从分析数据中 获取有用的 信息 和知识， 来更好的解决实 际问 题。 ll傅里叶变换红外光谱 ( 盯 i r)在大气监测中的应用 l l i 遥感傅里叶变换红外光谱技术 ( r s . f r ir) 近年来 发展的 遥感测量技 术， 为实时监 测大范围气体污染物的 成分变化及分 布 情况提供了 可能。 各国 环境科学 工作者都 在努力将遥感技术应用 于大气污染自 动 监 测 系 统 卜 10 ， 如 差 分 吸 收 激 光 雷 达 技 术 ( di 月 七 re n tial a b so rpti onli dar， d ia l ) 间， 差 分 光 学 吸 收 光 谱 技 术 ( d i血e nti 日 opti 喇a b s o 印 t io n s p e ctro s c o p y ， n o 5 ) 1， 1， 可 调 二 极管 激 光 技 术 门 b 拙 b le o i o del as e r ， 功l ) 12 1 3 ，印一 f t ir技 术 1，小 坷 . o p 一 frir技术是近年 来发 展起来的一 种新兴的探测技术。 高 分辨傅里叶 变换红 外光 谱仪能 够从分子的 振动转动光谱中 得到更多的 信息， 可以 解决水蒸 气吸 收谱线 和其 他谱线重叠的问 题， 而与遥感技 术相结合 更显示出 其在大气监测方 面的 优势. r s 一 o p 一 f t ir用于大气分析，可分 为主动式 和被动式两类. 主 动 遥 感 常 用 做 环 境 大 气 污 染 研 究， 王 俊 德 等 人 11， 刁 0 曾 用o p . f t i r 对 摩 托 车 、 摩托 快 艇 和 无 人 驾 驶 靶 机 的 尾 气 进 行了 定 性 、 定 量 测 定。 19 95 年 ， d av id等 人 121 将主 动 式 遥 感 用于 清洁 生 产 的 预 普 、 危 险 废 弃 物上 方 的 气 体 浓 度的 监 测; di lip 122i 利用该技术 对美国 的 k en tu cky 城市 上空的c o 、 n o 、 n h 3 等污 染物进行了 测 量. 2003年， willi aml23 1 利用o p 一 f t i r 技术对工 业生产中 产生的 有毒 化学物质， 如甲 醇， 硕 士 论 文 p l l r谱图的研究及其在大气监测中的应用 苯，光气， 硫酸蒸汽，进 行了 定性和定量的 监测。 被动式 遥感 f t ir 技术利用待 测 对象的自 身发射或对太阳 光、 月亮光的 吸收， 对 待测组分进行定 性或定 量测定。 该 技术不需要光源和后向反 射器， 结构简 单， 可测量 燃烧条件下的 排放 气体， 利 用分 子光谱数据库h-it r a n和h i t e n ip的多 层反演软件确定多 组分气体的 温度和 浓度 1 2 小 2 刀 在研究气体组分或 颗粒物的 空间分 布上， 如涉及空 气污染源排放的有害气 体的 扩散问题，o p 一 f t ir 测定结果只能获得光路积分浓度数据 ( p ath ln l e 助 ed c o nc e n t ra t i ons ， pi c s)，而不能直接反映待 测参数 ( 如气体浓度) 在空间的 分布， 这使其应用受到限制，于是，近年来发展起来了一项新技术开路傅里叶变换红 外光谱层析技术 ( o p 一 f t n 灯 c t ) 。 l l z c t与o p 一 盯皿 联用技术的发展 op 一 fti r仪提供全 光程积分浓度数据， c t技 术提供待测参数 ( 如 气体浓度) 在空间的分 布， 两者结 合产生了一 项新 技术一 一 一 o p 一 f t ll 灯 c t ， 它 采用红外 光谱仪作 为光 谱遥感 测量设 备， 利用层析 技术重构待测参 数的 空间分 布轮廓图 25。 19 79年， b ye r 等 人 129首 先 提出 用 红 外 光 学 遥 感 层 析 技 术 ( ct- o r s) 重 构 户 外 空气污染物浓度分布图的理论，随后又将层析技术用于光路积分的光学遥感仪 ( pl 一 o rs ) 。19 82年， wo l fe等人t30 1 用 合成的 数据加以 验证. 19 90年， to dd等 人 131 提出 使 用c t 与 开 路 傅 里 叶 变 换 红 外 光 谱 仪 绘 制 工 厂 室 内 污 染 气 体 浓 度 分 布图 。 1 9 94年 ， yost等 人 132 第一 次 将c t 与f t ir 技 术 理 论 用 于 实验研究， 在一个可监控通风室里放置一个释放痕量气体的点源， 通过o p . f flr光 谱测定并经层析重构，得 到稳定态的s f 6 气体浓度 分布轮廓图。 前面的c t技术是根 据网格图来 完成的，这需要 很复 杂的交叉光路，所以 在 应 用 上 受 到了 很 大 的 限 制 33。 到90年 代 末 ， d re s che尹 4 邵 等 人 发 展了 一 种 新的c t 技 术s b f m算法， 与之前的网 格图 不同 的是， s b f m算法是基于一 套连续的 基函 数 产 生 很 好的 浓 度分 布的 重 构 图 。 wu 等 人 133通 过o p 一 ftir光 谱 测 定 点 源释 放的从 。 气体， 并用s b f m法进行二维 重构， 重构图与点 样测得的肠 g ed 图 形一致。 该 法 可在 1 .z m 范围内 确定浓度峰 位置， 更重要的 是， 该法简 化了 极复杂的交错光路 。 r a 月 as h m o nay 等 人 13 同5 用 发 散 状 非 交 错 光 路 和s b fm 算 法 进 行 二 维c t 重 构. 实 验前，他们先对仪器进行校准， 之后进行泄漏实验。 他们的 c t重构不仅基于 o p 一 ftir测量值，而且基于 射线扫描数据。 硕 士 论文 f t i r谱图的研究及其在大气监测中的应用 1 .2 小 波分析 在谱图 解析中 的应 用 l 2. 1小 波分析简介 自 从 1 8 22 年傅里叶发 表 “ 热 传导解析理论”以 来，傅里叶 变换一直是信号 处 理 领域中 最完美、 应用最广泛、 效果最好的一种分 析手 段， 但傅里叶变换只是 一种 纯频域的分析方法，它在频域的定位性是完全准确的，而在时域无任何定位性。相 反，当一个函数用6函数展开时，在时域的定位性是准确的，而在频域无任何定位 性。 实际中 ， 对于 一些常见的非 平稳信号， 如音乐 信号， 在目 标出现的 位置对 应一 个回 波信号; 光 谱信号， 不同 波数点出 现特征峰等， 它们的频域 特性都随时间而 变 化， 对于这类时 变信号 进行分析， 通常要提取某时间 段的频域信息或某一频率 段所 对应的时间 信息。 因此， 寻求一 种介于傅里叶 分析和6 分析之间的，并具有一定 的 时间 和频率分辨率的基函数 来分析时变信号， 一 直是信号处理界 及数学界长期以 来 努力的目 标。 小波变换作为 信号处 理的 一种手段， 逐渐 被越来越多领域的理论学者和工 程技 术人员所重视和应用， 并在许多应用中取得了显著的效果。 同传统的处理方法相比， 产 生了 质的 飞跃， 证明了 小波技 术作为一种调和分 析方 法， 具有 十分巨 大的生 命力 和广阔的应用前景。 1 2. 2几种常用的小波， ， 闷 2 1 与标准的 傅里叶 变换相比 ， 小波分析中所用到的 小波函数具有不唯一性， 即 小 波函 数俨 (t ) 具 有 多 样 性。 小 波 分 析 在 工 程 应 用 中 ， 一 个十 分 重要 的 问 题 就 是 最 优 小 波基的 选择问 题， 因为用不同的 小波基分析同一 个问 题会产生不同的结果。目 前 主 要是通过用小 波分 析方法处理信号的结 果与 理论结果的 误差来判定小波基的好 坏. 虽然根据不同的标准，小波函数具有不同的类型，但通常是按以下的几点标准 来判断: (l ) 俨 (t)，叭 。 )，以0 和 武 劝的 支撑 长 度， 即 当 时 间 或 频率 趋向 无 穷 大 时 ， 尹 (t)， 州 ， ) ， 烈 t) 和 护 ( 叻 从 一 个 有 限 值 收 敛 到0 ( 注 : 以 t) 为 尺 度 函 数 ， 小 波 函 数少 (t)可以 由 它 求 出 来) . ( 2 ) 对称性， 它在图像处 理中可以很有效 地避免移相。 (3 ) 叭t) 和以t) 的 消 失 矩 阶 数， 这 对 于 压 缩 是 非 常 有 用 的 。 ( 4 )正则 性， 它在对信号 或图 像的重构获得较好的平滑效果作用上是非常 有 用的。 具有对称性的小波不产生相变畸变;具有好的正则性的小波，易于获得光滑的 硕 士论 文 f 】， 】r谱图的研究及其在大气监测中的应用 重构曲线和图像，从而可以减小误差。 常 用 的 小 波 有 很 多 种 ， 比 如: s y 创 et小 波， 通 常 表 示 为s y m n( n = 2 ， 3， ，8) ， 是d a u bec hi es提出的 近似对称的 小波函 数， 它是对db函 数的一种改 进; c oi fl ct(coif n )小 波，是 d a u b e ch i es 根据 r. c 。 迁 由 明 的 要求构 造了小波函 数，它具有 c o if n (n 二 1 ，2，3，4， 5) 这 一 系 列 。 c oi fier 的 小 波 函 数俨 ( t) 的zn 阶 矩为 零， 尺 度函 数 护 (t)的 z n 一 1 阶 矩 为 零。 梦 ( t) 和 护 (t)的 支 撑 长 度 为6n一 1 。 下 面 详 细的 介 绍 其 它 几 个 常 用 小波。 1 . 2 . 2 . i h a a r 小 波 h 出 理 函数是小波分析中最早 用到的 一 个具 有紧支 撑的正交小 波函 数， 也是 最简 单的 一 个小 波函数， 它是 支撑域在t 0 ， 1 范围内 的单 个矩形波。 h 别 汀函 数的 定义 如下: 1一2 - 盛 - 0 j.卫 护. 誓 ( 1 . 2 . 乃 (2 二 )一雀 co s (要 ， 畏 叫 一 1) ) 乙 万j 恤佃 俨.劝节 v( a)为构 造meyer 小波的 辅助函 数， 硕 士 论 文f nr谱图的研究及其在大气监测中的应用 ， ( a ) 二 a (3 5 一 8 4 a + 7 o a ， 一 z o a3 )a 。 【 0 ，1 1( 1 2 名 ) m e y e r 小波不是紧支撑的， 但它收敛的速 度很快: 梦 ( t ) 卜 c 。 ( 1 + t !， )- ( 1 .2 .外 梦 (t ) 无限可微， me y e r 小波的尺 度函 数和小波函数如图1 . 2 3 所示。 m eyef 小 波 me ， 田尺度函数 图l 2. 3 m即 er小波 1 .2 j小 波分析 在谱图 解析中的 应用 从19 92年m 3 。 : 等 人 l3 将 小 波 变 换 首 先 用 于 流 动 注 射 信号 的 处 理 至 今 ， 经 历 了 十几年的时间， 但小 波变换以 其 突出的 特性， 迅速渗透至 化学 学科的 各个研究 领 域。 小波变换技术主 要应用于分析 化学 不同 领域中的去除 噪声和数据压 缩， 包 括流 动注射分 析、 高性能液相 色谱、 红 外光 谱、 质谱、 核磁共振、 紫外一 可见光谱 和电 化 学 等 。 同 时 也 用 于 解 决 量 子 化 学 和 化 学 物理 等 方 面 的 问 题 阳 习 。 本 文 中 主 要 采 用 小 波分析 对f t ir谱图 进行处理， 所以 下面介绍 一下小波分析 在谱图 解析中的 应用. 研 厄 】 c 乙 水 等人147利用小波包变换对近红外光谱数据进行了 模式识别的研究工 作。 与s n v ( 5 加 旧 d ax d non 刀 al m 州 a t e ) 方法和不预处理方 法进行比 较，小 波包变换能 够提高 分类效果。 另外， 谱图的 局部 选择性解析和全谱图的 解析结果无多 大差别。 jo uan- 侧 m b aud 等 人 ， 8 利 用 小 波 变 换 技 术 在 近 红 外 光 谱 数 据 中 提 取 相 关 组 分 ， 以 进 行多元校正。 他们使用了 离散小 波变换技术， 利用d aube c hi es小 波函 数对近 红 外光谱数据进行预处理，提取出光谱数据中的噪声和非相关信息，使 rce 一 p l s 扭d ev题 t c ompon e n t e x tr a ct i o n fo r p l s) 模型预测 更准确。 硕士论文 f l .ir 谱图的研究及其在大气监测中的应用 le un g a 等 人 14 刃 分 别 采 用了 快 速 傅 里 叶 变 换 和 小 波 变 换 应 用于 红 外 光 谱 的 压 缩 存储和光 谱搜索。 结 果显示， 小波 技术在数据 压缩和光谱搜索方面优于 快速傅里叶 变换技术。 王 洪等人 501 利用 d au b ec hi es的正 交紧支 集小波基和 m al 城 算法， 实现了 对 红 外光谱数据的压缩和重建，原始数据压缩5 倍， 仍能很好地重建原有谱图，重建光 谱数据与原始光谱数据之间的均方差为 0 2 60。这为光谱数据的存储、检索和处理 带来了方便。 s h a o 川 等人在色谱谱图解析中引 入了小 波分析， 对包含两到三 个组 分的色谱图 进行了定量 解析， 结 果证明小 波分析不但能 够使色 谱重叠 信号分 离成局部 信号， 而 且保持了 信号原有的线性特征， 这 些特性确保了 能够在重构信号中进 行定量分析。 b arcl ay等 人 52 应 用 小 波 变 换 对 电 子 溅 射 质 谱 图 和液 相色 谱 图 进 行了 平 滑 、 去 噪和数据压 缩。 把离散小波变换同s avl t ” 守 . g ol ay平滑运算法则和傅里叶 变换滤 波 运算法则进行了比较，认为小波滤波运算法则优于其他方法，且其具有压缩数据的 附加的优点。 c of l ante s 等人153 1 在用a n n技 术解析药品中的 杂质特征色谱时， 对色谱数据 用 小波包进行了预处理，并且将该方法与其它方 法做了比 较，结果发 现， 利用 h aar 小波函数预 处理数据， 可以减 少数据点的 输入量， 且计算结果优于其 它预处理数 据 的方法。 leun g 等 人 154 研 究了d aube c hi es小 波 函 数 的 特点 ， 并 利 用 模 拟 信 号 进 行了 小 波 函 数的选取 工作。 他们将选定的 小波函数 应用于两 组分馄合物的 色谱图 解析中 。 结 果显示， 新方法能够有效地提高信噪比， 且能 保留传统方法的主要 特点. ho 等人【551利 用双正交基小 波变换对紫 外一 可见光谱进行了 压缩工作， 微分 脉 冲码调制技术用于减少尺度系数的 存储空间. 为了 减少均方根平均误差， 采用了 o b a (o p t in 因bi t al fo c ati on)过 程。 压 缩的 数 据 重 建 后， 仍 能 很 好 地 表 征 原 谱 图 ， 优 于以 前所研究的方法。 l 3 人工神经网 络在谱图解析中 的应 用 从大气混 合体系中同时 检测出 几种v o cs，并 分析其含量一 直是环境 监测工 作 者 所追求的目 标。 但在实际 测定时， 大气中的 污染 物通常是多组 分并存，实 测得 到 的f t ir 光谱， 通常是多组 分气体红外吸收 谱图叠 加后的 混合谱。由 于各组 分的 红 外谱图 特征峰 相互 混叠， 所以实 测混合物f t i r 谱很 难定性、定量 分析156 1 。 目 前， 利 用rs一 叮ir技术， 对大气中 有机污染 物进行定性、 定量分 析的 数据 处 理 方 法 主 要 是 光 谱 差 减 法( 5 户 戈 tr a sub t ra c tio n ) ， 该 方 法的 主 要思 想 是 : 得 到 实 测 光 谱后， 把单 组分分析 物的参照光 谱乘以 某系 数后与混 合物光谱 做差减， 依次将各 个 硕士论文 f i r谱图的研究及其在大气监侧中的应用 光谱分开。 但是当 光谱较复杂时， 定量系 数很难确定，而 且噪声、 测量误 差等外界 因素的影响， 使得分析物的 种类很难确定， 所以 在实际 应用中， 该方法 受到 很大的 限制。 近年来 发展起来的 人工神经网 络( a lt i fi ci alneu r aln e b 刃 o rks， a n n ) ， 从模仿人 脑智能的角 度出发， 来探寻新的 信息表示、 存储和处理方 式， 构 造一种 更接近人 类 智能的信息处理系统，来 解决实际 工程和科学研究领域中的问 题。 a 卜 n 因 其具有 自 学习性、 高容错性、 高度非 线性描述能力、 较强的 泛化能力 和高 度并行处 理能力， 而被 应用到 分析化学的多 元校正领 域， 被认为是 模式识别和定量 分析中很 有效的工 具 ， 已 成 为 解 决 化学 光 谱 解 析问 题 的 一 种 重 要 的 化 学 计 量 学 手 段 1网 ， 广 泛 应 用 于 红 外15 ”9 、 紫外15 ， 诵 2 】 、核 磁共振159，631 及质谱59. 分 析中。 方锐等 人 6 刀 分别用a n n和 偏最小二乘法 对n o 和n o : 的紫 外吸收 光谱图 进行 浓度分析， a n n的预测结 果的 平均误 差明 显小于偏最小 二乘得到的结果. 徐永群等人168 采用 非线性一线性、线性一线性和非线性一 非线性三种模式的 a n n ， 分别分析栽培黄答、 野生黄琴和 粘毛黄苏的红 外光谱，比 较发现: 当 训练目 标误差平方和定为 0. 01 时，非线性一线性型 a n n 识别的结果最佳，识别正确率 1 0 0 %。 丫 劝 9 等 人 叫分 别 应 用a n n 和多 种p ls方 法 ( 线 性p l s ， 多 项 式p l s 和 样 条 函数p l s ) 分析c 玩c12 和c h c1 3 混合体系中 的c h cl 3 浓度。 结果充分验证了a n n 更适用于分析非线性的复杂体系。 li等人7 时2 先后应用b p 神 经网 络对五种， 十种f t ir谱图 混叠严重的 有机 气 体混合体系进行了定量分析，都得到了很好的预测结果，同时用两种输入数据选取 方 法一等间 隔取点 和特征波长处 取点法， 对于网 络预测结果的 优劣进行了比 较. hem m a te e n ej ad等 人 73 应 用 改 进 的a n n ， 即 遗 传 算 法 一 主 成 分 分 析一 人 工 神 经 网络 ( g a 一 p c a . a n n) ，研究钙离子在不同阻隔药分子中的活性。他们首先用 p c a 提取 所有分子中的 主要参数， 然后用c a选择主要 参数的 最佳组 合方式， 随后 将组 合后的 参数 作为 a n n的 输入 变量。 与传统网 络的 预测结 果比 较，相对标准误 差明 显降 低，预 测精度明显提高。 s anto s 等 人 i7 分 别 使 用ftir， f r- r 越 川 功 光 谱 仪 和 化 学 计 量 学 方 法 分 析 柴 油 中 5 的 含量。 比 较发现， a n n联合们飞 r 别 m an的分析结 果准确性 最好， 对5 含量的 分析 精确度能 达到0. 01% 。 齐 小明 等 人 175 1将p c a 份a n n ， s ra( 逐 步 回 归 法 卜 a n n ， p l s . a n n分 别 用 于 预 测小麦样品 中的蛋白 质含量， 通过比 较， p l s 法压 缩后的 主成分数 据所包含的信 息 能 更精确地表达输入 输出之间 的关系， 提高b p 网 络的预测 精度和建模实时性. 赵深等人76 1 提出 用近红 外漫反 射光谱技术， 检 测发酵的冬虫 夏草中 氨基酸 含量 硕 士论 文f t i r 谱图的研究及其在大 气监 测中的应用 的新 方法。用b p网 络建立近红外光谱 数据与氨基酸、 精氨酸、 和总 氨酸含量间的 定量 关联模型。 预测的 标准误差分别为0. 08， 0. 07和仓 36， 优于p c r和p l s 的 预 测结果。 l 4本论文的主要研究工作 o p 一 ftir 技术已 经渗入到 大气环境监 测中， 并且逐渐显露出 其优越性。 但是 在实际的测量中，测得的光谱会掺杂不同程度的噪声，而且随着仪器精度的提高， 获得的数 据量非常大， 使得 建立 谱图 库以 及 存储大量的 谱图变得越来越 不方便， 本 文主要对 f t ir 谱图进行了噪声去除和数据压缩的研究。并且对经过上述处理的气 体红 外光谱图 进行重构研究， 获得 气体的二维 空间 浓度分布， 同时 对多 组分 气体的 谱图 进行 分析， 获得各组分的浓度。主 要研究内容有: (l) 运用小 波分析 对 o p 一 f r l r谱图 进 行去噪处理， 主要研究了f d r阐 值的 选 择方法， 并在 研究该 算法的同时提出了 一个 经验算法， 对 两种算 法进行了 实验与 研 究。 (2) 采用小 波变换对o p 一 盯ir谱图 进行了 压缩， 通过 对全局阐 值与分层阐值的 比 较、 小波变 换压缩方法与 等间隔 取数据点 压缩方法进行比 较， 来确定该算法的 有 效性，并将该方法应用于实际谱图的压缩中. (3) 运用 o p 一 f t i 刃c t技术测量 气体的二维空间 浓度分布，重构方法采用了 s b f m， 对该算 法加以 改进， 并将改进 后的 算法应用于普通环境和有障碍的 环境中 进行测量。 对于s b f m算法， 本文提出了 一 种初始 参数的 确定方法和随机搜 索迭代 法，两种方法联合应用于整个重构过程中。 (4) 本文对多组分气体混合物的f t i r 谱图 进行分析中， 采用a n n工具中的 线 性神经网 络进行训练，并验证了该方 法在多组分分 析中的 有效性。 硕士 论 文 f f ir谱图的研究及其在大气监测中的应用 2小波变换在 f l ， ir 谱图前处理中的应用 2. 1谱图去噪 用傅里叶变换红外光谱仪测量光谱时， 检测器在接受样品光谱信息的同时也接 收了 噪声 信号。 所以 应该先对光谱 进行降噪处理， 以 提高 光谱信号 解析的 准确度13 9 . 近年来，小波变换以其优秀的信号降噪能力， 在红外光谱谱图的处理与研究中 越 来 越 受 到 关 注 77 .78 。 在小波变换去除噪声的应用中，阐值的选取非常关键，它直接影响滤噪的效果 1 79. 网 ，闭 值太小会使噪声去 除不净， 不能 有效去除 噪声， 阐值过大 会导致 有用信息 丢失，谱图的 真实 性受到影响。常 用的 确定闭值的 方法主要有s ure s 址 nk阐 值方法 (rigr s ure ) 、 启发式阐值方法 ( b e u r s ur e 规则) 、 极大 极小 准则阐值方法 ( n 五 币 m 之 d 规则) 等， 这 些方法在确定阐值时带 有一定的猜测 性， 一次 去噪效果不稳定181)。 本 文主要 采用一 种错判率 ( fdr ) 方法 来确定阐值， 该方法根据统计方法， 控制噪声 被误判为信号的概率，控制滤波后所保留系数的错误率的数学期望，达到有效滤除 噪声 的目 的【vg;并 且提出了 一 种经验算法，比较了 几种闽值确定 方法的 适用性。 2. l i理论部分 2. l l i小波变换及去噪理论 小 波变换179 的 表达式: 吼 一 f 亘 叮刁 。 、 。 (2. 1 . 1) 二 (、 。)= (，。 ，)二 ，(犷)分 宁 )dt ( 2 . 1 . 2 ) 为坟 t) 的小 波变换。 其中a 为 尺度因子， b 为 位移因子. 一个含噪的一维信号模型可表示为如下形式: 5 ( k)=f ( k ) + e ( k ) ， k = 0 ， 1 ， ， n 一 1(2 j . 3 ) 其 中 ， 5 冈为 含噪 信 号， 肚) 为 有 用 信 号， e 你 ) 为 噪 声 信 号 . 红 外图 像噪声主要包括散 弹噪声、热噪声 和 l lf噪声 三类， 其中，散弹噪 声和 热噪声 是白 噪声，而小波变 换对 1 /f噪声具 有白 化作 用。 在统计特性 上，红 外图 像 硕 士 论 文 f t ir谱图的研究及其在大气监测中的应用 的 噪 声 服从 高 斯 分 布 ， 而 图 像的 小 波 系 数 亦 服 从 广 义 的 高 斯 分 布 【82 。 这 里 我 们 认 为 红外光 谱中的 噪声为高斯白噪声， 通常表 现为高 频信号，而实际工 程中 毋) 通常为 低频信号或者是一些比较平稳的信号。白噪声污染所有的小波系数，然而考虑到计 算速度和可行性问题，假设一部分系数包含噪声，另一部分包含有用信息。滤噪的 目 的 就是提取这些有意义的 系数， 忽略其 他系数183 . 因此 我们可按 如下的方法 进行 降噪处理。 首先对信号进行小 波分解， 一 般地， 噪声 信号多包 含在具有较高 频率的细 节中 ， 从而，可以利用门限闽值等形式对所分解的小波系数进行处理，然后对信号进行小 波重 构即 可达到对 信号降 噪的目 的。 对 信号降 噪实质上 是抑制信号中 的无用部 分， 恢 复 信 号中 有 用 部 分 的 过 程 ， 91 . 2. l l z 传统小波闽值的选取方法 d o no ho 等 人在 19 95年提出 基于阐 值的 小波去噪 方法1 54， 此后， 基于闽值的 小 波去噪 方法不断丰富和发 展， 并广泛的 应用于各 个科学领域。 在小波域闽值滤 波中 ， 阐 值 的 选 取 直 接 影 响 滤 波 效 果 阴 ， 所以 ， 如 何 选 取 去 噪 阐 值 是 小 波去 噪 的 关 键 所 在 ， 常 用 的 小 波 阐 值 选 取 方 法 包 括以 下 几 种 155: ( l)s ure shink 阐 值方法( ri gr s ur e ) 采用stein的 无偏 似然原 理进行自 适应阐 值选择，是 对给定阐 值t进行 似然估 计，并对非似然估计 t进行最小化来选取闽值的一种软阑值选取方法。 (2 ) visus h i nk 闭值方 法( sq two l og规则 ) 采用固定阐值形式，阐值的大小通过以下公式确定. r = a 寸 z x lo g 万(2 . 1 .4 ) 式中。 一噪声的标准方差，n 一 一 高频小波系数的长度 (3 ) 启发式阐值方法 伪 e ur sure 规则) 采用最 优预 测变量进行闽值选择， 适用于具 有大噪声，低信噪比的 情况。 (4 ) 极大极小准则闽 值方法( m i 苗 m 翻 规则 ) 采用 极大极 小原理产生阐值， 以最小 均方误差为目 标函数产生一个 极值， 是 基 于统计 学上的 极值估计器原 理的 一种阐值选取方 式。 2 1 1 3 f d r 滤波 算法1“ 司 9 1 阐值处理过程可看作 是一个多 假设检 验过程， 对于每一个系数， 检验它 是否为 。 ， 然 后 仅 保留 一 些 较 显 著 的 系 数. 阐 值 法 根 据 小 波 系 数电 是 否 落 在 区 间 -t t 内 来 检 验 原 假 设dj =0. 即 使 假 设 检 验 的 结 果能 选 择 合 理 的 系 数 ， 那 么 也 不 能 用 一 常 显 著 性水 平来检验每一个 假设. 故需要一 个对误差的控 制， 最一般的 方案是控 制噪声 被 误判为信号的概率。 硕士论文f t ir谱图的研究及其在大气监测中的应用 对 信 号 的n个 采 样点 进 行 检 验 ， 假 设城 k: dj 犷 。 ( 今表 示 含噪 信 号 在 尺 度j 上 位 置k 处 的小波系数) ， 假设在检验中 有m ， 个检验失 败， 那么 应有田 。 = n 砚1 个系数 事 实上是 0 或应被置为 0 。 将系数分为零和非零是实际 情况的 理想化。 实际中 信号 很少有系数正好为零， 这些系 数中大部分仅仅是很小而己 . 然而， 如果 假设一些系数是由 噪声引 起的， 却 被错误地保留在信号中， 或者滤波后系数的符号被置反， 这种情况就需要加以控制。 令r为 一给定 信号 通过阐值法 处理后的非零系 数数目， 在这 些系数中， 5 为 真 正由 信号引起的正确系数数目 ， 而 v为 噪声引 起的系 数数目 ， 卜v + 5 。 令 q =v伙 则q 是 噪声系数被错误保留 的比 例。 当r = c 时， q 司。 这是 没有系数保留。 f d r 为 q 的数学 期望。 f d r的算法: (l) 对 每一 个 小 波 系 数dj 方 计 算 其 双边 概 率pjx，检 验hj k: 烤 声 =0，这 里 假 设 小 波 系 数 服从标准正态分布 p jk = 2( 1 一 小 俘 0 ，1口 ， ( 止 全 旦 ) j (2. 1 . 5) (2 ) 对pj 声 进行排序， ( 3 ) 从 1 = 1开始， 即p( l印 (2) 印 回 ，每 一 个p( i) 对 应的 小 波 系 数 为dj 脚 设 最 大的1 对 应p(t 、 件)。 为拓 ， 对 于 这个而计 算 川 气 二 一0 一 鄂。 (4) 气 作为 阐 值 ， 对 所 有的 系 数 进 行 阐 值 化 处 理。 图2 . 1 . 1 所示为根据 本文中2 . 1 .2. 1 节中的包含强 噪声的 信号进 行处理， 得到的 错误率q 与所对应的f d r方法 确定的阐值t 的图， 图中的曲 线的 趋势 完全符合理论 分布的 要求，即随 着错误率q 的增 加， 确定的阐值 减小。 :_: : : 08060402 00d2040 石0 110 图2. l i 错误率q 值所对应的f o r阅 值t 硕士论文 f l lr 谱图的研究及其在大气监侧中的应用 2. l i .4 本文提出的经验算法 在本文的 研究中， 通过实 验， 发现了 一个适用于ftir 谱图 经验选取闽 值的 方 法 。 信号经过小波分解后， 得到高频小波系数和低频小波系数，通常认为，高频小 波系 数中 包含噪声， 所以 对高 频系数进行研究。 通过把高 频系数从小到大排 序并 作 图，发现其排列方式均符合图2 . 1 .2所示的规律: 小波系 数 。 j o1 选取的阔值t 41亏，!|j了，lwe-j绷 一翔 一知 一劫 一加 与习 8 孟匀 引价们引 图2. l 2经验算 法中 小波系数排 序图 经过试验发现， 将闽 值选在正的系数段中系数开始急剧上升的 位置的一半较 如图2 . 1 .2所示。本文 通过数据仿真将此方 法与 前面介绍的四 种常 用方法进 行 实验及结果 内义，创 zj卜u卜 卜傲笋.卜卜，创 2 . 1 ，2 ， i f d r阐值法对 ft i r谱图滤噪 本部 分实验采用美国环 保署e p a数据 库氯仿的ftir谱图， 并 截取含有特征 峰 的 140 0 6 o o cm.l 范围内 的 谱图 进行研究分析. 在上 述光谱上随 机加入强噪声和 弱 噪声， 使 得含噪信号的信噪比 ( 51 ，a l 一is e 户 r a t i o ， snr)分别为0. 5 和5， 0 ， 作为待分 析 的含 有噪声 的信号，如图2 . 1 . 3 所示。 本实 验采用尺度为4 的co in ets 小 波， 将信号分解， 分别采用f d r 法和常用的 ri gr s ure 、 b eursure、 面n j n 翻 闭 值选择方法进行滤 噪处理，滤噪结 果如图 2. 1 . 4 和 2. 1 . 5 所示。 表2 . 1 . 1 和2 . 1 .2 分别列出 两个噪声谱图 经过滤噪后的 相对偏差meso 硕士论文f nr谱图的研究及其在大气监侧中的应用 表2. l i 弱噪声依据f d r 、 ri 盯su re 、血 eu o u 代 、 m i ni m a 幻规则去噪 后的m es f d r ng r s u r e 0 .9 0 . 50 . 10 刀10 刀 0 1 m e so . 7 9 7 30 32 99 0 . 1 0 8 50 . 1 0 8 40 . 1 0 8 40 .0 7 9 5 heurs 幻 j em而m岌 旧 0 刀 6 2 80 通1 3 4 表2. t 2 强噪声依据fd r 、 ri g rs u 邝、 h eu” u 二 、m in 加a 幼规则去噪 后的m es f d rhe u r s u r e 0 一90 5 030 j0 一0 1 m e sl .1 8 8 30 35 6 30 . 1 4 1 80 . 1 3 1 00 . 1 3 1 0 ng rs 也 e 1 .3 8 0 51 .0 6 5 6 叭 】 i nl 川 民幻 1 .0 6 5 6 orig i n a l we a kn o i s e d 沙。qlos召 s tr o n gn o i s e d 1 4 0 01 2 0 01 0 0 08 0 06 0 04 0 0 wa v e n u mb e r / c m- 图2. l 3含噪谱图与 标准 谱图 对比 硕士论文 f nr谱图的研究及其在大气监侧中的应用 侧乡 旧】 于0 刀 0 1 q=0 .01 q =0. 1 q 印乃 听。 乡 刀 o ised 补吕。q05召 1 4 0 01 2 0 01 0 0 0 勺 v a ve n 8 0()6 0 04 0() 腼b e r l c m . 1 暑 如 确 味 洲“ 卜m;n;m:、 攫 ” 、 jn，了以* ，_ 厂 习冷 二 只 关一 鹦 、 、 扮 研 宁 州 叼， . 、尸、 ， ， 、 ， 尸、 浏 丫 一、一 y、 1 1 耳万 创 比 . 1.协暇. ， 1 4 0 01 2 0 01 0 0 08 0 06 0 04 0 0 wa v e n um ber/c m. 图2. i a弱噪声 谱图 滤嗓后的 谱图 (a) f d r法的闷 值滤 噪结果 助 吨” u re、 h eurs u 邝 、m 加 加a ”规则的阔值 滤噪结 果 硕士论文f r l r谱图的研究及其在大气监侧中的应用 补。旧05召 1 4 0 01 2 0 01 0 0 08 0 06 0 04 0 0 wa v e nu mb e r/cm- 沙口。qjos启 1 40 01 2 0 01 0 0 08 0 06 0 04 0 0 wa v e n um b e r/cm. 图2. l 5强噪声谱图 滤噪后的谱图 (a )为 依据fdr法在不同q 助 为依 据r i g rs u re、 h e u r s u re 、蒸 误率)下确定阐值滤噪结 果， 油a 幼规则确定阂值滤噪 后的 结果 硕 士 论文 f l l r谱图的研究及其在大气监测中的应用 对于含弱噪声的信号， 从图2 1 . 4 和表2. 1 . 1 可以 看出， ri 脚ure 、 heur sure 两规 则 确定的阐 值滤噪效果相对 好些， 对于f d r算法，当 错误率q 为住 01和0. 0 01时， 滤噪 后谱图效果也 很好， 跟原始 谱图 相差较小， mes 仅为0 . 1084， 与ri gr sure 、 h e ur 介 两 规则的效果相差不大。 可以 看出， 在噪声较小的 情况下， 四种 算法滤噪效果都 很 好，均可以 有效去除噪声，还原特征峰。 对于含强噪声的信号， 图2 . 1 5 及表 2 . 1 .2显示了滤除强噪声的结果。 可以看出， f d r 法明 显优于 其他三种方法，当q 0 . 1 时， 特征峰己 经明 显显露出来， 并且峰 形 及大小相差 不大， 但基线上仍有小的 噪声， 主要原因是由 于基线 上的 信号相对噪声 来说太小了，以 至于噪声充当 主要 角色， 滤噪后 将高 频率部分取掉， 但是保留 了噪 声的低频部分，不过由于这些信号不是特征峰，所以这并不影响对谱图的分析。 ri gr s u r e 、 h e u r s ure 、 m 访 i lnax i 三规则 对于 强噪声滤噪效果很差， 对于特征峰形状 还 原率很 低， 并且噪声峰强度相对也 很大， 在谱图的识别及分析 上仍存在很大的难 度。 以上实验表明，f d r算法在适当控制错误率的大小时，可有效去除f 们 r噪声，保 留其特征信息，识别特征峰。 f d r确定闽值的方法实际上是在给出显著性水平的基础上， 根据噪声强弱和期 望的 滤噪 效果选择错误率， 确定阑 值进行滤 波。 f d r随 着滤噪后错误保留系数的 增 大而 增大， 随着滤波后正确保留系 数的增加而减小， 错误率 与信号的复杂度 有关。 对于 被白 噪声污染的信号， f d r法 确定阐 值进行门限闭 值去噪 是个有效、 快 速的算 法。 1 1 :2 经验算法对f t 】 r谱图 滤噪 本实验采用美国环保署e 以 数据库中 的氯仿f t ir谱图， 并 截取含有特征峰的 1 40 0 60 0c m 一， 范 围内 的 数 据 ， 进 行 研究 分 析， 在 上 述 光 谱 上随 机 加 入 一 些 噪 声 ， 使 得谱图的信噪比为 1 . 0 ， 如图2 . 1 .6 所示， 作为待分析的含有噪 声的 信号， 从图中 可以 看出，谱图受到噪 声影响 较大. 本 实 验 采 用 尺 度为 3 的 d a u be c hi e s lo(db10 ) 小 波， 将 信 号 分 解， 分 别 通 过 ri grsure 、 s q t w o l og、 h eurs ure 、 m i ni m 几 石 和本文提出的经验 方法选取阐值， 进行 滤噪 处理。 硕士论文f t 】 r谱图的研究及其在大气监侧中的应用 雪。. 。 j兮 众 0会osq阅 4 0 01 2 0 01 0 00b 0 0 w a v el e tn 理 m b e r /c m .1 图2. l 含噪声的 氛仿谱图 图2 1 . 5 为去噪后的结 果， a. b， c， d 分别为ri gr s ure、 s qt w o l o 9 、 h eur s ure 、 n ” 苗 m ax i 规则 确定闽 值滤噪后的谱图， e 为小波高频 系数排序图， f 为 采用本文经验公式确 定 的阐值滤噪图。 表 2 . 1 3 为采用各闽值选择规则滤噪后的相对偏差 m es。 me : 定义为: 艺 ( 场 ， 一 少 酬 脚 司 ，) ， 艺兀 月 扣 创 厂 (2 . 1 . e 式 中 ， 夕 吻耐 ， 标 准 谱 图 各 点 值， 凡 腼 回 ， 滤 噪 后 各点 值， 片数 据 个 数。 表2. 1 3用尺度为3的d b lo小波去噪结果 ri grsur es q t w o l oghe urs佛血 而m 如本文经验方 法 闽值 ( thr)1 . 0 3 9 83 .4 7 2 93 .4 7 2 91 .9 8 4 90 .0 7 0 0 相对偏差 ( m e )0 . 947 80 ，947 80 .9 4 7 80 .9 4 7 80 .0 1 0 7 从表2 . 1 .2 和图2 . 1 . 6 可以 看出 ， ri gr sure 、 s q 铆01 09、 b e ur s ure