拉曼光谱特征提取方法在定性分析中的应用.pdf

浙江大学控制科学与工程学系 硕士学位论文 拉曼光谱特征提取方法在定性分析中的应用 姓名 乔西娅 申请学位级别 硕士 专业 模式识别与智能系统 指导教师 戴连奎 20100301 浙江大学硕士学位论文 摘要 I I I 拉曼光谱与分子结构的对应关系使其成为定性分析的强有力工具 它已经在 过程实时监控 质量检验 考古鉴定等领域有了蓬勃的发展 混合物的组分识别 是一种复杂的定性分析问题 本文通过对目标应用领域的试探性研究 充分利用 拉曼光谱分析技术的快速 无损 无污染等优势 创新地提出了合适的拉曼光谱 预处理 特征提取及特征匹配算法 有效地解决了目标行业现行方法存在的问题 并开发了相应的成分分析软件用于实际应用 论文的主要内容包括 1 概括了拉曼光谱分析技术的原理 特点及技术要点 通过查阅大量的中外文 献 对拉曼光谱技术定性分析方法及其在纺织纤维 毒品等物质检验分析中 的发展与应用研究做了一个较为系统完整的阐述 寻找到了拉曼光谱解决方 案这一良好契机 2 测量并分析了混纺纤维 违禁药品混合物的拉曼光谱特性 创新性的提出一 种荧光背景 容器背景去除的拉曼光谱预处理方法 以使同一实验样品在不 同的测量环境和条件下测得的原始拉曼光谱变换为具有更高的信噪比 更好 的重复性的标准拉曼光谱 3 创新性的提出一种混纺物组分的定性检测方法 通过对预处理后的标准拉曼 光谱进行特征提取 特征匹配 定性地给出其组分归属 并验证了算法的准 确性和稳定性 4 基于核心算法开发了界面友好的可视化应用程序 R M A l 自动识别软件 以满足实际应用的要求 与光谱仪搭建的检测系统已经成功的应用于实际的 检验工作 关键词 拉曼光谱特征提取定性分析纺织品违禁药品混合物 浙江大学硕士学位论文 A b s t r a c t V R a m a ns p e c t r o s c o p yh a sb e c o m eap o w e r f u lt 0 0 1i nq u a l i t a t i v ea n a l y s i sd u et oi t s c o r r e s p o n d i n gf e a t u r e st ot h es t r u c t u r eo fm o l e c u l a r I th a sb e e ns u c c e s s f u l l ya p p l i e d i nm a n yf i e l d ss u c ha sp r o c e s sm o n i t o r i n g q u a l i t yi n s p e c t i o na n da r c h a e o l o g i c a ls t u d y C o m p o n e n ti d e n t i f i c a t i o no fam i x t u r ei sac o m p l i c a t e dq u a l i t a t i v ea n a l y s i ss u b j e c t A c c o r d i n gt o t h et e n t a t i v es t u d yo ft w ot a r g e ta p p l i c a t i o nf i e l d s aq u a l i t a t i v e i d e n t i f i c a t i o nm e t h o db a s e do nR a m a ns p e c t r ap r e p r o c e s s i n ga n df e a t u r ee x t r a c t i o ni s p r o p o s e d T h i sR a m a ns p e c t r u mi d e n t i f i c a t i o nm e t h o di Se m c i e n t p o l l u t i o n f r e ea n d u n i v e r s a l w h i c hc a ns o l v et h el i m i t a t i o no fa l le x i s t i n gm e t h o d sa n df i l lag a pi n i n s p e c t i o nf i e l d B a s e do nt h i sk e r n e lm e t h o d ac o m p o n e n ta n a l y s i ss o f t w a r ei s i m p l e m e n t e dt om e e tt h en e e d so fd a i l ya n a l y t i cw o r k T h em a i nc o n t e n t so ft h i s t h e s i sa r ea sf o l l o w s 1 S u m m a r i z et h e p r i n c i p l e f e a t u r e s a n dk e yt e c h n i c a l p o i n t s o f s p e c t r o s c o p ya n a l y s i st e c h n o l o g y s y s t e m a t i c a l l y e l a b o r a t et h e R a m a n c u r r e n t d e v e l o p m e n ta n da p p l i c a t i o no fR a m a ns p e c t r o s c o p yq u a l i t a t i v ea n a l y s i si nt h e f i e l d so ff a b r i ci n s p e c t i o na n dd r u gd e t e c t i o n C o m p a r i n gw i t ha l l e x i s t i n g m e t h o d s f i n dt h ee x c e l l e n to p p o r t u n i t yf o rR a m a ns o l u t i o n M e a s u r et h eo r i g i n a ls p e c t r ao ft h eb l e n d e ds a m p l e s i n c l u d i n gf i b e r sa n dd r u g s p r o p o s eau n i v e r s a ls p e c t r a lp r e p r o c e s s i n ga l g o r i t h mt o r e m o v et h eb a s e l i n e c a u s e db yb o t hf l u o r e s c e n c ea n dc o n t a i n e r a sar e s u l t v a r i o u so r i g i n a ls p e c t r ao f o n es a m p l em e a s u r e db yd i f f e r e n te n v i r o n m e n to rc o n d i t i o nc o u l db eu n i f i e d w h i c hC a ng e th i g h e rn o i s e s i g n a lr a t i oa n db e t t e rr e p e a t a b i l i t y 3 P r o p o s ea ni n n o v a t i v eq u a l i t a t i v ei d e n t i f i c a t i o na l g o r i t h m w h i c hc a nb eu s e dt o i d e n t i f yt h ec o m p o n e n t so fb l e n d e df a b r i c so rm i x t u r e i ti saf a s td a t ap r o c e s s i n g a l g o r i t h mi n c l u d i n gs p e c t r u mp r e p r o c e s s i n g f e a t u r ee x t r a c t i o na n dm a t c h i n g r e c o g n i t i o n e x p e r i m e n t a lr e s u l t si n d i c a t et h ea l g o r i t h mi se f f e c t i v ea n ds t a b l e 4 I m p l e m e n tas o f t w a r ew i t hf r i e n d l yu s e ri n t e r f a c ec a l l e d R M A 1 t om e e tt h e n e e d so fp r a c t i c a lr e q u i r e m e n t t h ei n s p e c t i o ns y s t e mb u i l d i n gw i t ht h i ss o f t w a r e h a sb e e nu s e di np r a c t i c a la p p l i c a t i o n K e y w o r d s R a m a ns p e c t r o s c o p y f e a t u r ee x t r a c t i o n q u a l i t a t i v ea n a l y s i s t e x t i l e f o r b i d d e nd r u g s m i x t u r e 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发 表或撰写过的研究成果 也不包含为获得逝至三盘堂或其他教育机构的学位或 证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文作者签名 和几签字日期 l 年专月 日 学位论文版权使用授权书 本学位论文作者完全了解逝 江盘鲎 有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘 允许论文被查阅和借阅 本人授权逝姿太堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播 可以采用影 印 缩印或扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后适用本授权书 学位论文作者签名 伊新躲雠务 签字日期 如l 年 月p 日 签字日期 沙卜年乡月fo 日 致谢 值此论文完成之际 我衷心感谢我的导师戴连奎教授 感谢他近三年来对我 的悉心指导和关怀 戴老师领我走进拉曼光谱分析研究的大门 不仅在科研方向 的选择中给予我指导性的意见和建议 而且为我提供了一个宽松 和谐的研究环 境 引导我在科研学习中一步步向着目标迈进 戴老师不仅在科研中给予我莫大 的帮助 同时在生活中给予了我无微不至的关怀 使我在近三年里获得了更多的 成长机会 锻炼机会 戴老师严谨治学 勤恳敬业 精力充沛 思维敏锐 管理 有方 在学习 工作和生活上为我树立了良好的榜样 同时感谢合作单位浙江省出入境检验检疫局和北京公安部一所 他们为研 究课题提供了大量的实验样品 文献资料等支持 为合作双方提供了交流学习的 宝贵机会 衷心感谢吕剑锋 包鑫 淡图南 张晓曼等师兄师姐以及郑旦师傅 他们在 三年里给予了我极大的帮助和指导 站在学科前沿共享着自己的科研成果 起到 了抛砖引玉的带头作用 营造了一个积极 和谐的学习生活环境 在此表示诚挚 的谢意 也感谢李晟 阮华 林艺玲 董学锋同学 我们共同完成了数个科研课 题 共同进步 互相启发 取长补短 感谢与我同住两年多的我的好姐妹梁文君和王静嫒 我们是学习上的伙伴和 生活中的挚友 她们给予我许多热心的帮助 是我快乐的研究生生活中重要的组 成部分 对所有关心 帮助过我的所有朋友们表示感谢 因为你们 我的研究生生活 充满快乐 衷心感谢我的家人 他们付出最大的努力帮助我完成学业 感谢他们一直以 来对我的关爱和支持 乔西娅 二零壹零年壹月于求是园 浙江大学硕士学位论文 第一章综述 摘要 本章首先简单介绍了拉曼光谱分析技术的物理学原理及其与其他光谱分析技术相 比的优势和特点 接下来对拉曼光谱的应用现状做了总结和回顾 强调了拉曼光 谱在混合物定性问题上的应用较少 随后着重分析了拉曼光谱的噪声来源 详细 阐述常用的光谱预处理算法以及各种光谱特征提取方法 最后介绍了各种基于训 练样本的定性分析方法 关键词拉曼光谱预处理特征提取定性分析 1 1 引言 拉曼光谱法与红外吸收光谱法 紫外一可见分光光度法 核磁共振和顺磁共 振波谱法等方法组成的光学分析方法是仪器分析的重要内容 其中拉曼光谱技术 又由于其无需制样 干扰少 分辨率较高等独特的优点 在激光 检测和其他技 术的发展的带动下得到广泛应用 成为近年来发展最快的 最有潜力 最引人瞩 目的光谱分析技术之一 在过去的3 0 年间 国外拉曼光谱在化工生产过程的检 测 生物高分子工程 农业食品工业都已经有了相对成熟的应用 国内对于拉曼 光谱的应用也已经走出实验室 在石油炼化 生化反应等领域的过程实时检测和 控制 质量检验 考古鉴定方面有了蓬勃的发展 1 2 拉曼光谱原理 特点及应用现状 一束单色光射于试样后有三个可能的去向 一部分光被透射 一部分光被吸 收 还有一部分光则被散射 印度物理学家拉曼 C VR a m a n 于1 9 2 8 年研究 苯的光散射时发现 散射光中除了有与入射光频率相同的谱线外 还有一小部分 由于分子振动和分子转动作用波长发生偏移 即频率增加或者减少 且强度极弱 的谱线 即拉曼散射光谱 物质产生拉曼光谱谱带的数目 频率位移 谱带强度和形状等都直接与分子 的振动及转动相关联 所以拉曼光谱属于分子光谱 拉曼散射效应普遍存在于一 切分子中 无论是气体 液体或固体 无论是有机物或是无机物 这使得拉曼光 谱具有进行定性并对相似物质进行区分的功能 而且 由于拉曼光谱的峰强度与 相应分子的浓度成正比 拉曼光谱也能用于定量分析 与另一种先发展起来的分子振动光谱 红外光谱相比 物理机制的不同使 得它们覆盖的测量范围恰好是互为补充的 根据对电磁辐射的响应 分子振动光 谱分为红外活性和拉曼活性两类 拉曼光谱适用于测量红外活性弱的分子 这一 2 第一章综述 点使得拉曼光谱有利于测量水溶液中的样品 或者含水的样品 不同于红外光谱 对于水的干扰的高度敏感 1 2 1 拉曼光谱原理 拉曼散射可以从一个简单的实验观察到 在暗室里以一束绿光照射透明液 体 例如戊烷 绿光看起来就像悬浮在液体上 这其实就是瑞利散射 若通过橙 色玻璃滤光片观察 将看不到绿光而是一束十分暗淡的红光 这束光就是拉曼散 射光 一束单色光通过透明介质 能够引起介质的化学键电子云发生振动 电子云 的振荡导致光发射 即光散射 若发射光获得的能量全部能量都来自于引起电子 云振荡的入射光它们具有完全相同的能量 频率和颜色 这种类型的散射称为瑞 利 R a y l e i g h 散射 即介质分子回到它原来的振动能级 若分子跃迁到了较高 的能级 发射光子就有了较小的能量 亦即有比入射光子较长的波长 分子振动 的能量增加了 这称为斯托克斯 S t o k e s 拉曼散射 反之称为反斯托克斯 a n t i S t o k e s 拉曼散射 咯 a 图1 1 瑞利散射 a 与拉曼散射 b 瑞利散射光和拉曼散射光的强度与入射光照射的分子数成正比 所以斯托克 斯拉曼强度正比与处于最低能级状态的分子数量 而反斯托克斯拉曼强度正比与 处于次高振动能级的分子数 由玻尔兹曼 B o l t z m a n 分布可知热平衡时 斯托 克斯拉曼强度总是大于反斯托克斯强度 通常将拉曼散射强度相对波长的函数图成为拉曼光谱图 拉曼光谱X 轴的惯 用单位是相对激发光波长偏移的波数 或简称拉曼位移 若波长以厘米计算 波 浙江大学硕士学位论文 3 数就是波长的倒数 即每厘米波的数目 同一种物质分子 随着入射光频率的改 变 拉曼线的频率也改变 但拉曼位移A v 始终保持不变 因此拉曼位移与入射 光频率无关 而仅与物质分子的振动和转动能级有关 1 2 2 拉曼光谱特点 自1 9 2 8 年起 拉曼光谱的发现距今已有8 0 余年 但传统拉曼光谱仪由于 信号弱 灵敏度低等缺点 发展和大规模应用受到了限制 上世纪5 0 年代起 激光技术的兴起使拉曼光谱成为激光分析中最活跃的研究领域之一 拉曼光谱可用可见光或近红外光激光器进行激发 谱峰通常有5c m 2 0 c m J 宽 拉曼位移一般为1 0 0 c m 4 0 0 0c m 物质产生拉曼光谱谱带的数目 频率位移 谱带强度和形状等都直接与分子的振动及转动相关联 所以拉曼光谱 属于分子光谱 拉曼散射效应普遍存在于一切分子中 无论是气体 液体或固体 无论是有机物或是无机物 不同类型的物质都有对应的 指纹 拉曼光谱 并且 在一定的条件下 其强度与物质浓度成线性关系 据此可以实现对物质结构 成 分 浓度等的检测 与红外 近红外 紫外荧光等光谱分析手段相比 拉曼光谱有着突出的优势 程光煦 2 0 0 1 其表现为 检测范围广 拉曼光谱的分析范围几乎覆盖了所有的有机 无机化合物 高 分子及其混合物 这使其应用范围已不再局限于物理学和化学领域的理论研 究 而以很快的速度从各个学科分支拓展到材料 化工 生物医学 环保 考古 地质以至商贸和刑事司法等广泛的应用技术领域 无损 快速 无污染 拉曼光谱方法是一种纯粹的光学检测方法 其分析过 程无需制样 不破坏样品 不产生污染 分析过程快速 重现性好 其对试 样的外形 厚度和形状 和物态 固态 液态或气态 没有任何特定的要求 只简单地要求能用激光照射到试样上 与一般红外光谱技术通常需要制备成 薄膜或K B r 饼或溶液相比 这是一个很突出的优点 虽然近代红外光谱技术 例如漫反射 镜面反射 全反射和显微红外技术原则上也可以适应各种类型 的试样 但实际操作仍然有许多困难 远距离测试技术 拉曼能够进行远距离在线或原位分析 激发光的传送和信 息收集可通过长达数百米 光学通过率很高的光纤进行 而且能够透过玻璃 容器的壁获得信息 适合在危险环境中进行取样 采用C C D 作为光谱探测器 的拉曼光谱分析技术可将光谱扫描时间缩短至几秒甚至更短 结合发达的计 算机分析和管理技术 完全可能实现实时分析和在线监测功能 4 第一章综述 检测灵敏度非常高 拉曼光谱方法对水环境中有机成分和生物大分子等 有 着很低的检测限 一般可达m g L 同时 为了提高激光拉曼光谱的信号强度 人们进行了大量卓有成效的研究工作 提出了一些新的激光拉曼分析技术和 多种联用拉曼光谱技术 例如显微拉曼光谱技术 表面增强拉曼光谱技术等 大大提高拉曼光谱的探测灵敏度 发挥各种拉曼光谱技术的优势 拉曼光谱和红外光谱一样 都可以提供分子振动频率的信息 但是它们的物 理过程不同 所以拉曼光谱技术除了具有无损分析 样品不需预处理 分析速度 快 效率高 重现性好等特点外 在应用中还具有红外光谱等不具备的优越性 如表1 1 所示 表1 1拉曼检测技术相对于红外检测的优势 序弓拉曼的优势说明 l 不受水的影响对红外而言水是很差的溶剂 会引入强大干扰 2 容易探测微鼙样品薄膜 粉末类型的样品且无需制样 3 高分辨率空间分辨率高出红外一个数量级的显微光谱术 4 高振动频率范嗣覆盖红外覆盖整个范隔就必须改变检测器或光束分光器 5 检测响应1 F 常快甚至可用丁跟踪快速化学反应过程 1 2 3 拉曼光谱分析技术的应用现状 分析拉曼光谱的目标是探测有关试样的某些信息 这些探测信息主要包括元 素 成分 分子取向 结晶状态以及应力和应变状态 它们隐含在拉曼光谱各拉 曼峰的高度 宽度 面积 位置和形状中 定量分析 应用拉曼光谱技术作为定量分析的基础是测得的分析物拉曼峰强度与分析 物浓度间有线性比例关系 分析物拉曼峰面积 累积强度 与分析物浓度间的关 系曲线称为标定曲线 通常对标定曲线应用最小二乘方拟合以建立一方程式 据 此从拉曼峰面积计算得到分析物浓度 由于每个待测组分在拉曼谱图中会有数个特征频段 各待测组分与它们的特 征频段的特征峰之间存在交迭现象 采用多元校J 下技术可以回避分离特征峰而直 接进行定量分析问题 广泛应用的多元校正技术包括 多元线性回归 M u l t i v a r i a n tL i n e a rR e g r e s s i o n M L R 主元回归 P r i n c i p l eC o m p o n e n t R e g r e s s i o n P C R 偏最d 乘方法 P a r t i a lL e a s tS q u a r e P L S 和人工神经网络 A r t i f i c i a lN e u r a lN e t w o r k s m 州 方法 前三种方法等都是以 最d 乘 为 基础的线性回归方法 浙江大学硕士学位论文 M L R 物理意义明确 但其对回归矩阵的维数有限制 所选波长点数不得超 过训练集样本的个数 否则会形成奇异矩阵 使问题无解 波长点数受限 即光 谱数据的严重丢失 不利于模型的精度 因此国内外鲜见研究人员直接用M L R 建立定量校正模型 P C R 是最常用的定量分析技术之一 P C R 首先通过主成分分析 P r i n c i p a l C o m p o n e n t A n a l y s i s P C A 对光谱数据进行降维 以排除众多化学图谱相互重叠 的信息 光谱数据经过P C A 后被分为含有有效信息的主成分和其他部分 用主 成分代替原始光谱数据建立定量校正模型能够继承原始数据的有效信息并且降 低噪声影响 但是 P C R 仅对光谱矩阵进行特征筛选的过程中并没有考虑待测 属性矩阵的信息 所以其选出的主成分与待测属性并不一定有相关性 因而P C R 也有可能造成光谱信息的丢失 其回归结果也就不一定合理 P L S 是一种改进的P C R 其将因子分析与回归分析相结合 在进行光谱矩阵 分解时考虑了待测属性矩阵的信息 使得显著包含待测属性特征的光谱区域 特 征峰 有更大的权重 P L S 现已成为拉曼光谱定量分析中应用最广的一种方法 基于P L S 的各种改进算法的研究获得了广泛的关注 A N N 是近年发展起来的一种非线性校正技术 它具有很强的非线性逼近能 力 因此被广泛应用 但其训练速度慢 容易陷入局部最小点 发生过拟合现象 以及泛化能力较差等缺点 定性分析 拉曼光谱技术是定性分析的强有力的工具 拉曼光谱常包含有许多确定的能 分辨的拉曼峰 所以 原则上应用拉曼光谱分析可以区分各种试样 不过 所有 可能的纯净材料和它们的混合物的数量是无穷尽的 仅有少量的简单分子及其混 合物的拉曼光谱 在与其它试样的光谱相比较时 能轻易地区别出来 所以 定 性分析的一个必要的工作是根据测得的拉曼光谱判定出可能的材料和混合物 限 定这些可能物的数量 这一工作的完成需要应用试样的其他信息 例如试样的来 源和经历 是否是混合物 它的物理性质和外貌以及其他技术得到的资料 定性分析可以用人工测定 也可以用光谱数据库搜索测定 用拉曼光谱技术做试样鉴别的人工测定如同刑侦工作 必须将从拉曼光谱得 到的某些线索与试样的其他资料相联系 拉曼峰位胃标明某种基团的存在 相对 峰高标明试样中不同基团的影响或某种类型的异构化 红外吸收光谱常用来与拉 曼光谱相对比 一旦对试样鉴别有了确定的设想 通常分析人员会找到这种材料 或类似材料的确切拉曼光谱 以便进一步证实 自动搜索进行定性分析的方法目 前已得到普遍的应用 这就是光谱数据库搜索 计算机程序会自动地将未知材料 6 第一章综述 的拉曼光谱与大量的已知试样的拉曼光谱 光谱数据库 相对比 计算机会指出 一个或几个已知试样 其拉曼光谱与待测光谱最接近 这个或几个已知试样就可 能与待测试样是相同的材料 而且能给出一个数字 符合指数 以定量表明光谱 的相似程度 董华等 2 0 0 4 利用拉曼光谱成功鉴别出翡翠的各级货品及其加工 原料 孙素琴等 2 0 0 2 利用F T 拉曼光谱仪无损的鉴别中药材大黄 梁鲁宁等 2 0 0 3 对1 7 种常见炸药粉末进行了分析 证明拉曼光谱适用于快速识别炸药 覃业军等 2 0 0 5 综述了在肿瘤研究中的应用情况 肖怡琳等 2 0 0 4 证实市售 农药的拉曼光谱特征明显 可以用显微拉曼光谱仪测试农药及其在蔬菜 水果及 粮食作物上的残留 钱小凡等 2 0 0 2 利用显微拉曼技术对三种常见青霉素类药 物做了分析 发现其拉曼谱线特征明显 可以用以鉴别药物 但这些问题都属于类型划分 等级评定 真伪鉴别的范畴 对于分类问题中 的混合物的组分识别 并没有涉及 有一类课题 希望解决混合物组成成分的识别问题 例如一块混纺织物的纤 维组分鉴定 一份未知白色粉末成份的鉴定等等 王文科 1 9 9 5 用激光拉曼光 谱对乙醇 甲醇的混合物进行了研究 结果表明用工业酒精甚至甲醇勾兑的假酒 利用拉曼光谱法鉴别是可行的 郭平等 2 0 0 2 把每条拉曼光谱看作是高维矢量 空间的一个点 建立统计模型后采用贝叶斯定则进行概率分类 将乙醇 乙酸及 乙醇 乙酸和乙酸乙酯的混合物看作是三类物质 随机选取2 0 个样本作为训练 样本 剩余3 1 0 个样本的分类准确率可达9 8 刘青格等 2 0 0 5 将相关检测技 术应用于近红外光谱分析 通过作药品甲硝唑纯品光谱及混合品光谱的相关函数 值 并对相关曲线进行分析 结果表明通过相关处理 光谱信息得到了分离和增 强 利用相关分析可以定性地分析光谱中各成分的存在与否 1 2 4 拉曼光谱技术发展方向 拉曼散射效应信号微弱是拉曼应用的重大障碍 由于能接收的散射信号强度 很弱 检测的灵敏度也就相应降低 因而有时候低浓度分析难以得到检测 尤其 是在微量和痕量分析时发生困难 拉曼光谱技术要克服这个弱点 有两个新的发展方向 即增强型拉曼光谱技 术和显微拉曼光谱技术 其中增强型拉曼光谱技术又有两类增强方式 表面增强 和共振增强 表面增强拉曼光谱技术 S u r f a c e e n h a n c e dR a m a nS p e c t r o s c o p y S E R S 是目 前最受关注的拉曼光谱发展方向 在金属胶粒或粗糙金属表面下 材料的拉曼横 截面可能增大1 07 倍 增大只发生在直接吸附在金属表面上的物质 金 银 铜 浙江大学硕士学位论文 7 都是常用的增强型载体 结合时下的纳米材料技术 这种载体的增强效果也得到 了很大程度的提高 S E R S 在获取表面和界面信息方面的功能是非常突出的 这 一技术已被广泛地应用于表面和界面的物理和化学研究 它在生物大分子和聚合 物的构形 构象和其他结构参数的研究也很有应用价值 利用这种高灵敏的吸附 增强效应进行生物分子的检测 特别是抗体分子 蛋白质分子和D N A 分子的标 记检测已成为近年来的发展趋势 在分析化学领域 由于S E R S 技术能获取痕量 分子结构信息 人们已作了诸多探索 但在定量分析方面仍然存在许多困难 其 应用的限制在于 S E R S 要求试样与载体接触 这失去了拉曼光谱无损无接触的 基本优点 S E R S 载体对不同材料的吸附性不同 这使定量分析发生问题 载体 的重现性和稳定性收到工艺影响难以控制 S E R S 技术要求被检测的分子含有芳 环 杂坏 氨基 羰酸基或磷和硫原子之一 这对检测对象有一定限制 试样与 载体可能有化学反应产生 共振增强拉曼光谱技术 R e s o n a n c eR a m a nS p e c t r o s c o p y R R S 利用共振拉 曼散射来增强拉曼信号强度 当激光波长与分子的电子跃迁波长相等时将发生共 振拉曼散射 此时它的强度比常规散射高出1 0 6 倍 灵敏度的极大提高使共振拉 曼光谱可以呈现出常规谱图中难以见到的更丰富的光谱特征信息 但在实验方 面 激发光波长的要求很苛刻 热效应和光化学的作用可能损伤试样 共焦显微拉曼光谱技术 C o n f o c a lM i c r o g r a p h i cR a m a nS p e c t r o s c o p y C M R S 是将拉曼光谱分析技术和显微分析技术结合起来的一种应用技术 显微技术可以 将激发光的光斑聚焦到微米量级且可以准确测量样品表面下的包裹体 进而对样 品的微区进行精确分析 激光在样品上产生作用的确切部位可以通过C C D 鉴定 仪和一个T V 监视仪清晰地显示出来 从近年来的文献报道可以看出 显微拉曼 光谱技术已经在肿瘤检测 文物考古 公安法学等领域得到广泛的应用 1 3 拉曼光谱的噪声及预处理技术 从拉曼光谱中获取信息的可靠性不仅与拉曼信号有关 也与噪声影响有关 尽管拉曼光谱具有诸多其他光谱方法无法比拟的优势 但其仍然不免受到噪声的 影响 所以好的拉曼方法不仅使拉曼信号强度达到最大 而且应尽量使噪声达到 最小 即获得最高的信噪比 充分了解拉曼光谱的噪声是重要的 不仅有利于设 计合适的方法以尽可能减小噪声 而且也能知道一张拉曼光谱中哪些信息是需要 剔除的噪声信息 拉曼光谱常常遇到几种重要的噪声来源有 发射噪声 仪器噪声和背景噪声 在光谱仪器的更新换代中 逐渐降低的仪器噪声水平已经不是人们所关心的 8 第一章综述 发射噪声 发射噪声来源于光源本身 具有统计特性 发射噪声一般是色散 型拉曼光谱技术的最大噪声来源 而在傅里叶拉曼光谱技术中 这种噪声通 常比检测器噪声小得多 荧光背景 背景噪声可能来自试样 盛放试样的容器和周围环境 背景噪声 原则上讲能从拉曼光谱中扣减 但当背景噪声强度特别强时 背景扣减后剩 余部分拉曼光谱的有效信号也会被扣减 成功设计实验过程是将背景噪声控 制在一定范围内的最有效方法 荧光是拉曼光谱技术中最普遍也是最头痛的 干扰信息 大多数材料没有很强烈的荧光 但一旦试样中含有荧光物质 即 使其浓度很低 它产生的荧光背景也可能比拉曼光谱信号强很多 粉末状态 的物质或者混有杂质的液体试样很容易引起荧光效应 荧光背景去除是拉曼 光谱预处理技术的重要研究课题 黑体辐射 温度高于绝对零度而发生的辐射称为黑体辐射 温度升高时黑体 辐射会移动到拉曼检测的波数范围内 试样的黑体辐射极有可能来源于激发 拉曼散射的激光对试样的局部加热 因此尽量避免激光加热而产生的黑体辐 射的方法大致有 扩大激光对试样的照射面积 冷却试样温度 避免使用深 色试样 针对这些噪声影响 拉曼光谱预处理技术主要解决的问题包括 光谱范围的 筛选 过滤噪声 信噪比的提高以及消除其他因素对谱图信息的影响 为之后的 定性定量分析打下基础 由于仪器 样品特征和测量环境 条件的变化 光谱预 处理并没有通用的解决方法 也没有一个处理效果评定的指标 只有一些常用的 预处理方法供具体情况具体分析 光谱预处理常用的方法有平滑 求导 多元散射校正 标准正态变换 K a l m a n 滤波等等 实际处理的时候 会依照一定的次序组合上述的几种方法用于具体情 况具体分析 平滑 S m o o t h i n g G o r r y 1 9 9 0 可以提高分析信号信噪比 最简单的平 滑方法是窗口移动平均法 但最常用的是S a v i t z k y 和G o l a y 1 9 6 4 提出的一种 简单的窗口移动多项式最d 乘平滑 其具有算法简单 运行速度快的优点 因 而特别适合化学图谱数据的实时处理 熊智新 2 0 0 4 这种方法的缺点是高频 信号可能会因为窗口过大而遭受损失 微分 D e r i v a t i v e s B r o w n 1 9 9 9 可以消除基线漂移 强化谱带重叠 是 常用的光谱预处理方法 常被用于近红外 紫外 拉曼等现代光谱技术的数据预 处理中 一阶微分可以去除同波长无关的漂移 二阶微分可以去除同波长线性相 关的漂移 但是求导会放大噪声 因此在进行求导前需要对原始数据进行平滑处 浙江大学硕士学位论文 9 理 求导方法中最常用的也正是基于S a v i t z k y G o l a y 卷积平滑的微分方法 标准正态变换 S t a n d a r dN o r m a lV a r i a t e S N V B a r n e s 等 1 9 8 9 将每个 光谱减去其平均值后再除以光谱的标准差 处理后的光谱数据满足正态归一化特 性 该方法可消除激光光源功率变化对拉曼光谱的影响 减弱光强衰减引起的噪 声 小波变换 W a v e l e tT r a n s f o r m W T 能够将化学信号根据不同的频率 分 解成多种尺度成分 并对大小不同的尺度成分采取相应大小的步长取样 从而能 够聚焦于信号中的任何部分 因此被称为 数学显微镜 其已被广泛地应用于 数据压缩 数据平滑降噪 基线校正 组分重叠信号分辨以及图象解析 1 4 光谱特征提取方法 光谱特征提取就是从已测得的某物质的原始光谱数据中 除去多余的信息而 保留真实的 有用的 能区别于其它物质的特征信息 目前的特征提取方法包括 基于统计和信号处理两类 常用的统计类算法有主成分分析法 P r i n c i p a l C o m p o n e n tA n a l y s i s P C A 边界判别法 判别式分析法等 这些方法都是基 于统计的特征提取方法 使用的是一种全局的变化 无法表征非平稳信号最关键 的时频局域性质 在运用这些方法进行分析时必须需要有足够多的训练样本作为 保证 基于信号处理的特征提取方法主要从光谱的频率域进行 可利用傅立叶或 者小波等正交变换提取不同尺度上的光谱特性 1 4 1 主成分分析法 P C A P C A 是常用的特征变量选择方法 可以用于光谱数据维数的压缩 能够将 光谱数据压缩成少数几个互不相关的 主成分 变量 在保留了信息的同时达到了 降低维数的目的 P C A 提供的关于数据集基本结构的信息对样本来说就是提取 的特征信息 因为P C A 考虑到保留数据结构最大变异信息而将数据映射到最优 子空间 徐永群等 2 0 0 3 采用主成分分析方法对来自1 8 个产地的赤芍进行了 聚类分析 结果表明 P C A 是一种有效的光谱数据降维方法 成功的降维使得 人们可以直观地从二维或三维图中观察到光谱的主要特性和聚类情况 倪国强 2 0 0 7 针对高光谱提出一种基于小波分解的主成分分析降维的特征提取新方 法 实验结果表明 小波分解与P C A 相结合的特征提取方法能够有效地提高高 光谱分类效率和精度 该方法运用小波在光谱域内针对每个像元进行降维 即减 少了数据量 还保留了光谱信号差别 同时利用P C A 保留不同类在相邻像元问 的局部空间信息 弥补了空间域内小波变换间可分性较差的问题 1 0 第一章综述 1 4 2 独立成分分析 I C A 独立成分分析 I n d e p e n d e n tC o m p o n e n t A n a l y s i s I C A 是近年来发展起来 的一种新的统计方法 其目的是从非高斯信号中找到一个非线性的表达 使组分 变成统计独立或者尽可能统计独立 此种表达利用了数据的高阶统计性质 可广 泛应用于特征提取和信号分离中 如用于分离人脑电磁波扫描仪产生的电波中非 人脑电波的信号 寻找金融数据中隐藏的作用因素以及降低图像中的噪音等方 面 将I C A 用于波谱解析 研究对象为混合物的红外光谱 由于红外光谱的多 峰性和重叠性 许多波谱分析方法无法直接应用于红外光谱 特别是化合物红外 光谱的定性分析 毕贤等 2 0 0 4 将独立成分分析用于红外光谱分析中 成功的 从正己醇 丙酮和正丁醇的混合物中分离出了三个近似纯品的红外光谱 证明了 独立成分分析的盲源分析原理 提出了一种基于I C A 的红外光谱定性分析方法 常诚等 2 0 0 7 总结了独立成分分析在生物特征识别方面的应用 详细叙述了独 立成分分析方法作为一种有效的特征提取方法被广泛的应用于生物识别技术中 并取得了很好的效果 例如建立了说话人识别的I C A 基函数组 虹膜 人脸识 别的图像特征库的建立等 1 4 3 小波变换 小波变换实质是将信号x t 投影到小波 f 上 即x t 求取虬 的内积 得到便于处理的小波系数 按照分析的需要对小波系数进行处理 然后对处理后 的小波系数进行反变换得到处理后的信号 T r y g g 2 0 0 2 对小波分析在去除噪声和特征提取中的应用作了详细阐述和 总结 陈斌等 2 0 0 4 在定量分析之前运用小波多尺度分解和主成分分析两种方 法对光谱进行信息提取 大量缩减建立数学模型的数据量 模型应用验证了该特 征向量表示方法是有效的 孙桂玲等 2 0 0 4 对高光谱数据采用小波多尺度变换 特征提取 能够有效地对光谱吸收的起止位置及中心波长比较准确的定位 实验 证明了该方法为一种比较理想的光谱特征提取的方法 刘青格等 2 0 0 5 在近红 外光谱中应用小波变换多尺度边缘检测提取光谱特征 不仅较好地解决了有效信 息率低 光谱重叠严重的难题 而且以较少的数据量达到较理想的模型精度 刘 中田等 2 0 0 8 利用小波变换的方法对观测光谱进行谱线特征提取 将提取出的 特征和恒星谱线的特征模板进行相关匹配 得到的正确识别率高达9 6 7 1 4 4 多谱线位置与强度 基于光谱谱线的位置和强度信息对光谱数据进行特征提取 建立材料鉴别的 浙江大学硕士学位论文 标准数据库和搜索算法 就可以实现对未知样品的判断和识别 这种专用的数据 库必须包含待测样品的所有可能 检测才能成功 并且检测往往有各种限制条件 质谱和红外的数据库搜索应用已经相对成熟 标准图谱一般可用光谱仪或质 谱仪配备的数据库检索 温演庆等 2 0 0 7 互联网上也有免费的图谱数据库以 供查询 h t t p w w w a i s t g o j p R I O D B S D B S m e n u e h t m l 它含有4 9 8 万张I R 图谱 h t t p w e b b o o k n i s t g o v c h e m i s t r y 化合物为主 与标准的图谱比较 即可推知 是什么样品 这种通用的检索功能并非基于全谱 也是基于多谱线位置和强度的 信息提取 拉曼光谱因为起步较晚 鲜见建立拉曼光谱标准谱图数据库的报道 但由拉 曼散射的原理可知 拉曼位移及其强度信息与其化学结构有着严格的对应关系 因此用位置和强度信息表征光谱特征不失为一种即简单有稳健的方法 郭平等 2 0 0 3 提出了拉曼光谱基于多谱线或者多谱线加强度的特征提取方法 并对比 了其与P C A 的优缺点 多谱线特征提取过程中会产生谱线位置 相对强度值的 误差 因此会降低识别率 而P C A 方式不仅可以降维 而且可以将特征矢量正 交化 对准确识别有正面的贡献 刘中田等 2 0 0 8 利用小波变换的方法对恒星 光谱进行谱线特征提取 将提取出的特征按照特征峰位置与强度和恒星谱线的特 征模板进行相关匹配 证实三层小波变换后的谱线特征容易克服光谱信噪比较低 的问题 由于谱线较宽的发射线受噪声影响较大 因此选择三层半高频小波系数 分别进行分层反变换并归一化得到的正确识别率高达9 6 7 1 5 定性分析方法 在拉曼光谱分析技术的实际应用中 经常遇到只需要知道样品的类别 质量 等级 真伪等 并不需要知道样品中含有的组分数及其含量的问题 即定性分析 问题 这就是化学计量学中的模式识别问题 模式识别属于人工智能的一个重要 分支 自2 0 世纪6 0 年代末引入化学领域 化学计量学的建立和发展带动了模式 识别技术在化学研究领域的广泛应用 所谓模式是指对某些感兴趣的客体的定量或结构描述 模式类是指具有某些 共同特征的模式的集合 在分析化学领域 模式对应的是反映化学量测性质的变 量 基于模式识别的拉曼光谱定性分析即是基于样本学习 模型预测来达到划分 类型 评定质量等级 鉴别真伪 剔除异常样本的问题 本质上就是分类问题 模式识别方法根据有无学习过程分为有监督和无监督两大类 光谱定性分析 问题大都采用有监督模式识别法 常用的有监督模式识别方法有 K 近邻法 K n e a r e s tN e i g h b o u rM e t h o d K N N P C A 类中心最小距离法 相似分类法 S o f t 1 2 第一章综述 I n d e p e n d e n tM o d e l i n go fC l a s sA n a l o g y S I M C A 和支持向量机 S u p p o r tV e c t o r M a c h i n e S V M P C A 类中心最小距离法 基于距离函数的分类法是模式识别判别分析中最简单直观的方法 它的核心 思想是使用各类的重心来代表此类 分别计算待分类样本到各重心的距离 取距 离最近的类为分类结果 常用的距离计算方法有马氏距离和欧式距离 P C A 类中心最小距离法先用P C A 提取出主元并计算主元空间中各类中心的 坐标 然后基于整个主元空间计算测试样本的主元得分 与各类中心的欧氏距离 最小的为归类标准 K N N 法 K N N 法即K 近邻法 它认为一个未知样本的类别由其K 个近邻的类别决定 一个未知样本的K 个近邻是指训练样本中与该未知样本具有最小欧氏距离的K 个训练样本 计算空间可以是波长域也可以是经过P C A 提取主元后的主元空间 改进的K N N 法有K N N 相对距离法和加权K N N 相对距离法 一般K N N 法中近邻个数K 是固定的基数 K N N 相对距离法以相对距离阈值作为筛选近邻 的标准 距离小于阈值的所有训练样本 无论个数均取作近邻 加权K N N 相对 距离法先根据K N N 相对距离法近邻 同时根据距离计算权重 权重与距离成反 比 最终选择总权重最大的类别作为未知样本的类别 S I M C A 法 S I M C A 法又称相似分析法 是瑞典化学家W o r d 于1 9 7 6 年提出的 S I M C A 法先建立每一类的主成分分析模型 再计算每个类别模型下测试样本的主元残差 光谱 陆婉珍 2 0 0 1 归类判别方法具体又分为最小残差法和统计距离法 S I M C A 最小残差法是选择残差光谱范数最小的类别作为测试样本的类别 而 S I M C A 统计距离法在求出测试样本残差光谱后 再计算各个类别自身的残差光 谱矩阵 用测试样本关于某类别主元模型得分的相对距离