模块化最小二乘光滑光谱数据处理的python实现.docx

大 连 大 学本科毕业论文(设计)开题报告论 文 题 目：模块化最小二乘光滑光谱数据处理的python实现 学 院： 环境与化学工程学院 专 业 、班 级： 化学工程与工艺112班 学 生 姓 名： 田思雨 指导教师（职称）： 崔洪光老师 2014年 月 日 一、选题依据1论文（设计）题目模块化最小二乘光滑光谱数据处理的python实现2研究领域仪器分析3论文（设计）工作的理论意义和应用价值光谱分析法是利用光谱学的原理和实验方法以确定物质的结构和化学成分的分析方法。各种结构的物质都具有自己的特征光谱，光谱分析法就是利用特征光谱研究物质结构或测定化学成分的方法。光谱分析法主要有原子发射光谱法、原子吸收光谱法、紫外-可见吸收光谱法、红外光谱法等。根据电磁辐射的本质，光谱分析又可分为分子光谱和原子光谱。光谱分析法开创了化学和分析化学的新纪元，不少化学元素通过光谱分析发现。已广泛地用于地质、冶金、石油、化工、农业、医药、生物化学、环境保护等许多方面。光谱分析法是常用的灵敏、快速、准确的近代仪器分析方法之一。但我们所获得的量测信号常常会出现基线的漂移,进行基线校正,是化学实验数据预处理的重要组成部分。为建立一个稳定、可靠的定性或定量分析模型，必须进行基线校正。4目前研究的概况和发展趋势基线校正有人工校正和自动校正两种。人工校正一般是通过人机交互的方式选取谱图上的特征点，然后将这些特征点拟合成一条曲线。这种方法费时、费力，且由于人工选择的特征点随意性较大，其重现性较差。Schulze等人对基线自动校正算法进行了全面的综述，目前主要有微分和滤波方法、形态学方法、插值拟合方法、背景估计方法,随着电子计算机的日益普及,国外已有人用电子计算机进行这项工作,国内近年来也开展了这一工作。把电子技术，特别是计算机技术与化学分析 结合起来，是实现化学分析发展的必经之路。Python（英语发音：/pan/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年，Python 源代码同样遵循 GPL(GNU General Public License)协议。Python的优点简单：Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样。它使你能够专注于解决问题而不是去搞明白语言本身。易学：Python极其容易上手，因为Python有极其简单的说明文档5。速度快：Python 的底层是用 C 语言写的，很多标准库和第三方库也都是用 C 写的，运行速度非常快。2免费、开源：Python是FLOSS（自由/开放源码软件）之一。使用者可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中。FLOSS是基于一个团体分享知识的概念。高层语言：用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。可移植性：由于它的开源本质，Python已经被移植在许多平台上（经过改动使它能够工作在不同平台上）。Python在科学计算方面也有着很大的优势。随着NumPy, SciPy, Matplotlib, Enthought librarys等众多程序库的开发，Python越来越适合于做科学计算、绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python是一门通用的程序设计语言，比Matlab所采用的脚本语言的应用范围更广泛，有更多的程序库的支持。虽然Matlab中的许多高级功能和toolbox目前还是无法替代的，不过在日常的科研开发之中仍然有很多的工作是可以用Python代劳的。B/S结构（Browser/Server，浏览器/服务器模式），是WEB兴起后的一种网络结构模式，WEB浏览器是客户端最主要的应用软件。这种模式统一了客户端，将系统功能实现的核心部分集中到服务器上，简化了系统的开发、维护和使用。客户机上只要安装一个浏览器，如Netscape Navigator或Internet Explorer，服务器安装SQL Server、Oracle、MYSQL等数据库。浏览器通过Web Server 同数据库进行数据交互。二、论文（设计）研究的内容1.重点解决的问题 光谱分析中对光谱数据的处理是光谱分析的前提。其中光谱基线校正更是必不可少的一步。目前主要有微分和滤波方法、形态学方法、插值拟合方法、背景估计方法。本设计主要是在windows下，应用Python和所学的化工知识，对光谱基线校正计算机程序设计。应用此程序可以快速便捷地处理光谱数据。2. 拟开展研究的几个主要方面（论文写作大纲或设计思路）(1) 查阅文献，资料，了解最小二乘光滑光谱数据处理的算法以及应用，了解Python等相关软件的使用方法。(2) 根据算法，在Python下编写能达到目的的程序。(3) 建立B/S 结构的网络应用，让人可以随时随地通过多种方式来上传数据，通过模块化的程序处理数据并且显示结果。让光谱数据处理模块的Python实现得到广泛的应用。3. 本论文（设计）预期取得的成果 本次毕业设计中介绍光谱数据处理的计算机程序。实现了对光谱数据的处理。此外，本设计应用了B/S 结构，可以在任何地方进行操作而不用安装任何专门的软件。只要有一台能上网的电脑或是移动终端就能使用，客户端零维护。系统的扩展性非常容易，只要能上网，再由系统管理员分配一个用户名和密码，就可以使用了。让本设计具有了一定的使用价值。三、论文（设计）工作安排1.拟采用的主要研究方法（技术路线或设计参数）谱图采集过程中会受到背景温度、湿度等外界环境以及仪器自身工作状况的影响，导致最终获取的光谱图呈现不同程度的基线漂移。为建立一个稳定、可靠的定性或定量分析模型，必须进行基线校正。最小二乘法原理 在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x，而把所有的误差只认为是y的误差。设x和y的函数关系由理论公式yf（x；c1，c2，cm） （0-0-1）给出，其中c1，c2，cm是m个要通过实验确定的参数。对于每组观测数据（xi，yi）i1，2，N。都对应于xy平面上一个点。若不存在测量误差，则这些数据点都准确落在理论曲线上。只要选取m组测量值代入式（0-0-1），便得到方程组 yif（x；c1，c2，cm） （0-0-2） 式中i1，2，m.求m个方程的联立解即得m个参数的数值。显然Nm的情况下，式（0-0-2）成为矛盾方程组，不能直接用解方程的方法求得m个参数值，只能用曲线拟合的方法来处理。设测量中不存在着系统误差，或者说已经修正，则y的观测值yi围绕着期望值 摆动，其分布为正态分布，则yi的概率密度为,式中是分布的标准误差。为简便起见，下面用C代表（c1，c2，cm）。考虑各次测量是相互独立的，故观测值（y1，y2，cN）的似然函数.取似然函数L最大来估计参数C，应使 （0-0-3）取最小值：对于y的分布不限于正态分布来说，式（0-0-3）称为最小二乘法准则。若为正态分布的情况，则最大似然法与最小二乘法是一致的。因权重因子，故式（0-0-3）表明，用最小二乘法来估计参数，要求各测量值yi的偏差的加权平方和为最小。根据式（0-0-3）的要求，应有从而得到方程组 （0-0-4）解方程组（0-0-4），即得m个参数的估计值，从而得到拟合的曲线方程。然而，对拟合的结果还应给予合理的评价。若yi服从正态分布，可引入拟合的x2量， （0-0-5）把参数估计代入上式并比较式（0-0-3），便得到最小的x2值 （0-0-6）可以证明，服从自由度vN-m的x2分布，由此可对拟合结果作x2检验。由x2分布得知，随机变量的期望值为N-m。如果由式（0-0-6）计算出接近N-m（例如），则认为拟合结果是可接受的；如果，则认为拟合结果与观测值有显著的矛盾.非对称最小二乘算法优化目标如下：argminziwi(yi-zi)2+i(2z)2 (1)其中， wi 为权重因子， 为二阶差分算子， 是正则化参数。式(1)中第一项表示拟合函数与原始数据的非对称拟合程度；第二项是为了保证拟合函数的光滑性，折中因子 起到平衡非对称逼近程度和光滑性的作用。最小化式(1)，可以导出下面的方程系统：(W+DTD)z=Wy (2)式中，W是由向量w组成的对角阵，即W=diag(w) D是z的二阶导数矩阵，即 Dz=2z。求解得到估计基线：z= (W+DTD)-1Wy(3)式中权重系数i w 根据非对称的方式选择，当yizi时，wi=p，而yizi 时， wi=1-p。一般p取很小的值，其取值范围为0.0010.1。 一般取很大的值，其范围为102109。由于优化目标是凸函数，迭代过程会很快收敛。实际求解中，一般5 到10 次迭代即可收敛。2.论文（设计）进度计划 （1） 第一周至第四周，收集并查阅文献资料，了解最小二乘法，光谱数据处理，Python，B/S构架等相关方面的知识，选择合适的方法，编写开题报告。 （2） 第五周至第七周，设计程序，编写程序。用数据测试程序并与市面上的光谱数据处理软件的数据处理结果进行 比较，做出误差分析。 （3） 第七周至第十一周，建立B/S构架，补充完善本设计，让程序得到应用，完善数据库。 （4） 第十二周至第十三周，进入论文形成期，期间附加翻译英文文献资料，撰写论文的汉语及英文摘要，进行技术分析。 （5） 第十四周，完成论分，制作ppt，准备答辩。四、需要阅读的参考文献【1】朱涛，MATLAB在化学工程与工艺实验数据处理中的应用.【J】化工高等教育，2008,01【2】李延伟，浅谈化学化工专业试验设计与数据处理课程教学方法.【J】广东化工.2008,08【3】苏建平，化学工程与工艺实验数据的处理 【J】锡林郭勒职业学院学报，2012,01【4】黄华江.实用化工计算机模拟.【M】北京：化学工业出版社，2004,1-217【5】姜安，一种改进的非对称最小二乘基线校正算法【J】计算机应用化学 ，2012，0528【6】陈中亮.化工计算机计算.【M】北京：化学工业出版社，2000，1-68【7】房德中，朱建业.化工过程分析与模拟【M】北京：化学工业出版社，1991【8】赵恒平，化工数据预处理及其在建模中的应用.【J】华东理工大学学报，2005,02【9】杨冰.实用最优化方法及计算机程序.【M】哈尔滨船舶工程学院出版社，1994【10】Paul H. C. Eilers ；Hans F.M. Boelens，【J】Baseline Correction with Asymmetric Least SquaresSmoothing ，2005，10，21【11】孙毅，【J】近红外光谱气体在线分析中基线校正方法的研究。2008，10附：文献综述：红外光谱在采集过程中，由于外界环境条件以及仪器的影响，采集谱图会出现一定程度的基线漂移。最小二乘法曲线拟合的基本思想是：使所有数据点与估计点（或称拟合点）的误差（如果是二维图形误差就是数据点与估计点的垂直距离）的平方和，如果所拟合的曲线能使该误差平方和最小，这就得到最小二乘法拟合曲线。其数学原理如下：对于给定的一组数据（，），（ ，），若拟合曲线模型为 （）， 则第误差距离为（），所有点的平方和就是 （），进而求出 （）的最小值对应的参数，因此得到拟合曲线 （）。非对称最小二乘基线校正算法（Asymmetric LeastSquares, AsLS）是Eilers等人提出的。该方法基于Whittaker 光滑器估计基线，要求待求基线非对称地拟合给定光谱，同时对待求基线施加光滑性约束。Python是一种面向对象的、动态的程序设计语言，具有非常简洁而清晰的语法，既可以用于快速开发程序脚本，也可以用于开发大规模的软件，特别适合于完成各种高层任务。随着NumPy、SciPy、matplotlib、ETS等众多程序库的开发，Python越来越适合于做科学计算。与科学计算