化学计量学概论

化学计量学第一章概论,化学计量学,Chemometricsisanewchemicaldisciplinethatusesthetheoryandmethodsfrommathematics,statistics,computerscienceandotherrelateddisciplinestooptimizetheprocedureofchemicalmeasurement,andtoextractchemicalinformationasmuchaspossiblefromchemicaldata.Chemometricscouldbedefinedasadisciplineoffundamentaltheoryandmethodologyofchemicalmeasuring.化学计量学运用数学、统计学、计算机科学、以及其他相关学科的理论与方法，优化化学量测过程，并从化学量测数据中最大限度地获取有用的化学信息，可以说是一门化学量测的基础理论与方法学。,为什么,科学的发展与技术的进步使得化学量测工作仪器化、自动化和计算机化。现代分析仪器能迅速、准确地为人们提供大量可靠的量测数据。化学工作者面临着如何选择合适的实验方法和最优量测过程，对原始量测数据进行再加工，从而最大限度地提取有用的化学及其相关信息。随着计算机科学、应用数学和统计学方法在化学中应用的日益广泛和深入，一门崭新的化学分支学科诞生了。,相关仪器,光谱与波谱分析仪器(原子光谱、分子光谱、核磁、质谱)电化学分析仪器(电导、电位、电解、极谱、伏安)色谱分析仪器(气相、液相、离子、毛细管电泳)流动注射分析仪器热分析仪器仪器联用,仪器联用,高校液相色谱-二极管阵列（HPLC-DAD）气相色谱-质谱（GC-MS）气相色谱-质谱-质谱（GC-MS-MS）毛细管电泳-二极管阵列（CE-DAD）液相色谱-质谱（LC-MS）液相色谱-核磁共振谱（LC-NMR）,复杂分析体系分析、大量的化学信息分析，仪器的发展、分析方法的发展,分析化学的发展,分析化学是发展和应用各种方法、仪器和策略，以获得有关物质在空间和时间方面组成和性质的一门科学，是表征和量测的科学，也是研究分析方法的科学。它可向人们提供物质的结构信息和物质的化学组成、含量等信息。,分析化学第三次变革,（1）计算机控制的分析数据采集与处理：实现分析过程的连续、快速、实时、智能；促进化学计量学的建立。（2）化学计量学：利用数学、统计学的方法设计选择最佳分析条件，获得最大程度的化学信息。化学信息学：化学信息处理、查询、挖掘、优化等。（3）以计算机为基础的新仪器的出现：傅里叶变换红外；色-质联用仪。,大量科学家因发明新技术、新仪器而获得诺贝尔化学奖！,化学计量学是数学和统计学、化学及计算机科学三者相互交叉而形成的一门边缘学科，是化学中很具有魅力和应用前景十分广泛的新兴分支学科。,按照国际化学计量学学会（ICS）的定义：化学计量学是化学的一门分支学科。它应用数学和统计学方法，设计或选择最优量测程序和实验方法，并通过解析化学量测数据而获取最大限度的信息。,分析化学与分析科学,1、分析科学是分析化学发展新时期。分析化学=分析科学。2、“分析科学”这个名称，标志着分析化学的内涵和外延有了跨越式发展，其特色包括“过程分析”、“智能分析仪器”、“活体分析活体分析”以及更多的联用技术等；分析化学工作者的角色已经从数据的提供者跃居为问题的解决者；分析化学将成为一门立足化学学科，与多学科广泛交叉、为多学科服务的一门学科，逐渐完善和发展自己的独特理论体系的科学分支。3、“分析科学”时代将带来生产和教学模式的革新。,高鸿先生30多年前就预言：“数学在分析化学中的应用日益重要，如果说60年代是分析化学与电子学结合的时代，70年代是分析化学与电子计算机结合的时代，80年代就可以看成分析化学与统计学和应用数学结合的时代。”美国分析化学杂志AnalyticalChemistry将化学计量学作为一个分支领域，每两年进行一次发展总结综述。,化学计量学的研究对象：化学计量学的研究对象是有关化学量测的基础理论和方法学。其内容涉及到统计学与统计方法、实验设计与优化、分析信号处理、多元校正、化学模式识别、定量构效关系(QSAR)、数据库及专家系统。在我国的发展已经有20多年的历史，为化学各分支学科特别是分析化学、环境化学、药物化学、有机化学、化学工程等提供了不少解决问题的新思路、新途径和新方法。,化学计量学的研究对象,化学计量学的任务,其任务是研究有关化学测量的理论与方法学，应用数学、统计学与信息理论、计算机科学的方法和手段，科学地设计化学实验，选择最优的测量方法，最有效地获取体系有用的特征数据，并通过解析测量数据最大限度地从中提取有关物质的定性、定量、形态、结构等信息。,化学计量学是化学信息获取与处理的基础理论与方法学。,分析化学是化学量测与表征的科学，是化学信息科学。,Contentsinchemometrics,分析采样理论和方法(AnalyticalSamplingTheoryandMethods)化学试验设计与优化方法(ChemicalExperimentDesignandOptimizationMethod)分析检测理论与信号处理方法(AnalyticalDetectionTheoryandSignalTreatmentMethod)多元校正与多元分辩(MultivariateCalibrationandMultivariateResolution),化学模式识别(ChemicalPatternRecognition)计算机数字模拟法(ComputerNumericalSimulation)化学构效关系和分子设计(QSAR/QSPR)人工智能与化学专家系统(ArtificialIntelligentandChemicalExpertSystems),化学知识数据库representationandcomputer-basedsearchingofchemicaldatabases计算机辅助分子设计computer-aidedmoleculardesign化学软件中新方法、新算法developmentofnewcomputationalmethodsorefficientalgorithmsforchemicalsoftware生物制药化学中生物活性分析药物开发biopharmaceuticalchemistryincludinganalysesofbiologicalactivityandotherissuesrelatedtodrugdiscovery.,20世纪50年代以来，化学信息的获取技术的不断进步，分析仪器的发展，使得化学信息的产生与累积达到了空前的程度，化学家们从直接的化学信息获取过程已经不能获得量测对象相关的化学信息，信息的处理与解析成为化学问题解决的瓶颈！,化学计量学是化学与分析化学家面临“数据爆炸”解决问题的手段。,“数据爆炸”,化学计量学与信息提取,*,化学信息处理,信息提取：数据处理过程,21世纪以来，基因组、蛋白组计划，大量生物化学信息的累计，生物信息的处理成为化学计量学研究的新生长点。,20世纪70年代，化学计量学建立与发展早期，化学家们在计算机上实现了越来越多的数学、统计学方法。,化学计量学的历史发展：,20世纪70年代之前,分析化学中的数理统计方法和定量构效关系研究。,20世纪80年代，许多大学开始讲授化学计量学，化学计量学成为大学化学课程。,20世纪90年代，化学计量学成为许多化学实验室的日常方法，化学计量学方法也成为各种分析仪器的组成部分，是智能化、自动化分析仪器的主要模块。,什么是化学计量学？,化学计量学运用数学、统计学、计算机科学、以及其它相关学科的理论与方法，优化化学量测过程，并从化学量测数据中最大限度地获取有用的化学信息，可以说是一门化学量测的基础理论与方法学。,“化学计量学”（chemometrics）,生物计量学(biometrics),经济计量学(econometrics),20世纪70年代瑞典Wold,1.发展化学数据解析的新理论和方法,计算机科学、统计学、应用数学及信息科学的发展为化学计量学注入了新鲜血液,经典的多元校正和多元分辨及化学模式识别在的理论和算法研究上也得到了长足发展。,偏最小二乘法、SIMICA、,渐近因子分析方法、秩消失因子分析法,化学计量学的发展表现在两方面：,2.化学计量学在近红外光谱分析中的应用,光谱预处理波长分析光谱校正去除背景去除噪声建模定性定量分析,光谱预处理方法,光谱平滑、求导多元信号校正(MultipleSignalCorrection,MSC)正交信号校正(OrthogonalSignalCorrection,OSC),建模分析方法,偏最小二乘(PartialLeastSquares,PLS)主成分回归(PrincipalComponentRegression,PCR)多元线性回归(MultipleLinearRegression,MLR)人工神经网络(ArtificialNeuralNetwork,ANN),3.多元分辨方法解决复杂组分色谱重叠峰问题,渐进因子分析法(EvolvingFactorAnalysis,EFA)窗口因子分析法(WindowFactorAnalysis,WFA)直观推导式演进特征投影法(HeuristicEvolvingLatentProjections,HELP)正交投影分辨法(OrthogonalProjectionResolution,OPR)子窗口因子分析法(SubwindowFactorAnalysis,SFA),4.定量构效关系及其在药物设计中的应用,定量结构活性关系(QuantiativeStructureActivityRelationship,QSAR)定量结构性质关系(QuantiativeStructurePropertyRelationship,QSPR),药物开发,药物分子设计开发的过程漫长(10-20年)、昂贵(3-5亿$)和艰难筛选法成功率约为1:15000,分布,潜能,选择,物化性能,吸收,Chemometricsopensthedoorforobtainingusefulchemicalinformationfromthemeasurementdatagivenbymodernanalyticalinstrumentation化学计量学为解决各类复杂化学问题提供了有用的手段,QSAR是药物设计、材料设计、化合物环境毒性评估等有用的工具。化学模式识别还可用于产品品质评估、商品检验、毒品侦揖、疾病诊断、人工嗅觉模拟等诸多方面。目标转换因子分析探查污染源,化学计量学解析方法在各个化学分支学科的新应用,复杂体系,直接对复杂体系就行分析获得大量的相关数据需对数据进行复杂处理才能获得信息对复杂体系过程的直接控制,复杂信号举例(1)烟叶部分成分的GC-MS谱图,复杂信号举例(2)烟草样品的近红外光谱,烟叶的组成4,000种化合物。烟气的组成6,000种化合物。,复杂信号举例(3)卷烟烟气的二维色谱图(大连化物所，许国旺),实际体系分析,食品环境中药烟草石油组学数据实际样品,传统分析方法：分离+分析化学计量学方法：解析(“数学分离”)建模+预测,化学计量学-化学量测的基础理论与方法学,1.发展化学数据解析的新理论和方法2.化学计量学解析方法在各个化学分支学科的新应用研究,现代分析化学与化学计量学,现代分析化学面临的机遇与挑战,分析化学学科正经历着巨大变革，由于近年来物理和电子学的发展，各种新型仪器相继问世，昔日以化学分析为主的经典分析化学已发展成为一门包括众多仪器分析（色谱分析，电化学分析，光谱分析，波谱分析，质谱分析，热分析，放射分析，表面分析等）为主的现代分析化学。随着分析手段的不断发展，广大分析化学家们亦感到以“溶液平衡”为基础的经典分析化学已很难满足现代分析化学学科发展的需求，致使Leihaisky的“不管你喜欢不喜欢，化学正在走出分析化学”，“化学仍留在分析化学”和所谓“分析物理”，“分析科学”的热烈议论。1985年11月和1989年10月在维也纳还分别召开了第一次和第二次“国际分析化学的哲学和历史会议”，探讨了分析化学哲学的某些基本问题，这些现象雄辩地告诉人们，分析化学学科正处在急剧分化的告诉发展时期。,无论这种分析手段的分化发展如何迅猛，有一点十分明确，即作为分析化学所研究的对象（化学样本）及研究目的（结构定性，组分定量）始终未变，其原始定义“分析化学是人们获得物质化学组成和结构信息的科学”仍然十分明白和准确，无论是从事波谱分析，色谱分析或其他仪器分析的研究工作，都得与化学样本打交道，通过对化学试样进行测量和数据解析来获取其化学组成（包括不同形态）和结构定性定量信息，从这一角度看，分析化学作为化学分枝学科仍为一完整整体，诚然，由于采用不同分析手段（如电分析，光谱分析，色谱分析等），作为使用不同仪器的分析工作者所需知识不尽相同，研究内容亦有差异，可是，在整个分析过程中，却始终存在着共同的基础与目标，这种情况正如美国分析化学的主编Murray在题为“化学量测科学”一文中指出的那样：“用拓展的眼光来看待今天的分析化学是有益和有帮助的，它的发展已使之成为一门创造和应用新概念，新原理和仪器的策略来测量化学体系及其组分的学科，简言之，分析化学已成为一门化学量测科学”。,如果遵循“分析化学是一门化学量测科学”的思路，就可发现，分析化学学科的变革不是“化学正在走出分析化学”，而是“新仪器和基于物理新成果的量测方法正在走进分析化学”，使分析化学家手中拥有更多的进行量测的工具和手段，怎样有效地从这些新化学量测工具和手段中获取化学家所需的化学组成和结构的信息，当是目前分析化学家急需解决的一个新问题。,在所有的量测手段中，红外光谱及成象（包括近红外）（infraredspectroscopyandimaging),超声波成象(ultrasonicimaging)，拉曼光谱及拉曼成象(RamanSpectroscopyandRamanImaging)和磁共振成象(MagneticResonanceImaging,MRI)等有可能使传统量测技术向能提供更多“相关”信息量测方法的转变，“相关”信息能支持产品开发和过程控制，因此，成为过程量测科学中活跃的研究领域之一。,量测科学(processmeasurementscience),色谱、光谱和波谱学及成象技术等是过程量测科学的学科基础,传感器阵列（sensorarray）,随着芯片技术的发展，可以使传感器微型化并与微处理器集成在一个芯片上，从而导致智能化微处理器的问世。目前，用芯片技术还可以将微传感器、微处理器和微执行器集成于一个芯片构成微系统，也可以将多个传感器集成于同一探头，组成传感器阵列（sensorarray）,进行多组分的量测，化学计量学方法可用于从复杂混合信号中提取单个组分的信息，并可用来进行优化，进一步提高传感器的选择性和灵敏度。,仪器分析与多组分复杂体系,现代分析化学作为一门化学量测科学，当有其自己的基本特征，正如国家自然科学基金委员会组织的学科发展战略调研报告中指出那样，现代分析化学学科在当今变革中具有如下两个基本特点：（1）“从采用的手段看，分析化学是采用光、电、磁、热、声等物理现象基础上进一步采用数学，计算机科学及生物学等新成就对物质做全面的纵深分析的科学”；（2）“从解决的任务看，现代分析化学已发展成为获取形形色色物质尽可能多和尽可能全面的结构与成分信息，进一步认识和改造自然的科学”。简言之，分析手段的仪器化和化学体系的复杂化已成为现代分析化学学科的两大重要特征。这正是本文以研讨的核心，亦是分析化学计量学近年来得以迅速发展的真正原因。,首先考察一下现代分析化学的仪器分析之基本特征。近几十年来，大量新型仪器（如色谱，光谱，波谱，极谱等）相继问世，尽管其具体内容存在多种差别，可都是为我们提供个谱（多变量数据），且这个谱包含有关分析化学样本的定性（含结构）与定量信息。用数学语言说，分析仪器提供的是矢量类型的数据。随着分析仪器的不断进化和联用技术的采用，有些仪器还可产生矩阵（或张量）类型的数据信息（如GC-MS、GC-IR、HPLC-DAD、荧光激发发射光谱、多维核磁共振谱等）。经典分析化学的校正方法只以单点数据（标量）为基点，如光谱以最大吸收点，色谱以面积等来解析仪器数据，势必丢失有用信息，对于产生矩阵类型数据的仪器，经典分析化学更是无能为力。这向分析化学工作者提出了一个新问题，从这些矢量或矩阵形式的数据中，是否能抽取出比单点数据更多，而对分析化学来说又是十分重要的信息呢？,另一方面，我们来考察一下在分析化学家的研究目标形形色色的样本之重要特征。由于生物学、生命科学、药物学、环境科学、材料科学等学科的迅猛发展，对分析化学亦提出了较高要求，即对复杂混合物体系，特别是复杂有机混合物体系给出快速定性定量分析，正是这一要求，使得色谱分析得到飞速发展。可以这样认为，纯品的分析对现代分析化学已不构成特殊困难，困难在于混合物体系的直接快速分析，这样形形色色的多组分体系是否也存在某种特征，针对这些特征，分析化学家是否有相应策略与之对应？,化学计量学当代化学与分析化学的重要发展前沿1国家自然科学基金委员会,自然科学发展战略调研报告分析化学,北京：科学出版社，1993.2汪尔康主编,21世纪的分析化学,北京：科学出版社，1999,1-22.,化学计量学发展的推动力：（1）能容易地获得大量化学量测数据的现代分析仪器的涌现；（2）对这些化学量测数据进行适当处理并从中最大限度地提取有用化学信息的需要。,现代分析仪器,EX-EM:二维激发发射荧光仪HPLC-DAD:带光二极管阵列检测器的高效液相色谱仪CE-DAD:带光二极管阵列检测器的毛细管电泳仪GC-MS:气相色谱质谱联用仪LC-MS:液相色谱质谱联用仪等,高维响应数据：矩阵（Matrix）类型立体阵(Three-waydataarray)类型,HyphenatedInstrument(联用仪器),Mostmodernandadvancedanalyticalinstrument.e.g.HPLC-DAD,GC-MS,CE-DAD,etc.Combinationoftwoormoreinstruments,e.g.HPLCDAD(diode-arraydetector)GCMS(Mass-spectrometer),Getmoredata/information,HPLC-DAD,3Dchromatogram,HPLCchromatogramofnucluesideofCordycepsSinensis(冬蟲草)atonewavelength,HyphenatedInstrument(联用仪器),HyphenatedInstrument(联用仪器),GCinstrument,GCchromatogramofpepticpowder(平胃散),Massspectrumtakenatretentiontime10.2minutes,HyphenatedInstrument(联用仪器),Advantages:Moredataisobtainedataretentiontime.Morespectralinformationacquiredtogivethreedimensional(3D)data.MuchmoreinformationavailabletoanalyzecomplicatedsystemlikeTCM.,HyphenatedInstrument(联用仪器),Disadvantages:Hugeamountof3Ddataisobtained.Needdataprocessingmethodsforinformationextraction,patternrecognition,etc.Computerpowerwaspoorbefore.Usualpractice:UseafewdataobtainedfromHPLC-DAD/GC-MStofindmarkercomponentsoractiveingredients.Now,everythingbecomespossiblewithhightech.!,化学计量学算法和程序,化学计量学的精髓主要体现在处理数据的诸多算法。根据算法写出具体的计算机程序。理论上说任何高级计算机语言都可以编写计量学程序。如C语言、Fortran语言、Matlab等。,主要的化学计量学的方法,多元线性回归主成分回归偏最小二乘法人工神经网络遗传算法支持向量机算法,多元线性回归,在传统二维构效关系研究中，多元线性回归(MultipleLinearRegression，MLR)是最为常见的统计方法。一个分子可以用很多分子参数来表达，但在建立线性回归模型的时候，为了避免过拟合(over-fitting)，只能从这些物理化学参数中选择一部分参数来建立回归模型。一般来讲，化合物的数目和所选取参数的数目比应大于n2(n表示选取的参数个数)，也有人提出应大于35(样本数目较大时显然不合适)，怎样选择合适的参数一直是定量构象关系研究中的一个难题。而且对于线性回归来讲，当体系噪声较强或干扰严重时，有可能导致所得的模型失真。,主成分回归,主成分回归(PrincipleComponentRegression)方法首先采用主成分分析(PrincipleComponentAnalysis，PCA)方法选取重要的因子，然后采用常规的回归方法建立数学模型，从而实现对原来数据的降维处理。所谓主成分，它为一新的变量，而该新变量是原来变量的线性组合。主成分回归的主要步骤包括：数据的标准化处理；由数据的协方差矩阵求得本征矢量；选取主成分实施多元回归分析。,偏最小二乘法,在主成分回归法中，所处理的仅为自变量，而对因变量的信息并未考虑。事实上，因变量中可能包含非常有用的信息。偏最小二乘法(PartialLeastSquare，PLS)在考虑自变量的同时也考虑了因变量的作用，同时通过折衷各自空间内的因子，使模型较好地同时描述自变量和因变量。PLS的主要优点是：对自变量之间的相关性要求不苛刻；当自变量的数目多于样本的数目时，PLS仍可获得有意义的结果；传统的PCA仅仅考虑自变量的信息，而PLS则同时考虑了自变量和因变量方面的信息，所以更易获得有意义的结果；算法中由于采用交互检验来选取模型中的最佳主成分数目，所以降低了模型的偶然相关性。,人工神经网络,人工神经网络(ArtificalNeuralNetwork，ANN)是QSPR和QSAR研究中处理非线性问题的常用方法，其基本原理是受生物大脑的启发，试图模仿人脑神经系统的组成方式与思维过程而构成的信息处理系统，具有非线性、自学习、容错性、联想记忆和可训练性等特点。理论上已证明，具有一个隐含层的ANN网络即可实现对任意连续函数的逼近，实现任何非线性映射。ANN在多元校正、试验条件优化、蛋白质结构预测以及QSPR/QSAR研究中都得到了广泛的应用。从网络的结构和训练算法来分，其中RBFNN由于其简单的优化过程以及较强的非线性拟合能力，故有着非常广泛的应用。,遗传算法,遗传算法是一种借鉴生物界自然选择和自然遗传机制的并行、随机、自适应搜索算法。遗传算法来源于对自然界进化过程的模拟，可以说是对达尔文进化论公式化的表达。其主要思想是利用简单的编码技术和繁殖机制来表达复杂的现象，从而解决复杂问题。