（药物分析学专业论文）模型传递对仪器间采样差异的评估和消除.pdf

摘要模型传递是化学计量学的研究热点之一，是数学算法走出实验室所必须解决的一个瓶颈。本文重点研究模型传递的简易方法和效果评价。在光谱分析中，以紫外一可见光谱仪为例，从仪器间差异的来源着手，建立单向量模型传递法，并分别采用模式识别和多元校正模型验证其稳健性和有效性。该法简化模型传递的数学和化学操作，便于普及。同时，将模型传递思想延伸到不同色谱柱采样的匹配中去。在一维色谱信息中，充分的利用除保留时间外的其他已知条件，实行智能匹配，达到理想效果。该课题的研究结果有效的消除了不同仪器间的差异，实现了数学模型的稳健移植，对以化学计量学方法为基础的快速分析，提供了推广和普及的手段，具有很强的实用价值。关键词：模型传递，化学计量学，色谱指纹图谱，单向量模型传递法，模式识别，多元校正模型，仪器间信号差异m o d e lt r a n s f e r ，b e i n go n eo ft h eh o ts p o t si nc h e m o i n e t r i c sf i e l d ，i st h eb o t t l e n e c kf o r t h ed e b o u c h m e n to fm a t h e m a t i c sa r i t h m e t i cf r o m1 a b o r a t o ry i nt h i sp a p e r ，t h ec o n v e n i e n tm e t h o df o rm o d e lt r a n s f e rw a ss t u d i e da n di t se f f e c tw a se v a l u a t e d i ns p e c t r u ma n a l y s i ss u c ha su v v i s i b l es p e c t r o g r a m ，s i n g l ev e c t o r o d e lt r a n s f e rw a se s t a b l i s h e db yf i n d i n gt h es o u r c e so ft h ed i f f e r e n c ea m o n gi n s t r u m e n t s t h es t e a d i n e s sa n de f f i c i e n c yw e r ev a l i d a t e db yp a t t e r nr e c o g n i t i o na n dm u l t i v a r i a t ec a l i b r a t i o nm o d e l s ，r e s p e c t i v e l y t h i s e t h o dc o u l dp r e d i g e s tt h em a t h e m a t i c a la n dc h e m i c a lm a n i 口u l a t i o nf o rm o d e lt r a n s f e ra n dw a se a s vf o rp r e v a l e n c e a 1s o ，m o d e lt r a n s f e rw a sa p p l i e dt ot h em a t c h i n go fs a m p li n gf r o mv a r i o u sc h r o m a t o g r a mc 0 1 u m n i nt h ei n f o r m a t i o no fo n ed i m e n s i o nc h r o m a t o g r a m ，g o o de f f e c tc o u l db eo b t a i n e db yf u l l yu s i n gt h ek n o w nc o n d i t i o n so t h e rt h a nr e s e r v a t i o nt i m ea n da p t i t u d em a t c h i n g i nt h i sr e s e a r c h ，t h ed i f f e r e n c ea m o n gt h ei n s t r u m e n t sw a se f f e c t i v e l ye l i m i n a t ea n dt h es t e a d yg r a f to fm a t h e m a t i c sm o d e lw a sa c h i e v e d i tp r o v i d e dt h ew a yf o rr a p i da n a l y s isp o p u l a r i z a t i o nb a s e do nc h e m o t l e t r i c sa n ds h o w e ds i g n i f i c a n tp r a c t i c a lv a l u e k e yw o r d s ：m o d e lt r a n s f e r ，c h e m o m e t r i c s ，h p l cf i n g e r p r i n t ，s i n 9 1 ev e c t o ri n o d e lt r a n s f e r ，p a t t e r nr e c o g n i t i o n ，m u l t i v a r i a t ec a l i b r a t i o nm o d e l s ，i n s t r u m e n tr e l a t e ds i g n a ls h if t独创性声明y7 3 0 5 7 5本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。本人承担本声明的法律责任。学位论文作者张，椭气签字魄沙町年厂月日学位论文使用授权书声明本人完全了解第二军医大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权第二军医大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书)学位论文作者签名：么蝴导师签名：p 留签字日期：础o f 年l f 月6 日签字日期：沙日f 年i 月6日第= 军医大学前言博士学位论文前言一、模型传递的意义随着计算机技术的迅速普及，数学和计算机科学在分析化学中的应用日益广泛，化学计量学( c h e m o m e t r i c s ) 的方法和内容得到不断的充实和扩展。其通过对原始信息的充分解析和利用，简化了样品进行物理、化学的分离分析步骤，因此，原始采样仪器结合化学计量学方法建立的快速分析方法已成功用于农业、石化、药物等行业，为分析化学中智能化的发展提供了新的机遇。由于化学计量学是通过数学手段解析出特征信息的变化规律，来预测未知样本，必须采集一定的校正样本数，组成多元模型，以有效地将各种干扰变异和特征信息分离，保证预测结果的准确性。而在实际推广中，当在某一仪器( 称源机，m 髂t e r ) 上建立的一个多元校正模型，移植到另一台与源机相同类型的仪器( 称目标机，s l a v e s ) 上将无法使用，或者结果产生较大偏差。究其原因，是因为量测信号是样品本征信号和仪器影响信号的复合，而仪器个体的差异，使已建模型所估计的干扰变异与实际样本不符，导致影响特征信息的准确预测。解决这类问题的过程称之为模型传递( m o d e lt r a n s f e r ) ，也称仪器的标准化( s t a i l d a r d i z a t i o no fs p e c m e t r i ci n s t m m e n t s ) 。，目前，有报道模型传递已经用于紫外一可见光谱、n 瓜、荧光光谱、拉曼光谱、电化学和高效液相色谱等仪器，其本质是克服样品在不同仪器上，量测信号的不一致性，是近年来化学计量学研究的热点课题之一。该课题不仅具有理论研究意义，而且也具有较高应用价值，其研究直接影响已建数据模型的通用性，是数学算法走出实验室所必须解决的一个关键技术。例如为避免不同实验室都需对标准药材进行采样的繁琐，设想使用色谱中药指纹图谱来建立标准库，但实际操作中山于不同色谱柱等硬件因素，采样往往有较大差异，如果所建立的模型不能在仪器间有效的传递，将直接影响这项技术的广泛应用。因此，模型传递是在保留化学计量学优势的基础上，提高其实际应用中稳健性的重要手段，必须首先解决。第一军医人学前言博上学位论文二、模型传递的现状当前模型传递主要的研究对象仍然是光谱。为保证化学计量学模型移植后的准确性，模型传递将目标机的响应函数进行修正以匹配源机的响应函数。根据是否需要选择一定数量的样品组成标样集，模型传递分为两大类。1 有标样方法该法将源机和目标机的某一信息参数，通过标样集确定传递函数。根据所传递的对象不同，又分为预测结果、系数矩阵、原始量测信号三种匹配方式：( 1 ) 以预测结果为对象的模型传递其中最广泛应用的是斜率偏差算法( s b c ) 。s b c 在仪器差异简单时，工作良好。由于是单变量方法，不会受传递过适( o v e 卜f i t ) 的影响。但当仪器差异较为复杂且变量的传递方程与样品本身性质有关时，效果不佳。为此，b o u v e r e s s e等设计了一个判据以判断s b c 在实例中的适用性，其利用f 检验比较两者的方差，如无显著差异，则认为适用。( 2 ) 以系数矩阵为对象的模型传递也有报道对光谱的吸收系数矩阵实施传递的方法。其中y = x 1 b ly = x 2 b 2 = x 2 ( b l + b )ab = b 2 _ b 1 = ( ) ( + 2 一x + 1 ) y利用已知样品在两台机子采样组成子集s ，、s ：，则6 ：一6 + a 6 r j y + ( s ；一s j ) y = 6 + 6z 一6 ，其中舌：和i 。是由子集s ，、s 2 求出，它们分别是b 2 、b 1 的估计值，差异可忽略不计，从而得到b 2 。( 3 ) 以量测信号为对象的模型传递该思路目前报道最多，研究也较为成熟。其通过数学方法建立源机和目标机所测信号的函数关系，由确定的函数关系，变换目标机所测信号来实现模型传递。基本算法是求得标样集在源机与目标机的量测信号的转换矩阵，再将待测样品的量测信号经过该转换矩阵传递到源机模型中进行预测，以消除仪器问响应值差异的影响。如d s ( d i r e c ts t a n d a r d i z a t i o n ，直接校f 法) 、p d s ( p i e c e w i s ed i r e c t第二军医大学前言博上学位论文s t a l l d a r d i z a t i o n ，分段直接校正法) 以及s h e n l 【s 算法都属此类。2 无标样方法有报道采用人工神经网络( a n n s ) 进行标准化，但a n n s 往往受过适的困扰，因为一个合理大小的舢州有许多参数需估计，远大于可用的传递样本。d u p o n c h e l 等采用类似p d s 窗口移动的局部a n n 模型，尽管该法减少了节点，但需构建与光谱窗口数目相同的a n n s 。d e s p a 印e 等提出一个新颖的想法，将光谱窗口中的每个测定点作为独立的样本，从而人为生成大量样本，并得到较好结果。最大似然主成分分析法( m l j p c a ) 和正矩阵因子分解法( p m f ) ，则将需传递的光谱作为缺失矩阵看待，采用增广矩阵求解。这两种方法因为假定了大量的缺失数据，其受到收敛性的困扰。也有采用勋l m a n 和w i c n e r 滤波进行模型传递，由于鲜见使用，很难对它们作出准确评价，但k a l m 孤滤波对模型更新有一定潜力。有限脉冲响应( f i r ) 最大的缺限是光谱传递过适，影响其稳健性。三、本课题研究意义目前所提出的模型传递方法各有优势和缺限，如神经网络对处理非线性具有一定优势，但必须对参数的数目做准确估计。因此，在实际应用中应根据实际情况选择合适的方法。本文从紫外一可见光谱仪间，仪器变异的来源着手，根据一个标样不同仪器间采样的整体相似性，建立单向量模型传递法，并分别采用模式识别和多元定量模型验证其稳健性和有效性，目前未见此类报道。该法简化模型传递的数学和化学操作，便于模型传递的普及。在对光谱数据尝试模型传递的同时，本课题还考察了色谱中模型传递的可能性，以保证不同柱间采样的一致性。随着中药指纹图谱技术的推广，其规范化要求使指纹图谱的模型传递显得更为重要。为消除不同仪器间保留时问的差异，梁逸曾等提出利用色谱一光谱二维信息，建立光谱相关色谱法实施不同色谱柱采样的匹配，达到模型传递的目的。而本课题则尝试在一维色谱信息中，更充分的利用除保留时间外的其他信息，实现模型传递，取得较为理想的效果，为色谱指纹图谱相似度计算中色谱峰匹配的规范化提出一种全新的思路。三、本课题研究内容l 弄0 用模拟数据，对褶合变换法和其他两种目前比较普及的模式识别方法聚第二军医大学前言博士学位论文类分析和p c a ，在光谱模式识别中能力的差异进行比较，分别以不同峰形、不同波段比较方法的灵敏度，以不同误差水平、不同采样间距等考察了方法的稳健性，以确定模型传递的必要性。2 采用单一标准光谱作为标样，目的建立快速模型传递方式。分别以向量间相关系数、明氏距离、夹角余弦等方法作为光谱模型传递中平移向量的优化判别函数，建立z 。z 。e + 曰的模型传递通式，以激素类等药物的紫外一可见光谱考察其对光谱模型传递的有效性。并考察了同物质不同浓度、相似物质采样等标样变化因素对结果的影响，验证通式的稳健性。3 在定量分析中，提高多元校正方法的稳健性将降低模型传递的要求，简化其操作步骤。为此，本文尝试采用统计学中置信区间和t 检验为指标，筛选褶合变换双组分含量测定时的最佳条件，避免拟合过适，提高算法的稳健性。4 通过模拟数据所得褶合变换、卡尔曼滤波( k f ) 、偏最小二乘法在光谱双组分定量中定量限的变化趋势，比较方法的稳健性。5 将单向量模型传递法用于实测的不同仪器间双组分定量，以验证该法的有效性。考察具体定量算法的稳健性对模型传递效果的影响。6 尝试扩展模型传递技术以改善色谱峰的匹配效果。以知母、黄芪等中药材的不同柱色谱指纹图谱为考察对象，针对不同色谱柱，因固定相等因素的不一致性，使指纹图谱产生差异这一现象，分别提出双向迭代法、梯度相关似然法和面积相关似然法三种方法对色谱峰实行智能匹配，并将三种方法的匹配效果与两点法和多点法进行比较，验证方法的有效性。4第一部分模型传递在光谱信息模式识别系统中的应用第一部分模型传递在光谱信息模式识别系统中的应用第一章光谱信息模式识别方法的比较模式识别( p a t t e r nr e c o g n i t i o n ) ，就是通过计算机采用数学技术方法来研究模式的自动处理和判读。其作用与目的就在于对某一具体对象将其正确地归入某一类别，是信息处理发展到智能阶段的产物。通常，我们把通过对具体的个别对象( 即样本) 进行观测所得到的具有时间或和空间分布的信息称为模式，而把模式所属的类别或同一类中模式的总体称为模式类。在模式识别的基本原理中，为了能在某个空间中进行分类，通常假设同一类的各个样本在该空间中组成一个紧致集。从这个紧致集中的任何一点可以均匀地过渡到同一集中的另外一点，而在过渡途中的所有各点都依然属于这个紧致集即属于同一模式类。此外当紧致集中各点在任意方向有某些不大的移动( 相应于被观察现象有某些微小的变形) 时它仍然属于这个集合，这些点称为该集合的内点。如果紧致集中某点在某一方向有不大的移动，将改变其集合归属，该点称为临界点。理想的紧致集应该满足下列性质：i 临界点的数量与总的点数相比很少集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。每个内点都有一个足够大的领域，在该领域中只包含同一个集合中的点。然而，在很多实际问题中，原始信息是很难满足理想的紧致集假设。必须采用一定的变换方法，使测量空间上属于同一类的所有各点都映射到特征空问l 的同一点附近，而把另一类的所有各点都映射到特征空间上的另外一点附近，且使这两点相隔一个显著的距离，从而使研究对象在这个特征空间中，更为符合紧致性假设的要求。针对u v _ v i s 及n i r 光谱系统的采样特性，本章试图应用褶合变换法、最短距离法聚类、主成分分析一最小距离判决法三种方法，对其模拟数据的识别能力进行了详细的比较和观察。第一部分模型传递在光谱信息模式识别系统中的应用一、原理与算法模式识别根据是否存在已知类别标签的样本集来分为两个系统，即有监督学习( s u p e r v i s e dk a m i n g ) 系统和无监督学习( u s u p e n r i s e dl e a r n i n g ) 系统。有监督学习系统要运用一组已知其类别的样本，这些样本集在特征空间中构成的点集称为训练集，有监督的识别模式就是利用训练集通过学习来获得识别准则。然后再用这些识别准则来判决未知模式所属的类别。为了检验从训练集中得到的识别准则的可靠程度，常常利用一些未包括在训练集中的已知类别的样本构成所谓预示集，利用从训练集中获得的识别准则对预示集中各模式进行识别，以检验其识别的可靠性。其中褶合变换法、主成分分析一最小距离判决法属于此类。无监督学习与有监督学习不同，它不依赖于训练集，而是在特征空间中直接寻找点群或其他可以识别的数据结构。最短距离法聚类分析的实质则是模式识别的无监督学习系统。d 盯= 薹g 一z 业) 2 “2。1 ，g 2 类里任一样本之问的各个距离中最小的一个。用d p q 表示g p 与g q 的距离，d 埘= 矗d 口( 1 2 )将d p q 从小到大依次聚类直至所有的元素成为一类。第一部分模型传递在光谱信息模式识别系统中的应用2 主成分分析一最小距离判决法由于采用原始光谱信息为特征变量进行聚类，不仅因特征数多造成计算量大，而且还有干扰因素影响判断。因此该法先利用主成分分析将高维空间的点降维为低维空间的点，并将特征信息集成的特点，以少数新的综合变量取代原始的多维变量，从而实现特征压缩。p c a ( 主成分分析) 的最一般公式为y = z p( 1 3 )其中t 为得分矩阵，p 为载荷矩阵，原始数据可以看成得分矩阵和载荷矩阵的乘积。其中得分矩阵t 的每一个元素实际是每一个样本向量y 对载荷矩阵p 中的每一个相互正交的荷载矢量上的投影坐标，它反映了样本之间的相互关系。现将每个样本都转化为其得分矢量t i ，并认为每一类模式总是聚集在一个典型的或有代表性的模式周围，把同类各样本的得分向量求平均值于：三丁( 1 4 )忍-、以丁为该类的典型向量。对于任一新的样本，比较它与各类模式典型向量之间的距离，将它判给离它最近的典型向量所对应的类。其判决函数& ( 丁) = f 丁一捆1 2( 1 5 )g ；( 丁) = r 丁一去l p 0( 1 5 )若罂x g 。( 丁) = g f 0 口)( 1 6 )i l i m”则判决这一新样本属于第i o 个模式类别。3 褶合变换法褶合变换( c o n v o l u t i o nt r a n s f o h n ，c t ) 是吴玉田教授率领的课题组在2 0世纪8 0 年代发明的光谱信息处理新技术，它是从物理的角度提出对光谱进行变换，而小波变换是从数学角度描述信号变换，经有关数学专家研究确定，它具有小波变换的所有特征。褶合变换的公式如下：1i，nq，f、，九，lank=uq第一部分模型传递在光谱信息模式识别系统中的应用( i = 1 m ，j = 1 5 )( 1 7 )式中：n 为尺度大小：m 为测定点数：a ( 九。) 为待变换的一段波长区间( 九。一凡。) 内的吸收光谱值；中i j 、n i 为数学模型参数。将不同窗口尺度下( n = 2 3 0 ) ，通过平移求得的各主成分的权函数值( 0 0 、q 1 、q 2 q 5 ) ，与( 平均) 波长作图，即得到褶合光谱。褶合光谱上的每一个值，都与一段波长区间内物质的吸光特性相对应，因此褶合光谱可以反映该段波长区间内物质对光吸收的细微变化。与主成分分析类似，褶合变换同样具有特征提取的功能，再利用训练集中的样本差异，为褶合光谱划定相应的置信区问，如待测样本变换所得褶合光谱落入置信区间内，则认为与已知样本同类。若在整个待测样本的褶合光谱体系中，其概率点值超出相应的置信范围，则判定其与已知样本不同类。二、模拟数据体系的建立建立模拟数据是开展化学计量学方法学评价和比较的第一步。本文采用g a u s s i a n 函数模拟光谱信息。g a u s s i a 分布又称正态分布或拉普拉斯分布，是一种以均数为中心呈对称的钟形连续型分布，其分布的密度函数( 即正态曲线的方程) 为1一! 型三厂 ) 2 赢e2 ( 一 丑 + )( 1 8 )其中，u 为总体均数，o 为总体标准偏差。g a u s s i a n 函数较为平缓，适于模拟光谱峰。当采用此数学方程描述光谱信息时，方程可进一步简化为一咝y = 口，p2 4 ( 1 9 )a i 、b i 、c i 、i 分别代表光谱峰的峰高、半峰宽、峰位和峰的个数。x 为波长点，y 为模拟得到的光谱曲线。通过调整a i 、b ；、c 卜i 的取值并再加入随机噪音，我们即可得到不同形状的吸收光谱，从而满足模式识别能力考察时对临界点判断的无限趋近要求。第一部分模型传递在光谱信息模式识别系统中的应用三、实验方法一张光谱信息图可看成主要包含峰高、半峰宽、峰位和峰个数的多参数函数。两张不同模式的相似光谱信息，可看成在一定水平的随机噪音存在下，对四个参数中任意数个的改变而产生的综合效应。我们设一组各具不同参数的g a u s s i a n 函数组合图谱群，为一组不同待测物质的相似谱群，对以上三种模式识别方法的能力进行考察。1 不同模式类的构建固定一个参数组合，加入相当标准偏差的随机噪声，构建波长范围2 0 0 4 0 0 姗，间隔1 n m 的不同浓度光谱共1 5 个样本组成模拟标准模式类。不断改变光谱信息的参数组合，加入相当标准偏差的随机噪声，构建波长范围2 0 0 4 0 0 n m ，间隔1 n m 的样品模式类。2 范围确定( 1 ) 最短距离法聚类分析将样品模式类与标准模式类中所有样本一起进行聚类，认为当聚类结果中恰好出现模式类归属错误时，该参数组合为一标准模式类的临界点，而所有临界点组成该标准模式类的临界范围。( 2 ) 主成分分析一最小距离判决法将样品模式类与标准模式类中所有样本做主成分分析，并按样本的得分向量分别求解两类的典型向量。分别计算所有样本的得分向量到两类典型向量的距离，对其重新分类，当任一样本出现归属错误，该参数组合为一标准模式类的i 临界点，而所有临界点组成该标准模式类的临界范围。( 3 ) 褶合变换法随机抽取标准模式类中包含不同浓度的数条光谱组成参比集，分别与标准模式类中另外各光谱作匹配比较，如有差谱点比值大于0 1 的图谱，将其加入参比集，直到所有自我训练结果小于0 1 。再把构建好的参比集与样品模式类中的各光谱作匹配比较，当任一样本的差谱点比值小于1 ，则认为出现归属错误，该参数组合为一标准模式类的临界点，而所有临界点组成该标准模式类的临界范围。临界范围越小，则其识别能力越高，反之，则识别能力较差。9第一部分模型传递在光谱信息模式识别系统中的应用四、结果与讨论1 单峰模式识别能力考察( 1 ) 标准偏差0 0 0 1 偶然噪音下的全范围比较以峰高0 5 、半峰宽1 0 n m 、峰位3 0 0 n m 为标准模式类，波长范围2 0 0 4 0 0 n m ，在标准偏差0 0 0 1 的偶然噪音存在下，分别求得三种方法的临界范围，见图1 1 。飞7、t? |lc h - )01 。0 “下“”。“”少“”1 2巡，磊乡夕图1 1 三种不同模式识别方法的临界范围( 1 ) 褶合变换法( 2 ) 主成分分析一最小距离判决法( 3 ) 最短距离法聚类分析在相同标准偏差偶然噪音的干扰下，仅改变单峰光谱向量的半峰宽b 和峰位c 的情况下，褶合变换法的模式识别能力远强于其他两种方法( b 约为o 0 7 n m ，而c 约为o 0 6 n m ) ，而聚类分析和p c a 一最小距离判决法则能力相近，后者略优。( 2 ) 噪声分布的偶然性对模式识别能力的影响加入样本的同水平随机噪声向量之间分布存在差异，这种差异我们谓之噪声的偶然性。该差异可能导致模式识别的临界范围发生改变。为此，我们生成3 组标准偏差0 0 叭的偶然噪音，以峰高o 5 、半峰宽1 0 n m 、峰位3 0 0 n m为标准模式类，分别考察相应的范围变化。( 见图1 2 、1 3 、1 4 )在相同标准偏差水平下，对于不同组噪声而言，第2 组噪音临界范围在3种方法中都与1 、3 组有较大差异，第3 组噪音的临界范围稍小于第1 组。而不同方法中，最短距离法聚类受到偶然噪音随机性影响最大，第2 组噪音的1 0第一部分模型传递在光谱信息模式识别系统中的应用临界范围远大于1 、3 组，其他两种方法范围上则无明显扩大，这与它们在特征提取过程中的滤噪能力有关。但褶合变换法及p c a 一最小距离判决法的范围的中心都发生了偏移，可能第2 组噪音恰与标准模式类有较强相关性，两者迭加导致i 临界范围偏移。i 、衫1 j ? j 。0 纱”图1 2 标准偏差0 0 0 1 水平的不同偶然噪音组合干扰下褶合变换的临界范围变化、存丢冬?。“1 父0 0 一。秽。“7 ”二夕耐，b ，r ( 3 ) 不i 司噪声水平对模式识别能力的影响( 1 ) 一二：、夕季一“”忒f 7“v 、c b 】。01 ”。”。坩2“77形ec p 图1 3 标准偏差o 0 0 1水平的不同偶然噪音组合干扰下最短距离法聚类分析的临界范围变化图1 4 标准偏差0 0 0 1 水平的不同偶然噪音组合干扰rp c a 一最小距离判决法的临界范围变化第一部分模型传递在光谱信息模式识别系统中的应用以峰高o 5 、半峰宽1 0 n m 、峰位3 0 0 衄为标准模式类，分别加入符合标准偏差o o 0 0 5 、o 0 0 1 、0 0 0 2 的随机噪音，考察三种方法临界范围随噪声水平的改变而出现的变化。( 见图1 5 、1 6 、1 7 )。l簇八，l心可”。7 ”一* + 。少，二才4 八一、。h lt“”r1飞。00 3 三”。”r、l，一、= = a 叶一一。4，。一一二i、滓u * 、。02 8 弋。0 “二”2 1 03 8：9 1 2 。日6 一一一”一图1 5 不同标准偏差水平的偶然噪音组合干扰下最短距离法聚类分析的临界范围变化( 1 ) o 0 0 0 5 噪声水平( 2 ) o 0 0 1 噪声水平( 3 ) o 0 0 2 噪声水平图1 6 不同标准偏差水平的偶然噪音组合干扰下褶合变换法的i 商界范围变化( 1 ) 0 0 0 0 5 噪声水平( 2 )0 0 0 1 噪声水平( 3 ) 0 0 0 2噪声水平图1 7 不同标准偏差水平的偶然噪音组合干扰下p c a 最小距离判决法的临界范罔变化( 1 ) 0 0 0 0 5 噪声水平( 2 ) 0 0 0 1 噪声水平( 3 ) o 0 0 2 噪声水平第一部分模型传递在光谱信息模式识别系统中的应用随着噪声水平的放大，三种方法的临界范围都有所放大，p c a 最小距离判决法的变化范围是：o o 0 0 5 噪声水平下i b l o 0 7 n m ，l c l o 0 8 n m o 0 0 1 噪声水平下l b i o 1 4 n m ，i ci o 1 3 n m o 0 0 2 噪声水平下l bi o 3 5 n m ，l cl o 2 8 n m 。褶合变换法的变化范围是：o 0 0 0 5 噪声水平下l b i o 0 3 n m ，i c l o 0 2 5 n m o 0 0 1 噪声水平下l b i o 0 8 n m ，l ci o 0 7 n m o 0 0 2 噪声水平下l bi o 1 5 n m ，l ci o 1 4 n m 。而最短距离法聚类的变化范围是：o 0 0 0 5 噪声水平下l b l o 0 9 n m ，i c i o 0 9 n m o 0 0 1 噪声水平下i b i o 1 4 n m ，i ci o 1 4 n m o 0 0 2 噪声水平下i bi o 4 1 n m ，f ci 心“算拶”、壬乏_ i 彳；沙图1 1 1 不同波长区域p c a 一最小距离判决法的临界范围变化( 1 )2 0 0 一4 0 0 n m ( 2 )2 0 0 一3 5 0 n m(3)图1 1 2 不同波长区域最短距离聚类分析的临界范围变化( 1 ) 2 0 0一4 0 0 n m ( 2 ) 2 0 0 3 5 0 n m( 3 ) 2 5 0 一3 5 0 n m图1 1 3 不同波长区域褶合变换法的临界范围变化( 1 ) 2 0 0 一4 0 0 n m( 2 ) 2 0 0 3 5 0 n m ( 3 )2 5 0 一3 5 0 n m第一部分模型传递在光谱信息模式识别系统中的应用而最短距离聚类分析则对噪声主导区的增减反应不定，认为其使用原始信号求算距离判据，使噪声主导区对判据的影响也表现较为随机。信号主导区单向递减对模式识别能力的影响以峰高0 5 、半峰宽1 0 n m 、峰位3 0 0 姗为标准模式类，加入符合标准偏差o 0 0 l 的随机噪音，分别截取2 5 0 一3 0 0 i l m 、2 5 0 3 1 0 n m 、2 5 0 一3 3 0 n m 三段不同波长区域的信号，考察三种方法i 临界范围的变化。( 见图1 1 4 、1 1 5 、1 1 6 )胗忒卜n ，、l。：，。0 ”n 幻”厂f 厂忒i 厂o 、迤n ( 1 )令、：1 “n裂“j 。1 。? 。? 1 1 1 。1 。1 8i 弋mlf o )管i 。1 ”。”芯妒6 ”丫。0 一oie、，图1 1 4 不同波长区域p c a 一最小距离判决法的临界范围变化( 1 ) 2 5 0 一3 0 0 n m ( 2 )2 5 0 一3 1 0 n ( 3 ) 2 5 0 3 3 0 n m图1 1 5 不同波长区域最短距离聚类分析的临界范围变化( 1 ) 2 5 0 一3 0 0 n m( 2 ) 2 5 0 一3 1 0 n m ( 3 )2 5 0 3 3 0 n m图1 1 6 不同波长隧域褶台变换法的临界范围变化( 1 ) 2 5 0 一3 0 0 n m ( 2 )2 5 0 一3 1 0 n m ( 3 ) 2 5 0 3 3 0 n m第一部分模型传递在光谱信息模式识别系统中的应用g a u s s i a n 函数模拟的光谱峰呈左右对称，如单侧截去部分信号主导部分，随单侧信号主导区的缩小，使临界点的分布也逐步出现不规则形态。而且，三种方法都呈现临界范围扩大的趋势。尽管2 5 0 3 1 0 n m 、2 5 0 一3 3 0 n m 相差2 0 i l m ，三种方法显示的临界范围变化只是稍大，而2 5 0 一3 0 0 n m 、2 5 0 3 1 0 n m仅相差1 0 n m ，但临界范围显著扩张，认为有两个原因：a 波长范围改变，导致有用信息量的变化。b 极值点边界可能是临界范围增减的突变点。因此，如继续同向截去信号分量，必将使范围扩大程度持续增大，失去模式识别的有效性。图谱对称性对模式识别能力的影响为证实极值点边界是临界范围增减的突变点，以峰高o 5 、半峰宽1 0 n m 、峰位3 0 0 n m 为标准模式类，加入符合标准偏差o 0 0 1 的随机噪音，分别截取2 5 0 一3 0 0 n m 、2 6 0 3 1 0 m 、2 7 0 - 3 2 0 n m 三段不同波长区域的信号，考察三种方法临界范围的变化。( 见图1 1 7 、1 1 8 、1 1 9 )除：兰( ( 厂督弋? 妇。0 ”n乡r 。”丫、沁0 一0 1 1 、心f啦) fi【厂气兮，。0 “。“厂612 l盖繁_ m伊一、心。“。1 札fjl。一。”歹7 1 2邑夕1 n 矿m m l 0 )。飞c 钿_ )15 吨“i ，。俨毫! 多图1 2 1 不同波长区域最短距离聚类分析的临界范围变化( 1 ) 2 6 0 3 4 0 n m ( 2 )2 7 0 3 3 0 n m ( 3 ) 2 8 0 3 2 0 n m图1 2 2 不同波长区域褶合变换法的临界范围变化( 1 ) 2 6 0 一3 4 0 n m( 2 ) 2 7 0 3 3 0 n m ( 3 )2 8 0 3 2 0 n m在信号主导区，当波长区域对称扩展后，p c a 一最小距离法所得临界范围反而稍有下降。另外两种方法则是2 7 0 一3 3 0 n m 临界范围最小。这些趋势可能与波长区域对称扩展过程中信息特征性和噪音干扰度的平衡有关。2 多峰谱图的模式识别能力考察( 1 ) 峰数对模式识别能力的影响固定峰高0 5 、半峰宽1 0 n m ，分别模拟单峰( 峰位3 0 0 n m ) 、双峰( 峰位2 6 0 、3 0 0 n m ) 及三峰( 峰位2 6 0 、3 0 0 、3 4 0 n m ) 的标准模式类，加入符合标准偏差0 0 0 1 的随机噪音，比较三者的临界范围。( 见图1 2 3 、1 2 4 、1 2 5 )结果显示，当峰数增多后，三种方法的临界范围都减小，且减小幅度都逐渐减慢，其中褶合变换法的双峰及三峰标准模式类所划定的临界范围已基本重合。1 9第一部分模型传递在光谱信息模式识别系统中的应用00 自l 伊一、口)。吣? f2 、li“1 。乡。厂。、口) - 严_ 慕。r111“1 多i ”7 ”自* 贰，伊。0“o”) 5 ”冀 = =杉图1 2 3 峰数不同时p c a 一最小距离判决法的临界范围差异( 1 ) 三峰( 2 )双峰( 3 ) 单峰图1 2 4 峰数不同时最短距离聚类分析的临界范围差异( 1 ) 三峰( 2 ) 双峰( 3 ) 单峰图1 2 5 峰数不同时褶合变换法的临界范围差异( 1 ) 三峰( 2 )双峰( 3 ) 单峰( 2 ) 不同峰高比例对模式识别能力的影响固定半峰宽1 0 n m ，双峰( 峰位2 6 0 、3 0 0 n m ) 峰高不同比例( 1 ：1 、1 ：2 、1 ：4 ) 的标准模式类，加入符合标准偏差o 0 0 1 的随机噪音，比较三者的临界范围。( 见图1 2 6 、1 2 7 、1 2 8 )2 0第一部分模型传递在光谱信息模式识别系统中的应用二= 斗m9 厂弋、心。“、也i11。0 矽?一一一乞* e 伊竺专m夕。国。0 “。l 9 7 ”o 夕一夕1 f 一一、伊 、心。蜓一- 纱m、= = 二：图l2 6 双峰峰高不同比例时p c a 一最小距离判决法的临界范围差异( 1 ) l ：l ( 2 ) 2 ：l ( 3 ) 4 ：l图1 2 7 双峰峰高不同比例时最短距离聚类分析的临界范围差异( 1 ) 1 ：l ( 2 )2 ：1 ( 3 ) 4 ：1图1 2 8 双峰峰高不同比例时褶合变换法的临界范围差异( 1 ) l ：1 ( 2 ) 2 ：l ( 3 ) 4 ：1在双峰系统中，降低某一峰的峰值，也将使临界范围扩大，当两峰比值低于1 ：2 时，该峰的峰值变化已对临界范围的确定影响不大，并接近于单峰系统的结果。在三峰系统中，也有类似现象出现，说明光谱信息中，峰对模式识别能力影响与其在图谱中所有峰的峰值比有关，大峰往往占有主导作用。第一部分模型传递在光谱信息模式识别系统中的应用3 采样间隔对模式识别能力的影响以峰高o 5 、半峰宽1 0 n m 、峰位3 0 0 n m 为标准模式类，波长范围2 0 0 4 0 0 n m ，在标准偏差0 0 0 1 的偶然噪音存在下，分别间隔1 n m 、3 n m 、5 m 采样，比较其临界范围的变化。( 见图1 2 9 、1 _ 3 0 、1 3 1 )。，彳髫矿i ：矽n _ 。吣芯，1i。0 “3 。”“”。”0 | 1 4m *m ，i彩* ”一妒吾焉之惑。o 堆。0 矽”i 二乡? 伊兰j 、毒。01k3。叭。，1 5m 夕(二7图1 2 9 不同采样间隔时p c a 一最小距离判决法的临界范围差异( 1 ) 1 n ( 2 ) 3 n m ( 3 ) 5 图1 3 0 不同采样间隔时褶合变换法的临界范围差异( 1 )l n m ( 2 ) 3 n m ( 3 ) 5 n 图1 3 l 不同采样间隔时最短距离聚类分析法的临界范围差异( 1 ) 1 n m ( 2 )3 n m ( 3 ) 5 n m采样间隔的改变，对三种方法的临界范围大小变化不明显，只是范围的各取向有所改变，并引起中心点的偏移，在双峰和三峰系统中也有类似现象，第一部分模型传递在光谱信息模式识别系统中的应用可能与合弃数据中相关信息的缺失有关。五、小结本章以模拟数据较为全面的比较了最短距离聚类分析、p c a 一最小距离判决及褶合变换三种模式识别方法的性能和特点，得出：( 1 ) 模式识别能力：褶合变换法 p c a 一最小距离判决 最短距离聚类分析。这一结果与其方法本身的特点有关。最短距离聚类分析属无监督学习系统，由于没有已知类别的样本集，甚至不知道类别的数量，可以利用的信息量大大减少，且其直接采用原始信息，求算判断值，难以将信息中的特征充分体现，所以效果较其他二者差。p c a 一最小距离判决先是采用p c a 算法通过降维、集成将采样信息特征提取，再通过与各类特征矢量比较，归入最近类，优于前者，但p c a 的特征提取过程中舍弃了一小部分信息，且最小距离判决在归类的判断上，最终将所有特征差异集中到距离判据这一单值表示，故其能力也受到一定影响。而褶合变换法通过正交化和窗口平移技术，将信号的细微特征放大，借助统计学处理，划出各分量的置信区间，并计算待测光谱褶合变换后落在置信区问外的概率值，从模拟数据的处理结果可见，该算法的优越性较为明显。( 2 ) 与其他两种方法比较，褶合变换法更注重于相邻区间内信号的变化速率，对于平缓曲线或低次曲线较为迟钝，其判断效果不佳，如对半峰宽为2 0 n m 的单峰或对单侧g a u s s i a n 曲线的判断效果与p c a 一最小距离判决相比已无明显优势。( 3 ) 在单峰模式的整张图谱中，不同波长区域，特征信息分布的不均匀性，使其临界范围发生变化。采样点数相等的不同波长区域，以峰位对称的区域结果最好，因为g a u s s i a n 函数模拟的信号以峰位对称富集。而在沿峰位对称不同大小的区域中，不同方法的最佳选择不尽相同，这是方法本身的特征提取能力和滤噪能力的综合结果。( 4 ) 多峰模式中，峰数增多，则增加了该模式的特征信息，一旦改变峰位或和峰宽，所产生的差异也加大，从而使临界范围减小，但减少幅度逐步减慢，是由于峰数过多时，已接近方法本身判断的极限，难以对结果有更好的改善。第一部分模型传递在光谱信息模式识别系统中的应用第二章紫外光谱仪间的单向量模型传递一、概述在光谱的模式识别能力发展中，目前常用以下对策：不断开发反映物质不同物理化学性质、针对性更强的新型检测器；结合化学计量学，从已成熟的光谱技术中挖掘、放大被掩盖的特征信息，寻求其问的差异，达到识别的目的。紫外一可见光谱作为一种常规分析仪器，已成为一般分析实验室不可或缺的配置。因溶剂与溶质间的相互作用，紫外图谱中的精细结构消失，形成谱带较宽外形平滑的大峰，不利于化学结构相似的物质间，直接由原始信息进行区分，往往需借助化学计量学方法进行特征提取后，再加以判断。为起到理想的模式识别效果，所提取的特征应该对图谱的细微变化敏感，从而也在一定程度影响方法的耐受性。当在不同仪器不同环境下对同一样品测定时，在操作中，往往会出现三种常见差异：( 1 ) 样品的物理化学组成的差异，这将使物质在粘度、粒子大小、表面结构等有所不同，这可能是由批次不同造成的，如空白液的批号不同，原材料不同、样品预处理不同、实验设计不同等。( 2 ) 仪器的响应函数发生了变化。这种情况发生在模型和与样品不是同一仪器获得。尽管不影响其吸收曲线基本轮廓，但两台仪器的吸收系数是不同的。而且更换部件和超限服役都可能导致仪器响应函数的变化。老化的光源、检测器、探针也会导致非线性和信号一时间漂移。( 3 ) 外部环境发生了变化。温度和湿度的变化会造成吸收带偏移和吸收系数非线性变化，从而大大影响测量值。温度波动可能导致热胀，影响光学部件的校准并使峰位沿波长轴向漂移。这些操作过程的差异，将在模式识别过程中引入虚假特征信息，导致预测结果出现偏差。为克服这一缺限，有报道提出几种物理、化学解决方案，主要是规范仪器和实验设计，如合适的仪器参数，环境，和响应信道，实验条件的规范等。这要求操作者对误差来源有预见性且有可行的控制措施：( 1 ) 仪器匹配：采用严格控制实验参数，选择合适的波长，减小差异的存在。这种情况研究者必须知道哪些参数对于模型至关重要。同时，仪器的匹配，第一部分模型传递在光谱信息模式识别系统中的应用要求专家同时测定，仪器同型号，仪器不受使用年限影响，可以不断修正。因此，此法大多数情况不可行。( 2 ) 高包容性模型：在建模时不断变化仪器参数，样品预处理和环境因素，以包含所有的影响因子。它通过宽实验条件包容所有可能的变异，这样在样品采样时就不用严格限制。如在校正模型中增加波长漂移的光谱改善结果。准确建立高包容性模型，需要操作者预见变量的新来源以及在数据中的变动范围，这些是很难得到的。同时，高包容性模型往往物理、化学操作繁琐复杂，且准确性易受到未知变异的影响。而其最大的不足是，由于包含各种可能的变异情况，事实上扩大了标准模式类的包含范围，丧失部分细微特征的识别能力，这对于特征信息相对较少的物质性质( 如紫外光谱) 是非常不利的。( 3 ) 模型的更新：另一种途径是往已建模型里，添加少数新测的样品来估算新的变异特征。这些加入的采样必须准确的描述新仪器的变异，以使模型能够包含新老实验条件下变异特征，并在两种情况下都适用。新加的样本可使模型对新测待测样品的结果更稳健。然而，当原来模型很大时，而新测的样品量又过少时，其贡献将不足以提高结果的耐受性，虽有报道提出采用加权法改善这一问题，权重的选择则很难掌握。模型更新不断慢慢用新样品替代老样品，对解决同一仪器随时间变化的漂移是很有吸引力的。在仪器差异不太复杂时，模型的更新是一种简单易行的手段。但在复杂情况下，需要大量的新样本已包含新的变量等于模型重建。另外模型更新要求新样本在化学本质上属于原模型，对于不宜重现的样本( 如贵重、有毒或