主成分分析与主成分回归

1、主成分分析与主成分回归第1页，共48页，2022年，5月20日，19点16分，星期日1. Introduction1.1 Chemometrics1.2 Necessary Knowledge第2页，共48页，2022年，5月20日，19点16分，星期日1.1 Chemometrics1.1.1. 1970S发展1.1.2. 交叉学科1.1.3. 现代仪器1.1.4. 一个例子1971：瑞典人S. Wold 基金项目定名时首提1974：S. Wold 何B.R. Kowalski 倡议在西雅图首开学术会议 新创学术刊物 J. Chem. Info. Comp. Sci. J. Chemomet

2、rics Chemom. Intell. Lab. Syst.化学计量学与计量关系Chemometrics Stoichiometry需要化学计量学获得更多信息BACK应用数学、统计学、与计算机科学的手段设计或优化量测方法，并通过解析数据最大限度地获取化学及相关信息。化学 分析化学数学 统计学计算机科学 接口第3页，共48页，2022年，5月20日，19点16分，星期日A New trend in Analytical Chemistry -Hyphenated Instrument (聯用儀器)Separation InstrumentSignalInstrumentHPLC DAD (di

3、ode-array detector)GC MS (Mass-spectrometer)第4页，共48页，2022年，5月20日，19点16分，星期日HPLC-DADGet more data3D chromatogramHPLC chromatogram of nuclueside of Cordyceps Sinensis (冬蟲草) at one wavelength第5页，共48页，2022年，5月20日，19点16分，星期日GC-MSGC chromatogram of peptic powder (平胃散)Mass spectrum taken at retention time

4、10.2 minutesBACKTwo-way data containing both chromatography and spectra;Data matrix with more than 80 Megabytes;Data base of lots of chemical standards 第6页，共48页，2022年，5月20日，19点16分，星期日梁逸曾教授的经历美国标准局16组分PAH混合物标样(Sulpeco)已知峰9为苯并a蒽和屈，峰14为苯并芘和二苯并蒽的二组分重叠峰BACKNext芴、苊、菲三混合第7页，共48页，2022年，5月20日，19点16分，星期日Peaks

5、 5 and 6 in the plot第8页，共48页，2022年，5月20日，19点16分，星期日峰5、峰6的演进特征投影图峰5的前5个特征值依次为16382，2436，1294，22，11第9页，共48页，2022年，5月20日，19点16分，星期日分辨所得的芴、苊、菲、蒽的色谱与光谱化学学报 1998，中国科学 1998，ChemLab. 1999BACK第10页，共48页，2022年，5月20日，19点16分，星期日线性代数1.2 Necessary Knowledge on Linear Algebra1.2.1 矢量Vector1.2.2 线性相关1.2.3 矩阵Matrix1.

6、2.3 秩Rank一组溶液的光谱集合一条光谱同物质不同浓度的光谱混合溶液中的物种数BACK第11页，共48页，2022年，5月20日，19点16分，星期日矢量：n个有顺序的数a1, a2, an组成的数组。k11+ k22+ + kmm=0线性组合：k1+ k2。 就称为，的行矢量：（a1, a2, an）；列矢量t 。问：由,组成的矩阵, rank最大为几？ 1 =( 1 2 3 4 5 6 ) 2 =( 6 5 4 3 2 1 ) 3 =( 1 1 1 1 1 1 )1+ 23 =0第12页，共48页，2022年，5月20日，19点16分，星期日Grade dik received by

7、student i from professor k is矩阵: 一组相同大小的矢量组合经典例子: 教授给学生打分True score of student iRelative loading(importance) given by professor kj: factors (i,e., subjects) chem., physics, math., etc. 第13页，共48页，2022年，5月20日，19点16分，星期日Four students three professortwo subject: Chemistry and EnglishProfessors 1 2 3Stud

8、ents1234Students1234Professors 1 2 3factors 1 212Factors3教授给4学生写留学推荐信S is the matrix of true scores, called the score matrixL is the matrix of importance, called the loading matrix得分矩阵载荷矩阵第14页，共48页，2022年，5月20日，19点16分，星期日矩阵的秩：对于A(mn), 其秩是A中 最大线性无关的行数（或列数）。 秩组分数？秩为几？三种组分，吸收光谱各不相同(s1, s2 ,s3) 6组溶液，各组分浓

9、度不同 吸光度矩阵A(206)Rank =Number of Eigenvalue秩=不为0的特征值的数目矩阵: 一组不同浓度组合的混合溶液测得的光谱集合矢量: 一条光谱第15页，共48页，2022年，5月20日，19点16分，星期日Eigenvalue 特征值奇异值分解法：Y=USVt S: 对角矩阵，收集了Y的特征值 U: 标准列正交矩阵(Scores Matrix) Vt:标准行正交矩阵(Loadings Matrix) 用Matlab 很方便！一句话！BACK第16页，共48页，2022年，5月20日，19点16分，星期日2. PCA 主成分分析 Principal Component

10、 Analysis2.1 目的12.2 基本步骤22.3 应用实例3第17页，共48页，2022年，5月20日，19点16分，星期日2.1 主成分分析(PCA)的目的BACK现代仪器获得两维数据(矩阵)矩阵处理确定秩为多少确定复杂分析体系中的物种数PCA的目的-定性有几种物种species定性第18页，共48页，2022年，5月20日，19点16分，星期日2.2 PCA的步骤BACK矩阵分解真实误差法收集特征值特征值比值法Y=USVt在S中比较RSD与REMax第19页，共48页，2022年，5月20日，19点16分，星期日BACKNIPALS分解矩阵分解奖金10000元=1000015000

11、2100100110000Y=TP奇异值(SVD)分解Single Value DecompositionY=USVt S: 对角矩阵，收集了Y的特征值 U: 标准列正交矩阵(Scores Matrix) Vt:标准行正交矩阵(Loadings Matrix) 用Matlab 很方便！一句话！怎么分解？看了头大！分解成正交矩阵的乘积第20页，共48页，2022年，5月20日，19点16分，星期日Y(mn)有d个主成分真实误差法-确定主成分数d+表示来自主因子0表示来误差=真实误差RE (Real Error,可以知道)RE=RSD (剩余标准偏差)Residual Standard Devia

12、tion第21页，共48页，2022年，5月20日，19点16分，星期日确定或设定RE d=1n-1计算RSD(d) d=1RSD(d)REYES此时d即为主成分数Nod=d+1RSD与实际误差是否吻合判断标准BACK第22页，共48页，2022年，5月20日，19点16分，星期日相邻特征值比值法出现最大值时相应的d 表示最小成分信号的表示最大噪声信号的 显著差异BACK第23页，共48页，2022年，5月20日，19点16分，星期日2.3 PCA的应用实例BACK混合色素中组分数的确定反应过程中组分数的确定第24页，共48页，2022年，5月20日，19点16分，星期日一组食用色素混合溶液测

13、得吸光度矩阵Y156ddd/d+1 RSD14.6084.10.117421.1301.80.059930.614564.00.001740.00961.150.001550.00841.160.0013PCA结果组分数 nc=3722的噪声水平0.0023 0.6145 64.0 0.0017第25页，共48页，2022年，5月20日，19点16分，星期日同样的样品用Agilent 8453ddd/d+1 RSD15.73611.70.046420.4902.50.019530.19964.30.000440.00312.10.000350.00151.90.0002PCA结果组分数 nc=

14、3噪声水平0.0002 3 0.199 64.3 0.0004实际上有3种色素胭脂红柠檬黄日落黄第26页，共48页，2022年，5月20日，19点16分，星期日反过来，已知主成分数时PCA: 通常可以正确判定主成分数根据RSD判断仪器的噪声水平判断操作者的操作水平使用7220.00100.0040BACK第27页，共48页，2022年，5月20日，19点16分，星期日实例讨论-for a chemical reaction三种化学成分A、B、C，光谱线性无关Model 1：Consecutive 1st order reactionResult: Rank=number of componen

15、t=3第28页，共48页，2022年，5月20日，19点16分，星期日Matrix two-way data 光谱矩阵 S动力学矩阵 Q两维数据矩阵YY = QST第29页，共48页，2022年，5月20日，19点16分，星期日日落黄电解降解最终产物无吸收有中间体吗?第30页，共48页，2022年，5月20日，19点16分，星期日日落黄电解降解ddd/d+1 RSD14.1476.000.025520.69125.800.001230.02682.350.000740.01141.180.000550.00970.0003PCA 结果组分数 d=2第31页，共48页，2022年，5月20日，1

16、9点16分，星期日PCA确定组分数nnn/n+1 RSD123.06010.60.0617122.1862.40.0241130.910215.70.0001440.0043.50.0000850.0011.20.0000760.0010.00007最终产物有吸收d=3第32页，共48页，2022年，5月20日，19点16分，星期日实例讨论三种化学成分A、B、C，光谱线性无关Model 2：nc=3, rank=2Y = QST第33页，共48页，2022年，5月20日，19点16分，星期日实例讨论Model 3：Parallel reactionnc=3, rank=?ACBo1o2o1=

17、or o2o1= o2=1k2qB-k1qC=0线性相关rank=2第34页，共48页，2022年，5月20日，19点16分，星期日实例讨论Model 3：Parallel reactionnc=3, rank=?ACBo1o2o1=0， o2=1dA/dt=k1+k2AdB/dt=k1dC/dt=k2A线性无关rank=3第35页，共48页，2022年，5月20日，19点16分，星期日PCA确定组分数Y = load(E:Hp8453BBOH15.txt);U, S, V = svd(Y);lmd=diag(S);n=size(lmd,1);for k=1:n-1 sumlmd=0; for

18、 j=(k+1):n sumlmd=sumlmd+lmd(j)*lmd(j); end RSD(k)=sqrt(sumlmd/(nw*(nt-k);end第36页，共48页，2022年，5月20日，19点16分，星期日PCA：Conclusions 根据矩阵的秩确定化学成分数组分无吸收No!谱线性相关亏秩！ 某组分信号太弱复杂!好大学问! BACK第37页，共48页，2022年，5月20日，19点16分，星期日3. PCR 回归 Principal Component Regression3.1 概念13.2 基本步骤23.3 应用实例33.4 提醒3第38页，共48页，2022年，5月20日

19、，19点16分，星期日3.1 PCR：概念BACK主成分分析PCA PCR多元校正之一因子分析FA 主成分回归PCR 多元校正MC 相似概念常常混用步骤略异侧重不同解决多组分同时测定问题定量第39页，共48页，2022年，5月20日，19点16分，星期日3.2 PCR：基本步骤K-矩阵法 K-Matrix Method数学模型实验测量数据矩阵Size: nwns吸光系数矩阵Size:nwnc混合浓度矩阵Size:ncns建模/校正See next预测已知K，解出未知样浓度单样品多样品第40页，共48页，2022年，5月20日，19点16分，星期日3.2 PCR：基本步骤SVD分解SVD分解分离

20、重组广义逆建模未知样预报与K矩阵法相比仅一次求逆过程剔除了主成分模型误差系数矩阵P意义不明确但用于预报是正确的 BACK第41页，共48页，2022年，5月20日，19点16分，星期日Y :波长数nw=8; 溶液数ns=6; 组分数nc=3YV tUSnc=3U后3列Vt后3行误差信息剔除后Y0V *tU*S*广义逆矩阵第42页，共48页，2022年，5月20日，19点16分，星期日多元线性回归MLRMultiple Linear RegressionK-矩阵法 建模相当于单波长单组分的工作曲线矩阵除法即乘以其逆矩阵方阵可求逆已知C 第43页，共48页，2022年，5月20日，19点16分，星期日BACK多元线性回归MLRMultiple Linear RegressionK-矩阵法 建模建模/校正(相当于单波长单组分的工作曲线) 矩阵除法