第六次课 其他多元统计方法.ppt

1、第六章 其他多元统计方法,1、费舍尔判别分析法（FDA） 2、偏最小二乘法（PLS） 3、规范变量分析法（CVA） 4、独立元分析法（ICA）,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA） 2、偏最小二乘法（PLS） 3、规范变量分析法（CVA） 4、独立元分析法（ICA）,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA） 2、偏最小二乘法（PLS） 3、规范变量分析法（CVA） 4、独立元分析法（ICA）,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,设计目的：模式分类、降维,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,就故障诊断问题而言，首先从

2、发生故障的设备中采集数据，然后把这些数据分成类，其中每一类包含着表示某一特定故障的数据。FDA作为一种线性降维技术，可以把各类之间最大程度的分离。,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,定义n为观测值的个数，m为观测变量的个数，p为类的个数，nj是第j类中观测值的个数。将第i各观测值的测量变量向量表示为xi。将所有类的训练数据放入矩阵X 中，那么X的第i行转置就是列向量xi。,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,总离散度定义为： = =1 ( )( ) =1/ =1 ,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,类j的内部离散度矩阵定义为

3、： = ( )( ) =1/ ,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,类内离散度矩阵定义为： = =1 类间离散度矩阵定义为： = =1 ( ) ( ) 三者之间的关系为： = + ,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,FDA要寻找一个线性变换 = 解决最小化类内离散度，最大化类间离散度的问题。 即： 尽量大，而 尽量小。,= / ,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,根据最优化有关理论可以得到，FDA向量等于下列广义特征值问题的特征向量 ： = ,=eig( , );,第六章 其他多元统计方法,1、费舍尔判别分析法（FDA）,

4、= 其中特征值 是把数据投影到 上后，所有类的整体离散程度。 对一个拥有c类数据的矩阵而言，将其投影到c-1维空间中即可实现最优分离。,第六章 其他多元统计方法,2、偏最小二乘法（PLS）,Partial Least Squares 部分最小二乘法 特征结构投影法 Project to Latent Structure,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,设计目的：预测、推理 实现手段： 将降维空间的每个元素的预测矩阵X（独立的）与被预测矩阵Y（相关的）间的协方差最大化的降维技术。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,只关

5、心质量变量的情况； 质量变量的信息不能实时获得； 过程变量与质量变量存在一定的线性关系，可以考虑通过监测过程变量来监测质量变量中是否有故障发生。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,PLS提供这类问题的解决方案。,离线获得数据：X , 关心Y的取值； Y难以实时测量； X与Y之间存在一定的线性关系； X可以实时测量； -用X预测Y中是否有故障发生,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,X , PLS建立两个模型：外模型；内模型 外模型： X= + = + =T + 内模型： U=,第六章 其他多元统计方法,2、偏最小二乘法/

6、 特征结构投影法（PLS）,外模型： X= + = + =T + 内模型： U= = + = + = ,T : 得分矩阵；P ； ：和的载荷矩阵；，：建模残差,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,外模型： X= + = + =T + 内模型： U= 外模型：PCA 内模型：PLS与PCA的不同之处提取X和Y相关性最大的方向，即U能最大程度的由T解释。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,外模型： X= + = + =T + 内模型： U= 外模型：PCA 内模型：PLS与PCA的不同之处提取和Y相关性最大的方向，即能最大程

7、度的由解释。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,外模型： X= + = + =T + 内模型： U= 能最大程度的由解释： J=max cov（,),第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,J=max cov（,) =max cov ， =max cov 可以利用数学方法迭代求解。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,X= + = + =T + U= J=max cov（,) PLS对输入输出变量矩阵均进行降维分解，得到输入、输出变量矩阵的得分矩阵，在对得分矩阵进行线性回归。因此PLS又称

8、为特征结构投影法。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,X= + = + =T + T : 得分矩阵； P ； ：和的载荷矩阵；，：建模残差； Amin(,)。 若=min（，）则上述建模=0，此时为常规最小二乘法。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,X= + = + = + Amin(,)有偏估计偏最小二乘法 偏最小二乘法可以减小噪声和线性相关性，在描述X的大量变化的同时，确定与Y相关的负荷和得分向量。,第六章 其他多元统计方法,2、偏最小二乘法/ 特征结构投影法（PLS）,PLS的降阶 PRESS分析法 贡献率法,第

9、六章 其他多元统计方法,3、规范变量分析方法（CVA）,CVA在统计分析理论中称为CCA典型相关变量分析,第六章 其他多元统计方法,3、规范变量分析方法（CVA）,线性降维技术 将两个变量集的相关性最大化,第六章 其他多元统计方法,3、规范变量分析方法（CVA）, = ;= =max( , ),第六章 其他多元统计方法,3、规范变量分析方法（CVA）, , = 上述问题转换为一个广义奇异值分解问题。,第六章 其他多元统计方法,3、规范变量分析方法（CVA）,CVA与PLS的不同之处： 1、CVA是使协方差矩阵乘上一个系数最大，而使得相关性最大；而PLS直接使协方差矩阵最大。,第六章 其他多元统

10、计方法,3、规范变量分析方法（CVA）,CVA与PLS的不同之处： 2、CVA可以通过奇异值分解一次性解出所有元素，PLS则是利用上一步的残差进行计算，顺序选择重要元素的。,第六章 其他多元统计方法,4、独立元分析（ICA）,Independent Components Analysis 设计目的：盲源分离 从酒会的嘈杂人声中提取所关心的人的声音。 实现手段：利用微分熵或数据高阶统计量。,第六章 其他多元统计方法,4、独立元分析（ICA）,实际工业过程中测试数据不服从正态分布； PCA等其他多元统计方法要求数据服从正态分布； ICA可以将数据分解成统计独立的非高斯信号源的线性组合，来解决统计方

11、法依赖于数据分布的问题。,第六章 其他多元统计方法,4、独立元分析（ICA）,熵 0,非高斯信号。,第六章 其他多元统计方法,4、独立元分析（ICA）,如何评测信号的非高斯性？ 2、负熵 对于方差相同的随机变量，正态变量熵最大。 = = log( ) 变量的概率密度分布()难以获知？,第六章 其他多元统计方法,4、独立元分析（ICA）,2、负熵 变量的概率密度分布()难以获知？ 近似公式: J= 2 其中：k常数，v为均值0方差为1的正态变量，G(u)有多种选择： 1 u =tanh( 1 )/ 1 2 = exp 2 2 / 2 3 = 4 /4,第六章 其他多元统计方法,4、独立元分析（I

12、CA）,如何实现ICA？ 常用：FastICA算法 1、数据中心化 2、数据白化 3、初始化向量W 4、利用判别式定义更新W 5、标准化W：W=W/|W| 6、判断收敛性。若未收敛，转步骤4，反之输出W,第六章 其他多元统计方法,4、独立元分析（ICA）,如何利用ICA进行故障诊断？ 1、选取正常工况下的观测变量组成矩阵X，标准化和白化预处理； 2、利用 FastICA 算法对白化矩阵 进行独立成分的提取，得到独立成分矩阵 和分离矩阵W： = ,第六章 其他多元统计方法,4、独立元分析（ICA）,如何利用ICA进行故障诊断？ 3、构造源信号S 的统计监控限； 4、对于测试样本数据 标准化和白化

13、等预处理过程后，得到： = 5、计算监控统计量，查看是否超限。,第六章 其他多元统计方法,4、独立元分析（ICA）,ICA所分离出来的源信号： 完全正交独立。,多元统计方法小结,1、主元分析法（PCA） 2、费舍尔判别分析法（FDA） 3、偏最小二乘法（PLS） 4、规范变量分析（CVA） 5、独立元分析法（ICA）,多元统计方法小结,PCA；FDA；PLS；CVA；ICA,线性降维技术,多元统计方法小结,max J w = ,多元统计方法小结,1、当为X的方差阵，B为单位阵时-PCA 2、当A为类间离散度矩阵，B为类内离散度矩阵时 -FDA 3、当A为输入输出数据协方差阵，B为对角线上元素由X，Y方差阵对角线元素构成时-CCA,多元统计方法小结,4、当A为 ，B