冗余分析ppt课件

,冗余分析,1,方差：单个随机变量的方查协方差：协方差阵：是m阶方阵,反映场上所有格点各种可能组合之间的相关,即场的相关结构。,2,迹：方阵主对角线元素之和称之为矩阵的迹,用tr表示。场的总方差的估计：协方差矩阵主对角线元素是各格点上变量的方差,其主对角线元素之和是场的方差。,3,1.冗余分析的简要介绍2.冗余分析的预备知识3.冗余分析的原理,主要内容,4,主成分分析是对多维随机变量（或者称随机向量或随机场）做线性组合构成低维新变量，要求新变量维数尽可能低，反映原变量的方差尽可能多。典型相关分析是对两个多维随机变量分别做线性组合构成低维的新变量，要求成对的新变量序列间的相关系数达到最大，次大这些统计方法都有通过线性组合构成新变量，关键都是寻找满足某种要求的线性组合系数。,1.冗余分析的简要介绍,5,冗余分析：有两个多维随机变量，一个是预报对象，另一个为预报因子，通过回归方程建立关系，把预报因子场做线性组合构成新变量，并且这个新变量比原变量维数低，第一个新变量再回归中对预报对象场的方差贡献最大，第二，三个新变量的方差贡献依次达到次大，第三大.。与此同时，预报对象场也要找出线性组合新变量，它是能够最优地被预报出来的部分。,6,回归分析是气候预测中应用最为广泛的统计方法。它是处理随机变量之间相关关系的一种有效手段。通过对大量历史观测数据的分析、计算、建立一个变量（因变量）与若干个变量（自变量）间的多元线性回归方程。经过显著性检验，若回归效果显著，则可将所建立的回归方程用于观测。在气候预测中应用回归分析的目的是建立方程。在建立预测方程过程中的一个重要问题是，如何从众多备选自变量中进行筛选，建立最优回归方程。所谓“最优”回归方程有两层含义：一是预报准确。希望在最终预测方程中包含尽可能多的自变量，尤其不能遗漏对因变量有显著作用的自变量。回归方程中包含的自变量越多，回归平方和就越大，剩余平方和就越小，剩余方差一般就小。二是为了应用方便，又希望预测方程中含尽量少的变量。因此，最优回归方程应包含对因变量有显著作用的自变量，而不包含不显著的变量。,7,一、多元回归：是对某一预报量Y，研究多个因子与它的定量统计关系。二、多元回归模型、单个预报场变量yi设定：X为预报因子，是mx维随机向量场Y是预报对象，是my维随机向量场且X，Y的数学期望均为零向量。,2.预备知识-回顾：多元回归,8,单个随机变量是随机向量Y的一个分量，其回归模型为（4.1.1）记（4.1.2）其中，是回归系数，是一个行向量，则（4.1.3）其中X是列向量,9,在多元回归原理中，为了使回归方程表示出的的方差达最大，也是使误差的方差达最小，回归系数满足正规方程组或者表示为（4.1.5）解得（4.1.6）,10,其中是对称矩阵，也是对称矩阵，转置后不变。的方差是D（）=。回归模型的误差方差是D（）=E（）。回归方程表示出的的方差是D（）-D（），记为。注意，（4.1.3）式中的是一行一列矩阵，是一个数量，所以还可以用，得,11,12,、多维回归场变量的预报模型上述是对的一个分量而言，现在要表示出对它的所有分量的回归，与上述得到的结论进行类比：把预报对象、回归系数、误差均表示为列向量：如：得：,13,为了对公式进行进一步的简化，引入：可以得到以为因子的回归表示出的的方差等于的总方差减去总的误差方差：因为所以有：其中表示出的是的方差，与的总方差的比值反映回归的效果好坏，冗余指数就是依据这个比值定义的。,14,1.冗余指数,3.冗余分析,15,Y的总方差是矩阵主对角线元素之和，即Y的各分量方差之和Y的总方差=（4.2.5）记Y被回归表示出的部分为（4.2.6）总的剩余部分的方差为（4.2.7）定义回归方程表示出的Y方差于Y的总方差之比为冗余指数（RedundancyIndex，简写RI），公式表示为（4.2.8）,16,17,2.冗余指数对线性变换的不变性,冗余指数有一些有意义的性质，其中之一是对Y的正交变换的不变性：如果A是一个正交矩阵，则,18,19,20,另一方面，如果矩阵有列，即k=，是，是方的(阶)非奇异矩阵，用变换指定的变量X，那么，对亢余指数也没有影响（上述推导都与k无关，只要k小于等于m）。在这种情况下，（）-1存在，利用（4.2.10）式=,21,R2(Y:X)是直接使用X的所有分量的因子的回归方程的冗余指数，在4.1中已导出他的总回归方差等于tr()（见(4.1.17a)式）。(4.2.12)式说明，随机向量X所在的坐标系是不重要的，只要他描述同一个线性空间。这是一个有意义的性质，因为包含在X中的有关Y的信息不应取决于X的表示的特殊性，例如，X的分量的单位，或X的分量的序号等。,22,然而，如果用表示的线性变换把维的变量X映射成k维变量=X，该新变量包含的有关Y的信息较少，所以只要，的“列空间”是逐个套入的，且可逆，就得到（Y：）（Y：）（Y：）=（Y：X）如果对所有的k，是在上加上一列构成的，则不等式（4.2.13）反应出有k个因子情况下对Y的回归与相同的k个因子再加上一个共k+1个因子情况下对Y的回归冗余指数之间的关系。由（4.2.13）式可见，在原有的因子基础上再增加因子，冗余指数是递增的。注意，多元回归中关于方差贡献的概念也给出这个关系，单因子方差贡献总大于等于零，因子在原有基础上增加时，方差的回归平方和总是增加的。,23,对于给定的变化，再考虑矩阵的列支撑起的子空间，这就是，对于任一个KK阶矩阵L，可得到因此，对于两个变量X和Y，冗余指数取决于X变量投影到子空间以及量度Y的方式。因为不依赖于X和的特定坐标，可以假定所选取的的不同列与X的变换相互正交。,24,25,3.冗余分析,26,接下来要识别出第二套空间型，它表示X对Y的回归所解释是Y的方差的正交划分，更准确地说，回归把由向量表示的子空间映射到由A矩阵的前k列支撑的空间。4.冗余分析变换,27,28,29,30,特征值问题（4.2.23）式可改写为（4.2.30）与有相同的特征值，如果c是的特征向量，对应的特征值为，则（4.2.31）是的特征向量，对应的特征值也是。尚待证明的是，这些向量满足（4.2.18）式。设与有r个非零特征值和对应的特征向量，对所有序号j和ir，有（4.2.32）,31,当ij（4.2.33）这是因为是零向量，这可用反证法证明，假