典型相关分析.doc

学习资料收集于网络，仅供参考1典型相关分析内涵1.1典型相关分析基本概念典型相关分析（canonical correlation analysis）是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。典型相关分析是由霍特林(Hotelling,1935,1936)首先提出的。典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。 目前，典型相关分析已被广泛应用于心理学、市场营销等领域，如用于研究个人性格与职业兴趣的关系，市场促销活动与消费者响应之间的关系等。1.2 典型相关分析的基本思想典型相关分析的基本思想和主成分分析非常相似。首先在每组变量中找出变量的一个线性组合，使得两组的线性组合之间具有最大的相关系数。然后选取相关系数仅次于第一对线性组合并且与第一对线性组合不相关的第二对线性组合，如此继续下去，直到两组变量之间的相关性被提取完毕为止。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间联系的强度。一般情况，设、 是两个相互关联的随机向量，分别在两组变量中选取若干有代表性的综合变量Ui、Vi，使得每一个综合变量是原变量的线性组合，即：为了确保典型变量的唯一性，我们只考虑方差为1的、的线性函数与，求使得它们相关系数达到最大的这一组。若存在常向量，在的条件下，使得达到最大，则称、是、的第一对典型相关变量。求出第一对典型相关变量之后，可以类似的求出各对之间互不相关的第二对、第三对等典型相关变量。这些典型相关变量就反映了，之间的线性相关情况。这里值得注意的是，我们可以通过检验各对典型相关变量相关系数的显著性，来反映每一对综合变量的代表性，如果某一对的相关程度不显著，那么这对变量就不具有代表性，不具有代表性的变量就可以忽略。这样就可以通过对少数典型相关变量的研究，代替原来两组变量之间的相关关系的研究，从而容易抓住问题的本质。2 典型相关分析原理及方法设有两组随机向量，代表第一组的p个变量，代表第二组的q个变量，假设pq。令 根据典型相关分析的基本思想，要进行两组随机向量间的相关分析，首先要计算出各组变量的线性组合典型变量，并使其相关系数达到最大。因此，我们设两组变量的线性组合分别为：易见我们希望寻找使相关系数达到最大的向量与，由于随机向量乘以常数时并不改变它们的相关系数，所以，为防止结果的重复出现，令那么， （9.2）问题就成为在（9.1）式的约束条件下，求使，达到最大的系数向量与。根据条件极值的求法引入Lagrange乘数，将问题转化为求 （9.3）的极大值，其中，是Lagrange乘数。根据求极值的必要条件得 （9.4）将（9.4）方程组的二式分别左乘与则得即有因为，所以，知为线性组合，的相关系数。用代替方程组中的，则（9.4）方程组写为： （9.5）假定各随机变量协差阵的逆矩阵存在，则由方程组（9.5）式中的第二式，可得： （9.6）将（9.6）式代入方程组（9.5）式的第一式，得即有 （9.7）同理，由方程组（9.4）式可得 （9.8）用和分别左乘（9.7）和（9.8）式，得 （9.9）即 （9.10）由此可见， 和具有相同的特征根，则是其相应的特征向量。为了表示方便，令其中为pp阶矩阵，为qq阶矩阵。因为，求最大值也就是求的最大值，而求的最大值又转化为求和的最大特征根。可以证明，和的特征根和特征向量有如下性质：1. 和具有相同的非零特征根，且所有特征根非负。2. 和的特征根均在01之间。3.设和的非零特征根为， ，为对应于的特征向量，为对应于的特征向量。由于我们所求的是最大特征根及其对应的特征向量，因此，最大特征根对应的特征向量和就是所求的典型变量的系数向量，即可得我们称其为第一对典型变量，最大特征根的平方根即为两典型变量的相关系数，我们称其为第一典型相关系数。如果第一典型变量不足以代表两组原始变量的信息，则需要求得第二对典型变量，即 显然，要求第二对典型变量也要满足如下约束条件： （9.11）除此之外，为了有效测度两组变量的相关信息，第二对典型变量应不再包含第一对典型变量已包含的信息，因而，需增加约束条件：（9.12）在（9.11）和（9.12）式的约束条件下，可求得其相关系数的最大值为上述矩阵和的第二大特征根的平方根，其对应的单位特征向量，就是第二对典型变量的系数向量，称和 为第二对典型变量，为第二典型相关系数。类似地，依次可求出第对典型变量：和，其系数向量和分别为矩阵和的第特征根对应的特征向量。即为第典型相关系数。综上所述，典型变量和典型相关系数的计算可归结为矩阵和特征根及相应特征向量的求解。如果矩阵和的秩为，则共有对典型变量，第对典型变量的系数向量分别是矩阵和第特征根相应的特征向量，典型相关系数为。典型变量具有如下性质：1. 2. 3 样本典型相关分析3.1 样本典型相关变量在实际分析应用中，总体的协差阵通常是未知的，往往需要从研究的总体中随机抽取一个样本，根据样本估计出总体的协差阵，并在此基础上进行典型相关分析。设服从正态分布，从该总体中抽取样本容量为n的样本，得到下列数据矩阵：样本均值向量 其中，样本协差阵其中由此可得矩阵和的样本估计：如前所述，求解和的特征根及其相应的特征向量，即可得到所要求的典型相关变量及其典型相关系数。这里需要注意，若样本数据矩阵已经标准化处理，此时样本的协差阵就等于样本的相关系数矩阵由此可得矩阵和的样本估计： 求解和的特征根及相应的特征向量，即可得到典型变量及典型相关系数。此时相当于从相关矩阵出发计算典型变量。 在利用样本进行两组变量的典型相关分析时，应就两组变量的相关性进行检验。这是因为，如果两个随机向量互不相关，则两组变量协差阵。但是有可能得到的两组变量的样本协差阵不为零，因此，在用样本数据进行典型相关分析时应就两组变量的协差阵是否为零进行检验。即检验假设根据随机向量的检验理论可知，用于检验的似然比统计量为 （9.13）在（9.13）式中是矩阵的第特征根的估计值，。巴特莱特（Bartlett）证明，当成立时，近似服从分布，其中，自由度。在给定的显著性水平下，当由样本计算的临界值时，拒绝原假设，认为两组变量间存在相关性。在进行典型相关分析时，对于两随机向量，我们可以提取出对典型变量，问题是进行典型相关分析的目的就是要减少分析变量，简化两组变量间关系分析，提取对变量是否必要？我们如何确定保留多少对典型变量？若总体典型相关系数，则相应的典型变量，之间无相关关系，因此对分析对的影响不起作用这样的典型变量可以不予考虑，于是提出如何根据样本资料来判断总体典型相关系数是否为零，以便确定应该取几个典型变量的问题。巴特莱特（Bartlett）提出了一个根据样本数据检验总体典型相关系数是否等于零的方法。检验假设为用于检验的似然比统计量为： 可以证明，近似服从分布，其中自由度，。我们首先检验。此时，则（9.14）式为 若，则拒绝原假设，也就是说至少有一个典型相关系数大于零，自然应是最大的典型相关系数。若已判定，则再检验。此时，则（9.14）为近似服从分布，其中，如果，则拒绝原假设，也即认为至少有一个大于零，自然是。若已判断和大于零，重复以上步骤直至 ，此时令则，近似服从分布，其中，如果，则，于是总体只有个典型相关系数不为零，提取对典型变量进行分析。3.2 典型相关系数的计算【例9.1】康复俱乐部对20名中年人测量了三个生理指标：体重(x1),腰围(x2)，脉搏(x3)；三个训练指标：引体向上次数(y1)，起坐次数(y2)，跳跃次数(y3)。分析生理指标与训练指标的相关性。数据详见表9.1。 表9.1 康复俱乐部数据 变量样本1191365051626021893752211060319338581210110141623562121053751893546131555861823656410142721138568101388167346061254091763174152004010154335617251250111693450171203812166335213210115131543464142151051424746501505015193364667031162023762122101201717637544602518157325211230801915633541522573201383368211043根据表9.1数据可得计算得求得特征值为：0.632994993，0.040214862，0.005267145。典型相关系数分别为：0.796，0.201，0.073。和相应的的特征向量分别为：根据前述的典型相关系数显著性检验方法，对于， 至少有一个不为零。14.68366，生理指标与训练指标之间存在相关性，且第一对典型变量相关性显著。继续检验：7.779434，故在0.10下，第二对典型变量间相关性不显著。说明生理指标和训练指标之间只有一对典型变量，即：4 利用SPSS进行典型相关分析实例测量15名受试者的身体形态以及健康情况指标，如9.2表。第一组是身体形态变量，有年龄、体重、胸围和日抽烟量；第二组是健康状况变量，有脉搏、收缩压和舒张压。要求测量身体形态以及健康状况这两组变量之间的关系。 表9.2 两组身体素质的典型变量 年龄体重抽烟量胸围脉搏收缩压舒张压251253083.57013085261312582.97213580281283588.17514090291264088.47814092271264580.67313885321182088.47013080311201887.86813575341242584.67013575361282588.07514080381242385.67214586411354086.37614888461434584.88014590471414887.98214892481395081.68515095451405588.08816095（一）操作步骤在SPSS中没有提供典型相关分析的专门菜单项，要想利用SPSS实现典型相关分析，必须在语句窗口中调用SPSS的 Canonical correlation.sps 宏。具体方法如下：1. 按FileNewSyntax的顺序新建一个语句窗口。在语句窗口中输入下面的语句：INCLUDE Canonical correlation.sps.CANCORR SET1=x1 x2 x3 x4 /SET2=y1 y2 y3 / . 2. 点击语句窗口Run菜单中的All子菜单项，运行典型相关宏命令，得出结果。 （二）主要运行结果解释1. Correlations for Set-1、Correlations for Set-2、Correlations Between Set-1 and Set-2（分别给出两组变量内部以及两组变量之间的相关系数矩阵）2. Canonical Correlations（给出典型相关系数）从表9.3中可以看出第一典型相关系数达到0.957，第二典型相关系数为0.582，第三典型相关系数为0.180。 表9.3 典型相关系数Canonical Correlations1 .9572.5823.1803. Test that remaining correlations are zero（给出典型相关的显著性检验）表9.4中从左至右分别为Wilks的统计量、卡方统计量、自由度和伴随概率。从表中可以看出，在0.05的显著性水平下，三对典型变量中只有第一对典型相关是显著的。 表9.4 典型相关系数的显著性检验4. Raw Canonical Coefficients（分别给出两组典型变量的未标准化系数）5. Standardized Canonical Coefficients（分别给出两组典型变量的标准化系数）由于本例中的数据单位并不统一，所以我们主要通过观察标准化的典型变量的系数来分析两组变量的相关关系。从表9.5中可以看出，来自身体形态指标的第一典型变量为：由于（抽烟量）的系数-0.694绝对值最大，反映身体形态的典型变量主要由抽烟量决定。而来自健康状况指标的第一典型变量为：表9.5 两组典型变量的标准化系数由于Y1（脉搏）的系数-0.721绝