十典型相关分析PPT课件.pptVIP

第十章典型相关分析 10 1引言 10 2总体典型相关 10 3样本典型相关 10 4典型相关系数的显著性检验 1 10 1引言 典型相关分析是研究两组变量之间相关关系的一种统计分析方法 它能够有效地揭示两组变量之间的相互线性依赖关系 典型相关分析是由霍特林 Hotelling 1935 1936 首先提出的 2 典型相关分析的应用例子 在工厂里 考察产品的q个质量指标 y1 y2 yq 与原材料的p个质量指标 x1 x2 xp 之间的相关关系 牛肉 猪肉的价格与按人口平均的牛肉 猪肉的消费量之间的相关关系 初一学生的阅读速度 阅读才能与数学运算速度 数学运算才能之间的相关关系 硕士研究生入学考试的各科成绩与本科阶段一些主要课程成绩之间的相关关系 一组政府政策变量与一组经济目标变量之间的相关关系 3 10 2总体典型相关 一 典型相关的定义及导出二 典型变量的性质三 从相关矩阵出发计算典型相关 4 一 典型相关的定义及导出 设x x1 x2 xp 和y y1 y2 yq 是两组随机变量 且V x 11 0 V y 22 0 Cov x y 12 即有其中 21 12 我们研究u a x与v b y之间的相关关系 其中a a1 a2 ap b b1 b2 bq Cov u v Cov a x b y a Cov x y b a 12bV u V a x a V x a a 11aV v V b y b V y b b 22b 5 所以附加约束条件V u 1 V v 1即a 11a 1 b 22b 1在此约束条件下 求a Rp和b Rq 使得 u v a 12b达到最大 10 2 5 6 都有着相同的非零特征值 可记为 这里m为 12的秩 这是因为 记 i是的算术平方根 i 1 2 m 7 设相应于的正交单位特征向量为 1 2 m 令 1 2 m为相应于的正交单位特征向量 a1 a2 am为相应于的特征向量 b1 b2 bm为相应于的特征向量 8 当取a a1 b b1时 满足约束条件 10 2 5 且 u v a 12b达到最大值 1 显然 1 1 我们称为第一对典型变量 称a1 b1为第一对典型系数向量 称 1为第一典型相关系数 第一对典型变量u1 v1提取了x与y之间相关的最主要部分 如果这一部分还显得不够 可以在剩余相关中再求出第二对典型变量u2 a x v2 b y 也就是a b应满足标准化条件且应使得第二对典型变量不包括第一对典型变量所含的信息 即 u2 u1 a x a1 x Cov a x a1 x a 11a1 0 v2 v1 b y b1 y Cov b y b1 y b 22b1 0 9 在这些约束条件下使得 u2 v2 a x b y a 12b达到最大 一般地 第i 1 i m 对典型变量ui a x vi b y是指 找出a Rp b Rq 在约束条件a 11a 1 b 22b 1a 11ak 0 b 22bk 0 k 1 2 i 1下 使得 ui vi a x b y a 12b达到最大 当取a ai b bi时 能满足上述约束条件 并使 ui vi 达到最大值 i 称它为第i典型相关系数 称ai bi为第i对典型系数向量 10 二 典型相关变量的性质 1 同一组的典型变量互不相关2 不同组的典型变量之间的相关性3 原始变量与典型变量之间的相关系数4 典型相关系数也是某种复相关系数5 简单相关 复相关和典型相关之间的关系 11 1 同一组的典型变量互不相关 设x y的第i对典型变量为ui ai x vi bi y i 1 2 m则有V ui ai 11ai 1 V vi bi 22bi 1 i 1 2 m ui uj Cov ui uj ai 11aj 0 1 i j m vi vj Cov vi vj bi 22bj 0 1 i j m 12 2 不同组的典型变量之间的相关性 ui vi i i 1 2 m记u u1 u2 um v v1 v2 vm 则上述两个性质可用矩阵表示为V u I V v I Cov u v 或其中 diag 1 2 m 13 3 原始变量与典型变量之间的相关系数 记A a1 a2 am B b1 b2 bm 则u A x v B y原始变量与典型变量之间的协方差矩阵为Cov x u Cov x A x 11ACov x v Cov x B y 12BCov y u Cov y A x 21ACov y v Cov y B y 22B 14 原始变量与典型变量之间的相关矩阵为其中 10 2 18 15 10 2 18 式的证明 现证明第一个等式 其余三个等式的证明是完全类似的 令其中 1 E x 2 E y 即对x和y的各分量作标准化变换 于是 16 4 典型相关系数也是某种复相关系数 与y的复相关系数为与x的复相关系数为 17 5 简单相关 复相关和典型相关之间的关系 当p q 1时 x与y之间的 唯一 典型相关就是它们之间的简单相关 当p 1或q 1时 x与y之间的 唯一 典型相关就是它们之间的复相关 可见 复相关是典型相关的一个特例 而简单相关是复相关的一个特例 第一典型相关系数至少同x 或y 的任一分量与y 或x 的复相关系数一样大 即使所有这些复相关系数都较小 第一典型相关系数仍可能很大 同样 当p 1 或q 1 时 x 或y 与y 或x 之间的复相关系数也不会小于x 或y 与y 或x 的任一分量之间的相关系数 即使所有这些相关系数都较小 复相关系数仍可能很大 18 三 从相关矩阵出发计算典型相关 有时 x和y的各分量的单位不全相同 我们希望在对各分量作标准化变换之后再作典型相关分析 设为的相关矩阵 现来求x 和y 的典型相关变量 19 于是因为所以式中 有 同理式中 有 20 由此可见 为x 和y 的第i对典型系数 其第i典型相关系数仍为 i 在标准化变换下具有不变性 这一点与主成分分析有所不同 由于故x 和y 的第i对典型变量是x和y的第i对典型变量ui ai x vi bi y的中心化值 自然都具有零均值 例10 2 1设x y有如下相关矩阵 这里 1 1 可以保证存在 21 由于11 有唯一的非零特征值1 1 2 故有唯一非零特征值在约束条件下 相应于特征值的特征向量为 同理 在约束条件下 22 2020 1 3 23 相应于特征值的特征向量为 所以 第一对典型变量为第一典型相关系数为 由于 表明第一典型相关系数大于两组原始变量之间的相关系数 24 10 3样本典型相关 设数据矩阵为则样本协方差矩阵为S可用来作为 的估计 当n p q时 可分别作为的估计 它们的非零特征值可用来估计 25 相应的特征向量作为a1 a2 am的估计 作为b1 b2 bm的估计 的正平方根rj称为第i样本典型相关系数 称为第i对样本典型相关变量 i 1 2 m 中心化的m对典型变量为将样本 xj yj j 1 2 n代入上式 有分别称uji和vij为 第j个样品的 xj和yj的第i样本典型变量得分 由约束条件可得ui的样本方差 26 同理可得vi的样本方差可画出第一对典型变量得分 uj1 vj1 j 1 2 n的散点图 该图能最大限度地呈现两组变量之间的相关性 也可用来检查是否有异常值出现 如需要 可再画出第二对或更多对的典型变量得分散点图 样本典型变量对 在前述的约束条件下 使样本相关系数达到最大 而非使 总体 相关系数达到最大 同组的样本典型变量之间是样本不相关 而非 总体 不相关 样本典型变量的样本方差为1 而非 总体 方差为1 27 例10 3 1某康复俱乐部对20名中年人测量了三个生理指标 体重 x1 腰围 x2 脉搏 x3 和三个训练指标 引体向上 y1 起坐次数 y2 跳跃次数 y3 其数据列于表10 3 1 表10 3 1某康复俱乐部的生理指标和训练指标数据 28 29 的特征值分别为0 6330 0 0402和0 0053 于是r1 0 796 r2 0 201 r3 0 073相应的样本典型系数向量为 30 因此 第一对样本典型变量为如果需要 第二对样本典型变量为 31 例10 3 2在研究组织结构对 职业满意度 的影响时 作为其中一部分 邓讷姆 Dunham 调查了职业满意度与职业特性相关的程度 对从一大型零售公司各分公司挑出的n 784个行政人员 测量了p 5个职业特性变量 用户反馈 x1 任务重要性 x2 任务多样性 x3 任务特性 x4 及自主权 x5 和q 7个职业满意度量 主管满意度 y1 事业前景满意度 y2 财政满意度 y3 工作强度满意度 y4 公司地位满意度 y5 工种满意度 y6 及总体满意度 y7 对784个被测者的样本相关矩阵为 32 样本典型相关系数和样本典型系数列于表10 3 2中 33 表10 3 2典型相关系数和典型系数 34 第一对样本典型变量为根据典型系数 u1 主要代表了用户反馈和自主权这两个变量 三个任务变量显得并不重要 而v1 主要代表了主管满意度和工种满意度变量 其次代表了事业前景满意度和公司地位满意度变量 我们也可从相关系数的角度来解释典型变量 原始变量与第一对典型变量间的样本相关系数列于表10 3 3中 35 所有五个职业特性变量与第一典型变量u1 有大致相同的相关系数 故u1 可以解释为职业特性变量 这与基于典型系数的解释不同 v1 主要代表了主管满意度 事业前景满意度 公司地位满意度和工种满意度 v1 可以解释为职业满意度 公司地位变量 这与基于典型系数的解释基本相一致 第一对典型变量u1 与v1 的样本相关系数r1 0 55 可见 职业特性与职业满意度之间有一定程度的相关性 表10 3 3原始变量与典型变量的样本相关系数 36 10 4典型相关系数的显著性检验 一 全部总体典型相关系数均为零的检验二 部分总体典型相关系数为零的检验 37 一 全部总体典型相关系数均为零的检验 设 又设S为样本协差阵 且n p q 考虑假设检验问题 H0 1 2 m 0H1 1 2 m至少有一个不为零其中m min p q 若检验接受H0 则认为讨论两组变量之间的相关性没有意义 若检验拒绝H0 则认为第一对典型变量是显著的 10 4 1 式等价于假设检验问题H0 12 0 H1 12 0H0成立表明x与y互不相关 10 4 1 38 似然比检验统计量为对于充分大的n 当H0成立时 统计量在给定的 下 若 则拒绝H0 认为典型变量u1与v1之间的相关性是显著的 否则 就认为第一典型相关系数不显著 39 例10 4 1在例10 3 1中 假设为多元正态数据 欲检验 H0 1 2 3 0 H1 1 0它的似然比统计量为查 2分布表得 因此在 0 10的显著性水平下 拒绝原假设H0 也即认为至少有一个典型相关是显著的 p 0 062 40 二 部分总体典型相关系数为零的检验 若H0 1 2 m 0经检验被拒绝 则应进一步检验假设H0 2 m 0H1 2 m至少有一个不为零若原假设H0被接受 则认为只有第一对典型变量是显著的 若原假设H0被拒绝 则认为第二对典型变量也是显著的 如此进行下去 直至对某个k 假设H0 k 1 m 0被接受 这时可认为只有前k对典型变量是显著的 对于假设检验问题H0 k 1 m 0H1 k 1 m至少有一个不为零 41 其检验统计量为对于充分大的n 当H0为真时 统计量近似服从 2 p k q k 给定 若 则拒绝H0 认为 k 1是显著的 即第