北邮概率论与数理统计43协方差与相关系数

1、 §4.3 协方差与相关系数 与一维随机变量一样，多维随机变量也有特征数，比如对于二维随机向量，除了各个分量的期望、方差：之外，还有用以刻画与的关联程度的特征数，即协方差与相关系数。一.协方差与相关系数的联合分布中除含有各分量的信息(边际分布及各分量的特征数等)外,还含有两个分量间相互关联的信息,他们的相依关系可由条件分布完整刻画.在实用中,我们更希望有一个“醒目”的数值来刻画他们之间的某种意义上的相依程度,即希望找到一个用以描述他们某种关联程度的特征数.下面介绍的协方差和相关系数就是为此目的而引入的.定义 设为二维随机向量,若存在,则称为与的协方差,记为,即又若,的方差都存在且非零

2、,则称 为与的相关系数. 由此定义可以看出: (1) 与的相关系数是的标准化随机变量与的标准化随机变量的协方差,因此可以把相关系数视为“标准尺度下的协方差”,他是一个无量纲的量,这样就能更好地描述与的相依关系.(2) 协方差是与其均值的偏差和与其均值的偏差乘积的均值,他是有量纲的,并且可正、可负或为零.若,则意味着与同号的“情况”更多,换言之就是, 取偏大(小)的值时,有取偏大(小)值的趋势或倾向. 若,则情况正好相反. 若,则意味着与同号的“情况”与异号的“情况”一样多.因此有以下说法. 若,即,则称与正相关; 若,即,则称与负相关;若,即,则称与不相关. 为了进一步看清楚相关系数的概率意义

3、,我们下面讨论线性预测问题:假设是一个可观测的随机变量,而是一个难以观测的随机变量,我们希望找一个的函数去预测.函数千千万万,最简单的函数莫过于线性函数,这里考虑用的线性函数去预测,这就是线性预测问题. 自然地,我们需要考虑两个问题:(1) 用什么样的线性函数去预测,使其预测效果最佳?(2) 为预测,用什么样的,其线性预测的效果会好? 衡量预测效果的一个常用的准则是均方误差:以此准则,我们先解决第一个问题, 易见 ,时,取得最小值.最小值为 .由此可回答第二个问题,使得相关系数的绝对值愈接近于(由上面的讨论已经看出)的变量,用他的线性函数去预测时,其效果愈佳.特别地,若,则最佳线性预测的均方误

4、差为零,这意味着可由可得到的准确无误的预测.若,则最佳线性预测的均方误差为,这意味着最佳线性预测就是的期望，换言之，此时的对的线性预测没有提供任何有价值的信息. 由此可见, 与的相关系数的绝对值刻画了与的线性关联程度, 愈接近于,与的线性关联程度愈强,反之愈接近于,与的线性关联程度愈弱,这就是相关系数的概率意义,因此相关系数又叫做线性相关系数. 由协方差的定义, 与的协方差是的函数的期望,可用前面介绍的多维随机变量的函数的期望的计算方法去计算协方差。但计算协方差时,我们常用下面公式:证明:.容易得出：若与独立,且，存在,则,即与不相关. 注意,上面命题的逆命题不成立,即与不相关推不出与相互独立

5、(见下面例子).这一点从独立性和不相关性的概率意义上去理解是明显的:独立性是就一般而言的,而不相关性是就线性关系而言的.这也就是说,与不相关并不是说与没有相依性,他们之间可能有非线性关系. 例 设,证明: (1)与不相关;(2) 与不独立.在与不相关时, 有,以及.在去掉“与不相关”之条件时，有更一般的公式.推广至更多个随机变量场合,有. 协方差具有如下性质:(1) ,(2),(3).另外,下面的涉及协方差的公式也是有用的，,.相关系数有如下性质:(1), (2) 的充要条件是存在常数,使得 并且；。这两条性质都可由线性预测问题的结论推得,也可由下面介绍的施瓦茨不等式推得.定理（施瓦茨不等式）

6、对任意的二阶矩存在的随机变量与，有 证明：若（或），则不等式两边均为零，故不等式成立。下面考虑的情形，考虑的二次函数由于，且对，故由二次函数性质知所以 。不等式得证。进一步，从证明过程可以看出，在时，不等式成立的充要条件是存在唯一的，使得，也即。 作为施瓦茨不等式的应用，下面证明相关系数的两条性质。 由施瓦茨不等式，有所以 即；若，即，上式成立的充要条件是存在唯一的，使得 即 ，取，便有，并且还有；。例 设二维随机向量的概率密度为求.解：， 因此 例 设,求.解：,， 。上面计算过程中用到了 。所以 。 由本章的第三节知，若，则与相互独立当且仅当，再结合本例的结果可以得出如下结论。 若，则与相

7、互独立的充要条件是与不相关。这是多维正态分布的一个重要性质。 例 将一骰子掷次，表示点数出现的次数，。求（1）与的相关系数；（2）与的相关系数。解：（1）由于，由相关系数的性质知，；（2）方法一，令 ， ，则，由于时，与相互独立，故；而当时，所以 又，故，所以与的相关系数为 。方法二，由于，以及，故，由，可得，所以与的相关系数为 。方法三, 由于,故,即 , ,所以与的相关系数为 。二矩、随机向量的数学期望与协方差矩阵定义 设和是随机变量，（i） 若存在,则称为的阶原点矩,记为.（ii） 若存在,则称为的阶中心矩,记为.（iii） 若存在,则称为和的阶混合矩.（iv） 若存在,则称为和的阶混合

8、中心矩.例.设,求的阶中心矩, 并求.解: 作换元,则当为奇数时, ,当为奇数时, .,从而.定义 设为维随机向量，若每个分量的期望都存在，则称向量为维随机向量的数学期望向量，简称为数学期望。又若任两个分量的协方差存在，则称矩阵 为维随机向量的协方差矩阵。记为或。 易见，的协方差矩阵的主对角线上的元素就是各分量的方差。非对角线上的元素就是两两分量的协方差。 下面给出协方差的一条重要性质。 定理 维随机向量的协方差矩阵是对称的半正定矩阵。 证明;对称性是显然的.下证半正定性。 对， 。所以协方差矩阵是半正定矩阵。若，则的数学期望和协方差矩阵分别为 协方差矩阵的逆矩阵为 由此可将的概率密度函数表示

9、为 这里，.由这个二维正态密度的表达式，我们就可以方便地推广至维正态的场合。下面给出维正态分布的定义。定义 设为维随机向量，若的联合概率密度函数为 其中 ，为阶正定矩阵,则称维随机向量服从维正态分布,记为. 若,则,. 鉴于正态分布的重要性，下面不加证明地给出多维正态分布的性质。性质1 维随机向量服从维正态的充要条件是对任意不全为零的实数，服从一维正态分布。性质2 若，则相互独立的充要条件是两两不相关，即协方差矩阵为对角阵。性质3 设，则的任意线性变换服从多维正态分布，其中为的实矩阵，为维随机向量。注：在性质3中，为保证服从多维非奇异正态分布，则要求的秩为，否则的分布是奇异的正态分布。例 设，令，（1） 求的概率密度；(2)与是否独立?解: (1) ,由正态分布的性