第三章方差与协方差

1、随机变量的数学期望(均值), 它体现了随机 变量取值的平均水平, 是随机变量的一个重要的 数字特征.,但是在很多场合, 仅仅知道平均值是不够的.,2 随机变量的方差,例如, 某零件的真实长度为a, 现在用甲、乙 两台仪器各测量10次, 并将测量结果 X 用坐标上的点表示如图：,问: 哪台仪器的测量效果好一些？,因为乙仪器的测量结果更集中在均值附近.,为此需要引进另一个数字特征, 用它来度量 随机变量在其中心 (即均值) 附近取值的离散程度(或集中程度). 这个数字特征就是: 方差.,再如: 考察某车床加工轴承的质量时, 若 最关键的指标为长度, 则不但要注意轴承的平均 长度, 同时还要考虑轴承

2、长度与平均长度的偏离 程度 (即加工的精度); 等等.,我们该用怎样的量去度量这种偏离程度呢?,X E(X) ?,E X E(X) ?,E | X E(X) | ?,E X E(X) 2 ,一、方差( variance )的定义,随机变量 X 的平方偏差 X E(X) 2 的均值,或 Var ( X ) ,叫做 X 的方差.,而,叫做 X 的标准差 或均方差.,方差刻划了随机变量取值的离散程度:,若 X 的取值比较集中, 则方差较小；,若 X 的取值比较分散, 则方差较大 .,可以算出:,两人命中环数的平均水平相同, 从中看不出两人射击技术的 高低;,但,说明甲的命中环数比乙的更集中,即甲的射

3、击技术比乙的稳定.,二. 方差的简化计算公式,即: 方差等于 平方的期望 减 期望的平方.,证明:,而,解:,由归一性得,故,解得 b = 0, a = 2, E( X ) = 2/3,或b = 2, a = 2, E( X ) = 1/3 .,解:,三. 常见分布的期望与方差,(3),则,(2),则,(1),则,(4),则,(5),则,四. 方差的性质,(1) 对任意常数 k 与 c 有: D( k X + c ) = k 2 D(X).,(2) 设 X 与 Y 相互独立, 则,进一步, 若 X1 , , Xn 相互独立, 则对任意常数 c1 , cn 有:,D(X+Y) = D(X) +

4、D(Y), D(XY) = D(X) + D(Y).,D( c1 X1+ + cn Xn ) = c12 D( X1 ) + + cn2 D( Xn ).,(3) D(X) = 0 的充要条件是 X 以概率 1 取常数 C , 即 PX = C = 1 .,解:,X 表示 n 重伯努利试验中 “成功”的次数,p为每次试验成功的概率,则 X B(n, p);,引入,1, 若第 i 次试验成功,0, 若第 i 次试验失败.,i =1, 2, , n,则 X1 , X2 , Xn 相互独立, 且,而 Xi 的分布律为,故 E( Xi ) = p ,E( Xi2 ) = p ,D( Xi ) = E(

5、 Xi2 ) E( Xi )2 = p q ,从而,解:,五. 随机变量的标准化,设 X 具有,为 X 的标准化随机变量.,则叫,六. 切比雪夫(Chebyshev)不等式,对 X, 若 E( X ), D( X ) 都存在, 则对,或,(1) 方差确实能衡量随机变量取值的离散程度.,(2) 该不等式能在 X 的分布未知的情况下对,的概率的下限作一估计,若记,则,等等.,一、协方差,随机变量 X 和 Y 的协方差,前面我们介绍了随机变量的数学期望和方差, 对于多维随机变量，反映分量之间关系的数字特征 中, 最重要的就是协方差和相关系数.,3 协方差(Covariance)和相关系数,1. 定义

6、:,(1) Cov( X, Y )= Cov( Y, X ),(2) Cov( a X, b Y ) = a b Cov( X, Y ) , a, b 是常数,(3) Cov( X1 + X2 , Y )= Cov( X1 , Y ) + Cov( X2 , Y ),2. 简单性质:,3. 协方差的简化计算公式:,Cov( X, Y ) = E( X Y ) E( X ) E( Y ),可见，若 X 与 Y 独立, 则 Cov( X, Y ) = 0 .,4. 随机变量和的方差与协方差的关系,D ( X+Y )= D( X ) + D( Y ) + 2Cov( X, Y ),二、相关系数,1.

7、 定义:,设 D( X ) 0, D( Y ) 0, 称,为随机变量 X 和Y 的相关系数.,2. 相关系数的性质:,存在常数a, b 使,即 X 和 Y 以概率 1 线性相关.,可见相关系数刻划了 X 和 Y 间“线性相关”的程度.,的值越接近于 1, Y 与 X 的线性相关程度越高;,的值越接近于 0, Y 与 X 的线性相关程度越弱;,注意:,若 X 与 Y 独立, 则 Cov(X, Y) = E(XY )E(X )E(Y ) = 0,但由 X 与 Y 不相关, 不一定能推出 X 与 Y 独立.,而对下述情形, 独立与不相关等价:,若 (X, Y) 服从二维正态分布, 则,从而 X 与

8、Y 不相关;,例: 设 X 在 (1/2, 1/2)内服从均匀分布, 而 Y = cos X , 试考察 X 与 Y 的相关性及独立性?,解:,而 Y 与 X 有严格的函数关系,因此,Cov( X, Y ) = E( X Y ) E( X ) E( Y ) = 0,故 X 和 Y 不相关 .,即 X 和 Y 不独立 .,一、矩,为 X 的 k 阶原点矩,可见: X 的期望是 X 的 1 阶原点矩;,在随机变量的数字特征中, 更一般的是矩.,4 矩、协方差矩阵,为 X 的 k 阶中心矩,为 X 和 Y 的 k + l 阶混合原点矩,为 X 和 Y 的 k + l 阶混合中心矩.,X 的方差是X 的 2 阶中心矩;,X 和 Y 的协方差是 X 和 Y 的 2 阶混合中心矩.,二、协方差矩阵,对 n 维随机变量 ( X1 , X2 , Xn ),称矩阵,为( X1, X2, Xn ) 的 协方差矩阵.,因对所有 i, j 成立 ci j = cj i ,记,i, j = 1, 2, n,故 C T = C , C 为对称 矩阵.,引入( X1, X2, Xn ) 的协方差矩阵, 可更好地 处理多维随机变量.,比如, 我们可从二维正态随机变量的概率密度推广出 n 维 正态随机变量的概率密度:,设 n 维随机变量 ( X1 , X