数理统计与随机过程3-1-数理统计1

1、1兰州大学信息科学与工程学院主讲主讲: 路永钢路永钢E-mail: 2内容：数学期望数学期望方差方差协方差协方差相关系数相关系数第四节 随机变量的数字特征3 3问题的提出：问题的提出： 在一些实际问题中，我们需要了解随机变量在一些实际问题中，我们需要了解随机变量的的分布函数分布函数外，更关心的是随机变量的外，更关心的是随机变量的某些特征某些特征。例：例：在评定某地区粮食产量的水平时，最关心的在评定某地区粮食产量的水平时，最关心的 是平均产量。是平均产量。考察某市区居民的家庭收入情况，我们既知考察某市区居民的家庭收入情况，我们既知 家庭的年平均收入，又要研究贫富之间的差异家庭的年平均收入，又要研

2、究贫富之间的差异 程度。程度。4 4定义定义：定义定义：111() 1,2,kkkkkkkkkkkXP Xxpkx pXE Xx pE Xx p绝对收设随机变量 的分布律为：若级数则称级数的和为随机变量的，离散型数学期 望敛，记为即 , ( )()( )( )()Xf xx f x dxf x dxE Xxf xxxf x dxXXdxE设随机变量 的概率概率为若积分(即)则称积分 的值为随机变量数学期的，记为 绝对收 即 敛 望连续型数学期望简称数学期望简称期望期望，又称，又称均值均值(Mean)1 数学期望数学期望 (Expected Value)(Expected Value)5 5例：

3、例：对对泊松分布泊松分布，( ),()XE X 。设 求() 0,1, 0!keXP Xkkk解： 的分布律为：X的数学期望为：0()!kkeE Xkk11(1)!kkekee( )E X即6 6数学期望的特性：数学期望的特性： ()()( )E aXbYcaE XbE Yc将上面三项合起来就是：这一性质可以推广到任意有限个随机变量线性组合的情况这一性质可以推广到任意有限个随机变量线性组合的情况( )CE CC设 是常数，则有1.()()XCE CXCE X设 是一个随机变量， 是常数，则有2.,()()( )X YE XYE XE Y设是两个随机变量，则有3.,()() ( )X YE XY

4、E X E Y设是相互独立的随机变量，则有4.7 7定义：定义：()(),D XXXX标准差均将记为称为 的或，它是与随机变量具有相方差同量纲的量。22() ()()()()DXEXVar XXE XXD XVar XEXE X设 是一个随机变量，若存在，则称其为 的，记为或，即方差()()XXXDXXDXD X方差刻画了 取值的分散程度，它是衡量 取值分散程度的一个尺度。若 取值比较集中，则较小，反之，若 取值比较分散，则较大。2 方差（方差（VarianceVariance）8 8对于对于离散型随机变量随机变量X X，() 1,2,kkP Xxpk其分布律为：21()()kkkD XxE

5、Xp( ),f x其概率密度为2()()D XEXE X2()()( )D XxE Xf x dx22()() ()D XE XE X222() ()E XXE XE X22()2 () () ()E XE X E XE X22() ()E XE X对于连续型连续型随机变量X，此外，利用数学期望数学期望的性质：方差的计算方差的计算9 9方差的性质：方差的性质： 22, ,()()( )X Ya b cD aXbYca D Xb D Y综合上述三项，设相互独立，是常数，则( )0CD C 1. 设 是常数，则2()()XCD CXC D X2. 设 是随机变量， 是常数，则有()()( )2(,

6、)( )()()( )D XYD XD YEXE XYE YDX YX YXYD XD Y3. 设是两个随机变量， 则有 特别，若，则有 相互独立例：例： 解：解：2( ,)(), ()XNE XD X 。设，求XZ先求标准正态变量的数学期望和方差221( )2tZte的概率密度为：221( )02tE Ztedt于是 22()(),()()( )XZE XEZD XDZD Z因为，故2( )()D ZE Z22212tt edt222211|122ttteedt 2, 即正态分布的两个参数分别是该分布的数学期望和方差。201122222222011112221(,) 1,(2, ,) ,ni

7、iinnnnnnCC XC XC XN CCXNinC CCCCCC 若且它们相互独则它们的线性组合服从正态分立是不全布：为0的常数 (1,3)(2,4),23( 4,48)XNYNX YZXYN如:，且相互独立，则n个正态变量的线性组合仍服从正独立的态分布：1212 对于二维随机变量对于二维随机变量(X,Y)(X,Y)，除了讨论，除了讨论X X与与Y Y的数学期望和方的数学期望和方差外，还需讨论描述差外，还需讨论描述X X与与Y Y之间之间相互关系相互关系的数字特征。的数字特征。 定义：定义： ()( ) (, )()( ) .(, )()( )XYXYEXE XYE YXYCov X YE

8、XE XYE YCov X YXYD X D Y称为随机变量 与 的，记为：称 为随协方差机变量 与 的.是一个无相关系数量纲的量易知，X与Y相互独立，则Cov(X,Y)=0()()( )2()( )D XYD XD YEXE XYE Y1313协方差协方差的性质：的性质：(,)? Cov aXbY cXdY()( )()(, )acD XbdD Yadbc Cov X Y答案：思考题：思考题： (, )( ,)(,)()1. Cov X YCov Y XCov X XD X， (,2. )()() ( )Cov X YE XYE X E Y (,)(, ) ,3. Cov aX bYabCo

9、v X Ya b是常数1212 (, )(, )(,4.)Cov XXYCov X YCov XY1414 1,()12.110 0XYXYXYa bP YabXbb 存在常数，使 特别的，时，；时， 相关系数的性质：1. 1XY(, )()( )XYCov X YD X D Y15150 XYXYXYXY线性关定义：，称 与 不相关注意， 与 不相关，只是对于而言的与 相互独立系一般关是就系而言的,XYX Y相关系数是一个用来表征之间线性关系紧密程度的量0 XYXY随机变量与 不相关，即 的等价条件有：1. (, )0Cov X Y 2. ()() ( )E XYE X E Y3. ()()

10、( )D XYD XD YXYXYXYXY从而可知，当 与 相互独立与 一定不相关反之，若 与 不相关， 与 却不一定相互独立当|XY|较大时，表明线性关系的程度较好；当|XY|较小时，表明X,Y线性关系的程度较差；当|XY| =1时，表明X,Y之间以概率1存在线性关系；1616例：设例：设X,YX,Y相互独立服从同一分布，记相互独立服从同一分布，记U=X-YU=X-Y, ,V=X+YV=X+Y, ,则随机则随机变量变量U U与与V V是否一定不相关，是否一定独立？是否一定不相关，是否一定独立？,( , )(,)()( )0VCOV U VCOV XY XYD XD YUV解： 先求U的协方差

11、：所以， 与 一定不相关。1UVXYUV但是 与 不一定独立。举例如下：（） 设 与 独立，服从正态分布，则（ ，对于二维正态分布，独立与不相关等价）也服从正态分布，从而U与V独立。2 (1,1 2),(01)(1,0)(1,0)0(1)(1)(1,0)1 4,(0)(0)(0,0)1 4,(1,0)(1) (0)XbP UVP XYXYP UP XYP XYP VP XYP XYP UVP UP VU（ ）与即分布）所以V不独立。1717 21222112222212122(, )1 ( , )21()()()()1exp22(1) X Yf x yxxyyXYXYXY 例 ：设服从二维正态

12、分布，它的概率密度为：求 和 的相关系数，并证明 与 相互独立与 不相关,X Y解：由于的边缘概率密度为：121()2211( ) 2XXfxex ；222()2221( ) 2YYfyey 续221122(),()( ),( )E XD XE YD Y所以；181812(, )()()Cov X YEXY而12()() ( , )xyf x y dxdy 121()221221222212212()()2211()2(1)Xxyedxexpyxdy 121()221221211()()2Xxexdx 121()2222111() 2Xxedx 221121 (, )()( )XYCov X

13、YD XD Y于是1919(,),X YX YX Y即二维正态变量的概率密度中的参数就是的。从而二维正态变量的分布完全可由各自的均值、方差以及它们的相关系数相关系数所确定。 (, )0 ( , )XYXYXX YXX YYY前面已经证明：若服从二维正态分布，那么 和 相互独立现在知道，从而知：对于二维正态变量来和 不相关与说，相互独立20练习试证明：1. ()()( )2()( )D XYD XD YEXE XYE Y(, )()(2.) ( )Cov X YE XYE X E Y212222XY定义：设 和 是随机变量() 1,2, () kkE XkX若存在，则阶 原它为 的点称矩；()

14、1,2,kkEXE XkX若存在， 则称它为 的 阶中心矩；,1,2,klE X Yk llXYk若存在 存在， 则称它为 和 的阶混合矩；() ( ) ,1,2,klEXE XYE YkklXlY若存在， 阶 则称它为的混合中心矩；方差、协方差它们和的关系是什么？23231211212212(,)()(,)(,)(,)()XXD XCov XXXXCov XXD X设二维随即变量的四个二阶中心矩存在，将它们排成矩阵：，称为的协方差矩阵。12112121221212(,)(,),1,2,()(,)(,)(,)()(,)(,)(,)()(,)nijnnnnnnnXXXCov XXi jnD XC

15、ov XXCov XXCov XXD XCov XXCov XXCov XXD XnXXX设维随机变量协方差矩阵，都存在，称矩阵为 维随协方差矩阵即变量的，是一个对称矩阵。协方差矩阵协方差矩阵 利用协方差矩阵，可由二维正态变量的概率密度推广，得到利用协方差矩阵，可由二维正态变量的概率密度推广，得到n n维正态变量的概率密度。维正态变量的概率密度。122211112222122222121212(,)()()()()11( ,)exp22(1)21XXxxxxf x x 已知服从二维正态分布，其概率密度为：1122,XXX引入列向量：，12221112211(,)exp()()2(,2 )()T

16、XXf x xXCXC于是的概率密度可写成： 2112122122(,)XXC 的协方差矩阵为：22212(1)C 它的行列式为 2121221211CCC 的逆矩阵为2121221221111 22111222221212()()()()1()()21TXXYYXCX 经计算，122121112221112122(,)()() =,()11( ,)()()2(,)(,)2 )nnnnnnnTnnX XXXE XXE XXXE XfCX XXX Xx xxexXpXCXC上式容易推广到 维正态协变量的情况引入列向量：是的,的概率密度定义为：方差矩阵2626n维正态变量维正态变量具有以下四条重要

17、性质：具有以下四条重要性质：121212 (,),1,2, ,(,)1. ninnnXXXX inXXXXXXn维正态变量的每一个分量都是正态变量；反之，若都是正态变量，且相互独立， 则是 维正态变量；12121122122.(,) , , , nnnnnnXXXnXXXl Xl Xl Xl ll维随机变量服从 维正态分布的任意线性组合服从一维正态分布其中不全为零121212(,), (1,2,),3. )nkjkXXXnY YYXjnY YY若服从 维正态分布，设是的线性函数，则(也服从多维正正态态分布变量； 这的线性变一性质称为换不变性121212,(,)4. , ,nnnXXXXXnXX

18、XX设服从 维正态分布， 相互独立两则两不相关27考虑100包水泥的总重量Y用以下两种方式表示：(1)设第i袋水泥的重量为Xi , i=1,2,100, 由题意知, Xi N(50,2.52),Y=Xi , 则YN(100*50,100*2.52)； (2)设一包水泥的重量为X, 由题意知 XN(50,2.52)。若将100包水泥的总重量看成是1包水泥的100倍，即Y=100X,Y是X的线性函数，则：E(Y)=100E(X)=100*50, D(Y)=1002D(X)=1002*2.52YN(100*50,1002*2.52)这两种方法得到的总重量的分布不一样(因为方差不同，后者方差是前者的1

19、00倍)，试问哪一种正确？讨论讨论 2829契比雪夫不等式契比雪夫不等式大数定律大数定律中心极限定理中心极限定理30222225.1 ,0, 1XE XD XPXE XPXE X 定理契比雪夫不等式 ：设随机变量 具有数学期望方差 则对于任意都有：定理的为：等价形式 ,fx证明：仅就X为连续型时证之 设X的概率密度为 xP Xf x dx则 22xxf x dx 221xfx dx222D X( )f xChebyshevs Inequality315.3 ,0,1AAnApnnnAlim Ppn 定理贝努里大数定理 设事件 在每次试验中发生的概率为 ，记为 次独立重复试验 中 发生的次数 则

20、有：,Anb n p证明：利用契比雪夫不等式，因故：11,AAnEE nnppnnn20,1AnpqPpnn 于是，有2211AAnpqDD nnpqnnnn1Annlim Ppn即得：大数定律（大数定律（Law of Large Numbers）贝努里大数定理贝努里大数定理建立了在大量重复独立试验中事件出现频率的稳定性稳定性，正因为这种稳定性，概率的概率的概念才有客观意义概念才有客观意义！贝努里大数定理还提供了通过试验来确定事件概率的方法，既然频率频率nA/n与概率概率p有较大偏差的可能性很小，我们便可以通过做试验确定某事件发生的频率并把它作为相应的概率估计。这种方法即是将要介绍的参数估计法

21、，参数估计的参数估计的重要理论基础之一重要理论基础之一就是大数定理大数定理。331235.1,0,0,nnnXXlim PpXXn 。定义：设随机变量序列X若存在某常数 ， 使得均有： 则称随机变量序列依概率收敛于常数 ， 记为X：此条件也可写为：1limnnXP利用依概率收敛的定义可知：贝努里大数定理意味着：贝努里大数定理意味着：也可知：对于相互独立的随机变量也可知：对于相互独立的随机变量X Xk k (k=1,2,)(k=1,2,)，如果它们具有相同的分布，且如果它们具有相同的分布，且E(XE(Xk k)=)= ，则，则 这被称为这被称为弱大数定理弱大数定理pnnpApnkkXnX1135背景： 有许多随机变量，它们是由大量的