432统计学读书笔记

1、第五章 概率与概率分布 概率的三种定义1. 古典定义：如果某一随机试验的结果有限，而且各个结果出现的可能性相对，则某一A发生的概率为该所包含的基本个数m与样本空间中所包含的基本个数n的比值，记为P(A)。古典模型特点：其一，结果有限，即基本空间中只含有限个元素；其二，各个结果出现的可能性被认为是相同的 。A出现m次(𝑚 𝑛)，则m/n2.统计定义：在相同条件下随机试验n次，某称为A发生的概率。随着n的增大，该频率某一常数p上下波动，且波动的幅度逐渐减小，趋于稳定，这个频率的稳定值即为该的概率，记为：𝑃(𝐴) = 𝑚

2、 = 𝑝𝑛3.息对该定义：一个决策者根据跟人对某个是否发生以及本人掌握的信发生的可能性的。二 概率运算（这部分大量习题可以从数学三种找到）这部分是最基础的概率知识，在数学三的概率板块复习中会掌握，都包括：加法法则、条件概率、乘法公式、全概率公式、斥。公式、与互三 期望与方差(这个是基础，的统计学配备资料上有习题)离散和连续形式类似，这里只介绍连续形式设连续随量X的密度函数为p(x)，若：+ |𝑥|𝑝(𝑥)𝑑𝑥 <+ 则称+ 𝐸(𝑥) = 

3、9909;𝑝(𝑥)𝑑𝑥 为x的数学期望。称：+ 𝐷(𝑥) = (𝑥 𝐸(𝑥)2𝑝(𝑥)𝑑𝑥 为x的方差。如果随量方差存在，则期望一定存在；但是期望存在，方差不一定存在。另外，掌握期望和方差的运算性质。四概率分布（注意离散与连续、概率密度函数与分布函数的区别，这里要记住一句话：同一连续分布的不同密度函数在不等处点组成集合的概率为0）1.单点分布（或分布）：随量X只取一个值c0,⻔

4、3; < 𝑐𝐹(𝑋) =1,𝑋 𝑐2.分布函数：它是一个没有期望和方差的分布函数()12𝐹(𝑋) =𝑎𝑟𝑐𝑡𝑎𝑛𝑋 + < 𝑥 <+ 3.切比雪夫不等式：（这个2013年复试考过证明题）设随量X的数学期望和方差都存在，则对任意常数 > 0，有𝑃(|𝑋 𝐸𝑋| ) 

5、9863;𝑋2切比雪夫不等式给出了大偏差发生概率的上届，这个上界与方差呈正比。推论：若随量X的方差存在，则DX=0X几乎处处为常数a，即P(X=a)=14.几何分布与指数分布的无记忆性𝑃(𝑋 > 𝑠 + 𝑡𝑋 > 𝑠) = 𝑃(𝑋 > 𝑡)𝑃(𝑋 = 𝑠 + 𝑡𝑋 > 𝑠) = 𝑃(𝑋

6、= 𝑡)5.负二项分布：在试验序列中，记每次中A发生的概率为p，如果X为A第r次出现时的试验次数，则X取值为r，r+1,···，r+m，···.则称X服从负二项分布。记为XNb(r, p) (X r)；当r=1时为几何分布Ge(p).𝑃(𝑋 = 𝑘) = 𝐶𝑟 1𝑝𝑟(1 𝑝)𝑘 𝑟 ,𝑘 = 𝑟,𝑟 + 1,&#

7、119896; 1𝐸𝑋 = 𝑟,𝐷𝑋 = 𝑟(1 𝑝)𝑝𝑝2𝑋𝑖𝐺𝑒(𝑝)𝑋 = 𝑋1 + 𝑋2 + + 𝑋𝑟𝑁𝑏(𝑟,𝑝)6.正态分布：是最重要的分布，必须全面掌握。若𝑋(,2)，则其密度函数:212(ү

8、09; ) 22𝑓(𝑥) =exp , < 𝑥 <+ (,1) ± 2密度函数图像在处取得拐点，分布函数图像在处取得拐点。在复习时，将正态分布和二元正态分布结合起来梳理。（复试考到二元正态分布）7.指数分布： X Exp() ，概率密度函数是：ìe -x , x ³ 0p(x) = íî(> 0)0, x < 0Ex = 1 , Dx =12若某设备在任何长为t的时间0,t发生故障的次数N(t)服从参数为t的泊松分布，则相继两次故障之间的时间间隔T服从参数为的指数分布。分布

9、： X Ga(,)8.+¥ò函数： G() =xe dx ，-1 - x函数具有的性质（需要记住）：01（1） G(1) = 1, G( ) = ；2（2） G(+ 1) = × G() ；（3） 当n Î N +时，G(n + 1 = n!；分布的密度函数：ìp(x) = ïxe, x ³ 00, x < 0-1 - xíG()ïîEx = = , Dx2分布密度函数图像随变化而变化，>2时，p(x)是单峰函数，且越大，P(x)近似于正态密度函数图像。注：（1）=1时， Ga(1,

10、) = Exp() ；（2） Ga( n , 1 ) = 2 (n) ；（3）若 X Ga(,) ，则Y = kX Ga( ,)(k > 0) ；（42 2）任一k分布可以转化为卡方分布：X Ga(,) Þ 2X Ga( 1, ) = 2 (2)2电子失效常由外界的“冲击”引起，若在(0,t)内发生冲击的次数N(t)P(t)，则第n次冲击到来的时间 Sn Ga(n,) .9.分布： X Be(a, b)1ò函数： B(a, b) =，函数具有的性质：0（1） B(a, b) = B(b, a) ；（2） B(a, b) = G(a) × G(b)G(a +

11、b)分布的密度函数：ìG(a) × G(b)< 1p(x) = ïíïîG(a + b)0, 其他注：当a=b=1时，Be(1,1)=U(0,1)（0-1均匀分布）aab1Ex =, Dx =××a + ba + b a + b a + b + 1不10、维修率、市场占有率和射击中率选用分布合适。对数正态分布： Y LN (,2 ) ，设随量 X N (,2 ) ，则Y = ex 的概率密度函数可以求出对数正态分布的密度函数。（这个留给读者练笔）。另外，家中两个小孩的差服从 LN (,2 ) 。11.超几何分

12、布：XH(N,n,M)，设有N件，其中M件次品，现从中任取n件(n £ N ) ，则n件中所含次品数X是一个随量：Cm × Cn-m= m) = MN -M P( XCnN× N - M × N - nEX = n × M , DX = n × MNNN - 1N泊松分布（泊松定理）、几何分布和二项分布（二项分布的正态近似）这些简单知识点便不在此累述。五 求连续随量函数的分布这一部分参见数学三复习全书，主要有公式法和分布函数法。这部分如果出题，则会很难，所以要多做各种习题。（数学三复习全书和卯诗松的概论对应课后习题）六 分布的其他特征

13、数1.矩估计量X和Y均为随量， k, l Î N + ： = E( X k ) Þ X的k阶原点矩；kvk = E( X - Ex) Þ X的k阶中心矩；kE( X kY l ) Þ X与Y的k+l阶混合原点矩；E( X - Ex)k (Y - EY )l Þ X与Y的k+l阶混合中心矩；2.协方差与相关系数COV ( X ,Y ) = E( X - Ex)(Y - EY ) = EXY - EX × EYX与Y相互是COV（X,Y）=0的充分不必要条件。COV ( X ,Y )=DX ×DY根据的范围，可得不等式：COV

14、( X ,Y )2 £ DX × DY量，ij = COV ( X i , X j ) 则称下列矩阵B为协方差矩设n 为随阵：é11ê2112 22M1n ùLLOL2n úB = êúúêMMêúënn ûn1n2其中矩阵B是对称的非负定矩阵，协方差矩阵将在多元回归和多元正态分布中用到。3.偏度与峰度（2013年考过）设X的三阶矩存在，则v3 =Þ X分布的偏度13v221 >0：称分布正偏或右偏； 1 =0：称分布对称； 1 <0

15、：称分布左偏或负偏。设X的四阶矩存在，则：v4 =- 3 Þ X分布的峰度22v22 <0，则标准化后的分布形状比标准正态分布更平坦，称为低峰度；2 =0，则标准化后的分布形状与标准正态分布相当；2 >0，则标准化后的分布形状比标准正态分布更尖峭，称为低峰度；4.特征函数与函数（函数12年考过）设X为随量，其分布函数为F(x)，f(x)为密度函数，则X的特征函数和矩母函数分别定义为：+¥òf (t) = E(e ) =ef (x)dx, t ³ 0 ，i为虚数；itxitx-¥+¥M (t) = E(etx ) =etx

16、f (x)dx, t ³ 0òX-¥（1）函数原点总存在，且 M X (0) = 1；（2）有二个分布函数，若它们的函数相同，则 F1 (x) = F2 (x) ；（3）k阶原点矩= M (k) (0), k = 1,2,L .其中 EX = M ' (0) ；kXXnn（4） X = å X i ， Xi 相互，则： M X (t) = Õ M Xi (t) ；i =1i=1（5） Y = aX + b ，则 MY (t) = e M (ta) ；btX（6）若随量为常数c，则MC (t) = E(e ) = e ；ctct（7）若X

17、B(n,p)，则 M X (t) = ( pe + q) .tn七1.后，看分布均匀分布，多项分布，超几何分布，多元正态分布都只需了解。然随量分布密度函数参看卯诗松概论第三章，这部分难点多，不必全部掌握。时注重结合例题，然后课后习题结合2.二元正态分布如果随量（X，Y）的密度函数为：(x - )211p(x, y) = exp-12(1 - 2 )221 - 211 2(x - )( y - )(x - )2- 2+2,-¥ < x, y < +¥1221 22则称（X,Y）服从二元正态分布，记为( X ,Y ) N (, ,2 ,2 ,) .其中五个参1212

18、数的取值范围分别为：- ¥ < 1 ,2 < +¥1 ,2 > 0;-1 £ £ 1.二元正态密度函数的图象很像一顶四周无限延伸的草帽，其中心点在(1 ,2 ) 处，其等高线是椭圆。另外，多项分布的边际分布仍为是多项分布，二维正态分布的边际分布是一维正态分布。3.随量分布的可加性（复试考过）（1）泊松分布： X i P()(i = 1,2,L, n) ， X i 之间相互，则nX = å X i P(1 + 2 +L + n ) ；注： X ii=1- X j从泊松分布。nn（2）二项分布： X i B(ni , p) ， X

19、 i 之间相互，则 X = å X i B(å ni , p) .i=1i=1（3）正态分布： X N (,2 ) ， X 之间相互，iiiinnnX = å Xi=1åi å i N (, ) .i=1i=12i分布： X Ga(1 ,),Y Ga(2 ,) ，且X与Y相互（4），则Z = X + Y Ga(1 +2 ,) 。由此，我们也可以证明卡方分布也是具有类似的可加性的，因为前面提到任一分布可以转化成卡方分布。思考题：（1）X与Y相互，请问X+Y与X-Y是否？（2）X与Y均服从指数分布且相互，请问X-Y服从什么分布？4.最大、小值分布最

20、大值分布：设n 是相互的n个随量，若Y = max(n ), Z = min(n ) 且每个 X i 服从同分布F(x)，则：最大值分布：F ( y) = F ( y)nY最小值分布：F (z) = 1 -1 - F (z)nZ若在特殊情况下，当 X i Exp(i = 1,2,L, n) 则：最大值分布：F ( y) = (1 - e-y )n ( y ³ 0)Y最小值分布：F (z) = 1 - e-nz (z ³ 0)Z思考题：卯诗松概论P179例3.4.11第六章 统计量及其分布 大数定律1.收敛依概率收敛：设n 是一个随量序列，X为随量，若对">

21、0 ，- X< = 1，则称： lim P X nn 依概率收敛n®¥于X，记作： X n ¾¾® X .P弱收敛:设随量n 的分布函数分别为： F1 (x), F2 (x),L, Fn (x)： lim Fn (x) = F (x) ，则称Fn (x)弱收敛于F(x)，若对F(x)的任意连续点x，n®¥记作： F (x) ¾¾W ® F (x) .n2.n 之间相互，并且都服从参数为p的大数定律：量0-1分布，则对"> 0 ，有：1nnåiX - p< =

22、 1lim Pn®¥i =13.切比雪夫大数定律：设X n 为一列两两不相关的随量序列，若每个 X i 的方差存在，且有公共上界，即DXi £ c, i = 1,2,L, 则X n 服从大数定律，对"> 0 ，有：1nn1 n-åå< = 1lim PXEXiinn®¥i=1i=14.大数定律1nn 2åi条件：D(X ) ® 0i=1条件成立，则X n 服从大数定律，即对"> 0 ，有：若1nn1 n-åå< = 1lim PXEXiinn

23、®¥i=1i=1可以发现切比雪夫大数定律是大数定律的特殊化。5.大数定律：设X n 为同分布的随量序列，若 EXi 存在，则X n 服从大数定律，对"> 0 ，有：n1 n-å1nåi< = 1lim PXEXinn®¥i=1i=1可以发现，各种大数定律共同点，其实都源自条件。二 中心极限定理1.-勒维中心极限定理（同分布条件下）设X n 为同分布的随量序列，并且EXi = , DXi = > 0,即方差有限, 记"x Î R ，恒有：当2x - n ® ¥时， N

24、(0,1)/n2.棣-拉斯定理（二项分布条件下）设Yn 服从二项分布B(n,p)， 记"x Î R ，则有：Yn - np£ x = F(x)lim Pnp(1 - p)n®¥其F(x) 为正态分布。当用正态分布来作为二项分布的近似计算时，需要作出修正， P(L £ n £ U ) = P(L - 0.5 £ n £ U + 0.5)三 统计量1.统计量定义：设n 是从总体X中抽取的容量为n的一个样本，若由此样本构造一个函数T (n ) 不依赖于任何未知参数，则称函数T (n ) 是一个统计量。2.经验分

25、布函数：设(n ) 为总体样本(n ) 的一个观测值，若将样本观测值 xi 由小到大进行排列，为数：(n) ，对任意实数，称函0, x < x(1)ìï kF (x) =, k = 1,2,L, n - 1í n(k +1)nïî1, x ³ x(n)为样本(n ) 的经验分布函数。3.n 是取自总体分布函数为F(x)的样本， Fn (x) 为其纹科定理：设经验分布函数，当n ® ¥ 时，有：Fn (x) - F (x)® 0 = 1P SUP-¥< x<+¥表明：当

26、n相当大时，经验分布函数是总体分布F(x)的近似。四 重要统计量分布统计推断的三个中心内容：抽样分布、参数估计和假设检验。在总体分布已知时，对"n Î N + ，都能导出T (n ) 的分布的数学表，这种分布称为精确的抽样分布。21.样本均值：若总体分布为正态分布 N (, ) 时，样本均值 x N (2,) ，这n表明用样本均值 x 去估计总体均值时，平均来说是无偏差的。当然，这只是中心极限定理的特殊情况。另外，样本均值的性质：n（1）若把 xi 与 x 的差称为偏差，则å(xi - x) = 0 ；i=1（2）在形如å(xi - c) 的函数中， &

27、#229;(x - x)最小。22in 是来自总体分布为正态分布 N (, ) 的样本，则：22.样本方差：若n= 1 å(x - x)2 称为样本方差， å(s 22 - nx 2 。样本方差的分n - 1iii=1(n - 1)s 2 (n - 1)2布：2 N (,(1 -)p样本比例：设总体比例是，则样本比例3.n4.两样本均值之差：若 X N (,2 ) ，其样本均值为 X ，样本个数为n ，11111X N ( ,2 ) ，其样本均值为 X ，样本个数为n ，则：2222222X - X N ( - , 1 + 2 )1212nn12一般的当n1 ， n2 &#

28、179; 30 时，可用正态分布近似。来自 N (,2 ) ， Y ,Y ,L,Y 来自 N (,2 ) ，5.两样本方差比：若n1112n22X i 与Yi 相互，则：S 2 /2 x1 F (n - 1, n - 1)12S 2 /2y26.两样本比例之差：设分别从1和2 的二项总体中抽取n1 ， n2 ³ 30 的，则两个样本比例之差：样本 (1- ) (1- )p - p N ( - ,+1122)1212nn127.次序统计量：设n 是取自总体X的的样本， x(i ) 称为该样本的第i个次序统计量，它的取值是样本观测值由小到大的排列后得到的第i个观测值。设总体X的密度函数为

29、 p(x) ，分布函数为F(x)，则第k个次序统计量 x(k ) 分布的密度函数为：n!p (x) =×F (x)k-1 ×1 - F (x)n-k × p(x)k(k - 1)!×(n - k )!由此可得：最小值分布密度函数为： p (x) = n ×1 - F (x)n-1 × p(x)1n-1最大值分布密度函数为： p2 (x) = n ×F (x)× p(x)另外，中位数，四分位数，内距，全距都是次序统计量。8.充分统计量：统计量是把样本中的信息进行处理的结果，不损失信息的统计量就是充分统计量。统计量是否

30、为充分统计量的方法是因子分解定理因子分解定理（仅作了解）：设总体概率函数为 f (x;) ，n 是取自总体X的的样本， T = T (n ) 是充分统计量等价于：存在两个函数g(t,)和h(n ) 使得对"和一组观测值n 有：n ;) = gT (n ), × h(f (n )其中， g(t,) 是通过统计量T的取值而依赖于样本的。值得注意的是，上面所有的抽样分布都是基于重复抽样方式，当抽样分布为不重复抽样时，标准差都要乘上修正系数。例如：重复抽样方式下，样本均值分布的标准差为，在不重复抽样方式下，样本均值分布的标准差为nN - n ×2。可以看出，不同抽样方式下

31、，抽样分布的离散程度会不同，前者N - 1n更大。五 统计三大分布1. 2 分布（右偏分布）设同分布于标准正态分布N(0,1)，则n2=2 的分布称为自由度为n的卡方分布，记2 2 (n) .nE2 = n, D2 = 2n .当n ® +¥ 时， 2 分布的极限分布是正态分布；当n很大时， 22 (n) N ( 2n - 1,1) ；1当n>45时， (n) »(u +2n - 1)2 （ u 为正态p分位数）2ppp22.t分布X量X与Y， X N (0,1),Y 2 (n) ，则称t =设随的分布为自Y / n由度为n的t分布，记为： t t(n) .

32、t分布的密度函数是偶函数。当n=1时：t分布即分布，它的均值不存在；当n ³ 2 时：Et=0；n当n ³ 3 时： Dt =（当n增大时，Dt不断减小）；n - 23.F分布（右偏分布）量Y与Z相互，且Y与Z分别服从自由度为m和n的2 分布，则设随：X = Y / m F (m, n)Z / n2n 2 (m + n - 2)nEX =(n > 2), DX =(n > 4)n - 2m(n - 2)(n - 4)1F (m, n) =pF(n, m)1- p量 X t(n) ，则2 F (1, n) ，这在回归分析的回归系数检验中有若随用。4.重要结论n 是

33、来自 N (, ) 的样本，其样本均值和样本方差分别为：2设nx = 1 ån= 1 å(x - x)2 ，则有：x ， s 2iin - 1ni=1i=1（1） x 与s2 相互；2（2） x N (,) ；n(n - 1)s 2 (n - 1) ；2（3）2（4） n (x - ) t(n - 1) .s是来自 N (,2 ) 的样本， y , y ,L, y 来自 N (,2 ) 的样本设m1112n22m1nåi=12) ， sy =2( y - y) ，其2，且此两样本相互，记 sn - 1ii=11mm1nnåi=1åi=1中： x

34、 =x ， y =y ，则：ii2 /2sF = x1 F (m - 1, n - 1)2 /2sy2(m - 1)s 2 + (n - 1)s 2xy当2 = 2 = 2 时：令s 2 =，则：12wm + n - 2= (x - y) - (1 - 2 ) t(m + n - 2)T1 + 1mns ×w第七章 参数估计ì统计描述ïïï数理统计íì统计检验ïïì非参数估计ï统计推断í统计估计ïì点估计í参数估计íï

35、9;îïïîïîî区间估计参数估计：用样本统计量去估计总体的参数；估计量：用来估计总体参数的统计量(n ) ；估计值：一个具体样本观测值计算出来的估计量数值(n ) . 矩法估计与极大似然估计1.点估计之矩法估计矩法估计是值用样本矩去替换总体矩（原点矩和中心矩均可），或者是用样本矩的函数去替换相应的总体矩的函数。根据大数定律可知：样本矩、样本矩的函数依概率收敛于相应的总体矩、总体矩的连续函数。所求的估计量称为矩估计量，相应的观测值称为矩估计值。实质：用经验分布函数去替换总体分布。理论基础：纹科定理+¥ò-

36、¥第一步：计算总体X的前k阶原点矩： ul = EX l =x f (x;l, ,L, )dx ，12kl = 1,2,L, k第二步：令样本矩等于总体矩，则：n1 å= EX l Þ 可得含k个未知参数, ,L, 的矩法方程X li12kni=1第三步：求解矩法方程，可得 = ()lln条件：矩法估计不要求总体服从什么分布，只须 EX l 存在即可。约定：用矩法方程求总体未知参数估计量时，矩一般从低阶开始。2.点估计之极大似然估计（复试考过）设总体的概率函数为 p(x;),Î Q ，其中是一个未知参数或几个未知参数组成的参数向量， Q 是参数可能取值的

37、参数空间，n 是来自总体的样本，则将样本的概率密度函数看成为的函数，即：nn ;) = Õ f (xi ;),Î Qi=1L() = L(称 L() 为样本的似然函数。若某统计量 =(n ) 满足 L() = max L() 则称(n ) 为ÎQ的极大似然估计值（MLE），(n ) 为的极大似然估计量。条件：要求MLE 需要知道总体的概率分布或密度函数。中心思想：取的估计值使得发生的概率最大。极大似然估计不变性：设 是总体X的概率密度或分布律中未知参数的极大似然估计，的函数u = u() 具有单值反函数= (u) ，则u = u() 是u() 的 最大似然估计。二

38、 点估计与区间估计比较注意的是，用于参数估计的统计量不是唯一的。在区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间。一般地，如果构造置信区间的步骤重复多次，置信区间中包含总体参数真值的次数所占的比例称为置信水平。注：（1）样本量一定时，置信系数增大，区间宽度也增大，可靠性上升，区间估计：是在点估计的基础上，给出总体参数的一个区间范围，该区间通常由样本统计量加减估计误差得到。区间估计三要素：点估计值，抽样平均度，估计的可靠度参数估计点估计：就是用样本统计量的某个取值直接作为总体参数的估计值。（一个点估计值的可靠性由抽样标准误差来衡量），但计算时不考虑抽样误差及可靠程度。但是精度下降；置信水平固定时，样本量增大，区间宽度的下降，可靠性和精度均上升。（2）注意把握对置信水平的理解。一个特定的区间总是包含或绝对不包含参数真值，在多次抽样得到的区间中有95%的区间包含参数真值。而不是以多大的概率包含参数真值。三 点估计的评价标准1.相合性（大样本）参数， = (设Î Q) 是的一个估计量，n为样本容nnn量，若对"> 0 ，有：lim P( - ³ ) = 0nn®¥则称 为参数的相合估计。相合性是对估计的一个最基本的要求（一般由大n数定律或定义来证）。n 是来自 N (, )