重庆大学研究生数理统计总复习

数理统计概率论基本知识点重庆大学数统学院李寒宇hyli@240783951135942309695、概率的运算性质：1）不可能事件概率为零，即：；2）有限可加性：互斥,3）设A为任一随机事件，则：；4）设A，B为任意两个随机事件，则：当时，；5）单调性：若，则；6）；1、分布函数：定义：设X为随机变量，为任意实数，称函数∈R

为随机变量X的分布函数。性质：1）单调不减性：即当时，有；

2）；

3）是右连续函数，即对于任意的x，有；2、分布列：定义：设随机变量X的所有可能取值为且则称此数列为离散型随机变量的分布列。

性质1：性质2：性质3：分布列与分布函数之间的关系3、密度函数：定义：如果存在一个非负可积函数，对任意实数x，有

则称X为连续型随机变量，称为X

的分布密度或密度函数。性质1：性质2：性质3：4、常见分布：二项分布：

X的分布律：

线性可加性：若，，且相互独立，则：

2）Poisson分布X~P(λ)：4）均匀分布X～U[a,b]：5）指数分布X～Γ(λ)：6）正态分布X～N(μ,σ)：2正态分布密度函数曲线6.1）标准正态分布X～N(0,1)：1、二维随机变量及其推广：四、二维随机变量1）二维随机变量的分布函数：2）二维离散型随机变量的联合分布列：显然：称：为X

的边缘分布列；为Y

的边缘分布列；3）二维连续型随机变量的联合密度函数：为X的边缘密度函数；为Y的边缘密度函数；4）二维随机变量的独立性：若对于任意的x,y，满足如下关系：

则可称随机变量X与Y相互独立。判断独立性：五、随机变量的数字特征：1、一维随机变量的数学期望：设离散型随机变量X的分布列为：如果级数收敛，则称级数：

为离散型随机变量X的数学期望。函数变换的数学期望：设连续型随机变量X的密度函数为,若收敛，则称：为连续型随机变量X的数学期望。X是离散型:X是连续型,其密度函数是:一般用如下公式:2、方差:3、数学期望和方差的性质：1）c为常数，则，；2），3），4）若X与Y独立，则：常用分布的数字特征4、二维随机变量的数学期望：（EX，EY）离散型连续型一般地协方差、相关系数和矩：（1）X

和Y

协方差：协方差和相关系数的性质:（2）X

和Y

相关系数：（3）矩:

称为X

的k

阶原点矩；称为X

的k

阶中心矩；称为X,Y

的k+l

阶原点矩；称为X,Y

的k+l阶中心混合矩；数理统计统计概念重庆大学数统学院李寒宇hyli@240783951135942309696、样本分布的计算1)、设总体X

的分布函数为,X1,…,X

n

是来自总体X

的样本，则该样本的联合分布函数为：2)、若总体X

是连续型随机变量，且具有密度函数,则样本（X1,…,X

n

）的联合密度函数为，也称为概率分布。3)、当总体X

是离散型随机变量，且具有分布列时，记：*故任意样本(X1,…,X

n)的概率分布统一为：

则样本（X1,…,X

n

）的联合密度函数也为：1）定义：设X1,…,X

n为总体X

的一个样本，为关于n维变量的连续函数，且该函数中不含任何未知参数(取定值时)，则称为统计量，很明显，统计量是一个随机变量。7、统计量2）常用的统计量：样本均值：样本方差：样本k

阶原点矩：样本k

阶中心矩：样本标准差：显然：3）样本均值有如下性质：(1):(2):若总体的均值、方差存在，且，则(3):当n→∞时，。4）样本方差S2的性质：(1)如果存在，则：(2)对任意实数a，有：

三、顺序统计量、经验分布函数

和直方图定义：设(X1,…,X

n)为总体X

的样本，是样本观测值，将样本值从小到大排列：。定义随机变量的取值为，则称为的顺序统计量，且称为最小统计量，为最大统计量。1、顺序统计量第k个顺序统计量

设是总体X

的分布函数，为总体X的密度函数，则：2、最小最大统计量的分布：1)最大统计量的分布为：2)最小统计量的分布为：3、经验分布函数：定义：设为总体X

的样本的观测值，将这些值按大小排序为：，并对任意实数x，记则称为总体X

的经验分布函数。思想：利用样本中样品的频率估计总体的概率

描述连续性随机变量的密度函数曲线，当样本容量较大（n>85）时，能够很好的近似总体的密度函数曲线。4、直方图：直方图方法步骤：直方图方法步骤：直方图结果：2、正态总体下一些几个重要的抽样分布1）卡方分布：定义：设为n个独立同分布于的随机变量，记，则称服从参数为n的卡方分布，记为：四、抽样分布(4)性质：①设，则，；②线性可加性：设，，且随机变量和相互独立，则：；③设，则；(3)密度函数曲线:2）t

分布：(1)定义：设，且X，Y

相互

独立，记：，则称T服从自由度为

n的t分布，记为：。(4)性质：②当n>1时,ET

＝0,密度函数曲线关于y轴对称。③当n>2时,

。①当n=1时,

密度函数:④当n→∞时,

。即当n充分大时(>45)，随机变量T

近似服从标准正态分布。(3)密度函数曲线：(1)定义：设，且X

与Y

相互独立，记：，则称F

服从自由度为m与n的F

分布，记为：3）F

分布：(4)性质：①当时，则；②当

，则；(3)密度函数曲线：例4、设独立同分布于，令，求：1)参数a,b,使服从分布，并求其自由度；2)参数c,使服从t

分布，并求其自由度；3)参数d，使得服从F

分布，并求其自由度；3、抽样分布定理：

定理1

设总体，X1,…,X

n为总体X的样本，分别为样本均值和样本方差，则：1），；2）；3）相互独立。推论1：设来自于正态总体，则：推论2：设X1,…,Xmmm

，Y1,…,Y

n

分别来自正态总体和，并且两组样本相互独立，则：正态总体为基础4、分位数

定义：设X

为一随机变量，

分布函数为F(x)，给定概率p，存在，使得满足:

称为p-分位数。设X

的密度函数为f

(x)，如图所示，分位数表示刻度以左的一块阴影面积为p

。常见的分位数：1、标准正态分布：u-分位数，记为；性质：概率pu-分位数查表2、t

分布：t-分位数，记为；概率p性质：当n>45时，；3、

分布：

-分位数，记为；4、

F分布：F-分位数，记为；性质：1）当n>45时，

；2）.3）数理统计参数估计重庆大学数统学院李寒宇hyli@24078395113594230969原理:样本的k阶原点距去估计相应总体的k阶原点距.

定理：在n→∞时，有：即：样本k

阶原点矩依概率p

收敛于总体k

阶原点矩。

二、矩估计法总体X

具有密度函数，其中参数θ未知。如果总体的k

阶矩E(X

k)存在，计算公式为：显然E(X

k)是参数θ的函数，记为

。这样就构建了关于θ的方程,求解获得估计值.总体的k阶原点矩E(Xk)存在设X1,…,Xn是来自总体X的样本，则样本k阶原点矩Mk易求。矩估计方法的步骤：(1)求出未知参数与总体矩的关系式：(2)当n充分大时，令：(3)求解以上m个方程组得到的解，记为：,称为θ1,…,θn的矩估计值。观测值换成样本即为矩估计量.通常情况，由于总体分布的参数不超过两个,参数

和σ2的矩估计量：记

=E(X

),σ2=DX(它们是未知的),因为：

E(X

2

)=DX+E2X=σ2+

2

实用中常用S2估计σ21）基本思想：使样本获得最大概率的参数值作为总体未知参数的估计值。2）对离散型总体X：概率分布样本(X1,…,Xn)在处的概率为：最大似然估计量分布列极大似然估计3）对连续型总体：样本(X1,…,Xn)在处的概率为：其大小与无关。令：称为似然函数。原理：寻找使得：

称为极大似然估计量。

密度函数(2)求解，得极大似然函数估计量。4）极大似然估计法的步骤：(1)求似然函数；

对极值问题：

利用极值原理令：，，称方程组为似然方程组。为了计算方便，似然方程组可改写为：，，

称之为参数θ1,…,θn的极大似然估计量。附注：方程组无解时需回归似然函数或求数值解.1、无偏性：定义：设是参数θ的一个估计量，若对任意的θ∈Θ，有，则称是参数θ的无偏估计量。四、点估计的优良准则2、最小方差无偏性定义1：设和都是未知参数θ的无偏估计量，并且对任意的θ∈Θ满足：，则称比有效。（有效性）定义2：如果存在一个θ的无偏估计量，使得对θ的任意无偏估计量T，当θ∈Θ时，有，则称T

*为θ的一致最小方差无偏估计量。(UMVUE）2）存在并且可以在的积分号下对θ求偏导数,g’(θ)存在，，则对任意θ∈Θ:

定理1(Cramer-Rao不等式)：设总体X

的概率分布或密度函数为，其中θ为未知参数,X1,…,Xn为总体X

的样本，为g(θ)的无偏估计量，且满足如下条件：1）集合与参数θ无关；其中：称为方差下界（或C-R下

界）,I(θ)称为Fisher信息量。注:1.

2.

方差达到C-R下界的无偏估计称为有效估计。定理2：在定理1的条件下有：1）为的有效估计量的充要条件是可化为形式，即：其中与似然函数形式上完全一样，只是将似然函数中的小写字符改写成大写字符Xi

。仅是θ的函数，并且为的无偏估计量。有效估计一致最小方差无偏估计无偏估计.2）C(θ)

和I(θ)之间的关系：C(θ)

和D(T

)之间的关系：3）

的有效估计量是唯一的；4）

的有效估计量一定是

的唯一极大似然估计量。三.相合性(一致性).定义对任给的满足:定理因：是μ最小方差无偏估计量2、单个正态总体的期望和方差的区间估计1)μ的区间估计目的：求给定置信度为1-α时的μ置信区间。故存在常数c，使得：即：由置信度1-α与分布确定常数c，可得μ的区间估计.五、区间估计（1）当σ2已知时：因：给定1-α

，有：＝即：即μ的置信度为1-α的置信区间为：

（2）当σ2未知时：因：给定1-α

，与σ2已知相同，将u－分位数变为t－分位数即可，故：μ的置信度为1-α的置信区间为：

2）σ2的区间估计目的：参数μ为未知时σ2的置信区间。因：S

2是σ2的最优无偏估计量，故存在k1,k2(k1＜1＜k2)，使得：，从而故：σ2的置信区间应为，其中参数由置信度1-α和总体X

的分布确定。当1-α给定，且，由定义知：即：令：故：故置信区间为：一般置信区间的求解步骤:保证分布易求3、两个正态总体的区间估计：

假设总体,(X1,…,Xn)是X

的样本，总体,(Y1,…,Ym)是Y的样本。1)两个正态总体均值差的区间估计：因：是μ1-μ2的最小方差无偏估计量，故：则：μ1-μ2置信区间形式为：当已知时：μ1-μ2的置信度为1-α的置信区间为：(2)当未知时：①

当n＞30,

m＞30时，μ1-μ2的置信度为1-α的置信区间为：②

当n,

m

较小时，设，则：所以:μ1-μ2的置信度为1-α的置信区间为:其中：

则有：当n,

m

较小时，，查阅。2)两个正态总体方差比的置信区间：当未知时，设：，即：又因：，得：所以：

令：

，得：

的置信度为1-α的置信区间：当已知时，三.非正态总体情况一般难以计算,但样本容量较大时,可以化为正态总体情况处理.以下讨论0-1分布的参数p的置信区间.此处假定n>30

XB(1,p)用样本均值估计p数理统计假设检验重庆大学数统学院李寒宇hyli@24078395113594230969首先对总体的某信息作出假设先假设原假设成立备择假设原假设某种信息，如未知参数的最优估计量与参数的差别不会太大应很小假设原假设成立也应很小所以μ＝μ0μ≠μ0很大就是一个小概率事件若发生了，自然有理由相信原假设不成立；否则，不能否定原假设，只能接受基本思想在区域的概率,即原假设成立时拒绝原假设的概率假设检验的基本步骤：1）提出原假设H0与备择假设H1

；2）分析并提出原假设H0的拒绝（否定）域的形式K0；3）给出显著性水平，确定拒绝域K0

；4）作出是否拒绝H0的判断。充分理由才能否定的作为原假设未知参数的最优估计量与参数的差别不会太大二、参数假设检验1、单个正态总体参数的假设检验：设X1,…,Xn是来自总体X～N(μ,σ2)的样本.1)μ的假设检验关于μ的各种统计假设形式：①H0:μ＝μ0

；H1:μ≠μ0

；②H0:μ＝μ0

；H1:μ>μ0

；③H0:μ≤μ0

；H1:μ＞μ0

；④H0:μ＝μ0

；H1:μ<μ0

；⑤H0:μ≥μ0

；H1:μ＜μ0

；2)σ2的假设检验关于σ2的各种统计假设形式：①H0:σ2＝σ02

；H1:σ2≠σ02

；②H0:σ2＝σ02

；H1:σ2＞σ02

；③H0:σ2≤σ02

；H1:σ2＞

σ02；④H0:σ2＝σ02

；H1:σ2

<

σ02

；⑤H0:σ2≥σ02

；H1:σ2＜σ02

；设X1,…,Xn是来自总体X～N(μ,σ2)的样本2、两个正态总体参数的假设检验

假设总体,(X1,…,Xn)是X

的样本，总体,(Y1,…,Ym)是Y的样本。相互独立1）对两总体均值的检验①H0:μ1＝μ2

；H1:μ1≠μ2

；②H0:μ1＝μ2

；H1:μ1>μ2

；③H0:μ1≤μ2

；H1:μ1＞μ2

；④H0:μ1＝

μ2

；H1:μ1<μ2

；⑤H0:μ1≥μ2

；H1:μ1＜μ2

；其中：①H0:σ12

＝σ22

；H1:σ12≠σ22

；②H0:σ12

＝σ22

；H1:σ12

＞σ22

；③H0:σ12≤σ22

；H1:σ12

＞σ22

；④H0:σ12

＝σ22

；H1:σ12

<σ22

；⑤H0:σ12≥σ22

；H1:σ12

＜σ22

；2）对两总体方差的检验中心极限定理：

设独立同分布，且,

，则：非正态总体的参数假设检验二项分布参数假设检验非正态总体的参数假设检验泊松分布参数假设检验三、非参数假设检验1、总体分布函数的假设检验2、独立性假设检验3、两总体分布比较的假设检验*1、总体分布函数的假设检验提出假设：

H0:F

(x)＝F0(x);H1:F(x)≠F0(x);设X1,…,Xn是来自总体的样本，F(x)为分布函数(未知)；F0(x)为理论上的分布。*注意:1、m一般为4—6,最多12—15;

2、区间长度不一定相同,但每个区间至少包含5

个样品*H0:F(x)＝F0(x);差别不大差别不大不大不大*拒绝域：

拟合优度检验法不大不大*拒绝域：

F0(x)已知;

定理：当原假设成立时，若不含有参数时，无论是何分布，均有*拒绝域：

F0(x)未知;

定理：当原假设成立时，若含有r个参数时，可用其最大似然估计量代替，再计算记为，此时*提出统计假设：

H0:X

与Y

独立;H1:X

与Y

不独立2、独立性假设检验上述统计假设可转化为：总体为随机向量（X，Y）*假设（X，Y）的联合分布函数为F(x,y);边缘分布函数为FX(x),FY(y)H0:F(x,y)=FX(x)FY(y);H1:F(x,y)≠FX(x)FY(y)假设（X，Y）为离散型随机向量上述统计假设可转化为：r

×s列联表XYni.b1b2…bsa1n11n12…n1sn1.a2n21n22…n2sn2.…………arnr1nr2…nrsnr.n

.jn

.1v

.2…n

.sn*抽样:X的取值a1,

…,

ar;Y的取值b1,…,bs差别不大不大不大*差别不大不大不大拒绝域：其中：拒绝域：*pij已知pij未知r+s-2参数**3、两总体分布比较的假设检验

设分别为连续型总体X,Y

的分布函数，为它们的密度函数，这些函数都未知。X1,…,X

n、Y1,…,Y

m是分别来自X

和Y

的样本，且相互独立，样本值分别为，。统计假设是：**情形1:m=n且xi≠yiXi>yi个数n+;xi<yi个数n-n++n-=n不能太小拒绝域检验方法：符号检验法情形2:m,n且xi,yi无要求*秩和检验法*112数理统计回归分析重庆大学数统学院李寒宇hyli@24078395113594230969113二、一元线性回归1、回归模型：设为观测值，满足模型回归函数*任务：估计、检验未知参数114找：最小二乘法*尽可能小尽可能小尽可能小115得：**116117性质1:残差和为零，即；性质2:在样本回归直线上，即且：3、样本回归直线和参数估计量的性质118性质3119性质4、是σ2的无偏估计量。性质5、分别与相互独立，且有：（1）（2）（3）β1＝0成立时，有记：1204、显著性检验样本回归直线中Y

与X

之间线性相关性的显著性检验：统计假设：

H0：β1=0；H1：β1≠0；1）F

检验法2）t

检验法3）r

检验法*1211）F检验法

因是β1的无偏估计量，即：

则H0的拒