重庆大学研究生数理统计总复习.ppt

数理统计,概率论基本知识点,重庆大学数统学院李寒宇hyli24078395113594230969,5、概率的运算性质：1）不可能事件概率为零，即：；,2）有限可加性：互斥,3）设A为任一随机事件，则：；,4）设A，B为任意两个随机事件，则：当时，；,5）单调性：若，则；,6）；,1、分布函数：定义：设X为随机变量，为任意实数，称函数R为随机变量X的分布函数。,性质：1）单调不减性：即当时，有；2）；3）是右连续函数，即对于任意的x，有；,2、分布列：定义：设随机变量X的所有可能取值为且则称此数列为离散型随机变量的分布列。,性质1：,性质2：,性质3：,分布列与分布函数之间的关系,3、密度函数：定义：如果存在一个非负可积函数，对任意实数x，有则称X为连续型随机变量，称为X的分布密度或密度函数。,性质1：性质2：性质3：,4、常见分布：二项分布：X的分布律：,线性可加性：若，且相互独立，则：,2）Poisson分布XP()：,4）均匀分布XUa,b：,5）指数分布X()：,6）正态分布XN(,)：,2,正态分布密度函数曲线,6.1）标准正态分布XN(0,1)：,1、二维随机变量及其推广：,四、二维随机变量,1）二维随机变量的分布函数：,2）二维离散型随机变量的联合分布列：,显然：,称：,为X的边缘分布列；,为Y的边缘分布列；,3）二维连续型随机变量的联合密度函数：,为X的边缘密度函数；,为Y的边缘密度函数；,4）二维随机变量的独立性：,若对于任意的x,y，满足如下关系：,则可称随机变量X与Y相互独立。,判断独立性：,五、随机变量的数字特征：,1、一维随机变量的数学期望：,设离散型随机变量X的分布列为：,如果级数收敛，则称级数：,为离散型随机变量X的数学期望。,函数变换的数学期望：,设连续型随机变量X的密度函数为,若收敛，则称：,为连续型随机变量X的数学期望。,X是离散型:X是连续型,其密度函数是:一般用如下公式:,2、方差:,3、数学期望和方差的性质：,1）c为常数，则，；,2），,3），,4）若X与Y独立，则：,常用分布的数字特征,4、二维随机变量的数学期望：（EX，EY）,离散型,连续型,一般地,协方差、相关系数和矩：,（1）X和Y协方差：,协方差和相关系数的性质:,（2）X和Y相关系数：,（3）矩:,称为X的k阶原点矩；,称为X的k阶中心矩；,称为X,Y的k+l阶原点矩；,称为X,Y的k+l阶中心混合矩；,数理统计,统计概念,重庆大学数统学院李寒宇hyli24078395113594230969,6、样本分布的计算,1)、设总体X的分布函数为,X1,Xn是来自总体X的样本，则该样本的联合分布函数为：,2)、若总体X是连续型随机变量，且具有密度函数,则样本（X1,Xn）的联合密度函数为，也称为概率分布。,3)、当总体X是离散型随机变量，且具有分布列时，,记：,*故任意样本(X1,Xn)的概率分布统一为：,则样本（X1,Xn）的联合密度函数也为：,1）定义：设X1,Xn为总体X的一个样本，为关于n维变量的连续函数，且该函数中不含任何未知参数(取定值时)，则称为统计量，很明显，统计量是一个随机变量。,7、统计量,2）常用的统计量：,样本均值：,样本方差：,样本k阶原点矩：,样本k阶中心矩：,样本标准差：,显然：,3）样本均值有如下性质：,(1):,(2):若总体的均值、方差存在，且，则,(3):当n时，。,4）样本方差S2的性质：,(1)如果存在，则：,(2)对任意实数a，有：,三、顺序统计量、经验分布函数和直方图,定义：设(X1,Xn)为总体X的样本，是样本观测值，将样本值从小到大排列：。定义随机变量的取值为，则称为的顺序统计量，且称为最小统计量，为最大统计量。,1、顺序统计量,第k个顺序统计量,设是总体X的分布函数，为总体X的密度函数，则：,2、最小最大统计量的分布：,1)最大统计量的分布为：,2)最小统计量的分布为：,3、经验分布函数：,定义：设为总体X的样本的观测值，将这些值按大小排序为：，并对任意实数x，记,则称为总体X的经验分布函数。,思想：利用样本中样品的频率估计总体的概率,描述连续性随机变量的密度函数曲线，当样本容量较大（n85）时，能够很好的近似总体的密度函数曲线。,4、直方图：,直方图方法步骤：,直方图方法步骤：,直方图结果：,2、正态总体下一些几个重要的抽样分布,1）卡方分布：定义：设为n个独立同分布于的随机变量，记，则称服从参数为n的卡方分布，记为：,四、抽样分布,(4)性质：,设，则，；,线性可加性：设，且随机变量和相互独立，则：；,设，则；,(3)密度函数曲线:,2）t分布：,(1)定义：设，且X，Y相互独立，记：，则称T服从自由度为n的t分布，记为：。,(4)性质：,当n1时,ET0,密度函数曲线关于y轴对称。,当n2时,。,当n=1时,密度函数:,当n时,。即当n充分大时(45)，随机变量T近似服从标准正态分布。,(3)密度函数曲线：,(1)定义：设，且X与Y相互独立，记：，则称F服从自由度为m与n的F分布，记为：,3）F分布：,(4)性质：,当时，则；,当，则；,(3)密度函数曲线：,例4、设独立同分布于，令,，,求：1)参数a,b,使服从分布，并求其自由度；,2)参数c,使服从t分布，并求其自由度；,3)参数d，使得服从F分布，并求其自由度；,3、抽样分布定理：,定理1设总体，X1,Xn为总体X的样本，分别为样本均值和样本方差，则：,1），；,2）；,3）相互独立。,推论1：设来自于正态总体，则：,推论2：设X1,Xmmm，Y1,Yn分别来自正态总体和，并且两组样本相互独立，则：,正态总体为基础,4、分位数,定义：设X为一随机变量，分布函数为F(x)，给定概率p，存在，使得满足:称为p-分位数。,设X的密度函数为f(x)，如图所示，分位数表示刻度以左的一块阴影面积为p。,常见的分位数：,1、标准正态分布：u-分位数，记为；,性质：,u-分位数查表,2、t分布：t-分位数，记为；,性质：,当n45时，；,3、分布：-分位数，记为；,4、F分布：F-分位数，记为；,性质：,1）当n45时，；,2）.,3）,数理统计,参数估计,重庆大学数统学院李寒宇hyli24078395113594230969,原理:样本的k阶原点距去估计相应总体的k阶原点距.定理：在n时，有：即：样本k阶原点矩依概率p收敛于总体k阶原点矩。,二、矩估计法,总体X具有密度函数，其中参数未知。如果总体的k阶矩E(Xk)存在，计算公式为：显然E(Xk)是参数的函数，记为。这样就构建了关于的方程,求解获得估计值.,总体的k阶原点矩E(Xk)存在,设X1,Xn是来自总体X的样本，则样本k阶原点矩Mk易求。,矩估计方法的步骤：(1)求出未知参数与总体矩的关系式：,(2)当n充分大时，令：,(3)求解以上m个方程组得到的解，记为：,称为1,n的矩估计值。观测值换成样本即为矩估计量.,通常情况，由于总体分布的参数不超过两个,参数和2的矩估计量：,记=E(X),2=DX(它们是未知的),因为：E(X2)=DX+E2X=2+2,实用中常用S2估计2,1）基本思想：使样本获得最大概率的参数值作为总体未知参数的估计值。,2）对离散型总体X：概率分布,样本(X1,Xn)在处的概率为：,最大似然估计量,分布列,极大似然估计,3）对连续型总体：样本(X1,Xn)在处的概率为：,其大小与无关。,令：,称为似然函数。,原理：寻找使得：,称为极大似然估计量。,密度函数,(2)求解，得极大似然函数估计量。,4）极大似然估计法的步骤：,(1)求似然函数；,对极值问题：,利用极值原理令：,，,，,称方程组为似然方程组。,为了计算方便，似然方程组可改写为：,，,，,称之为参数1,n的极大似然估计量。,附注：方程组无解时需回归似然函数或求数值解.,1、无偏性：定义：设是参数的一个估计量，若对任意的，有，则称是参数的无偏估计量。,四、点估计的优良准则,2、最小方差无偏性定义1：设和都是未知参数的无偏估计量，并且对任意的满足：，则称比有效。,（有效性）,定义2：如果存在一个的无偏估计量，使得对的任意无偏估计量T，当时，有，则称T*为的一致最小方差无偏估计量。(UMVUE）,2）存在并且可以在的积分号下对求偏导数,g()存在，则对任意:,定理1(Cramer-Rao不等式)：设总体X的概率分布或密度函数为，其中为未知参数,X1,Xn为总体X的样本，为g()的无偏估计量，且满足如下条件：,1）集合与参数无关；,其中：称为方差下界（或C-R下界）,I()称为Fisher信息量。,注:,1.,2.,方差达到C-R下界的无偏估计称为有效估计。,定理2：在定理1的条件下有：1）为的有效估计量的充要条件是可化为形式，即：,其中与似然函数形式上完全一样，只是将似然函数中的小写字符改写成大写字符Xi。仅是的函数，并且为的无偏估计量。,有效估计一致最小方差无偏估计无偏估计.,2）C()和I()之间的关系：,C()和D(T)之间的关系：,3）的有效估计量是唯一的；,4）的有效估计量一定是的唯一极大似然估计量。,三.相合性(一致性).,定义对任给的满足:,定理,因：是最小方差无偏估计量,2、单个正态总体的期望和方差的区间估计,1)的区间估计,目的：求给定置信度为1-时的置信区间。,故存在常数c，使得：,即：,由置信度1-与分布确定常数c，可得的区间估计.,五、区间估计,（1）当2已知时：,因：,给定1-，有：,即：,即的置信度为1-的置信区间为：,（2）当2未知时：,因：,给定1-，与2已知相同，将u分位数变为t分位数即可，故：,的置信度为1-的置信区间为：,2）2的区间估计,目的：参数为未知时2的置信区间。,因：S2是2的最优无偏估计量，故存在k1,k2(k11k2)，使得：,，从而,故：2的置信区间应为，其中参数由置信度1-和总体X的分布确定。,当1-给定，且，由定义知：,即：,令：,故：,故置信区间为：,一般置信区间的求解步骤:,保证分布易求,3、两个正态总体的区间估计：,假设总体,(X1,Xn)是X的样本，总体,(Y1,Ym)是Y的样本。,1)两个正态总体均值差的区间估计：,因：是1-2的最小方差无偏估计量，故：则：1-2置信区间形式为：,当已知时：1-2的置信度为1-的置信区间为：,(2)当未知时：当n30,m30时，1-2的置信度为1-的置信区间为：,当n,m较小时，设，则：,所以:1-2的置信度为1-的置信区间为:,其中：,则有：,当n,m较小时，查阅。,2)两个正态总体方差比的置信区间：,当未知时，,设：,，即：,又因：,，,得：,所以：,令：,，,得：,的置信度为1-的置信区间：,当已知时，,三.非正态总体情况,一般难以计算,但样本容量较大时,可以化为正态总体情况处理.以下讨论0-1分布的参数p的置信区间.此处假定n30,XB(1,p),用样本均值估计p,数理统计,假设检验,重庆大学数统学院李寒宇hyli24078395113594230969,首先对总体的某信息作出假设,先假设原假设成立,备择假设,原假设,某种信息，如未知参数的最优估计量与参数的差别不会太大,应很小,假设原假设成立,也应很小,所以,0,0,很大就是一个小概率事件,若发生了，自然有理由相信原假设不成立；否则，不能否定原假设，只能接受,基本思想,在区域,的概率,即原假设成立时拒绝原假设的概率,假设检验的基本步骤：,1）提出原假设H0与备择假设H1；2）分析并提出原假设H0的拒绝（否定）域的形式K0；3）给出显著性水平，确定拒绝域K0；4）作出是否拒绝H0的判断。,充分理由才能否定的作为原假设,未知参数的最优估计量与参数的差别不会太大,二、参数假设检验,1、单个正态总体参数的假设检验：设X1,Xn是来自总体XN(,2)的样本.,1)的假设检验,关于的各种统计假设形式：H0:0；H1:0；H0:0；H1:0；H0:0；H1:0；H0:0；H1:0；H0:0；H1:0；,2)2的假设检验,关于2的各种统计假设形式：H0:202；H1:202；H0:202；H1:202；H0:202；H1:202；H0:202；H1:22；H0:12；H1:12；H0:12；H1:12；H0:12；H1:12；,其中：,H0:1222；H1:1222；H0:1222；H1:1222；H0:1222；H1:1222；H0:1222；H1:12yi个数n+;xiyi个数n-,n+n-=n,不能太小,拒绝域,检验方法：符号检验法,情形2:m,n且xi,yi无要求,13:05:06,秩和检验法,13:05:06,112,数理统计,回归分析,重庆大学数统学院李寒宇hyli24078395113594230969,113,二、一元线性回归,1、回归模型：,设为观测值，满足模型,回归函数,13:05:06,任务：估计、检验未知参数,114,找：,最小二乘法,13:05:06,尽可能小,尽可能小,尽可能小,115,得：,13:05:06,13:05:06,116,117,性质1:残差和为零，即；,性质2:在样本回归直线上，即,且：,3、样本回归直线和参数估计量的性质,118,性质3,119,性质4、,是2的无偏估计量。,性质5、分别与相互独立，且有：,（1）,（2）,（3）10成立时，有,记：,120,4、显著性检验,样本回归直线中Y与X之间线性相关性的显著性检验：,统计假设：H0：1=0；H1：10；,1）F检验法2）t检验法3）r检验法,13:05:06,121,1）F检验法,因是1的无偏估计量，即：,则H0的拒绝域为：,则：,又：,13:05:06,122,2）t检验法,则H0的拒绝域为：,故拒绝域为：,13:05:06,123,3）r检验法,13:05:06,故拒绝域为：,124,1）点预测：,预测值。,回归方程:,13:05:06,预测与控制,2）区间预测：,y0的置信度为1-的的置信区间,13:05:06,125,126,13:05:06,127,Y0的区间预测,13:05:06,128,特别地：,当样本容量n很大，且在附近时，有：,则：,Y0的预测区间为：,13:05:06,129,130,13:05:06,当样本容量n很大，且在附近时，令：,数理统计,方差分析,重庆大学数统学院李寒宇hyli24078395113594230969,试验指标：试验中所观测到的试验结果。,涉及的概念：,因素：试验中需要考察的、可以控制的条件,水平：因素所处的不同状态,影响某农作物亩产量的因素：品种、施肥