河南理工大学概率论PPT课件

.,1,河南理工大学精品课程概率论与数理统计,统计推断的基本问题,估计问题(ch7),估计问题可分为参数估计与非参数估计。,本章只介绍关于总体参数的点估计与区间估计。,假设检验问题(ch8),第七章参数估计,.,2,河南理工大学精品课程概率论与数理统计,1、点估计,一、点估计问题的提出,数理统计的基本任务就是依据样本推断总体特征.,刻画总体X的某些特征的常数称为参数,其中最常用的参数是总体的数学期望和方差。例如,服从正态分布的总体X就是由参数=E(X),2=D(X)确定的。,在实际问题中,常已知总体X的分布函数的形式,而未知总体X的一个或多个参数。,根据样本提供的信息对总体X的未知参数作出估计，这类问题称为参数估计问题。,.,3,河南理工大学精品课程概率论与数理统计,参数估计通常有两种方法:点估计和区间估计。,一、点估计提法,点估计问题提法:设已知总体X的分布函数F(x;)的形式,(参数空间)为需要估计的参数。是来自总体X的一个样本,是其样本值.,根据待估参数的特征构造一个适当的统计量,用其观察值,来估计未知参数.,的估计量,的估计值,今后,不再区分估计量和估计值而统称为的估计,均记为.,.,4,河南理工大学精品课程概率论与数理统计,设已知总体X的可能分布函数族为:,理论根据:样本矩(的连续函数)依概率收敛于总体矩(的连续函数).,其中为待估参数.,二、构造估计量的两种方法,1、矩估计法,矩估计法:用样本矩(函数)来估计总体矩(函数).,.,5,证明,辛钦定理,再根据第五章辛钦定理知,由以上定义得下述结论:,.,6,由第五章关于依概率收敛的序列的性质知,以上结论是下一章所要介绍的矩估计法的理论根据.,.,7,河南理工大学精品课程概率论与数理统计,设总体X的前k阶矩,均存在,而样本矩,其中,矩估计法就是:令总体的前k阶矩分别与样本的对应阶矩相等,即,.,8,河南理工大学精品课程概率论与数理统计,可作为待估参数的估计量(称为矩估计量),其观察值为待估参数的估计值(称为矩估计值).,这是含k个待估参数的联立方程组，其解,.,9,河南理工大学精品课程概率论与数理统计,确定待估参数的个数k,求出总体的前k阶矩;,求矩估计的步骤,解方程(组),写出矩估计量和矩估计值.,因此,会求总体矩,记住样本矩,就可求出待估参数的矩估计量与矩估计值.,.,10,河南理工大学精品课程概率论与数理统计,【例1】设总体X服从a,b上的均匀分布,求未知参数a,b的矩估计量.,解两个待估参数，连续型.,先求总体的一,二阶(原点)矩.,因为XUa,b,所以,由,即,.,11,河南理工大学精品课程概率论与数理统计,解得:,.,12,河南理工大学精品课程概率论与数理统计,【例】求正态总体N(,2)的两个未知参数,2的矩估计量.,解两个待估参数，连续型.,先求总体的一,二阶(原点)矩.,因为XN(,2),所以,由,.,13,河南理工大学精品课程概率论与数理统计,.,即,解得,2的矩估计量分别为:,样本二阶中心矩，非修正样本方差,.,14,河南理工大学精品课程概率论与数理统计,【例】求服从二项分布B(m，p)的总体X未知参数p的矩估计量。,解单参数，离散型.,由,因为所以总体X的一阶矩(期望)为,即,故所求矩估计量为：,.,15,河南理工大学精品课程概率论与数理统计,【例4】已知总体X的概率密度为:,解单参数，连续型.,因为总体一阶矩,其中未知参数0,求的矩估计量.,由,.,16,河南理工大学精品课程概率论与数理统计,故所求矩估计量为：,即,解得:,.,17,河南理工大学精品课程概率论与数理统计,【例5】已知总体X的概率密度为:,解单参数，连续型.,因为总体一阶矩,其中未知参数0,求的矩估计量.,不含，故不能由“样本一阶矩=总体一阶矩”解得所求矩估计，需要继续求二阶矩：,.,18,河南理工大学精品课程概率论与数理统计,由“样本二阶矩=总体二阶矩”得：,于是,所求矩估计量为：,函数定义,.,19,河南理工大学精品课程概率论与数理统计,2、极大似然估计法,一位老猎人与他的徒弟一起打猎,两人同时向一猎物射击,结果该猎物身中一弹,你认为谁打中的可能性最大?,根据经验而断:老猎人打中猎物的可能性最大.,极大似然估计法的思想就是对固定的样本值，选择待估参数的估计值使“样本取样本值”离散型或“样本取值落在样本值附近”连续型的概率最大。,(1、极大似然估计法的思想,.,20,河南理工大学精品课程概率论与数理统计,单参数情形,下面分离散型与连续型总体来讨论.,(2、极大似然估计的求法,设离散型总体X的分布律,形式已知,为待估参数.为来自总体X的样本,为其样本值,则的联合分布律为:,根据总体分布律写出似然函数：换x为xi,.,21,河南理工大学精品课程概率论与数理统计,这正是事件“样本取得样本值”的概率,称之为样本的似然函数,它是待估参数的函数.,极大似然估计法：对固定的样本值,在参数空间中选取使似然函数达到最大的参数值作为参数的估计值(称为极大似然估计值),它为样本值的函数,记为,相应统计量,称为参数的极大似然估计量.,.,22,河南理工大学精品课程概率论与数理统计,设连续型总体X的概率密度,事件“样本取值落在样本值的邻域”的概率近似为,形式已知,为待估参数。来自总体X的样本,为其样本值，则的联合概率密度为:,.,23,河南理工大学精品课程概率论与数理统计,达到最大值,相应的,极大似然估计法：对固定的样本值,在参数空间中选取使上述概率达到最大的参数值作为参数的估计值(称为极大似然估计值)。由于因子,与无关,故也使样本的似然函数,称为参数的极大似然估计量。,.,24,河南理工大学精品课程概率论与数理统计,、在参数的变化范围内求似然函数的最大值点,、依据总体X的分布律或概率密度写出样本的似然函数:,综上可得,求极大似然估计的步骤,即为待估计参数的极大似然估计值;特别,当总体分布律或概率密度关于参数可导时,可通过解似然方程,.,25,河南理工大学精品课程概率论与数理统计,、必要时,参照极大似然估计值写出极大似然估计量.,或与之等价的,来得到待估参数的极大似然估计值(驻点);,.,26,河南理工大学精品课程概率论与数理统计,【例6】求服从二项分布B(m，p)的总体X未知参数p的极大似然估计量。,解单参数，离散型。,所以,样本的似然函数为:,因为总体其分布律为,在f中换x为xi写出连乘积,.,27,河南理工大学精品课程概率论与数理统计,求导得：,四则运算求导法则,.,28,河南理工大学精品课程概率论与数理统计,即,也即,解得极大似然估计值为,.,29,河南理工大学精品课程概率论与数理统计,极大似然估计量为,.,30,河南理工大学精品课程概率论与数理统计,确定待估参数的个数k,求出总体的前k阶矩;,求矩估计的步骤,解方程(组),写出矩估计量和矩估计值.,知识回顾,.,31,求最大似然估计量的步骤:,最大似然估计法是由R.A.Fisher引进的.,.,32,最大似然估计法也适用于分布中含有多个未知参数的情况.此时只需令,对数似然方程组,对数似然方程,.,33,河南理工大学精品课程概率论与数理统计,多参数情形,当总体分布中含有多个待估参数时，可类似于单参数情形来求其极大似然估计，其步骤为：,写出似然函数,求多元似然函数的极大值点；当L关于各参数可导时，可解似然方程组,得各参数的极大似然估计。,.,34,河南理工大学精品课程概率论与数理统计,【例7】求正态总体N(,2)的两个未知参数,2的似然估计量.,解双参数，连续型.,因为XN(,2),所以X总体的概率密度为,设为样本的一个样本值,则似然函数为:,.,35,河南理工大学精品课程概率论与数理统计,从而,取对数得:,由似然方程组,视2为整体,.,36,河南理工大学精品课程概率论与数理统计,解得,2的极大似然估计值为:,从而,2的极大似然估计量为:,.,37,河南理工大学精品课程概率论与数理统计,【例8】设总体X服从a,b上的均匀分布,求未知参数a,b的极大似然估计量.,解双参数，连续型.,因为所以X的概率密度为,设为样本的一个样本值,记,.,38,河南理工大学精品课程概率论与数理统计,由于,所以,似然函数为,对于满足的任意a,b有,.,39,河南理工大学精品课程概率论与数理统计,即,故a,b的极大似然估计值为:,故a,b的极大似然估计量为:,本例直接利用极大似然思想方法来求似然估计.,.,40,河南理工大学精品课程概率论与数理统计,小结矩估计法是由样本矩等于总体矩的方程(组)解出矩估计量,再相应写出矩估计值;而极大似然估计法是由似然方程(组)解出似然估计值，再相应写出似然估计量.,同一个待估参数的矩估计与极大似然估计可能相同如二项总体、正态总体,也可能不同如均匀总体.,.,41,河南理工大学精品课程概率论与数理统计,(3、极大似然估计的不变性,例如,正态总体方差2的极大似然估计为,故标准差(0)的极大似然估计为,定理设是总体X的参数的极大似然估计,函数具有单值反函数,则是的极大似然估计,即,.,42,河南理工大学精品课程概率论与数理统计,【例9】设总体X服从参数为的泊松分布,求PX=0的极大似然估计.,因为,解因为,易求的极大似然估计值与极大似然估计量分别为:,有单值反函数,故由上述定理知:PX=0的极大似然估计为,.,43,河南理工大学精品课程概率论与数理统计,对于同一个参数,用不同方法求出的估计量可能不同.那么,采用哪一个估计量为好呢?用何种标准来评判估计量的优劣?,下面,介绍几个常用标准.,1、无偏性,定义设估计量存在期望,且对任意有,三、估计量的评选标准,则称为的无偏估计量.,.,44,河南理工大学精品课程概率论与数理统计,称为用来估计的系统误差.因此,无偏估计就是说无系统误差.,.,45,河南理工大学精品课程概率论与数理统计,【例10】设总体X存在均值与方差20,则,解因为,1、样本均值是总体均值的无偏估计;,2、样本方差是总体方差2的无偏估计.,.,46,河南理工大学精品课程概率论与数理统计,1、样本均值是总体均值的无偏估计;,2、样本方差是总体方差2的无偏估计.,所以,.,47,河南理工大学精品课程概率论与数理统计,易知：对均值,方差20都存在的总体,方差的估计量,是有偏估计:,无偏化得:,.,48,河南理工大学精品课程概率论与数理统计,可以证明:无论总体X服从何种分布,k阶样本矩是k阶总体矩的无偏估计,即有,因此,一般都是取样本均值作为总体均值的估计量,取样本方差作为总体方差的估计量.,.,49,河南理工大学精品课程概率论与数理统计,是总体均值的无偏估计;并确定常数a,b使D(Y)达到最小.,解因为,【例11】设从存在均值与方差20的总体中,分别抽取容量为n1,n2的两个独立样本,其样本均值分别为.证明:对任意常数a,b,由期望性质得:,.,50,河南理工大学精品课程概率论与数理统计,由无偏性知:Y是的无偏估计量.,由方差性质得:,.,51,河南理工大学精品课程概率论与数理统计,即:,解得当,时D(Y)最小.,由导数应用知:,.,52,河南理工大学精品课程概率论与数理统计,【例12】试证明均匀分布,解因为极大似然估计量为,中未知参数的极大似然估计量不是无偏估计.,而总体分布函数,.,53,河南理工大学精品课程概率论与数理统计,的分布函数为,故其概率密度为,.,54,河南理工大学精品课程概率论与数理统计,从而,不是的无偏估计.,.,55,河南理工大学精品课程概率论与数理统计,2、有效性,则称较为有效.,同一个参数的无偏估计可能有多个,在容量相同情况下,认为取值密集于参数真值附近的估计量较为理想.,由于方差度量随机变量取值与其数学期望的偏离程度,故无偏估计应以方差小者为好.,定义设都是的无偏估计量,若有,.,56,河南理工大学精品课程概率论与数理统计,【例13】设总体X服从参数为的指数分布,解因为,其中0为未知参数,试证:,易知服从参数为/n的指数分布,故,1、和都是的无偏估计;,2、评定的有效性.,所以,是的无偏估计量.,.,57,河南理工大学精品课程概率论与数理统计,所以,也是的无偏估计量.,于是,由于,注意到当n1时:,在实际问题中常常使用无偏性、有效性这两个标准.至于一致性请自学，暂存不议.,故当n1时,较为有效.,.,58,河南理工大学精品课程概率论与数理统计,2、区间估计,在参数估计中,除了求出未知参数的点估计外,常需给出以一定可信度包含参数真值的区间(置信区间),这类问题就是区间估计问题.,一、问题的提出(思想),.,59,河南理工大学精品课程概率论与数理统计,置信区间设总体X的分布函数F(x;)含有一个未知参数.对于给定值(01),若由来自总体X的样本能确定两个统计量,满足：,则称随机区间是的置信度为1-的（双侧）置信区间，分别称为置信下限和置信上限,1-称为置信度.,.,60,关于定义的说明,.,61,河南理工大学精品课程概率论与数理统计,()的意义是:若反复进行多次容量均为n的抽样,则每个样本值都确定一个区间,它或包含的真值,或不包含的真值,按贝努里大数定律可知:在这样多的区间中,包含真值的区间约占100(1-)%,不包含真值的区间约占100%.,例如,=0.01,反复抽样1000次,得到的1000个区间中包含真值的区间约有990个,而不包含真值的区间仅约为10个.,.,62,河南理工大学精品课程概率论与数理统计,求未知参数的置信区间的步骤:,并且Z的分布是已知的且不依赖于及其它任何未知参数;,(2)对于给定的置信度1-,确定两个常数a,b,使,二、置信区间的求法(方法),(1)构造一个仅含未知参数的样本函数(不是统计量):,(3)由,解得与之等价的不等式,.,63,河南理工大学精品课程概率论与数理统计,其中统计量构成的随机区间就是的一个置信度为1-的置信区间.,(4)如果有一个样本值,便可得到一个固定区间,它不是随机区间,仍称之为置信度为1-的置信区间,它属于包含真值的区间的可信程度为100(1-)%,或说该区间包含的可信程度为100(1-)%.,下面,分单正态总体与双正态总体两种情形仅介绍有关正态总体均值和方差的区间估计.,.,64,河南理工大学精品课程概率论与数理统计,设正态总体XN(,2),是来自该正态总体的样本,分别是样本均值和样本方差，给定的置信度为1-.,单正态总体情形,三、正态总体均值与方差的区间估计,1、均值的置信区间,方差2已知,由于是的无偏估计,且故可作随机变量,其分布不依赖于任何未知参数.,.,65,河南理工大学精品课程概率论与数理统计,由标准正态分布的双侧/2分位点概念知:,即,故得到的一个置信度为1-的置信区间,.,66,河南理工大学精品课程概率论与数理统计,例如,=1,n=16,=0.05,1-=0.95,查表得|,则得到一个置信度为95%的置信区间,若有一个样本值，并算得样本均值的观察值为,则得到一个具体区间,它不再是随机区间，但仍称之为置信度为95%的置信区间，其含义为：区间(4.71,5.69)包含的可信度为95%.,.,67,河南理工大学精品课程概率论与数理统计,(3).此处置信区间的长度为,即,(1).区间(4.71,5.69)包含的可信程度为95%;,(2).置信区间不唯一.由于标准正态分布概率密度对称,故一般取对称置信区间,即双侧分位点对称.当然,也可取其它非对称的置信区间,即双侧分位点不对称.显然,长度愈短估计精度愈高;,解得容量,注意,.,68,河南理工大学精品课程概率论与数理统计,方差2未知比方差已知情形更实用,由于是的无偏估计,在上述随机变量Z中“换为S”且由ch6-th2可作随机变量,其分布不依赖于任何未知参数.,由t-分布的双侧/2分位点概念知:,即,.,69,河南理工大学精品课程概率论与数理统计,故得到的一个置信度为1-的置信区间,.,70,河南理工大学精品课程概率论与数理统计,【例1】设某种清漆9个样品的干燥时间(小时)分别为,6.05.75.86.57.06.35.66.15.0,设干燥时间服从正态分布N(,2).在下列条件下求的置信度为0.95的置信区间:,(1)=0.6(小时);(2)未知.P.185:14,(1)因为方差已知,故均值的置信区间为,解单正态总体,置信度为1-=0.95,=0.05.,.,71,河南理工大学精品课程概率论与数理统计,由于,故所求置信区间为,即,(2)因为方差未知,故均值的置信区间为,.,72,河南理工大学精品课程概率论与数理统计,由于,故所求置信区间为,即置信区间为,.,73,河南理工大学精品课程概率论与数理统计,2、方差2的置信区间,只介绍未知情形.,由于是的无偏估计,故可作随机变量,其分布不依赖于任何未知参数.,由2-分布的双侧/2分位点概念知:,已知情形参考.,.,74,河南理工大学精品课程概率论与数理统计,故得到2的一个置信度为1-的置信区间,即,进而可得的一个置信度为1-的置信区间,.,75,河南理工大学精品课程概率论与数理统计,注意2-分布与F-分布概率密度虽不对称,但习惯上仍取面积对称意义上的双侧分位点,以简化计算.当然,这样的置信区间长度并非最短.,.,76,河南理工大学精品课程概率论与数理统计,设总体，样本，由于,其分布不依赖于任何未知参数.,构造随机变量,方差2的置信区间为,.,77,河南理工大学精品课程概率论与数理统计,单正态总体,已知方差,均值置信区间(N(0,1)-分布),未知方差,均值置信区间(t(n-1)-分布),未知均值,方差置信区间(2(n-1)-分布),已知均值,方差置信区间(2(n)-分布),.,78,河南理工大学精品课程概率论与数理统计,【例2】分别使用金球和铂球测定引力常数，,设测定值服从正态分布N(,2),其中,2均未知.就两种情况分别求的置信度为0.9的置信区间,并求2的置信度为0.9的置信区间.,解单正态总体.,方差未知,均值的置信区间t分布.,.,79,河南理工大学精品课程概率论与数理统计,(1)置信度1-=0.9,=0.1,n=6,由样本值计算得：,查表得:,所得置信区间为:,即为:,(2)置信度1-=0.9,=0.1,n=5,由样本值计算得：,查表得:,.,80,河南理工大学精品课程概率论与数理统计,均值未知,方差的置信区间2-分布.,所得置信区间为:,即为:,.,81,河南理工大学精品课程概率论与数理统计,(1)置信度1-=0.9,=0.1,n=6,由样本值计算得：,查表得:,所得置信区间为:,即为:,(2)置信度1-=0.9,=0.1,n=5,由样本值计算得：,查表得:,.,82,河南理工大学精品课程概率论与数理统计,即为:,.,83,河南理工大学精品课程概率论与数理统计,设有两个正态总体,1、均值差1-2的置信区间,双正态总体情形,分别是来自两个正态总体的独立样本，其样本均值与样本方差分别为：,方差均已知,【推导】因为分别是的无偏估计,且,.,84,河南理工大学精品课程概率论与数理统计,从而可得的一个置信度为1-的置信区间为,故是的无偏估计,且有,从而,.,85,河南理工大学精品课程概率论与数理统计,方差均未知,当样本容量都很大时,可用样本方差代替总体方差而得