概率论与数理统计7.1-7.2.ppt

1,第七章作业题,P192: 1, 2, 3, 4, 6; P196: 1, 2, 3, 5. P209: 1, 3, 4, 6, 7; P214: 2, 5, 7, 9,10.,2,统计推断,3,7.1 求点估计的方法 7.2 估计量的评价标准 7.3 区间估计,参数估计,Ch7,4,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,参数估计,估计废品率,估计新生儿的平均体重,估计湖中鱼数, ,在参数估计问题中，假定总体分布 形式已知，未知的仅仅是一个或几个 参数.,5,一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种：点估计与区间估计。,6,（假定身高服从正态分布 ）,1.65 1.67 1.68 1.78 1.69,若估计 为1.68，,这是点估计.,这是区间估计.,假如我们要估计某班男生的平均身高.,从该总体选取容量为5的样本, 样本值为,7,8,这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。,其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏评价标准。,涉及两个问题:,9,(一) 矩估计法(简称“矩法”),其基本思想是 用样本矩估计总体矩 .,理论依据:,它是基于一种简单的“替换”思想建立起来的一种估计方法 .,是英国统计学家 K. 皮尔逊 最早提出的 .,大数定律,10,理论依据:,大数定律,11,解:,样本矩,总体矩,数学期望 是一阶 原点矩,例1 设总体X的概率密度为,X1,X2,Xn是取自X的样本,求参数 的矩估计.,解得:,12,13,例3 设总体 XU(a,b)，a,b未知， X1,X2,Xn是取自X 的样本, 求参数 a,b 的矩估计量.,14,例 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为 另外，由于Var(X)=1/2，其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,15,二 最大似然估计法 (最大似然法),Fisher,这个方法常归功于 英国统计学家费希尔(Fisher) .,费希尔在1922年发现了这一方法，并首先研究了这 种方法的一些性质 .,16,最大似然法的基本思想,看一个简单例子：,一只野兔从前方窜过 .,这一枪是谁放的？,某位初学打猎的同学与一位经验丰富的猎人一起外出打猎 .,如果要你估计，,只听一声枪响，野兔应声倒下 .,17,18,最大似然估计原理：,当给定样本X1,X2,Xn时，定义似然函数为：,设X1,X2,Xn是取自总体X的一个样本，样本的联合概率密度(连续型）或联合概率函数(离散型)为 f (x1,x2,xn; ) .,19,似然函数：,极大似然估计法就是用使 达到最 大值的 去估计 .,看作参数 的函数，它可作为 将以多 大可能产生样本值X1,X2,Xn的一种度量 .,20,反映实验结果的可能性大小,(Maximum Likelihood Estimation),21,求最大似然估计的步骤,(1) 做似然函数,离散型：,连续型：,22,(2) 求似然函数的最大值点,a. 列似然方程,b. 先取对数，再列似然方程,某些场合若能断定最大值在内部，并且似然方程只有一解，则其解即为 的 MLE.,？,23,24,L(p)= P (X1=x1,Xn=xn; p ),例设X1,X2,Xn是取自总体 Xb(1, p) 的一个样本，求参数p的极大似然估计.,解：似然函数为:,25,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE .,26,对数似然函数为,例：设X1,X2,Xn是取自总体X的一个样本,求 的最大似然估计.,其中 0,解：设x1,x2,xn为一个样本值,似然函数,Skip,27,求导并令其为0,=0,从中解得,即为 的MLE .,对数似然函数为,28,注1：若总体分布中含有多个未知参数，则可解方程组,29,最大似然法 基本思想 选择一个参数使得实验结果具有最大概率,步 骤,做似然函数 (2)求最大值点,30,7.2 点估计的评价标准,在介绍估计量评选标准之前，我们必须强调指出：,评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量 .,这是因为估计量是样本的函数，是随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计值. 因此一个好的估计，应在多次试验中体现出优良性 .,31,常用的几条标准是：,1无偏性,2有效性,3相合性,这里我们重点介绍前面两个标准 .,32,估计量是r.v，对于不同的样本值会得到不同的估计值 . 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值.,1无偏性,则称 为 的无偏估计量 .,定义：,真值,无偏性是对估计量的一个常见而重要的要求 .,33,特别地，,34,35,所以无偏估计以方差小者为好, 反映了取值“集中”于参数真实值的程度,的大小来决定二者谁更优 .,和,一个参数往往有不止一个无偏估计, 若,和,都是参数 的无偏估计量，,比较,我们可以,36,2有效性: 对同一总体参数的两个无偏点估计量，有更小方差的估计量更有效,37,3相合性：随着样本容量的增大，估计量的值越来越接近被估计的参数,定义：,则称 为 的相合估计量