《矩估计的基本步骤》PPT课件.ppt

矩估计的基本步骤,设待估计的参数为,设总体的r阶矩(r=1, 2, k)存在，且,(1) 先找总体矩与参数之间的关系,样本 X1, X2, Xn 的 r阶矩为,令,(2) 用样本矩替换总体矩, 得到关于估计量的方程(组)., 含 的方程组.,(3) 解方程组, 得到k个参数的矩估计量,代入一组样本值得 k 个数:, X1, X2 , , Xn 是独立同分布的, X1k, X2k, , Xnk 也是独立同分布的. 于是有 E(X1k)=E(X2k)=E(Xnk)= E(Xk)=k . 根据辛钦大数定律, 样本k阶矩Ak依概率收敛于总体k阶矩k ,即,矩估计法的理论依据: 大数定律,再由依概率收敛的性质知, 样本k阶矩的函数依概率收敛于总体k阶矩的函数. (函数连续),最大似然估计法的思想源于德国数学家高斯(Gauss)在1821年提出的误差理论 . 然而，这个方法常归功于英国统计学家费歇尔(R.A.Fisher) .他在1922年将该方法作为估计方法提出，并首先研究了这种方法的一些性质 .,2. 最大似然估计 (Maximum Likelihood Estimate),Gauss,Fisher,最大似然估计法的基本思想,引例：某位同学与一位猎人一起外出打猎 .一只野兔从前方窜过 .只听一声枪响，野兔应声倒下 .,如果要你推测，是谁打中的, 你会如何想呢?,只发一枪便打中, 猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的可能性很大.,思想：一次试验就出现的事件有较大的概率.,例5 设总体 X 服从0-1分布, 且P X = 1 = p (0p1), 设 x1, x2, xn为总体样本 X1, X2, Xn的样本值, 用最大似然法的思想求 p 的估计值.,解,总体 X 的概率分布为,则,对于不同的 p , L (p)不同,在容许范围内选择 p ，使L(p)最大.,注意到，ln L(p)是 L 的单调增函数, 故若某个p 使 ln L(p)最大, 则这个p 必使L(p)最大.,似然函数的定义,(1) 离散型总体参数的最大似然估计,最大似然估计法,(2) 连续型总体参数的最大似然估计,似然函数的定义,【注】最大似然估计法是在总体分布类型已知条件下 使用的一种参数估计方法 .,解,例6,【注】 这一估计量与矩估计量是相同的.,求最大似然估计的基本步骤,对数似然方程,(在可微的情况下),最大似然估计法也适用于分布中含有多个未知参数的情况. 此时只需令,对数似然方程组,例7,【结论】正态总体的两个参数的最大似然估计与相应的矩估计相同.,(解析见教材P155.),【注】同一个未知参数的矩估计量和最大似然估计量不一定一样(如正态分布的完全一样, 而均匀分布的就不一样).,例9 设总体X的分布律为 其中 为未知参数. 今对X进行观测，得如下样本值 0，1，2，0，2，1. 求 的最大似然估计值.,解析,例10 设(1/2, 1/3, 2/3 )是总体X的一个样本的观测值 其中 0为未知参数. 求 的最大似然估计值.,解析,最大似然估计的性质,该性质也称作最大似然估计的不变性.,若 是未知参数 的最大似然估计， g()是的严格单调函数，则g()的最大似然估计为g( ).,得a的最大似然估计量和估计值分别为,【评注】求总体分布中的未知参数的最大似然估计, 必须知道总体的分布, 从而写出样本似然函数(或对数似然函数), 并求其最大值点是解题的关键.,另外, 最大似然估计也可能不存在, 也可能不唯一.,优点: 充分利用总体分布的信息, 克服了矩估计法的某些不足.,作业: P173 习题 2, 3, 4(1), 6, 7, 8(1).,从前一节可以看到, 对于同一个参数, 用不同的估计方法求出的估计量可能不相同. 很明显, 原则上任何统计量都可以作为未知参数的估计量.,问题,(1) 对于同一个参数究竟采用哪一个估计量好?,(2) 评价估计量的标准是什么?,7.3 估计量的评选标准,例1,证,特别的,证,(这种方法称为无偏化).,例3,证,由以上两例可知, 一个参数可以有不同的无偏估计量.,答: 不一定. 例如:,样本均值 是总体均值 的无偏估计, 但 不是 的无偏估计.,即,由于方差是随机变量取值与其数学期望的偏离程度, 所以无偏估计以方差小者为好.,证,【注】,例如,定义,关于相合性的几点说明,相合性是对估计量的一个基本要求, 不具备相合性的估计量是不予以考虑的.,矩估计量具有相合性, 而最大似然估计量在一定条件下也具有相合性.,估计量的相合性只有当样本容量相当大时,才能显示出优越性, 这在实际中往往难以做到,因此,在实际中往往使用无偏性