西安交大西工大 考研备考期末复习 概率论与数理统计 极大似然估计

1、v 本节课的地位和作用本节课的地位和作用统计推断问题统计推断问题参数估计参数估计点点估估计计区间区间估计估计 假设检验假设检验参数参数假设假设检验检验非参数非参数假设假设检验检验v 教学目标教学目标 1 1、了解参数点估计问题及其一般提法；、了解参数点估计问题及其一般提法； 2 2、理解极大似然法的思想；、理解极大似然法的思想； 3 3、掌握极大似然法的步骤，能熟练求解、掌握极大似然法的步骤，能熟练求解 常见分布的参数点估计问题；常见分布的参数点估计问题； 4 4、初步掌握运用参数点估计解决实际问、初步掌握运用参数点估计解决实际问 题的数学建模思路和方法题的数学建模思路和方法思维训练思维训练基

2、本知识能力基本知识能力综合应用能力综合应用能力v 具体设计实现具体设计实现1 1、授课内容编排、授课内容编排简单简单建模建模典型典型举例举例极大似极大似然估计然估计参数点估参数点估计问题计问题引例引例抽象抽象求解求解应用应用提高提高解决解决问题问题2 2、重点和难点、重点和难点重点：参数点估计问题；重点：参数点估计问题； 极大似然法的思想；极大似然法的思想； 极大似然法的应用极大似然法的应用 难点：理解极大似然法思想难点：理解极大似然法思想 灵活运用极大似然法灵活运用极大似然法 3 3、数学建模思想方法的融入、数学建模思想方法的融入 现代工程数学教学的改革思路之一就现代工程数学教学的改革思路之

3、一就是将数学建模的思想和方法融入课堂教是将数学建模的思想和方法融入课堂教学。以达到使学生更完整的认识和把握学。以达到使学生更完整的认识和把握工程数学的应用性特点，这有利于学员工程数学的应用性特点，这有利于学员综合素质的培养。综合素质的培养。 在本节课中，结合在本节课中，结合“捕鱼中的鱼群捕鱼中的鱼群总数估计总数估计”问题，设计了建模环节，恰问题，设计了建模环节，恰如其分的教学生如何创造性的运用所学如其分的教学生如何创造性的运用所学知识解决实际问题。知识解决实际问题。一、参数点估计问题 设总体设总体 X 的分布函数形式已知的分布函数形式已知, 但它的一个但它的一个或多个参数为未知或多个参数为未知

4、, 借助于总体借助于总体 X 的一个样本来的一个样本来估计总体未知参数的值的问题称为估计总体未知参数的值的问题称为点估计问题点估计问题.引例引例1 1 元件无故障的工件时间 具有负指数分布 ，取1000个元件工作时间的记录数据，经分组后，得到它的频数分布为X0,)(xexfx组中值15152535455565频数365245150100704525如果各组数据都取为组中值，试对 的值进行估计。 未知。现在进行五次测量，测量值为引例引例2 2用一台仪器测量某物体的长度，假定测量得到的长度服从正态分布，其中X),(2 N2 ，试估计参数。2 ，53.252.9 53.3 52.8 52.5（单位：

5、mm）点估计问题的一般提法点估计问题的一般提法.,.,);(2121为相应的一个样本值为相应的一个样本值本本的一个样的一个样是是是待估参数是待估参数知知的形式为已的形式为已的分布函数的分布函数设总体设总体nnxxxXXXXxFX .),(),(2121 来估计未知参数来估计未知参数用它的观察值用它的观察值一个适当的统计量一个适当的统计量点估计问题就是要构造点估计问题就是要构造nnxxxXXX.),(21的估计量的估计量称为称为 nXXX.),(21的估计值的估计值称为称为 nxxx 极大似然法的基本思想极大似然法的基本思想在没有其它信息的情况下，我们只能认为在没有其它信息的情况下，我们只能认为

6、在一次实验中发生的事件具有最大的概率。反在一次实验中发生的事件具有最大的概率。反过来，如果能够使事件发生的概率最大化，该过来，如果能够使事件发生的概率最大化，该事件也就最有可能发生。事件也就最有可能发生。 二、二、极大似然估计法极大似然估计法( (MLE) )例例3设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率。p31iiXY1231,;4L x x x642764276496411233,;4L x x x64164964276427根据样本值的具体取值情况来选择未知参数，根据样本值的具体取值情况来选择未知参数，使得样本取到该样本值发生的概率最大

7、！使得样本取到该样本值发生的概率最大！ 引例引例1 1 元件无故障的工件时间 具有负指数分布 ，取1000个元件工作时间的记录数据，经分组后，得到它的频数分布为X0,)(xexfx组中值15152535455565频数365245150100704525如果各组数据都取为组中值，试对 的值进行估计。 属离散型属离散型设总体设总体 X)1(,),;( 为待估参数为待估参数设分布律设分布律xpkXP,21的样本的样本是来自总体是来自总体XXXXn. );(,121 niinxpXXX 的联合分布律为的联合分布律为则则似然函数的定义似然函数的定义)(可能的取值范围可能的取值范围是是其中其中 极大似然

8、法的基本概念极大似然法的基本概念属离散型属离散型设总体设总体 X)1(,),;( 为待估参数为待估参数设分布律设分布律xpkXP niinnxpxXxXxXP12211);(, 极大似然法的基本概念极大似然法的基本概念,),;();,()(121 niinxpxxxLL.)(称为样本似然函数称为样本似然函数 L)(,21 Lxxxn选取使似然函数选取使似然函数时时得到样本值得到样本值,的估计值的估计值作为未知参数作为未知参数取得最大值的取得最大值的 ).;,(max);,(2121 nnxxxLxxxL 即即)(可能的取值范围可能的取值范围是是其中其中 ),(21nXXX . 的最大似然估计量

9、的最大似然估计量参数参数 , 的最大似然估计值的最大似然估计值参数参数 ),(21nxxx ,xxx 21n记为记为有关有关与样本值与样本值这样得到的这样得到的 极大似然法的基本概念极大似然法的基本概念属连续型属连续型设总体设总体 X)2(,),;( 为待估参数为待估参数设概率密度为设概率密度为xf似然函数的定义似然函数的定义)(可能的取值范围可能的取值范围是是其中其中 iniinnxxfxxxXXXd );(),(),(12121 概率近似地为概率近似地为处发生的处发生的的的在点在点则随机点则随机点),;();,()(121 niinxfxxxLL未知。现在进行五次测量，测量值为引例引例2

10、2用一台仪器测量某物体的长度，假定测量得到的长度服从正态分布，其中X),(2 N2 ，试估计参数。2 ，53.252.9 53.3 52.8 52.5（单位：mm）解的概率密度为的概率密度为X,21),;(222)(2 xexp似然函数为,21),(222)(12 ixnieL,)(21ln2)2ln(2),(ln12222 niixnnL 0),(ln0),(ln222 LL令令,0112 niinx ,0)()(21212222 niixn 解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 为为的最大似然估

11、计量分别的最大似然估计量分别和和故故2 ,X .)(1212XXnnii 求求极极大似然估计量的步骤大似然估计量的步骤:; );();,()();();,()( )(121121 niinniinxfxxxLLxpxxxLL或或写出似然函数写出似然函数一一费舍尔费舍尔极大似然估计法是由费舍尔引进的极大似然估计法是由费舍尔引进的.).;,(max);,(2121 nnxxxLxxxL （二）求解（二）求解., 0d)(lnd,d)(lnd )2( 的最大似然估计值的最大似然估计值解方程即得未知参数解方程即得未知参数并令并令求导求导对对 LL., 2 , 1, 0lnkiLi .), 2 , 1(

12、 ,iikik 的最大似然估计值的最大似然估计值数数即可得各未知参即可得各未知参个方程组成的方程组个方程组成的方程组解出由解出由 ; );(ln)(ln);(ln)(ln )1(11 niiniixfLxpL或或取对数取对数的极大似然估计量。的极大似然估计量。求求的一个样本值的一个样本值是来自总体是来自总体上服从均匀分布上服从均匀分布在在设总体设总体 , 021XxxxXn解解的概率密度为的概率密度为X ., 0,0,1);(其他其他 xxf例例4似然函数似然函数 其他其他, 0, 2 , 1,0,1)(nixLin 三、三、应用举例应用举例- -简单数学建模简单数学建模例例5 5( (捕鱼问

13、题中的鱼群总量估计捕鱼问题中的鱼群总量估计) ) 条鱼，捕 条，作上记号后的值。条标有记号。试根Nr)(rsstN设湖中现有放回湖中，一段时间后湖中的鱼混合均匀，再条，其中据这些信息估计湖中鱼数从中捕出假设：假设：问题分析：问题分析：1、对实验背景的分析：在该实验中，我们结合 之前学习过的知识应能看出，再次捕到的鱼 中有记号的个体数目服从超几何分布；2、在该分布中，待估鱼群总数是分布的一个参 数，所以可以考虑用参数点估计办法解决1、再次捕捞前，有记号的鱼已充分混合均匀；2、捕鱼是完全随机的，每条被捕到机会相等.概率的道理，便有：条中有记号的的鱼为模型模型1 1：频率稳定性模型：频率稳定性模型N

14、rstst根据概率的统计定义，湖中有记号鱼的概率，而在捕出的条，有记号的鱼比例是每条鱼被捕到的机会相同，于是利用频率 应为(频率)。由假设，stNrtrsN trsN ，从而故因为待估计量是整数，所以上式取最接近的整数.来近似模型模型2 2：参数点估计模型：参数点估计模型s),min(,rsll210设捕出的 条鱼中带有标记的个数为随机变量，则 服从超几何分布， 取值分布律 sNisrNirCCCiP )(),min(,rslli210sNtsrNtrCCCtPNL)()( (极大似然法求解极大似然法求解) )构造似然函数，即)(NLtsrNsNsNtsrNtsrNtrsNsNtsrNtrCC

15、CCCCCCCCNLNL11111)()()!()!()!()!( !)!( !)!()!()!()!(1111tsrNtsNsNsNsNsNtsrNtsrNNtNsNrNrsNsNrN22下面讨论的极值问题，由NtrsN )()(1NLNL)(NLNtrsN )(NLtrsN 时，是单调递减的；而当rsNt trsN )()(1NLNL)(NL当即，此时关时，此时关于是单调递增的。于是在时，取最大值，故于因为待估计量是整数，所以上式取最接近的整数.1、建模理论依据：超几何分布的概率计算，极 大似然估计。应用参数估计的思想和方法分 析、处理问题。 模型评析模型评析2、应用与推广：本例可推广到一定区域范围内 的生物总数估计等问题。例如，估计一个城 市的人口总数，也可以用同样的方法考