第58讲 最大似然估计法 (2)

四川大学四川大学 第58讲 最大似然估计法 2 1 概率论与数理统计 主讲主讲 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 3 7 1 7 1 点估计点估计点估计点估计 四川大学四川大学 第58讲 最大似然估计法 2 4 四川大学四川大学 第第第第5858讲讲讲讲最大似然估计法最大似然估计法最大似然估计法最大似然估计法 2 2 四川大学四川大学 第58讲 最大似然估计法 2 5 最大似然估计法可以推广到有多个未知参数的情形最大似然估计法可以推广到有多个未知参数的情形 设总体设总体 X 的分布含有的分布含有 k 个未知参数个未知参数 设设 x1 x2 xn是来自总体是来自总体 X 的样本观测值的样本观测值 相应的似然函数为相应的似然函数为 k 元函数元函数 12 k 11 1 n kik i LLf x 为求这个函数的最大值点为求这个函数的最大值点 需先求函数的需先求函数的驻点驻点 即各个偏导数同时为零的点即各个偏导数同时为零的点 ln 00 1 ii LL ik 或 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 6 11 1 n kik i LLf x 为求这个函数的最大值点为求这个函数的最大值点 需先求函数的需先求函数的驻点驻点 即各个偏导数同时为零的点即各个偏导数同时为零的点 ln 00 1 ii LL ik 或 解出解出 1 k 它们分别是未知参数它们分别是未知参数的最大似然估计量的最大似然估计量 1 k 似然函数为似然函数为 k 元函数元函数 不要求判断是否为最大值点不要求判断是否为最大值点 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 7 例例5 设总体设总体 X N 2 和和 2 未知 未知 x1 x2 xn是来自总体是来自总体 X 的一个样本值的一个样本值 求求 和和 2的最大似然估计量 的最大似然估计量 解解 X 的概率密度的概率密度 2 2 2 2 1 2 x f xe 相应的似然函数相应的似然函数 2 L 2 1 n i i f x 2 2 2 1 1 2 i x n i e 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 8 似然函数似然函数 2 L 2 2 2 1 1 2 i x n i e 2 2 2 12 22 1 2 i x n nn i e 求二元函数求二元函数L的驻点的驻点 2 ln L 2 2 2 1 ln 2 ln 222 n i i xnn ln L 2 1 n i i x 2 ln L 2 22 2 1 22 n i i xn 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 9 求二元函数求二元函数L的驻点的驻点 ln L 2 1 n i i x 2 ln L 2 22 2 1 22 n i i xn 0 2 1 1 n i i xn 1 1 n i x n 0 2 2 1 n i i x n 22 1 1 n i i x n 22 1 1 n i i xx n 2 b 样本均值样本均值 样本二阶样本二阶 中心矩中心矩 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 10 1 1 n i i x n x 22 1 1 n i i xx n 2 b 样本均值样本均值 样本二阶中心矩样本二阶中心矩 1 1 n i i X n 2 1 1 n i i XX n 2 X 2 B 于是于是 和和 2的最大似然估计量分别是 的最大似然估计量分别是 样本均值样本均值 样本二阶样本二阶 中心矩中心矩 这与上一节这与上一节 讲的讲的矩估计矩估计 量量相同相同 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 11 例例6 设总体设总体 X U a b a 和和 b未知未知 x1 x2 xn是来自总体是来自总体 X 的一个样本值的一个样本值 求求 a 和和 b 的最大似然估计量的最大似然估计量 解解 X 的概率密度的概率密度1 0 axb f x a bba 其他 相应的似然函数相应的似然函数 1 1 0 n n i i baL a bf x a b i axb 其他其他 1 2 in 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 12 要使要使L a b 最大最大 只要只要b a最小最小 但但 相应的似然函数相应的似然函数 1 1 0 n n i i baL a bf x a b i axb 其他其他 1 2 in i axb 1 1 min i i n axx 1 max in i n bxx a 和和b 的最大似然估计量分别是的最大似然估计量分别是 1 1 min i i n axx 1 max in i n bxx 求偏导数得不到驻点求偏导数得不到驻点 1 0 n L n ba a 四川大学四川大学四川大学四川大学 四川大学四川大学 1 2 in 四川大学四川大学 第58讲 最大似然估计法 2 13 则则 a 和和b 的最大似然估计量分别是的最大似然估计量分别是 1 1 min i i n axx 1 max in in bxx 若若 X U a b 即我们用样本的最小值和最大值来作为区即我们用样本的最小值和最大值来作为区 间间 a b 的两个端点的的两个端点的最大似然估计值最大似然估计值 这与上一节讲的这与上一节讲的矩估计值矩估计值不一样不一样 2 1 3 n i i aXXX n 2 1 3 n i i bXXX n 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 14 0 56 0 56 0 40 0 40 0 70 0 70 0 56 0 56 0 46 0 46 0 27 0 27 0 50 0 50 0 05 0 05 0 49 0 49 0 90 0 90 0 1123a 0 8657b 0 1123 0 8657 a b 若有样本观察值若有样本观察值 则则 a 和和 b 的的矩估计值矩估计值为为 第第56讲讲 a 和和 b 的的最大似然估计值最大似然估计值为为 0 05a 0 90b 0 05 0 90 ab 没有包含所有样本值没有包含所有样本值 包含了所有样本值包含了所有样本值 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 15 例例7 设总体设总体 X 有概率密度有概率密度 其中其中 0 和和 是未知参数是未知参数 求求 和和 的矩估计量和最大似然估计量的矩估计量和最大似然估计量 1 0 x ex f x x 解解先求矩估计量先求矩估计量 1 E X xf xdx 1 x xedx 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 16 解解先求矩估计量先求矩估计量 1 E X xf xdx 1 x xedx 0 1 t tedt x t xt 0 t e dt 0 t te dt 1 2 1 0 st ste dt 1 nn 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 17 1 E X xf xdx 2 1 x xedx 2 0 1 t tedt x t xt 2 0 t e dt 22 1 2 2 3 2 2 E X 2 x f xdx 0 2 t te dt 22 0 t t e dt 1 0 st ste dt 1 nn 22 22 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 18 1 E X 2 2 E X 22 22 22 22 1 2 21 1 2 121 最后用样本一阶矩最后用样本一阶矩 A1 样本均值样本均值 和样本二阶矩和样本二阶矩 A2分别代替总体一阶矩分别代替总体一阶矩 1和总体二阶矩和总体二阶矩 2 得得 和和 的矩估计量的矩估计量 2 2 AX 2 2 XAX 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 19 最后用样本一阶矩最后用样本一阶矩 A1 样本均值样本均值 和样本二阶矩和样本二阶矩 A2分别代替总体一阶矩分别代替总体一阶矩 1和总体二阶矩和总体二阶矩 2 得得 和和 的矩估计量的矩估计量 22 212 1 1 n i i AAXXB n 2 B 2 1 1 n i i XX n 2 2 XAX 2 1 1 n i i XXX n 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 20 设总体设总体 X 有概率密度有概率密度 其中其中 0 和和 是未知参数是未知参数 求求 和和 的的最大似然估计量最大似然估计量 1 0 x ex f x x 设设 x1 x2 xn是来自总体是来自总体 X 的一个样本值的一个样本值 似然函数为似然函数为 1 1 i x n i Le 1 2 i xin 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 21 似然函数为似然函数为 1 1 i x n i Le 1 2 i xin 1 ln ln n i i x L 1 1 ln n i i nxn 求驻点求驻点 ln L 2 1 1 n i i n xn 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 22 ln L 1 1 ln n i i nxn 求驻点求驻点 ln L n 0 无驻点无驻点 ln L 2 1 1 n i i n xn 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 23 ln L n 0 无驻点无驻点 ln L L 或或关于关于 为增函数为增函数 1 2 i xin 因为因为 1 min n xx 的最大似然估计值为的最大似然估计值为 1 min i i n x 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 24 再由再由 ln L 0 得得 1 1 n i i xn n 2 1 1 n i i n xn 1 min i i n x 1 1 n i i x n x 的最大似然估计值为的最大似然估计值为 x 1 min i i n xx 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 25 1 min i i n 1 min i i n xx 1 min i i n X 和和 的最大似然估计的最大似然估计量量为为 1 min i i n XX 和和 的最大似然估计的最大似然估计值值为为 2 1 1 n i i XX n 2 1 1 n i i XXX n 比较比较 和和 的的矩估计量矩估计量 2 B 2 XB 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 26 四川大学四川大学四川大学四川大学 1 min i in x 1 min i i n xx 和和 的的最大似然估计值最大似然估计值 2 b 2 xb 和和 的的矩估计值矩估计值 给一组给一组 样本值样本值 1 43 4 24 2 43 3 24 1 87 2 56 1 12 1 23 2 34 5 23 1 34 1 23 1 2350 1 1200 1 2526 1 1024 2 3550 x 2 1 5690b 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 27 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 28 最大似然估计的不变性最大似然估计的不变性 最大似然估计具有以下性质最大似然估计具有以下性质 设设 的函数的函数 uu 具有反函数具有反函数 若若是是X 的概率分布中参数的概率分布中参数 的最大似然估计的最大似然估计 则则是参数是参数 u 的最大似然估计的最大似然估计 uu 四川大学四川大学四川大学四川大学 四川大学四川大学 uu 即即 四川大学四川大学 第58讲 最大似然估计法 2 29 例如例如 由例由例5 正态总体正态总体 X 的方差的方差 2 的最大的最大 似然估计为似然估计为 2 1 1 n i i XX n 2 2 B 函数函数 2 u 有反函数有反函数 22 0 uu 由上述不变性质由上述不变性质 标准差标准差u 的最大似然估计为的最大似然估计为 2 2 1 1 n i i XX n 2 B 四川大学四川大学四川大学四川大学 四川大学四川大学 四川大学四川大学 第58讲 最大似然估计法 2 30 例例8 设总体设总体 X 的概率密度为的概率密度为 其中其中 是未知参数是未知参数 X1 X2 Xn是来自总体是来自总体 X 的样本的样本 求参数求参数 u e 1 的最大似然估计值的最大似然估计值 1 0