ch2-5最大似然估计的性质2

第二章多元正态分布及其参数估计2.6最大似然估计的性质,多元正态分布的参数估计,多元正态总体样本的数字特征和的最大似然估计最大似然估计的性质参数函数的最大似然估计,最大似然估计的性质,无偏性有效性相合性其他,无偏性,设总体具有分布（或密度），未知参数为总体的简单随机样本，且有为的实向量函数，是待估参数，其中,统计量,统计量就是样本的函数，其中不包括任何未知参数。估计量必须是统计量。,无偏性的定义,设是的估计量，若对于均有则称为的无偏估计（UnbiasedEstimate）,或者说估计量具有无偏性；否则称为有偏估计。,无偏性,对于的任一向量值函数，无偏估计不一定存在，若有无偏估计，称为可估函数，它的所有无偏估计统称为无偏估计类。,无偏性,无偏性,已知其中独立同分布,是的无偏估计，但不是的无偏估计,才是的无偏估计，称为修正样本协方差阵。,无偏性,最大似然估计具有不变性，无偏估计不具有不变性。,最优无偏估计,定义：设为可估函数，为它的无偏估计，若对于的任一无偏估计，对，均有即具有最小的自协方差阵，则称为的最优无偏估计（BUE）。,最优无偏估计,设为维随机向量，则的充分必要条件为，都有,证明：,最优无偏估计,是的BUE，是的BUE，且也是的BUE。,有效性,则称比更有效.,有效性,是的最优无偏估计，是的最优无偏估计，也就是有效估计量。,相合性（或一致性）,设总体具有分布（或密度），未知参数为总体的简单随机样本，且有为的实向量函数，是待估参数，其中,相合性（或一致性）,定义：,设是的估计量，若对于均有则称是弱相合。若对于均有则称是强相合。,相合性（或一致性）,是的强相合估计，是的强相合估计。,由Kolmogorov强大数定律知，,已知其中独立同分布,再由强大数定律知，,定理3（柯尔莫哥洛夫强大数定律）设,是定义在概率空间(,F,P)上的独立同分布随机变量序列，E,.记,则,(a.s.).(2)事实上,定理3的逆也成立:如果存在常数,使得(2)式成立,那么,的数学期望存在且等于,.,柯尔莫哥洛夫强大数定律,柯尔莫哥洛夫强大数定律,充分统计量,定义：设相互独立，其密度函数为是统计量。若给定时，的条件分布与参数无关，则称为的充分统计量。,充分统计量,定义：设相互独立，其密度函数为是统计量。若给定时，的条件分布与参数无关，则称为的充分统计量。,充分统计量,例子：设总体服从参数为的01分布，为其随机样本，为未知参数。取当给定时，取值的条件概率为,Neyman-Fisher因子判别法则,统计量为的充分统计量当且仅当的联合密度可分解为两因式乘积：其中，为非负函数，且与无关，仅通过与样本相联系。,充分统计量,是的充分统计量，是的充分统计量。,参数函数的最大似然估计,参数是似然函数。设是到的Borel可测映射。对任何，令称为函数诱导出的似然函数。,参数函数的最大似然估计,若满足则称是的最大似然估计。,参数函数的最大似然估计,定理：若是的最大似然估计，则是的最大似然估计。,证明：任给因，所以,参数函数的最大似然估计,由参数的最大似然估计来导出参数函数的最大似然估计为。,参数函数的最大似然估计,设维正态随机向量，的相关系数为求的最大似然估计。,的最大似然估计为，其中，,的最大似然估计为,参数函数的最大似然估计,参数函数的最大似然估计,设为其随机样本，相应地将其样本均值及样本离差阵分块为,参数函数的最大似然估计,则有1.的分量的MLE是，的MLE是回归系数矩阵的MLE是