参数估计理论

1、 N参数估计理论的主要研究内容：（1）估计子是如何接近真实参数 的?(接近度评价)（2）参数估计方法n估计子的定义11,()(,)NpNNxxNppNN 映射已知 个数据估计真实参数即 维样本空间维参数空间（ 维）小样本性能 个数据得到的估计子性能 ：计算机仿真大样本性能 渐近性能：理论分析*11*21( )( ) ()( ):1 ( )()( )1 ( )()( ) () ( () : xN knN knNNNNx nR kE x nk x nR kx nk x nNkR kx nk x nNbEE的自相关函数两个估计子 具有相关函数矩阵的 半正定性估计误差 随机变量，不便使用） 偏差 （固

2、定量，有用） 无偏估计0 NE 12N ( )( ) ( )( ) (): lim xxNE R kR xNkE R kR xNE两个估计子的性能：无偏估计有偏估计 渐近无偏估计渐近无偏估计无偏估计一定是渐近无偏估计，反之一般不成立“好”的估计：应该是渐近无偏估计n两个无偏估计(或其中一个渐进无偏估计)的性能比较：22222221212:()() : () ()() () () 2 () ()()()()(), NNNNNNNNNNNNNNNNVarEEMEEEEEEEEEEEVarbVarVar估计方差 均方误差无偏估计的评价：若则称比好有偏221212()(), :MM估计的评价：若则称优

3、于注 比较估计子性能时，用均方误差比只用方差或偏差更合理111,( |)( )ln( |)( |)( |) ( )( |)( |) ( )0,( |)NNNxxf xV xf xf xf xE V xf xdxdxf xE V xf xdxdx中隐含真实参数 的信息估计子引入品质函数22222( )( )( )ln( |)ln( |)1( )() ( )ln( |)( )()1 ( )V xFisherJE VEf xEf xVarEJf xKCramerRaoJ 定义：品质函数的方差称为信息：定理：假设是 的无偏估计，则 取等号的充要条件：此时称为下界n损失函数(代价函数)n绝对损失函数n二

4、次型损失函数(, ) ()() ()NNNNCC ,标量参数向量参数22( , ) ()() ()CC ,标量参数向量参数n均匀损失函数0, (, ) ()1, 0, () ()1, NNNNNNCC ,标量参数向量参数n风险函数: 损失函数的数学期望nBayes估计：使风险函数最小化的参数估计(, ) (, )NNRE C2, (, )() min MMSE(minimum mean square error)NNRE若对二次型111,( ,| ),ln( ,| ) argmaxln( ,| )NNNMLNxxf xxf xxf xx1给定 ,似然函数为但多用对数似然函数。的最大似然估计是对

5、数似然函数最大化时的估计:缺点：必须知道似然函数的形式n线性均方LMS (linear mean square)11221221111, minmin 20 NNLMSnnnNnnnNNnnnnknnkkNNiikkiikkiixxw xEw xE eE eEw xEw xxwwwE x xExwRg 准则：11221221111, minmin 20 NNLMSnnnNnnnNNnnnnknnkkNNiikkiikkiiN Niki kxxw xEw xE eE eEw xEw xxwwwE x xExwRgRR 准则： 111 , , TTNNwwggwgRw = gw = R gn正交性

6、原理n线性均方估计是典型的Bayes估计10 0 1,NnnkknEw xxE exkN即估计误差与已知数据正交2121 min LMSMMSEBayesNnnnNnnnx wEx w代价函数（二次型损失函数）风险函数估计估计（估计）n问题(well-determined equation)(over-determined equation) () (under-determined e1Ax = bAbxAx = A bA矩阵方程，在 和 已知情况下估计 适定方程： 方阵可逆，则 超定方程：非方阵且行数 列数 方程个数多于未知参数个数 ，无准确解，但有惟一的最小二乘解。在信号处理中多用超定方

7、程。超定意味着使用更多的信息。 欠定方程quation) ： 有无穷多个解，但有惟一的最小范数解。欠定意味着信息不够多。n超定方程Ax = b*1() ()min() ()0(0 (,)1() (identHHHHHHHHHHHHHHHHLSAbAxbxbAxbAxbAxbxx A Axb bx A bb AxA AxA bxxxA AxA bIOxxA AxA AA bx没有误差， 有误差，误差向量为误差平方和为标量共轭梯度）注意情况 ：可逆，称 是唯一可辨识的，可辨识性ificability)2HA Ax情况 ：奇异，称 是不可辨识的nGaussian-Markov定理n加权最小二乘估计eAxb若误差向量的每个元素都具有零均值和相同的方差，则最小二乘估计一定是最优估计（方差最小）*11minmin ( )()()( )0 0 ()var( ) HHHHHHHHHHHHHHHHHoptQQEe ee weebAW bAb Wb A WAb WA A WbA WAA WbA WAA WbWA WAA WAA WbVee eWV最小二乘加权最小二乘若 各元素方差不同,则用加权最小二乘法)总可以选择，使可逆，则可以证明最佳的n评价参数估计好坏的问题：n采用均方误差来衡量参数估计的优劣n判断无偏估计是否最好：使用Fisher信息，满足Cramer-Rao下界n如