第二章-参数估计PPT课件

-,1,第二章参数估计理论,估计理论的分类：参数化与非参数化（基于模型与无模型）。参数化方法假定数据服从已知结构的概率模型，但是模型的某些参数未知。例如线性均方估计，ARMA谱估计。非参数化方法不假定数据服从某种特定的概率模型。例如基于离散傅立叶变换的功率谱估计和高阶谱估计。参数化方法的效率高，但是适应范围窄。,-,2,2.1估计子的性能,2.1.1无偏估计与渐进无偏估计参数估计：由N个样本数据推出p个参数的值。估计子：真实参数的近似。参数估计的偏差：无偏估计：渐进无偏估计：,-,3,2.1.2估计子的有效性评价两个估计子有效性的量度：均值和方差。均值：方差：均值和方差：,-,4,2.2Fisher信息与Cramer-Rao不等式如何判断一个估计子是否是最优的。随机变量x的品质函数品质函数的性质:品质函数的方差越大越好，还是越小越好？,-,5,品质函数的方差称为Fisher信息，表征样本中包含被估计量的信息量：Fisher信息值越大，意味着相邻估计子的区分度越高。Cramer-Rao不等式：令x(x1,xN)为样本向量。若参数估计是真实参数的无偏估计，且和存在，则的均方误差所能达到的下界等于Fisher信息的倒数，即,-,6,2.3Bayes估计Bayes公式：意义：结果到原因（推断）原因到结果（机理）损失函数：损失函数是随机变量x的函数，因而本身也是随机的。,-,7,损失函数的数学期望称为风险函数：使二次风险函数最小的估计称为最小均方误差(MMSE)估计:,-,8,2.4最大似然估计问题描述：似然函数的定义：特别地，当x1,xN为独立的观测样本，似然函数为：令，可求出,-,9,例2.4.1x1,xN为独立的观测样本，且服从正态分布试确定均值和方差的最大似然估计。解：由题设可得从而有,-,10,分别求偏导，可得解以上二方程，可得与样本均值和方差的无偏估计比较，可知均值的估计是无偏的，方差的估计是渐进无偏的。,-,11,2.5线性均方估计问题描述：,-,12,线性均方估计假定随机变量的相关函数已知，其本质上就是线性滤波器。,-,13,2.6最小二乘估计2.6.1最小二乘估计,-,14,Gauss-Markov定理当误差向量的各个分量具有相同的方差，而且各分量不相关时，最小二乘估计在方差意义上是最优的。,-,15,2.6.2加权最小二乘估计如何选择加权矩阵W？,-,16,假定误差向量e的方差矩阵为2V，其中V是已知的正定矩阵：,-,17,2.6.3递推最小二乘估计设在等间隔的采样时刻连续地对b和x进行观测，前k次观测数据满足,-,18,-,19,几种参数估计方法的特点：1）贝叶斯估计需要知道后验概率分布，被估计量为随机变量的期望（确定的）；2）最大似然估计需要假定似然函数的参数化形式，被估计量为未知的常量（确定的）；3）线性均方估计需要知道自相关和互相关函数，被估计参数为随机变量的线性表达式的系数（确定的）；4）最小二乘估计中被估计量为变量线性表达式的系数，是未知的常量（确定的）。最小二乘具有递推性质，数据量越大，和线性均方估计越相似。递推最小二乘法可减小存储量