信号检测与估计理论 第五章 统计估计理论

.估计理论和信号检测，第五章信号的统计估计理论，内容摘要，5.1引言5.2随机参数的贝叶斯估计5.4估计量的性质5.5矢量估计5.7线性最小二乘误差估计5.8最小二乘估计，5.1引言，信号的参数估计信号中的估计量为随机参数或非随机未知参数在观测时间内通常不随时间变化的静态估计信号的波形估计或状态估计是随机或未知的过程。 信号的波形，参数的时间变化动态估计，5.1引言，研究内容：如果在信号的参数估计信号中估计的量是随机参数或随机未知参数，则将该估计称为信号的参数估计。 理论基础：随机变量和数学统计(2.2，P.8 )随机噪声理论(2.6，p.46 ) .5.1引言基本思想信号模型的差异先验知识和数据的关系估计标准和估计方法估计的评价指标。 数据模型、复杂性：足以描述数据的基本特征，简单：估计量最佳，容易实现，5.1引言-信号处理中的估计涉及雷达、语音、语音、图像分析、生物医学、通信、自动控制等领域参数估计问题。 举例来说，雷达系统无源语音识别系统将时域信号转换为线性预测编码语音模型，且依据模型的参数来确定频谱包络。5.1引言-确定估计的数学问题的估计量后，建立数据的数学模型，例1 :在实际问题中，不提供PDF，而是选择问题的约束和先验知识一致、数学上容易处理的PDF。 例2-道琼斯指数：参数确定但未知-经典估计，参数是随机变量-贝叶斯估计，20世纪90年代，5.1.2数学模型和估计量结构，四个组成部分：参数空间、概率图、观测空间和估计标准。 概率映射函数完全描述了包含估计出的向量信息的情况下的观测向量的统计特性。5.1.3估计量性能的评价是一次标量，估计量是标量(单一参数)一次向量，估计量是向量(多个参数)，最佳估计基准定义：活用先验知识，使结构的估计量具有最佳性质的估计基准。 估计参数(随机或非随机)先验知识(P.264 )估计量及其平均、方差和平均误差表示(P.264 )、观测向量是长列向量、5.1.3估计量性能的评价，例如非随机未知单个参数的估计、5.1.3估计量性能的评价古典推定和贝叶斯推定fromstevenjm.key-page253-259，上述推定假定参数值的范围：考虑了物理条件的制约：古典推定和贝叶斯推定，fromstevennm.key-page253-259，贝叶斯最小平均误差推定：，后验概率平均，=1，经典估计和贝叶斯估计fromstevenjm.key-page253-259，短数据记录对后验PDF的影响，大数据记录对后验PDF的影响，经典估计和贝叶斯估计，fromstevenkam . 例如，随着n的增加，后验PDF更加集中，MMSE估计量(最小均方误差)对先验知识的依赖越来越小，对数据的依赖越来越多，数据“擦除”了先验知识。 参数估计的贝叶斯方法：假设估计的参数是随机变量的实现。 (1)指定事先PDF (2)观测数据后，事后pdf总结了对参数的理解。 (3)利用先验知识通常可以提高估计精度。经典估计和贝叶斯估计、FromStevenM.Key-page253-259，其中，通过利用先验知识通常改进估计精度的贝叶斯估计中，先验PDF的选择是重要的。 错误的选择导致估计的差异，类似于使用传统估计问题中错误的数据模型来设计估计。 因为围绕贝叶斯估计量的使用的许多争论，不能实践地证明事先PDF。通常，使用经典估计是合适的，只要先验概率不基于物理约束。贝叶斯标准：二元信号检测器的贝叶斯标准(P.70)M元信号检测器的贝叶斯标准(P.93 )、5.2随机参数的贝叶斯估计和信号参数的估计中，以估计的平均成本最小的方式提出了类似的贝叶斯估计标准。 适用于随机参数的情况。 成本函数的一般形式：(1)满足非负性(2)误差最小。 当3个典型成本函数：5.2.1常用成本函数和贝叶斯估计概念、平均成本、条件平均成本、贝叶斯公式和上述条件平均成本函数对最小时，可以求出随机参数的贝叶斯估计量。5.2.2贝叶斯估计量的结构，设为1 .最小均方误差估计(条件平均，成本函数参照图(a ) )，求出，偏导，结果为零。5.2.2贝叶斯估计器的结构，1，最小均方误差估计(条件平均，成本函数参见图(a ) )，二次偏导数，以及上式获得的估计可以使平均成本c最小化，最小平均成本是通过条件方差的所有观测测量的统计平均。5.2.2贝叶斯估计量的结构、1、最小均方误差估计(参照条件平均、成本函数图(a )、估计量是后验概率密度函数的平均值。 将后验概率转换成先验概率表示并且估计估计估计量的点，例如5.2.2贝叶斯估计器的结构、2、条件中值估计(参见条件中值、成本函数图(b ) )、条件中值估计或条件中值估计。、3、最大后验估计(条件最频、最大后验，参见成本函数图(c ) )，5.2.2贝叶斯估计量的结构相当于最大，估计量是后验概率密度函数取最大值。 5.2.2贝叶斯估计量的结构，例5.2.1单随机参数的贝叶斯估计(最佳估计的不变性)，贝叶斯公式，5.2.3最佳估计的不变性，如果估计量的后验概率密度函数是高斯型，则在3种典型的代偿函数下使平均成本最小的估计量为但是，成本函数的选择往往是主观的，后验概率密度函数不一定满足高斯型的要求。 希望缓和条件，得到平方误差最小的预计。 5.2.3最佳估计的不变性，在两种情况下，最小均方误差估计具有最佳估计不变性。 5.2.3最优估计的不变性、情况I、情况ii、最大似然估计经常估计未知的非随机参数。 最大似然估计定义：以似然函数的最大值为估计量的参数估计方法(maximiumlihoodestimation )。 5.3.1最大似然估计原理最大似然函数的基本原理是：考虑到一个小区域内的概率，对一个选定的最大似然函数取最大值作为估计量。 似然函数在给定后得到，可以画出与估计量的关系曲线。 5.3最大似然估计，PDF被称为未知参数的函数(固定)，其被称为似然函数。 根据、最大似然估计原理，得到以下的最大似然估计量或5.3.2最大似然估计量的结构，与(5.2.19 )式相比，最大似然估计用于估计没有先验知识的随机参数，假设为均匀分布，上式的第二项为零，最大似然估计为最大后例5.3.1虽然是同例5.2.1，但是不利用估计量的先验分布知识，看作未知的非随机参数观测向量的似然函数是：5.3.2最大似然估计量的结构，带先验知识的贝叶斯估计： (1)最大似然估计不使用估计量的先验知识，并且性能比贝叶斯估计差(2)对于未知的随机参数，似然函数的计算相对容易(3)对于大多数实用的最大似然估计，当观测数据足够多时，其性能是最佳的(4)最大似然估计是不变的5.3.2最大似然估计量的结构、带先验知识的贝叶斯估计：最大似然估计的不变性： 1、如果参数的最大似然估计量为，则函数的最大似然估计量在是1对1变换时为2，在不是1对多变换时，首先是取值范围内的所有变化参数的似然即，接下来求出最大似然估计量记载为函数的最大似然，5.3.3最大似然估计的不变性、估计量是随机变量的主要性质，无偏差的有效性的匹配性充分的克拉梅洛不等式(Cramer-Rao )克拉梅洛界(平均误差下限)、5.4估计量的克拉梅-罗不等式克拉梅-罗界(在5.4.2节中讨论)无偏差的有效估计量的定义(P.277 )，5.4.1估计量的主要性质，1，估计量的不偏差，估计量的方差估计误差方差平均误差，5.4.1估计量的主要性质，3，估计量的一致性，4，估计量的充分性估计量如果参数的似然函数能分解，就称为充分的估计量，使用了观测测定中的所有信息。 没有偏差的有效估计量必然是充分的估计量。一致估计量均方一致估计量、均方误差基准(MSE ) :5.4.2克拉美罗不等式和克拉美罗边界、估计量偏移真值的均方偏差的统计平均值。 制约偏差为0，方差，偏差，最小方差无推定(MVU ) :Cramer-Rao下限，5.4.2克拉梅-罗不等式和克拉梅-罗边界， 确定无偏估计量的下限提供用于比较无偏估计量的性能的基准的方差低于下限，无法求出无偏估计量(用于信号处理的可行性研究)，导入：观测依赖于未知参数的PDF、5.4.2克拉-罗不等式和克拉-罗界、上述单一样本很明显：分散是。图(b )的PDF和a的相关性弱。 直观地看，似然函数的“尖锐”性决定了估计未知参数的精度。 PDF受未知参数的影响越大，得到的估计值越好。 考察对数似然函数在其峰值处的负二次导数，测量“尖锐”性。 5.4.2克拉梅-罗不等式和克拉梅-罗界，一次导数：曲率的更普遍的测量：负的二次导数：曲率随着方差的减少而增加。 在该例子中：假定PDF满足“正规”条件：5.4.2关于克拉梅罗不等式和克拉梅罗界，Page25fromStevenM.Key，CRLB的定理(Cramer-Rao下限定理):以及某个函数g和I，但满足，可以求出达到下限的所有无偏差的推定量：1，非随机参数的情况下，5.4.2克拉-罗不等式和克拉-罗界，推论最大似然推定式，两侧都求theta偏爱.5.4.2克拉-罗不等式和克拉非随机参数的情况下(接着是克拉梅-罗不等式的导出P.364 )，Cauchy-SchwarzInequality，不偏颇的推定，不等式取等号条件： 1、在非随机参数的情况下(接下来是另一种形式)，5.4.2克拉梅-罗不等式和克拉梅-罗界，另一种形式的克拉梅-罗不等式的导出过程，两侧对西塔求二次偏导： 2、随机参数的情况(第一形式)5.4.2克拉梅-罗不等式和克拉梅-罗界，关系常数k与随机参数的二次统计量相关，导出：两侧向theta求偏爱，2、随机参数的情况(接下来是第二形式)，5.4.2克拉5.4.2对于克拉-罗不等式和克拉-罗边界、2、随机参数(继续第二形式)，当随机参数的任何偏差估计是有效的时，有效的并且在无偏差的情况下达到CRLB的估计可以被称为数据的有效使用。 如左图所示。MVU (最小方差无偏差)估计可能无效，并且如图(b )中所示，该估计没有达到CRLB，因此是无效的，但是其方差与所有其他无偏差的估计的方差相比较小，因此是MVU估计。 Page28-29fromStevenM.Key .5.4.2克拉梅洛不等式和克拉梅洛界，2，随机参数的情况下(继续第二形式)，当达到CRLB时，方差是Fisher信息的倒数，即信息越多，下限越低，信息越多对独立观测的附加性。 下限公式中的分母被称为数据x的Fisher信息，即、5.4.2克拉梅洛不等式和克拉梅洛界，关于对独立观测的加性： n个IID观测的CRLB是一次观测的1/N倍。 关于独立观测，关于同分布观测，关于非独立的样品，例5.4.1非随机参数的最大似然估计量的性质，5.4.2克拉梅洛不等式和克拉梅洛界，(1)没有偏差，(2)有效性，(3)一贯性(随着观测次数的增加，估计质量提高) 例5.4.1非随机参数的最大似然估计量的性质(续)，5.4.2克拉梅罗不等式和克拉梅罗界，例5.4.2随机参数的贝叶斯估计量的性质，5.4.2克拉梅罗不等式和克拉梅罗界，(1)无偏差，(2)有效性，事前例5.4.2随机参数的贝叶斯估计量的性质(续)，5.4.2克拉梅洛不等式和克拉梅洛边界，(3)一致性，(4)充分性5.4.3有效估计量的平方误差的关系，1，非随机参数的情况，2，随机参数的情况，两侧为西两侧对thether求出偏导，求出平均的：、5.4.4非随机参数函数推定的克拉梅罗界，两侧对thether求出偏导，由于未知的随机参数的函数，推定量为任意的偏导推定量：、5.4.4非随机参数函数推定的克拉梅洛界，是从柯西-施瓦茨不等式得到的(5B.6 )式)，该克拉梅洛不等式的导出过程，5.4.4非随机参数函数推定的克拉梅洛界，例5.4.3非兰5.4.4非随机参数函数估计的克拉梅洛界，例5.4.4非随机参数非线性函数的最大似然估计量的性质，根据最大似然函数估计的不变性