信号检测与估计.pptVIP

Chapter6 ParameterEstimation 成员 董春波马和峰李聘婷 目录 6 1最大似然估计6 2广义似然比检验6 3优良估计评价标准6 4贝叶斯估计6 5Cramer Rao不等式6 6多参数估计6 7最佳线性无偏估计6 8最小二乘估计6 9递归最小二乘估计 序言 在第5章中 我们学习了关于检测理论的问题 主要是解决在M个可能的假设中来确定哪个假设是正确 本章主要介绍假设接受的信号是正确的 但是有些相关联的参数是未知的 主要的目的就是利用有限的样本参数用最佳的方式估计这些参数 令Y1 Y2 YK为K个独立同分布的随机变量Y的样本 其密度函数取决于未知参数 y1 y2 yK为样本Y1 Y2 YK所对应的值 函数g Y1 Y2 YK 用来估计参数 表示为称为参数 的估计 通常 估计的参数可以是随机的或非随机的 随机参数的估计被称为贝叶斯估计 而非随机参数的估计被称为最大似然估计 MLE 6 1最大似然估计 如在前面的函数中所提到的 通常用最大似然 ML 估计来估计非随机参数 令Y1 Y2 YK具有样本值y1 y2 yK的随机变量Y的K个观测值 并且这些随机变量是独立同分布的 令表示随机变量Y的条件密度函数 Y的密度函数取决于需要估计的参数 记最大似然函数为L 式6 1 1 6 1 1 似然函数最大的值称为 的最大似然估计量 为求最大似然估计量 我们利用数学中所学的微积分 为了计算简单 利用对数函数 由于对数函数lnx是关于变量x的递增函数 由第五章可知最大化L 与ln L 等价 可以用最大似然函数的对数函数式求解 对参数 求导数可以求的最大似然估计量 如式6 1 2 6 1 2 不变性 令L 是 的似然函数 并且g 是参数 一一对应的函数 即g 1 g 2 1 2如果是参数 的最大似然估计量 则是g 最大似然估计量 6 1最大似然估计 Examle6 1 thereceivedsignalunderhypothesesH1andH0was a Assumingtheconstantmisnotknown obtaintheMLestimateofthemean b Supposenowthatthemeanmisknown butthevariance 2isunknown ObtaintheMLEof 2 在第五章中 是确定假设中的那个假设是真的 而在本章中 假设H1是真的 参数是未知的需要用最大似然估计来估计 a 在例题中需要确定的参数对应为 m M 由于样本参数是独立同分布的 由式6 1 1得似然函数 6 1最大似然估计 等式两边同取对数得 利用式6 1 2解似然方程得到似然估计得 得到 Thus theMLestimatoris 6 1最大似然估计 b 最大似然估计式为 方程两边取对数得 其中对lnL 2 最大化等价于对 2最小化 由似然函数的不变性得 6 1最大似然估计 因此 2的最大似然估计为 6 2广义似然比检验 在例5 9中 我们解决了复合假设检验问题 参数m在假设H1下虽然已知m是正或负 但是值是未知 当m仅为正值 仅为负值 时 在UMP测试 判决规则为 m 0时 m 0时 由于设置参数m的正负致使实验结果不同 因此 对所有的参数m UMP测试是不行的 因此运用了上节所讲的最大似然估计 也就是说 假设H1是真 要用已有的样本来估计 如果假设是正确的 我们可以用最大似然比检验 6 2广义似然比检验 如果所使用的估计是最大似然估计 则称为广义似然比检验 并且由下式给出 6 2 1 0和 1是在假设H0和H1估计的未知参数 Example6 2ConsidertheproblemofExample5 9 wheremisanunknownparameter ObtainthegeneralizedlikelihoodratiotestandcompareittotheoptimumNeyman Pearsontest 6 2广义似然比检验 Example5 9Considerthesituationwheretheobservationsundereachhypothesisaregivenby whereNdenotesawhiteGaussiannoiseofzeromeanandvariance 2 andmisunknown Then wesaythatH0isasimplehypothesis andH1acompositehypothesis 由于K个观测值是独立的 所以在假设H1和H0下的条件密度函数是 6 2广义似然比检验 其中m是未知参数 由于假设H0不包含m 所以估计过程仅适用于假设H1 根据 6 1 2 给出的似然方程 假设H1下的m的似然估计由下式给出 代入式得 或者 则似然比检验为 6 2广义似然比检验 代入在上述表达式中获得的的值 并在取对数之后进行简化得 由于是非负的 如果 小于等于1 ln 负 则判定H1总是真的 因此 可以设置为大于等于1的数 因此 不等式变换得 6 2广义似然比检验 其中 1 0 因此 上式等价于下式 判决门限图如图6 2 1 Figure6 2 1Decisionregionsofthegeneralizedlikelihoodratiotest 设定期望的失警概率 可以确定 1的值 在得到失警概率PF的表达式之前 我们需要确定Z的密度函数 6 2广义似然比检测 在假设H0下Y的均值为零和方差 2 所有的观察数据都是统计独立的高斯过程 因此 的密度函数均是均值为零和方差K 2的高斯过程 因此 Z也是具有均值为零和方差 2的高斯过程 失警的概率为 如图6 2 2所示 Figure6 2 2DensityfunctionofZunderH0 6 2广义似然比检验 从上面可以在没有m的失警概率中确定 1的值 然而 检测的概率不能在没有m的情况下确定 但可以对m做参数估计 在假设H1下 是具有均值为Km和方差K 2的高斯过程 因此 Z的密度函数是具有均 Km和方差 2 给定m的检测概率为 概率密度图如图6 2 3所示 6 2广义似然比检验 通过比较 广义似然比检验和奈曼 皮尔逊检验效果一样好 Figure6 2 3DensityfunctionofZunderH1 6 3优良估计评价标准 由于估计参量是随机变量 所对应的值不止一个 因此需要确定最优估计 无偏估计 是无偏估计 满足6 3 1式 6 3 1 有偏估计 如式6 3 2 6 3 2 1 如果b 不依赖于 b b 就认为估计量具有已知的偏差 也就是说 b 是无偏估计 2 当b b 由于 是未知的 所以不能获得无偏估计 在这种情况下 就认为估计量具有未知的偏差 当参数 既满足式 6 3 1 并且不是随机的 没有 的先验概率分布 这有时称为绝对无偏估计 6 3优良估计评价标准 如果估计是无偏的 其意味着估计值与真实值接近 但是不一定是最优估计 可以通过图6 3 1中所示的估计的条件密度函数容易地看出 从图中观察到 即使是无偏估计 因估计的方差很大也可能发生相当大的误差 然而如果方差小 估计量和期望值的相差也很小 因此 可以认为估计的优良性可以有方差大小判断 Figure6 3 1Densityfunctionoftheunbiasedestimator 6 3优良估计评价标准 无偏最小方差 是 的最小方差和无偏估计 对所有的参数 都有E 则对所有var var 也就是说 对于所有 无偏估计 具有最小的方差 一致估计 是基于K个观察样本的参数 的一致估计 如果满足式6 3 3 6 3 3 P 代表概率 应用上述定义并不能验证估计的一致性 可以用以下定理 定理 是基于K个观察样本的参数 的无偏估计 如果满足式6 3 4 6 3 4 6 3 5 是参数 的一致估计量 如果满足式6 3 5 6 3优良估计评价标准 Example6 3 a VerifyiftheestimatorofExample6 1isanunbiasedestimateofm b Istheestimatorunbiased Solution a TheestimatorisunbiasedifE m Aftersubstitution weobtain Hence isunbiased b TheestimatorisunbiasedifE 2 Thatis Hence isunbiased 6 4贝叶斯估计 在贝叶斯估计中 引入了代价 损失 函数 对所有的定义为 代价函数是两个随机变量 和的非负实函数 在贝叶斯检测中 代价函数的平均代价定义为风险函数 如式6 4 1 6 4 1 贝叶斯估计就是寻找使得风险函数 即平均代价 达到最小的判决准则 一般情况是估计单变量 所以利用估计误差来进行估计 估计误差如式6 4 2 6 4 2 下面有三种常用的代价函数 其图形如图6 4 1所示 1 平方代价函数2 绝对值代价函数 6 4 3 6 4 4 6 4贝叶斯估计 3 均匀代价函数 6 4 5 表示一个很小的量 可见所谓的均匀代价函数是指当误差超过某一门限值时 代价是相同的 而当误差小于该门限值时 代价为零 Figure6 4 1Costfunctions a squarederror b absolutevalueoferror and c uniform 6 4贝叶斯估计 未知参数假定为密度函数为的连续随机变量 风险函数可以用是6 4 6表示 6 4 6 可以取所有 和Y的平均代价 Y可以由向量 Y1 Y2 YK T表示 6 4 1最小均方误差估计 式 6 4 2 中给出的代价函数使风险函数最小的估计称为最小均方估计 MMSE 相应的风险函数用 ms表示 得式6 4 7 6 4 7 由式1 91 风险函数可以化为式6 4 8 6 4 8 6 4贝叶斯估计 由于密度函数fY y 是非负的 最小化 ms就等价于最小化括号中的方程 因此对括号中的方程对参数求导 得式6 4 9 6 4 9 用式 1 38 给出的莱布尼茨准则 得式6 4 10 6 4 10 6 4贝叶斯估计 也就是说 的最小均方估计是在Y的条件下参数 的均值 的后验均值 可以得出 关于的二阶导数是正定的 所以是对应于 ms唯一的最小值 并且由6 4 11式给出 6 4 11 给定Y的条件下 的方差为式6 4 12 6 4 12 因此 ms是给定所有可能Y的值条件下 的方差 平方误差准则的该估计过程有时称为误差估计的最小方差 MV 6 4贝叶斯估计 6 4 2条件中位数估计 这种情况下 把式6 4 4代入风险函数得式6 4 13 6 4 13 使用与上节相同的方法 可以通过最小化括号中的积分来最小化风险函数 括号中的方程由6 4 14式给出 6 4 14 相对于式6 4 14的微分 并且设结果等于零 得式6 4 15 6 4 15 6 4贝叶斯估计 也就是说 估计是密度函数条件的中值 该估计称为误差的最小平均绝对值 MAVE 估计 因此 6 4 3最大后验概率 对于式6 4 5给出的代价函数 贝叶斯风险函数变为式6 4 16 6 4 16 6 4贝叶斯估计 然而 6 4 17 P 表示概率 因此 通过最大化式 6 4 17 对 unf最小化 的后验密度函数为 寻求的使其满足条件最大 则称的最大后验估计量 定义为式6 4 18 6 4 18 对式6 4 18两边取对数得式6 4 19 6 4 19 6 4贝叶斯估计 方程 6 4 19 称为MAP方程 但是要注意这是必要不充分条件 因为可以具有几个局部最大值 由贝叶斯准则得式6 4 20 6 4 20 两边取对数变换得式6 4 21 6 4 21 由最大后验估计准则得式6 4 22 6 4 22 总是假设 足够小 使得估计由最大后验概率方程给出 也就是说 图6 4 1中所示的成本函数可以定义为式6 4 23 6 4 23 6 4贝叶斯估计 Example6 4 Considertheproblemwheretheobservedsamplesare MandNkarestatisticallyindependentGaussianrandomvariableswithzeromeanandvariance 2 Find and 从6 4 10 估计是在Y条件下m的均值 密度函数fM Y m y 可表示为 同时 6