北大随机过程课件：第_6_章_第_1_讲_最小均方误差线性估计

1、估值概述1. 估值的岚义随机变彊的分布函数完全确定了它的统计特性，但是，基这种统计特性的描述, 我们依然无法预测某一次试验的观察结呆确定地是什么。如果想用某一个确定的值去作为观察结果的佔计值，町以利用概率分布曲数去选择 一个介理的值。数学期里：统计平均值，无条件估值，统计误差为方差估值：利用己仃的观测磺的信息，估计估计鱼的取ffi,减小关J：估计彊的不确定性。2. 估值的应用授基本的问题是利用对一个随机变帚的观测对另一个随机变最进行估计根据当前取值來预测卜-一个时刻取值的预测编码；根据接收的信兮序列來估计发送序列某个时刻发送值的均衡问题；根据信号和噪声Z和的序列来估计信号的噪声抑制问题；3.

2、估值问题的研究内容与方法估值研究的是统计意义上的估计问题。I1JJ是对一个不确定鼠的估计，一定存在估 计误差，关键在r利用某种原则、方法选择估计值，使估计谋差在某种总义卜是最小的。估值准則的堆取：有实际意义，有用；并且是能够得到简单解的。“估计的均方误差最小”的估计准则是应用最广的一种估计思想，简称MS估计, 柑应的估计误差简称MMSE。“输出信噪比最人”是雷达系统中最佳接收的丁作原理。在一定的估计准则卜，有不同的鮮决其体估值问履的方法：/ 非线性估值/ 线性估值/ 维纳滤波/ 匹配滤波/ 递归线性均方估值梵中一个1E耍的问题就是硝定估值參致估值的评估：分析估值误差均方误差最小的最佳线性估计估

3、值问题，设E和n是两个随机欠鼠，两者存在联介分布，其中n是观察欠届，通过n对E进 行估值，得到符合某种准则的最佳估值g。1均方小的估值问题均方谋差最小的估值问題设E和n是两个随机欠最，两者存在联介分布，设n是观察欠杲，通过n对E进行估值，求均方误差最小的估值2。E« si(n) /片 Y p minE加-K/i|= 丫,其中 K = &,£ ，k)为任意矢最。均方俣差最小估值的解：均方估值和条件均值的关系e|5-k|2/ii=y=日卜况何+£旳-K/呼Y= E(|Efc/i|-K|2/i|=Y)+ E-鮒讪丽j匚丽n= y+ £帶耳齐j.E$/i

4、 一 K/t)= y+ E-Efln=y=日碇/“- K/1= y+ E(|?- Efc/ilf / p= Y)为了使均方谋差最小，应使K = £%/”,即:(i)= Y) = Efc/n= Y定理设随机矢暈首=忆詁2,? “)和” =(1，4 2，4，”)的联合概率密度函数是, 九(和七,人)且厶(儿，儿，几)工0,则g关于q的最小均方误差估计为希)=Egm ,它满足 fjlk- i(n)| | = min e|R- g01)。设E和q服从二元高斯分布，求最佳估值g（）解：1叫一卅亦卜妒哙Ug（） = E0 沪 丫=他+ P（y-A）Eg（）=EE?/p”卜E £（） -

5、如 了卜 e W g （y - “打=（）22 均方泯蔓JR小的线性估计对于正态分布的随机变最，g关J：的n最小均方误差估计旳XE帥）是一个线性 估计，対丁邯正态分布的随机变彊，估计飙）=日彳/）一般不是线性的。这时碍耍找到 一个关的线性函数作为最佳佔计。定义：g 关于的 n 估计 i（u）= Aq+b ,使得 fh-i 2=£j|?-（Aii+b）|2i4 到最小值，这时i（n） = A1+ b称作为址佳线性佔值。其屮E是nxl的欠磺，I）是mxl的 欠吊A是nxm的矩阵b是nxl的矢最。确定A、bS = Eg厂A戶A厂（C加）9网广即，如果J n= （/7172 - 7m）7均值

6、为零，则有 = CKJRChnl “方法：1 ）极值分析法求估值的均方误差丘'厂匚/ 卜DO+A/C仙A/-人丄甩勿）-AC加）+砖厂A上1-巧Ap耳的取値应使估值的均方谋差对Ar bj的偏微商为零，从而确定A bJ：2）正交性原理定理：满足正交性的线性估计（从正交性原理进行推导）如果用复随机变n 1» n2,，nm的线性组合£=厲刃+冬“尹来估计复随机变鼠弋，其估计谋差e=-o若e和nl, n2,，nm正交，则此估计是 最小均方误差线性估计。利用 £朋=E§- （©+ 切?+ 韧 3+ +初久 = 0注意：两种方法得到的结论一致，正交

7、性原理的推导证明中，先假设Eg = E“ = 0,进一步的论述中说明了疋?工0,£工0时,满足正交性原理的线性估计仍然是最小均方误差估计。最佳线性估计的均方误差根据正交性原理，均方误差最小的最佳线性估计的误差与观察杲正交，从而与估计值正咎斤卜£（首-询 = 0则：E如一诚=0因此：确可卜啲卜顒卜eH*CC"CC“推论1如果复随机变吊弋和复随机变ns>，叽不相关.即相互正交，此 时无法用复随机变杲口，n：> “，耳对复随机变帚弋进行估计。此时的最佳估计就是4(/7)= 0 o推论2如果复随机变吊弋和复随机变駅nn ns.，n冇相关性，进行估计.相应的均方

8、误差就减少了,则= e|M|*e帯淀列f-C"CC屛减少凰是推论3如果复随机变©Hu八2，",，H彼此Z间相互正交，冇推论4增加新的数据可以改善原仃的佔值，但是如果增加用來佔值的数据八顼，几比，与原來的估计误差0 = ?-(©+C+0詁正交，这时增加数据不能改善 原来的估计。3央型估值问题举例估值理论的应用随机过程的估値随机过程的预测信兮的统计插值和滤波典型的例子例,设有零均值实平稳随机过程S©，已知t时刻的值,试估计t+s时刻的值。例2,设有零均值实平稳随机过程的信号s©和零均值实平稳随机过程的噤声n®,它们是统计独立的随

9、机过程，实际测到的是x(t>s©+n(l),试根据X©对s(t)进行估值。例3,设冇零均值实平稳随机过程的信号sQ),试根据s(0)及sfT)对s(t)进行估值。例4,利用t时刻随机过程s(t)的观察值利它的导数s，(t)观察值，对未來的s(t+Q, 入>0,进行佔值。例5,已知t】、t2两个时刻t!>t2,利用这两个随机过程s(t)的观察值对未來的s(t), 进行估值。例6,已知咨均值实随机过程s(t),利用s(0)和s(T)的观察值，对随机过程在【0,T】 区间的积分进行估计。求最佳估值。假定研究的随机过程是冬均值实'卜稳的随机过程例1设有零均

10、值实平稳fit机过程S©,已知t时刻的值,试估计t+s时刻的值. 解：利用故佳线性估值原理，ciriYcny T)s(t + 5) = as(t),且a = Es(t+A)s(t)/Es(t)s(t)=心/心(0)相应的最小均方误差是,耳卜订 =一曲孑Es(t + 刃 一 5(/ + 刃= Efs(/ + 兄)一 as(t)s(t + A) =Es(t + A)s(t + 2)- aEs(t)s(t + 2) 叽(0)-血(刃叽(0)-心F/心(0)讨论1：如果随机过程的相关两数是RjT)=a2eg心(刃/心(0)=严e|s(/ + 刃- 5(/ + 刃|*= G- (1-宀)讨论2

11、:在上述条件卜，估计误差正交J-SGO，U<tE$(f + A) - as(t)- s(u) = Rss(t + A-u)- aRss(t -u)=crFa+D _ cq论FD = o论Fa+D 一论f(d=0设仅零均值实随机过程的信兮s(t)和零均值实、卜稳随机过程的噪声n(t),它们是统 计独立的随机过程，实际测到的是x(t>s(t)+n©,试根据x(t)对s(t)进行估值。解：利用最佳线性佔值原理，臭a* ©“5(0 = 0X(0 > 且a = Es(t)x(t)/Ex(t)x(t)=心(0)/心(0)+ 心(0)相应的放小均方谋垫是,可$(/) -

12、 5(0|2 )=疋“-处(/)卜(/)=£“(/)$(/)-处&(/)$(/)=心(0) - aRss (0)讥(°)一心(0)心(0) +心(0)心(0)=心(0)心(0)心(0) + 心(0)设仃零均值实平稳随机过程的信兮s(t),试根据s(0)及s(T)对s(t)进行估值。 解：利用最佳线性估值原理，l=aTn= JC”F “心(心 /?. (T - t)、00)、/&)丿心(0) RQ RQ 心(°)=6/5(0) + bs(T)其中,心心(0)-心-/)“)心(0)F-心(M卜_-瓦心(门+心(Jg(0) 心(0)F-“)F相应的放小均

13、方谋差是,e£(/) - 5(r)|21= £tv(0 - as(o)- hs(T)s(t)=心(0) - aRu (0 - hRss (T-1)例4利用t时刻随机过程s(t)的观察值和它的导数s，观察值，对未來的s(t+Q，入0,进行 估值。解：利用最佳线性估值原理，aTrj= qC”T T)作(0) 0 )-1M)、0心(0)丿W）丿-心(0)、心(0),=（心- RM刃+刃=（心-巴叫:常）=d$ + bsr(t)心J：（刃心（0）'心（0）相应的最小均方误差是，耳卜右=能-咔訂E*(/ + 刃-5(/ + )|2j= Es(t + 刃-5(r + A)s(t

14、 + 刃 =Es(t + 兄)一 as(t) 一 /?$'(/)$(/ + 久) =心(0)-也(刃+庶：(刃已知h、S两个时刻t!>t2,利用这两个随机过程s（t）的观察值对未來的s（t）,进行估值。 解：利用址佳线性估值原理，$ =疋7=©0”“心（心）g心角心U、-11（/】）、心（0）丿=as(t _ 片)+ bs(t -t2)心（/ -人）心（0）-心（/ -2）心山-2）V（0）-V01-G）-心（r）心u+心（7）心（o）町（0）-町（厶-相应的最小均方误差是，E(5(r)-5(/)|2)= EV(0-5(/)j(r) =E f $(/ )s(t)-as(

15、t1)s(l)-bs(t2)s(t) =R$ (0) - d心(/ - 4) - bR$ (/ - g)讨论1,若t2时刻的信息不能改进对s(t)的估计,即b = 0,b = 0,心(r)心 on, d)心(0)d (t #、_ R$Q-h)R$(h -相应的相关函数是负指数形式。已知零均值实随机过程s©,利用s（0）和sCT）的观察值，对随机过程在0.T区间的积分 进行佔计。求般佳佔值。解：利用最佳线性估値原理，2=仆 © JC加T T定义 $ = J s(ii)du0验$()=)du -5(0) = j R、(ii)du丿0 TEk 5(7)1 = E J su)du s(T) = Ru (u - T)du kO