西安工业信号检测与估计SDE_14 ch10 贝叶斯原理

1、Ch10 贝叶斯原理贝叶斯原理Chapter 10 Bayesian Philosophy雷斌雷斌25016434 Signal Detection and Estimation 信号检测与估值信号检测与估值 第十第十 四讲四讲 Spring 2015 2022-4-18SDE_09 MLE210.1 引言 IntroductionUp to now Classical Approach: assumes is deterministic前面探讨的 经典估计理论 假定 确定的未知常量确定的未知常量This has a few ramifications:这有一些影响：

2、Variance of the estimate could depend on 估计的方差可能与有关In Monte Carlo simulations: 蒙特卡罗仿真M runs done at the same , must do M runs at each of interestaveraging done over data no averaging over valuesMLE，LS，矩方法矩方法对他可能的范围一无所知，或者假装不知道2022-4-18SDE_09 MLE3贝叶斯方法 Bayesian Approach:利用经验 经验告诉我们：可能的取值范围经验告诉我们：可能的取

3、值范围 A A0 0AA0 0 我们必须估计的是其特定的一个现实我们必须估计的是其特定的一个现实 A A012APDFAA0A0这次的AW(n)Xn n=0,1,.,N-1贝叶斯方法的基本思想已知待估参数参数 的分布情况比如室内温度、电池电压等观测数据x 的分布，受 的影响以前有关 的知识 感兴趣的参数感兴趣的参数 变成了一个 随机变量？随机变量？先验知识先验知识 先验概率先验概率2022-4-18SDE_09 MLE4先验知识的应用举例1 在在测测量量电电池池电压时电压时遇到了一遇到了一个较个较大的噪大的噪声声-打打雷干雷干扰扰了了测测量量 测测量量5 5次的次的X X为为： 3.62V3.

4、62V、3.56V3.56V、3.67V3.67V、3.55V3.55V、123.58V123.58V 前面的推前面的推导导：X X均均值为达值为达到到CRLBCRLB的无偏估的无偏估计计但是但是测测量量5 5次的均次的均值约为值约为： 23.59V23.59V如果利用如果利用对电对电池的了解：池的了解：电电池池电压电压不不会会超超过过48V48V则将则将123.58V123.58V扔扔掉，用剩余掉，用剩余4 4个个均均值约为值约为：3.60V3.60V3.60V23.59V哪个更好？哪个更好？2022-4-18SDE_09 MLE5先验知识的应用举例2背景：观测值是概率密度的一个样本；背景：

5、观测值是概率密度的一个样本； 样本数量少时一切皆有可能样本数量少时一切皆有可能 如果如果测测量次量次数数无限多无限多 则则X X的的值值服服从从 概概率密度函率密度函数数 电压电压到底是多少？到底是多少？但是但是观测观测到到3 3个个值值3.52V3.52V3.66V3.66V3.74V3.74V均值均值=3.66V3.653.75 占占80%，其余，其余20%？产品电压的真值产品电压的真值 经验！经验！哪个更好？哪个更好？A=3.7V一切皆一切皆有可能有可能工厂生产工厂生产的经验的经验加权均值：加权均值：40%*3.66V+40%*3.74+20%*3.52=3.664V2022-4-18S

6、DE_09 MLE6运用贝叶斯方法的原因之一通过经验成分（先验知识），应用贝叶斯方法时可以改善估通过经验成分（先验知识），应用贝叶斯方法时可以改善估计精度。计精度。t以前的测量值可能的测量值不可能的位置不可能的位置飞机位置跟踪2 温度连续测量3 电池电压测量：大于0V，小于12V2022-4-18SDE_09 MLE7运用贝叶斯方法的原因之二当噪声很大，而观测次数有限的情况下。当噪声很大，而观测次数有限的情况下。找不到可用的MVU估计量，贝叶斯估计很有用。例：声探测定位；单次测量精度差于例：声探测定位；单次测量精度差于5050米，米，还有其它传感器（如已知在前面若干米处的还有其它传感器（如已知

7、在前面若干米处的天幕靶的测量信息，运动规律大概知道，天幕靶的测量信息，运动规律大概知道，则可以推测出当前大概的位置）。则可以推测出当前大概的位置）。将推测的位置（估计）与测量的位置（估计）将推测的位置（估计）与测量的位置（估计）相结合提高精度相结合提高精度根据传感器数据所估计的位置根据运动规律所估计的位置将两信息结合所估计的位置方差情况方差情况贝叶斯估计给出如何利用先验知识和观测贝叶斯估计给出如何利用先验知识和观测进行估计进行估计2022-4-18SDE_09 MLE8Review: Results for Two Random VariablesLet X and Y be two RVs

8、each with there own PDF: Their complete probabilistic description is captured inJoint PDF of Xand Y: Describes probabilities of joint events concerning X and Y.Marginal 边沿边沿 PDFs of Xand Y: The individual PDFs 2022-4-18SDE_09 MLE9联合概率密度Joint PDF of RVs X and YdcXYbadxdyyxPdYcandbXa),(Pr),(yxPXY1),(

9、dxdyyxPXYDescribes probabilities of joint events concerning X and Y. Forexample, the probability that X lies in interval a,b and Y lies ininterval a,b is given by:2022-4-18SDE_09 MLE10联合概率密度函数Joint PDF of X and A: ),(AxpxA 待估参量待估参量A A的的 概率密度函数（概率密度函数（PDFPDF）000000210)(AAAAAAAAApA 观测观测X X、待估参量、待估参量A

10、A之间的关系，采用联合概率密度函数描述之间的关系，采用联合概率密度函数描述 当知道一个当知道一个A A，观测到一组，观测到一组xn n=0N-1 xn n=0N-1 的概率密度的概率密度函数（函数（PDFPDF）nwAnx102222)(21exp)2(1);(NnNxAAnxApx2022-4-18SDE_09 MLE11两RV函数的期望值Expected Value of Functions of X and YYou sometimes create a new RV that is a function of the two of them: Conditional PDFs: 条件概

11、率 If you know the value of one RV how is the remaining RV now distributed?Ex.2022-4-18SDE_09 MLE12)()()(1iniiABPAPBP2022-4-18SDE_09 MLE13条件概率 the conditional PDFs are defined asthe conditional PDFs are defined as (.slice(.slice截面 and normalizeand normalize归一化.):.):2022-4-18SDE_09 MLE14条件期望 For condi

12、tional expectations one idea but several notations!2022-4-18SDE_09 MLE15Independence 统计独立统计独立:RVs X and Y are said to be independent if knowledge of the value of one does not change the PDF model for the other.意味着This implies (and is implied by)Decomposing the Joint Decomposing the Joint PDF:PDF:Som

13、etimes it is useful to be able to write the joint PDF in terms of conditional and marginalPDFs.From our results for conditioning above we get2022-4-18SDE_09 MLE16分解联合期望分解联合期望 Decomposing Joint Expectations:When averaging over the joint PDF it is sometimes useful to be able to decompose it into neste

14、d averaging in terms of conditional and marginal PDFs. This uses the results for decomposing jointPDFs.2022-4-18SDE_09 MLE17Ex. 分解联合期望2022-4-18SDE_09 MLE1810.3 先验知识和估计012APDFAA0A0选择AW(n)Xn n=0,1,.,N-1Ax000000AxAAxAxAAxA -A0A样本均值的PDFA0DC电平的例子电平的例子估计原理基本原则：先验知识的应用将得到更为精确的估计量。估计原理基本原则：先验知识的应用将得到更为精确的估计

15、量。2022-4-18SDE_09 MLE19先验知识和后验概率 PDF 先验知识：信号先验知识：信号S S（或待估参量（或待估参量 ）的分布情况）的分布情况 观测：观测：xnxn 显然，显然，x x的分布情况与的分布情况与 有关有关 先验概率：待估参量先验概率：待估参量 取一个值后，取一个值后， x x的分布情的分布情况。况。 比如，电压为5V，观测因噪声影响，观测x的PDF 后验概率：得到观测数据后验概率：得到观测数据x x后，待估参量后，待估参量 的可的可能情况能情况。 比如，观测到一组数据分别是3、4、5、2、6、4、5、8V，电压可能的PDF2022-4-18SDE_09 MLE20

16、先验概率 ( Prior probability) 先先验概验概率是在缺乏某率是在缺乏某个个事事实实的情的情况况下描述一下描述一个变个变量量; ; 而后而后验概验概率是在考率是在考虑虑了一了一个个事事实实之后的之后的条条件件概概率率. . 先先验概验概率通常是率通常是经验经验丰富的丰富的专专家的家的纯纯主主观观的估的估计计. . 比如在法比如在法国国大大选选中女候中女候选罗选罗雅尔的支持雅尔的支持率率 p, p, 在在进进行民意行民意调查调查之前之前, , 可以先可以先验概验概率率来来表表达这个达这个不确定性不确定性. . 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.2022-

17、4-18SDE_09 MLE21后验概率 ( posterior probability) Def: Probability of outcomes of an Def: Probability of outcomes of an experiment after it has been performed and experiment after it has been performed and a certain event has occured. a certain event has occured. 事情已经发生事情已经发生, ,要求这件事情发生的原因是由某要求这件事情发生的原因

18、是由某个因素引起的可能性的大小个因素引起的可能性的大小, ,是后验概率是后验概率. . 后后验概验概率可以根据通率可以根据通过过BayesBayes定理定理, , 用先用先验概验概率率和似然函和似然函数计数计算出算出来来. . 下面的公式就是用先下面的公式就是用先验概验概率密度乘上似然函率密度乘上似然函数数, ,接着接着进进行行归归一化一化, , 得到不定得到不定量量X X在在Y=yY=y的的条条件下的密度件下的密度, ,即后即后验概验概率密度。率密度。 2022-4-18SDE_09 MLE22Bayes Rule 贝叶斯准则:BayesRule 贝叶斯准则:2022-4-18SDE_09

19、MLE2310.3 先验知识和估计000000( ; )Pr ()( ; ) ()()Pr ()AAPAxAAPA uAuAxAA A0-A0A221()2/21( ; )2/ANAPAeN-A0(;)APA(a)样本均值的PDF(b)截断样本均值的PDF其中其中u(x)是单位阶跃函数。是单位阶跃函数。 估计量的估计量的PDFPDF为：为：如上图如上图(b)所示，可以看出，所示，可以看出， 是有偏估计量。是有偏估计量。A0AA2022-4-18SDE_09 MLE2410.3 先验知识和估计 然而，如果比较两种估计量的然而，如果比较两种估计量的MSEMSE，我们会注意到，对我们会注意到，对于区

20、间于区间 上任何上任何A A，00AAA0000222()( ;)()( ;)()( ;)AAAAAAAA PA dA PA dA PA d2()()( ;)Amse AAPA d000022020()( ; )()( ; )()( ; )AAAAAAAAA PA dA PA dAA PA d()mse A均方差2022-4-18SDE_09 MLE2510.3 先验知识和估计寻找一种估计量寻找一种估计量 , ,使如下定义的贝叶斯最小使如下定义的贝叶斯最小A A是一个随机变量，所以期望运算是联合是一个随机变量，所以期望运算是联合PDF PDF P P（x x，A A）求取的，这是求取的，这是M

21、SEMSE与经典估计本质上的与经典估计本质上的不同。为了表示区别，我们采用符号不同。为了表示区别，我们采用符号BmseBmse。A2( )() Bmse AE AA2022-4-18SDE_09 MLE2610.3 先验知识和估计2( )()( ; )mse AAA p x A dx单变量与贝叶斯与贝叶斯MSEMSE2( )()( ; )Bmse AAA p x A dxdA双变量进行比较：蒙特卡洛模拟进行比较：蒙特卡洛模拟 经典的经典的MSEMSE通常与通常与A A有关，因此使有关，因此使MSEMSE是最小的是最小的估计量也与估计量也与A A有关，但是贝叶斯有关，但是贝叶斯MSEMSE就不同

22、。通就不同。通过积分消除了参数的依赖性。过积分消除了参数的依赖性。为了正确评价两者的差别，将经典为了正确评价两者的差别，将经典MSEMSE2022-4-18SDE_09 MLE2710.3 先验知识和估计 我们推导使贝叶斯我们推导使贝叶斯MSEMSE最小的估计量。最小的估计量。 首先，应用贝叶斯原理，可写出：首先，应用贝叶斯原理，可写出： 所以所以 由于对于所有的由于对于所有的x x而言有而言有 ，如果括号内的，如果括号内的积分对每一个积分对每一个x x能够最小，那么贝叶斯能够最小，那么贝叶斯MSEMSE最小。最小。( ,)() ( )P x AP A x P x2( )()()( )Bmse

23、 AA A P A x dA p x dx ( ) 0P x 2022-4-18SDE_09 MLE2810.3 先验知识和估计22()()()()2()2()AA P A x dAAAAP A x dAAAP A x dAAP A x dA ()AAP A x dA 根据拉格朗日求极限有根据拉格朗日求极限有或最终或最终 得得()AE A x 令等式等于零，得令等式等于零，得2022-4-18SDE_09 MLE2910.3 先验知识和估计 因为条件因为条件PDFPDF积分必须等于积分必须等于1 1。可以看出使贝叶。可以看出使贝叶斯斯MSEMSE最小的最佳估计量是后验最小的最佳估计量是后验PD

24、FPDF 的均值。的均值。后验后验PDFPDF是指得到观测数据后是指得到观测数据后A A的的PDFPDF。与此相对，与此相对，P(A)P(A)或者或者()P Ax( )( ,)P Ap x A dx可以看出作为可以看出作为A的先验的先验PDF，它表示它表示在数据被观测到之前的在数据被观测到之前的PDF。2022-4-18SDE_09 MLE3010.3 先验知识和估计 今后我们称贝叶斯今后我们称贝叶斯MSEMSE最小的估计量为最小的估计量为最小均最小均方误差（方误差（MMSEMMSE）的估计量。的估计量。 观测数据影响观测数据影响A0A01/2A0P(A)A(a)先验PDFA0A0()E A

25、xx()p A x(b)后验PDF2022-4-18SDE_09 MLE3110.3 先验知识和估计 在确定在确定MMSEMMSE估计量时，我们首先需要后验估计量时，我们首先需要后验PDFPDF。可以利用贝叶斯规则确定后验可以利用贝叶斯规则确定后验PDFPDF() ( )() ( )()( )() ( )p x A p Ap x A p AP A xP xp x A p A dA注意()p Ax 分母正好是一个与分母正好是一个与A A无关的归一化因子，无关的归一化因子， 它可以保证它可以保证 积分是积分是1 1。2022-4-18SDE_09 MLE3210.3 先验知识和估计222( )(

26、)( )11exp( )22xpx n Apx nA Apx nAx nA21202211()exp( ) 2(2)NNnp x Ax nA 因此因此 如果我们有如果我们有2022-4-18SDE_09 MLE3310.3 先验知识和估计 后验后验PDFPDF为为00212022002120220011exp( ) 22 (2)()11exp( ) 22 (2)0NNnNANAnx nAAAAp Axx nAAAA2022-4-18SDE_09 MLE3410.3 先验知识和估计 但是但是 所以，我们有所以，我们有112220012220( )2() NNnnNnx nAxNAxNAN Axx

27、 nNx2022011exp()()220AxAAp A xcNNAA归一化因子2022-4-18SDE_09 MLE3510.3 先验知识和估计 因子因子C C是跟据是跟据 积分等于积分等于1 1的要求来确定的，的要求来确定的，于是，于是，()p A x0022211exp()22AACAxdANN0000222222()()11ex p () 2211ex p () 22AAAAAEA xA pA x d AAAxd ANNAxd ANN MMSE估计量的均值2022-4-18SDE_09 MLE3610.3 先验知识和估计 当当N N增加时，得到后验增加时，得到后验PDFPDF变得更加集

28、中在变得更加集中在 周围（因为周围（因为 降低）因而变的更接近高斯分布。降低）因而变的更接近高斯分布。x2NA0A0()E Axx()p A x(a)短数据记录A0A0()p A x()x EAx(b)大数据记录2022-4-18SDE_09 MLE3710.3 先验知识和估计 总结总结 参数估计的贝叶斯方法假设要估计的参数是随机参数估计的贝叶斯方法假设要估计的参数是随机变量变量 的一个实现。这样，对它指定一个先验的一个实现。这样，对它指定一个先验PDF PDF 。在观测到数据后，后验在观测到数据后，后验PDFPDF 概括了对这个参数的了解情况。对概括了对这个参数的了解情况。对 的的所有现实和

29、所有现实和x x，使平均使平均MSEMSE最小的估计量定义为最小的估计量定义为最佳估计量，即所谓的贝叶斯最佳估计量，即所谓的贝叶斯MSEMSE。 ( )P()Px()()Expx d先验先验PDF的选择是很关键的。的选择是很关键的。错误的选择将导致差的估计。错误的选择将导致差的估计。2022-4-18SDE_09 MLE38 对对于于运动运动方向的判方向的判断断 对对于升于升温温/ /降降温温的判的判断断 对对于可能位置的判于可能位置的判断断2022-4-18SDE_09 MLE3910.4选择先验PDF Choosing a Prior PDF Choice is crucialChoice

30、 is crucial关键关键: : 1.Must be able to justify it physically与物理特性一致 2.Anything other than a Gaussian prior will likely result in no closed-form estimates除高斯分布，均很难获得闭合解 We just saw that a uniformWe just saw that a uniform格式 priorprior先验 led to a led to a non-closed form non-closed form Well see here an

31、 example where a Gaussian prior gives a closed form So? there seems to be a trade-off between:在两者之间均衡：接近真实情况 得到闭合解 Choosing the prior PDF as accurately as possible Choosing the prior PDF to give computable closed form2022-4-18SDE_09 MLE4010.4 选择先验PDF Choosing a Prior PDF() ( )()() ( )p xppxp xpd2221

32、1()exp() 22AAAp x AA我们在实际中实现我们在实际中实现MMSE估计量时，不得估计量时，不得不借助数值积分。此时后验不借助数值积分。此时后验PDF变为变为对实际的对实际的MMSE估计量，我们需要使用闭合形式表示。估计量，我们需要使用闭合形式表示。例例10.1WGN中的中的DC电平高斯先验电平高斯先验PDF均匀分布比较难以积分，本例中我们考虑高斯先验均匀分布比较难以积分，本例中我们考虑高斯先验PDF2022-4-18SDE_09 MLE4110.4 选择先验PDF 现在如果现在如果21202211()exp( ) 2(2)NNnpAx nAx1222022111exp exp(2

33、)22(2)NNnx nNANAx() ( )()( )1exp( )21exp( )2p x A p AP A xP xQ AQ A dA2022-4-18SDE_09 MLE4210.4 选择先验PDF接着，我们对Q（A）有22222222222222222( )1()2()AAAAAAAAAANNAxAQ AANNAxA2022-4-18SDE_09 MLE4310.4 选择先验PDF22222211()A xAAA xA xANNx222222222222(2)()A xAAA xA xA xAA xA xAA xA xAA xQAAA令令那么那么2022-4-18SDE_09 MLE

34、4410.4 选择先验PDF 所以所以22222222222222211exp() exp22()11exp() exp2211exp() 22A xAA xAA xA xA xAA xAA xA xA xA xA xAP A xAdAA2022-4-18SDE_09 MLE4510.4 选择先验PDF22222()1AAA xA xANxAE A xN222222(1)AAAAANAxxNN MMSEMMSE的估计量得的估计量得 最后，最后，MMSEMMSE估计量是估计量是2022-4-18SDE_09 MLE4610.4 选择先验PDF 当数据记录长度当数据记录长度N N增加时，后验增加时

35、，后验PDFPDF变得更窄。变得更窄。这是因为这是因为2221var()1A xAA xN()P A x3Ax2A1AA( )P A123NNN增加数据长度对后验PDF的影响观测先验估计2022-4-18SDE_09 MLE4710.4 选择先验PDF2( )()()( )var() ( )Bmse AAE A xP A x dAp x dxA x p x dx2( )()( ;)Bmse AAAp x A dxdA正如我们最初声称的那样，利用正如我们最初声称的那样，利用先验值是可以提高估计量精度。先验值是可以提高估计量精度。2( )() Bmse AE AA由于由于 ()AE A x2022

36、-4-18SDE_09 MLE4810.4 选择先验PDF 我们看到贝叶斯我们看到贝叶斯MSEMSE恰好是后验恰好是后验PDFPDF的方差对的方差对x x的的PDFPDF取取平均。平均。2221()( )1A xABmse Ap x dxN2A x2222( )()AABmse ANN 因为因为 与与x x无关。上式可重写为无关。上式可重写为 这样最后我们看到这样最后我们看到2( )Bmse AN很明显，在贝叶斯意义下建模的任何先验知识都很明显，在贝叶斯意义下建模的任何先验知识都会改善贝叶斯估计量的性能。会改善贝叶斯估计量的性能。2022-4-18SDE_09 MLE4910.5 高斯PDF的

37、特性 通过考察高斯通过考察高斯PDFPDF来推广上一节的结论来推广上一节的结论 考虑联合高斯随机矢量考虑联合高斯随机矢量 ，它的，它的PDFPDF是是Txy112( )( )11( , )exp( )( )22 det ( )Tx E xx E xp x yCy E yy E yc( )( )xE xEyE y 目标：推导高斯先验条件下，后验PDF是否高斯 也称为二维高斯也称为二维高斯PDFPDF。均值矢量和协方差矩阵均值矢量和协方差矩阵2022-4-18SDE_09 MLE5010.5 高斯PDF的特性 沿着沿着PDF PDF 是常数的等值线，则是常数的等值线，则x x，y y满足满足var

38、( )cov( , )cov( , )var( )xx yCy xy( , )P x y1( )( )( )( )TxE xxE xCyE yyE y为常数的那些值。为常数的那些值。2022-4-18SDE_09 MLE5110.5 高斯PDF的特性 一旦观测值到一旦观测值到x x，比如说比如说x x0 0，那么那么y y的条件的条件PDFPDF变变为为00000(, )(, )()()(, )p xyp xyp y xp xp xy dy0()p y x( )E y0()E y x0 x( )E x归一化二维PDF的恒定密度等值线 如果如果x x和和y y是联合高斯的，那么先验是联合高斯的，

39、那么先验PDF PDF 和后验和后验PDFPDF也是高斯的也是高斯的2022-4-18SDE_09 MLE5210.5 高斯PDF的特性 定理定理10.110.1（二维高斯条件（二维高斯条件PDFPDF）如果如果x x和和y y服从二服从二维高斯维高斯PDFPDF，均值矢量为均值矢量为 , ,则协方差矩则协方差矩阵阵 所以所以TE(x)E(y)var( )cov( , )cov( , )var( )xx yCy xy112( )( )11( , )exp( )( )22 det ( )Tx E xx E xp x yCy E yy E yc2022-4-18SDE_09 MLE5310.5 高

40、斯PDF的特性 那么条件那么条件PDF PDF 也是高斯的，且也是高斯的，且 假设假设x x和和y y不是独立的，因而不是独立的，因而covcov（x x，y y）不等于不等于零，后验零，后验PDFPDF变得更为集中，因为关于变得更为集中，因为关于y y的不确的不确定度较少。定度较少。 ()p y x2cov( , )()( )( )var( )cov ( , )var()var( )var( )x yE y xE yxE xxx yy xyx2022-4-18SDE_09 MLE5410.5 高斯PDF的特性 为了证明，我们注意到为了证明，我们注意到 其中其中 从前的讨论可认识从前的讨论可认

41、识 是观测到是观测到x x后后y y的的MMSEMMSE估计量，所以有估计量，所以有22cov ( , )var()var( ) 1var( )(1)var( )var( )x yy xyyxycov( , )var( )var( )x yxy()E y x2022-4-18SDE_09 MLE5510.5 高斯PDF的特性 采用归一化形式，上式变为采用归一化形式，上式变为 即即cov( , )( )( )var( )x yyE yxE xx( )cov( , )( )var( )var( )var( )var( )yE yx yxE xyxyxnnyx2022-4-18SDE_09 MLE5

42、610.5 高斯PDF的特性 如果随机变量已经归一化，那么恒定如果随机变量已经归一化，那么恒定PDFPDF等值线等值线如图：如图：0()p y x00()yE y xx0 xx归一化双变量PDF的常数密度等的值线yx2022-4-18SDE_09 MLE5710.5 高斯PDF的特性 最小最小MSEMSE为为 由于后验方差与由于后验方差与x x无关，因此，估计量的质量与无关，因此，估计量的质量与相关系数有关，相关系数是相关系数有关，相关系数是x x和和y y之间统计依赖性之间统计依赖性的质量。的质量。2( )var() ( )var()var( )(1)Bmse yy x p x dxy xy

43、2022-4-18SDE_09 MLE5810.5 高斯PDF的特性 定理定理10.210.2（多维高斯条件（多维高斯条件PDFPDF）如果如果x x和和y y是联合是联合高斯，其中高斯，其中x x是是 ，y y是是 ，均值矢量是，均值矢量是 ，分块协方差矩阵是，分块协方差矩阵是所以所以1k1l( )( )TTTE x E yxxxyyxyyCCkkklCCClkll11122( )( )11( , )exp( )( )22det ( )TkxE xxE xp x yCyE yyE yc2022-4-18SDE_09 MLE5910.5 高斯PDF的特性 那么条件那么条件PDF PDF 也是高

44、斯的，且也是高斯的，且 ()p y x1()()( )yxxxEy xEyCCxE x1yyyxxxxyy xCCC CC2022-4-18SDE_09 MLE6010.6 贝叶斯线性模型 令数据模型为令数据模型为 这个模型称贝叶斯一般线性模型。这个模型称贝叶斯一般线性模型。 令令xHw0HwHIzIw TTTzx2022-4-18SDE_09 MLE6110.6 贝叶斯线性模型 我们把我们把x x看作为看作为 ，将，将y y看作为看作为 ，得均，得均值为值为 和和w w是无关的，所以协方差为是无关的，所以协方差为 互协方差矩阵为互协方差矩阵为( )()( )E xE HwHEHHw( )(

45、)E yE( )( ) )TxxTwCE x E xx E xHC HC( )( ) ()( () TTTCyxE y E yx E xEHwC H2022-4-18SDE_09 MLE6210.6 贝叶斯线性模型 定理定理10.310.3（贝叶斯一般线性模型得后验（贝叶斯一般线性模型得后验PDFPDF） 如果观测数据如果观测数据x x可以写为可以写为那么后验那么后验PDF PDF 是高斯分布的。它的均值为是高斯分布的。它的均值为它的协方差为它的协方差为xHw()p y x1()() ()TTwExC HHC HCxH1()TTwxCCC HHC HCH2022-4-18SDE_09 MLE6

46、310.6 贝叶斯线性模型 例例10.2 10.2 WGNWGN中的中的DCDC电平高斯先验电平高斯先验PDFPDF（继继续）续） 因为因为xn=A +wn,n=0,1,.,N-1,xn=A +wn,n=0,1,.,N-1, , ,wnwn是方差为是方差为 的的WGNWGN，且与且与A A相互独立，相互独立，我们有贝叶斯一般线性模型我们有贝叶斯一般线性模型根据定理根据定理10.310.3， 是高斯的，且是高斯的，且2(,)AAAN 2A1xAw()p A x2221()1 (11) (1)TTAAAAE A xIx2022-4-18SDE_09 MLE6410.6 贝叶斯线性模型 利用利用Wo

47、odburyWoodbury恒等式有恒等式有 所以所以222122211(11 )1TATAAIIN 222222211()1(1)()TTAAAAAAAAE A xIxNxN2022-4-18SDE_09 MLE6510.6 贝叶斯线性模型1()TTwxCCC HHC HCH222212var()1 (11) 1TTAAAAA xI 为了求后验方差我们利用为了求后验方差我们利用 最后得到最后得到 这样这样222222222222222211var()11TTAAAAAAAAAA xINNNNNN2022-4-18SDE_09 MLE6610.7 多余参数 除了我们感兴趣的参数子集外，剩余的参数只会除了我们感兴趣的参数子集外，剩余的参数只会使问题变得复杂，我们称为多余参数。使问题变得复杂，我们称为多余参数。 在贝叶斯方法中，我们可以通过对多余参数积分在贝叶斯方法中，我们可以通过对多余参数积分来消除它们。来消除它们。 如