（信号与信息处理专业论文）稀疏信号处理在无线通信中的应用.pdf

北京邮电大学硕士学位论文 稀疏信号处理在无线通信中的应用 摘要 本论文中我们利用信号的稀疏性解决一系列无线通信中的问题。 我们将稀疏性作为先验知识，在信号处理中加以利用，并将一类可以 用该思路解决的问题定义为稀疏信号处理问题。 论文中我们讨论了激励稀疏正则化优化、确定先验分布贝叶斯方 法、参数化贝叶斯方法和贪婪m a t c h i n gp u r s u i t 等稀疏信号处理方法。 我们将。范数正则化应用于稀疏贝叶斯学习，给出了一种能够直接解 释稀疏贝叶斯学习能够收敛至稀疏解的推导。 我们将稀疏信号处理应用于冲击噪声下的o f d m 信道估计问题。 我们利用。范数正则化还原冲击噪声分量并消除其影响。我们还提出 了一种基于i f f t 和门限的快速近似算法，也具有不错的性能。仿真 结果显示我们的两种算法可以显著提高冲击噪声下o f d m 信道估计 性能。 我们将稀疏贝叶斯学习应用于稀疏信道下的o f d m 盲均衡。我 们将稀疏贝叶斯学习与序列蒙特卡罗盲均衡算法结合，提高了原算法 的性能。基于增加粒子数量对信号空间进行采样的低效率，和稀疏贝 叶斯学习提高了t r a i l 分布的质量的特点，我们提出了一种低复杂度的 稀疏贝叶斯盲均衡算法。我们还利用迭代均衡提高了一个o f d m 符 号中前几个符号的估计质量，进一步提高了算法性能。 我们将稀疏信号处理应用于q a m 盲均衡。我们将接受的q a m 信号取反排序后进行差分，获得了稀疏信号。我们利用范数作为代 价函数激励稀疏性，让均衡输出能收敛到星座点上。我们的算法复杂 度较高，但可以在一个o f d m 符号内收敛，该特性是其他同类算法 所不具备的。 关键词：稀疏信号处理冲击噪声信道估计稀疏信道盲均衡稀疏 星座调制 北京邮电大学硕士学位论文 t h ea p p l i c a t i o no f s p a r s es i g n a lp r o c e s s i n g i nw i r e l e s sc o m m u n i c a t i o n s a b s t r a c t t h et h e m ef o rt h i st h e s i si st oe x p l o i ts p a r s i t yi nan u m b e ro fw i r e l e s s c o m m u n i c a t i o np r o b l e m s w ef o r m u l a t et h e s p a r s i t yp r o p e r t ya sp r i o r i n f o r m a t i o nt ob eu t i l i z e di ns i g n a lp r o c e s s i n gp r o b l e m s ，a n dd e f i n ea b r o a dr a n g eo fp r o b l e m sa p p l i c a b l et ot h i s p a r a d i g ma ss p a r s es i g n a l p r o c e s s i n gp r o b l e m s 。 s p a r s i t ye n f o r c i n g r e g u l a r i z a t i o no p t i m i z a t i o n ， f i x e d s p a r s i t y i n d u c i n gp r i o rb a y e s i a nm e t h o d s ，p a r a m e t e r i z e dp r i o rb a y e s i a n m e t h o d sa n dg r e e d ym a t c h i n gp u r s u i ta l g o r i t h m sa r ei n t r o d u c e di nt h i s t h e s i s w ed e r i v es p a r s eb a y e s i a nl e a r n i n g ( s b l ) b ya p p l y i n g 。n o r n l r e g u l a r i z a t i o nt op r i o rp a r a m e t e r s ，w h i c hd i r e c t l ye x p l a i n sw h ys b lc a n c o n v e r g et oas p a r s es o l u t i o n w ea p p l ys p a r s es i g n a lp r o c e s s i n gt oo f d mc h a n n e le s t i m a t i o nu n d e r i m p u l s en o i s e w ef i r s tu s e l n o r m r e g u l a r i z a t i o nt o r e c o v e rt h e i m p u l s en o i s ec o m p o n e n ta n dc a n c e l i t si m p a c t t h e nw ed e v e l o p e di f f t a p p r o x i m a t i o na l g o r i t h mw i t ht h r e s h o l d i n g ，w h i c hs c a r i f i e sal i t t l e p e r f o r m a n c e f o ra b i g r e d u c t i o ni n i m p l e m e n t a t i o nc o m p l e x i t y s i m u l a t i o nr e s u l t ss h o wt h a tb o t ho fo u ra l g o r i t h m sc a ni m p r o v eo f d m c h a n n e le s t i m a t i o np e r f o r m a n c es i g n i f i c a n t l yu n d e rv a r i o u si m p u l s en o i s e e n v i r o n m e n t s w ea p p l y s p a r s eb a y e s i a nl e a r n i n g ( s b l ) t o b l i n do f d m e q u a l i z a t i o nf o rs p a r s em u l t i p a t hc h a n n e l s w ei n t e g r a t et h e s p a r s e b a y e s i a nl e a r n i n ga l g o r i t h mi n t ot h es m cb l i n dr e c e i v e rt oi m p r o v et h e p e r f o r m a n c eu n d e rs p a r s ec h a n n e l s b a s e do nt h eo b s e r v a t i o nt h a t i n c r e a s i n gt h ep a r t i c l en u m b e rt os a m p l et h es i g n a ls p a c ei si n e f f i c i e n t ， a n dt h a ts b li m p r o v e st r a i ld i s t r i b u t i o nq u a l i t y , w ep r o p o s ean o v e ll o w c o m p l e x i t yd e t e r m i n i s t i cs p a r s eb a y e s i a nb l i n de q u a l i z e r w ea l s ou s e i t e r a t i v ee q u a l i z m i o nt oi m p r o v et h ee s t i m a t eo ft h ef i r s tf e ws y m b o l si n a no f d ms y m b o l ，w h i c hf u r t h e rr e d u c e sb e rr a t e w ea p p l ys p a r s es i g n a lp r o c e s s i n gt oq a mb l i n de q u a l i z a t i o n w e d i f f e r e n t i a t et h es o r t e di n v e r s eo ft h eq a m s i g n a l s ，t og e tas p a r s es i g n a l w i t ho n l yaf e wn o n z e r oe l e m e n t s t h e nw eu s e ln o r mc o s tf u n c t i o n t oe n c o u r a g es p a r s i t ys ot h a te q u a l i z a t i o no u t p u tc a nc o n v e r g et ot h e c o n s t e l l a t i o np o i n t s o u ra l g o r i t h mh a sa r e l a t i v e l yh i g hc o m p l e x i t y , b u t i t c a nc o n v e r g ew i t h i no n eo f d m s y m b o l ，w h i c hi sn o tp o s s i b l ef o rm a n y o t h e rb l i n de q u a l i z a t i o na l g o r i t h m sb a s e do np r o p e r t yr e c o v e r y k e yw o r d s ：s p a r s e s i g n a lp r o c e s s i n g ，i m p u l s en o i s e ，c h a n n e l e s t i m a t i o n ，s p a r s ec h a n n e l ，b l i n de q u a l i z a t i o n ，s p a r s e c o n s t e l l a t i o n m o d u l a t i o n 独创性( 或创新性) 声明 本人声明所旱交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对奉研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论 本人签名： ，本人承担一切相关责任。 日期：竺垒! 墨：翌 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校 攻读学位期间论文工作的知识产权尊位属北京邮电大学。学校有权保留并向国家有关部 门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅：学校可以公布学位论 文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围， 本人签名：镪鱼 刷磁名弓。僻 适用本授权书。 日期：涮，；幻 第一章绪论 1 1 稀疏信号处理概论 第一章绪论 在信号处理领域中，很大一部分信号都具备稀疏特性。即信号自身或其某一 变换的大部分元素为零，仅有少数元素非零。一部分信号自身即具备稀疏特性， 如无线信道的冲击响应、冲击噪声等；另。部分信号在经过正交变换后满足稀疏 特性，比如语音和图像信号就住傅立叶变换域、离散余弦变换或小波变换后通常 具有稀疏性。另一方面，有限的正交基不可能理想适应各种信号，因此学术界提 出采用大量冗余的特征集作为基向量，并发展出与之相对应的稀疏信号表示问题 ( s p a r s er e p r e s e n t a t i o np r o b l e m ) 。另外在模式识别和机器学习领域，利用稀疏回 归( s p a r s er e g r e s s i o n ) 寻求满足稀疏特性的回归参数可以避免以避免过拟合问题 ( o v e rf i t t i n g ) 并获得最佳的泛化( g e n e r a l i z a t i o n ) 特性【1 】。利用信号的稀疏特性，还 发展出了一套压缩传感理论【2 】，可以以低于奈奈斯特采样速率的采样率对稀疏 信号进行采样，并无差错还原，可以应用于语音图像信号处理、稀疏信号检测和 信道编码等领域。 1 - 2 稀疏信号处理问题描述 我们首先给出信号稀疏性的量化方法。通常采用信号中非零元素的个数描述 信号的稀疏性，定义 ：全mi 1 x i o ( 1 - 1 ) 其中i 【】为指标函数。由于0 x i i 。2p l i 。m l x i i ，尽管i i x i i 。不具备范数的特性，以 下我们仍简称i i x l i 。为。范数a 稀疏信号表示问题即要找到一个目标信号在一组冗余基下的稀疏表示， y = m x + n( 1 2 ) 其中y r n 是观测向量，x 是满足稀疏特性权重，1 1 1 是高斯噪声，m 碾搬材 是由m 个特征向量构成的字典。稀疏信号表示问题即要通过y 和m ，以及x 的 稀疏特性，估计x 。 在常见稀疏信号表示问题中，经常遇到m 的情况，即需要估计的x 的维 度大于观测向量y 的维度。此时由y 估计x 为欠定( u n d e r d e t e r m i n e d ) 彭j ，有无穷多 组解。 第1 页 北京邮电人学硕士学位论文 1 3 论文的内容和贡献 论文的第一个贡献是，对参数化贝叶斯稀疏信号估计中的先验分布参数进行 。范数正则化，由此推导出了稀疏贝叶斯学习方法，理论上直接解释了其能收 敛至稀疏解的原因。在应用方面，我们将稀疏信号处理分别应用于无线通信中的 冲击噪声信道估计，稀疏信道盲均衡和稀疏调制星座盲均衡问题，或降低了原有 算法的复杂度，或提高了原有算法的性能，或一个新的角度给出了解决某通信问 题的新方法。 第二章，我们以。范数正则化方法为基础，介绍了稀疏信号表示的优化方 法，确定先验分布贝叶斯方法，参数化先验分布贝叶斯方法，以及m a t c h i n gp u r s u i t 方法。在本章中，我们通过对对参数化先验分布中的参数采用。范数正则化方 法，给出了稀疏贝叶斯学习的一种新推导。该推导可以直观解释稀疏贝叶斯学习 能够收敛至稀疏解的原因。 第三章，我们将稀疏信号处理应用于冲击噪声信道估计问题。我们利用冲击 噪声在时域可以看作稀疏星号的特点，将导频数量大于时域信道响应长度时由残 差信号估计冲击噪声的问题建模为欠定稀疏信号还原问题。首先通过以范数估计 冲击噪声的充分统计量，部分消除冲击噪声的影响，减小冲击噪声对最小乘信 道估计的影响。我们还提出了一种i f f t 近似算法，利用非线性处理分离冲击项， 具有较低的复杂度。我们的算法可以上作，丁各种信干噪比。仿真结果表明，我们 的算法可以显著提高在冲击噪声环境下的o f d m 信道估计性能。 第四章，我们将稀疏贝叶斯学习应用于稀疏时域信道响应的o f d m 盲均衡 问题。以往。范数正则化和m a t c h i n gp u r s u i t 已被应用与稀疏信道估计问题，并 被证明能提高信道估计性能。我们采用的稀疏贝叶斯学习方法较其他稀疏信号还 原算法有更低的结构性错误和收敛错误。同时稀疏贝叶斯学习基于贝叶斯估计框 架，可以很好的适应有噪声情况，并可以方便的应用于基于贝叶斯方法的盲均衡 算法。我们将稀疏贝叶斯学习与序列蒙特卡罗盲均衡算法结合，提高了原算法的 性能。同时注意到采用稀疏贝叶斯学习后粒子质量提高，我们还提出了一种低复 杂度的确定性稀疏贝叶斯盲均衡算法。迭代使用可以提高前几个符号的估计质 量，获得最佳性能，但复杂度只有序列蒙特卡洛算法的数十分之一。尤其适用于 信道长度较长的信道。 第五章，我们将q a m 调制信号经排序和差分变换后映射为稀疏信号。在使 用，。范数衡量稀疏性的情况下，我们口j 以构造出一个凸函数作为代价函数，利用 调制信号的稀疏性对q a m 调制信号进行盲均衡。我们以o f d m 系统为例，讨 论了该代价函数的最优解和正确信道响应的关系，对不同信道模型分析了算法出 现结构性错误的概率。我们讨论在不确定最大能量径相位情况下，最内侧星座点 判决反馈法和迭代相位法狱得无发散均衡输出的原理。并通过仿真比较了两种方 法在不同信道和调制方式下的性能。我们的算法性能较为理想，并可以通过增加 第2 页 第一章绪论 o f d m 符号的数目进一步提高性能。我们的算法复杂度较高，但最大特点在于 仅需一个o f d m 符号即可获得信道估计，较其他需要大量o f d m 符号才能收敛 的算法优势明显。 第六章，我们总结了本论文的t 作，并对稀疏信号处理珊论和应用方面以后 的研究方向提出展望。 第3 贞 北京邮l u 大学硕士学化论文 第二章稀疏信号估计方法 求解欠定的稀疏信号表示问题需要利用信号的稀疏特性，通过优化方法或贝 叶斯方法求解。优化方法往往采用信号的稀疏性作为正则化( r e g u l a r i z a t i o n ) 指标， 以找到最稀疏解 3 。确定先验分布贝叶斯方法利用信号稀疏的先验知识，采用 倾向于稀疏特性的先验分布，通过最大后验概率法求解。参数化贝叶斯方法，或 称稀疏贝叶斯学习采用参数化先验分布假设，通过e m 算法让多数参数收敛为 零，间接保证信号的稀疏性【4 】。还有一类基于组合优化和贪婪算法的m a t c h i n g p u r s u i t 算法，包括b a s l cm a t c h i n gp u r s u i t 5 1 、o n h o g o n a lm a t c h i n gp u r s u i t 6 1 、t r e e b a s e dm a t c h i n gp u r s u i t 等，具有较低的复杂度。本章中我们将介绍这几类方法的 基本算法，和之间的联系。在本章中，我们通过对对参数化先验分布中的参数采 用。范数正则化方法，给出了稀疏贝叶斯学习的一种新推导。该推导可以直观 解释稀疏贝叶斯学习能够收敛至稀疏解的原因。 2 1 正则化优化稀疏信号估计方法 2 1 1 反问题和正则化方法 我们首先考虑对一般信号下，前一节给出的系统模型 y = m x + n( 2 - 1 ) 中x 的求解。当噪声i l 服从均值为零，协方差为吒2 l 的高斯分布时，x 可以通过 最小化如下代价函数得到 以( x ) = 忡x y l l ； ( 2 2 ) 经常遇到m n 的情况，即需要估计的x 的维度大于观测向量y 的维度，此时由 y 估计x 为欠定( u n d e r d e t e r m i n e d ) 的，以上代价函数有无穷多组最小值。通常可 采用m o o r e p e n r o s e 伪逆，西+ 直接获得该问题的一个解。 对m 做奇异值分解( s v d ) ： m i n ( m ，n ) m = u z v 7 = uo , v ： i = 1 则西的m o o r e p e n r o s e 伪逆，矿可表示为 第4 页 ( 2 3 ) 第二章稀疏信号估计方法 足 = v ，o r - 1 u ： ，- i ( 2 4 ) n - - i 以获得i 的估计 i = ( 喜v 州) y = 粪争， 口5 ， j 可看作x 的近似，即将x 在矩阵m 的零空间中的分量设为零。当没有噪声 时，上述解是最优的。然而l h 于m 常常是病态的，当系统存在噪声时，上述方 法会严重放大噪声，造成无法获得x 的有效估计。有人量方法通过寻找对噪卢不 敏感的矿的近似，减少对噪声的放大。该类方法等价于利用x 的先验分布假设， 通过正则化项以( x ) ，扩充原代价函数以( x ) 。此时代价函数可以表示为 g ( x ) = j l ( x ) + 名以( x ) ( 2 - 6 ) 其中旯为正则化参数，权衡由观测数据控制的以( x ) ，和有先验知识控制的 以( x ) 。正则化项以( x ) 的引入，可以有效抑制仅仅采用j ，( x ) 为代价函数时最小 二乘解对噪声的放大，同时限定了x 自由解的个数。 根据对x 先验知识的不同，可以构造不同形式的j 2 ( x ) 。例如可以假设x 服 从高斯分布，可以有效抑制由m + 病态造成的噪声放人。此时 j 2 ( x ) = l l x d ( 2 - 7 ) ，( x ) = 以( x ) + 五以( x ) = 0 m x y l l ；+ + l l x l l i 该代价函数称作t i k h o n o v 代价函数，有解析解。 i = ( 喜v 州) y = 喜( 南融 ( 2 8 ) ( 2 - 9 ) f h 以上解的形式可以看出，采用在代价函数中加入以( x ) - - ix 眶正则化项实际 ，2、 相当于利用l _ i 作为加权因子，对由m o o r e p e n r o s e 伪逆m + 获得的最小二 o ；+ a ) 乘解进行加权，减小有小特征值项对噪声的放大。虽然狭得x 的估计抑制了噪声 的影响，而且该代价函数有解析解，但获得的x 不是稀疏的。而且由于该解是对 最小二乘解的加权，因此在估计i 中仍然4 i 能包括x 在的零空问中的分量。因 此对于稀疏信号表示问题，我们仍需要寻找有利稀疏性的( 1 。 第5 页 北京邮电人学硕士学位论文 2 1 2 ，范数正则化稀疏信号估计 由对信号稀疏性的定义可知，信号中非零元素的个数| j 1 i ：可以作为以( ) ，以 获得稀疏估计。此时 ，( x ) = ( x ) + 弛( x ) - - - i i + , , 一y l l ：+ 五| i x | | ： ( 2 一l o ) 由，( x ) 的全局最优解定是最稀疏解，然而由于：是非n 的，因此该优化 问题难以状得全局最优解。大部分优化算法往往只能收敛于局部最优解。我们称 这类错误为收敛错误。 当没有噪声时，寻找最稀疏信号对应的优化问题 妊r 。i a r g m i l l i x l l x2 ln s u b j e c tt o ( 2 - 1 1 ) m x = y 已被证明是n p - h a r d 的组合优化问题。因此通常采用。范数作为优化问题巾衡量 信号的稀疏性的约束项，以利于问题的求解。 大量应用中采用。范数近似。范数，衡量信号的稀疏性。 i i x l l 。全i x i ( 2 1 2 ) t = l 此时可构造代价函数 ( x ) = 以( x ) + 弛( x ) = 忡x y i l | + 五： ( 2 - 1 3 ) 近期一些理论结果表明，在无噪声条件下，采用。范数近似范数，在满 足某些对信号x 的稀疏性和m 的约束前提下，仍可以无失真的还原出稀疏信号 x 。而且。范数是凸函数，其优化问题可以方便求解。但由于。范数对稀疏性 的约束较松，一般情况下j ( x ) = 0 m x y 眶+ 训x 呲的全局最优解可能并非最稀疏 解，我们称此类错误为结构性错误。 因此可以采用。范数的p 次幂，作为稀疏性约束 | i x | l ：= ，p e ( o ，1 ) ( 2 - 1 4 ) i = l 此时的代价函数为 ( x ) = 以( x ) + 弛( x ) - - i i , i , x - y l l i + 五： ( 2 15 ) 第6 页 第_ 章稀疏信号估计方法 。范数对。范数的近似程度更好，然而由于其是非凸的，因此需要做凸近 似后才能利用现有高效的凸优化算法进行求解。当无噪声时，可以采用f o c u s s 算法求解 妊r g m。iargm i l l i x l x = i 。 i r s u b j e c tt o ( 2 - 16 ) t d x = y 尽管当p 很小时，。范数对。范数的近似程度更好，可以缓解，范数的结 构性错误，但采用。范数代价函数也会引入收敛到局部最优点造成的收敛性错 误。尽管如此，理论分析表明，。范数代价函数的局部最优点也仍保持稀疏特 性，因此在某些条件下。范数代价函数能获得较。范数代价函数更好的性能。 还有许多其他可以激励稀疏性的代价函数，我们在这里不予介绍。下面我们 将介绍贝叶斯稀疏信号估计方法和m a t c h i n gp u r s u i t 方法，并讲解他们与正则化 优化稀疏信号估计方法的联系。 2 2 确定先验分布贝叶斯稀疏信号估计方法 在贝叶斯框架下，解决稀疏信号表示问题的最简单的方法即采用最人似然 法，最大化p ( yx ) ，估计x 。当噪声为高斯噪卢时 虫= a r g m a x p ( yix ) = a r g 叫n 忡x y l l ； ( 2 - 1 7 ) = m t y 此时最大似然估计等同于最小二乘法估计。在无噪声情况下只能获得x 的近 似估计；在有噪声情况r 卜，则会m 现放大噪声的问题。 此时可以假设x 服从某种先验分布。例如可以假设x 服从均值为零，协方差 为l 的高斯分布，而噪声n 服从协方差为i 的高斯分布，此时x 的最大后验 概率估计为 i = a r g m a x p ( y i x ) p o ( x ) = m 7 ( 五i + m m ) 1 y ( 2 _ 1 8 ) 其中名全蠢吒2 。 可以看出，假设x 服从高斯分布获得的估计与前一节中采用t i k h o n o v 代价 函数获得的估计 第7 页 北京邮电人学硕士学位论文 曼= ( 喜v 硝) y - 喜( 禹融 陋 拓一u ：j y - 善【南j 挚t ( 2 。9 ) 在经过参数变换后是一致的。该估计可以有效抑制最小二乘解对噪声的放 大，同时限定了x 自由解的个数。 但由于 l i m m 7 ( 五i + m m 7 ) 1 = m ( 2 2 0 ) 当没有噪声时，最大后验概率解退化为最d - - - - - 乘解。而t i k h o n o v 代价函数 通过名的灵活选取则没有该问题。 贝叶斯方法与直接加入正则化稀疏代价函数的另一区别在于，在最人后验概 率估计中，如果已经确定噪声协方差和先验分布，则可直接确定五，避免了正则 化优化方法中确定最优权衡参数五的问题。但由于信号实际往往并不服从假设的 先验分布，因此采用t i k h o n o v 代价函数中灵活调整五，权衡观测数据y 的影响和 先验分布正则化代价函数项，可能可以比最大后验概率估计中固定选取 彳垒吒2 吒2 获得更好的性能。 假设x 服从均值为零，协方差为z i 的高斯分布虽然可以获得解析解，而且 可以抑制噪声的放大，但是获得的解趋向丁包含大量取值较小的非零元素，没有 利用信号的稀疏特性。有两种方法可以让我们获得稀疏解。本节中将介绍第一种 方法，寻找一种稀疏先验分布，其分布密度函数在零处有很；亩陡峭的峰值，并有 平缓尾部。下一节中将介绍第二种方法，假设带参数的先验分布，首先通过观测 数据y 估计先验分布中的参数，扶得有利稀疏解的稀疏分布，在进行最大后验概 率估计。 首先讨论直接选取激励稀疏性的先验分布做最大似然估计的方法和问题。与 前一节正则化优化方法中采用的稀疏代价函数：、i i x l l ：和i j x l 匕相对应，x 的先验 分布可以选取为 p 0 ( x ) 芘e x p 一i i x 明 ( 2 - 2 1 ) 风( x ) o ce x p i - i i x i i ：i ( 2 - 2 2 ) 风( x ) o ce x p l - i i x 引 ( 2 - 2 3 ) 通过参数变换，采用这i 种先验分布的x 最大后验概率解 虫= a r gm a ，xp ( yx ) p o ( x )( 2 - 2 4 ) 都可以分别转化为前一节的优化问题 i = a r g 叫n 咿x y 盼制1 0 ( 2 - 2 5 ) 第8 页 第一一章稀疏信号估计方法 i = a r g m 。i n 胁一y l l l + 4 1 1 x i i ： ( 2 - 2 6 ) i = a r g m ! n 懈训+ 喇叼 ( 2 - 2 7 ) 另外还可采用其他一些激励稀疏性的先验分布，在这里不再详述。 2 3 参数化先验分布与稀疏贝叶斯学习方法 2 3 1 采用参数化先验分布的原因 由前而的分析我们发现，事先确定先验分布存在着一些问题，即实际信号分 布与假设的先验分布不同。r 卜面我们讨论贝叶斯稀疏信号估计的第二类方法，即 贝叶斯学习方法。第二种方法假设带参数的先验分布，首先通过观测数据y 估计 先验分布中的参数，获得有利稀疏解的稀疏分布，在进行最大后验概率估计。 稀疏贝叶斯学习方法最早应用于模式识别中，提出了关联向量机( r e l e v a n c e v e c t o rm a c h i n e ) ，可以使用比支持向量机( s u p p o r tv e c t o rm a c h i n e ) 更少的基函数 获得更优异的性能。稀疏贝叶斯学习随后被引用于基选择( b a s i ss e l e c t i o n ) f 古j 题。 已经证明，在没有噪声情况下，稀疏贝叶斯学习采朋的似然函数的全局最优点对 应的最稀疏解，因此稀疏贝叶斯学习方法不会产生结构性错误。同时稀疏贝叶斯 学习似然函数的局部最优解也具备一些良好的特性，因此相比采用，范数和 。，p ( o ，1 ) 范数代价函数的算法也有较低的收敛错误概率。然而目前对稀疏贝 叶斯学习能够获得稀疏解的机制尚1 i 十分清楚。文献【4 】中阐述了稀疏贝叶斯学 习实际上是对x 的超参数化先验分布( u l j 假设进行x 的参数化先验分布中的参数 也是随机变量，其参数称作超参数) 变分近似后的证据最大化( e v i d e n c e m a x i m i z a i o n ) 获得的解。 由于在分析稀疏贝叶斯学习是如果采用超参数模型，假设x 的参数化先验分 布中的参数也是随机变量会导致推导过于复杂，不易理解。本节l l j ，我们将利用 将直接采用激励丫稀疏性的分布函数，给出稀疏贝叶斯学习另一种推导方式，能 够直接解释稀疏贝叶斯学习方法能够收敛至稀疏解的原因。随后我们还将介绍我 们的方法与原始稀疏贝1 斯学习算法的联系。 首先我们以有解析解的高斯先验分布为例，分析假设的先验分布与实际信号 分布4 i 同时的情7 兕，说明采用x 的参数化先验分布较采用固定先验分布的优点。 由前面的分析我们知道，以均值为零，协方差为仃：i 的高斯分布作为x 的先验分 布进行最大后验概率估计时，最大后验概率估计与t i k h o n o v 代价函数的最小解 形式上是一样的。区别在于用t i k h o n o v 代价函数中灵活调整权衡参数兄，权衡 观测数据y 的影响和先验分布正则化代价函数项。而最大后验概率估计的名是由 第9 页 北京邮i 乜大学硕士学位论文 信号先验分布的中的仃：确定的。由于假设的先验分布与实际稀疏信号分布1 i 同， 我们知道最大后验概率估计中的名肯定不是最优的。而采用t i k h o n o v 代价函数 时，则可以选取多个五分别进行求解，从中再选取最稀疏的一个解，其对应的名 才是最优的。 那么在贝叶斯框架下，如何彳能确定最优的权衡参数五呢? 我们可以通过参 数化先验分布假设，假设x 服从均值为零，协方差为y i 的正态分布，并首先通过 从) ! ! l l 测数据y 估计参数y ，确定先验分布，再进行最大后验概率估计。 的估计可以通过最大化p ( y ；厂) 获得 夕= a r g m a ，x p ( y ；7 ) = a r g 毒xp ( 小；比y ) 出 2 2 8 采用以上方法估计得到的少及其计算得到的旯尽管与按稀疏性标准实验或 的最优名仍有差别，但无疑对于当前的观测数据y 是较优的。 2 3 2 由参数，范数正则化推导稀疏贝叶斯学习 我们可以采用x 的参数化先验分布来提高稀疏信号估计的性能。可以采用如 下先验分布i 1 】 i 矧l l ( p o ( x ；r ) - - 2 巩) e x p ( _ 斋) (2-29)i 2 巩) e x | _ 击i ( 2 - 扛l 、， 选取该先验分布的首要原因是它具有良好的解析性，在确定y 后，x 为正态 分饰，而且可以直接获得表达式。 p ( xy ；丫，蠢) = ( p ，) ( 2 - 3 0 ) 其中 p = 2 。m7 1 y ( 2 - 3 1 ) 。= ( 砰m m 7 + r ) ( 2 - 3 2 ) 尽管该参数化先验分布并不能直接激励稀疏解，但我们可以通过保证丫稀 疏，间接保证x 的稀疏性。可以认为丫为一随机变量，其先验分布为稀疏分布， 这里为了分析问题直观，我们不再假设丫的分布中包含任何超参数。这点区别于 箱1 0 丽 第一= 章稀疏信号估计方法 【l 】中提出稀疏贝叶斯学习时对丫采用的超参数化g a m m a 分布，和 4 】中建立稀疏 贝叶斯学习和证据最大化理论联系时采用的一般假设检验模型“。 我们知道如下先验分布函数等价于对丫的优化加入p ，p 【o ，i 】范数正则化 代价函数，可以激励稀疏解。 ( 7 ) 芘e x p 一。丫0 ： ，p 【o ，l 】 ( 2 - 3 3 ) 通过最大化p ( y ；7 ，) 风( 丫) 获得丫的估计，等价于最小化 一i o g p ( y ；7 ，蠢) 岛( 丫) 。 f h - t - p ( yx ；蠢) 和p ( x ；7 ) 均为正态分布，p ( y ；1 ，蠢) 通过以下积分可以获得 闭式解 p ( yi 丫；) = p ( yx ；p ( x ；丫) 次 ：( 2 , 0 4 1 p 眇穹y q 。3 4 其中 y 全l + m r m r f = d i a g ( 7 ) 定义稀疏贝叶斯学习的代价函数 三= l 。g l y i + y f ；1 y + a l l t i i ： ( 2 - 3 5 ) ( 2 - 3 6 ) ( 2 3 7 ) 原始文献中【1 稀疏贝叶斯学习代价函数的定义与我们的接近，差别在于它 采用了g a m m a 分布作为丫i 的先验分布。 p ( 7 7 1 ) = n g 伽，z 口( 霄1la ，b ) ( 2 - 3 8 ) 选择g a m m a 分布是为了求解的方便。通常参数a 和b 的取值很小，如设为 1 0 4 ，此时丫近似于均匀分布。 采用g a m m a 分布时代价函数就相应变为了 厶= l o g | y | + y t 厶，- 1 y + 善n ( 幽g ( 丫i 1 ) 一州) ) ( 2 3 9 ) 可以采用迭代的方法，寻找代价函数的局部最优点。按照文献 1 】中的方法 将厶对丫，求导得到， 北京邮电人学硕士学位论文 筹= 一批( p 他) 口) 卜研卜钾- 2 其中 p = 砰。m r y ，= ( m m 7 + r 一) 一 r = d i a g ( y ) 当没有噪声时，可按如下方法取值 p = r ( m r 比) + y 。= ( i _ r i 坨( 州彪) t 西) r 类似的我们可以计算l 对7 ，的导数有 嚣= 一* ( p ；删州) 弛p ( 0 ，1 】 让导数取零，可以获得丫，的更新 采用l 。代价函数时， 订”：掣 ( 2 - 4 0 ) ( 2 4 1 ) ( 2 - 4 2 ) ( 2 - 4 3 ) ( 2 - 4 4 ) ( 2 - 4 5 ) ( 2 - 4 6 ) ( 2 - 4 7 ) 其中p 、。由丫；j ，确定。这就是现有稀疏贝叶斯学习q j 迭代估计丫，的方法。 该方法被证明与采用e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法最大化获得的解是一致 的，因此可以保证算法的收敛性。e m 算法中将x 作为隐藏变量，最大化完全数 据集 x y 的概率p ( y ，x ；丫，蠢) 的期望t 耐。，砖 p ( y ，x ；丫，) 。 丫，可以通过如下迭代获得 ( 丫) = a r gm a x r , ：o ew ，砖 p ( y ，剐，) = a 唱鼍野t ，西 p ( y l x ；) p ( x ；y ) 一r gm a o x5 埘，砖【p ( x ；丫) 】( 2 - 4 8 ) = ，西吲 = i 一( i ) 第1 2 页 第二章稀疏信号估计方法 可以看出，采用e m 算法估计丫，与前面采用厶代价函数，a 和b 等于零时 的结果是一致的。 当采用我们的三代价函数时，经过参数变换，方程 名r 刀，2 + 丫，一( p ；+ ( ，) ，) ，pc ( o ，i i 的解即可作为丫y 。 ：型掣 我们注意到，当p 专0 时，采用我们算法中 丫? = 1 a ；+ ( ，) “ ( 2 - 5 0 ) 这与采用g a m m a 分布，a 和b 取值很小时的丫的更新算法是一样的。由 此我们解释了为什么现有稀疏贝叶斯学习均假设y 服从不具备激励稀疏解的 g a m m a 分布，而y 仍然可以收敛至稀疏解的原因。文献从另一个角度中阐述了 原有稀疏贝叶斯学 - j 与对x 的超参数化先验分布作变分近似后的证据最大化 ( e v i d e n c em a x i m i z a i o n ) 算法的联系，以及可以收敛至稀疏解的原因。相比之下， 我们的推导直接利用了丫的稀疏先验分布，更为直观。 由上述步骤我们可以获得x 的先验分布中的参数丫，接下来就可以通过最大 后验概率法估计x 了。由于确定1 后，x 服从正态分布 i = a r g m 。a x p ( yx ；蠢) 鳓( x ；丫) - - e ( x l y ；y ，蠢) ( 2 - 5 1 ) = 。扩y 2 4m a t c h i n gp u r s u i t 稀疏信号估计 上述介绍的f 则化优化稀疏信号还原算法和贝叶斯稀疏信号还原算法复杂 皮部较高，而且都是迭代求解，不能够在定次迭代内获得稀疏信弓的估计。因 此实际l l i 还有。类基于组合优化和贪婪算法的m a t c h i n gp u r s u i t 算法，包括b a s i c m a t c h i n gp u r s u i t 、o r t h o g o n a lm a t c h i n gp u r s u i t 、t r e eb a s e dm a t c h i n gp u r s u i t 等算 法，具有较低的复杂度。m a t c h i n gp u r s u i t 算法的问题在于，由于是贪婪算法， 因此不能保证算法能够收敛剑最稀疏解上。在无噪声条件下，压缩传感理论中已 经证明，当系统模型满足不确定性准则时，范数正则化代价函数优化可以保 证收敛至最优解，而m a t c h i n gp u r s u i t 算法这不具备该特性。下面简要介绍各种 第1 3 页 北京邮电人学硕士学位论文 m a t c h i n gp u r s u i t 算法。 。范数正则化代价函数优化要寻找全局最稀疏解，而b a s i cm a t c h i n g p u r s u i t s 5 算法则通过贪婪策略，逐步寻找稀疏信号中的非零元素。 考虑无噪声情况下的稀疏信号表示问题 y = o x( 2 5 2 ) 其中y r 。是贯彻向量，x 是满足稀疏特性权重，m 碾m m 是由m 个特征 向量构成的字典，满足r a n k ( m ) = n ，且各特征向量忡，i i - - 1 。 b a s i cm a t c h i n gp u r s u i t 算法首先将观测信号y 投影到字典西的一个列特征向 量上m 上，并计算残差e 。 y = ( y ，西南) + e 。( 2 - 5 3 ) e l 与m 正交，且满足 2 = | ( y ，m 九1 2 + l l e ，1 1 2 ( 2 5 4 ) 因此可以通过最大化i ( y ，m ) 1 2 让残差忙1 1 2 最小。因此可以选择m 而使其满足 l ( x ，九) 峨刚x ) i ( 2 - 5 5 ) 然后可以寻找下一个特征向量西 ，让残差e 。在西 上的投影产生的新残差i i e 2 i | 2 最小。 这样迭代k 此后 k - 1 y = ( y ，m 净五+ e k ( 2 5 6 ) 可以在0 e k i l 2 足够小时结束迭代，迭代结束时稀疏信号x 的估计为 j ，：k - iz ( 以一认y ，西 ) ( 2 5 7 ) j ，= z ( 以一州y ，西 ) ( 2 一 其中 z ( 小1 0 口= 0 ，) ( 2 - 5 8 ) 由于m 中的个列特征向量小是正交的，因此b a s i cm a t c h i n gp u r s