（电路与系统专业论文）稀疏贝叶斯学习理论及应用研究.pdf

摘要 近年来，稀疏贝叶斯学习方法成为机器学习中的一个研究热点，它能够充分 挖掘和利用数据的先验信息，假设先验信息的概率分布情况，对要解决的问题进 行合理的数学建模，来实现低维模型的学习。由于挖掘了数据的先验信息，因此 能够利用数据自身的特性对信号和图像实现最优的稀疏表示。稀疏贝叶斯学习的 关键难点在于；模型的选取和先验知识的假设。在研究稀疏贝叶斯学习理论的基 础上，本文深入探讨了在不同概率模型下的信号和图像稀疏建模与学习方法，主 要在如下几个方面开展了工作： ( 1 ) 提出一种基于快速贝叶斯匹配追踪算法( f a s tb a y e s i a nm a t c h i n gp u r s u i t ， f b m p ) 的稀疏学习机构造方法。f b m p 算法加入了稀疏系数服从混合高斯分布的 假设，比传统的贪婪匹配追踪算法的性能有了显著提高。本文在分析f b m p 算法 性能的基础上，将该算法用于学习机的结构稀疏化，提出一种基于f b m p 的稀疏 学习机方法。在压缩感知框架下，进一步通过压缩采样技术得到结构更加精简的 网络模型。将该方法用于双螺旋线数据的分类，实验结果显示：该方法能够得到 性能优良的学习模型，相比其他优化算法得到的学习机具有更好的性能。 ( 2 ) 实现了一种基于厶正则化的稀疏贝叶斯学习算法，在贝叶斯准则下给出 一种正则参数的学习方法。在稀疏贝叶斯学习中，假设稀疏系数服从l a p l a c e 分布， 引入了均匀正则化和独立正则化的思想，建立了，l 范数正则的稀疏贝叶斯学习模 型，研究了正则化参数的确定方法。针对一般最, j , - - 乘( o r d i n a r yl e a s ts q u a r e ， o l s ) 和非负最d - - 乘( n o n n e g a t i v el e a s ts q u a r e ，n l s ) 两种情况，提出在贝叶 斯准则下正则参数的学习算法，仿真实验验证了其有效性。 ( 3 ) 实现了图像稀疏表示的非参数稀疏贝叶斯学习，给出了在d i r i c h l c t 过程 和b e t a 过程两种分布下的非参数贝叶斯混合因子模型。对能够被约束在低维子空 间中高维图像数据进行低秩混合高斯模型的学习，该模型从给定的数据集中自动 学习得到混合元素的个数和因子个数，将其作为数据的先验知识用于图像的压缩 感知重建中，仿真实验分析了其有效性。 本文的工作得到了国家自然科学基金( 6 1 0 7 2 1 0 8 ，6 0 6 0 1 0 2 9 ，6 0 9 7 1 1 1 2 ， 6 1 1 7 3 0 9 0 ) ，教育部新世纪优秀人才支持计划( n c e t - 1 0 0 6 6 8 ) ，高等学校学科创 新引智计划( 111 计划) ：n o b 0 7 0 4 和中央高校基本科研业务费( j y l0 0 0 0 9 0 2 0 4 1 ) 的资助。 关键词：稀疏表示稀疏贝叶斯学习混合因子分析分层非参数贝叶斯压缩感知 稀疏贝叶斯学习理论及应用研究 a b s t r a c t i i i a b s t r a c t r e c e n t l yt h es p a r s eb a y e s i a nl e a r n i n g ( s b l ) a p p r o a c hh a sb e e nah o t s p o t r e s e a r c h i n ga r e ai nm a c h i n el e a r n i n g ，w h i c hc a l ll e a r nt h em o d e lo f l o wd i m e n s i o n a lb y f u l l yd i s c o v e r i n ga n du s i n gt h ep r i o ri n f o r m a t i o no ft h es i g n a l s b ls u p p o s e st h a tt h e p r i o ri n f o r m a t i o nh a sad i s t r i b u t i o nf u n c t i o nf o r m , t h e nm o d e lt h ep r o b l e m s ，a n dd e s i g n ae f f e c t i v e l yo p t i m i z a t i o na l g o r i t h mt os o l v et h i sp r o b l e m t h e r ea r et w od i f f i c u l t i e sf o r u s i n gs p a r s eb a y e s i a nl e a r n i n g , o n ei sh o w t oc h o o s et h eo p t i m i z a t i o nm o d e l ，t h eo t h e ri s h o wt oa s s u m et h ep r i o rp r o b a b i l i t y d i f f e r e n tm o d e l sc a ns o l v et h ep r o b l e m 、析mt h e s i m i l a rs o l u t i o nb yw h i c ht h ed a t ac a na c h i e v es p a r s er e p r e s e n t a t i o n i nt h i sp a p e r , w e i n v e s t i g a t e t h e s p a r s eb a y e s i a nl e a r n i n ga l g o r i t h mw i n l s e v e r a lm o d e l sa n di t s a p p l i c a t i o n s o ns i g n a l so ri m a g e s n em a i nc o n t r i b u t i o n sc a nb es u m m a r i z e da s f o l l o w s ： ( 1 ) as p a r s el e a r n i n gm a c h i n eb a s e do nf a s tb a y e s i a nm a t c h i n gp u r s u i ta l g o r i t h m ( f b m p ) i sp r o p o s e d ，i nw h i c ht h ec o m p o n e n t so fs p a r s ep a r a m e t e rv e c t o ra r es u p p o s e d t oh a v eap r i o rd i s t r i b u t i o n 1 1 l ed i s t r i b u t i o ni s g e n e r a t e df r o mag a u s s i a nm i x t u r e d e n s i t y , a n d am a t c h i n g p u r s u i ta l g o r i t h m i si n t r o d u c e dt ol o c a t et h en o n z e r o c o e f f i c i e n t s f b m pp e r f o r m sb e t t e rt h a nc o n v e n t i o n a lm a t c h i n gp u r s u i tm e t h o d s ，w et a k e e x p e r i m e n t s o n1 - d i m e n s i o n a l s i g n a l a n d s p a r s e m a c h i n e l e a r n i n g u n d e rt h e c o m p r e s s i v es e n s i n g ( c s ) f r a m e w o r k w et a k et h ed o u b l eh e l i x a se x a m p l ea n dt h e r e s u l t ss h o wab e t t e rp e r f o r m a n c et h a no t h e rm e t h o d s ( 2 ) ab a y e s i a nf r a m e w o r kf o rl e a r n i n gt h eo p t i m a lr e g u l a r i z a t i o np a r a m e t e ri nt h e n o r mp e n a l i z e dl e a s t - m e a n - s q u a r e ( l m s ) p r o b l e mi si n t r o d u c e d ，w h i c hd e f i n e st h e o p t i m a ls p a r s e n e s s o fs o l u t i o n sv i at h eo p t i m a ls p a r s i t yr e g u l a r i z a t i o np a r a m e t e r su n d e r t h eb a y e s i a nf r a m e w o r ka n di n f e r si tb yl e a r n i n gd i r e c t l yf r o md a t a i nt h i sc h a p t e rw e i n t r o d u c et w ot y p e so fa l g r i t h m ：o n ei s o r d i n a r yl e a s ts q u a r e ，a n dt h eo t h e r i s n o n n e g a t i v el e a s ts q u a r ew h e r et h es p a r s eo p t i m a ls o l u t i o nh a st h en o r m e g a t i v e c o n s t r a i n t t h er e s u l t ss h o wt h a tb o mt h et w om e t h o d sc a na c h i e v et h eo p t i m a ls p a r s e s o l u t i o n ( 3 ) am i x t u r eo ff a c t o ra n a l y z e r s ( m f a ) b a s e dn o n p a r a m e t r i c h i e r a r c h i c a l b a y e s i a nm o d e li si n t r o d u c e d ，i nw h i c hah i e r a r c h i c a lb a y e s i a na l g o r i t h mt h a tl e a r n s m f am o d e lb a s e do nt h et r a i n i n gd a t a t 1 1 i sm e t h o dc a ns i m u l t a n e o u s l yi n f e rt h e n u m b e ro fc l u s t e r sa n dt h ei n t r i n s i cs u b s p a c ed i m e n s i o n a l i t yo ft h eh i 曲d i m e n s i o n a l d a t a s e t s b yu s i n gt h ep r o b a b i l i t yd e n s i t yf u n c t i o nl e a r n e df r o mt h em f a a st h ep r i o r d i s t r i b u t i o n ，t h ec sr e c o n s t r u c t i o nc a nb ef o u n da n a l y t i c a l l yb yb a y e s i a nr u l eu s i n g c o m p r e s s e dr a n d o mm e a s u r e m e n t s f r o mt h er e s u l t s ，w e n o t et 1 1 a tm f ab a s e d n o n p a r a m e t r i ch i e r a r c k c a lb a y e s i a nm o d e lc a r la c h i e v eb e t t e rp e r f o r m a n c et h a nt h e m e t h o d sw i t h o u tu s i n gt h es t r u c t u r eo fd a t as e t s t h i sp a p e rw a ss u p p o r t e db yt h en a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ( n o s 6 1 0 7 2 1 0 8 ，6 0 6 0 1 0 2 9 ，6 0 9 7 1 1 1 2 ，6 1 1 7 3 0 9 0 ) ，t h en e w - c e n t u r yt r a i n i n gp r o g r a m m e f o u n d a t i o nf o rt h et a l e m s ( n c e t - 10 - 0 6 6 8 ) ，t h ep r o g r a m m eo fi n t r o d u c i n gt a l e n t so f d i s c i p l i n et ou n i v e r s i t i e s ( 111p r o g r a m ) ：n o b 0 7 0 4 ，t h ef u n d a m e n t a lr e s e a r c hf u n d s f o rt h ec e n t r a lu n i v e r s i t i e s ( j y l 0 0 0 0 9 0 2 0 4 1 ) k e y w o r d s ：s p a r s er e p r e s e n t a t i o n ，s p a r s eb a y e s i a nl e a r n i n g , c o m p r e s s i v es e n s i n g ， m i x t u r eo ff a c t o ra n a l y s i s ，h i e r a r c h i c a ln o n p a r a m e t r i cb a y e s i a n 第一章绪论 第一章绪论 1 1 研究背景 贝叶斯理论是由英国数学家托马斯贝叶斯( t h o m a sb a y e s ) 提出的，t h o m a s b a y e s 在统计决策函数、统计的估算和统计推断等方面做出了巨大的贡献。著名的 数学家拉普拉斯( l a p l a c eps ) 在贝叶斯方法的基础上推导出了重要的“相继律”， 贝叶斯的方法和理论才逐渐被人理解和重视起来，但由于当时的理论在实际应用 问题中有很多不完善的地方，所以未曾被普遍接受。在二十世纪初，意大利的菲 纳特( b d ef i n e t t i ) 和英国的杰弗莱( j e f f r e y sh ) 都对贝叶斯理论作出了重要贡 献。第二次世界大战以后，瓦尔德( w a l da ) 提出了统计的决策理论，在这一理 论中，贝叶斯解占有重要的地位。信息论的发展也对贝叶斯理论的完善做出了新 的贡献。1 9 5 8 年，英国最悠久的统计杂志b i o m e t r l k a 全文重新刊登了贝叶斯的论 文。2 0 世纪5 0 年代，以罗宾斯( r o b b i n sh ) 为代表，提出将经验经典方法和贝 叶斯方法相结合，引起统计界的广泛注意。由于贝叶斯公式蕴含一种学习机制， 这一方法很快就显示出它的优点，所以越来越多的学者运用贝叶斯学习的方法来 学习系统的功能。 自贝叶斯理论开创以来，尽管对于贝叶斯学派在哲学上的观点还有很多异议， 它的思想和方法在社会生活、生产实践和工程项目中得到越来越广泛的应用却是 不争的事实。随着贝叶斯理论在数学领域的不断完善，2 0 世纪6 0 年代以来，贝叶 斯方法以其独特的不确定性知识的表达形式、丰富的概率表达能力、综合先验知 识的增量学习特性等优点被引入到人工智能、模式识别和计算机科学等工程研究 领域，成为当前解决数据挖掘问题的众多方法中最引人注目的焦点之一，为贝叶 斯理论的发展和应用提供了更为广阔的空间。 贝叶斯学习理论利用先验信息和样本数据来获得对未知样本的估计，而联合 概率和条件概率是先验信息和样本数据信息在贝叶斯学习理论中的表现形式。如 何获得这些概率( 也称之为密度估计) 是贝叶斯学习理论争议较多的地方。贝叶 斯密度估计研究如何根据样本的数据信息和人类专家的先验知识获得对未知变量 ( 向量) 的分布及其参数的估计。它有两个过程：一是确定未知变量的先验分布， 二是获得相应分布的参数估计。如果以前对所有信息一无所知，称这种分布为无 信息先验分布：如果知道其分布求它的分布参数，称之为有信息先验分布。由于 在数据处理中，从数据中学习是它的最本质特性，所以无信息先验分布是贝叶斯 学习理论的主要研究对象。研究无信息分布的奠基性工作是贝叶斯假设。参数的 无信息先验分布应在参数的取值范围内是均匀的。对参数有界的情况，贝叶斯假 2 稀疏贝叶斯学习理论及应用研究 设在实际运用中获得了很大的成功，与经典的参数估计方法是一致的，而当参数 无界时，贝叶斯假设却遇到了困难，近几年有关分层贝叶斯假设模型的提出恰恰 解决了这一难点。 贝叶斯密度估计在实际应用中遇到的另一个难题就是不完全数据或者说是在 数据稀疏情况下的密度估计。如现在的热门研究领域压缩感知理论和稀疏表示就 是要求数据是稀疏的情况下做出估计的。 众所周知，信号和图像等数据信息在生活、医学、互联网、通信和军事等诸 多领域都占据着十分重要的地位。随着社会科学进步，计算机数字网络等的快速 发展，待处理的信号和图像等数据越来越多，怎样快速、精确处理这种大量高维 数据，对数据处理的软硬件系统都带来了极大的挑战，因此如何将高维数据转化 为低维数据且不丢失高维数据中包含的感兴趣信息，学习一种低维信号模型，利 用较少的数据特征表示高维数据成为绝大多数信号和图像处理工作的核心，也是 高效准确地实施信号和图像处理任务( 如压缩、去噪、特征提取等) 的关键。 所谓的稀疏表示就是把给定的信号在已知的矢量集或函数上进行分解，如调 和分析中小波分析就是将信号在小波基下展开，傅里叶分析即是将信号在傅里叶 域内表示信号，在小波域内表示信号。这些信号分析方法都是在正交完备基函数 集上对信号进行表示的，且得到的信号表示形式是唯一的。然而当信号的特性与 基函数不匹配时，就得不到有效的信号表示形式，因此最好的信号稀疏表示方式 应该是根据信号的特点，自适应地选择合适的基函数来表示信号。在过完备基函 数集上，信号可以有多种表示形式，一般地，待表示的信号可由少数几个基本信 号组成，因此，待表示的信号通过稀疏表示的方法能较好的捕捉信号的本质特性。 随着科学研究的深入，这些基于小波域、傅里叶域的信号稀疏表示方法暴露出一 定的局限性，而基于过完备基函数集的信号稀疏表示，由于不能充分利用信号的 先验信息亦未可获得满意的信号表示形式。 运用稀疏贝叶斯学习( s p a r s eb a y e s i a nl e a m i n g ，s b l ) 【1 1 1 2 】的方法来求解信号 稀疏表示( s p a r s er e p r e s e n t a t i o n ) t 3 l h - 题引起了众多学者的注意。稀疏贝叶斯学习 的概念是m t i p p i n g 在2 0 0 1 年提出来的，研究将一个函数运用贝叶斯概率模型表 示成多个基本函数的线性叠加，它可以将信号和图像等数据表示为一组基函数的 线性组合。它与支撑向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) t 4 1 都具有相同的核 函数形式，然而稀疏贝叶斯学习可通过迭代优化删除大量的训练样本和核函数， 且不需要参数进行控制，仅根据训练样本自动调整。这一技术的关键在于要充分 挖掘和利用信号和图像的先验信息，对先验信息进行合理的建模，设计相应的快 速算法。所谓的先验信息指的是抽样之前的有关统计推断的一些信息，后来被应 用于稀疏信号回归和数据模式分类中。合理准确地确定数据先验是贝叶斯方法进 行有效学习的关键问题，不同先验分布和数学建模都会影响表示的结果能否达到 ， 第一章绪论 3 最优，而目前一些先验分布没有一个可操作的完整理论做确定依据，在许多情况 下先验假设的合理性和准确性难以估计其是否正确，所以研究一种概率模型使数 据能达到最优稀疏表示是对数据进行后续研究的关键问题。此外稀疏贝叶斯学习 方法还可以给出回归和分类结果的后验概率。 一 在2 0 世纪九十年代以来，相继出现了很多经典的贝叶斯学习算法：一是基于 经典统计学的学习算法，如最大似然算法，最大期望；二是基于贝叶斯统计学的 学习算法，如条件期望估计法，g i b b s 算法等【5 】。稀疏贝叶斯方法在分支学科中具 有多种应用，首先相关向量机( r e l e v a n c ev e c t o rm a c h i n e ，r v m ) 简单地引入了 贝叶斯框架，它假设数据服从独立均值为零，噪声方差未知的高斯分布，噪声方 差又引入逆g a m m a 共轭先验，采用期望最大的参数估计方法求得数据最大后验估 计值，虽然这里也利用了先验知识，但相关向量机方法并没有计算且给出候选模 型的后验概率，它仅利用单独一个模型来计算最大后验模型估计。 在统计学的资料中，快速超前计算技术和马尔科夫链蒙特卡洛方法( m a r k o v c h a i nm o n t ec a r l o ，m c m c ) 的结合使得贝叶斯模型具有不确定性，非参数回归等 超定的线性模型也开始进入人们的研究视线。由于先验知识假设和计算候选模型 后验概率的方法的不同，贝叶斯学习的技术存在一定的区别，g i b b s 采样就是模拟 模型中的伪随机样本即非零系数的值收敛于后验模型概率分布。l a r s s o n 采用了贝 叶斯模型平均【6 】的方法来估计最小均方误差，在稀疏超定的情况下，采用贪婪紧缩 搜索来确定高概率模型。es c h n i t e r 运用贝叶斯模型平均的方法来确定候选模型， 并且提出一种快速计算后验概率的方法【7 儿引。乜 分层模型是贝叶斯统计的一个基本概念，其核心思想是参数服从某一分布， 控制该分布的参数又服从新的概率分布，这种分布是一种条件独立的分层模型， 模型中的参数分布通过参数共享实现其相关性1 9 1 ，分层模型的建立统一了统计学的 模型。近年来贝叶斯非参数技术以其灵活性、高效可行性和易于计算后验概率等 优点在针对大规模高维数据的处理中得到了广泛应用，关注的焦点基本上是在分 层模型中的参数上引入狄利克雷过程( d i r i c h l e tp r o c e s s ，d p ) 作为先验概率分布， 这种贝叶斯模型称为分层狄利克雷过程( h i e r a r c h i c a ld i r i c h l e tp r o c e s s ，h d p ) 1 1 0 - 1 2 1 。 它能够将包括多类的数据进行聚类分析，每类数据定义为混合模型，其混合元素 的数目任意地且能够根据模型自动学习得到。每个混合元素在每类之间实现信息 共享，类间具有依赖性【1 3 1 。这种组合化地聚类方法经常用于实际问题，如文件主 题的发现1 1 4 】等。h d p 针对低维信号模型的贝叶斯学习有几种常用的方法根据数据 的几何模型有数据的稀疏性，子空间一致性、流形和混合因子分析等问题随着稀 疏贝叶斯学习理论的不断发展中逐步完善。 稀疏贝叶斯学习出的概率模型已在数据处理多个相关方向有了具体的应用， 如图像的去噪、插值、分类、聚类等，有着广泛的应用空间。因此，研究信号和 4 稀疏贝叶斯学习理论及应用研究 图像的稀疏贝叶斯学习表示方法具有十分重要而且深远的意义。 1 2 研究的目的与意义 随着科学技术的发展，计算机的普遍使用和数字网络的普及，数据收集的速 度越来越快，数据量也越来越大，对堆积如山的数据的处理已经成为数据处理领 域所面临的必须解决的问题。信息硬件描述系统的开发应用推动了数据的指数型 增长，同时使得大量的晶体管运用到集成电路中，每两年就会翻一倍，这种代价 是相当大的。 因此，怎样有效处理这日益增长的数据带来了极大地挑战： ( 1 ) 怎样表示这些数据使得它们能够高效的存储和传输。 ( 2 ) 怎样表示数据才能使其更有意义。 即使只对重要的数据进行采样、编码和传输，对目前的模数转换器、传输带 宽和数字存储设备也造成了巨大的压力。但我们意外地发现，虽然在很多问题上 数据的维数是非常大的，但数据中的相关信息却存在于一个维数较低的空间中。 简单地说，数据的稀疏表示就是用另外一种方式来表示数据使得这种表示系数中 仅有少量的非零元素，这些元素包含了数据中最重要的信息。这一发现促使了一 些重要理论和算法在不同的低维模型框架下的发展，如基于稀疏性的压缩感知理 论i l5 j 就是利用投影观测将数据降维观测得到利于保存和传输的观测值，在其逆问 题中又可精确恢复出原始数据。对从维数约减或不完备数据中进行信息提取的这 些方法产生了新的测量系统、工具和方法。最大化实现这些技术地可能性的关键 就是寻找合适的数学模型。 对于第一种挑战，数据压缩采样是解决这一问题的新模式，它指出当信号在 某一频域内具有稀疏性，那么仅需要少量样本就可以进行信号重建而不需要遵循 传统的奈奎斯特采样定理。压缩采样又称为非线性采样定理；第二种挑战，怎样 将数据表示地更有意义相当于知识发现，一种有效的知识发现是维数约减然后再 进行稀疏表示的学习，将不相关的传感器件或表示系数置零。 贝叶斯学习理论使用概率去表示所有形式的不确定性，学习和推理都通过概 率规则来实现。将先验知识与样本信息相结合、依赖关系与概率表示相结合，是 数据挖掘和不确定知识表示的理想模型。该理论具有以下优点：贝叶斯学习能够 很方便的处理不完全数据，当某个变量缺失时根据概率关联关系可以估测出这一 变量且不会出现较大偏差；贝叶斯学习能够学习变量间的依赖关系，对先验知识 进行建模时变量间的相互关系的理解和认识是十分必要的。 综上所述，结合数据先验知识寻找数据的低维模型是稀疏贝叶斯学习的关键， 而设定先验分布服从怎样的概率分布又是这关键中的关键，只有设定有效的先验 第一章绪论 5 分布并建立合适的贝叶斯学习模型，才能够好的学习低维数据模型。数据挖掘、 文本分类、医疗诊断、雷达目标识别等诸多应用领域的推动使得研究稀疏贝叶斯 学习变得越来越重要。因此研究稀疏贝叶斯学习方法具有十分重要且深远的意义。 1 3 研究内容与创新点 稀疏贝叶斯学习是近年来一个非常活跃的研究领域，它旨在假设数据具有一 定的先验分布的前提下建立更加稀疏有效的贝叶斯估计模型，使得数据能够高效 地进行线性表示。本文在研究数据稀疏表示的基础上，重点分析了几种不同贝叶 斯学习模型，包括，0 范数的快速贝叶斯匹配追踪算法、基于厶范数的贝叶斯线性最 小二乘和正则非负最t j 、- - 乘方法、基于数据流形结构的非参数贝叶斯混合因子分 析方法，主要做了以下几个方面的工作： ( 1 ) 提出一种基于快速贝叶斯匹配追踪算法( f a s tb a y e s i a nm a t c h i n gp u r s u i t ， f b m p ) 的稀疏学习机构造方法。f b m p 算法加入了稀疏系数服从混合高斯分布的 假设，比传统的贪婪匹配追踪算法的性能有了显著提高。在分析f b m p 算法性能 的基础上，将该算法用于支撑矢量机的结构稀疏化，提出一种基于f b m p 的稀疏 结构支撑矢量机模型。在压缩感知框架下，通过压缩采样对核函数进行优化选择 得到结构更加精简的网络模型。将该方法用于双螺旋先数据的分类，实验结果显 示：该方法能够得到性能优良的学习模型，相比其他优化算法得到的稀疏学习机 具有更好的性能。 ( 2 ) 实现一种基于独立正则的稀疏贝叶斯学习算法。针对厶正则参数选择 的问题，在稀疏贝叶斯学习框架下假设稀疏系数服从l a p l a c e 分布，引入了均匀正 则化和独立正则化的理论，建立范数独立正则的稀疏贝叶斯学习模型，研究正则 化参数的确定方法。针对o l s 和n l s 两种不同的信号模型，提出在贝叶斯准则下 正则参数的学习算法，仿真实验验证了其有效性。 ( 3 ) 实现了图像稀疏表示的非参数贝叶斯学习( m i x t u r eo f f a c t o r a n a l y z e r s ， m f a ) 方法，给出了在d i r i e h l e t 过程和b e t a 过程两种分布下的非参数贝叶斯混合 因子模型。对能够被约束在低维子空间中高维图像数据进行低秩混合高斯模型的 学习，根据数据学习自动得到混合元素的个数，将该知识作为图像压缩感知重建 问题中的先验知识，仿真实验分析了其有效性。 1 4 论文的构架安排 本论文的研究内容按照优化问题的模型展开，按照不同优化问题进行稀疏贝 叶斯学习模型讨论，本论文的主要内容安排如下： 第一章是绪论，介绍本论文的研究背景及意义，简单介绍了贝叶斯理论的发 6 稀疏贝叶斯学习理论及应用研究 展和稀疏表示的基本理论，指出了稀疏贝叶斯学习的难点问题，分析了研究稀疏 贝叶斯学习这一课题的目的和意义，并介绍了本文的主要工作。 第二章介绍了贝叶斯理论及常用的几种参数估计方法，并对基于不同范数的 稀疏贝叶斯学习的基本原理和概率模型作了简要的概述，为后续的研究提供基础。 第三章提出一种基于f b m p 的稀疏学习机构造方法。分析f b m p 算法性能， 将该算法用于学习机的结构稀疏化，在压缩感知框架下，进一步通过压缩采样得 到结构更加精简的网络模型。将该方法用于双螺旋线数据的分类，实验结果显示： 该方法能够得到性能优良的学习模型，相比其他优化算法得到的学习机具有更好 的性能。 第四章在贝叶斯准则下给出一种独立正则参数的学习方法，实现一种基于正 则化的稀疏贝叶斯学习算法，引入了均匀正则化和独立正则化的思想，建立了范 数正则的稀疏贝叶斯学习模型，研究了正则化参数的确定方法。针对一般最d x - 乘o l s 和非负最d x - 乘n l s 两种情况，提出在贝叶斯准则下正则参数的学习算法， 仿真实验验证了其有效性。 第五章根据高维图像数据被约束在低维子空间中这一特性，这一特性构成低 秩混合高斯模型，实现图像稀疏表示的非参数贝叶斯框架的m f a 模型学习，给出 了在d p 和b p 两种分布下的贝叶斯框架学习混合因子模型。该模型根据数据学习 自动得到混合元素的个数，将该方法用于图像的压缩感知重建中，仿真实验分析 了其性能，特别在低观测率下，其重建效果比一般贝叶斯和基于小波分析的贝叶 斯压缩感知方法有很大的提高。 第六章是对本文工作的总结，并对后续的工作进行了展望。 第二章稀疏贝叶斯学习 7 第二章稀疏贝叶斯学习 2 1 引言 本章主要介绍贝叶斯估计理论中几种常用的参数估计方法，并对基于不同优 化问题模型的稀疏贝叶斯学习的基本原理和概率模型作了简要的概述，为后续的 研究提供基础。 我们将向量表示为黑体小写，矩阵表示为黑体大写，论文中一些符号表示的 意义如表2 1 所示。 表2 1 文章中符号的意义 ( ) ， 向量或矩阵的转置 f ) 爿 向量或矩阵的共轭转置 i t 向量的第玎个元素 d i a g v 对角矩阵，对角元素为向量v 的元素 。j ， 矩阵第所行第刀列的元素 i i 标量数据的绝对值 矿1 ，的平均值 2 2 贝叶斯理论 英国数学家t h o m a sb a y e s ( 1 7 0 1 1 7 6 1 ) ，首先将归纳推理法用于概率论基础 理论，并创立了贝叶斯统计理论，对于统计推断、统计决策函数、统计的估算等 做出了贡献。1 7 6 3 年发表了这方面的论著，对于现代概率论和数理统计方面都有 很重要的作用。在1 7 5 8 年，贝叶斯的另一著作机会的学说概论中，贝叶斯所 采用的许多术语被沿用至今。而他提出的一种归纳推理理论，用于系统阐述和解 决统计问题，后来被人们称之为贝叶斯方法。贝叶斯学习有两大理论支柱：贝叶 斯定理和贝叶斯假设，贝叶斯假设是指在无先验信息的情况下，对先验作出概率 分布的一种假设。 贝叶斯理论是统计模型中的一个基本方法，核心就是利用贝叶斯公式将总体、 样本和先验信息相结合，得到关于未知参数的后验分布，其基本思想是： ( 1 ) 己知先验概率和条件概率密度参数表达式； ( 2 ) 利用贝叶斯公式转换成后验概率公式； ( 3 ) 根据后验概率的大小进行统计决策。 贝叶斯学习方法的特点是使用概率去表示所有形式的不确定性。 8 稀疏贝叶斯学习理论及应用研究 贝叶斯理论涉及的几个概念： a ) 先验分布 假设随机变量x 的概率密度函数为p ( x ；o ) ，其中0 是一个参数，不同的日对应 不同的概率密度函数，将未知参数0 o 作为取值于0 的随机变量，它有一定的概 率分布记为p ( 0 1 ，称为参数p 的先验分布。 b ) 后验分布 在贝叶斯统计学中，样本x 和参数的联合概率密度函数 p ( x ，0 ) = p ( x l o ) p ( o ) ( 2 - 1 ) 在这个联合分布中，当样本给定时未知参数为0 ，0 的条件概率密度函数为 p ( a i x ) = 错= 丽p ( 丽x l o ) p 丽( o ) ( 2 - 2 ) 式( 2 2 ) 为贝叶斯公式的概率密度函数的形式，它反应了先验分布向后验分布的 转化，其中p ( o l x ) 称为0 的后验密度函数，或称为后验分布。 本节内容主要介绍两种常用的点估计方法：最大似然估计和贝叶斯估计。 2 2 1 最大似然估计 最大似然估计是常用的估计方法中的一种，首先我们假设未知参数0 是一确定 而非随机的未知参数，且样本间的信息是相互独立的，且条件概率密度具有一定 的函数形式，用样本集来估计出未知参数p 。 假设已知样本集x 包含个样本，即 x = 而，艺9 - o - 9 h ( 2 - 3 ) 并假设样本之间是相互独立的，所以有 p ( x 1 9 ) = p ( 而，而，h 1 9 ) = 垂p ( 1 9 ) ( 2 - 4 ) 式( 2 3 ) 是日的函数，把p ( x 1 8 ) 称作相对样本集x 的d 的似然函数，记为 巾) = 娶p ( l a ) ( 2 5 ) 最大似然估计量占o 是指在参数空间。中能使似然函数，( 9 ) 极大化的0 值。根据 上面的描述，9 可看成是一未知标量，当似然函数满足连续、可导的条件时，满足 式： 型：o( 2 6 ) d 8 的解即为日的似然函数估计量。 第二章稀疏贝叶斯学习 9 2 2 2 贝叶斯估计 与最大似然估计不同，贝叶斯估计是把参数日看成是随机的未知参数，一般p 具有先验分布p ( o ) ，通过贝叶斯公式将样本的似然函数p ( x o ) 和参数p 的先验分 布转换为求解参数p 的后验分布，进而实现对参数的均值和方差的估计。 贝叶斯估计的概念：设有样本集x 。我们要求解出未知参数的估计量百，用 来估计样本集x 所属的总体分布的某个参数的真实值。其步骤归纳为以下几步： ( 1 ) 首先确定未知参数9 的先验分布p ( o ) ； ( 2 ) 根据样本集x 求出样本的联合分布p ( x l o ) ，该分布函数是关于参数的9 的函数； ( 3 ) 利用贝叶斯公式，求解9 的后验分布p ( p i 彳) ： p ( 口陆面p 丽( x i o ) p ( o ) ( 4 ) 利用下面的式子求解出0 的贝叶斯估计量： 占= 上印( 引x p 2 2 3 贝叶斯学习 ( 2 7 ) ( 2 8 )、 贝叶斯学习也是将a 看作是随机的未知参数且具有一定的先验分布，利用d 的 先验分布和样本提供的信息求解出口的后验分布p ( o l x ) 。然而贝叶斯学习与贝叶 斯估计不同，贝叶斯学习在得到后验概率后并不估计p ，而是通过联合概率密度函 数求条件概率密度函数： p ( x l x ) ：，p ( x ，o l x ) a o = ，p ( x i o ) p ( o l x ) a o ( 2 9 ) 可见在利用贝叶斯方法进行参数估计时求解参数的后验概率均是不可或缺的一部 分。 由最大似然估计方法可知，似然函数p ( x 0 1 在0 = 百时有极大值，若参数9 的 先验分布p ( 0 1 在0 = 百处不等于零且其变化不明显，那么根据公式( 2 7 ) ，后验概 率p o l x l 在0 = 占处也有一极大值，因此贝叶斯学习估计的结果近似等于最大似 然估计的结果，但当p ( ol x l 的极大值附近的值与极大值相差不多，即该极大值所 处尖峰不尖锐时，不能用似然估计代替贝叶斯估计，只能用式( 2 9 ) 计算。 贝叶斯学习机制是将先验分布、总体和样本相结合，得到关于未知参数的后 验分布，将这一后验信息作为新一轮计算的先验，采用贝叶斯准则进一步得到样 本更多的信息，多次重复后样本信息越来越精确，这样综合先验和后验信息的优 点就是既可以避免仅适用先验信息带来的主观偏见和缺乏样本信息时的盲目搜 索，也可避免仅使用后验概率产生的噪声的影响，因此这种学习机制适用于具有 1 0 稀疏贝叶斯学习理论及应用研究 一定概率统计特征的数据的挖掘和发现。虽然人们能够在直觉上接受贝叶斯假设， 但它在处理无信息先验分布，尤其是当未知参数无界时遇到了瓶颈。 2 - 3 1 稀疏贝叶斯回归 2 3 稀疏贝叶斯学习回归与分类 统计学中，贝叶斯线性回归是常用的一种线性回归方法，它利用贝叶斯推论 的内容进行数据的分析，当线性回归模型的误差服从正态分布是且给定一种先验 假设的分布，那么就可以根据这些信息得出模型参数的后验概率分布。 首先给出标准的线性回归的问题，对f = 1 ，2 ，刀，指定只的条件分布，毛为 l k 预测向量： 以= 薯卢+ 岛 ( 2 - 1 0 ) 其中卢是k x l 的向量，q 是服从独立同分布的正态分布随机变量岛一n ( o ，a 2 ) ， 回归分析的目的是根据咒和毛对卢和q 作出统计推断。 与上面假设相对应的似然函数为： py l x , ，, a 2 ) 02 - 2 e x p ( 一击 ( y x 卢) r ( y - 邛) ( 2 - 1 1 ) 若采用m o o r e p e n r o s e 伪逆利用最小二乘解来估计稀疏系数向量，有 声= f x7 1 x 1 _ ix r y ( 2 1 2 ) 这里x 是n x k 的设计矩阵。这种方法是使用频率最高的一种方法，在贝叶斯模型 下，对数据信息假设一种先验概率分布形式的描述，针对数据域和数据信息，目 前已有很多种形式的概率模型来建模回归问题。 2 3 2 稀疏贝叶斯分类 贝叶斯分类算法是统计学分类方法，它是一类利用概率统计知识进行分类的 算法。在许多应用场合，现有的朴素贝叶斯( n a i v eb a y e s ，n b ) 分类算法可以与 决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，且方法简单、 分类准确率高、速度快。由于贝叶斯定理假设一个属性值对给定类的影响独立于 其它属性的值，而此假设在实际情况中经常是不成立的，因此其分类准确率可能 会下降。为此，就出现了许多降低独立性假设的贝叶斯分类算法，如树增强型简 单贝叶斯( t r e ea u g m e n t e db a y e sn e t w o r k ，t a n ) 分类器算法。 2 4 毛范数稀疏贝叶斯学习 寻找最稀疏的解或，o 范数最小化，将信号用过完备字典进行表示是许多应用领 第二章稀疏贝叶斯学习 域很重要的问题。然而当候选基向量的数目增加时，局部最小的数量也会增加， 所以要解的优化问题是比较难解的6 l ，现有常用的贪婪追踪算法有匹配追踪 ( m a t c h i n gp u r s u i t ，m p ) 、正交匹配追踪( o r t h o g o n a lm a t c h i n gp u r s u i t ，o m p ) 、 阶段式匹配追踪( s t a g e w i s eo r t o g o n a lm a t c h i n gp u r s u i t ，s t o m p ) 等。 本章第2 3 2 6 节将分别介绍基于不同范数的稀疏贝叶斯学习方法的框架，图 2 1 表示的是当乙( p o ) 范数不同时，稀疏解的分布情况。 繁疑 遗 么避 飞纩 髫霉乏 | j ：。 蕊 汐 餐 、 衔衬 巡钞 0 p l ( a ) ( b ) ( c ) 图2 1 巳范数正则的轮廓 图2 1 ( a ) 为厶范数优化的轮廓，图中带有阴影表示的线性目标函数；( b ) 为 厶范数优化的轮廓，求解范数优化问题时，当最优解在坐标轴上时，1 1 范数正则 项的导数是一个集合而不是唯一向量。因此，当目标函数的导数取不同方向时最 优解保持不变，根据这一特性最优解通常都是位于坐标轴上且是稀疏的；( c ) 为 ( p 1 ) 范数优化的轮廓，它与范数优化问题不