稀疏表示与稀疏分解课件

稀疏表示与稀疏分解稀疏表示与稀疏分解11.稀疏表示介绍

稀疏表示，它意欲用尽可能少的非0系数表示信号的主要信息，从而简化信号处理问题的求解过程。稀疏表示模型可如表达式(1)所示，其中y∈R^n为待处理信号，D∈R^(n×m)为字典，x∈R^m为稀疏系数，||x||_0≪m。||x||_0为x的稀疏度，它表示x中非0稀疏的个数。

y=Dxsubjecttomin||x||_0(1)

n×mm×1n×11.稀疏表示介绍稀疏表示，它意欲用尽可能少的非02几个专业名词解析:

原子：原子

即为字典的列向量。完备字典与过完备字典：如果字典D中的原子恰能够张成n维的欧式空间，则字典D是完备的。如果m＞＞n，字典D是冗余的，同时保证还能张成n维的欧式空间，则大字典D是过完备的。我们一般用的字典都是过完备的，因为在过完备的字典下分解稀疏系数不唯一，这也恰恰为图像的自适应处理提供的可能，我们可以根据自己处理的要求选择最合适的最稀疏的系数。几个专业名词解析:原子：原子即为字典3其实求解过完备的稀疏表示模型等价于寻求欠定系统的最稀疏解问题。D∈R^(n×m)且m＞n时，如何求解y=Dx即如下

我们已经知道在过完备字典的条件下稀疏系数是不唯一的，但是否我们可以求出最稀疏解呢？

其实求解过完备的稀疏表示模型等价于寻求欠定系统的最4

Elad和Bruckstein在2004年对下述定理进行了证明：

定理1：设D为一个相干系数是μ的原子库，D={gi，i=1....M}。如果一个N维的信号s可以表示为：

并且＜1/μ,那么上式就是信号s在D中最稀疏的表示。

注释：定理1中的非相干原子库D指的是指相干系数μ小于某一常数的原子库，相关系数定义如下：

相关系数的大小与原子的相关性呈正比。若μ=1，即表明原子库中至少有两个原子相同，当μ比较小时，即表明原子间的相关性不高即可称此原字库为非相干原字库。

Elad和Bruckstein在2004年对下述5面对稀疏表示模型，有三个关键问题需要解决，如下:1.如何有效获取图像在字典中下最稀疏的分解系数?2.如何设计与构建有效的图像稀疏表示字典?3.如何将图像稀疏表示模型应用于具体的图像处理反问题中?今天我主要讲的是求解稀疏系数问题。面对稀疏表示模型，有三个关键问题需要解决，如下:62.稀疏分解算法

获取信号在过完备字典下的最优稀疏表示或稀疏逼近的过程叫做信号的稀疏分解，这是稀疏表示能否在实际图像处理中应用的基本问题。但是由于L0范数的非凸性，在过完备字典之下求最。主要采用的逼近算法1.凸松弛法

基追踪（BP）,基追踪去噪算法（BPDN）,平滑L0范数（SL0）等等。2.贪婪法

匹配追踪（MP）,正交匹配追踪（OMP）,弱匹配追踪等等。2.稀疏分解算法获取信号在过完备字典下的最优稀疏表72.1凸松弛法

凸松弛算法的核心思想就是用凸的或者是更容易处理的稀疏度量函数代替（1）中非凸的L0范数，通过转换成凸规划或非线性规划问题来逼近原先的组合优化问题，变换后的模型则可采用诸多现有的高效算法进行求解，降低了问题的复杂度。我在这里主要介绍的是基追踪算法（BP）与基追踪去噪算法（BPDN）。这两个算法的基础是用L1范数替代L0范数即将

subjectto

y=Dx

转化为

subjectto

||y-Dx||_2＜ε

2.1凸松弛法凸松弛算法的核心思想就是用凸的或者是更8为什么L1范数与L0范数效果会等价?Elad和Bruckstein在2004年对下述定理进行了证明：定理2：如果信号s在原子库中存在一个系数表示，而且满足下式:

则此分解的L1范数最小化问题有唯一的解，即为L0范数最小化的解。1.如果满足定理1中的条件，则L0范数的问题将有唯一最稀疏解;2.如果进一步的满足定理2的条件，则L0范数的优化问题与L1范数的优化问题等同，即对求解稀疏系数的最小L0范数问题就转化成为了最小L1范数问题。为什么L1范数与L0范数效果会等价?Elad和Bruck9基追踪：我们将L1范数替换L0范数之后，稀疏表示模型：min||x||_1

subjectto

y=Dx就变成了一个常见的线性规划问题，我们可以用单纯性算法或内点法来求解.基追踪去噪：我们可以把上式的模型加以变形为：min（x）½||y-Dx||_2+i||x||_1这个称为L1范数最小二乘规划问题，我们可以用梯度下降或梯度投影法进行快速的求解。

凸松弛算法的有效性依赖于过完备字典自身是否存在快速的变换与重建算法，例如对于正交基字典算法具有较高的效率，然而对于一般的过完备字典，凸松弛算法仍具有非常高的运算复杂度。

基追踪：我们将L1范数替换L0范数之后，稀疏表示模型：102.1贪婪法

我们知道稀疏解x包括非0系数的位置索引和幅值两个信息，贪婪法的主体思路是先确定x中非0元素的位置索引，然后用最小二乘求解对应的幅值。与凸松弛算法相比，贪婪法具有比较低的复杂度。我们这里主要介绍的算法是匹配追踪算法（MP）与正交匹配追踪算法(OMP)。因为这两个算法是复杂贪婪算法的基础。2.1贪婪法我们知道稀疏解x包括非0系数的位置111、一旦触电，应立即关闭总开关，截断电源。同学们，今天我们一起来学习了什么是食物中毒以及食物中毒后怎么办.希望同学们能学以致用，防止食物中毒。要注意车轮的轮毂，车的品牌在轮毂上会有。当车停稳以后，轮毂上的品牌按标准要求应该与地面呈水平状态。小提示1：面试之前了解所有空缺岗位的要求。 讲话结巴或模糊不清也是紧张的征兆。拟定好岗位说明之后，选择招聘方法就需提上议事日程了。招聘方法多种多样，可以在全国性报刊上刊登广告，也可以借助专业的猎头公司。不论你采用哪种方法，最少都需要一次面试。三、中毒症状及急救措施确认书要简明扼要，尽快寄到新雇员手中。（4）不闯红灯，拐弯减速慢行；不准双手离把，不准追逐打闹。（3）室内不要高空悬吊、摆放物品。

MP算法的基本思路是在每一次的迭代过程中，从过完备字典D中选择与信号最为匹配的原子来构建稀疏逼近，并且求出信号表示残差。之后继续选择与信号残差最为匹配的原子，再经过一定次数的迭代，信号就可以由多个原子线性的表示。x为信号，为用于稀疏分解的过完备字典的原子（即列向量），为r的集合。原子都做了归一化处理=1。1、一旦触电，应立即关闭总开关，截断电源。MP12

首先从过完备库中选出与待分解信号x最为匹配的原子，何为最为匹配就是信号在原子

上的投影最大时：信号可以分解为在最佳原子上的分量和残余信号两部分，即为：

其中R1x为残余信号，初始值R0=x。由投影的原理可知与R1x是正交的，故可得：由上式可知要使残差R1最小，则投影值

要求最大。对最佳匹配后的残余信号可以不断进行上面同样的分解过程，即

其中

满足

要求。首先从过完备库中选出与待分解信号x最为匹配的原子13由此经过n次迭代之后信号被分解为：Rnx表示为信号分解为n个原子的线性组合时信号的残差。由于我们使用每步都取最优原子，故可知残差是会迅速下降的，当n达到无穷是，残差即无限接近于0.我们可以根据自己的要求设置n的值来使信号稀疏，n也可以称为信号的稀疏度。但是由于信号在已经选择的原子上面的投影一般都不会正交，所以每次迭代的结果都不是最优的。故我们要求达到摄像的收敛条件，可能需要过多的迭代次数，计算复杂度比较大。所以我们思考如何改进算法可以有效减少复杂度，正交匹配追踪应运而生了。由此经过n次迭代之后信号被分解为：14

正交匹配追踪算法与匹配追踪算法的唯一的区别在于我们在递归的对于所选择原子集合进行了正交化处理，为什么要这么做？因为这样我们可以保证每次结果都是最优的，从而可以有效的减少了迭代次数，提高了算法效率。

即在每次选择的原子用Rram-Schmidt正交化处理：其中Up为上一次的原子正交结果，初始Up=

。

需要注意信号现在在原子正交化的Uk上投影而非原来的原子上投影了。其余步骤与匹配追踪一样的。

正交匹配追踪

正交匹配追踪算法与匹配追踪算法的唯一的区别在1513.课外活动和体育锻炼，要按有关安全规则进行。七、把消防工作列入工作、施工、经营管理的内容有上述（1）-（5）条情形之一的供应商，成交无效；有上述（6）-（11）条情形之一的供应商，按规定追究法律责任。新生入学应当提交体检证明。学校建立学生健康档案。学校应当在校内高地、电梯、楼梯等易发生危险的地方设置警示标志或者采取防护设施。（1）酸：4、组织制订消防安全管理制度，并认真贯彻落实。(5)其他谈判文件要求的内容。Ⅰ保持低进液液位和低真空度，即低液位低真空；Ⅱ无论在什么情况下启动先将真空开到最大后再开蒸汽；Ⅲ保持进液稳定；Ⅳ可以把上部排空口打开少许，让冷空气进入，有助于泡沫的消失，对了千万不要打开下部排空口，不要轻易频繁开放空；Ⅴ控制好真空度及蒸汽压力，对于不同品种摸索不同的蒸汽大小（不是越小越好）。浓缩不稳定时不要随意调整真空度及蒸汽压，要逐渐开大真空度及蒸汽压，保持系统稳定很关键；Ⅵ进液温度低有利于浓缩不起沫；Ⅶ在浓缩含皂苷量比较多的药液时，可以加入一些消泡剂，常用的如食用豆油、菜籽油，阔气一点的可以加点司盘。有机溶剂也可替代，灵活运用调节表面张力。2.溶液的特性：2.学生在校园任何人不准体罚或变相体罚，严禁老师、员工打骂学生。为了减少事故，要定期检查电线、开关、电灯、灯口及家用电器的插头、引线。如果发现问题要及时更换修理。在这一环节，销售人员的主要任务就是解决问题，解决客户在购买环节上的一些不同的意见。 教育：你对应聘者所受教育水平的要求多高？肄业者是否可以考虑？是否需要研究生学历？三、中毒症状及急救措施2、遇到紧急事故不要慌张，运用所学到的自救和互救本领。如面试到最后，没有一个合适的应聘者，你有两种选择：一是再次刊登广告，换一个地方也许能够吸引更好的人选应聘。另一种做法是改变对工作的要求，例如可以让公司其他雇员负责该工作的某些方面，然后刊登广告为重新定责的岗位招聘合适人选。6．小结：3.5.5处理对确认书的回复【案例】BP与MP的算法有效的理论条件与精确重构条件定理

我们知道MP与BP算法使用了不同的策略求解模型,我们求解稀疏系数与字典D的选择密不可分，前面我们引用定理我么知道了L1范数最稀疏表示形式时，字典相干参数μ有大小限制。那么我们用BP和MP算法一样都能够精确重构原信号（也就是求出最稀疏解）时μ的条件是什么呢？Tropp在2004年提出的精确重构条件(ERC)揭示了信号的稀疏性与字典的相干参数μ的关系。定理（ERC）给定信号y，字典D，记D的相干系数为μ，为字典小中所有原子参数的指标集。如果信号y在字典D中下可以表示为y=Dx,且满足:||x||0=（1+μ~-1）/2那么BP与MP算法都可以追踪到信y在字典D下的最稀疏解。当然BP与MP是不等价的，在很多情况下BP算法求出的解有更好的稀疏性，而MP算法则表现出更好的性能。13.课外活动和体育锻炼，要按有关安全规则进行。为了减少事故16稀疏表示与稀疏分解稀疏表示与稀疏分解171.稀疏表示介绍

稀疏表示，它意欲用尽可能少的非0系数表示信号的主要信息，从而简化信号处理问题的求解过程。稀疏表示模型可如表达式(1)所示，其中y∈R^n为待处理信号，D∈R^(n×m)为字典，x∈R^m为稀疏系数，||x||_0≪m。||x||_0为x的稀疏度，它表示x中非0稀疏的个数。

y=Dxsubjecttomin||x||_0(1)

n×mm×1n×11.稀疏表示介绍稀疏表示，它意欲用尽可能少的非018几个专业名词解析:

原子：原子

即为字典的列向量。完备字典与过完备字典：如果字典D中的原子恰能够张成n维的欧式空间，则字典D是完备的。如果m＞＞n，字典D是冗余的，同时保证还能张成n维的欧式空间，则大字典D是过完备的。我们一般用的字典都是过完备的，因为在过完备的字典下分解稀疏系数不唯一，这也恰恰为图像的自适应处理提供的可能，我们可以根据自己处理的要求选择最合适的最稀疏的系数。几个专业名词解析:原子：原子即为字典19其实求解过完备的稀疏表示模型等价于寻求欠定系统的最稀疏解问题。D∈R^(n×m)且m＞n时，如何求解y=Dx即如下

我们已经知道在过完备字典的条件下稀疏系数是不唯一的，但是否我们可以求出最稀疏解呢？

其实求解过完备的稀疏表示模型等价于寻求欠定系统的最20

Elad和Bruckstein在2004年对下述定理进行了证明：

定理1：设D为一个相干系数是μ的原子库，D={gi，i=1....M}。如果一个N维的信号s可以表示为：

并且＜1/μ,那么上式就是信号s在D中最稀疏的表示。

注释：定理1中的非相干原子库D指的是指相干系数μ小于某一常数的原子库，相关系数定义如下：

相关系数的大小与原子的相关性呈正比。若μ=1，即表明原子库中至少有两个原子相同，当μ比较小时，即表明原子间的相关性不高即可称此原字库为非相干原字库。

Elad和Bruckstein在2004年对下述21面对稀疏表示模型，有三个关键问题需要解决，如下:1.如何有效获取图像在字典中下最稀疏的分解系数?2.如何设计与构建有效的图像稀疏表示字典?3.如何将图像稀疏表示模型应用于具体的图像处理反问题中?今天我主要讲的是求解稀疏系数问题。面对稀疏表示模型，有三个关键问题需要解决，如下:222.稀疏分解算法

获取信号在过完备字典下的最优稀疏表示或稀疏逼近的过程叫做信号的稀疏分解，这是稀疏表示能否在实际图像处理中应用的基本问题。但是由于L0范数的非凸性，在过完备字典之下求最。主要采用的逼近算法1.凸松弛法

基追踪（BP）,基追踪去噪算法（BPDN）,平滑L0范数（SL0）等等。2.贪婪法

匹配追踪（MP）,正交匹配追踪（OMP）,弱匹配追踪等等。2.稀疏分解算法获取信号在过完备字典下的最优稀疏表232.1凸松弛法

凸松弛算法的核心思想就是用凸的或者是更容易处理的稀疏度量函数代替（1）中非凸的L0范数，通过转换成凸规划或非线性规划问题来逼近原先的组合优化问题，变换后的模型则可采用诸多现有的高效算法进行求解，降低了问题的复杂度。我在这里主要介绍的是基追踪算法（BP）与基追踪去噪算法（BPDN）。这两个算法的基础是用L1范数替代L0范数即将

subjectto

y=Dx

转化为

subjectto

||y-Dx||_2＜ε

2.1凸松弛法凸松弛算法的核心思想就是用凸的或者是更24为什么L1范数与L0范数效果会等价?Elad和Bruckstein在2004年对下述定理进行了证明：定理2：如果信号s在原子库中存在一个系数表示，而且满足下式:

则此分解的L1范数最小化问题有唯一的解，即为L0范数最小化的解。1.如果满足定理1中的条件，则L0范数的问题将有唯一最稀疏解;2.如果进一步的满足定理2的条件，则L0范数的优化问题与L1范数的优化问题等同，即对求解稀疏系数的最小L0范数问题就转化成为了最小L1范数问题。为什么L1范数与L0范数效果会等价?Elad和Bruck25基追踪：我们将L1范数替换L0范数之后，稀疏表示模型：min||x||_1

subjectto

y=Dx就变成了一个常见的线性规划问题，我们可以用单纯性算法或内点法来求解.基追踪去噪：我们可以把上式的模型加以变形为：min（x）½||y-Dx||_2+i||x||_1这个称为L1范数最小二乘规划问题，我们可以用梯度下降或梯度投影法进行快速的求解。

凸松弛算法的有效性依赖于过完备字典自身是否存在快速的变换与重建算法，例如对于正交基字典算法具有较高的效率，然而对于一般的过完备字典，凸松弛算法仍具有非常高的运算复杂度。

基追踪：我们将L1范数替换L0范数之后，稀疏表示模型：262.1贪婪法

我们知道稀疏解x包括非0系数的位置索引和幅值两个信息，贪婪法的主体思路是先确定x中非0元素的位置索引，然后用最小二乘求解对应的幅值。与凸松弛算法相比，贪婪法具有比较低的复杂度。我们这里主要介绍的算法是匹配追踪算法（MP）与正交匹配追踪算法(OMP)。因为这两个算法是复杂贪婪算法的基础。2.1贪婪法我们知道稀疏解x包括非0系数的位置271、一旦触电，应立即关闭总开关，截断电源。同学们，今天我们一起来学习了什么是食物中毒以及食物中毒后怎么办.希望同学们能学以致用，防止食物中毒。要注意车轮的轮毂，车的品牌在轮毂上会有。当车停稳以后，轮毂上的品牌按标准要求应该与地面呈水平状态。小提示1：面试之前了解所有空缺岗位的要求。 讲话结巴或模糊不清也是紧张的征兆。拟定好岗位说明之后，选择招聘方法就需提上议事日程了。招聘方法多种多样，可以在全国性报刊上刊登广告，也可以借助专业的猎头公司。不论你采用哪种方法，最少都需要一次面试。三、中毒症状及急救措施确认书要简明扼要，尽快寄到新雇员手中。（4）不闯红灯，拐弯减速慢行；不准双手离把，不准追逐打闹。（3）室内不要高空悬吊、摆放物品。

MP算法的基本思路是在每一次的迭代过程中，从过完备字典D中选择与信号最为匹配的原子来构建稀疏逼近，并且求出信号表示残差。之后继续选择与信号残差最为匹配的原子，再经过一定次数的迭代，信号就可以由多个原子线性的表示。x为信号，为用于稀疏分解的过完备字典的原子（即列向量），为r的集合。原子都做了归一化处理=1。1、一旦触电，应立即关闭总开关，截断电源。MP28

首先从过完备库中选出与待分解信号x最为匹配的原子，何为最为匹配就是信号在原子

上的投影最大时：信号可以分解为在最佳原子上的分量和残余信号两部分，即为：

其中R1x为残余信号，初始值R0=x。由投影的原理可知与R1x是正交的，故可得：由上式可知要使残差R1最小，则投影值

要求最大。对最佳匹配后的残余信号可以不断进行上面同样的分解过程，即

其中

满足

要求。首先从过完备库中选出与待分解信号x最为匹配的原子29由此经过n次迭代之后信号被分解为：Rnx表示为信号分解为n个原子的线性组合时信号的残差。由于我们使用每步都取最优原子，故可知残差是会迅速下降的，当n达到无穷是，残差即无限接近于0.我们可以根据自己的要求设置n的值来使信号稀疏，n也可以称为信号的稀疏度。但是由于信号在已经选择的原子上面的投影一般都不会正交，所以每次迭代的结果都不是最优的。故我们要求达到摄像的收敛条件，可能需要过多的迭代次数，计算复杂度比较大。所以我们思考如何改进算法可以有效减少复杂度，正交匹配追踪应运而生了。由此经过n次迭代之后信号被分解为：30

正交匹配追踪算法与匹配追踪算法的唯一的区别在于我们在递归的对于所选择原子集合进行了正交化处理，为什么要这么做？因为这样我们可以保证每次结果都是最优的，从而可以有效的减少了迭代次数，提高了算法效率。

即在每次选择的原子用Rram-Schmidt正交化处理：其中Up为上一次的原子正交结果，初始Up=

。

需要注意信号现在在原子正交化的Uk上投影而非原来的原子上投影了。其余步骤与匹配追踪一样的。

正交匹配追踪

正交匹配追踪算法与匹配追踪算法的唯一的区别在3113.课外活动和体育锻炼，要按有关安全规则进行。七、把消防工作列入工作、施工、经营管理的内容有上述（1）-（5）条情形之一的供应商，成交无效；有上述（6）-（11）条情形之一的供应商，按规定追究法律责任。新生入学应当提交体检证明。学校建立学生健康档案。学校应当在校内高地、电梯、楼梯等易发生危险的地方设置警示标志或者采取防护设施。（1）酸：4、组织制订消防安全管理制度，并认真贯彻落实。(5)其他谈判文件要求的内容。Ⅰ保持低进液液位和低真空度，即低液位低真空