基于压缩感知的三维视频错误隐藏技术研究

信息工程学院本科毕业论文（20 届）题 目基于压缩感知的三维视频错误隐藏技术研究系 专 业 班 级 学 号 学生姓名 指导教师 完成日期20 年 月信息工程学院本科毕业设计摘 要 在诸多的三维视频错误隐藏技术中，基于解码端的错误隐藏技术在视频接收端进行错误隐藏，是十分有效的后期处理技术。错误隐藏的原理是利用自然图像的低频特性尽从而恢复受损图像, 减少视觉差错、降低误码损害。近年来，压缩感知理论的兴起为错误隐藏技术带来了新思路。该理论从新的角度对信号进行采集和处理，成为未来视频应用发展的新趋势。本文利用视频图像压缩感知的稀疏特性，提出一种基于压缩感知的三维视频错误隐藏新方法。该方法不依赖于运动矢量的恢复，通过基于本地字典的构建及稀疏表示来进行错误隐藏。该方法先将丢失块划分成前景块和背景块，对前景块采用基于压缩感知的错误隐藏法来恢复，而对背景块恢复则采用直接从时域参考帧或视点间参考帧拷贝的方法。实验结果表明，本文方法很好地解决了受损视频图像的修复问题，重构图像的主客观质量良好。关键词：错误隐藏；压缩感知；稀疏表示；字典构建ABSTRACTAmong many error concealment techniques of 3D videos, it is a very effective post processing technique that error concealment techniques based on the decoder using error concealment in the video receiver. The principle of error concealment is to take advantage of the low frequency characteristic of natural image in order to restore the damaged images, reduce the visual error and the damage of BER. In Recent years, the theory of compressed perception brings about a new idea for error concealment.the theory acquires and processes the signs from a new perspective, and becomes the new trend of future application of video. The essay puts forward the error concealment of 3D video in using the sparse feature of compressed sense of videos which is based on compressed sense. The theory is not dependent on the recovery of MVS and based on Construction of local dictionary and sparse representation to use the error concealment. This method first divided the lost block into foreground and background blocks. The recover of foreground base on compressed sensing of error concealment method, while the background block recovery is adopted directly method that copy from the inter-temporal reference frames or viewpoints reference frame. The test result indicates the method solve the problem of damage image of video, and subjective and objective quality of the reconstructed image are well.Key words：error concealment；compressed sensing；parse representation；local dictionaries 信息工程学院本科毕业设计目 录1 绪论11.1课题研究背景11.2压缩感知发展现状21.3本文研究内容及安排32 压缩感知42.1 压缩感知42.2 稀疏表示52.3 稀疏信号重构算法63 错误隐藏93.1 时域错误隐藏93.2 空域错误隐藏123.3 混合错误隐藏144 基于压缩感知的错误隐藏164.1 算法概述164.2 出错宏块区域划分174.3 基于压缩感知的三维视频错误隐藏算法184.4 实验结果215 结论与展望235.1 结论235.2 展望23致谢24参考文献25杭州电子科技大学信息工程学院本科毕业设计1 绪论1.1 课题研究背景信息技术的快速发展使人们对信息的需求量激增。在视频通信系统中,错误隐藏技术通过掩盖有错信道传输过程中产生的误码,在接收端提供了一个更好的视觉效果。由于不同的信道特性和系统配置,错误隐藏技术在不同环境中应用的结果也大不相同。展望目前的错误隐藏技术,不仅要持续改进与发展,但更应关注的是把编码算法、传输协议、后加工方法一起设计到视频压缩和传输过程中去以加强系统级设计及优化,使接收端视频的失真最小化。因为当前大部分的视频编码技术都是基于时域空域混合编码，所以错误隐藏算法的目标就是提高接收视频的质量。但是错误隐藏算法的最终目标不是为了重新恢复受损或丢失的信息，而是让即使已经发生损坏的情况下图像仍有较好的视觉效果。边界匹配算法(Boundary Matching Algorithm，BMA)遵循最小边界匹配误差原则，把最佳的运动矢量当作丢失块(ktMacrob-lock，LMB)的丢失运动矢量(10stMotionVector，LMV)，H264JM解码器中错误隐藏的主要算法就是来源于BMA算法1。几乎大部分的自然图像信号都在某个变换域都具有稀疏性，基于压缩感知理论误错误隐藏方法应运而生。压缩感知2采用了非自适应线性投影技术来保持信号的原始结构，并且采用数值最优化准确还原出初始信号，此方法可以用到信道编码中误差控制的研究中，带来了革命性的的突破。当前的视频压缩编码标准主要采用预测编码和变长编码技术，压缩后产生的码流对传输错误十分敏感，在易错信道中进行可靠的视频传输面临着巨大的挑战。一旦压缩后的码流在传输中出现差错，将会导致错误的累积与传播，影响视频重构质量。为了获得更好的视频重建效果，必须采用有效的差错控制技术用以保证传输质量。在常用的差错控制技术中，基于解码端的差错隐藏技术寻求用主观评价质量好并且接近初始视频质量数据来掩盖丢失块，无需从编码再端搜集多余的数据的优点使得绝大部分算法可以做到与编码标准无关，因而此方法得到了广泛的研究。1.2 压缩感知发展现状研究发现，在稀疏度较高的条件下，在采样过程通过L1范数最小化能使稀疏信号的有不错恢复效果。压缩感知理论就是在上述理论的基础上提出的。虽然压缩感知理论目前还处于研究阶段，但是在现代科学领域中它是一个全新的研究领域。2006 年正式发表的有关论文使它开始受到全世界相关领域研究者的广泛关注。两位伟大的学者Emmanuel Candes和Richard Donoho很好地将L1最小范数稀疏约束与随机矩阵相融合，重构出性能不错的稀疏信号。该理论的提出引起了极大的轰动，在多媒体编码、雷达目标追踪、无线传感网络、卫星遥感图像、生物医学成像等相关领域都引起高度关注。在此基础上，Tropp等学者研究发现通过使用正交匹配追踪算法(OMP)能够重构出稀疏信号。在此之上D.Needell等人提出了全新的随机测量的ROMP 算法。压缩感知技术3所需的采样率远低于香农定理对采样率的限制,而且在对信号进行投影测量时即可同时达到采样和压缩的目的。因为信号的投影测量冗余度远小于传统采样方法所取得的数据,所以在实际应用中极大地缩减资源的采集和传输成本。压缩感知理论的提出突破了信号采集领域的瓶颈,为研究人员提供了新的思路和方法。自压缩感知理论被提出以来，该方法在很多的相关领域取得了突破，如生物医学核磁共振图像的处理（MRI）和无线传感接受器，利用压缩感知方法能够对本来存在的大量数据进行正确的验证与分析。同时M.A. Herman和T. Strohmer 提出了一种基于压缩感知理论的新颖的雷达信号处理方法，该方法在比传统雷达在有更好的时域频域分辨力。 由于压缩感知理论所存在的巨大潜力4，全世界的不少知名大学,如美国的麻省理工大学,英国的爱丁堡大学,德国的慕尼黑工业大学等都组成了各自专业的压缩感知理论课题研究组。随着压缩感知理论的不断改进和完善,这一技术肯定会被应用到更加广阔的领域中。同时国家自然科学基金委看到了压缩感知的潜力并资助了多项有关压缩感知方法的研究。1.3 研究内容及安排在研究视频编码和压缩感知理论的基础上，发现无论是运动估计还是视差估计或残差，它们都具有很强的稀疏性，压缩感知能很好的恢复出这些稀疏图像。本文构建了一种基于压缩感知的三维视频错误隐藏方法，通过大量仿真实验验证可行性，并且利用信号的稀疏性进行信号稀疏重构从而达到三维视频错误隐藏的效果。 第一章绪论，主要介绍了本课题提出的研究背景与意义，并且对压缩感知的出现与发展现状进行了简单介绍，同时对本文所要研究的内容和结构进行了安排。 第二章压缩感知，介绍了主要介绍压缩感知技术的主要框架，本章首先分析了信号稀疏表示的基本原理,分析了信号能够稀疏重构的原理，测量矩阵需要满足的条件。本章中着重介绍了几种压缩感知稀疏求解经典的贪婪算法，这其中包括经典算法 MP、OMP、CoSaMP的原理和步骤。第三章错误隐藏，主要对视频传输中的错误隐藏技术进行了详细的介绍，包括对目前一些错误隐藏技术的总结，包括时域错误隐藏、空域错误隐藏以及时域空域混合错误隐藏。并且分析了此三类错误隐藏技术的优势与劣势。第四章基于压缩感知的错误隐藏，首先介绍了基于压缩感知的三维视频错误隐藏的原理和实现过程，该方法利用了信号的稀疏性特点，通过构建字典来选择信号稀疏基，再运用了OMP算法还原出初始信号值，从而达到错误隐藏的效果。最后给出程序仿真实验结果。 2 压缩感知2.1 压缩感知如下图2.1所示,是传统的信号压缩采样过程中，为了防止信号丢失,采样频率要求不低于信号最高频率的2倍。仅假设信号是有限带宽，使得数字图像、视频的数据采集上存在着极大的冗余度。传统编码都是采用变换编码，如DCT和小波变换。而压缩感知采用随机采样，二者都是为了提前信号中蕴含的信息而构建的。传统的采样模式就是采样和压缩，然后解压，相当于两个部分是同时并重的。压缩感知简化了采样，尤其是重构的部分。采样变换、压缩编码信号x输出数据Y解压缩、反变换接受数据Y恢复信号编码端解码端 图2.1 传统的信号压缩采样过程 接收数据Y解码重构恢复信号稀疏信号X测量编码输出数据Y编码端解码端编码端解码端 图2.2压缩感知采样压缩过程如图2.2压缩感知采样压缩过程所示，压缩感知能够很好的结合传统采样和压缩这两个部分，因此可以很好地缓解信号传输速度和存储空间的压力。它的核心思想是整合压缩与采样。该理论认为，假如存在一变换域内，信号是稀疏或者近稀疏的，就能通过与变换矩阵不相干的测量矩阵把转换系数投影为低维向量，并且该投影包含着重构出信号必要的数据，只要解决稀疏最优化问题就能精确地重构初始信号。这时采样的速率就取决于信息的内容和构造而不是信号的带宽，这巧妙地将信号的采样过程变换为了对信息的采样过程。压缩感知理论的三个主要步骤是：压缩观测；稀疏表示；优化重建。信号的稀疏表示的本质其实就是原始信号的简易表示。它把信号在正交变换基上进行投影，因为转换稀疏的绝对值比较小，所以转换得到的向量是稀疏或近稀疏的，同时这也是压缩感知的先验条件。2.1.1压缩感知的数学模型众所周知，特征是非常重要的问题，包括压缩感知。如果一个信号在某数组参考信号表示下的系数更多为零，或接近为零，那么这个信号是稀疏信号。现今大部分的信号都是某组基向量下的稀疏信号。若一组长度为N的一维离散信号在某组标准正交基（为的正交基向量）的线性组合下展开，可表示为： 或者（矩阵的形式） (2.1)其中表达基是正交基字典矩阵，列向量是正交基向量的加权系数。想要对长为N的信号x进行重建的先要条件就是对之进行大于M次的N次线性测量对信号x进行一个压缩观测： (2.2)式子中为的测量基，为长度为N的信号x的线性测量值。测量的非相干性是指表达基的列向量不能用测量基的行向量稀疏表示，反之亦然。当测量基为随机矩阵或伪随机矩阵时，可以满足与大部分表达基矩阵的非相干性。一般情况下，随机高斯矩阵、伯努利矩阵和随机抽样的Hadamard矩阵都可以被选择作测量基。我们可以把求解信号x的过程转换为求解最小范数的过程即， (2.3)此类问题常用的解决方法包括基追踪算法(BP)、梯度投影法、内点法等。 2.2 稀疏表示稀疏性是信息的一种普遍特性。压缩感知的一个重要前提就是信号的稀疏性，故对压缩感知理论深入化研究的第一要务就是剖析信号的稀疏表示5。稀疏表示的作用主要表现在以下几点：一、使问题有简单的解；二、降低复杂性；三、增强问题的可解释性。同时它根本作用表现为:唯有选择了正确的稀疏矩阵,以确保稀疏系数足够稀疏,才可以在降低压缩测量冗余度的同时仍然能使压缩感知维持较高的重建精度。信号的稀疏性直接影响着信号感知的效率。统计学原理和组合优化理论得出：在满足重构的条件下，如果选择恰当的观察方法和重构算法，只需要k +1次观察就能准确地重构N维空间的K-稀疏信号。Cands和Tao在2007年提出,要实现对稀疏信号的准确重构，测量次数必须满足 ，同时测量值尽量多地包含主要信息，就能平稳地重构出N维信号。因此，信号在字典矩阵下的表示越稀疏,恢复出信号所必要的观测数量就越少。然而在现实中，信号的稀疏表示具有某种程度上的抗噪能力，稀疏表示可以在一定的程度上减少噪声干扰。正是基于此种特性，稀疏表示可以运用到三维视频的错误隐藏中来。 一个一维离散时间实信号f，他的长度有限且为N。我们可以将它看作是每个分量记为,的，存在于在N中的一个 维列向量。因此我们可以将后面的信号都量化成一维信号来对后面的图像进行处理。 由维数为的向量构成的基可以描述中的任何信号。为了便于处理，我们假设这是一组正交基。我们以列向量的形式来存储所有的基向量，那么可以构成了一个维的基矩阵。所以信号f可以被我们表述为： (2.4)其中，x为维的变换系数向量，且 ,这里表示向量的转置运算。 由(2.4)式，我们知道，对同一个信号而言 f 和x是该信号的两种等价描述形式，而f为该信号在时间域上的表述，x为其在变换域上的表述。 (2.5)我们可以认为f在测量基上存在着m个非零的大系数或f 就是m的稀疏信号。因为在此公式中，表示其中 m 个向量的索引，且m小于等于N。当为标准基时，则称信号f为绝对m稀疏信号，即信号中仅有m个非零元素。 目前在压缩感知中稀疏矩阵的研究领域中，较多人关注于固定的正交基矩阵这一焦点，然而，对于较复杂的信号如自然图像等来说,给定的正交基难以捕获信号的多重特征,这将导致图像在变换域内稀疏性不足。然而有研究发现过完备冗余字典能使信号的稀疏表示效果更佳，因此人们现今的研究目标就是将压缩感知理论中的稀疏表示从给定的正交基中过渡到冗余字典去。2.3 稀疏信号重构算法求解满秩欠定线性方程的方法主要有两类：贪婪算法也就是最小l0范数法和凸优化的最小l1算法。本节注重介绍几个经典的贪婪求解算法匹配追踪法(MP)6、正交匹配追踪法(OMP)7、压缩采样匹配追踪算法(CoSaMP)8。2.3.1 匹配追踪法MP 它是由是Mallat,Zhang首先提出的一种利用迭代进行逼近求解的算法。该算法利用贪婪迭代来寻找最匹配的的列。在公式中，代表字典，它是一个矩阵，它的每一列被称作原子。k为稀疏度 ，r 为迭代余量，x代表测量信号 y 在列中的坐标。 MP算法步骤： 第一步：、初始化、y 、k，令，迭代次数 t = 0； 第二步：（1）计算内积 ； （2）计算出 中绝对值的极大值； （3）计算近似解，； （4）更新迭代余量； （5）当时，令，输出，r，不满足条件则返回步骤（1）。 （6）输出x的k 稀疏逼近和误差向量r ; 由于MP算法无法保证信号残差与所有原子正交，我们只能确保它和的每一列正交。所以为了信号残差与所有原子正交的要求，我们选择正交方阵来作为观测矩阵。2.3.2 正交匹配追踪法OMP 基于对MP算法的改进，产生了OMP 算法，此算法沿用了MP 算法原子的选择方法，就是将与观测信号或迭代余量最匹配的原子从原子集合中选择出。OMP（Orthogonal matching pursuit）算法步骤为： 第一步：初始化余量，迭代次数 ，同时令索引集 ， ; 第二步：（1）计算相关；同时把集合u的最大值更新到 中； （2）更新支撑集，其中； （3）计算，得到并更新余量； （4）当n K时，满足停止条件，则令，输出 x，。否则继续执行（1）。 （5）最后输出重构信号，误差向量r ; 2.3.3 压缩采样匹配追踪CoSaMP CoSaMP（Compressive sampling matching pursuit）算法步骤： 输入：稀疏程度系数k ，采样测量基，噪音测量值y。 输出：信号近似解a 。（1） 令初始化，初始化迭代次数 ； （2） 信号代理：； （3）选取其中大的值，合并支撑集 ，； （4）信号估计，可以得到新的逼近；（5）对残差进行替换，即； （6）当满足停止条件时输出，否则令返回第（2）步 3 错误隐藏错误隐藏(Error Concealment，EC)能够是恢复图像视频在传输时出现的错误。在这类技术中，主要由解码端利用已正确接收的信息来估计出错的视频数据，而不需要依赖于其它编码信息。它利用了视频图像在时间和空间上存在着很强的相关性，并且它本身不改变误码。众所周知，自然界的图像或视频中低频占主要成分，无论在时域还是空域其相邻像素的过渡是非常平滑的。图3.1显示了视频传输系统的组成框图。输入的视频信号通过信源编码器压缩到合适的输出比特率，图中传输编码器是集信道编码、分组、调制及传输控制与一体的综合单元。在客户端进行反运算输出重构的视频信号，错误隐藏用来克服因信道波动引起的传输差错。图3.1 视频通信系统基本组成框图对于一个视频编码器来说，它主要由三个功能单元组成，分别是时域模块、空域模块(波形编码)、熵编码器，如图3.2所示。时域模块利用时域相邻图像间的相关性来减少时域冗余，输出是残差信号及运动矢量等。 图3.2 视频编码器组成框图空域模块是利用残差帧中相邻数据间的空域相关性来进行压缩，常通过波形编码器来实现。它常常采用DCT或小波变换，以及矢量量化技术对视频残差信号进行压缩，是有损编码器，输出的是变换后的相关系数。在H.264中波形编码主要采用了DCT和运动预测补偿的混合编码。熵编码器是无损编码器，它根据波形编码器输出符号的统计分布，将输出符号映射成二进制码字。熵编码的典型方法有Huffman编码和算术编码。错误隐藏技术根据其利用的冗余度不同，主要分成时域错误隐藏技术、空域错误隐藏技术和空/时混合隐藏技术三大类，由于变换域主要是去除空间相关性，空域错误隐藏技术还包含频域错误隐藏技术。所有的错误隐藏方法恢复丢失的信息主要利用是时域和空间的平滑特性，然后进行时域或者空域的内插。本章重点描述了在解码端进行错误隐藏的各种技术，下面对三种方法进行简单的介绍。3.1 时域错误隐藏时域差错掩盖是利用视频序列中上一帧中的空间对应宏块来替换当前帧中的毁坏宏块。因此在进行时域错误隐藏时，运动矢量必须正确被估算出，它是时域错误隐藏技术中的难点所在，也是时域错误隐藏技术的核心。在目前的编码标准中，图像被分成N个块，然后对每个块搜寻其在前一帧的可能位置，这个位置的关系用运动矢量表示，同时将两者之差编码与运动矢量一起传输。当出现丢失块后，如果能得出该丢失块对应的运动矢量，就能在前一帧中找到和该丢失块相近的块进行填充。为了正确地估计丢失的运动矢量，已提出的方法有：a) 运动矢量设零化，填充参考帧中与丢失块位置对应的块内容，该方法在相对运动程度较小的视频序列中有良好的修复效果；b) 利用先前帧对应块的运动矢量；c) 利用空间相邻块的平均运动矢量；d) 利用空间相邻块运动矢量的中值。可是，当宏块毁坏时，它的水平相邻宏块也毁坏了，因此相邻宏块运动矢量的中值和平均值会忽大忽小。但通常来说，周边相邻块的运动向量选择以图3(b)中所示的四个向量为佳，且周边相邻块运动向量的中值优于平均值。但这些错误隐藏方法在图像块运动比较剧烈时, 图像恢复效果不佳。后来，W.M.Lam等提出了边缘匹配算法(BMA)Error! Reference source not found.，它根据最小边界匹配误差准则选择上述四种方法中的最佳方法。经典的时块匹配算法(BMA)的基本思路就是从受损块周围选取可用的运动矢量，以这些运动矢量和运动矢量的中值、平均值等作为候选运动矢量集，再经过边界匹配法则的判定，从候选集合中选择最为匹配的运动矢量指向的参考宏块来替代受损的宏块。图3.3 相邻块运动向量选取该匹配误差定义为待恢复宏块与其上方、下方及左边宏块间方差的累加。在计算中，可先设定受损宏块的周围相邻宏块已重构出来，受损宏块仅发生运动矢量丢失，那么运动向量和预测误差相结合即可计算出最小的边界匹配误差。如果受损宏块的预测误差也发生了丢失，则需假定受损宏块的预测误差与它相邻的上方、左边及下面宏块或对应宏块的预测误差相同，然后再计算边界匹配误差。边缘匹配算法的基本公式是： (3.1)式中，表示第n个、空间坐标为(x,y)的重构帧，表示移位帧差(Displaced Frame Diff：DFD)；定义： (3.2) (3.3) (3.4) (3.5)当Ctotal的值为最小时对应的就是最佳估计的运动向量。假如当移位帧差也丢失时，那么可利用周围块的移位帧差来替代。该算法的缺点是计算代价高，但H.264标准借鉴了该方法。由于当相邻象素的运动较复杂时，BMA算法并不十分有效，因此，J.Feng等加入了45方向的匹配估计式，提出了改进的BMA算法(MBMA)Error! Reference source not found.，但同时也增加了计算复杂度。后来，国立台湾师范大学的ChungYen Su等人提出了多边块匹配技术(MSBM)来进行时域错误隐藏0，图3.4所示为该算法的流程图，在该算法中将丢失块分成单一块出错、单一片出错和多片出错等。对于单一块出错，处理方法类似于文献0中的方法，对于片出错，由于受损块的左右块也遭受破坏，所以只能利用正确的上下相邻块进行错误隐藏。图3.4 多边块匹配技术算法流程图总的来说,基于时域的错误隐藏技术的优点在于计算复杂度低，但图像质量恢复效果不能达到最佳。时域错误隐藏在图像序列没有明显运动或者运动程度比较平稳时候（比如摄像机水平慢慢扫动）效果比较好，但是当发生场景切换、剧烈运动，丢失块在前一帧被遮掩时，时域隐藏的恢复效果并不理想。3.2 空域错误隐藏空域错误隐藏技术根据丢失块周边块的空间相关性（如平滑、纹理特征等），利用在同一帧中正确传输的相邻图像数据内插出丢失块的象素值。相对于时域错误隐藏技术，空域错误隐藏易于实现但重构质量较差。这是因为在现实中，视频序列的时域相关性比空域相关性更强。然而，在场景存在剧烈运动或场景发生改变的情况下，空间隐藏方法性能要优于时域隐藏方法。空域错误隐藏技术的主要原则是：确保丢失块和其邻块之间的平滑特性。基于空域的错误隐藏非常重要，因为有时视频码流中的帧不具有运动矢量，此时无法使用时域恢复方法来重建丢失内容。当前有三种主要的空间错误隐藏方法:第一种方法利用插值进行错误隐藏。在一个视频帧中存在丢失块时，利用丢失块四周的图像,通过插值的方法估计出丢失块的像素。但是往往一个丢失块的存在可能会引起邻域多个丢失块的出现，此时用插值的方法就会非常复杂,但是这种的方法的优点是恢复的准确度更高。空域错误隐藏算法中比较经典方法的是双线性内插法，此方法在简单平面或者平缓纹理区域其使用效果较优。1993年，Kwok和Sun利用空间向量块的相关边缘信息，采用多方向内插技术恢复出丢失块0。在内插过程中利用了连续性和已知值间的一致性，具体过程如下：1)利用梯度值进行边缘方向性确定。象素p(i,j)的梯度值可以通过下式计算， (3.6) (3.7)该公式与33Sobel算子法等效。即；。Sobel具有循环特性，相对与标准的梯度算子它能求得更精确的角度估计，常用来进行梯度估计。2)空间内插。丢失的象素值采用下式进行内插： (3.8)其中：表示丢失的象素，dmn表示距离，取2.5。3)图像融合。图像混合的目的是抽取两幅或更多幅图像的强特征值，然后将它们合成一幅图像。在混合前常将图像分成前景和背景，前景和背景在图像中的比例可通过计算均值和方差用直方图表示，接近于均值的象素值可认为是背景象素。远大于均值的认为是亮前景，远小于均值的认为是暗前景。 (a)像素选取最近的两个边缘 (b)每个像素使用离自己最近的4个 象素进行插值 边界像素进行内插图3.3 线性内插Aign和Fazel提出了两种内插的简单方法。从受损宏块的四个单象素宽的边界上内插出象素值0，分别如图3.3(a)和3.3(b)所示。第一种方法是以受损象素最近的两个边缘象素进行内插，第二种方法是从所有四个边缘的象素出发进行内插。该方法与POCS方法相似，仅利用了空间平滑特性，主要针对静止图像或帧内编码块。对于帧间编码帧，由于相邻块预测误差的DCT系数并不是高度相关的，但空域内插能应用到初始的象素值中。双线系内插的低通特性使得它在存在边缘的区域恢复效果很不理性，为了克服简单双线性内插易造成边缘模糊的缺点，Kwok提出了方向性内插的概念。利用此原理可以根据想相邻内容判断丢失块可能存在的边缘从而沿此方向进行内插。Ma通过Radon变换来确定丢失块的边缘方向。空域错误隐藏的另一种方法是凸集上的投影法(POCS)。该方法通过搜集丢失块图像的周围信息来确定凸集，其中每个凸集都包含丢失块每一方面的属性。因此，当对丢失块的属性了解越多，凸集就会越多，从而恢复得效果越好。Sun和Kwok利用丢失块周围的宏块预测出丢失块可能的边缘，然后再两个凸集之间进行投影迭代，并将恢复值限制在0,255之间。利用了马尔科夫随机场的原理，Shirani等提出了基于自适应马尔科夫场的错误隐藏技术。该方法能很好地恢复低频系数和高频成分，在恢复图像边缘信息中有很好的效果。空域错误掩藏算法利用了图像的空间相关性来修复受损块，当受损块与之相邻块都的亮度相同并且邻域的信息都能被正确传输的时候，该方法能发挥良好的隐藏效果。否则,修复出的图像质量效果差强人意。空域错误隐藏的缺点是对细节恢复得不够，时域错误隐藏的缺点是在运动激烈时效果不佳，因此当两者结合使用时效果更佳。3.3 时域空域混合错误隐藏由于单一地采用一种错误隐藏技术，可以让不同程度地改善重构得的图像质量。但是视频图像是多种多样的，一般一种方法只作用于特定的情况，因此有学者提出结合多种技术，根据应用场景的变化自适应地选择合适的错误隐藏算法，能够获得更好的效果。鉴于时域和空域错误隐藏技术的优缺点，时域错误隐藏技术在恢复静止或者平稳运动图像帧时效果非常好，但是当运动剧烈时恢复效果不理想；空域错误隐藏在图像帧细节恢复方面效果不好，因此可以将两者结合来一起使用，就形成了时域空域混合错误隐藏技术。这种错误隐藏方法主要分两类：1、时域空域自适应错误隐藏：在解码端进行解码时，根据丢失块特征况，采用自适应的方法，在时域和空域中选取最适合的错误隐藏方法进行误码恢复，以获得最佳的视频错误隐藏效果。这种方法的优点是计算复杂度小，图像恢复质量尽可能做到最好。2、时域空域混合错误隐藏：在解码过程中也可以将时域和空域错误隐藏方法混合使用，即对同一个错误块即采用时域错误隐藏又采用空域错误隐藏，最后把两个恢复块采用边界比配或者其他算法进行比较，选出最优错误隐藏块进行误码恢复。采用这种方法能够获得最佳的图像修复质量，但是其缺点是计算复杂度非常大。所有的错误隐藏方法恢复丢失的信息主要靠利用一些图像和视频信号的先验知识，主要是时域和空间的平滑特性。视频通信中的错误隐藏技术的研究已经持续了二十余年，已趋向成熟，但是随着无线通信中信道的日趋恶劣及新的多媒体通信技术的不断发展，还存在着较大的研究空间。由于视频通信中发生的错误形式不同存在着不同效率的隐藏方式，出错形式有整帧丢失、成片出错、左右(上下)相邻宏块出错、部分宏块错误等可采用不同的隐藏方式。传输图像的内容特征不同，隐藏方式也存在多样性。有些图像的时域变换剧烈，有些图像帧内的各宏块间纹理复杂，隐藏方式也可发生改变。一大研究热点是对受损宏块进行建模，用随机理论的知识来描绘出错特征而采用不同的隐藏方式。当然，由于目前流行的编码器都是基于块编码的，如何有效降低错误隐藏的块状伪迹也是一大研究热点，这涉及到平滑性约束的问题。4 基于压缩感知的错误隐藏4.1 算法概述稀疏表示在理论上的不断突破，尤其是用L1 范数代替L0范数的理论保障的证明，使得稀疏表示技术被迅速应用到图像处理等各个领域。Julien Mairal等在2008年提出了基于稀疏表示的图像重建。他们用稀疏表示对图像进行去噪，同时对小于10 10的区域进行修复，也取得良好的结果。信号稀疏表示的技术引入到图像修复的领域中来，同时将稀疏表示和纹理合成紧密联结在一起。正是由于单像素相机的出现，许多学者把注意力转移到了视频处理相关的领域中，随后出现很多运用压缩感知的理论成果。本论文首先介绍压缩感知基本理论知识，着重从稀疏性、矩阵测量和重建算法三个方面阐述压缩感知的精髓。稀疏化处理是压缩感知重建的必要条；测量矩阵是压缩感知的关键，经测量后的矩阵能实现维数的降低，因此，测量矩阵的设计至关重要，重建算法是实现信号恢复的最后关卡。图4.1 简单的算法流程图本章将图像修复的问题看成一个信号恢复的问题。每个信号对应图像中一个小块。算法逐块填补要修复的区域。在填补每一块时，都采用基于稀疏表示的方法。如图4.1所示，基于压缩感知的三维视频错误隐藏算法概述如下：1. 输入：视频帧，当前帧的各个参考帧及当前帧中的正确解码区域，已检测到的丢失区域。2. 出错区域划分，画分成背景区域和前景区域。3. 对背景区域采用直接拷贝的方式进行错误隐藏；对前景区域采用基于压缩感知的方法进行错误隐藏。根据得到的字典与观测矩阵，对原始视频帧进行稀疏与观测，得到观测信号y。4. 输出：隐藏完毕后的图片。4.2 出错宏块区域划分计算机视觉领域的一个重要的研究方向就是前景分割。它能够在视频监控，智能视频编辑等方面起到良好的作用。对前景目标进行建模，然后在每一帧的视频中找到它的位置；考虑背景建模问题，并试图分割视频序列中的对象。这两类方法都是尝试让计算机将视频中前景和背景分开。在4.1节算法概述的步骤2中，需进行前后景划分13，常用的前后景划分方法有，光流场法、帧间差分法和背景差分法。光流场法方法较繁杂，因此不易于操作。帧间差分法也存在着计算数据量较庞大的缺点。背景差分法虽然运算简单，易于实现，但是易受外界因素干扰。基于自适应稀疏表示的目标跟踪，其实就是把前景和背景区别开来，因此我们在进行目标跟踪的时候，不仅要去跟踪预备的目标，还要提取目标周围的区域，并进行特征训练。本文采用帧间差分法进行背景区域和前景区域划分，对于输入的出错帧，首先将每个丢失宏块四周正确的解码宏块与同一视点时间轴上最临近的解码帧中的对应宏块作帧间差值运算(帧差)。定义丢失宏块四周某相邻宏块各像素的帧差均值和四周各宏块帧差总均值为； (4.1)式中，N表示丢失宏块四周可用宏块的个数，其中，K=256。丢失宏块与四周相邻宏块的分布图如图3所示。丢失宏块所属区域的划分方法如下：1) 当，且四周各个相邻宏块的帧差均值均小于等于+2时，则认为丢失宏块位于背景区域。2) 当+2时，则进一步将丢失宏块分成四个88块，与宏块X相邻的88块认为是背景变动区域，其它88块属于背景区域。3) 当，但在相邻宏块中存在大于个宏块，其；那么，将丢失宏块分成4个88块，与的各相邻宏块城区距离19最近的88块，判断为背景块。4) 当，且每个相邻宏块的全都大于+2时，则认为丢失宏块属于活动的前景区域。在实验中，阈值设为9，它的获取是通过对不同序列进行实验测试获得。这是因为在实际情况中，由于图像总是存在着噪声的影响，且各帧图像间也有可能存在光照差异，因此帧差值不可能为0。4.3 基于压缩感知的三维视频错误隐藏技术在本文中，我们提出了一种基于压缩感知的三维视频错误隐藏方法。然而，不同于大多数的时域错误隐藏方法的是，我们的方法不立足于运动矢量的重构。我们的方法利用了图像块的稀疏表示，它通过从相邻视频帧的邻域的块构建本地字典。实验结果表明：重建帧的峰值信噪比对于传统的BMA算法有显著改善。虽然BMA在H.264的参考软件使用的标准错误隐藏方法，并以实现为基准目的，需要提及的是，我们的方法不仅适用于H.264，还可以作为后处理技术直接在图像域中工作，它可以通过分组网络运用到任何视频编解码器和任何视频传输系统中。4.3.1 构建字典直接对前后参考帧和视点间参考帧中进行采样，或者采用出错区域周边的正确解码块。压缩感知理论的一个先要条件前提就是信号在某个字典下可稀疏表示或者可近似稀疏表示。而我们所指的字典构造15也就是信号稀疏表示理论中的稀疏基的构造。然而，字典下的信号信号稀疏性越高，信号重构的精确性就越高，所需要的测量次数也就会相应的减少。所以，基于压缩感知的信号编码和过程中，字典构造是一个非常关键的过程，它将决定最终信号重构的质量，下面先对字典构造进行简要概述。 （1） 最优方向法（Method of Optimal Directions，MOD）是目前已知的最早训练字典的方法，给出一系列样本信号 F，MOD 算法的目标就在于通过下面最小化表示误差形式，得到字典 D 和稀疏矩阵： (4.2) 其中，表示稀疏矩阵的每一列，T是稀疏度上限。稀疏编码阶段使用 OMP 或者 FOCUSS 算法求解出样本信号的稀疏系数；而字典的更新则是固定稀疏系数，采用有关字典D的迭代，对字典进行更新。MOD算法只需几步迭代便收敛到一个局部最小值，效率较高，但包含矩阵的求逆运算，计算复杂度较高，在字典列元素的个数较大时不现实。 （2）正交基级联法（Union of Orthobases）：训练的字典是多个正交基的级联，求解样本信号经过正交变换后在每个正交基下的稀疏系数，然后通过残差和稀疏系数乘积的奇异值分解，逐个更新每一个正交基。这种方法可以使字典设计的复杂度减少，稀疏编码阶段效率高，循序的更新每一个字典，并得到一个结构化的字典。但其模型相当有限，实际应用中不能充分表示复杂结构。 （3）K-SVD 算法：采用特征明显的样本信号训练得到一个字典,该算法利用给定的训练样本信号，通过最小化MSE的方法寻找可以使训练样本在严格的稀疏度限制下得到最好表示的字典，达到更新字典的目的。可保证收敛于一个局部极小值，然而上述算法依赖于具有鲁棒性近似解的追踪算法，并不能保证收敛。 第二种方法构造的字典一般是正交基，与随机测量矩阵是不相关的，一般的图像信号在这种字典下也是稀疏的，而且时间复杂度较低，变换速度快，这种字典对一维信号有较好的近似；但对图像的边缘，轮廓等各向异性特征的表示效果不好，且和原始图像缺少相关性。第三种方法针对特定的训练样本集，通过求解一个最小化稀疏表示误差的优化问题，训练出能够将此样本集稀疏表示出来的字典，从而对于相同类型的信号也可形成稀疏表示。对比前一类的方法，训练得到的字典对于指纹、面部等特殊类型的图像通常可以产生信号更为稀疏的表示，但是此类方法存在计算复杂的缺点。 图4.2 利用本地字典进行图像修复本文中构建字典的方法如图4.2所示，直接对前后参考帧和视点间参考帧中进行采样，或者采用出错区域周边的正确解码块。此方法的一个重要前提是假设丢失块的位置是已知的。在运动补偿的视频编码中，我们假设宏块有一个在同一个区域大小相同的块，此块可用于构建字典的稀疏表示。 (4.3)在上式中，p是恢复出图像块，D是构建出的本地字典，是余数。每一个宏块能得到一个完美的匹配块。图4.3 子块网格的划分和受损图像补丁的构建然后，我们将丢失域划分为尺寸更小的子块，依次地完成对每个子块的隐藏。对于每个子块的图像补丁都由使用中的子块和其周围的非丢失（或已经隐藏的）的子块构成。周围的子块可以这样来选择：隐藏图像的数据量被最大化来选择，参见图4.3。一旦丢失的位置是已知的，我们常规地可以设出 (4.4)其中p1为隐藏的数据，p2是丢失块。 (4.5)式（4.3）现在可以被改写为式（4.5），其中，分别与和 相关联的子目录。也可以被看作是该模型的局部观察(1)。基于这些信息，我们就可以求出。 (4.6) (4.7)此时丢失的块就可通过上式被隐藏起来。然后更新丢失区域，然后不断重复，直到当前帧的所有的丢失区域被完全隐藏。4.4 实验结果4.4.1 错误隐藏算法评价图像恢复质量的评价标准一般分主观标准和客观标准两类。客观标准一般以图像或视频信号之间的统计误差作为衡量标准。峰值信噪比(PSNR)方法： (4.7)其中，M、N分别代表图像的宽和高，f(i,j)、g(i,j)分别代表原始图像和重建图像的灰度值。一般来说，PSNR值越大图像恢复质量越好，相对地，PSNR值越小恢复质量越差。此方法建立在原图的基础上，因此在如果无法得到原图像的条件下有比较大的局限性。均方误差(MSE)方法: (4.8)M、N分别是图像的高和宽，是参照图的像素值，是待检测图内点(x,y)的像素值。主观标准是依据人们对信号的观察给出的主观评分。它的影响因素有：图像有无马赛克，是否平滑；图像物体边缘清晰与否等。因为人眼敏感于图像物体边缘走向的清晰度，因此平滑恢复在图像的物体边缘部位和局部纹理效果不是很好，所以主观标准评价在许多场合并不适用。同时此标准还会受到个人喜好、实验环境等外界因素干扰，不适用于实时系统。4.2 实验结果 本文先采用图像中的某一块进行实验测试。图4.4(a)为正确解码图像，(b)为出错图像。图4.5(a)为从出错图像中截取的一小块图像，大小为4848，中间1648大小的块丢失,其中平均峰值信噪为28.5661dB。图4.5(b)为经基于CS方法修复后的图像，中平均峰值信噪比可以提高到39.3885dB。(a)初始图像(b)出错图像图4.4原始图像与出错图像比较图(a)出错块（PSNR=28.5661)(b)恢复块（PSNR=29.2885)图4.5截取的图像出错块与恢复块比较图5 结论与展望5.1 结论三维视频的庞大的数据量导致了在传输过程中会出现各种错误。为了使我们最终能够得到较为清晰的图像，就需要设计更好的错误隐藏技术，本文介绍了一种基于压缩感知的错误隐藏方法。本文利用信号的稀疏特性，并建立于OMP算法的基础上重构丢失的视频图像信号。该方法先对丢失块进行区域划分再有针对性地作出丢失块恢复。对前景区域的丢失块进行压缩感知的错误隐藏方法恢复，具体步骤为先构造出字典，再求出稀疏系数，然后利用稀疏系数进行错误隐藏；而对于背景区域则直接从时域参考帧和视点间参考帧直接拷贝；最后将前景和背景的修复块相加后得到完整的恢复帧。5.2 展望由于研究的时间有限