基于H.264AVC的视频抗误差传输新技术---毕业论文

本 科 毕 业 论 文基于H.264/AVC的视频抗误差传输新技术New Error-Resilient Techniques of H.264/AVC Video姓 名：学 院：软件学院系：软件工程专 业：软件工程年 级：学 号：校内指导教师： 校外指导教师： 副教授 年 月摘要H.264是一种高性能的视频编解码技术，因为其采用了更小的块模式、多帧参考、FMO等技术，相比以往编解码，能够更好的增加压缩效率和提高图像质量，并且在网络环境差的时候也能更好的抗误差。在传输过程中，网络信号不好将导致解码器端接收到的文件并不完整，根据这个不完整的压缩文件解码出来的图像是有黑块的，基于当前不完整图像，对误码块进行修复，这就是错误隐藏。H.264将图像分为I帧、P帧、B帧及SI帧、SP帧、SB帧。本文首先研究了H.264中P帧中的错误隐藏算法（EC），然后对国外的一些时域隐藏算法做了些研究，将论文大致归为为以下几类，BMA的改进、运动矢量的估计、修复顺序的改正、分割模式的改变和空间时域相结合的方法。在研究了他们的优缺点后，针对其中相应的优缺点，在H.264的基础上提出了新的思路（Priority+EBMA排序）：首先修复的宏块会给后面要修复的宏块，处于边界的宏块优先级最高，然后再根据周围宏块的正确宏块和修复宏块的个数订立优先级。首先修复优先级最高的宏块，在同等优先级的情况下，采取EBMA值越小则越先修复。选取了forman和flower的cif图像进行测试，在大量P帧丢失宏块的情况下，PSNR几乎每帧都能得到大的提高，说明相对于原始的H.264的错误隐藏的算法，psnr增加了很多，说明该算法比H.264本身的算法的效果要好。关键词： H.264；错误隐藏；P帧；时域修复AbstractH.264 is a high-performance video codec technology, because it uses new technology such as a smaller block mode, multi-frame reference and FMO. Compared with the previous codec, it increases compression efficiency and image quality.And in not good network environment quality can be better. In the transmission process, poor network signal will lead to the decoder termination to receive incomplete documents.Then according to the incomplete encoded file there will be black blocks in the decoder. The repair of block error is error concealment. H.264 image is divided into I-frame, P frame, B frames, SI frames, SP frames and SB frame. The paper first studied the P-frame in H.264 Error Concealment Algorithm (EC), and then introduce the algorithms in this domain. the thesis would be broadly classified as the following categories, BMA improvement,motion vector estimate, repair order correction, segmentation and spatial patterns combining the time-domain method. In the study of their advantages and disadvantages, based on H.264 we find a new way (Priority + EBMA order): First of all, will repair the macroblocks of the edge of the image.Then conceal the highest priority, and the priority is relationed with the macroblock which is correct and concealed around the MacroBlock. Second, we conceal the macroblock of the highest priority,and in the same priority,we conceal the marcoblock of the smallest value of EBMA. I use the forman and the flower image which is cif type to test. The marcoblock of P-frame in them all loss in a large number.The answer is:PSNR in almost every frame has a big improvement compared with the original method of the error concealment of H.264 algorithm, psnr increase a lot show the method (Priority + EBMA order) is better than the original method in H.264.Keywords: H.264; error concealment; P frame目录第一章 引言11.1 研究背景11.2 研究现状11.3 本文研究方向21.4 研究的思路21.5 论文的组织结构2第二章 H.264中的错误隐藏技术42.1 错误隐藏技术介绍42.2 参考平台介绍42.3 JM15.0的解码器端的整体流程52.4 H.264中JM15.0错误隐藏的方法62.4.1第一步： 确定错误宏块簇62.4.2第二步： 宏块簇内的修复62.4.3第三步： 获得mv数组72.4.4第四步： 选择最佳mv8第三章 错误隐藏的当前研究成果103.1 BMA改进103.2 空间预测和时域相结合103.3 运动矢量的估计113.4 修复顺序的改善113.5 分割模式的改变12第四章 Priority+EBMA排序134.1 算法134.1.1 算法基本思想134.1.2 优先级规则134.1.3 ECOrder144.2 算法的流程154.3 模拟网络丢包环境164.4 编码方式及序列164.5 修复效果衡量参数PSNR174.6 实验结果17第五章 结论22致谢语23参考文献24ContentsChapter One Introduction11.1 Background Research11.2 Research Status11.3 The Direction Of Research In This Paper21.4 Research Ideas21.5 Structure Of The Thesis2Chapter Two Error Concealment In H.26442.1 Introduction of Error Concealment42.2 Introduction of Platform42.3 The Overall process of JM15.052.4 Error Concealment of JM15.062.4.1Step1： Determine culsters of Error Marcoblock62.4.2Step2： Determine Error Macroblock62.4.3Step3： Get Mv Array72.4.4Step4： Determine Best Mv8Chapter Three Others Research of Error Concealment103.1 BMA Improvement103.2 Spatial And Time mixed103.3 Estimation of MV Vector113.4 Sequence of EC113.5 Partition Mode12Chapter Four Order of Priority+EBMA134.1 Algorithm134.1.1 Basic Idea of Algorithm134.1.2 Priority Rules134.1.3 ECOrder Rules144.2 Process 154.3 Simulated Packet Loss164.4 Paramter of Encoder and YUV164.5 PSNR: Measure The Effect of Repair174.6 Results of Experiment17Chapter Five Conclusion22Thanks .23References24基于H.264/AVC的视频抗误差传输新技术第一章 引言1.1 研究背景随着HDTV的兴起，H.264这个规范频频出现在人们眼前，HD-DVD和蓝光DVD均计划采用这一标准进行节目制作。而且自2005年下半年以来，无论是NVIDIA还是ATI都把支持H.264的硬件解码加速作为自己最值得夸耀的视频技术.H.264 使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量的图像传输，该优点非常适合用户量大、接入网/骨干网带宽相对有限的状况。在同等的画质下，H.264 比上一代编码标准MPEG2 平均节约64的传输码流，而比MPEG4 ASP 要平均节约39的传输码流。全球很多IPTV业务运营商都将H.264 作为编解码格式的标准，包括比利时电信,荷兰KPN，泰国ADC 电信，中国电信等等。根据中国电信上海研究院的实际测试结果表明：国内普遍采用的MPEG-4 编码技术在3Mbps 的带宽下尚达不到标清的图像质量，而H.264 编码技术可以在2M 带宽下提供要求的图像效果。因而运营商希望引入更先进的H.264 编码技术，在有限的带宽资源下进一步提高图像质量。由于信号传输干扰、噪声和信道拥塞等原因,导致信道不可避免会有误码或丢包等现象发生,对于H.264编码视频流来说,可能会造成帧中宏块的丢失,从而不仅影响当前帧的质量,而且由于采用帧间编码,这种影响还会连续传递到以后的解码帧,从而导致整个视频序列质量的严重恶化。在这种情况下,为了能够得到质量可以接受的视频图像,在解码端采用错误掩盖技术是一种行之有效的方法。误码隐藏技术是在检测到误码后对图像通过一定的方法进行修复，尽量削弱对人的视觉影响。误码隐藏技术分为时域误码掩盖和空域误码掩盖。本文主要研究的是时域误码掩盖，也就是P帧的修复。时域误码掩盖是基于运动补偿的时间预测，它利用受损块的运动信息对图像进行恢复。即使是采用帧内编码模式的图像块，也允许传输相应的运动矢量，其目的就是为了有效恢复受损图像块。1.2 研究现状对于H.264错误隐藏技术（Error Concealment12）的研究，国内外都有大量的优秀论文，可将论文大致归为为以下几类，BMA的改进、运动矢量的估计、修复顺序的改正、分割模式的改变和空间时域相结合的方法，BMA的改进主要有EBMA，双向EBMA等等，运动矢量估计主要有中值，全值估计等等，修复顺序方面主要有sobel算子，方差等等，分割模式上有直接划分成16个44，然后根据指定这16个块的修复顺序的，也有通过上下左右4个宏块的分割模式来进行预测本宏块分割模式的，空间时域相结合的算法往往比较复杂，比如，可以先根据时域进行修复，然后采用空间预测方式将修复所得的图像的边缘划出，然后再根据空间预测方式对该宏块进行预测，或者空间和时域同时修复，选择其中较优的像素点等等。具体的算法可见第三章。1.3 本文研究方向在分析了前人所提出的种种算法，并分析了优缺点后，发现H.264的两边向中间进行修复的方式忽略了宏块修复后的效果对于其后将修复的宏块的影响，而其他研究者对于修复顺序的并没有很好的算法，使得修复效果得到很好的改善，在实现了sobel算子，总方差等论文的前提下，决定提出一种新的思路，以来改善修复效果。1.4 研究的思路对于研究，大致分为以下几个阶段1）首先分析现有H.264 JM最新代码的算法和思路2）对于国内外的研究论文提出的新的方法进行一定的分析，并发现其中修复顺序方面的不足，决定从此方面入手，着重研究。3）实现修复顺序相关的算法，发现其与H.264相比并没有能够得到很好的改善4）提出自己的相关想法，构建出自己的理论模型5）在JM15.1上实现自己的想法6）分析算法所得的结果，将其与H.264进行相比，发现其结果得到了较好的改善，因此论证此算法对于H.264能够提高修复效果7）得出结论1.5 论文的组织结构 与研究思路的先后相对应，按照研究的先后顺序，该篇论文的组织结构如图1-1所示图1-1 论文组织结构第二章 H.264中的错误隐藏技术2.1 错误隐藏技术介绍当经过压缩编码后所得的压缩视频码流在通信信道上传输，特别是在具有较大噪声干扰的窄带信道（如PSTN或移动信道），或有可能丢包的信道上传输时，容易发生误码。并且误码在接收端解码时会引起扩散，使重建图像的质量在不同程度上受到该误码的影响。这主要是由于压缩编码去掉了视频图像内大量的空间和时间相关性，使得编码端输出的图像具有比原始图像较少的冗余信息，从而造成压缩后的图像对信道误码十分敏感，即易受信道误码的影响。为减少由于信道误码引起图像失真，人们正进行着种种努力。其中，除了大家所熟悉的前向纠错（FEC）及遇错重发（ARQ）等方法外，仅仅基于解码的或者和编码相结合的多种误码掩盖的方法近年来也逐渐引起了人们的注意。这种方法主要适用于实时传输的观赏视频图像，它是对已发生错误的一种弥补，因而是一类比较独立的、对改进误码图像的观赏质量有很大作用的、简单易行的方法。2.2 参考平台介绍1）JM： 是 H.264 官方推荐的测试源码，由德国 hhi 研究所负责开发。其特点是实现了 H.264 所有的特性，由于是官方的测试源码，所以学术研究的算法都是在 JM 基础上实现并和 JM 进行比较。特性：由于是官方的测试源码，所以学术研究的算法都是在JM基础上实现并和JM进行比较。但其程序结构冗长，只考虑引入各种新特性以提高编码性能，忽视了编码复杂度，其编码复杂度极高，不宜实用。2）X264：网上自由组织联合开发的兼容264标准码流的编码器，创始人是一个法国人。X264在网上的口碑极佳。特点：注重实用。和JM相比，在不明显降低编码性能的前提下，努力降低编码的计算复杂度，故X264摈弃了264中一些对编码性能贡献微笑但计算复杂度极高的新特性，如多参考帧、帧间预测中不必要的块模式、CABAC等。3）T264：中国视频编码自由组织联合开发的264编解码器，编码器编码输出标准的264码流，解码器只能解T264编码器生成的码流。特点：和X264的出发点相似，并吸收了JM、X264、XVID的优点。本文的平台本文采用的是基于JM最新版本JM解码器上研究和开发的。最新版本为JM15.02.3 JM15.0的解码器端的整体流程在介绍解码器端的错误隐藏技术之前，首先介绍一下，JM15.0的解码器端的整体流程，如图2-1所示。图2-1 解码器流程上面这个是解码器的流程，具体的误差掩盖算法如下，误差掩盖指的是当网络出现问题时，往往会伴随着部分宏块或者大量宏块甚至整帧的丢失，在这个时候，信息接收方需要根据已接受到的正确的信息对错误宏块进行修补。2.4 H.264中JM15.0错误隐藏的方法2.4.1第一步： 确定错误宏块簇确定错误宏块簇（如图所示的红色部分，由连续几个宏块所组成），在列上从两边到中间的方式进行修复，如图2-2所示，先扫描第一列，然后扫面最后一列，然后扫描第二列，下图上方的数字表示的是扫描的次序号码，另外，在同一列中，修复宏块簇的顺序是从上到下进行的。当确定宏块簇的时候，就进入下一步，宏块簇内的修复。图2-2 确定宏块簇2.4.2第二步： 宏块簇内的修复宏块簇内的修复，如下图2-3所示，分为三种情况：1）当宏块簇的上边缘位于图像的顶端的时候，则从下到上进行扫描修复。2) 当宏块簇的上下边缘都不处于图像边界的时候，则以两边向中间的顺序进行扫描修复。3）当宏块簇的下边缘位于图像的顶端的时候，则从上到下进行扫描修复。图2-3 宏块簇内修复采用上述修复顺序的优点，能够最大资源的运用周围宏块的信息来修复图像宏块。2.4.3第三步： 获得mv数组当确定了修复图像顺序和当前要修复的宏块的时候，下一步就要对该宏块进行修复，因为当前帧为p帧，所能参考的信息为周围的宏块的像素点和它的mv（如果该宏块为p宏块的话）。首先，如果本帧的mv的平均值小于某个限定的数的话，则直接拷贝上一帧中相同位置的宏块，如下图2-4所示：图2-4 直接根据上帧相同位置mv修复如果本帧mv宏块的均值大于某个限定的数的话，则需要根据周围可用宏块的mv来对该mv进行预测，需要注意的是，周围可用宏块指的是如果周围有正确的宏块，则只以正确的宏块的mv为参考，修复过的宏块的mv不纳入参考范围，如果周围没有正确的宏块，则以修复过的宏块的mv为参考。如果预测模式是以16*16模式进行的，也就是说，整个宏块（1616）的mv是一样的，只是采用相邻宏块的mv，来替代要预测宏块的mv，然后根据1/4像素内插的原则来对要修复的宏块进行修复，之所以只是采用相邻宏块的mv，而不对其进行一定的运算，主要是由于相邻的几个宏块中，也许参考帧并不相同，此时，对于mv的均值，中值再去进行预测就没有太多的含义了。图2-5 mv示例此外，参考的mv值，还有可能因为周围的宏块的分割模式的不同而不同，相邻宏如图2-5所示。块分为上下左右各4个宏块，比如，上方的宏块，如果该宏块被分为816，或88的宏块，则需要对上方相邻宏块的两个MV分别进行预测，也就是说参考mv数组中应该包括MV0，MV1。虽然说816，88块也有可能分成更小的宏块，但是，在这之前，如果块被分为更小的子块，在错误掩盖之前，系统已经将子块的mv进行了均值处理，比如mv0是该88或816块中所有子块mv的均值 。2.4.4第四步： 选择最佳mv当得到相邻宏块的mv数组后，如何确定哪一个mv值会使得该宏块得到最佳的修复呢，从相邻宏块的mv数组中取出一个，JM采用了名为EdgeDistortion的方法。EdgeDistortion方法如下：待修复宏块如下图红色宏块所示，周围的宏块边界如蓝色块。所示图2-6，计算公式如下 （1） 其中I区域为待修复的宏块的边界，J区域为相邻宏块的边界，另外，与mv的选择类似，计算BMA时，相邻宏块如果有正确的宏块，则修复过的宏块不纳入BMA计算，如果周围没有正确的宏块，则以修复过的宏块来进行BMA运算。图2-6 edgedistortion将跟据此式计算得到最小的值的相应的mv标记为最佳预测mv，并根据该mv得到一个最佳的修复宏块，将该宏块放入整个帧中，宏块的修复就这样完成了。第三章 错误隐藏的当前研究成果对于错误隐藏的研究算法的改善，国内外均有许多相关的改进算法，改进算法大致分为以下几个方向。3.1 BMA改进BMA，如果本来宏块边界就存在物体边缘，BMA的匹配效果将大打折扣。(A)一个替代的准则是外边界匹配法（EBMA，external boundary matching algorithm34）即OBMA，就是计算参考块和误码块的外部相邻像素的差异。(B)EBMA同时也可扩展为多行的EBMA,即采用参考块多行边界和误码块外部相邻的多行边界像素的差值进行计算(C)另外也可以扩展成参考正确宏块+错误宏块的方式，即给错误宏块的赋予一个权重w，有权重的BMA计算公式如下。 （2）下面简用为D（p,q） （3）I区域为待修复宏块根据周围mv预测所得的外边界像素值，J区域为待复宏块的相邻宏块的边界像素值则整个宏块的边界算法 （4）有权重的BMA也有其缺点，就是说以修复过的宏块为参考，反而可能会降低预测的mv的精度，另外，用多行的BMA计算，也有其弊端，会增加复杂度，但是一定会提高预测的mv的准确度。3.2 空间预测和时域相结合空间预测和时域相结合（the combination of both spatial and temporal EC5678），p帧中也存在着一些I宏块，如果采用帧内方式进行修补，则也有可能会改善修补效果，但是在确定在什么时候采用帧内宏块和什么时候采用帧间方式进行修补，这个有点难度。又涉及到空间预测与补偿方式，因其篇幅比较长，不做介绍。3.3 运动矢量的估计周围的宏块的mv一般并不是误码块的真实运动矢量。因此可以用加入运动估计过程，得到更佳的匹配块,如采用均值，中值等，但是，这种方式进行预测会存在着一定的缺陷：因为h.264中mv有三个参数：x方向的mv，y方向的mv，和参考帧，如果周围宏块的参考帧不同，则不好预测mv。3.4 修复顺序的改善修复顺序的改善，如91011因为先修复的宏块可以为以后修复的宏块提供参考信息（mv和EdgeDistortion运算）。顺序，可根据周围宏块的像素的总方差，sobel算子等等来进行计算排序，就是说值越大（或越小），则首先修复该宏块。根据总方差排序总方差运算的公式为 （5） （6）根据Sobel算子排序Sobel算子的基本思想是：算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。sobel 遮罩：x方向 y方向 -101 121 -202 000 -101 -1 -2 -1对于数字图像，可以用一阶差分代替一阶微分；xf(x,y)=f(x,y)-f(x-1,y) （7）yf(x,y)=f(x,y)-f(x,y-1) （8）求梯度时对于平方和运算及开方运算，可以用两个分量的绝对值之和表示，即：Gf(x,y)=xf(x,y) +yf(x,y) |xf(x,y)|+|yf(x,y)|; （9）Sobel梯度算子是先做成加权平均，再微分，然后求梯度，即：xf(x,y)= f(x-1,y+1) + 2f(x,y+1) + f(x+1,y+1)- f(x-1,y-1) - 2f(x,y-1) - f(x+1,y-1); （10）yf(x,y)= f(x-1,y-1) + 2f(x-1,y) + f(x-1,y+1)- f(x+1,y-1) - 2f(x+1,y) - f(x+1,y+1); （11） Gf(x,y)=|xf(x,y)|+|yf(x,y)|; （12）3.5 分割模式的改变分割模式(muti mode1213)将1616宏块分割成更小的块进行修复，H.264算法修复是以1616宏块进行修复的，直接将待修复宏块分成16个44，或者如果能够预测出带修复宏块的分割模式，自然也能够提高修复的效果，许多论文是以周围的宏块的分割模式来预测待修复的宏块的分割模式， 典型的算法如下：1）如果上下宏块的分割模式均为816或88，而左右宏块的分割模式为816或816的，则误码宏块采取168分割模式。2）如果上下宏块的分割模式均为168或1616，而左右宏块的分割模式为168或88的，则误码宏块采取816分割模式。3）如果上下宏块的分割模式均为816或88，而左右宏块的分割模式为168或88的，则误码宏块采取88分割模式。4）如果上下宏块的分割模式均为1616或168，而左右宏块的分割模式为816或816的，则误码宏块采取1616分割模式。5）其余的情况根据mv，或者直接采用1616模式修复。但是这样也多少会使得宏块内会出现一定的边界效应。第四章 Priority+EBMA排序先修复的图像会对后修复的图像产生影响，可以提供mv,edgedistotion的参考，故修复顺序对于修复一幅图像来说非常重要，而当前的一些算法是基于空间的差异来排序，而本文要提出的算法是以修复图像的好坏的先后来排序的，并在实验后发现结果要明显优于前者，以下Priority+EBMA排序算法说明。4.1 算法4.1.1 算法基本思想1）采用EBMA的方式对其进行BMA进行改善。详见4.13节2）不采用从两边向中间的方式进行修复，首先，如果存在图像边界的宏块，则首先修复该宏块，如果不存在，则按照如下方法进行修复：A）获得周围宏块的信息，正确宏块个数，修复宏块个数，根据这两个值，得到一个修复宏块顺序的优先级，先修复优先级大的，在同等优先级先修复ECOrder值较小的。B)计算该宏块的ECOrer值，根据ECOrder的值的大小来决定修复的顺序,ECOrder的计算则是按照EBMA的方式求得的值，也就是说先修复宏块如果其边界差值较小的话，则其必然也会更加接近原图像，以更加接近原图像的宏块来对当前进行预测，肯定整体的结果也必然会更好。4.1.2 优先级规则定义可用宏块数：当周围有正确宏块时为正确宏观的个数，周围没有正确宏块时为修复宏块的个数。优先级规则如下1)图像的边界的宏块的优先级最高，并且按照从两边向中间的方式进行修复。2)周围有正确宏块的优先级周围没有正确宏块的优先级。3)周围没有修复宏块的优先级最低，并且不对其进行修复，等待其周围有被修复宏块。4)周围的可用宏块数=2的优先级相同，此外=2的优先级比周围只有一个宏块的优先级要高。即有如下公式（13）以上宏块处于边界的换成数学表达式就是 （14）优先级规则原理：1）为了修复先修复图像边缘，方便其他宏块进行参考。2）先修复周围宏块可用信息量大并且准确的，因为周围有正确的宏块其参考价值一定会大于修复过的宏块，而当周围可用的宏块数为2时，宏块的可用信息的准确度几乎和周围可用宏块数位3的准确都相差不了多少。4.1.3 ECOrderECOrder计算公式： （15）其中I区域为待修复宏块根据周围mv预测所得的外边界像素值，J区域为待复宏块的相邻宏块的边界像素值。（分成两类，周围有正确宏块和修复宏块两种情况，见下段所示）即改进BMA算法，BMA的I区域为带修复宏块的边界像素点，BMA算法在像素变化速度较快时，效果会比较差，而采用上述公式的增强BMA算法，可以消除临近像素变化较快而引起的mv预测不准的情况。另外去除了EBMA中的给予修复宏块的一定权值的算法，因为给予修复宏块一定的权值，不仅在修复宏块误差较大的情况下，会很影响ECOrder的结果，而是采用了，如果周围有正确宏块，则I区域只包含待修复宏块周围的正确宏块中根据预测所得的边界像素，如果不存在正确宏块，则I区域为待修复宏块周围的修复宏块中根据预测所得的边界像素。下图4-1中的OBMA即为本文中计算ECOrder所采用的算法， J区域:BMA和OBMA相同，都是current Frame 中的深蓝色像素点。I区域BMA和OBMA不同，BMA是Reference Frame中的LostMacroblock的蓝色像素点，OBMA即图中的OBMA宏块中的蓝色像素点。从下图可以明显看出本文采用的OBMA方法与传统BMA算法的差别，OMBA是待修复宏块外的根据mv预测所得的其他宏块的边界像素点。图4-1 计算ECOrder4.2 算法的流程算法的流程如图4-2所示，先进行图像左边一列的流程，后进行图像右边一列的流程。图4-2 Error concealment流程图4.3 模拟网络丢包环境采用一行一片的方式，进行编码，并且片组方式为顺序方式，在此情况下，丢失一片即相当于丢失一行。编解码器为JM15.0。编程环境vs2008,可通过Elecard YUV Viewer查看完整图像，丢失块后的图像，修复的图像。4.4 编码方式及序列本文采用了forman和flower序列，yuv文件格式为cif，352288并且为了扩大实际效果，从而扩大了丢失行数，分别为3行和4行，flower采用了150帧，而forman采用了45帧，编码方式为IPPIPP其中一个I帧后跟14个P帧，每隔15帧为IDR帧，其中的所有的P帧，丢失的行数是随机产生的，并且行数都相同，或者为3或者为4，QP设置为28，非FMO模式。4.5 修复效果衡量参数PSNR峰值信噪比（PSNR），一种评价图像的客观标准。它具有局限性，PSNR是“PeakSignaltoNoiseRatio”的缩写。peak的中文意思是顶点。而radio的意思是比率或比列的。整个意思就是到达噪音比率的顶点信号，psnr是一般是用于最大值信号和背景噪音之间的一个工程项目。通常在经过影像压缩之后，输出的影像通常都会有某种程度与原始影像一样。为了衡量经过处理后的影像品质，通常会参考PSNR值来认定某个处理程序够不够令人满意。它是原图像与处理图像之间均方误差相对于(2n-1)2的对数值(信号最大值的平方，n是每个采样值的比特数)，它的单位是dB。公式如下： (16)从以上结果明显可以看出：PSNR越大，表明结果越好4.6 实验结果首先，举例示意修复效果的改善：forman.cif(1)丢失3行的情况下(2)未修复(3)H.264自带的方法进行修复和Priority+EBMA排序修复三种情况的前四帧修复结果如下图所示a,Forman在不修复的情况下，如下图4-3所示图4-3 forman不修复b,采用H.264修复方法修复的情况如下图4-4所示：图4-4 forman JM修复c, 采用Priority+EBMA方式 如图4-5所示：图4-5 forman Priority+EBMA排序修复PSNR比较其中Texture是Texture Based Selective Block Matching Algorithm for Error Concealment11提出来的算法,Sobel+location是Enhanced Temporal Error Concealment Algorithm with Edge-Sensitive Processing Order10中提出来的算法,以下为4种丢失方案所进行的对比：图4-6 forman丢失三行 psnr对比下图4-7为丢失4行的forman序列比较所得的psnr结果。图4-7 forman丢失四行 psnr对比第二组序列：下图4-8为flower_cif文件，与以上不同的是，此序列存在着大量散乱的不规则的图像块，比如花朵部分。之所以选择这两个序列，也是因为以下原因：forman代表的是规则图像，而flower中有许多不规则的图像（花朵）。图4-8 flower 序列下图4-9为丢失3行的flower序列比较所得的psnr结果。图4-9 flower丢失三行 psnr对比下图4-10为丢失4行的flower序列比较所得的psnr结果。图4-10 flower丢失四行 psnr对比上面是每一帧所进行的对比，下面是对序列平均psnr所进行的对比，如表4-1所示表4-1四种方法平均PSNR对比序列/方法JMPri+EBMA排序Sobel+locationTextureForman丢失3行30.4560831.752531.3324631.45936Forman丢失4行28.6955729.579129.4368629.16071Flower丢失3行26.1191726.899826.5193726.70492Flower丢失4行23.8680924.821124.3845224.84348第五章 结论在此论文中，作者了解了H.264编解码器的一些定义，原理和优势，然后重点研究了H.264的错误隐藏技术。对于错误隐藏技术的研究，首先，研究了JM15.1（JM最新版本）的算法，然后，对国外的相关论文进行了一定的分析，在分析过程中也提出了利与弊，最后本文提出了改进后的算法，并通过比较PSNR，来查看改进后的算法是否能够改善图像修复效果。从实验结果可以看出采用Priotity+EBMA排序的方法比原来的H.264本身的算法好很多，比颇具代表性的sobel+location和总方差排序都好，说明这种方法的Priotity+EBMA排序方法的优于其他几种算法。接下去的任务是改进此算法，使得修复效果更好，算法今后发展方向：第一，采用更复杂度更低的算法，曾经想以周围mv的均值和差值的绝对值的一个函数来决定修复顺序，但是，这样适用环境不大，主要是如果大部分宏块周围宏块的mv所参考的帧不同时，就失去了意义。第二，编解码器相结合，编码器中的将片内宏块的逐行扫描的扫描方式更改为以mv大小排序，从而解码器根据接收的顺序能够更好地预测出mv值来，然后再给宏块重构出原图像，但是这样如果丢失多行的话，不好判断丢失的是哪一个宏块，如何去解决这个问题，有种思路是给每个宏块增加一个mv大小排序的顺序，但是这样会怎加网络传输负担。第三模式的按照某种顺序进行修复的过程中以多种块的方式进行修复，以多种块的方式修复不是将宏块分割，而是动态的选择要修复的大小。第四,结合图像空域性质找出更优的修复顺序。致谢语大学生活即将结束了，这是大学学习生涯的最后一件事情。我想向所有关心过我帮助过我的老师，同学以及家人表示衷心的感谢。首先向颜老师表示我由衷的感谢与敬意，此论文是在颜老师的悉心指导下完成的，没有颜老师的关心关怀，是不可能完成此论文的。从选题到研究的过程中，老师都给予了极大的指导和帮助。同时，颜老师的思维的广阔和严谨也留给了我深刻的映像，值得我好好学习。感谢老师，感谢他的我的关心，在我去外校实习的过程中，老师给予了我莫大的关怀和支持。最后感谢所有曾给过我帮助和支持的同学、老师和家人，是你们让我成长，滴水之恩，当涌泉相报，衷心地祝福他们。参考文献1Y. Wang, S. Wenger, J. Wen, and A. K. Katsaggelos. Error Resilient Video Coding Techniques-real Time Video Communications over Unreliable NetworksJ. IEEE Signal Processing Mag, July 2000.2Y. Wang and Q.-F. Zhu. Error Control And Concealment for Video Communication: A ReviewJ. in Proc. IEEE, May 1998.3W. M. Lam, A. R. Reibmant, and B. Liu. Recovery of Lost or Erroneously Received Motion VectorsJ. in in Proc. of IEEE Intl Conf. Acoustic, Speech a