基于帧差图像的低码率视频编码方法的设计-图像处理论文.docx

北京工业大学毕业设计（论文）北京工业大学毕业设计（论文）题目：基于帧差图像的低码率视频编码方法的设计摘要在信息时代高速发展的今日，人们已不再满足单一的信息交流方式，多媒体信息处理技术已成为时下信息产业发展的前沿。由ISO/IEC和ITU-T联合制定的新一代视频编码标准H.265/HEVC提供了更高的视频图像质量及更低的压缩码率。但在以此国际视频编码标准H.265/HEVC为代表的视频编码标准中，对于I帧通常是依据编码单元内部、编码单元之间的空间相关性来进行压缩编码，与P帧、B帧编码相比较，I帧编码会消耗较多的比特资源。而I帧编码的高比特占有率成为进一步整体提高视频编码压缩比、节省视频编码比特资源的主要瓶颈。本文介绍的一种基于帧差图像的低码率视频的编码方法。即在采用国际视频编码标准HEVC进行视频编码前，先对输入视频帧进行预处理，通过对I帧图像进行帧差处理，获得合理的帧差图像，取代原I帧图像，再与常规P帧图像、B帧图像重新组成新的视频序列，作为HEVC视频编码器的输入视频源。与国际视频编码彼岸准HEVC相比，在保持视频重建图像质量的前提下，针对多类型，不同分辨率的测试序列平均节省了16.1%的码率，整体提高了视频压缩比，节省了编码比特资源，显著改进了编码效率。关键词：H.265/HEVC； 帧差图像；低码率编码方法。Abstract目录摘要21 绪论51.1 HEVC的兴起背景与后续发展51.2 H.264编码的缺点分析61.3 HEVC的提出和发展61.4 HEVC编码技术的优势71.4.1 灵活的编码结构71.4.2 灵活的块结构-RQT(Residual Quad-tree Transform)81.4.3 采样点自适应偏移(Sample Adaptive Offset)81.4.4自适应环路滤波(Adaptive Loop Filter)82 HEVC编码框架及其关键技术82.1 HEVC的变换结构92.2 基于四叉树结构的编码分割102.3 帧间预测技术102.3.1 广义B预测技术102.3.2运动融合技术和自适应运动矢量预测技术102.4 多角度帧内预测112.5 环路滤波与熵编码112.5.1 自适应样点补偿112.5.2 自适应环路滤波122.5.3 熵编码123 基于帧差图像的低码率编码算法133.1 算法原理133.2 算法介绍133.3 算法预期结果153.4 具体实施方式174 算法性能测试和分析204.1实验环境和配置204.1.1 系统运行环境204.1.2 主要实验参数设置204.1.3 视频序列20BlowingBubbles20BasketballPass204.2 实验截图及分析数据214.2.1 数据例展示214.2.2 数据总结分析254.3 本章总结265 总结和展望265.1 降低计算的复杂度265.2 进一步减少码率和提高压缩比275.3 视觉特性和并行处理275.4 降低解码延时275.5 面向对象的算法285.6 HEVC的应用前景展望29致谢31参考文献33 1 绪论1.1 课题研究背景与后续发展随着数字视频应用产业链的快速发展，视频应用向以下几个方向发展的趋势愈加明显：高清晰度(Higher Definition)：数字视频的应用格式从720 P向1080 P全面升级，在一些视频应用领域甚至出现了4K x 2K、8K x 4K的数字视频格式；高帧率(Higher frame rate )：数字视频帧率从30 fps向60fps、120fps甚至240fps的应用场景升级;高压缩率(Higher Compression rate )：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求，所以我们提出了一种基于帧差图像的低码率视频编码算法，在保持视频重建图像质量的前提下，实现低码率视频你编码，提高压缩比，节省比特资源，缓解在有限的空间和管道中传输高清晰度视频的资源压力。1.2 H.264编码的缺点分析宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4 x 4或8 x 8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。1.3 HEVC的提出和发展为了面对以上发展趋势，2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)联合成立JCT-VC(Joint Collaborative Team on Video Coding)了联合组织，统一制定下一代编码标准：HEVC(High Efficiency Video Coding)。HEVC协议标准计划于2013年2月份正式在业界发布，目前整个框架结构已基本确定。截至2012年4月份，JCT-VC联合工作组已经召开了第八次会议，并于2012年2月17日发布了第一版内部草稿High efficiency video coding (HEVC) text specification draft 6，计划2012年7月发布第一版公开版草稿，在H.264标准24倍的复杂度基础上，将压缩效率提升一倍以上。H.265 是 ITU-T VCEG 正在规划中的视频编码标准，其目标是给音视频服务提供更好的视频编码方法。音视频服务包括会话式和非会话式音视频服务。其中会话式音视频服务包括视频会议和可视电话，非会话式音视频服务包括流媒体、广播、文档下载、媒体存储/播放和数字摄像机。 H.265 标准围绕着现有的视频编码标准 H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。视频编码标准的发展会更加适应各种类型的网络，比如，internet、LAN、Mobile、ISDN、GSTN、H.222.0、NGN 等网络。具体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H.263 可以 1.31.8Mbps 的传输速度实现标准清晰度广播级数字电视（符合 CCIR601、 CCIR656 标准要求的 720*576）而 H.264 由于算法优化；可以低于 1Mbps 的速度实现标清数字图像传送；H.265 相比 h.264 进步更为明显，可以实现利用 12Mbps 的传输速度传送 720P（分辨率 1280*720）普通高清音视频传送。H.264视频编码标准使得视频压缩效率提高到了一个新的水平。自该标准发布以来，H.264以其高效的压缩效率，良好的网络亲和性以及优越的稳健性等优点迅速得到了广大用户的认同。然而，随着终端处理能力以及人们对多媒体体验要求的不断提高，高清、3D、无线移动已经成为视频应用的主流趋势。而现有的H.264编码标准的压缩效率仍然不足以应对高清、超高清视频应用，需要更为高效的编码压缩方案。与此同时，近年许多新型有效的技术在不断涌现，使得新标准的定制成为可能。为此国际电联组织（ITU-T）和移动视频专家组（MPEG）成立了视频编码联合小组（Joint CollaborativeTeam on Video Coding，JCT-VC）1，将新标准的定制正式提上日程。1.4 HEVC编码技术的优势作为新一代视频编码标准，HEVC(H.265)仍然属于预测加变换的混合编码框架。然而，相对于H.264，H.265 在很多方面有了革命性的变化化。HEVC(H.265)的技术亮点有：1.4.1 灵活的编码结构在H.265中，将宏块的大小从H.264的16x16扩展到了64x64，以便于高分辨率视频的压缩。同时，采用了更加灵活的编码结构来提高编码效率，包括编码单元(Coding Unit)、预测单元(Predict Unit)和变换单元(Transform Unit)。其中编码单元类似于H.264/AVC中的宏块的概念，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也有利于各环节的划分更加符合视频图像的纹理特征，有利于各个单元更优化的完成各自的功能。1.4.2 灵活的块结构-RQT(Residual Quad-tree Transform)RQT是一种自适应的变换技术，这种思想是对H.264/AVC中ABT(Adaptive Block-size Transform)技术的延伸和扩展。对于帧间编码来说，它允许变换块的大小根据运动补偿块的大小进行自适应的调整;对于帧内编码来说，它允许变换块的大小根据帧内预测残差的特性进行自适应的调整。1.4.3 采样点自适应偏移(Sample Adaptive Offset)SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。采用SAO后，平均可以减少2%6%的码流,而编码器和解码器的性能消耗仅仅增加了约2%。1.4.4自适应环路滤波(Adaptive Loop Filter)ALF在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。ALF的系数是在帧级计算和传输的，可以整帧应用ALF，也可以对于基于块或基于量化树(quadtree)的部分区域进行ALF，如果是基于部分区域的ALF，还必须传递指示区域信息的附加信息。正是利用HEVC以上的各种编码方式优势，本文介绍的基于帧差图像低码率视频编码算法才得以实现。1.5 本文主要研究内容与结构安排本文主要介绍针对基于帧差图像的低码率视频编码的研究，论文结构安排如下：第一章：概述本文的研究背景和意义，对视频编码标准的建立做了简要的叙述，并介绍了H.265/HEVC标准的编码算法研究现状，给出了本文主要研究内容。第二章：首先叙述了HEVC的编码框架，展示了流程图。其次阐述了HEVC的关键技术。给出了算法的实现基础。第三章：主要研究了在HEVC编码框架下帧差图像编码方式的可行性，提出了优化依据，给出了算法的流程图。详细介绍了基于帧差图像的低码率视频编码算法的步骤和特点。针对标准编码方式和基于帧差图像的编码方式特点进行了分析。并对本算法进行了仿真实验。第四章：主要阐述了在本低码率算法对于视频编码的优化性能，以国际标准的视频序列作为实验序列进行编码与标准视频编码性能指标作比较。并且对比展示实验数据。证明本算法可以有效的降低视频码率，整体上提高了视频的压缩比。最后，对本文主要的研究内容进行了总结，对未来帧差图像的低码率编码技术的研究方向做出了展望。1.6本章小结数字视频压缩编码是多媒体技术的重要组成部分，未来的国际标准将以H.265/HEVC作为主流。H.265/HEVC将具有更高的压缩效率和更好的图像质量。本章介绍了H.265/HEVC视频编码的产生背景和编码方面相比现行标准的优势。各项研究以及数据都表明这项技术，作为新一代视频编码标准，H.265/HEVC仍然属于预测加变换的混合编码框架。然而，相对于H.264，H.265 在很多方面的进化是革命性的，未来也必定成为主流。也说明了基于帧差图像的低码率视频编码算法的广阔的应用前景。2 HEVC编码框架及其关键技术HEVC主要是在原H.264/AVC的编码框架上，提出更先进的改进技术。包括扩展的编码单元尺寸，基于块的更灵活的帧间/帧内预测方式、大尺寸块的变换、新的熵编码方法、更复杂的内插滤波器等。HEVC进行了大量的技术创新，其中具有代表性的技术方案有：基于大尺寸四叉树块的分割结构和残差编码结构，多角度帧内预测技术，运动估计融合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术。HEVC的编码框架见框图图2.1： 图2.12.1 HEVC的变换结构HEVC突破了原有的变换尺寸限制，可支持44至3232的编码变换，以变换单元（TU）为基本单元进行变换和量化。为提高大尺寸编码单元的编码效率，DCT变换同样采用四叉树型的变换结构。尽管TU的模板发生了变化，但其变换核并没有发生实质性的变化。现有的关于不对称变换所使用的变换核是由方形变换核剪裁得到的。通常，nm的变换系数矩阵的计算公式为Cnm= Tm Bnm TnT式中：Bnm为nm的像素块，Tm，Tn分别为mm，nn的变换核，Cnm为Bnm的变换系数。测试结果表明，非正方形四叉树更适合矩形PU和AMP变换，可节省大约0.3%的比特，同时增加2%左右的编码复杂度，对解码几乎没有影响7。采用大尺寸树形编码结构有利于支持大尺寸图像编码。当感兴趣区域一致时，一个大的CU可以用较少的标识代表整个区域，这比用几个小的块分别标识更合理。其次，任意LUC尺寸可以使编解码器对不同的内容、应用和设备达到最优化。对于目标应用，通过选择合适的LCU尺寸和最大分级深度，使编解码器具有更好的适应能力。LCU和SCU尺寸范围可被定义到档次和级别部分以匹配需求。2.2 基于四叉树结构的编码分割为了提高高清、超高清视频的压缩编码效率，HEVC提出了超大尺寸四叉树编码结构，使用编码单元（Coding Unit，CU），预测单元（Prediction Unit，PU）和变换单元（Transform unit，TU）3个概念描述整个编码过程。其中CU类似于H.264/AVC中的宏块或子宏块，每个CU均为2N2N的像素块（N为2的幂次方），是HEVC编码的基本单元，目前可变范围为6464至88。图像首先以最大编码单元（LCU，如6464块）为单位进行编码，在LCU内部按照四叉树结构进行子块划分，直至成为最小编码单元（SCU，如88块）为止。一种新的不对称运动分割预测（AsymmetricMotion Partition，AMP）方案也已经被JCT所接受，这也是HEVC与H.264在分块预测技术中最为不同之处。所谓AMP，即将编码单元分为两个尺寸大小不一致的预测块，其中一个PU单元的宽/长为CU单元的1/4，另一个PU对应的宽/长为CU单元的3/4，如图3所示。这种预测方式考虑了大尺寸可能的纹理分布，可以有效提高大尺寸块的预测效率。HEVC的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重构像素对当前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测等。同时，HEVC采用了如多角度预测，高精度运动补偿等多种技术，使得预测精度大大提高。2.3 帧间预测技术2.3.1 广义B预测技术在高效预测模式下，HEVC仍然采用H.264中的等级B预测方式，同时还增加了广义B（Generalized P and Bpicture，GPB）预测方式取代低时延应用场景中的P预测方式。GPB预测结构10是指对传统P帧采取类似于B帧的双向预测方式进行预测。在这种预测方式下，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者为同一图像。对P帧采取B帧的运动预测方式增加了运动估计的准确度，提高了编码效率，同时也有利于编码流程的统一。2.3.2运动融合技术和自适应运动矢量预测技术运动融合技术（Merge）将以往的跳过预测模式（Skip Mode）和直接预测模式（Direct Mode）的概念进行了整合。采用融合模式时，当前PU块的运动信息（包括运动矢量、参考索引、预测模式）都可以通过相邻PU的运动信息推导得到。编码时当前PU块只需要传送融合标记（Merge Flag）以及融合索引（Merge Index），无需传送其运动信息。值得一提的是，无论是运动融合技术还是自适应运动矢量预测技术，两者在候选运动矢量列表的设计上都进行了精心考量，以保证运动估计的高效性以及解码的稳健性。在早期的HM模型中，两种预测方式所使用的候选运动矢量列表是相互独立的；在JCT第6次会议结束后，新的HM模型中将两者的参考列表构造进行了统一，Merge将采用与AMVP相同的方式构造候选运动矢量列表，进行运动信息的推导。2.4 多角度帧内预测HEVC的帧内预测将原有的8种预测方向扩展至33种，增加了帧内预测的精细度。另外，帧内预测模式保留了DC预测，并对Planar预测方法进行了改进。目前HM模型中共包含了35种预测模式。但由于受到编码复杂度限制，编码模型对44和6464尺寸的PU所能使用的预测模式进行了限制。原有的HM模型中色度分量帧内预测采用了5种预测模式，分别为水平、垂直、DC预测、亮度模式以及对角模式。JCT-VC第五次会议后增加了以基于亮度的色度帧内预测8，以取代对角预测模式。在该预测模式下，色度分量使用亮度分量的值进行线性预测，相关系数根据重构图像特性进行计算。该方案在色度分量上取得了8%左右的性能增益，而编码复杂度基本不变。然而，尽管现有的帧内预测技术已对PU预测方向有所限制，但编码的复杂度仍然很高。不少研究人员提出了快速帧内预测算法，以进一步降低编码的复杂度。2.5 环路滤波与熵编码H.265标准的发布和成熟都还有待所采用的编码技术和当前网络技术的发展伴随着其他应用领域的发展需求和硬件技术的发展H.265的推出只是时间问题目前估计这一新标准的推出时间将在2012年之后。H.265标准的发展和成熟应类似于H.264，也将是多种编码方法和工具的混合使用，实现编码效率，编码复杂度，图象质量等方面的平衡，它的发展也必将把视频编码理论技术和应用推向一个新的时期。一个完整的HEVC的环路滤波过程包括3个环节：去块滤波，自适应样点补偿（Sample Adaptive Offset，SAO），自适应环路滤波（Adaptive Loop Filter，ALF）。去块滤波在H.264的去块滤波技术基础上发展而来，但为了降低复杂度，目前的HM模型取消了对44块的去块滤波。自适应样点补偿和自适应环路滤波均为HEVC的采用的新技术。2.5.1 自适应样点补偿自适应样点补偿是一个自适应选择过程，在去块滤波后进行。若使用SAO技术，重构图像将按照递归的方式分裂成4个子区域15，每个子区域将根据其图像像素特征选择一种像素补偿方式，以减少源图像与重构图像之间的失真。目前自适应样点补偿方式分为带状补偿（Band Offset，BO）和边缘补偿（Edge Offset，EO）两大类。带状补偿将像素值强度等级划分为若干个条带，每个条带内的像素拥有相同的补偿值。进行补偿时根据重构像素点所处的条带，选择相应的带状补偿值进行补偿。现有的HM模型将像素值强度从0到最大值划分为32个等级，如图7所示16。同时这32个等级条带还分为两类，第一类是位于中间的16 个条带，剩余的16 个条带是第二类。编码时只将一类条带的补偿信息写入片头；另一类条带信息则不传送。这样的方式编码将具有较小补偿值的一类条带忽略不计，从而节省了编码比特数。2.5.2 自适应环路滤波自适应环路滤波（ALF）在SAO或者去块滤波后进行，目的是为了进一步减少重构图像与源图像之间的失真。ALF采用二维维纳滤波器，滤波系数根据局部特性进行自适应计算17。对于亮度分量，采用CU为单位的四叉树ALF结构18。滤波使用55，77和99三种大小的二维钻石型模板。滤波器计算每个44块的Laplacian系数值，并根据该值将所有44块分成16类，分别对应16种滤波器19，每种滤波器的滤波系数通过自适应维纳滤波器进行计算。除上述基于像素的ALF分类外，提案20还提出了基于区域的ALF分类。此时，每帧将被划分为16个区域，每个区域可以包含多个LCU。每个区域使用同一种滤波器，滤波器系数同样可以自适应训练得到。2.5.3 熵编码CABAC是H.264的两种熵编码方案之一。现有的CABAC编码器采用串行处理的方式，解码端需要足够高频率的计算能力方能实时地对高码率的码流进行解码，直接导致解码功耗和实现复杂度的增加。为了解决CABAC的吞吐能力问题，JCT提出了熵编码模型并行化的要求。所收集的提案大致从3个角度提出了并行化CABAC解决方案：基于比特的并行的CABAC1，基于语法元素的并行6CABAC和基于片的并行CABAC。最后，基于语法元素的并行CABAC编码方案（即SBAC）被HM模型所采纳。目前，HM可支持上下文自适应变长编码（CAVLC）和基于语法元素的上下文自适应二进制算术编码SBAC），分别用于低复杂度的编码场合和高效的编码场合。SBAC的目的在于为具有不同统计模型的句法元素提供高效的编码方式。在SBAC中5，句法元素被分成N个类别，每个类别并行地维护着自己的上下文概率模型及其更新状态，每个类别的句法元素可对应一个或者多个概率表。因此，当各个类别所处理的比特量较均衡时，与原有串行编码器相比，并行编码器的吞吐量将提高N倍。然而实际运用中，各个类别的句法元素比特数不可能均衡，因此编码器吞吐量的提升将小于N 倍。目前，HM中每一个句法元素都对应着一个或者多个概率模型，不同句法元素间的初始概率模型可能相同，并且可为每一个语法元素的每一位设计其选择概率模型的规则，以便为编码器提供最准确的概率估计。总体来说，SBAC的编码过程与原有的CABAC编码过程大致相同，都包括语法元素值二进制化、上下文概率模型选择、概率估计与上下文概率模型更新、二进制算术编码4个部分。具体SBAC的句法元素分类办法原则及其概率模型选择办法。2.6本章小结3 基于帧差图像的低码率编码算法3.1 算法原理研究发现，以帧差图像作为编码对象，虽然经过相邻帧做差运算后，其灰度级分布范围从原始图像的0，255扩大到了帧差图像的-255，255。但通常地，帧差图像的非零灰度级的个数是减少了的，具有标准差分布范围较小且集中的特性，将帧差图像取代原始I帧图像进行视频编码，具有较低的信源信息熵，依据香农编码理论，对帧差图像编码能够实现低码率视频编码。为此，本算法提出了一个合理地获取帧差图像方法，实现了基于帧差图像的低码率视频编码。基于帧差图像的视频编码方法由于其低码率优势可应用于基于HEVC的可伸缩视频编码和视频监控中。3.2 算法介绍本算法的目的是提供一种基于帧差图像的低码率视频编码方法，在保持视频重建图像质量的前提下，实现低码率视频编码，提高视频压缩比，节省比特资源，缓解视频编码的重建图像质量与编码资源占用之间的矛盾。本算法所采用的技术方案是，一种基于帧差图像的低码率视频编码方法，按照以下步骤进行： 第一步：输入视频序列，读取配置文件，根据编码结构GOP和I帧插入周期，判断当前输入帧是否为I帧图像，若是I帧图像，则进行第二步；若不是I帧图像，则当前输入帧即是P帧图像或B帧图像，进行第六步；第二步：判断当前帧是否为最后一帧，若是，则进行第七步；若不是，则选取当前帧的后一帧图像作为参考帧，分别从当前帧和参考帧中读取，三个分量，得到当前帧的三个分量：，和参考帧的三个分量：，；其中，表示编码视频帧在时间轴上的位置，表示亮度分量，和表示色度分量；第三步：将参考帧各分量与当前帧各分量做差，获得帧差图像的亮度分量，帧差图像的色度分量和： (1)其中，和分别表示在当前帧内像素的横坐标和纵坐标；第四步：为了解决第三步式(1)帧差图像各分量的负值问题，对帧差图像的各分量分别进行尺度变换： (2)其中，和分别为经尺度变换后的帧差图像的亮度分量和色度分量；和分别表示内像素值的最大值和最小值；表示下取整运算；第五步：将，和分量顺序存储合成新的帧差图像；第六步：将新的帧差图像替代原视频序列中对应位置的I帧图像，与P帧图像、B帧图像按照编码结构GOP以及I帧插入周期组成新的视频序列；第七步：输入HEVC视频编码器进行常规视频编码，包括预测编码、变换量化编码和熵编码标准编码过程； 第八步：输出编码码流。将帧差图像引入视频编码主要利用了以下特征：1) 频率特性：图像的频率是表征图像中灰度变化剧烈程度的指标。视频序列具有较强的时间相关性，即存在较大的帧间冗余，由相邻两帧做差得到的帧差图像，绝大多数区域是平坦的，其灰度值变化缓慢，对应的图像频率值较低；帧差图像的少数区域反应了相邻两帧图像之间的变化，这类具有快速空间变化、灰度值变化剧烈的区域，对应的图像频率值较高。总体上，在帧差图像中低频成分所占比例远大于高频成分所占比例。2) 能量特性：图像能量特性可由二维傅里叶变换后的频谱图分析得到。由于帧差图像的平坦区域较多，与正常图像相比帧差图像在低频段聚集了更多的能量；而相对地，在高频段聚集的能量较少。3) 相关特性：不同于原始视频序列，经过相邻帧做差后得到的帧差图像减少了帧间冗余，时间相关性减弱，不宜于采用帧间编码方式进行预测；而帧差图像的大量平坦区域往往具有较强的空间相关性，采用帧内预测可以获得更好的预测编码性能。4) 熵值特性：图像熵是图像复杂程度的估计值，具有较多细节和灰度值变化的图像对应的熵值越高；较平坦的图像对应的熵值越低。在通常情况下，与原始图像相比较，帧差图像的平坦区域所占比例更大，因此，使得其熵值小于原始图像。5) 预测特性：在预测模式选择过程中，由于帧差图像包含较多的平坦区域，所以其选择大尺寸模式进行预测的几率更高，有利于降低最优预测模式选择的编码难度。6) 比特特性：帧差图像在进行视频编码时，经过预测编码后，有更多的残差信号趋于零值。因此，与原始图像相比，帧差图像仅需较少的比特资源就可以表示编码结果。根据上述特征，可以推断帧差图像反映了原始图像的显著特征。对帧差图像进行编码，可以实现用较少的编码资源对大量的低频区域和少量的高频区域进行预测，同时可以降低选择最优预测模式的计算复杂性，能够在高质量的重建图像下，用较少的比特资源表示编码结果，达到低码率编码的目的。操作步骤参考框图：图3.1。 图3.13.3 具体实施方式下面结合附图和具体实施方式对本发明进行详细说明。为了将帧差图像合理地替代I帧图像并应用于视频编码，精确地获得帧差图像是一项重要技术。直接将相邻两帧图像做差获得的帧差图像必然包含负值，例如某一视频图像的亮度分量，在经过相邻帧做差运算后，其分布范围为-255, 255，超出了常规灰度值分布范围0, 255，因此，通过直接做差获得的帧差图像不能够直接被应用于I帧图像编码与重建。为了解决直接做帧差处理所导致的负值问题，本发明公开了一种基于帧差图像的低码率视频编码方法，流程如图1所示，具体按照以下步骤进行： 第一步：输入视频序列，读取配置文件，根据编码结构GOP和I帧插入周期，判断当前输入帧是否为I帧图像，若是I帧图像，则进行第二步；若不是I帧图像，则当前输入帧即是P帧图像或B帧图像，进行第六步；第二步：判断当前帧是否为最后一帧，若是，则进行第七步；若不是，则选取当前帧的后一帧图像作为参考帧，分别从当前帧和参考帧中读取，三个分量，得到当前帧的三个分量：，和参考帧的三个分量：，；其中，表示编码视频帧在时间轴上的位置，表示亮度分量，和表示色度分量；第三步：将参考帧各分量与当前帧各分量做差，获得帧差图像的亮度分量，帧差图像的色度分量和： (1)其中，和分别表示在当前帧内像素的横坐标和纵坐标；第四步：为了解决第三步式(1)帧差图像各分量的负值问题，对帧差图像的各分量分别进行尺度变换： (2)其中，和分别为经尺度变换后的帧差图像的亮度分量和色度分量；和分别表示内像素值的最大值和最小值；表示下取整运算；第五步：将，和分量顺序存储合成新的帧差图像；第六步：将新的帧差图像替代原视频序列中对应位置的I帧图像，与P帧图像、B帧图像按照编码结构GOP以及I帧插入周期组成新的视频序列；第七步：输入HEVC视频编码器进行常规视频编码，包括预测编码、变换量化编码和熵编码标准编码过程； 第八步：输出编码码流。第九步：叠加还原原始的图像序列输出。3.4 算法预期结果此算法的有益效果是，在采用国际视频编码标准HEVC进行视频编码前，先对输入视频帧进行预处理，通过对I帧图像进行帧差处理，获得合理的帧差图像，取代原I帧图像，再与常规P帧图像、B帧图像重新组成新的视频序列，作为HEVC视频编码器的输入视频源，与未经过帧差图像处理的原始视频序列通过国际视频编码标准HEVC编码相比，可以有效地节省编码比特数，整体上提高视频编码压缩比。3.5 本章小结本章介绍的算法将帧差图像取代原始I帧图像进行视频编码，具有较低的信源信息熵，依据香农编码理论，对帧差图像编码能够实现低码率视频编码。为此，本算法提出了一个合理地获取帧差图像方法，根据HEVC的编码特点，实现了基于帧差图像的低码率视频编码。4 算法性能测试和分析4.1实验环境和配置4.1.1 系统运行环境计算机硬件配置：core i5-2410 2.6GHz 8GB内存;实验中所需平台及软件：Windows7操作系统，Microsoft Visual Studio 2010编译器，Gitl HEVC analyzer,HM 15.0测试平台。4.1.2 主要实验参数设置视频序列格式：YUV；编码帧数：前30帧；帧率：30帧/秒；GOP格式：IBBB;量化参数（QP）值：22，27，32，37。4.1.3 视频序列视频序列名称BlowingBubblesBasketballPass代表帧视频序列名称RaceHorsesMobiside2代表帧4.2 实验截图及分析数据4.2.1 数据例展示以第一个测试序列BlowingBubbles为例,以下是传统方式进行压缩编码进行压缩的各项指标。视频第二帧图像的四叉树分解TOOL CFG: IBD:0 HAD:1 RDQ:1 RDQTS:1 RDpenalty:0 SQP:0 ASR:0 FEN:1 ECU:0 FDM:1 CFM:0 ESD:0 RQT:1 TransformSkip:1 TransformSkipFast:1 Slice: M=0 SliceSegment: M=0 CIP:0 SAO:1 PCM:0 TransQuantBypassEnabled:0 WPP:0 WPB:0 PME:2 WaveFrontSynchro:0 WaveFrontSubstreams:1 ScalingList:0 TMVPMode:1 AQpS:0 SignBitHidingFlag:1 RecalQP:0POC 0 TId: 0 ( I-SLICE, nQP 32 QP 32 ) 71840 bits Y 34.1401 dB U 37.2573 dB V 38.9538 dB ET 17 L0 L1 POC 1 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 2280 bits Y 32.6290 dB U 36.8816 dB V 38.6226 dB ET 17 L0 0 L1 0 POC 2 TId: 0 ( B-SLICE, nQP 34 QP 34 ) 3624 bits Y 32.0714 dB U 36.6793 dB V 38.3553 dB ET 27 L0 1 0 L1 1 0 POC 3 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 2800 bits Y 31.3280 dB U 36.4281 dB V 38.0316 dB ET 32 L0 2 1 0 L1 2 1 0 POC 4 TId: 0 ( B-SLICE, nQP 33 QP 33 ) 4104 bits Y 31.2807 dB U 36.3509 dB V 37.7100 dB ET 40 L0 3 2 1 0 L1 3 2 1 0 POC 5 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 1784 bits Y 30.7181 dB U 36.1536 dB V 37.5365 dB ET 33 L0 4 3 2 0 L1 4 3 2 0 POC 6 TId: 0 ( B-SLICE, nQP 34 QP 34 ) 3888 bits Y 30.8275 dB U 36.0517 dB V 37.3924 dB ET 41 L0 5 4 3 0 L1 5 4 3 0 POC 7 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 2072 bits Y 30.5848 dB U 36.0728 dB V 37.5358 dB ET 35 L0 6 5 4 0 L1 6 5 4 0 POC 8 TId: 0 ( B-SLICE, nQP 33 QP 33 ) 19248 bits Y 32.8552 dB U 36.8671 dB V 38.4236 dB ET 57 L0 7 6 4 0 L1 7 6 4 0 POC 9 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 1536 bits Y 31.9412 dB U 36.6272 dB V 38.3287 dB ET 35 L0 8 7 4 0 L1 8 7 4 0 SUMMARY -Total Frames | Bitrate Y-PSNR U-PSNR V-PSNR 10 a 339.5280 31.8376 36.5370 38.0890I Slices-Total Frames | Bitrate Y-PSNR U-PSNR V-PSNR 1 i 2155.2000 34.1401 37.2573 38.9538P Slices-Total Frames | Bitrate Y-PSNR U-PSNR V-PSNR 0 p -1.#IND -1.#IND -1.#IND -1.#INDB Slices-Total Frames | Bitrate Y-PSNR U-PSNR V-PSNR 9 b 137.7867 31.5818 36.4569 37.9929RVM: 0.000Bytes written to file: 14198 (340.752 kbps) Total Time: 335.693 sec.下面用基于帧差图像的低码率编码算法进行编码进行压缩的各项指标。经过编码后视频第二帧图像的四叉树分解TOOL CFG: IBD:0 HAD:1 RDQ:1 RDQTS:1 RDpenalty:0 SQP:0 ASR:0 FEN:1 ECU:0 FDM:1 CFM:0 ESD:0 RQT:1 TransformSkip:1 TransformSkipFast:1 Slice: M=0 SliceSegment: M=0 CIP:0 SAO:1 PCM:0 TransQuantBypassEnabled:0 WPP:0 WPB:0 PME:2 WaveFrontSynchro:0 WaveFrontSubstreams:1 ScalingList:0 TMVPMode:1 AQpS:0 SignBitHidingFlag:1 RecalQP:0POC 0 TId: 0 ( I-SLICE, nQP 32 QP 32 ) 20312 bits Y 36.4678 dB U 42.8501 dB V 44.8645 dB ET 12 L0 L1 POC 1 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 1368 bits Y 34.2937 dB U 42.1297 dB V 44.1266 dB ET 17 L0 0 L1 0 POC 2 TId: 0 ( B-SLICE, nQP 34 QP 34 ) 2064 bits Y 34.2736 dB U 41.8522 dB V 43.3199 dB ET 23 L0 1 0 L1 1 0 POC 3 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 1040 bits Y 34.2521 dB U 41.9864 dB V 43.2487 dB ET 27 L0 2 1 0 L1 2 1 0 POC 4 TId: 0 ( B-SLICE, nQP 33 QP 33 ) 1896 bits Y 34.3949 dB U 42.4822 dB V 44.3012 dB ET 34 L0 3 2 1 0 L1 3 2 1 0 POC 5 TId: 0 ( B-SLICE, nQP 35 QP 35 ) 1408 bits Y 33.5230 dB U 42.7756 dB V 44.6180 dB ET 31 L0 4 3 2 0 L1 4 3 2 0 POC 6 TId: 0 ( B-SLICE, nQP 34 QP 34 ) 2768 bits Y 33.1609 dB U 42.4258 dB V 44.8441 dB ET 36 L0 5 4 3 0 L1 5