【优秀硕士博士论文】hevc像素梯度帧内预测算法设计与实现

分类号密级UDC注1学位论文HEVC像素梯度帧内预测算法设计与实现（题名和副题名）刘瑶（作者姓名）指导教师符初生副研究员电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业通信与信息系统提交论文日期20140512论文答辩日期20140528学位授予单位和日期电子科技大学201406答辩委员会主席评阅人注1注明国际十进分类法UDC的类号。DESIGNANDIMPLEMENTATIONOFHEVCINTRAPREDICTIONALGORITHMBASEDONPIXELGRADIENTSAMASTERTHESISSUBMITTEDTOUNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINAMAJORCOMMUNICATIONANDINFORMATIONSYSTEMAUTHORLIUYAOADVISORFUCHUSHENGSCHOOLNATIONALKEYLABORATORYOFSCIENCEANDTECHNOLOGYONCOMMUNICATIONS独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名日期年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。保密的学位论文在解密后应遵守此规定签名导师签名日期年月日摘要随着互联网技术的发展，越来越多的人使用智能手机、平板电脑观看在线高清视频。同时，超高清视频技术正逐步兴起。在线高清视频流给网络设备造成了沉重的负担，而目前主流的H264视频编码标准对高清、超高清的压缩性能较低。为进一步降低视频编码后码率，提高对高清、超高清视频的压缩性能，JCTVC组织制定了新一代视频编码标准HEVC。HEVC基于H264中的混合视频编码框架，引入了灵活单元划分、更加精细的帧内预测、环内去块滤波等技术。但是灵活的单元划分和更加精细的帧内预测技术给HEVC帧内编码带来了更高的计算复杂度，因此如何有效减少帧内编码时间，已经成为HEVC算法研究中的一个研究热点。文中利用像素点的梯度信息，改进了HEVC帧内预测算法，并使用C语言进行算法的实现，最后给出了算法性能分析结果。具体内容如下首先，研究了HEVC基本编码结构及其帧内预测关键技术，并同H264帧内编码技术进行了对比分析。其次，研究分析H264、HEVC帧内预测算法，重点分析了H264中基于图像纹理特征的帧内预测算法和HEVC粗选择帧内预测算法。在此基础上，使用像素梯度信息，改进了粗选择帧内预测算法，并使用C语言实现该算法。最后，使用HEVC测试视频，在全帧内、低复杂度编码模式下，对像素梯度帧内预测算法和粗选择算法进行对比测试。测试结果表明，像素梯度帧内预测算法在相同图像质量的情况下，码率平均增加162，编码时间平均减少2250，证明算法有效可行。像素梯度帧内预测算法对粗选择帧内预测算法进行了改进，有效减少了帧内预测编码时间，具有一定的理论意义与实践价值。关键词HEVC，像素梯度，帧内预测ABSTRACTWITHTHEDEVELOPMENTOFINTERNETTECHNOLOGY,MOREANDMOREPEOPLEPREFERTOWATCHONLINEHIGHDEFINITIONHDVIDEOUSINGSMARTPHONESANDTABLETPCSMEANWHILE,ULTRAHDUHDTECHNOLOGYISGROWINGUPGRADUALLYONLINEHDVIDEOCAUSESHEAVYBURDENTONETWORKDEVICES,ANDTHEMEANSTREAMVIDEOCODINGSTANDARD,H264,HASALOWERCOMPRESSIONPERFORMANCEONHDANDUHDVIDEOTOFURTHERREDUCETHECODINGRATEANDIMPROVECOMPRESSIONPERFORMANCEONHDANDUHDVIDEO,JCTVCHASDEVELOPEDANEWCODINGSTANDARDHEVCHEVCISBASEDONTHEBLOCKBASEDHYBRIDCONDINGARCHITURE,COMBININGFLEXIBLEDIVISIONOFCODINGUNITS,MOREPRECISEINTRAFRAMEPREDICTION,INLOOPDEBLOCKINGFILTERINGANDSOONBUTNEWTECHNOLOGYBRINGSMUCHMORECOMPUTATIONTOINTRAFRAMEPREDICTIONOFHEVCTHEREFORE,HOWTOEFFECTIVELYREDUCETHEINTRAFRAMECODINGTIMEHASBEENARESEARCHHOTSPOTWEIMPROVETHEINTRAFRAMEPREDICTIONALGORITHMBYUSINGTHEGRADIENTINFORMATIONOFPIXELS,ANDEVALUATINGTHEPERFORMANCEOFTHEALGORITHMWITHTHEUSEOFCLANGUAGEINTHEEND,WEANALYZETHERESULTSOFTHEPERFORMANCEASFOLLOWSFIRSTLY,WEANALYZETHEBASICCODINGSTRUCTUREANDTHEKEYTECHNOLOGYOFINTRAFRAMEPREDICTIONANDWECOMPAREITWITHCORRESPONDINGINH264SECONDLY,WEANALYZETHEINTRAPREDICTIONALGORITHMOFH264ANDHEVCBASEDONTHEANALYSES,WEIMPROVETHEINTRAFRAMEPREDICTIONALGORITHMBYUSINGTHEGRADIENTINFORMATIONOFPIXELS,ANDEVALUATETHEALGORITHMUSINGCLANGUAGEINTHEEND,WECOMPARETHEPERFORMANCEUNDERTHEALLINTRAANDLOWCOMPLEXITYCONDITIONACCRODINGTHEEVALUATION,WEFINDTHATTHEPROPOSEDALGORITHMCANREDUCETHETOTALCODINGTIMEBY2250WITHSLIGHTLY162BDRATEINCREASEWEIMPROVETHEINTRAPREDICTIONALGORITHMUSINGTHEGRADIENTINFORMATIONOFPIXELSANDREDUCETHETOTALCODINGTIMEEFFECTIVELYITISOFCERTAINTHEORETICALVALUEANDPRACTICALVALUEKEYWORDSHEVC,PIXELGRADIENT,INTRAFRAMEPREDICDION目录第一章绪论111研究背景与意义112本文的主要研究内容和贡献213论文结构及内容安排2第二章HEVC视频编码标准分析421HEVC视频编码概述422HEVC基本编码结构5221HEVC图像分块5222HEVC基本单元623HEVC帧内预测关键技术分析9231H264帧内预测技术分析9232HEVC帧内预测技术分析10233H264与HEVC帧内预测技术对比11234HEVC帧内预测模式选取准则11235HEVC变换量化技术分析1424帧内预测算法现状16241H264帧内预测算法17242HEVC帧内预测算法2025视频质量评价方法25251视频质量主观评价标准25252客观质量的测量26253视频压缩算法评价方法2726小结27第三章像素梯度帧内预测算法设计2831HEVC帧内预测算法28311CU四叉树划分28312粗选择帧内预测算法3032算法原理3033像素梯度帧内预测算法设计33331粗选择过程33332图像纹理特征分析34333像素梯度统计34334简单模式筛选38335最优预测模式选择3934小结40第四章像素梯度帧内预测算法实现4141HEVC编码器选择4142HM编码器整体编码流程42421HM编码器编码流程42422帧内编码总体设计4443帧内预测算法实现45431获取残差数据45432预测模式粗选择48433粗选择后预测模式筛选50434最优预测模式选择5444小结56第五章像素梯度帧内预测算法测试与分析5751HEVC测试序列简介5752像素梯度帧内预测算法性能分析58521像素梯度帧内预测算法客观质量测试58522像素梯度帧内预测算法主观质量测试6253小结63第六章结束语6461本文总结及主要贡献6462下一步工作的建议和未来研究方向64致谢66参考文献67个人简历70攻硕期间取得的研究成果71学位论文评审后修改说明表72图目录图11视频编码标准及其发展历史41图12论文结构安排3图21HEVC编码框图574图22HEVC图像组结构示意图5图23一帧图像条带分割模式示意图86图24一帧图像CTU划分示意图7图25CTU可能的划分7图26预测单元划分模式示意图588图27TU变换树划分过程9图28H264帧内预测方向1310图29HEVC帧内预测模式510图210HEVCRDO流程框图12图211快速三步预测算法流程图2118图212宏块亮度变化及预测模式示意图22184图213预测宏块边缘信息直方图2219图214显著边沿强度算法五种边沿类型2319图215ZHAO算法同HM10中的算法比较示意图1422图216三步法与粗选择帧内预测模式算法对比流程图23图217CU可能的划分过程3024图218使用归一化方向直方图CU选择过程24图219DSCQS测试系统的结构图26图31LCU四叉树划分示意图28图32CU划分合并示意图29图33帧内编码各模块占用时间比31图34像素梯度帧内预测算法流程图32图35预测模式粗选择流程图33图36预测模式角度坐标系36图37PU对应的预测模式直方图388图38最优模式的选择流程图39图41HEVC编码流程图42图42XCOMPRESSCU递归划分CU流程图43图43帧内模式编码框架44图44CU分割、合并过程示意图44图45帧内模式编码流程图45图46残差数据获取流程图46图47参考像素位置示意图46图48预测模式粗选择流程49图49预测模式筛选流程图51图410MPM模块检测流程图53图411预测单元MPM的获取过程53图412亮度分量的率失真代价计算流程图54图413色度分量的率失真代价计算流程图55图51BQSQUARE测试序列RD曲线60图52RACEHORSESC测试序列RD曲线61图53KRISTENANDSARA测试序列RD曲线61图54BQSQUARECU划分对比图61图55BQMALL粗选择帧内预测算法解码图像62图56BQMALL像素梯度帧内预测算法解码图像62表目录表21HEVC与H264帧内预测技术特性对比11表22参与RDO过程候选模式数量2621表23RDO候选模式数量对比表22表31各阶段候选模式数量对照表30表32不同大小的PU选择的候选模式数量34表33粗选择代价最小与次最小成为最优预测模式概率34表34各帧内预测模式对应像素梯度正切值范围表37M表35纹理特征明显CU不同PU保留候选模式数量38表36纹理特征不明显CU不同PU保留候选模式数量39表41预测模式位移尺寸取值表48D表42获取残差数据各函数主要参数说明48表43粗选择过程各函数主要参数说明50表44像素梯度统计函数主要参数说明52表45MPM函数主要参数说明54表46率失真代价计算函数主要参数说明56表51HEVC测试条件57表52HEVC测试视频3857表53测试条件2主要配置参数58表54CLASSA测试序列实验结果59表55CLASSB测试序列实验结果59表56CLASSC测试序列实验结果59表57CLASSD测试序列实验结果59表58CLASSE测试序列实验结果60表59CLASSF测试序列实验结果60表510测试序列实验结果平均值60缩略词表英文缩写英文全称中文释义AMPCTBCTUCUGOPHEVCHMIDRMBMPEGMPMPURDORQTSPSTUASYMMETRICMOTIONPARTITIONCODINGTREEBLOCKCODINGTREEUNITCODINGUNITGROUPOFPICTURESHIGHEFFICIENCYVIDEOCODINGHEVCTESTMODELINSTANTANEOUSDECODINGREFRESHMACROBLOCKMOVINGPICTUREEXPERTSGROUPMOSTPROBABLEMODEPREDICTIONUNITRATEDISTORTIONOPTIMIZATIONRESIDUALQUADTREESEQUENCEPARAMETERSETTRANSFORMUNIT不对称运动划分编码树块编码树单元编码单元图像组高性能视频编码高性能视频编码测试模型瞬时解码刷新宏块运动图象专家组最有可能模式预测单元率失真优化残差四叉树序列参数集变换单元第一章绪论11研究背景与意义2013年，全球41的家庭接入互联网，移动宽带用户从2007年的268亿上升至2013年的21亿，年平均增长率为401。据瑞典研究机构PINGDOM调查2，2012年在线视频流量占全球互联网总流量的52，预计2015年在线视频占互联网总流量将提升至62。与此同时，超高清视频技术开始进入人们的生活。视频信息信息量较大，对视频信息进行有效的压缩将有利于视频信息的传输与存储。不断增长的在线视频需求以及新的视频技术，使得视频数据量不断增长，给当前的网络技术以及存储技术提出了强劲的挑战。正因如此，从20世纪90年代以来，数字视频编码技术发展迅速，一直是国内外研究的热点领域3。近20年来，视频编码专家组VCEG和移动图像专家组MPEG，以及两者组成的联合行动组成功制订了一系列的视频标准3。图11为各个专家组制定的视频编解码标准。MPEG1MPEG4H264MPEGAVCH262MPEG2H261H263H263H263HEVC1984201020031999199019952013ITUTJOINTMPEG图11视频编码标准及其发展历史4随着在线视频服务、3D视频技术的不断发展，现有的编码标准H264已不能满足日益增长的服务需求。因此，JCTVC在2010年开始制定下一代视频编码标准HEVC，并在2013年1月发布了第一版HEVC编解码标准。HEVC继承了H264中的混合编码结构，并引入了灵活数据划分、高精度帧内预测、自适应环内滤波以及更好的并行处理支持等技术，使得HEVC可以在保持同H264同样的视频质量的前提下，可以降低左右的码率。12灵活的数据划分和高精度帧内预测技术的引入增加了HEVC帧内预测编码的运算复杂度。如何有效的降低帧内编码复杂度，是目前视频编码领域的研究热点问题之一。HM参考软件目前采纳的粗选择帧内预测算法，虽然一定程度上降低了编码复杂度，但是参与率失真优化过程的候选模式数量依然较多，算法编码效率依然有进一步提高的空间，因此研究减少率失真优化次数的算法具有一定的理论和实际意义。12本文的主要研究内容和贡献课题主要对像素梯度帧内预测算法进行了研究，主要包括以下几方面的工作1在研究分析H264和HEVC帧内预测算法的基础上，针对率失真优化过程耗时最多的特点，利用像素梯度信息，对粗选择算法进行了改进，并给出算法的详细设计。2给出了算法的实现过程。在VC2010编程环境下，以HM100参考软件为基础，使用C语言实现了算法，并详细给出了算法每个模块的详细实现流程。3对算法进行测试，并同HM100中采纳的粗选择算法进行了性能对比。使用HEVC测试视频，在全帧内，低复杂度编码模式下同粗选择帧内预测算法进行对比测试，验证了算法的有效性。测试数据表明，像素梯度帧内预测算法在同等视频质量的条件下，码率增长162，编码时间减少2250。13论文结构及内容安排本文所研究内容和结构安排如图12所示。第一章为绪论，给出方案应用的研究背景和意义，对论文内容进行了概述。第二章为HEVC视频编码标准分析，研究分析HEVC基本编码结构以及帧内预测关键技术，重点介绍了帧内预测模式选择代价，同时与H264帧内预测进行了对比分析。同时研究分析了H264、HEVC帧内预测算法。第三章为像素梯度帧内预测算法设计。介绍了算法设计的原理，着重分析、介绍了像素梯度信息的统计方法以及率失真代价候选模式选择方法。第四章为像素梯度帧内预测算法的实现方法。对各模块实现方法进一步细分，并对各模块进行了详细设计。第五章为像素梯度帧内预测算法的性能测试。使用HEVC测试视频，在全帧内，低复杂度编码模式下同粗选择帧内预测算法进行对比测试，验证了算法的有效性。第六章为全文总结。归纳了论文的主要研究内容，指出本文的贡献与不足之处，最后针对下一步的工作进行了展望。绪论像素梯度帧内预测算法设计与实现算法实现变换量化测试分析结束语HEVC标准分析算法设计基本单元帧内预测算法分析帧内模式对比分析背景及课题研究意义论文贡献及章节内容安排算法流程设计算法原理分析算法流程详设编码器总体分析帧内编码总体设计主观质量测试客观质量测试算法函数设计图12论文结构安排第二章HEVC视频编码标准分析21HEVC视频编码概述HEVC是由ISO/IECMPEG和ITUTVCEG共同提出的新一代视频压缩编码标准，由JCTVC组织进行标准制定，是继H264之后的高性能视频编码标准5。2010年4月在德国德累斯顿DRESDEN召开第一次HEVC会议6，开始征集和审阅新的技术提案，经过近三年的发展，2013年1月，ISO/IEC和ITUT共同发布了HEVC第一版标准。HEVC着力于高分辨率视频的高效编码，旨在从本质上提高编码效率，在计算复杂度增加不超过一倍的前提下降低50比特率，并在计算复杂度、压缩率、误差稳健性以及系统延时之间取得较好的权衡5。HEVC在编码原理和基本结构7方面没有突破，依然采用同H264基本一致混合编码框架，使用了帧内/帧间预测、熵编码、去块效应滤波器等技术，其编码框图如图21所示。编码控制运动估计运动补偿帧内预测参考帧缓存样本偏移变换量化反量化反变换熵编码去方块滤波输入视频输出视频图21HEVC编码框图57与H264编码标准相比，HEVC采用了很多新技术，比如灵活的单元划分、自适应运动参数编码、自适应环内滤波器等7。尽管HEVC引用了诸多新技术，并且几乎在每一个编码环节上都采取了重要的改进措施，但单独每项新技术或者改进对HEVC整体编码效率的提高并不显著，HEVC编码效率显著提高来自诸多措施叠加的总体效果5。22HEVC基本编码结构HEVC在进行视频编码时，首先将输入的视频进行分组处理，每组包含的视频帧数量由编码器指定。然后将视频组中的视频帧进行分片处理，一帧图像可以只包含一个片，也可以包含多个片。编码器按照光栅扫描顺序对视频帧中的片进行编码单元的划分。编码单元是编码器最基本的结构，HEVC引入了灵活的数据划分，根据编码单元内部视频信息的丰富程度对编码单元划分多个子编码单元。在编码单元内部，编码器按照Z扫描顺序对编码单元中各个子编码单元进行实际的编码操作。221HEVC图像分块2211图像组结构HEVC中与H264类似，使用了帧间预测与帧内预测相结合的方法。在编解码时，将采用帧内预测的图像帧记为I帧，将采用单向帧间预测的图像帧记为P帧，将采用双向帧间预测的图像帧记为B帧。进行视频编码时，HEVC将输入视频按视频帧进行了分组。一个分组称之为一个图像组GOP，GROUPOFPICTURES，图像组以IDRINSTANTANEOUSDECODINGREFRESH帧开始。IDR是一个特殊的I帧，解码器可以把IDR帧之后的视频数据解析出来，而不需要参考IDR帧以前的数据。图22为一个可能的GOP结构示意图。IPBBBBBIBIP图像组GOP图22HEVC图像组结构示意图2212条带结构HEVC编解码过程中，一帧图像会被分割成条带SLICE，条带片段SLICESEGMENT进行处理。条带可采取的独立分割形式，由条带片段组成。条带片段分为独立条带和依赖性条带两类。图23为一帧图像条带分割模式示意图，图像帧被分割成两个条带，其中第一个条带包含一个独立条带片段包含4个CTU和两个依赖条带片段分别包含32个CTU和24个CTU；第二个条带包含一个独立条带片段包含39个编码树单元CTU。独立条带元素非独立条带元素非独立条带元素边界条带边界独立条带元素非独立条带元素图23一帧图像条带分割模式示意图8222HEVC基本单元HEVC编码标准设计了三种基本单元，即编码单元CU，CODINGUNIT，预测单元PU，PREDICTIONUNIT和变换单元TU，TRANSFORMUNIT5。2221编码树单元HEVC中，视频帧由一系列的编码树单元CTU，CODINGTREEUNIT构成。CTU同H264中宏块MB，MACROBLOCK的概念类似，H264中MB的大小是固定为不变的，而HEVC中CTU的尺寸大小可以根据视频的场景、编码器16的资源等条件灵活设定9。CTU尺寸最大为，最小为，解码器可以6416查看I/IDR帧的参数集SPSSPSSEQUENCEPARAMETERSET获取CTU的大小。HEVC的CTU尺寸突破了的限制，更加适合处理高清、超高清视频，这也16是HEVC编码效率提升的重要原因3。在HEVC中，一个编码树单元CTU由一个亮度编码树块CTB、相应的色度编码树块CTB、相应的语法组成。编码树单元CTU是HEVC的基本编码单元5，图24为一帧图像CTU划分示意图。CTU图24一帧图像CTU划分示意图2222编码单元HEVC编码标准中将CTU的叶节点定义为编码单元CU，CODINGUNIT，编码器根据CU内部视频内容复杂程度，以四叉树的方式将CU递归划分为多个编码单元。CU的尺寸可以从最大的递归划分为最小的，并以递归深度648DEPTH表示其大小。DEPTH0，CU尺寸为；DEPTH3，CU尺寸为。648图25表示一个CU可能的划分。一个CU可能只包含一个CU，也可能被划分成多个CU。CU64X64CU32X32CU16X16图25CTU可能的划分2223预测单元预测单元PU，PREDICTIONUNIT包含帧内预测模式信息、帧间的运动信息，是进行帧内/帧间预测的基本单元5。不同的预测模式，PU划分的形式是不同的，具体情况如图26所示。从图26中可以发现，除了H264中的对称分割方法、之外，HEVC还支持非对称分割模式2N2N2AMPASYMMETRICMOTIONPARTITION。SKIP模式特殊帧间模式帧内模式帧间模式2NN22NRN2NL2ND2NU2N22图26预测单元划分模式示意图582224变换单元变换单元TU，TRANSFORMUNIT是对残差数据进行变换和量化的基本单元。TU与CU类似，也可以进行四叉树划分，但其是以当前CU为根节点划分的。每个CU可能只有一个TU，也可能有多个TU。图27表示一个TU可能的划分过程。变换单元TU的大小可以为中的一种。变换单元TU321684、的形状与预测单元PU的形状直接相关，当预测单元PU的形状为正方形时，变换单元TU则为正方形；若预测单元PU的形状为长方形，变换单元TU也为长方形10。16TU32T4TU8图27TU变换树划分过程23HEVC帧内预测关键技术分析HEVC编码标准引入了更为精密的预测方向11和一种新的平面预测模式12，这使得HEVC较H264可以进行更为精确的预测。该小节对HEVC帧内预测技术进行了研究，首先对比分析了H264和HEVC中的帧内预测技术，然后介绍了HEVC选择最优预测模式的代价准则，最后对HEVC选择最优预测模式时用到的变换量化模块进行了分析。231H264帧内预测技术分析H264利用视频空间域上的方向性，首次将帧内预测纳入到视频编码技术中13。像素间的相关性以及图像的纹理特征在帧内预测中得到了较好地挖掘，使得H264帧内编码比之前的标准更加高效3。H264编码标准中，亮度块的帧内预测有九种预测模式，如图28所示，4亮度块的帧内预测则使用水平、垂直、DC、平面四种预测方式13。1602DC模式0801060405000703图28H264帧内预测方向13色度分量有四种预测模式，即DC模式、水平模式、垂直模式及平面模式13。232HEVC帧内预测技术分析HEVC的帧内预测从预测方向的个数、预测方向的判断过程两个方面对H264的帧内预测进行扩展和深入6。对于亮度分量，HEVC有35种帧内预测模式，即DC模式、PLANAR模式、33种方向性预测模式。0203040506070809101112131415161718343332313029282726252423222120190PLANAR模式1DC模式图29HEVC帧内预测模式5图29给出了HEVC标准中的35种预测模式5。HEVC编码标准中，色度分量共有五种帧内预测模式，分别是PLANAR模式、DC模式、水平模式、竖直模式、DERIVED模式。DERIVED模式使用同亮度分量同样的预测模式，如果亮度分量预测模式同色度前四种预测模式相同，则使用模式34代替514。233H264与HEVC帧内预测技术对比表29比较了HEVC与H264在帧内预测编码的技术特性。HEVC支持35种亮度分量的预测模式，而且这些预测模式对于，大321684小的预测单元均可以使用。相比只有9种帧内预测模式的H264技术标准，HEVC帧内预测的复杂度显著提高了15。表29HEVC与H264帧内预测技术特性对比特性HEVCH264PU大小163284、1684、预测模式359参考像素滤波取决于TU大小及预测模式无MPM3MPMS1MPM变换矩阵变换矩阵大小自适应变化变换矩阵大小固定系数扫描方式3种1种234HEVC帧内预测模式选取准则HEVC同H264一样，使用率失真技术选择帧内预测最优候选模式，在图像失真度与编码码率之间做出权衡。2341率失真理论码率同失真度关系的研究始于香农的论文AMATHEMATICALTHEORYOFCOMMUNICATION16。经过多年研究，人们对率失真理论的核心问题有了深刻的认识，即在一定保真度下如何最大程度地的去除信息冗余。对于视频编解码而言，冗余信息的去除是通过选择合适的编码工具和策略完成的16。视频信息的率失真优化RDO，RATEDISTORTIONOPTIMIZATION可以看成是通过合理选择预测模式、编码/量化参数等工具，按照一定的策略完成视频编解码过程。正如H264标准制定委员会主席GARYJSULLIAN所说，“我们需要回答这个问题视频信号中的什么部分应该采用什么方式进行编码及如何配置参数”16。HEVC中RDO流程框图如图210所示。首先对当前编码单元进行编码、获取残差，然后对残差进行变换/量化、熵编码，获得编码码率信息；然后重建图像，得到原始编码单元同重建编码单元之间的失真度。最后计算各个模式的率失真代价，在编码码率与失真度间进行权衡，选择最优的预测模式进行最终的编码。编码熵编码反变换代价计算模式选择图像失真码率信息反量化量化变换输入视频图210HEVCRDO流程框图2342HEVC中编码代价计算方法分析HEVC中使用的拉格朗日函数计算率失真代价，如式MERGEFORMAT21所示19。MODEMODE,|,RATKK,K,JPUIQDISTORNPUI|QPUI|QMERGEFORMAT21式中表示当前编码预测单元，表示选用的预测模式，的取值取决KKKK于选用的预测模式，表示码率权重系数。MODE由式MERGEFORMAT22确定MODEMERGEFORMAT221230ODEMODEQPKPRW取决于当前编码器设置8，帧内编码模式下，取值为057，取值为1，KWK。1230MODE057QPHEVC有3种衡量图像失真度的方法，即平方差值之和SSE、绝对变换差值之和SATD、绝对差值之和SAD19。23421平方差值之和使用平方差值之和SSE计算图像失真度精确度最高，但是运算量最大19，耗时最多。SSE定义为MERGEFORMAT232,IJSEDFIJ表示原始图像像素同预测单元像素之间的差，其定义为,DIFJMERGEFORMAT,DIFJBLOCKAIJLOCKBIJ24式中，表示当前编码单元像素值，为预测单元像素值。,BLOCKAIJ,LIJ23422绝对变换差值之和绝对变换差值之和SATD性能介于SAD和SSE之间19。SATD将HADAMARD矩阵变换后的残差数据的系数取绝对值之后，对每个预测模式的编码代价进行估计，其计算复杂度较SSE低，但是又能保持较好的精度。SATD定义为MERGEFORMAT25,2IJSATDFIJ表示预测残差HADAMARD变换系数绝对值之和，其定义为,DIFTJ,IFJHADMRBLOCKAIJLOCKBIJMERGEFORMAT26式中，为当前编码单元像素，为当前预测单元像素。,BLOCKIJ,LIJHADAMARD变换标志位8HADAMARDTRANSFORMFLAG控制是否采用HADAMARD变换，该标志位为1时，采用的是SATD，为0时该方法蜕化为SAD。23423绝对差值之和SAD计算图像失真度精确度最低，但是运算量最小，耗时最少19。SAD定义为MERGEFORMAT27,I,JIJSADF表示原始图像像素同预测单元像素之间的差，其定义为,DIFJMERGEFORMAT,IFJBLOCKIJLOCKBIJ28式中，为当前编码单元像素值，为当前预测单元像素值。,BLOCKAIJ,LIJ2343预测模式代价估计方法HEVC中，最佳帧内预测模式根据每个预测模式的率失真代价大小进行选择。目前HM中使用的帧内预测算法代价估计分为两种基于SATD的低复杂度代价计算、基于SSE的高复杂度全RD计算。HEVC首先使用低复杂度代价估计方法，初步筛选候选模式。各预测模式预测代价由式MERGEFORMAT29获得8。,PREDSATDJMERGEFORMAT29,PREDSATDPREDRJB式中，SATD表示原始视频单元和重建视频单元的绝对变换差值之和，表示PREDB预测模式熵编码之后的码流大小，但不包括残差数据熵编码后的码流信息。对预测模式进行初步筛选之后，HEVC使用高复杂度的代价估算方法选出最优的预测模式。该步使用的代价计算方法为8MODEMODEELUMACHROACHROAJSEWSEBMERGEFORMAT210式中分别表示亮度分量和色度分量的平方差值之和，LUIACHROAS、表示预测单元熵编码后的编码代价，包括残差数据熵编码后的码流信息。MODEB表示色度误差权重系数，其计算方法由式MERGEFORMAT211给出。CHRAWMERGEFORMAT211QP32CHROMACHROMAW235HEVC变换量化技术分析为了确定最优预测模式，HEVC需要对残差数据进行变换与量化，确定预测模式对应的失真度。本节对HEVC中变化量化技术的代码实现过程进行了简要的分析。2351HEVC变换与反变换HEVC只定义了的DCT变换矩阵，、大小的变换321684矩阵可以等比例的从变换矩阵中获得。为了降低码率5，HEVC使用DST矩阵对大小的亮度分量进行变换。4残差数据变换定义为15MERGEFORMAT212TNYCX式中，为变换系数矩阵，为残差系数矩阵，为DCT变换矩YNNC阵。HEVC在实现DCT变换时，为了确保变换中间结果都可以用16BITS表示5，用变换矩阵代替原变换矩阵，为了加速DCT变换过程，64NREALCNHEVC对DCT变换进行了分解，首先对残差系数矩阵的每一列做一维蝶形变X换，然后对其结果的每一行做一维蝶形变换，实现过程如式MERGEFORMAT213所示。222221LOGTN7LLOG6LOG1LOG116464CTNNNTNYXXCYMERGEFORMAT213式中，表示DCT变换结果，表示变换单元的边长，表示对一Y2LOG1NX维列变换的结果右移位，表示对一维行变换2LOGN22LOG6LOG1NT的结果右移位，常数合并至量化过程中。2L67LHEVC反变换为HEVC变化的逆过程，计算过程如式MERGEFORMAT214所示。MERGEFORMAT222N1LOG7L17LOGC6464TNTNNRCV14式中，表示DCT逆变换结果，表示变换单元的边长，表示对一R72TNCV维列变换的结果右移7位，表示对一维行变换的结果右移12127TNCV位，常数合并至逆量化过程实现。27LOGN2352HEVC量化与反量化HEVC使用同H264一致的统一量化步长，计算公式为5MERGEFORMAT215YZQSTEP式中，表示系数量化后的数值，表示变换系数，表示量化步长。ZSTEPHEVC将变换过程中的常数合并到量化过程中，此时量化系数计算方27LOGN法如式MERGEFORMAT216所示。MERGEFORMAT2162214147LOG147LOGNZYQSTEPSTYTEP统一量化步长中，5，则式MERGEFORMAT6QSTEPSQP217可表示为MERGEFORMAT2214147LOG/61LOG/NQPNZYSTEPF217式中，表示量化系数，表示DCT变换结果，取值对应量化表ZY6FP。643025618394560，HEVC反量化方法如式MERGEFORMAT218所示5226646LOG33LOG622126QPPNQNVZSTEPSTEPZFPMERGEFORMAT218式中，为反量化后获得的系数，为量化后的系数，对应反量化表V6FP。40,517,6424帧内预测算法现状H264标准首次将帧内预测编码技术引入视频编码领域1920，H264将全搜索算法作为默认的帧内预测算法，全搜索算法预测精度最高，但是效率最低。为了减少参与RDO过程的候选模式数量，缩短帧内编码时间，研究人员根据视频在空域、时域的相关性，提出了一些帧内模式快速选择算法。2010年1月，JCTVC开始征集HEVC编码技术提案。研究者根据H264帧内预测算法研究成果，提出一系列基于H264编码标准的帧内预测模式快速选择算法。2013年1月，JCVVC发布了第一版HEVC编码标准，帧内预测模式快速选择算法依然是当前的研究热点。下面的两个小节，首先分析H264编码标准中出现的帧内预测算法，然后分析HEVC编码标准中帧内预测算法。241H264帧内预测算法H264编码标准默认采用全搜索算法，即通过计算编码宏块所有候选模式的率失真代价，选率失真代价最小的候选模式做为最优候选模式。对于大小的宏块，使用式MERGEFORMAT219计算率失真代价16，4对于大小的宏块，使用式MERGEFORMAT220计算率失真代价16。全16搜索算法下，大小的宏块需要计算9个候选模式的率失真代价，大小16的宏块需要计算4个候选模式的率失真代价。该算法虽然预测精度最高，但计算量过大，编码时间较长。MODE,|,CI|QP,KMODEKJSCIQPSSR，MERGEFORMAT219式中，代表原始宏块，代表重构宏块，代表与差值的平方和，代表SCSCR选定和下宏块编码比特数，表示选用的预测模式。DPKIMERGEFORMATMODE,|KKJSQPSATD,I|QP220式中，代表原始宏块，代表重构宏块，代表经过变换之后的绝对残差和，SC表示使用的预测模式。KI针对H264复杂的帧内编码算法，提出了一些算法提高了编码效率。文献21中提出了针对宏块的快速三步预测算法。CHENG等人通过分析4全搜索算法下的最优候选模式发现，最优候选模式及其相邻候选模式的SAD代价通常较小。利用视频的空间相关性，根据候选模式的SAD代价，分步过滤掉一些不大可能的模式，最后对剩下的模式使用率失真代价选出最优候选模式。CHENG提出的算法减少了参与RDO过程的候选模式数量，相比全搜索算法降低了约32的编码时间，在相似PSNR值下，码率只增长121，算法流程如图211所示。计算模式0、1、2编码代价，选代价最小模式K计算模式5、7编码代价计算模式6、8编码代价对模式5、4和模式K进行RDO模式0ROST_1I则当前CU划分为四个子CU，置SPLIT_FLAG为1，否则不进行划分，SPLIT_FLAG为0。帧内预测编码时，对于一个大小为的CU，会进行深度为4的划分，64假设每层、每个CU都要进行划分，则会形成个CU。如果使0123485用全搜索算法，那么确定每个CU的最优预测模式则需要进行35次RDO运算，对于一个大小的LCU，则需要次RDO运算。对于一帧720P6485397的图像，可以划分220个LCU，对该720P的图像进行一次CU划分则需要进行654500次RDO计算，这对于所有的视频应用是不能接受的。因此，在不明显降低图像质量的前提下，降低帧内编码时率失真优化运算的次数，提高编码器的效率就是一件十分值得探索、研究的事情。312粗选择帧内预测算法当前HM编码器采用了文献27的粗选择帧内预测算法。算法首先统计当前CU35种预测模式粗选择代价8。,PREDSATDJMERGEFORMAT33,PREDRB按由小到大的顺序，对预测模式进行排序，选择一定数量的候选模,PREDSATDJ式参与RDO过程。为了保证编码器编码性能，当前预测单元最有可能模式26MPM，MOSTPROBABLEMODE也作为候选模式参与到RDO过程。HM70中，对粗选择帧内预测算法再次做了改进，主要对原先27算法中参与粗选择过程的候选模式数量进行了修改。由原先的不同大小预测单元选择不同数量的候选模式改为所有预测单元均选择同样数量的候选模式，算法修改前后，粗选择过程候选模式数量变化情况如表32所示。表32各阶段候选模式数量对照表PU大小文献27RMD候选模式数量文献27RDO候选模式数量HMRMD候选模式个数HMRDO候选模式个数6455353MPM32344353MPM1344353MPM8349358MPM179358MPM最后使用式MERGEFORMAT34计算参与RDO候选模式的代价，MODEJ选择最低的预测模式作为最优帧内预测模式。MODEJMODEMODEELUMACHROACHROAJSEWSEBMERGEFORMAT3432算法原理通过242小节中的算法研究分析可知，当前HEVC中帧内预测算法主要有两类一类主要通过有效减少RDO候选模式数量，缩短帧内编码时间；另一类是基于分类的思想，根据CU中图像信息，识别可以进行前期合并的CU，对编码单元树进行裁剪，提前终止CU的划分，从而减少编码时间。第二类算法的分类准确度与稳定性取决于分类工具。使用统计性的分割阈值或者贝叶斯分类器对CU进行分类，算法实现复杂度低，但是算法稳定性欠缺3，如果使用分类性能较好的支持向量机等工具，其实现复杂度相对较高。第一类算法主要通过减少粗选择模式候选者数量，降低帧内编码时间。该类算法在实现复杂度和稳定性之间可以取得较好的折中。文献22通过分析编码单元像素亮度变化方向同预测模式之间的关系，在H264编码标准中提出基于像素梯度的帧内预测算法。文献34沿袭了文献22的算法思路，将其应用到HEVC编码标准中。文献34根据编码单元的像素梯度信息对粗选择过程候选模式进行筛选，将幅值最大方向性预测模式以及非方向性预测模式0和预测模式1做为粗选择候选模式，较粗选择帧内预测算法进一步减少候选模式数量，降低了帧内编码时间。文献35统计了帧内编码各模块占用的时间，发现无论是支持8BIT低复杂度编码模式还是支持10BIT高性能编码模式，率失真优化过程占用的编码时间均超过了帧内编码总时间的50。22120579其它粗选择率失真优化375121504其它粗选择率失真优化A低复杂度模式B高性能模式图33帧内编码各模块占用时间比由图33可知，率失真优化过程耗费的编码时间较粗选择过程多出近一倍的时间，这主要是由于RDO过程本身计算量过大以及候选模式数量较多35导致的。如果将编码单元像素的梯度信息，直接用于减少RDO过程候选模式数量，可以减少更多的编码时间。基于此，本文对粗选择帧内预测算法作出改进。像素点梯度的方向表示该像素点沿该方向的变化率最大，梯度的幅值反映了像素点沿该方向变化程度的大小22。同像素梯度变化方向垂直的方向表示该像素点沿该方向变化最小，这意味着，与像素梯度方向垂直的方向，表征各像素点亮度一致的方向，而HEVC各方向性预测模式下的预测像素亮度值沿某一方向变化一致，如果编码单元中像素变化最小的方向同某方向性预测的预测方向一致或者相近，那么该预测模式很可能是该编码单元最优预测模式。为了有效减少RDO候选模式数量，本文根据编码单元像素梯度信息进一步减少粗选择模式候选者数量，从而缩短帧内编码时间。算法流程如图34所示。计算候选模式RDO代价开始结束简单模式筛选像素梯度统计预测模式粗选择获取最优模式纹理特征明显是否MPM检测图34像素梯度帧内预测算法流程图首先使用文献26中的粗选择方法对35种预测模式进行初步筛选，然后对粗选择筛选之后的预测模式进行分析，根据粗选择代价最小的前两个预测模式是否包含DC或者PLANAR模式判断图像纹理特征是否明显。对于图像纹理特征明显的区域，根据像素梯度直方图对粗选择过程之后的预测模式进行模式分析，筛选粗选择过程之后的预测模式。对于图像纹理特征不明显的区域，对预测模式进行简单的筛选。为保证编码器性能，将MPM添加至RDO候选模式中，最后计算经过像素梯度筛选或者简单模式筛选之后的预测模式率失真代价，选出率失真代价最低的最优帧内预测模式。下面的章节中详细介绍像素梯度帧内预测算法的设计。33像素梯度帧内预测算法设计331粗选