技术规范标准_高效视频编码技术标准及其演化概述

高效视频编码技术标准及其演化 2020 2 18 2 多媒体数据压缩 数据压缩可分成两种类型无损压缩有损压缩无损压缩指使用压缩后的数据进行重构 或者叫做还原 解压缩 重构后的数据与原来的数据完全相同用于要求重构的信号与原始信号完全一致的场合 一个很常见的例子是磁盘文件的压缩 有损压缩指使用压缩后的数据进行重构 重构后的数据与原来的数据有所不同 但不影响人对原始资料表达的信息造成误解 适用于重构信号不一定非要和原始信号完全相同的场合 3 数字音视频压缩标准的发展史 AVS1 P2MP 2003 AVS1 P2HP SP PP 2009 ChinaAVSIEEE SAAVS 第一代标准 第二代标准 4 数字视频编码标准的能力进化 第一代标准 第二代标准 高清信源1 5Gbps 压缩75倍 压缩150倍 视频编码标准化了什么 标准化的仅仅是解码器的语法允许引入新的优化允许降低具体实现的复杂度不提供图像质量的保证 预处理 编码 信源 信号 后处理与纠错 解码 标准化的范畴 2020 2 18 6 1stMPEG 2Encoder 2NDGenerationEncoder 3rdGenerationEncoder 4thGenerationEncoder 5thGenerationEncoder AdvancedCodecEncoder 仅标准化解码器的好处 MPEG 2编码器进化的证据 7 7 混合视频编码基本框架 EntropyCoding InvQuant InvTransform Motion Compensation ControlData coeffs MotionData Intra Inter CoderControl MotionEstimation Transform Quant InputVideoSignalSplitintoMacroblocks16x16pixels Intra framePrediction De blockingFilter OutputVideoSignal Transformcoding Predictioncoding Entropycoding 8 SpatialCodingTools 9 TemporalCodingTools 10 Ifwecanfindaidealtransform wecanhave1280 1280 1920 1 1920 1920 1 SVD 11 网址 12 相关视频标准收费概要 MPEG 2视频和系统每台设备 4 2002前 2 5 2 2010年后 每个封装媒体 例如DVD光盘 约0 02美分MPEG 4AVC H 264 VC 1编解码设备 500万台以内每台0 2 超过的每台0 1 封顶费每年650万 运营商 每次点播0 02美元或销售价的2 封顶费每年650万 13 13 1stGeneration H 261 MPEG 1 2 EntropyCoding InvQuant InvTransform Motion Compensation ControlData coeffs MotionData Intra Inter CoderControl MotionEstimation Transform Quant InputVideoSignalSplitintoMacroblocks16x16pixels Intra framePrediction De blockingFilter OutputVideoSignal 14 14 2ndGeneration H 264 AVS VC 1 EntropyCoding InvQuant InvTransform Motion Compensation ControlData coeffs MotionData Intra Inter CoderControl MotionEstimation Transform Quant InputVideoSignalSplitintoMacroblocks16x16pixels Intra framePrediction De blockingFilter OutputVideoSignal 15 Keyvideocodingtoolscontributed VariableBlock sizeMotionCompensation VideoObjectPlanes MultipleReference 2000 1950 DPCM Interlace B frames P frames SceneAdaptiveCoder BlockMotionEstimation DCT Macroblocks HybridCoding HuffmanCoding TransformCoding MotionVectorPrediction Object BasedScalability ErrorResilience GenericB pictures AdvancedDeblockingFilter ModifiedfromCReader 2002 IntegerTransform 1990 Usingforfree Needtopay 16 AVSWorkingGroup SetupbyMII MinistryofInformationIndustry inJuneof2002Inchargeofnationalstandardizationofaudio videocodingforChineseA VindustryAlsoinchargeoforganizingthedelegationofChinaNationalBodytoMPEG ISO IECJTC1 SC29 WG11 17 17 AVSvideostandard InFeb 2006 AVSvideoissuedasnationalstandardGB T20090 2 2006EffectivefromMarch2006 AVS被国际电联接受为视频编码格式 2007年5月 ITU TIPTVFG推荐下列视频格式H 264 AVCvideoVC 1videoAVSvideo2009年7月10日 上述文本正式发布 MediacodingtoolboxforIPTV AVSVideo AVS专辑在欧洲信号处理学会学报发表 2003年以前 ISO与ITU制定的MPEG 2 MPEG 4与H 264等独步天下2006年2月 AVS成为中国国家标准GB T200902006年4月 微软公司成功推动VC 1成为美国SMPTE标准 Volume24 Issue4 2009 pages245 344SpecialIssueonAVSanditsApplicationeditedbyWenGao KingN Ngan LuYu Volume19 Number9 2004 150pagesTechnologiesEnablingMoiesonInternet HDDVD andDCinemaeditedbyA Puri J Ribas Corbera W Husaketal 专辑有两篇文章分别综述了MPEG 4AVC H 264 以及微软公司的VC 9 该专辑用了全部版面 刊登了八篇AVS文章 AVSvideoprofile AVS3DProfile AVSSystemSpecificationfor3D view organizing type1bit 0formultiviewindependentvideo 1formultiviewdependentvideostereo packing mode2bits 01forleft right 10fortop bottom AVSVideoSpecificationfor3D stereo packing mode2bits 01forleft right 10fortop bottom 24 Thesystemfor2010AsiaGame 2010AsiaGame3D 2010AsiaGame3D 2010AsiaGame3Dshow CNTVwebsite CNTVwebsite 视频列表 CNTVAVS3D视频播放器 一体机国家标准发布 地面数字一体机国标 2011年6月16日发布GB T26683 2011地面数字电视接收器通用规范 即机顶盒 GB T26684 2011地面数字电视接收器测量方法GB T26685 2011地面数字电视接收机测量方法GB T26686 2011地面数字电视接收机通用规范 即电视一体机 2011年11月1日开始实施 一年过渡期 其后AVS必选 地面数字电视接收器通用规范GB T26683 2011 地面数字电视接收机通用规范GB T26686 2011 AVS解码芯片产业成熟 中国大陆 9 北京 海尔集成 展讯 芯晟上海 龙晶 上海高清杭州国芯 深圳海思 福州瑞芯 镇江唐桥中国台湾 4 晨星mStar 联发科MTK 杨智Ali 瑞昱Realtek美国 5 Broadcom SigmaDesign C2 Trident Verisilicon欧洲 2 ST NXP日本 2 富士通 NEC 韩国 1 Chips Media AVS专业编码器 国内供货商10家 上海国茂北京联合信源博雅华录数码视讯广州高清典视睿通普天汉辰泰宇科技广州科维新 AVS专业编码器 国际供货商3家 Telairity 美国 BE7110 SD BE9100 SD BE7400 SD BE8100 HD BE8500 HD SD BE9400 HD SD SES3200Envivio 美国 4CasterC4EDBOX 德国 AVS地面数字电视应用 商业应用运营前测试 株洲 AVS海外应用 AVS十周年 2012年3月18日 AVS成立十周年庆典在北京大学举行工业与信息化部 国家广电总局 国家发改委 科学技术部 国标委 国知局领导到会祝贺 表示将继续加大力度支持AVS发展国家广电总局和工业与信息化部共同发文并签署协议 推进AVS在立体电视和高清电视中的应用 38 AVS高清与3D广播应用推动签约 3rdGeneration HEVCandAVS2 0 JVCTHEVCMPEG VCEGCFP 2010Oct MPEGXi anMeetingWillbedownaround2013Dec AVS2 0CFP 2010Dec Stillopen 40 HEVCcodingflowdiagram HEVC StructureoftoolsformingtheHM 42 HEVCCodingUnit CU CUisthebasicunitforcodingUsedforquad treebasedsegmentationofregionsPlaysasimilarroleto16x16ad8x8blocksinAVCCantakevarioussizesAlwayspowerof2sizeAlwayssquareshapeRangeofallowedCUsizesisspecifiedinSequenceParameterSet SPS LargestCU LCU MaximumhierarchicaldepthEasilyadaptedforvariousapplicationsRecursivestructurewithsplitflagOne2Nx2NorfourNxN 43 HEVCPredictionUnit PU 43 PUisthebasicunitforpredictionofaCULike16x16 16x8 8x16 8x8 8x4 4x8and4x4inAVCAllowedPUpartitionsaredependingonpredictiontype Example AvailablePUfor64x64CUSkip PU 64x64Intra PU 64x64Inter PU 64x64 64x32 32x64 64x16 64x48 16x64 48x64Note 1 Currently NxNpartitionisonlyavailableformin CU and4x4forinterisdisabledinSPSbydefault 2 AMPisnotavailablefor8x8CU 44 RelationshipofCU PU TU 3 levelquad treesplitofTUsizesFlagstoindicatethesplitstatusofeachTUMaxTUis32x32MinTUis4x4ForNSQT furthersplitof16x4or4x16TUisfour4x4TU not8x2or2x8 HEVC帧内预测模式 AngularIntraPrediction 46 ArbitraryDirectionIntra ADI ADIprovides33predictiondirections ofpred modesdependsonPUsizeUpto35modes includingDC Planar IntramodepredictionorderFromlefttoright fromtoptobottom 47 Unifieddirectionalintraprediction mode4 34 TheinverseangletableisdefinedforpredictioncalculationinvAngle 32 256 intraPredAngleDerivepredictangleforthemodeofintraPredOderintraAngleIdx modeVer intraPredOrder 9 modeHor intraPredOrder 25 0signAngle intraAngleIdx 0 1 1 absAngle invAngle abs intraAngleIdx intraPredAngle signAngle absAngle modeDC intraPredOrder 0 modeVer modeDC intraPredOrder 18 modeHor modeDC modeVer Therealangle arcctan intraPredAngle 32 48 4thGeneration InternetVideoCodingrichdatainthewebjoinvideocodingandmultimediasearchmachinelearningbasedIEEESAAVSproject P1857 Willcatchupthe4thgenerationstandard 在视频编码中引入背景模型 刚开始时场景模型为空白 随着时间推移场景模型逐渐完善 数据总量趋向稳定开始视频码率与常规编码相同 但很快下降逐渐并趋向稳定 只在出现异常时码率脉冲式增高 场景模型数据 基于场景建模 的监控编码 无场景建模 的常规编码 t 码率 49 AVS S 监控视频编转码方法 压缩效率评估结果转码RD