第讲运动图像的编码二

运动图像的编码（二）视频数据的分组传输技术QOS的可伸缩性信道编码视频的帧格式H.261、H.263和H.264系统MPEG1和MPEG2系统视频数据的分组传输技术QOS的可伸缩性在实际的分组网中，用户具备的网络条件和终端能力是不同的。在一对多点的应用中，让发端针对每种网络条件和终端能力都单独发送对应的码流，是不现实的。为此，我们需要让视频编码具有QoS的可伸缩性，不同的终端能力和网络条件，都可以从同一份码流中获得正确的图像，只不过图像的质量有所区别。这样会让码流更大一些，但是通过这样的组织结构可以获得更好的效果。有如下4种伸缩性编码空间域可伸缩性编码时间域可伸缩性编码频率域可伸缩性编码信噪比可伸缩性编码空间域可伸缩性（1）空间可伸缩性编码的目的在于提供空间分辨率不同的分层编码码流。将原始图像在水平和垂直方向上分别进行亚取样得到低分辨率的图像。这样形成的最低分辨率的图像称为基本层。基本层第1增强层第2增强层空间域可伸缩性（2）对基本层编码，解码后通过内插形成第一增强层分辨率相同的图像，作为该层预测值，并对其差值进行编码得到第一增强层的码流。其余各层依此类推。从上面可知，这种编码层数不宜过多，否则内插太多会导致预测余量信号多大，量化误差增加。在MPEG2中使用两层编码，并且会用运动估计形成的预测帧和内插形成的预测帧去比，哪个更准确就用哪个。空间域可伸缩性（3）增强层编码基本层编码解码亚取样插值复接器增强层编码数据基本层编码数据已编码流原始图像基本层图像频率域可伸缩性频率域可伸缩性编码是针对DCT系数进行的。将DCT系数矩阵划分为几个频带，最低频带的系数构成基本层码流，其他频带为增强层数据。XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX时间域可伸缩性（1）时间域可伸缩性编码的目的是提供帧率在一定范围内变化的分层编码的码流。将原始图像序列沿时间轴进行亚取样，得到的低帧序列按一般方式编码形成基本层，剩余的帧形成增强层。增强层可以有I,P,B帧，其中P帧可以由基本层的前1帧、后1帧和增强层的前1帧预测。B帧由增强层前1帧与基本层前后1帧进行预测，不用增强层的作为后向预测的参考帧。时间域可伸缩性（2）BBBPPP原始序列基本层序列增强层序列基本层序列增强层序列(a)P帧(b)B帧信噪睡比域脖可伸腔缩性(1余)信噪民比可盯伸缩拿编码片提供竭不同爬视觉津质量茶的码脱流。可以趟对基餐本层增采用努较大丧的量贵化间舍隔，倚获得格较高腔的压港缩比突；而擦增强鲜层则泊用较饼小的佛量化湾间隔仇，进病行精河细量迫化。另一勿种方波式是捎将DC赤T系数丹从高渠位到稳低位究分次目传输乔，先重传得共高位特构成抱基本可层，厕低位悉形成价增强参层。MS型B阶L敢SB信噪斥比域犹可伸势缩性(2逆)粗量储化细量机化VL颜C预测烤编码DC软TDQ复接器增强间层数弦据已编闹码流原始腐图像基本凉层图圈像VL虫C基本依层数禾据+DC榜T系数+-可伸塞缩编章码的助混合良应用在MP阿EG窄2中，汉每种怪可伸州缩编样码都劈燕分为先两个染层次咬，但详是可僚以混谣合形政成3个层堡次的斥分层吼编码组。空间登域和互信噪钩比的狼混合针可伸济缩编柳码时间却域和梢空间摘域的意混合袋编码层次可伸缩性应用0普通电视1信噪比高质量电视2空间域HDTV层次可伸缩性应用0普通电视1空间域隔行扫描的HDTV2时间域逐行扫描的HDTV信道余编码在视逼频通开信中啦，由银于预佛测编精码被丧大量疼应用望，因院此误尼差的票累积孕与传恶播就乐显得歌格外伟重要智。特慕别是I帧，迅如果素出现季误码必，将蜓导致蹲整个GO闸P的解追码错思误。对于裕语音叠编码玩来说偿，由帽于采爽样频父率高(8音00普0样点/s，而躬视频想只有30帧/s案)，因画此误极差影纳响的裂时间犯很短役，不削会对缩慧人耳矿产生趋很明姿显的鄙感觉沙。因此晒在视恒频通由信中葬，一盛般都您要加考入信木道编切码，黑来减托小传飘输误迹码。谢这会较增加盖码流知长度敞，增关加信择息冗御余，惭只是财这种正信息换冗余呼是能计被我类们利娇用的皇。常用翻的信彩道编聚码包肾括分跑组码娃和卷其积码层，一亏般来歪说，川信道薯编码峡主要雪是要胜选取党合适汗的码第型，房诚在本引课程侍中不拢作专嚼门讲吹述了立。视频由的帧侧格式不同牙的预如测方宏法前向铲预测菌：P帧，双向瓶预测沈：B帧，不预功测：I帧。I帧编比码是改为了渠减少晶空间军域冗棍余，P帧和B帧是横为了它减少衰时间恒域冗都余。H.羞26麦x系列蔽标准H.撤26见1,丝式H.便26秘3和H.孙26妖4H.夹26焰119渡90年由IT班U-沾T制定重，是抢第一雹个实喘用的还数字旗视频吊编码到标准斯，并搁形成接了视柏频编雷码器使的基雁本结园构。设计聪的目刷的是雹能够姑在带汉宽为p*尤64侨kb饭ps那(扒p=本1~屑30砌)的综抽合业可务数陕字网(I应SD厦N诞fo帜r索In监te高gr萝at况ed墨S己er斤vi廉ce钩s口Di痛gi墙ta套l虎Ne仗tw贷or纽奉k)上提旧供质转量可蜓接受糕的视斗频信踪蝶号。最高滩帧率29咽.9沾7f况ps，低最速率篇可以看降至10程fp芹sH.阿26朝1的技称术描垄述H.勾26膊1使用脖帧间哀预测投来消誓除空妨域冗株余，老并使五用了效运动达矢量分来进献行运秤动补介偿。啦变换厦编码贴部分漠使用冬了一政个8x馆8的DC颈T变换痛来消添除空宇域的椅冗余限，然爱后对猛变换唯后的姜系数粪进行痒阶梯关量化(这一航步是云有损语压缩)，之汽后对竿量化滴后的材变换乡丰系数民进行Zi友g-惹za调g扫描着，并蠢进行续熵编行码(使用Ru昂n-虾Le闹ve晴l变长亮编码)来消漏除统蝴计冗钱余。H.洋26丘1视频冰编码敬协议只支籍持CI味F(征35别2*到28宰8)锈(C富om毙mo欢n酸In兼te技rf启ac须e惭Fo习rm安at抓)和QC汇IF旦(1员76然*1鞋44暑)两种冶格式客，Y:夸U:尘V=勾4:坐2:柿0由于谷应用桂在实欧时通艺信中咏，要欲求延减时尽颂量小飘，因壮此只帜使用拆前向诊预测述，码恼流中宴只有I帧和P帧。为了屈防止袖误差幅的累乌积传市播，线在每13荡2帧内怒，在破每个茧宏块圈位置贞上至雁少要固进行灭一次吴帧内夹编码阿，即犹逐步拥刷新姐。此岩外，场如果介某个免宏块偏的预勿测误带差过脆大，炕则直清接作凳帧内元编码编解爬码器柱的复乒杂度谈相当H.斩26叶1的码狼流层匆次HeaderGOBGOB…GOBHeaderMBMBMB…MBHeaderBlockBlockBlockBlockBlockBlockCoefCoef…CoefCoefEndofblock图像坟层宏块暮层(6个Bl程oc唱k)GO沫B层(3妻3个MB萄)块层一个流宏块鬼是16枯*16像素凯块，脉包括4个亮农度块恭和2个色规度块H.僚26糖3协议H.欲26惊3是由IT津U-珠T制定酒的视刊频会撒议用存的低分码率轧视频曲编码鼓标准洲，和浸以前份的编魔解码乘标准端相比朋，有退极大炮的提荐高，饭在所糕有码晃率下虎都优巷于H.显26攀1。H.殿26末3应用溜范围最初宰设计碑为基品于H.杰32润4的系危统进孕行传胁输(即基桐于公去共电盆话交题换网骂和其序它基惨于电察路交研换的达网络棵进行蹈视频铅会议香和视鼻频电福话)。后来焰的成采功应婶用H.疼32化3（基少于RT吨P/植IP网络银的视慰频会舱议系扶统）H.损32逆0（基荷于IS酒DN的视邪频会距议系肾统）RT洲SP（流安式媒听体传哗输系度统）SI匪P（基娃于In谢te挥rn怪et的视恰频会稼议）H.献26洁3协议19圣95年，枣第一祖版；19浸98年，H.禽26杆3+螺(H歌.2予63达v2咽)；20百00年，H.在26剑3+彩+(糕H.喜26这3v吴3)和H.再26脚1相比伟有如乞下进狗步支持葬更多踩的原眨始图启像分悠辨率嫩，如Su赢bQ逮CI询F,秘QC甜IF笛,圾CI我F,势4润CI竖F,布1激6C捷IF。引入迁了半茄像素集精度羡的运集动估宏计。彻在找疤到最鸡优的疫整像压素点戴后，仆通过受内插萄得到抚周围施的8个半蜡像素夺点，历继续仆搜索望得到桌更精候确地么匹配斧位置破，从高而减头小帧咸间图俱像差途值，杜降低园码率躬。不收意限的勇运动割矢量晒：运强动矢宣量所邻确定咽的宏套块位酿置超竿出了拾边界涛，用涨边界末点代疏替。更先世进的市预测护模式朝：用4个8*黑8块的4个运毁动矢错量，切代替呜原有16壶*16块的岂一个冶运动醋矢量酸，增冲加了至运动豪矢量召的码学率，衬降低袍了余教量信顺号的筝码率引入矩双向然预测剪的B帧PB帧模扮式，P帧和土前一务个相央邻B帧一甜起传忙输，兽减小茧解码沫延时坟。H.典26途4协议IT棋U-柱T与MP钥EG共同兽制定啦，20垃03年5月第争一版吨完成共。协议血内容幕与MP筒EG询4第10部分墙相同欧，也愧可称竿为H.录26权L设计肢目的希望蜡能在标比相施对以坐前的吸视频宵标准馋（比钓如MP素EG博-2或者H.辰26保3）低辽很多速的码尽率下凭（比与如说语，一忌半或萄者更希少）胆提供橡很好忠的视授频质燥量不增雀加很腹多复帜杂的标编码碎工具呈，使潜得硬极件难澡以实除现。可适挡应性匪，即赶该编比解码信器能锣够在什一个犯很广古的范滤围内前使用葡（比枪如说户，即搏包含扒高码切率也输包含区低码茅率，桂以及雄不同杨的视帅频分罚辨率市），知并且启能在备各种闯网络救和系王统上医（比填如组觉播，DV探D存储屋，RT像P/递IP包网辜络，IT庄U-荷T多媒翅体电织话系收统）坟工作撕。H.蕉26嫌4的新垂特性多参衡考帧翁的运动比补偿：最样多32个参顷考帧帽，而叫以前傲是1(求P帧)或2(锐B帧)。变块修尺寸运动欠补偿：使遵用最劈燕大16即x1替6最小4x员4的块供来进愁行运毒动估遥计与热运动究补偿透。1/跳4像素球精度收的运动狸补偿基于弯上下丙文的烦二元算数士编码(CA欧BA去C),它能符够灵饥活的绑将各晨种语叛法元酱素在掠已知竟相应芽的上堤下文终的概济率分应布的假状况赞下更循有效敲的进运行无碑损的熵编压码。基于趟上下辅文的变长套编码(CA穿VL洪C)，不夹如CA征BA楚C，但饼比Hu加ff垃ma瓣n有效H.触26副4的应色用欧洲鸣的数苍字电蜻视广包播(DV剩B)标准韩国的数字斑多媒烘体广呢播(D仰MB闻)下一棋代DV抬D必须妇支持赤的播禾放格蜡式第三共代移谎动通酬信合魄作组植织(3兴GP地P)，H.史26端4作为宜移动更多媒钉体电锐话服辈务标景准的刺可选瞒技术诊。IE撞TF认,供IT齿U和MP肚EG分别宇在各它种相字关协马议中卵，对H.联26绞4进行纱支持视频险点播凑服务(V双OD向)的应垃用MP锐EG系列诵标准MP烛EG膝-1，MP磁EG毒-2，MP听EG份-4MP洞EG头-1简介MP脾EG组织泽制定外的第设一个徒视频盛和音葛频有集损压臭缩标蛋准。著视频蒙压缩台算法藏于19牲90年定除义完慢成。19搏92年底如，MP永EG碑-1正式尽被批队准成垫为国泉际标推准。为CD光盘故介质行定制检的的个视频昌和音死频压资缩格搭式。谈一张70分钟也的CD光盘稠传输轮速率烛大约欺在1.皆4M影bp单s。所补以MP躺EG误-1对1.璃2M保bp物s(对应监于35升2*勒24处0*弯30漏,态NT订SC格式支或35容2*妙28轿8*惩25，PA基L格式)传输惭速率河进行箱优化挺，加斗上CD质量百的伴同音，蒸总速假率约凯为1.师4M特bp邪s。VC唉D的核脖心技丹术，津与传叫统录混像机块的质饮量相贫当。音频谊部分暂分三底层，柴第三委层协办议MP策EG思-1报L何ay逝er趴3，简卡称MP痰3。MP致EG根-1技术锻特点随机馅访问可变输的图辨像尺纠寸半像洽素精奶度的岭运动鲜矢量I帧,P帧,B帧运动督补偿纯可跨包越多芽帧Sl慌ic厉e结构最大迈参数觉限制蛇：72坡0行，57躬6列，30帧/秒，1.让86适Mb生psMP颠EG岂-1的码柿流层尤次(1币)图像惩序列痕：序由列头慢给出脆图像膏分辨片率、旁帧率咬和使缺用的架量化巧表的快类型拘等信壮息。图像疾组(G章OP决)：是滨进行仅随即右存储陆的单腿元，面以I帧开组头图像迈：是片基本掩的编愚码单晌元，雨其头壮信息苏中记笨录正缓该帧炼的类岛型(I门,P榴,B岔)和它闪在GO但P中的稳顺序孙号切片(S本li声ce盐)：是勉进行洽再同阵步的荐单元令。一类幅图宾像可弊以分聋为一省个或野者多默个sl鸣ic屯e，在岭每个sl吵ic盼e的开浴始，限对运烈动矢客量和DC系数驻都DP非CM的预谨测值眉都重请新置0，这甜样可太以防疑止解辰码时本误差吸的累议积。宏块盏：是鄙进行久运动瘦补偿裤的基瓶本单燃元块：似是进今行DC漫T的基疤本单由元。贵每个杀宏块步有6个块齿，排黎列为Y1歼,Y菊2,闹Y3神,Y充4,辨U,夹VMP贡EG拘-1的码病流层烟次(2傅)HeaderPicturePicture…PictureHeaderGOPGOP…GOPHeaderMBMBMB…MBHeaderBlockBlockBlockBlockBlockBlockCoefCoef…CoefCoefEndofblock序列面层宏块淘层条层块层HeaderSliceSlice…SliceGO脸P层图像俱层MP焦EG读-2简介19蓝94年发形布，济是MP值EG求-1的扩氏充和委改进散，向温后兼铲容，既其中协的视当频编蠢码部做分与IT推U合作麻，为IT放U的H.焦26库2.通常恋用来犯为广阁播信赖号提歼供视员频和振音频泻编码夺，包乞括数岁字卫如星电引视、菌有线拦电视座等。MP晨EG捞-2经过怕少量顽修改举后，扛也成慕为DV劫D产品塞的核焰心技符术。MP修EG跳-2的改秀进在3M束bp育s及以诊上速残率，巩明显旺优于MP缸EG连-1处理渴各行脏扫描寺的视轨频信浪号的慌能力票：包渔括对续场图跳像的芒场间