第5章数字视频(3)ppt课件

第5章数字视频(3),2020/5/2,.,2,内容,1.MPEG概述2.MPEG-1视频的编码3.MPEG-1视频的解码,1.MPEG概述,2020/5/2,.,4,视频压缩编码的标准,ITU-T标准用于ISDN视频会议的H.261(Px64)标准用于PSTN可视电话的H.263标准用于ATM/B-ISDN视频会议的H.262标准ISO/IEC国际标准用于VCD的ISO11172(MPEG-1video)标准用于数字电视和DVD的ISO/IEC13818(MPEG-2video)标准用于交互式多媒体应用的视听编码标准MPEG-4企业(公司)标准:AVI,QuickTime,RealVideo,2020/5/2,.,5,视频压缩编码的国际标准,MPEG-7,2020/5/2,.,6,MPEG-1标准,MPEG-1标准(ISO/IEC11172).1992年发布。用于1.5Mbps数据传输率的运动图像及其伴音的编码。主要应用于VCD，MP3音乐等.MPEG-1在JPEG和H.261等优秀标准的基础上,对参加竞争的14个方案,通过反复协调而得到统一,从而成为先进、合理、质量高、成本低的优秀标准.MPEG-1促进了大规模集成电路专用芯片的发展,为多媒体技术和产品的繁荣立下了功劳。,2020/5/2,.,7,MPEG-1:一系列“第一”,第一个集成的视频/音频标准:ISO/IEC11172-1(Systems),-2(Video),-3(Audio)第一个定义“接收者”而不是“传送者”的视音频标准第一个与视频格式无关的编码标准(NTSC/PAL/SECAM)第一个由几乎所有相关视/音频企业联合制定的标准第一个纯软件标准第一个包含软件实施的标准,2020/5/2,.,8,MPEG-1的评价(应用),VideoCD(severaltensmillionplayerssoldinPRofChina)“The”formatofaudioandvideoforPCWindows95/NT/98containanMPEG-1softwaredecoderMPEG-1Audio(recently,layer3)iswidelyusedforWebmusicDigitalAudioBroadcasting(DAB)utilisesMPEG-1Audio(adoptedinEuropeandCanada)LightweightMPEG-1videocamerasareonsale,2020/5/2,.,9,MPEG-1Requirements,(在大约1.5Mb/s数码率的情况下,获得质量可接受的A/V信息;适合于CD-ROM,DAT,硬盘,可写光盘等数字存储介质;可在N-ISDN、LAN等通信网络上传输)1randomaccess2fastforward/backwardsearch3reverseplayback4A/Vsynchronization5robustnesstoerrors6smallencoding/decodingdelay7editability8formatflexibility9costtradeoff,2020/5/2,.,10,MPEG-1的内容,ISO/IEC11172-1:systemaudio,video,data等如何组织成一个复合的比特流;如何同步等.ISO/IEC11172-2:videovideo信号的压缩编码ISO/IEC11172-3:audioaudio信号的压缩编码ISO/IEC11172-4:ConformancetestingMPEG-1的一致性测试ISO/IEC11172-5:SoftwaresimulationMPEG-1软件模拟,2020/5/2,.,11,MPEG-2标准,MPEG-2标准(ISO/IEC13818).1994年发布。主要针对数字电视特别是高清晰度电视(HDTV)的视频及伴音信号，典型传输速率为10Mbps，与MPEG-1兼容，适用于1.5Mbps60Mbps甚至更高速率的编码范围。,2020/5/2,.,12,MPEG-2标准（续）,以MPEG-2作为视音频压缩标准的数字卫星电视已在欧美形成了很大市场；美国高级电视联盟(ATVGrandAlliance)和欧洲数字视频广播计划(DigitalVideoBroadcastProject)先后决定将MPEG-2用于高清晰度电视(HDTV)广播中;新一代的数字视盘DVD采用MPEG-2作为其视音频压缩标准(注:欧、美、日在视频方面采用MPEG-2标准,而在音频方面则采用AC-3标准)。,2020/5/2,.,13,MPEG-2的评价(应用),SeveraltensofmillionsettopboxesforsatelliteandcablehavebeensoldDigitaltelevisionVHF/UHFbroadcastingMorethanxxxmillionDVDplayerssoldTheMPEG-24:2:2profileisbeingadoptedinthetelevisionproductionindustryMPEG-2hascreatedtheentirelynewdigitaltelevisionindustryworth30billionUSD,2020/5/2,.,14,MPEG-4标准,MPEG-4标准(ISO/IECl4496).“Codingofaudio-visualobjects”1999年5月形成国际标准(版本1),2001-2002形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问)主要目标compressionandmanipulationofaudioandvisualobjects,thewebpageparadigmappliedtoaudioandvideo!,2020/5/2,.,15,MPEG-7标准,MPEG-7标准(ISO/IECl5938).2001年9月形成。它是“多媒体内容描述接口”(MultimediaContentDescriptionInterface)的标准,该标准将确定各种类型的多媒体信息的标准描述方法,可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域。,2020/5/2,.,16,MPEG-21标准,MPEG-21标准.(MultimediaFramework)多媒体框架标准适合于多种应用领域的各种类型用户对各种类型内容的传送和使用，可通过大范围的网络和设备允许对多媒体资源的透明和增强使用,2MPEG-1视频的编码,视频压缩编码概述,2020/5/2,.,19,视频流码率的计算,宽:pixels(160,320,640,720,1280,1920,)长:pixels(120,240,480,485,720,1080,)量化位数:bits(1,4,8,15,16,24,)fps:framespersecond(5,15,20,24,30,)压缩率:(1,6,24,),长宽量化位数fps,压缩率,=bits/sec,2020/5/2,.,20,视频数据量,2020/5/2,.,21,视频应用与码率、分辨率的关系,2020/5/2,.,22,视频数据压缩编码的依据,每一帧画面内部的信息有很强的相关性;相邻画面之间有高度的相容性;运动可以估测（MotionEstimation）;人眼的视觉特性有利于数据的压缩.,2020/5/2,.,23,视频压缩编码技术的评价准则,码率(bitrate)重建图像的质量编码/解码延时错误修复能力算法复杂程度,2020/5/2,.,24,MPEG-1视频压缩的基本方法,在空间域:采用JPEG(JointPhotographicExpertsGroup)压缩算法来去掉画面内部的冗余信息。在时间域:采用运动补偿(motioncompensation)算法来去掉画面之间的冗余信息。,2020/5/2,.,25,MPEG-1视频编/解码总框图,预处理与画面分类,2020/5/2,.,27,CCIR601(PAL)的预处理,亚采样滤波器,720 x576,360 x576,Y,U,V,2020/5/2,.,28,MPEG-1画面预处理中的亚采样,1使用滤波器对亮度（色度）象素进行平滑处理：,亚采样前：10122030351519111119264580909290,2采用亚采样降低分辨率,5923/256=23,平滑处理：,亚采样后:123223912499592,2020/5/2,.,29,画面的分类,Intra-picture(I画面)不需要参考其它画面而独立进行压缩编码的画面;Predicted-picture(P画面)参考前面已编码的I或P画面进行预测编码的画面;Bidirectional-picture(B画面)既参考前面的I或P画面、又参考后面的I或P画面进行双向预测编码的画面DCcoefficient-picture(D画面)仅使用画面中每个块的DC系数进行编码,用作正/反向快速搜索.单独进行编码与存储(仅MPEG-1使用)。,2020/5/2,.,30,MPEG的画面组(GOP),视频画面序列被分成一个一个画面组(GrupeOfPictures,GOP)GOP中的画面数目一般为1015.每个GOP中至少包含一个I画面，可没有B画面,甚至没有P画面,2020/5/2,.,31,画面的重新排序,画面的显示顺序是:IBBPBBPBBP12345678910画面的编码顺序是:IPBBPBBPB此,每一个GOP中的画面在编码前和解码后都必须重排序,编码器结构及I画面的处理,MPEG-1编码器框图,2020/5/2,.,34,MPEG-l编码器的组成,运动估计与宏块类型(MTYPE)的选择,MQUANT(q)值的设置,运动补偿预测,量化和逆量化(dequantizer),DCT和IDCT,变长编码(VLC),多路复用器(MUX),缓冲器及调节器.,2020/5/2,.,35,I画面压缩编码的流程,宏块及运动矢量,2020/5/2,.,37,运动矢量,运动矢量,由于画面内容有连贯性,因此当前画面的内容可以看作是前面画面部分内容的位移(运动)。,2020/5/2,.,38,宏块的划分,画面各处的运动矢量(幅度、方向)各不相同，因此，画面应细分成块(宏块)，以宏块为单位，找出两帧画面中相应宏块之间的位移关系运动矢量,2020/5/2,.,39,宏块的大小与组成,宏块(macroblock)的组成:,宏块有2种情况：可预测宏块:与参考画面中的某个宏块有位移关系不可预测宏块:与参考画面中的任何宏块都找不到位移关系,2020/5/2,.,40,可预测宏块,2020/5/2,.,41,可预测宏块的预测公式,设I(X)为位置X处的象素值；I1(X)是画面1中的编码宏块象素的原始值,I1(X)是它们的预测值；I0(X)和I2(X)是参考画面0和画面1中宏块象素的值；MV0,1和MV2,1分别是画面1中的宏块相对于画面0、画面2中参考宏块的运动矢量。,2020/5/2,.,42,运动矢量的估计,参考画面,预测编码画面,编码宏块,最佳匹配宏块,搜索范围,运动矢量,2020/5/2,.,43,运动矢量估计算法,基本原理:,假设一个初始矢量,最佳匹配准则(“方差和”最小/“绝对误差和”最小):,2020/5/2,.,44,MPEG-1的运动矢量估计,搜索范围(7种可选)31,63,127,.,2047?搜索精度(2种可选)0.5pel,1pel搜索策略(自定)全面搜索(31x31)搜索次数=(31-16+1)2=256方向搜索法对数搜索法(31x31)搜索次数=9x5=45对偶搜索法,宏块,宏块,宏块,宏块,宏块,宏块,宏块,2020/5/2,.,45,方向搜索法,沿着最小失真方向搜索，每一次检查3-5个搜索点，搜索步长固定。,2020/5/2,.,46,对数搜索法（3步搜索法）,搜索范围,每一步测试8个搜索点,并逐步缩小搜索步长,2020/5/2,.,47,实验结果,变焦的镜头及其运动场,平移的镜头及其运动场,P画面和B画面的编码,P画面宏块的类型及处理,(码块图CBP=32xP0+16xP1+8xP2+4xP3+2xP4+1xP5),2020/5/2,.,50,可预测编码宏块的处理过程,2020/5/2,.,51,B画面的编码,B画面编码:与P画面类似，但更复杂。例如:宏块类型更多，可预测宏块可分成:前向预测宏块后向预测宏块双向预测宏块参加编码的运动矢量可能是1个或2个D画面编码:只取每一块的DC系数进行编码，全部是帧内编码，用于快速检索,2020/5/2,.,52,双向预测宏块的编码过程,运动矢量,2020/5/2,.,53,小结1:编码器的主要操作,1为GOP中的I画面、P画面和B画面重新排序2为P画面和B画面中的每个MB（宏块）估算运动矢量3确定每个MB的宏块类型（MTYPE）4如果选择自适应量化的话，设置量化因子MQUANT。,2020/5/2,.,54,小结2:I,P,B三种画面的比较,压缩后，3种画面比特数目的比较：IPB例如：I画面：300kbP画面：100-65kbB画面：18-7kb关于B画面优点：预测效果好，压缩效率高，缺点：复杂，需要较大的缓冲器，增加了编码延迟。,2020/5/2,.,55,小结3:视频比特流的层次结构,DCT单位,运动补偿单位,重新同步单位,主编码单位,随机存取单元video编辑单位,随机存取单元context,2020/5/2,.,56,小结4:MPEG-1的视频数据流格式,3.MPEG-1视频的解码,2020/5/2,.,58,解码器框图与解码过程,2020/5/2,.,59,缓冲器的设计,必要性：平滑数据量/画面的波动，确保以固定帧频显示。副作用：增加了解码延迟时间，增大了成本。画面数据量与缓冲大小的关系。,假设解码