多媒体通信技术视频编码及速率控制.ppt

第07讲视频编码及速率控制 典型的视频编解码处理 图像复杂度分析速率控制 DCT Q 熵编码 缓存 DQ IDCT 运动补偿预测 参考帧存储 运动估值 预处理 熵编码 DQ IDCT 运动补偿 帧存储 解码器 编码器 视频信号输入 视频信号输出 5 6 Y Cb Cr 条 slice 结构 宏块结构 图像信号预处理 运动估值 补偿 采用具有运动补偿的帧间预测 运动估值部分 亮度图像分割成16 16的宏块 搜索范围可以取 128 H 32 V DCT变换 将宏块再分成8 8子块 帧内编码的量化矩阵 帧间编码的量化矩阵 量化 通过量化 保留重要的DCT系数 将其数值进一步离散化 并将不重要的DCT系数量化到零 对不同的DCT系数根据其重要程度的不同采用不同大小的量化台阶 之字形扫描顺序 交替扫描顺序 熵编码 之字形扫描后产生一维序列为 4212 1916143 1 8833 2 900023000000000010011000 游程编码表示为 0 42 0 12 0 19 0 16 0 14 0 3 0 1 0 8 0 8 0 3 0 3 0 2 0 9 3 2 0 3 10 1 2 1 0 1 6 1 EOB 速率控制 一般在编码器和信道之间设置一个缓冲器 1 当码率高于信道传输速率时 缓冲器会越来越满 2 当码率低于信道传输速率时 缓冲器则会越来越空 对压缩的码率进行控制 改变量化器的量化台阶大小 原则 尽可能保证图像质量稳定的前提下 使压缩码流的速率使用恒速信道的要求 视频序列的编码 预测编码 帧间预测 用于消除时间冗余信息实时应用场合 一般不采用后向或双向预测 随机接入点 间隔一段时间插入一个帧内预测编码图像支持VCR交互操作可编辑性能 I B B P B B B P I B 123456789 前向预测 双向预测 GOP I B B P B B B I B B 123456789 前向预测 双向预测 GOP DC系数的帧内预测 DC分量代表该块的平均灰度 空间域内图像的灰度是连续变化的 相邻块的DC分量之间存在较大的相关性 A B C X DC系数预测 AC系数预测 A C X 运动矢量的帧内预测 空间相邻宏块的运动矢量之间存在着相关性 A B C E A B C E A B C E MVA MVB MVC MVA 8x4 4x8 16x16 16x8 图像的帧内预测编码 对于帧内编码的帧不做帧间预测 帧间预测编码的优化 隔行扫描图像的预测 用于场图像的场间预测P帧参考图像可为前一场或同极性前一场B帧参考图像可为前后帧的任意场用于帧图像的场间预测帧图像宏块分成奇偶场宏块 分别运动估计用于P帧的双基预测一帧的奇偶场宏块交叉运动估计 再预测用于场图像的16x8预测场图像的宏块分成上下16x8的半块进行场间预测 帧间预测的几种特殊情况 不受限的运动矢量参考图像边界外像素可通过外推得到跳过模式预测值为0或可量化到0双向直接模式当前块的双向预测运动矢量通过已编码块推导 运动估值的图像块大小 16x16 8x16 16x8 8x8 4x8 8x4 4x4 亚像素精度的运动矢量估计 多参考帧预测 基于率 失真优化的编码模式选择 多种编码模式选择 帧内 帧间编码 其中S为信源样值集合I为S集合中对应的采用的编码模式 预测模式 率失真优化 满足R S I Rc 低计算复杂度的变换编码与量化 4x4正交变换 二维DCT变换 其中 4x4DCT变换 4x4逆变换 整数运算的量化 其中Yij Zij分别为量化前后的变换系数 Q为量化步长 f反映量化器死区宽度 采用整数运算的编码器 将量化与之前的Ef结合 减少运算量 基于对象的视频编码 编码器与解码器结构 可视对象ViualObject视频帧 视频场景中的某物体 2D或3D图形视频对象VideoObject视频帧 帧内物体视频对象平面VOPlane某一时刻的VO 某一帧中的VO 一个视频场景 可以由一个背景对象和若干个前景对象构成 t VOP1 VOP2 VOP3 视频对象 VO 视频对象平面 任意形状VOP的预测编码 MB2匹配块 MB1匹配块 MB3匹配块 MB2 MB1 MB3 MBr 当前VOP 参考VOP 根据形状将VOP用一个矩形框套住 然后对矩形框中的宏块分别进行处理 任意形状VOP的纹理编码 块填充方法VOP之外的像素没有定义 先填充再DCT目的 使空间域像素值变化平缓邻近点填充 定值填充 2N 1或0 低通外插形状自适应DCT利用一组预定义好的一维DCT 任意编码 二值形状编码BAB BinaryAlphaBlock I VOP的BAB块直接编码P VOP B VOP在BAB编码前需进行运动补偿灰度形状编码分成2部分 轮廓和Alpha值 形状信息通常用位图法表示 0 1表示透明 非透明 0 255表示透明度 视频对象序列的编码 VOP1 VOPk VOPk 1 VOP1 VOP2 GOV1 GOV2 VOL1 VOL2 VO1 VO2 GOV VOP VOL VO VS VS GOV2 GOVN VOL2 VOLN VO2 VON VOP1 VOPk 1 VOPk 1 VOPN VOP1 VOPN 第1层 第2层 SM3速率控制 MPEG1标准的速率控制的仿真模型 基本思想是 首先进行目标比特分配 然后在编码中调整每一条 slice 量化台阶进行码率调整 使实际码率接近预分配值 1 目标比特分配 根据信道速率Rc 针对GOP中的帧类型设定初始编码比特数 然后根据最接近的IPB帧实际产生的平均速率R c 调整下一帧的比特分配 x i p b 2 码率调整 根据缓冲器的充满程度来改变当前slice的量化参数Q 充满程度buffer content通过下式更新 SB和NB分别为上一slice的实际编码和预定编码比特数 TM5速率控制 MPEG2标准的速率控制的测试模型 控制方案相对比较复杂 1 目标比特分配 原则 编码产生的平均码率与指定信道速率相匹配其比特分配不仅考虑编码的类型 还考虑了图像内容的复杂程度 2 码率调整 假设3个虚拟缓冲器 分别用于一种类型 IPB 图像的编码输出 这样使某帧编码实际比特数更接近预分配的比特数 3 自适应量化 考虑了视觉的空间域掩蔽效应 某宏块的量化参数由参考量化参数Q和活跃程度确定 速率控制中的率失真模型 将率失真函数引入速率控制 低延时应用的速率控制TMN8 帧级速率控制宏块级速率控制 基于率失真优化的速率控制JVT G012 GOP级速率控制帧级速率控制 作业 1 简单解释一下视频编码中I帧和Slice片层存在的意义或作用2 试述前向预测