《运动图像压缩编码》PPT课件.ppt

第九章运动图像压缩编码 MPEG简介MPEG 1压缩标准MPEG 2压缩介绍MPEG 4压缩介绍 MPEG简介 MPEG MovingPictureExpertGroup 是在1988年由国际标准化组织 InternationalOrganizationforStandardization ISO 和国际电工委员会 InternationalElectrotechnicalCommission IEC 联合成立的专家组 开发电视图像数据和声音数据的编码 解码和它们的同步等标准 他们开发的标准称为MPEG标准 MPEG标准是一个面向运动图象压缩的标准系列 到目前为止 已经开发和正在开发的有 MPEG 1 用于数据速率高达大约1 5Mbit s的数字存储媒体的活动图像和伴音编码 MPEG 2 活动图像和伴音信息的通用编码 MPEG 4 甚低位率音视频编码 MPEG 7 多媒体内容描述接口标准 MPEG 21 多媒体框架 MPEG 1和 2典型的编码参数 MPEG 1压缩标准 用于大约高达1 5Mbps速率的数字存储媒体的运动图象及其伴音编码简称MPEG 1 作为ISO IEC11172号建议于1992年通过 使用MPEG 1的压缩算法 可将一部120分钟长的电影压缩到1 2GB左右 因此 它被广泛地应用于VCD制作 1991年制订 最初为CD ROM制订亮度360X240 色度180X120 每秒30帧压缩比100 1 MPEG 1分为5个部分 MPEG系统 11172 1 定义音频 视频及有关数据的同步 MPEG视频 11172 2 定义视频数据的编码和重建图象所需的解码过程 MPEG音频 11172 3 定义音频数据的编码和解码 一致性测试 11172 4 软件模拟 11172 5 一个技术报告 给出了用软件执行MPEG 1标准前3个部分的结果 MPEG视频数据流的结构 运动图象序列 图片组 图片 图片切片 宏块 块 8象素 8象素 MPEG 1数据体系结构 分层的结构 MPEG 1标准的视频数据码流MPEG 1规定了视频压缩数据码流的语法结构 这个语法结构将视频压缩数据码流分为6层 运动图像序列 VideoSequence 图像组 图像组 GroupOfPictures GOP 由一系列图像帧组成 这些图像可以从运动序列中随机抽取 MPEG 1视频压缩标准 图像 图像 Picture 一个图像 静止图像 一帧 由三个部分组成一个亮度信号Y两个色差信号UV 图像组 Y U V8 2 2 MPEG 1视频压缩标准 图像 图像切片 图像切片 Slice 图像帧内的水平条 由一个或多个连续的宏块构成 每个图像切片16bit高 宽与图像帧宽度相同 MPEG 1视频压缩标准 图像的切片 宏块 宏块 MPEG的基本编码单元 即进行运动补偿的单元 由16X16像素的亮度 Y 信息和两个8X8像素的色度 U V 信息组成 宏块由附加数据及四个亮度 Y 信号块和两个色差信号 U V各一块 块组成 每块 8 8像素 可以是亮度Y或色度U V一个宏块由附加数据及四个亮度 Y 信号块和两个色差信号 U V各一块 块组成 Y U V8 2 2 图像序列头 图像组 图像组 图像组 图像组 序列层 图像组头 图像 I P B 图像 I P B 图像头 图像条 图像条 图像切片头 宏块 MB 宏块 MB 1 8 8 2 8 8 5 8 8 6 8 8 3 8 8 4 8 8 8 8 Y Cr Cb 块层 宏块层 图像切片层 图像层 图像组层 MPEG视频码流分层结构图 MPEG 1视频压缩技术 基本技术采用运动补偿技术减少帧序列在时间上的冗余 帧间压缩 采用DCT压缩技术减少空间上的冗余 帧内压缩 基本的编码 解码算法 编码端 输入的视频序列先进行预处理 插入 滤波 然后用运动预测来帮助建立当前图像和已传送图像的预测器 如果用到估计的运动向量 则作为附属信息 减去每块的预测 剩余的进行DCT变换 并对DCT系数进行量化 量化后的系数传送前进行变长度编码 在为运动估计和预测建立参考图像前 量化后的系数要进行重构 逆DCT变换 并与预测器结合 解码端 解码器对变长编码进行解码 重构DCT变换从以前重构的图像构成预测器并结合起来形成当前图像 也为以后接收到的图像作预测 后处理插入并滤波结果图像以便显示 编码 解码框图 在MPEG中将图象分为3种类型I 图像帧 帧内编码图像帧 内帧静态图像 只利用自身信息进行编码 采用JPEG方式可作为压缩数据流中的随机存取点 快进 快退等P 图像帧 预测编码图像帧 预测帧利用最近的前一个I 帧或P 帧作为参考采用带运动补偿技术的帧间预测进行编码 前向预测通常作为后续的P 帧或B 帧的预测参考帧B 图像帧 双向预测编码图像帧 双向帧既利用过去的I 帧或P 帧 前向 也利用后来的I 帧或P 帧 后向 作为参考进行带运动补偿技术的双向预测编码从不作为预测的参考帧 I IntraPicture P PredictedPicture B BidirectionalPicture MPEG 1标准的帧内编码技术 帧内编码技术针对I 图像帧 采用DCT方法与JPEG压缩方式相同 只是量化器稍有差别图像压缩过程 以NTSC制式为例彩色空间转换将RGB信号转换为亮度Y和色差C信号每一像素的亮度都传送 而色差信号分为U Y R V Y B传送 每传送4个亮度信号才传送一个色差信号 称为YUV4 1 1格式经过YUV4 1 1格式采样后 信息量减少了50 例 RGB格式 各8bit 24bit 像素YUV4 1 1格式 Y8bit U V各2bit 12bit 像素这是压缩图像的第一步措施 MPEG 1标准的帧内编码技术 采用与JPEG相同的压缩编码方式 Z字型排列 前向预测 双向预测 图像帧间预测帧内编码前向预测后向预测双向预测 MPEG 1标准的帧间编码技术 图象组一般由一个I 帧 几个P 帧和若干个B 帧组成 MPEG 1的算法允许编码器选择I 帧的频率和位置 一般每0 5秒以内必须传送一次I 帧PAL制式 图象组12帧NTSC制式 图象组15帧从I 帧 或P 帧 得到P 帧 P 帧压缩比60 1从I 帧或P 帧得到B 帧 B 帧压缩可达200 1MPEG 1算法不对称 压缩比解压缩复杂 慢编码器需要选择位于I 帧和P 帧间B 帧的数目 MPEG 1标准的帧间编码技术 典型的I 帧 P 帧 B 帧次序安排 IBBPBBPBBPBBPBBIBBPBBPBBPBBPBB11630 1秒 每15帧 0 5秒 有一个I 帧 参照帧间有两个B 帧 传输顺序 MPEG编码器需对上述图象重新排序 以便解码器高效工作 因为参照图象必须先于B图象恢复之前恢复 上述1 7帧图象重排后图象组次序为 MPEG 1标准的帧间编码技术 原理NTSC每秒30帧 每帧的主体只有少许差异 背景差异更小 即相隔1 30秒之间的两帧画面中 景物主体运动在画面上的位移量或整幅画面切换的概率极小 因此可以通过运动补偿技术进行压缩 过程运动补偿 对数据码流 将一幅画面的某一宏块与参考画面中的邻近范围内的宏块进行数值对比 寻找与该快最接近的 误差最小的块 只需记录该块在两个画面中的位移量 运动向量 以及差值部分 根据运动向量坐标的变化和块的差值 可以算出该块是否移动以及形状是否改变 在传送时可以省略背景和主体详情 只传送代表运动向量和块差值得少许数据 再根据这少许数据还原整个画面 MPEG 1标准的运动补偿技术 运动补偿技术主要用于消除P 帧和B 帧在时间上的冗余 提高压缩效率在宏块一级进行 宏块有四种类型 MPEG 1标准的运动补偿技术 基于宏块的运动补偿技术就是在其参照帧中找出符合一定条件的块作为当前块的最佳匹配块对于F宏块和B宏块 只找一个最佳匹配块对于A宏块 其前后参照帧各有一个最佳匹配块如何进行运动补偿运动向量 运动向量 运动向量 采用预测器对预测点坐标进行预测用实际坐标减去预测坐标 得到预测误差对预测误差进行压缩编码 预测图像P的压缩编码算法 双向预测图象B的压缩编码算法 宏块的预测方式 运动补偿的问题 MPEG指明了如何表示运动信息 但没有说明如何计算运动矢量 最佳匹配的判别依据是什么 最小均方误差 最小平均绝对差值 最大匹配像素统计等 最佳匹配的算法 如何高效搜索最佳匹配块 二维对数搜索法 三步搜索法 对偶搜索法等 最佳匹配的判据 要使预测图像更精确 就要求找到与参考宏块MRJ最佳匹配的预测图像编码宏块MPI所谓最佳匹配是指这两个宏块之间的差值最小 有下列三种匹配判据 通常以绝对值AE absolutedifference 最小作为匹配判据 有些学者提出了以均方误差MSE mean squareerror 最小作为匹配判据 也有些学者提出以平均绝对帧差MAD meanoftheabsoluteframedifference 最小作为匹配判据 其中 dx和dy分别是参考宏块MRJ的移动矢量d dx dy 在X和Y方向上的矢量从以上分析可知 对预测图像的编码实际上就是寻找最佳匹配图像宏块 找到最佳宏块就找到了最佳移动矢量d dx dy 示例 在视频编码标准中 H 261 H 263 MPEG 1 MPEG 2 MPEG 4 运动估计和运动补偿在当前帧的8 8或者16 16块上进行 整个块的运动估计也被称为块匹配 对于当前帧亮度像素的每个块 例如16 16 运动估计算法搜索参考帧的一个附近区域 寻找一个匹配的16 16区域 最好的匹配足指使得当前的16 16块和匹配的16 16块的差值的能量最小 搜索的范围以当前的16 16块为中心 这是因为一力面由于相邻帧的高度相似性 相关性 与当的块紧接着的区域可能存在很好的匹配 另 方面 搜索整个参考帧运算量太大 图解释了块匹配的过程 当前块 图中是3 3个像素 如左边所示 这个块与参考帧中相同位置的块 如中心的黑线所示 和紧接着的临近位置 每个方向正负一个像素 作比较 当前块与参考帧中同样位置 0 0 块的均方差 MSE 计算如下 宏块搜索法 在整个MPEG图像压缩过程中 寻找最佳匹配宏块要占据相当多的计算时间 匹配得越好 重构的图像质量越高 最简单的搜索方法是全搜索法 它没有涉及到复杂的搜索策略 全搜索法在搜索区间 搜索每一个点 然后找到相对最小的匹配点 全搜索法的最大优点是可以保证全局的搜索精度 最大的缺点是计算量太大 实验统计 如采用全搜索法 运动估计将占到整个编码时间的50 80 这就直接制约了编码的实时应用 为减少搜索次数 现在已开发出许多简化算法用来寻找最佳宏块 全搜索法搜索顺序有 光栅顺序螺旋顺序 三步搜索法 搜索的区间为 7 7 即在参考帧中与编码块相同坐标位置处为原点 将当前块在其上下左右距离为7的范围内按照一定规律移动 移到某个位置 就做匹配计算 总共进行了三步搜索 在下一次搜索时 步长减半 以前一步搜索得到的最优点为中心点 具体过程如下 第一步 以当前块为中心 以搜索区间的一半为步长 步长为4 搜索图中标为1的九个位置 求出以此为中心的图像块与当前块的匹配程度 根据最小MAD值确定下一步搜索的搜索中心 第二步 以第一步中求得的最佳匹配点为中心 步长为2 搜索图中的八个标有2的位置为中心的图像块与当前块的匹配程度 根据最小MAD值确定下一步搜索的搜索中心 第三步 以第二步中求得的最佳匹配点为中心 步长为1 将图中的八个位置为中心的块与当前块进行匹配 根据最小的MAD值确定所要找的最佳匹配点 它与当前块的中心的偏移量即为估计的运动矢量 三步搜索法 二维对数搜索 1 搜索位置 0 0 2 搜索水平和垂直的四个位置 偏离中心s个像素 s是原始的步长 这五个位量组成十字形状 3 把最佳匹配点作为新的原点 先前检验道的五个位置 如果最佳位置在十字形中心 令s为原来的一半 否则s不变 4 如果s等于1 转到步骤5 5 搜索最佳匹配位置周围的八个位置 搜索中心和周围八个位置中的最佳匹配就是搜索结果 二维对数搜索 图像的压缩编码与解码 编码过程 由MPEG编码器与解码器完成视频图像输入时 其中场景相同的几幅画面组成图象组一图像组的第一帧输入到编码器时 对其进行处理彩色空间转换 RGB YUV分成图像条 高16bit将图像条分成16bit宽 构成16X16宏块将宏块分成4个8X8的块 进行DCT编码所有的块完成后 形成I 帧第二帧及以后帧对第二帧完成同样操作与第一帧比较 若差别很小 存储差值部分按此方法对其后各帧进行处理 直到找到某一帧与第一帧的差别超过规定值 如第4帧 图像的压缩编码与解码 将此帧与第一帧的差别存储起来 排在第一帧后输出 P 帧将第2 3帧与p 帧再次比较 传送差别 B 帧依次类推 不断选出P和B帧每个13或15帧后或者当场景变更时 设立新I 帧 两个I 帧间隔0 5秒解码过程 编码的逆过程读出I 帧 解码 彩色空间转换 得到I图像帧 存入帧存储器中I图像帧与后续的P 帧信息相加 恢复P图像帧 存入帧存储器中根据I P图像帧恢复B图像帧 存入帧存储器中将解压后的I P B图像帧存入缓冲器中 按照制式要求以IBBPBBP 正常顺序输出播放 MPEG 1标准的帧间编码技术 可见 运动图像的显示顺序与传输顺序不相同 MPEG 2压缩标准 MPEG 2标准从1990年开始研究 1994发布 MPEG 2是由ISO IEC的MPEG专家组与ITU T 国际电信联盟电信标准化部门 的ATV的图像编码专家组共同开发的 所以MPEG 2标准也是ITU T的建议 MPEG 2已广泛应用于DVD SDTV和HDTV中 MPEG 2分为许多个部分 其中主要有三个部分 第一部分系统 ISO IEC13818 1 是关于多路音频 视频和数据的复用和同步的规定 第二部分视频 ISO IEC13818 2 主要涉及各种比特率的数字视频压缩编解码的规定 第三部分音频 ISO IEC13818 3 扩充了MPEG 1的音频标准 使之成为多通道音频编码系统 可达到的环绕声5 1声道 MPEG 2的组成 在许多情况下 MPEG 2表示成MPEG 1的一个超集 MPEG 2可以说是MPEG 1的扩充 它们的基本编码算法都相同 但MPEG 2增加了许多MPEG 1所没有的功能 MPEG 2利用网络提供的3 100Mbps的数据传输率 支持具有更高分辨率图象的压缩和更高的图象质量 MPEG 2可支持交迭图象序列 每帧图像由两个场组成 支持可调节性编码 多种运动估计方式 提供一个较广的范围改变压缩比 可以适应不同画面质量 存储容量和带宽的要求 为此定义了不同的型 profile 框架 每个型又分为不同的等级 level MPEG 1与MPEG 2的区别 MPEG 2视频 MPEG 2的编码方法和MPEG 1主要区别 隔行扫描制式 DCT变换可在帧内 也可在场内 用户可自行选择 亦可自适应选择 MPEG 2采用可调型和非可调型两种编码结构 用户可按质量和压缩比要求选择使用 MPEG2主要用于数字广播 DVD 收费电视 VOD 交互电视等等 MPEG 2可以将一部120分钟长的电影压缩到4 8GB DVD质量 MPEG 2亮度宏块结构 MPEG 2的型和级 MPEG 2可以适应不同画面质量 存储容量和带宽的要求 为此定义了不同的型 profile 架 每个型又分为不同的等级 level MPEG 2还规定了不同的压缩处理方法 称为型 Profile 级表示MPEG 2编码器输入端的信源图像格式 1 级 Level 1 低级 LowLevel LL LL级对应的输入信源格式是CIF格式 约是ITU R601标准中的信源格式的1 4 即352 248 30或352 288 25 相应编码的最大输出码率为4Mbit s 2 主级 MainLevel ML ML对应于ITU R601建议的信源格式 即720 480 30或720 576 25 最大允许输出码率为15Mbit s 其高型的码率是20Mbit s 3 高H 1440级 High 1440Level H 1440属于高清晰度发展道路上的准高清晰度级 没有得到实际应用 4 高级 HighLevel HL HL对应高清晰度电视的信源格式 即1920 1080 30或1920 1152 25 最大输出码率为80Mbit s 其高型的码率是100Mbit s 2 型 Profile 1 简单型 SimpleProfile SP 2 主型 MainProfile MP 3 信噪比可分级型SNR SNRScalable 4 空间可分级型 SpatialScalableProfile SSP 5 高型 HighProfile HP 6 4 2 2型 4 2 2Profile 7 多视点型 MulitiviewProfile MVP 1 帧重排 2 当输入的第一帧作为I帧图像进入图所示的编码器中时 开关K1 K2和K4在上方 K3在左方 3 当P4作为P帧进入编码器时 开关K1 K2和K4切换到下方 K3还在左方 4 当B2作为B帧进入编码器时 开关K1在下方 K2在上方 K3在右方 K4在中间 MPEG 2编码原理 MPEG 2压缩编码原理框图 MPEG 2解码是MPEG 2编码处理的逆过程 从编码比特流中重建图像帧 MPEG 2解码框图如图所示 MPEG 2解码 MPEG 4压缩标准 MPEG 4标准名称为 甚低速率视听编码 very lowbitrateaudio visualcoding 1998年11月公布第一版 1999年12月公布了第二版 目标是低速率下 64kbps 的视频 音频编码 更加注重多媒体系统的交互性和灵活性 MPEG 4的特点 MPEG 4标准的主要特征是采用了基于对象 Object Based 编码等的第二代编码技术 MPEG 4可以对不同来源的视 音频对象进行合成 基于对象的分级功能是MPEG 4提供的又一个新功能 同时兼容于MEPG 2标准中的图像分级功能 MPEG 4的编码具有鲁棒性和纠错功能 从而保证在易出错的通信环境下实现安全的低码率编码和传输 MPEG 4引入了视听对象 Audio VisualObjects AVO 使得更多的交互操作成为可能 AVO可以是孤立的人 也可是这个人的语音或一段背景音乐等 AVO具有高效编码 高效存储 高效传播以及可互操作的特性 MPEG 4对AVO的操作主要有 采用AVO来表示听觉 视觉或者视听组合内容 组合已有AVO来生成复合的AVO 并生成视听场景 对AVO的数据灵活地多路合成与同步 以便选择合适的网络来传输这些AVO数据 允许接收端用户在视听场景中对AVO进行交互操作等 MPEG 4视频编码技术 MPEG 4Video编码算法支持 由MPEG 1和MPEG 2提供的所有功能 包括对各种输入格式下的标准矩形图像 帧速率 位速率和隔行扫描图像源的支持MPEG 4Video算法的核心是 支持基于内容 content based 的编码和解码功能 也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码 MPEG 4视频由以下内容组成 如图所示 视频序列视频对象视频对象层视频对象平面视频包宏块块 图4 29MPEG 4视频的层次结构 场景中具体的人或物体可以是矩形也可以是任意形状视频对象层 VideoObjectLayerVOL VOL指VO码流中包括的纹理形状和运动信息层VOL是VO在时间或空间上的分级描述 用于实现分级 Scalable 编码一个VO可以由一个或多个视频对象层组成 每层代表VO的一级分辨率 视频对象平面 VideoObjectPlaneVOP VOP是VO在某一时刻的取样即某一帧中的VOVOP可以独立地进行编码 I VOP 也可以运用运动补偿编码 P VOP和B VOP VOP可以是任意形状 MPEG 4的视频由多个VS组成而VS是一个或多个VO的集合 VO包含一个或多个不同分辨率的VOL VOL包括一系列VO在时间上的采样VOP 所以VS序列是整个场景在某段时间上的图像系列VO序列是从VS中提取的不同空间目标VOL序列是VO的不同分辨层 基本层和多个增强层VOP序列是VO在不同分辨层的时间采样MPEG 4的视频编解码就是基于VOP进行的基于VOP的视频编码 视频对象平面的概念 为了实现预想的基于内容交互等功能 MPEG 4Video引进了一个叫做 视频对象平面 VideoObjectPlane VOP 的概念 如下页图所示图中的上图表示支持MPEG 1和MPEG 2的普通的MPEG 4编码器图中的下图表示MPEG 4的甚低位速率视频 VeryLowBitrateVideo VLBV 的核心编码器MPEG 4Video不像MPEG 1 2Video那样把视频都认为是一个矩形区 而是假设每帧图像被分割成许多任意形状的图像区 每个区都有可能覆盖描述场景中感兴趣的物理对象或者内容 这种区被定义为视频对象平面VOP 普通MPEG 4编码器和MPEG 4VLBV核心编码器 为了支持基于内容的功能 编码器可对图像序列中具有任意形状的VOP进行编码 尽管如此 编码器内的机制都是基于16 16像素宏块来设计的 这不仅是出于与现有标准在兼容问题上的考虑 而且是为了便于对编码器进行更好的扩展 VOP被限定在一个矩形窗口内 称之为VOP窗口 VOPWindow 窗口的长 宽均为16的整数倍 同时保证VOP窗口中非VOP的宏块数目最少 MPEG 4的视频编码包括 形状编码 运动估计和补偿 纹理编码 可分级编码 Sprite编码等 形状编码 运动补偿 纹理编码 可分级编码和Sprite编码 1 形状编码一个VOP的形状限制在一个水平和垂直方向像素数都为16的整数倍的边界框 BoundingBox 内 可以选择边界框的位置以使得包含的16 16块数目最小 VO的形状信息有两类 二值形状信息和灰度形状信息 二值形状信息用0 1来表示VOP的形状 0表示非VOP区域 1表示VOP区域 二值形状信息的编码采用基于运动补偿块的技术 灰度形状信息用0 255之间的数值来表示VOP的透明程度 灰度形状信息的编码采用基于块的运动补偿DCT方法 同纹理编码相似 二值形状信息用 0 和 1 来表示编码区域的形状 0 表示该像素在编码区域外 而 1 表示该像素在编码对象区域内 这种二值矩阵表示方法被称为位图 形状编码的流程如下 首先生成一个包含编码对象的矩形 称为边界框 将在边界框内属于编码对象的像素置为 1 反之不属于编码对象的像素置为 0 赋值后的边界框即为二进制 平面 然后将二进制 平面分割成16 16的宏块 称这样的宏块为二进制 块 简称BAB BAB有三种类型 透明宏块 位于轮廓以外的宏块称为透明宏块 所有该BAB中的值为0 不透明宏块 位于轮廓以内的宏块称为不透明宏块 所有该BAB中的值为1 轮廓宏块 包含对象轮廓的宏块称为轮廓宏块 BAB中的值为0或1 如图所示 对于透明宏块和不透明宏块只需要一个字节描述该宏块的类型 而对轮廓宏块还需要编码块中的值 2 纹理编码纹理编码的对象可以是帧内编码模式的I VOP 也可以是帧间编码模式中B VOP或P VOP运动补偿后的差值图像 3 分级编码与MPEG 2中基于帧的可分级编码相比 MPEG 4所采用的可分级技术是基于对象的可分级编码 4 Sprite编码Sprite是指一个相对静止的长背景 下图所示的是Sprite编码的例子 左上方是Sprite图像 右上方是前景视频对象 下方的当前帧的背景是从Sprite图像中取出的 MPEG4视频编码方案 MPEG 4Video对每个视频对象VO的形状 移动和纹理信息进行编码形成单独的VOL层 以便能够单独对视频对象VO进行解码如果输入图像序列只包含标准的矩形图像 就不需要形状编码 在这种情况下 MPEG 4Video使用的编码算法结构也就与MPEG 1 2使用的算法结构相同MPEG 4Video对每个视频对象平面VOP进行编码使用的压缩算法是在MPEG 1 2Video标准的基础上开发的 它也是以图像块为基础的混合DPCM和变换编码技术 MPEG 4编码算法也定义了 帧内视频对象平面 Intra FrameVOP I VOP 编码方式帧间视频对象平面预测 Inter frameVOPprediction P VOP 编码方式双向预测视频对象平面 B directionallypredictedVOP B VOP 编码方式在对视频对象平面VOP的形状编码之后 颜色图像序列分割成宏块进行编码 如下图所示 图中的Y1 Y2 Y3和Y4表示亮度宏块 U V分别表示红色差和蓝色差宏块 视频序列中的I VOP和P VOP编码方式和宏块结构 MPEG 4基于对象概念的视频编解码器原理框图如图2所示 编码端 首先 对自然视频流进行VOP分割 由编码控制器为不同VO的形状 运动 纹理信息分配码率 并由VO编码器对各个VO分别进行独立编码 然后将编码的基本码流复用成一个输出码流 编码控制和复用 MUX Multipex多路复用 部分可以加入用户的交互控制或智能算法控制 MPEG 4视频编解码器 a 编码器结构 b 解码器结构 接收端经解复用 DEMUX Demultipex多路信号分离 将各个VO分别解码 然后将解码后的VO合成场景输出 解复用和VO合成时同样可以加入用户交互控制 视频对象 VO 编码器包括三个部分 形状编码运动补偿纹理编码在电视安全监控中对图像进行数字录像时 常采用MPEG 4标准进行压缩 因为电视监控图像背景是固定不变的 人物较少 活动缓慢 基于对象编码能得到较高的数据压缩率 MPEG 4Video的编码算法 下图描绘了MPEG 4Video的编码算法 用来对矩形和任意形状的输入图像序列进行编码这个基本编码算法结构图包含了 移动矢量 motionvector 的编码以离散余弦变换为基础的纹理编码MPEG 4采用基于内容编码方法的一个重要优点是 使用合适的和专