（无线电物理专业论文）基于h264视频编码器块匹配运动估计算法的研究.pdf

摘要 摘要 基于h 2 6 4 视频编码器块匹配运动估计算法的研究 专业 无线电物理 硕士生 何书前 指导老师 丘海明副教授 h 2 6 4 视频编码国际标准是由i t u t 和i s o i e cm p e g 共同制定的 与以往 标准相比 在相同编码质量时h 2 6 4 可以节约大约5 0 的码率 但是其编码效 率的提高是以增加编码算法复杂度为代价的 其复杂度大约是t 1 2 6 3 的4 5 倍 为了提高编码效率 h 2 6 4 编码标准采用了许多新的技术 全搜索 f s f u l l s e a r c h 算法是块匹配算法最直接的实现方法 全搜索算法通过对搜索窗口内 的所有点进行搜索 可以达到最佳匹配 但是全搜索算法的计算量巨大 于是 采用快速块匹配算法减少运算量 本论文针对各种经典快速运动估计算法的不 足 结合现实世界运动物体的规律和h 2 6 4 标准的实际情况 提出了一种高效 率的快速块匹配运动估计算法 综合采用了自适应中止阈值 初始搜索中心预测 和分布式初始搜索中心菱形搜索算法等技术 在论文中 我们采用的是 v t 的 h 2 6 4 编码参考模型t m l 9 0 进行实验研究 实验结果表明 在搜索速度方面本 文方法比全搜索提高了大概5 0 倍 而峰值信噪比p s n r 方面比菱形搜索算法平 均提高将近0 2 d b 另外比菱形算法平均节省了2 0 的带宽和以非常低的运算代 价达到全搜索的p s n r 质量和比特率 非常适合于实时应用 关键词 初始搜索中心预测 视频编码 快速运动估计 自适应中止阈值 r e s e a r c ho nb l o c k m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h mb a s e d o nh 2 6 4v i d e oe n e o d e r l o j a r r a d i o p h y s i c s c a n d i d a t e h es h u q i a n s u p e r v i s o t v i c e p r o f e s s o ro i uh a i m i n g a b s t r a c t h 2 6 4v i d e oc o d i n gs t a n d a r dw a sd e v e l o p e dj o i n t l yb yt w oc o n v a i r t e e s w h i c hw a si t u ta n di s o i e cm p e g c o m p a r et ot h ee x i s t i n gs t a n d a r d s h 2 6 4 p e r m i t sar e d u c t i o ni nb i tr a t eb yu pt o5 0 f o ras i m i l a rd e g r e eo fe n c o d e r o p t i m i z a t i o n a tm o s tb i tr a t e s h o w e v e r t h eh i g h l yc o m p u t a t i o n a c o m p l e x i t y1 e a d st h ec o d i n gc o m p l e x i t ya sf o u r f i v et i m e sa sh 2 6 3 s i t i n v o k e ss e v e r a lc o d i n gf e a t u r e st og a i nt h ec o d i n gp e r f o r m a n c e t h em o s t s t r a i g h t f o r w a r db m ai st h ef u l ls e a r c h f s a l g o r i t h m w h i c he x h a u s t i v e l y s e a r c h e sf o rt h eb e s tm a t c h i n gb l o c kw i t h i nt h es e a r c hw i n d o w h o w e v e r f sy i e l dv e r yh i g hc o m p u t a t i o n a lc o m p l e x i t y t h e r e f o r e u s i n gaf a s tb m a t or e d u c et h ec o m p u t a t i o n a lc o s t t h i sp a p e rr e s e a r c haf a s tb l o c k m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h mb a s e do nt h em o t i o nr u l eo ft h er e a l w o r l da n dh 2 6 4c o d i n gs t a n d a r df o rt h es h o r t a g eo fc l a s s i c a lf a s tb l o c k m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h m c o m b i n i n gas e r i e so fs k i l ls u c h a sa d a p t i v et h r e s h o l d i n i t i a ls e a r c hc e n t e rp r e d i c t i o na n dd i s t r i b u t e d i n i t i a ls e a r c hc e n t e rd i a m o n ds e a r c ha l g o r i t h m i nt h i s p a p e r t h e p r o p o s e ds c h e m ew a si m p l e m e n t e di nt h eh 2 6 4r e f e r e n c es o f t w a r et m l 9 0 g e n e r a t eb yj v t e x p e r i m e n t a lr e s u l t ss h o wt h a t t h ea l g o r i t h mp r o v i d e s p s n r0 2 d bg a i nc o m p a r e dt od sa n di sc l o s e rt ot h a to ff sw i t hs p e e d u p r a t i o so ff i f t yt i m e s f u r t h e r m o r e t h ea l g o r i t h mp e r m i t sar e d u c t i o ni n b i tr a t eb yu pt o2 0 c o m p a r e dw i t hd sa n do b t a i n sa l m o s tt h es a m ep s n r a sf sa tv e r yl o wc o m p u t a t i o nc o s t s ot h i ss c h e m ec a ne f f i c i e n t l yr e d u c e t h ec o m p u t a t i o nc o s tw i t hp s n rq u a l i t ya n db i tr a t ec l o s et ot h ef u l l r e s e a r c hs c h e m e i t sh i g h l ys u i t a b l ef o rr e a l t i m ea p p l i c a t t o n s k e yw o r d s t h ei n i t i a lc e n t e rp r e d i c t i o n v i d e oc o d i n g f a s tm o t i o n e s t i m a t i o n a d a p t i v et h r e s h o l d 髂 章绪论 1 1 现状 第1 章 绪论 随祷v l s i 计算机和通信技术街迅猛发展 数字化技术热米越深刻的影响 着人们的日常生活 人们对信息的濡求已不局限于传统的电报电话业务 越举 连文箨转稔 电子辩 誊莓鼗据盈努邀矗不毵满跫人翻多撵魏懿露求 a 嚣j 瓿在 期望昀是更高品质的策视频 图像 声音 文字为 体的多媒体应用服务 然 而 数字化在满足人们需求的同时 对数据传输带宽 数据存储容量等提出了 更裔熟癸求 对于多摸髂禧塞将裁蔗黠蚕豫数摄帮键攘鼗攥 这静壤猛更为严 重 因此 研究和开擞新型有效的黼像压缩编码方式 以压缩邈的形式存储和 传输这烘数据是最好的解决途径 扶二十煎纪 年代舞筵 图像缡羁技术跫经恚过了半个多避纪魏发震掰 程 从5 0 6 0 年代撩本方法的探讨 到7 0 年代晕期可视电话瓣研究 使褥这 一领域有了长足的发怒 许多基本的思想和方法都相继提出 剡8 0 年代前威 矮痖蘩感纯獒丈趋势 镬建各释煦弼翡舞发研究大力发聂起寒 进入辨年代娃 后 犀黼上先后案l 寇了一系薅霉橡糕缩编码标准 魏雳于静止灞像酶压缩躺褥 标准j p e g 和j p e g 2 0 0 0 用于视频岱议和可视电话的h 2 6 1 h 2 6 3 h 2 6 4 用 于程频存德鞍簧簸熬m p e 6 t m p e g 2 i p e g 4 挺黢等 这些撬频莲缩编码橱瞧 静摹g 寇 同对也极大姻促迸了援颧蕊缩编码接术帮多媒体遥僚技术瓣蓑矮 在众多的视频压缩编码标准中 h 2 6 4 是在i 熊他标准的基础上发展起来的 具奏压缭绩秘效率藏 冀法综合复容凌甄 应鼹灵滔等特点 楚器藏最薪最嫩 避戆襁颤压缩编褥舔准 与鞋藏瓣标准裙滗 珏 2 6 4 增藤了诲爹薪兹赣连 如 帧内预测编码 整数竣换 可变形式的运动补偿 运动矢量精度达到1 4 像素 多参考帧赕粒预测 娄块滤波嚣 擞离效率豹熵编鹚等 殴孵决以翦标准中存 在熬阕题 可应嚣予蒜秘矮域瓣网络黄赣露存豫 运动估计和运动补偿是数字视频处理技术的 个非常重鬣的组成部分 它 对增强阉像厦量和进一步挺高视频藤缩t e 有着至关重要的作用 在对h 2 6 4 嚣 编露模块计算量煞统诗缝票孛 多模式妁袋溪蕊运动售诗占攥了整个缡碣丈魏 第一章绪论 8 0 嚣诤黧豢 霉管臻2 6 4 瓣参考挟黧孛赘采瘸了鞭镶l 羧索超点策略 毽冀援 索效率并不理想 因此该问题也成为了目前人们研究的热点 多年来 许多学者对块匹配运动储计搜索算法进行过了大量的研究 这熙 算法哥戳熬缩为三粪 静遵过藏多援索点豹浃速舅浚 磐 二缭瓣数法 三步 法 十字法和钻石法等 2 快速块匹配误差计算方法 如子集匹黼法和基于投 影的方法 3 运动场下采样法 与后两种方法相比 第一类方法镦为高效 是 最霞燹懿抉遴援索舅法 毽跫这整葵法帮是逶爱浆 并没毒考虑务标准夔具体 特点 1 2 论文麴主要研究内容 本论文主要包括以下内容 第l 章为绪论 主要阐述了论文选题与研究意义 以及i 亥研究领域 的现状与存在的触题 第2 章奔绥疆频编羁援术及箕羲 准 主黉砖程凝编码熬尼令莺际标 准进行叙述 如m p e g 系列 h 2 6 x 系列以及它们的应用范围和性能 并蠛点介绍了h 2 6 4 视频压缩编码标准以及该标准与其饿标准的不同 瀚关键技零 第3 章介绍了运动估计和邋动补偿的概念和原理 详细叙述了各种 块聪配运动估计技术和块匹配涎动估讣的熏嚣指标 如各种快速块匹配 运凌德诗援索舅法瓣淫藐 翅簸缓素点羲测巍叠逶痤挺蘸中壹阂莛投零 和评价各种运动估计算法的各顾参数指标 第4 章对菱形搜索算法进行详细的优劣性分析 基于h 2 6 4 视频压 缨缡玛蠡准 结会臻始搜索点琰溯彝叁适瘦撼赫中立阙镳 挺窭一静裁 的块匹配运动估计搜索算法 包括对初始搜索点预测方法和自适应提前 中止闽值策略的改进 采用分布式搜索中心菱形搜索策略避免菱形搜索 算法懿曩 是 第5 章为实验研究与结果 寸论 在j v t 的 2 6 4 标准软件模型t m l 9 0 第一章绪论 上实现了第4 章提出的算法 同时实现了经典的菱形搜索算法 对本文 算法 菱形搜索算法和全搜索算法得出的结果进行讨论 论文最后是结束语 有关的参考文献和致谢 中山大学硕士学位论文 第2 章 视频压缩编码技术及h 2 6 4 标准 当进入信息时代 人们用电子计算机对各种数字信号进行处理 而数字视 频技术也随着产生 因为视频数据主要应用于视频数据的存储和在通信网络上 的传输 所以数字视频数据的数据量的大小成为了数据视频技术中非常重要的 因素 由于视频数据的海量性 使数字视频通信应用占用了大量的网络带宽和 存储资源 虽然现有的计算机和通信网络基本上能进行处理 但是 随着人们 对多媒体信息的需求日益增大 给视频信息的存储和网络传输带来了很大的困 难 从目前的计算机技术和网络技术的发展趋势来看 视频压缩始终是解决视 频数据的存储和通信网络传输的最有效的方法 2 1 视频压缩的必要性和可能性 连续的数字化视频信号的数据量是相当惊人的 按照c c i r 6 0 1 标准 以4 2 2 编码标准为例 其比特流为 1 3 5 8 6 7 5 8 2 m b i t s 2 1 6 n b i t s 这种速率在一般的计算机上是很难处理的 每分钟这样的数字视频数据所占用 的存储空间为 2 1 6 m b i t s 6 0 s 8 1 6 2 0 m b 对于这样的数据必须使用3 张6 5 0 m b 的光盘才能容纳得下 因此 要对这么大的数字视频数据进行实时处理 实时 传输和存储 必须对数字视频数据进行压缩处理 数字视频数据具有很多的特性适合于数据压缩 它们存在着很多数据冗余 具体的依据如下 空间冗余 单幅图像记录了多个对象的颜色集合 而各个视频对象存在的 一定的空间相关性 同时 同一个对象内各个采样点的象素之间无论是行 方向还是在列方向上都具有很大的空间涟贯性 即相关性 从而产生了空 间冗余 而且整个图像的数据冗余度很大 可以通过利用这种空间相关性 根据该幅图像各像素的值预测它临近像素的值 减少了单个像素所携带的 信息量 从而减少了图像中的空问冗余 达到了压缩的目的 第 章视频压缩编码技术及h 2 6 4 标准 霹鞫冗余 一个援频序列中 垮捌銎豫一般楚在一个对阉毒薹l 送闻蠹瓣一缀 连续图像 各个图像中的大部分视频对象变化缓慢 尤其怒背景部分几乎 不变 所以相邻帧之间的数据疑有很多相同的地方 即相邻图像帧之问舆 舂缀强兹捃关往 视徽冗余 利用人类的视觉特健 在图像交化不被觉察的游捷下减去视激 过稷中不太重要的信息 如 人的视觉系统对图像的亮度茅廿色度的敏感艘 稳慧缀大 它对巍浚豹敏感瘦遮远衰于对色发躲敏感度 网时 随着亮度 的增加 视觉系统对量让误差瓣敏感度降低 所酷 在亮度离的区闻 荻 度值的量化可以熙粗糙些 另外 图像中包含了适合人类视觉内在特性的 频率递道和不符合翡频率通道 剃用这一点 把人类视瘸貘上的图像可分 解成若干各空间方向的频道通道 对符合视激特性的频率邋道可使爱较大 的愿缩比 编码冗余 对图像编码时需要建立编码表来表达图像数据 编码表是用寒 表示一定量酶僚感或是一缀事佟瑟需静系列符号 其中对每个倍感或事传 所赋的码符号序列称为码字 每个码字里的符号个数称为码字的长度 如 果编码所用的编码表不能使每个像素所需的平均比特数达到最小 即熵德 载谈璜存在了编褥冗余 2 2 视频压缩编码标准 近年来 一系列网际视频压缩编码标准的制定极大的促进了视频压缩编码 鼓术秘多爨箨逶蕊技术黥发震 褪簇基壤编码搽壤豹毒l 定主要薅鑫垂琢蠡准织 组织 i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n 简称i s 0 和国际电 信联盟 i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n 简称i t u 究成的 由i t u 组织裁定鹣耩准主要针对实辩援频懑禳懿应廷 翅褪须会议露爵视电话等 稳 们以t 1 2 6 x 命名 衡lh 2 6 1 t 1 2 6 2 1 1 2 6 3 h 2 6 l 等 丽由i s 0 和t e e i n t e r n a t i o n a le 1e c t r o t e c h n i c a lc o n m f i s sj o n 围际电工委员会 的共同绥 受会中的瓣e g 组织 m o v i n gp i c t u r ee x p e r tg r o u p 期定的掭准主要针对载 频数据的存储 如d v d v c d 广播电视和视频流的网络传输的应用 他们以 第二章视频压缩编码技术及h 2 6 4 标准 m p e g x 命名 如m p e g 1 m p e g 2 m p e g 4 m p e g 7 等 各种视频压缩标准都是根据人们在不同领域中对声像数据的要求制定的 并随着人们的需求不断发展 在大多数应用领域当中 这两个标准组织都是独 立提出各自不同的标准 只有h 2 6 2 m p e g 一2 标准是两个组织联合制定的 视频 压缩编码标准按其制定的时间顺序大概如下图2 1 所示 li t u 耳 i l 椭嘲 h 2 6 1 l i 鬟箩 h 2 昭 h 2 十 啤 隧一9 1l 崩 i 胂e g 阂 幽 k 一 l8 目m m 1 口9 41 9 8 61 9 8 81 9 9 01 明21 9 9 4t 明61 9 9 82 0 0 0 2 0 0 2 2 0 0 4 图2 1 i j t 和m p e g 视频压缩编码标准的发展历程 目前的视频压缩编码标准的基本方法都是采用了基于d c t 变换的混合编码 方法 不同的标准针对不同的应用 采用了不同的编码策略来改进编码效率和 获得更好的图像质量 以h 2 6 1 为最早制定的视频压缩编码标准为基础 奠定 了以后各种视频压缩编码标准发展的基础 其通用的视频编解码器框架图 如 图2 2 被其他标准所沿用 帧间预测误差 量化问隔值 a 视频编码器框架图 6 出 第二章视频压缩编码技术及h 2 6 4 标准 b 视频解码器框架图 图2 2 视频编解码器框架图 a 为编码器 b 为解码器 如图2 2 所示 原始视频数据输入编码器 当采用帧内模式时 直接进入 d c t 离散余弦变换 接着经d c t 系数量化后通过v i c 可变长编码形成码流 进 入缓冲器 根据缓冲的状态来改变量化器的步长来调节视频信息的比特流 与 信道传输速度匹配 另外 另一路码流又经反量化器 离散余弦反变换后形成 恢复图像 存入帧存储器 当采用帧问模式时 原始视频数据先与运动估计后 的预测图像相减 产生残差图像 接着进行离散余弦变换和量化加上运动估计 信息共同形成压缩码流 与帧内方式相对应 一路码流经反量化 离散余弦反 变换后与预测图像相加形成恢复图像 存入存储器 准备下一步的运动估计 解码器则是编码过程的逆过程 对帧内模式 编码数据经反量化 离散余 弦反变换直接输出 对于帧间模式 需根据帧存储器中的参考帧恢复图像和当 前帧的运动矢量数据进行运动补偿 得到当前帧的预测图像 与当前帧的重建 残差图像相加后输出 2 2 1h 2 6 x 系列标准 h 2 6 x 标准主要应用于可视电话和视频会议系统 所以 它侧重于视频数 据的压缩效率以适合调整系统在特定的位速率下传输 1 9 9 0 年i t u t 为可视电 话和视频会议制定的h 2 6 1 标准 综合数字压缩技术和网络技术 实现了数字 第二章视频压缩编码技术及h 2 6 4 标准 图像的实时传输 它可以在码率位p 6 4 k b i t s p 取1 3 0 的i s d n 上实时 传输音视频信号 而1 9 9 6 年i t u t 为甚低码率视频编码制定了h 2 6 3 标准 它 不仅着眼于p s t n p u b l i cs w i t c h e dt e l e p h o n en e t w o r k 公共开关电话网络 传输 而且考虑g s t n g e n e r a s w i t c ht e l e c o m m u n i c a t i o nn e t w o r k 移动通 信等无线业务 1 1 2 6 3 是在h 2 6 1 的基础上 将运动矢量的搜索增加为半像素 精度搜索 同时又增加了无限制运动矢量 基于语法的算术编码 高级预测技 术和p b 帧编码等四个高级选项 从而进一步降低了码速率 提高了图像质量 提高了压缩比 1 h 2 6 1 标准 1 2 i t 卜th 2 6 1 标准于1 9 9 2 年完成 是视频压缩编码的第一个国际标准 许 多的视频压缩编码标准m p e g h 2 6 3 等都是在它的基础上发展起来的 h 2 6 1 标准中的核心技术是混合编码算法 即采用运动补偿的帧间预测 d c t 离散余 弦变换 q u a n 标量量化 和v l c 可变长编码 的混合编码算法 h 2 6 1 支持两种图像格式 c i f 3 5 2 2 8 8 和q c i f 1 7 6 1 4 4 它的推 出是为了速率为p 6 4 k b i t s 的信道上传输可视电话和视频会议 压缩比可达 到4 8 1 覆盖了6 4 1 9 2 0 k b i t s 它所采用的原理框架图就是以上提到的典 型框架图 奠定了后来各种视频压缩编码的基础 2 h 2 6 3 标准 1 1 h 2 6 3 是基于运动补偿的d p c m 的混合编码 在运动搜索的基础上进行运动 补偿 然后运用d c t 变换和z i g z a g 扫描游程编码 从而得到输出码流和提高 了图像质量 h 2 6 3 是在h 2 6 1 建议的基础上 增加了以下一些功能 半个像素精度的运动估值 支持多种图像格式 不受限制的运动矢量 先进的预测模式 p b 帧模式 基于语法的算术编码 h 2 6 3 的编码速度快 其设计编码延时不超过1 5 0 m s 码率低 在5 1 2 k b i t s 乃至3 8 4 k b i t s 带宽下仍可得到相当满意的图像效果 十分适用于需要双向编 解码并传输大的场合和网络条件不是很好的场合 目前h 2 6 3 己被多个多媒体 第二章视频压缩编码技术及h 2 6 4 标准 终端标准所采纳 包括支持p s t n 与无线网的h 3 2 4 支持n i s d n 的h 3 2 0 支 持b i s d n 的h 3 1 0 等 3 h 2 6 3 标准 i t 2 6 3 是对h 2 6 3 的进一步完善和发展 h 2 6 3 在h 2 6 3 的基础上又提供 了1 2 个全新的编码选择项 这些选择项极大的提高了h 2 6 3 的灵活性和编码 效率 使得h 2 6 3 能适应更加广泛的应用要求 h 2 6 3 只支持有限的图像格式 s q c i f q c i f c i f 4 c i f 和1 6 c i f h 2 6 3 在支持这些格式的基础上允许用户自行定义源图像的格式 并且用户可将图像 大小 宽高比 时钟频率等信息包含在h 2 6 3 的码流中供解码器使用 这一改 进使h 2 6 3 具有极大的灵活性 可用于多方面的应用 o h 2 6 3 支持可分级性 t t 2 6 3 所支持的可分级性有时间 信噪比和空间 可分级性等几种 加入可分级性有利于码流在容易发生错误的信道上的传 输 同时在接收方也具有更大的灵活性 图像分段间的相互依赖受到了限制 有助于减少差错扩散 h 2 6 3 现在共有7 种图像类型 分别是 i p p b i m p r o v e dp b b e i 和e p h 2 6 3 有1 2 个新的选择项 并对h 2 6 3 的无限制运动矢量进行了 改进 2 2 2m p e g 系列标准 仲阱一1 和m p e g 一2 是m p e g 组织制定的第一代视频压缩编码标准 为v c i d v d 以及数字电视和高清晰电视等产业的飞速发展打下了牢固的基础 仲e g 一4 是基于第二代视频编码技术制定的压缩标准 以视听媒体对象为基本单元 实 现数字视频和图像合成应用 交互式多媒体的集成 目前已经在流式媒体服务 等领域开始得到应用 m p e g 一7 是多媒体内容描述标准 支持对多媒体资源的组 织管理 搜索 过滤 检索 已经基本完成 正在制定的m p e g 一2 1 的重点是建 立统一的多媒体框架 为多媒体内容发布到消费所涉及的所有标准提供基础体 系 支持连接全球网络的各种设备透明的访问各种多媒体资源 1 m p e g 一1 标准 1 3 m p e 6 1 标准是i s o i e c 的m p e g 工作组的第一阶段工作成果 m p e g l 的任 务是将视频信号及其伴音以可接受的重建质量复合到约1 5 m b s 的码率 同时 第二章视频压缩编码技术及h 2 6 4 标准 保证视频和音频的同步 m p e g i 的视频压缩算法和h 2 6 1 的视频编码算法原理 有许多相同之处 但为了达到更高的压缩比和满足随机存取的要求 m p e g l 采 用了更为复杂的编码技术 和h 2 6 1 相比 主要有以下新的特点 存在三种类型的编码图像i p b 其中在b 图像编码中对图像进行运 动补偿的双向帧问预测不仅可以提高压缩比 而且由于b 帧本身不用作预 测的基准 所以误差不会传播 双向预测技术的引入是肝e g 一1 视频编码标 准最具特色之处 允许编码端自行选择i 帧的使用频率和在视频流中的位置 在那些需要 保证图像的随机存取性或要求对从视频图像序列中截取的景物进行定位的 应用场合 这种开放性是很必需的 允许编码端自由选择任何两帧参考帧 i 帧或p 帧 之问的b 帧数 编码端的视频流次序与图像的显示次序不同 o i d p e g 一1 在系统层将压缩后的视频 音频数据以及其他辅助数据分类而组 成分组以便灵活的适应不同的传输和存储方式 此外在每个分组的开始设 置时间戳 以便解码器保持音 视频同步 算法支持的特性有 随机操作 快速搜索 反向播放 鲁棒性 可编辑 性 其中鲁棒性指仲e g 一1 中子图的结构使得解码器可以从数据错误中恢复 过来 并对解码重新同步 另外解码器可使用隐含的策略来掩盖这些差错 2 m p e g 一2 标准 肝e g 一2 标准是m p e g 小组工作的第二阶段成果 开始于1 9 9 0 年7 月 同时 i t u t 也开始了采用异步转移模式a t i d 的视频编码建议 h 2 6 2 的制定工作 并决定与m p e g 一2 联合开展工作 1 9 9 3 年的下半年美国的 高级电视大联盟 和欧洲的数字视频广播d v b 计划已先后决定将m p e g 一2 建议用于自己的h d t v 广 播 l i p e g 一2 标准相对于m p e g l 在视频编码方面作了以下一些重要改进和扩充 针对隔行扫描的常规电视图像 专门设置了按帧编码和按场编码两种模 式 并相应的对运动补偿作了扩展 这样常规电视图像的压缩编码和单纯 按帧编码相比 其编码效率显著提高 m p e g 一2 与m p e g 1 h 2 6 1 等标准兼容 增加了可分级性 s c a l a b i l i t y 的内容 m p e g 一2 中定义的可分级性有 第二章视频压缩编码技术及h 2 标准 信噪比可分级性 数据分割 时间轴可分级性 空间可分级性等几种 系统层语法有较大扩展 共有两类数据流 传送流 t r a n s p o r ts t r e a m 和节目流 p r o g r a ms t r e a m 两者使用环境不同 m p e g 一2 的语法由于作 了许多详细规定 使用更为灵活和方便 m p e g 一2 主要用于数字视频存储 视频广播和通信 如 d v b h d t v c a t v d v d 以及v o d m o d 等 支持恒速速率和变速率传输 随机存储以及许多特殊功 能 如 画面快放 快速倒放 慢动 定格等 3 m p e g 4 标准 1 5 m p e g 一4 是m p e g 组织制定的一种i s o i e c 标准 是m p e g 组织制定的第三个 国际标准 m p e g 组织于1 9 9 9 年1 月正式公布了m p e g 一4 v e r s i o n l 0 版本 1 9 9 9 年1 2 月又公布了m p e g 4 v e r s i o n 2 0 版本 m p e g 组织的初衷是制定一个针对视 频会议 视频电话的超低比特率 6 4 k b i t s 以下 编码的需求 并打算采用第 二代压缩编码算法 以支持甚低码率 v e r yl o wb i tr a t e 的应用 但是在制 定过程中 胛e g 组织深深感到人们对多媒体信息特别是对视频信息的需求从播 放型转向了基于内容的访问 检索和操作 所以修改了计划 制定了现在的 m p e g 4 m p e g 4 新的目标被定义为 支持多种多媒体应用 特别是多媒体信息基于 内容的检索和访问 可根据应用的不同要求 现场配置解码器 编码系统也是 开放的 可以随时加入新的有效的算法模块 与前面提到的m p e g l m p e g 一2 标 准不同 m p e g 4 为多媒体数据压缩提供了一个更为广阔的平台 它更多定义的 是一种格式 一种架构 而不是具体的算法 它可以将各种各样的多媒体技术 充分利用进来 包括压缩本身的一些工具 算法 也包括图像合成 语音合成 等技术 m p e g 一4 标准的一个显著特点是 m p e g 一4 标准既可用于4 b l b i t s 的高码率的 视频压缩编码 又可用于5 6 4 k b it s 的低码率的视频压缩编码 既可用于传 统的矩形帧图像 又可用于任意形状的视频对象压缩编码 另外 m p e g 一4 采用 基于对象的编码 突破了过去m p e g l 和船e g 一2 以矩形或方形块处理图像的方 法 即把一段视频序列看成由不同的视频对象v o v i d e oo b j e c t 组成的 v o 可以是任意形状的视频内容 也可以是传统的矩形视频帧 每个v 0 在某个特定 时刻的实例成为视频对象面v o p 编码 也就是说 m p e g 一4 用v o p 代替了传统的 第二章视频压缩编码技术及1 t j 6 4 标准 矩形帧作为编码对象 用形状一运动一纹理信息代替h 2 6 3 等传统视频编码采 用的运动一纹理信息来表示视频 与h 2 6 3 相对应 m p e g 4 支持3 中图像帧模 式 i v o p 帧内 p v o p 帧间预测 和b v o p 帧间双向预测 m p e g 一4 编码仍按宏块进行 采用形状编码 预测编码 基于d c t 的纹理编 码的混合编码方法 形状编码有二进制和灰度级形状编码两种 其形状信息用 a 平面表示 进制n 平面用来确定图像中的某一点是否属于当前对象 灰度 级a 平面可用来描述对象的透明度 以进行和其他对象的混合 对二进制形状 编码采用基于块的运动补偿和基于内容的算术编码 c a e 技术 灰度级形状编 码包括两部分 二进制形状编码和对灰度值进行1 6 1 6 宏块的纹理编码 预测 编码与h 2 6 3 类似 通过运动估计和运动补偿来实现 但为了适应任意形状的 v o p m p e g 一4 引入了图像填充技术和多边形匹配技术 图像填充技术主要利用 v o p 内的像素值来外推v o p 外的像素值 以此获得运动预测的参考值 多边形 匹配技术则是将v o p 的边缘宏块的活动部分包含在多边形之内 以此增强运动 估计的有效性 m p e g 一4 标准在多媒体环境下提供一个基于不同对象的视频描述方法 包括 自然或人工合成视觉目标 v i s u a lo b j e c t 的压缩 时空可伸缩 差错恢复的 算法等一整套技术以满足多媒体 网络服务商和最终用户的要求 从而实现在 有线和无线通信网 i n t e r n e t 上传输实时视频数据的功能 m p e g 一4 标准的基于 对象的图像处理方法将成为视频压缩领域的主要发展方向 4 m p e g 7 标准 当今各种多媒体信息正在世界范围内快速增长 越来越多的信息是以数字 形式 在线形式以及诸如静止图像 图形 3 d 模型 声频 语音 视频等形式 出现 尽管音视信息在我们的生活中起着非常重要的作用 但这类日益庞大的 信息也引起了一个普遍问题 如何能快速和方便地找到我们想要地音视频信 息 这种富有挑战性的形势使我们需要一种能迅速和有效地搜寻到各类用户感 兴趣的多媒体材料的解决方法 m p e g 一7 作为m p e g 家庭中的一个新成员 正式 命名为 多媒体内容描述接口 它将成为各种类型的多媒体信息规定的一种标 准化的描述 m p e g 一7 的目标是指定一组描述不同多媒体信息的标准描述符 并且这些描 述要与信息内容相关以便能用来快速和有效的查询各种多媒体信息 第二章视频压缩编码技术及h 2 6 4 标准 m p e g 一7 标准由7 个部分组成 系统 描述定义语言 视频部分 音频部分 多媒体描述方案 参考软件 一致性测试 m p e g 一7 系统的要求可以分为两部分 一部分是传统的m p e g 系统的功能 另一个部分是m p e g 一7 所特有的功能 m p e g 一7 所具有的特殊要求包括y 2 e g 一7d l l d e s c r i p t i o nd e f i n i t i o nl a n g u a g e 描 述定义语音 和m p e g 7b i m b i n a r yf o r m a tf o rm e t a d a t a 一种二进制动态 描述方法 b i m 比d d l 所定义的文本描述语言x m l 占用更少的存储和传输资源 并且比文本格式更利于在不完全解析码流的条件下提供随机访问点 系统可通 过b i 和基于d d l 的文本描述语言x i l 进行双向检索 从而达到对m p e g 一7 码流 进行快速解析的目的 m p e g 一7 的这种标准化的描述可以加到任何类型的多媒体资料上 不管多媒 体资料的表达格式或压缩形式如何 只要加上了这种标准化描述的多媒体数据 就可以被索引或检索了 因此 它可以用在现有的m p e g 一2 和m p e g 一4 传输系统 中 m p e g 一7 的应用领域包括 数字图书馆 多媒体目录服务 广播媒体的选择 多媒体编辑 与以前的m p e g 标准一样 m p e g 7 只标准化它的码流语法 即只规定解码 器的标准 而不包括特征提取和检索引擎 这样做的目的是 可以使这些算法 的新进展及实物化 避免阻碍未来的m p e g 一7 的应用 可以使厂家在这些算法中 体现自己的特色 充分发挥自身优势 在特征及其提取 查询按i l 检索引擎 索引等方面做进一步研究 2 3h 2 6 4 压缩编码标准主要技术 9 h 2 6 4 作为面向可视电话 视频会议的新一代编码方式 它制定的目的是 提出一种新的编码方法 能够获得比其他标准更高的压缩比和更好的图象质量 它仍然采用了经典混合编码算法的架构 最初是由i t u 组织的视频编码专家组 v c e g v i d e oc o d i n ge x p e r t sg r o u p 于1 9 9 7 年提出的 直到2 0 0 1 年底 第二章视频压缩编码技术及h 2 6 4 标准 鉴于h 2 6 4 的实验模型的性能明显优越于现有的m p e g 4 的软件模型 i s o i e c 的m p e g 组织也加入了i t u t 的v c e g 组织 组成了联合视频小组 j v t j o i n t v i d e ot e a m 共同完成h 2 6 4 的制定工作 j v t 组织的目标是建立一个单独的 视频编码标准 即一个新的i t u t 标准 h 2 6 4 同时也作为m p e g 一4 家族的一 个部分 p a r t t o h 2 6 4 的标准草案已经于2 0 0 2 年5 月制定完成 h 2 6 4 编码标准延续了原有标准中的基本特性 同时引进了很多瓤的特性 节省5 0 以上的码率 同1 1 2 6 3 v 2 i l2 6 3 或m p e g 4 相比 在大多数的 码率下 获得相同的最佳效果的情况下 能够平均节省大于5 0 的码率 高质量的图像质量 h 2 6 4 能够在各种高低码率条件下提供高质量的视 频图像 错误恢复 h 2 6 4 提供了解决网络传输包丢失的问题的工具 适用于在 高误码率传输的无线网络中传输视频数据 网络的友善性 通过网络适配层 h 2 6 4 比特流能够在不同类网络之间 传输 以上特性使h 2 6 4 成为适合多种应用的最理想的视频编码标准 如 视频 会议和广播视频 2 3 1h 2 6 4 编码标准的基本原理 图2 3 h 2 6 4 编码器的框图 第二章视频压缩编码技术及h 2 6 4 标准 h 2 6 4 标准的目的是实现更高的编码效率和图像质量相对于以前提出的各 种视频编码标准 然而 它主要的编码方法仍然采用了之前的标准 如 h 2 6 3 和m p e g 4 的编码算法结构 主要有如下几个部分 将每个视频帧分割成各种子像素块 以子像素块作为编码单位进行处理 通过帧内预测 对原像素块进行变换 量化和熵编码 或变长编码 以 消除视频帧的空间的冗余 采用帧间预测编码 对帧间图像采用运动估计和运动补偿 只对图像序 列中变化部分编码 从而消除了帧问的时间冗余 通过编码原帧和相应预测帧之间的残差 然后变换 量化和熵编码来进 一步消除帧内的空间冗余 h 2 6 4 和其他编码标准的主要不同如图2 3 所示 在运动估计和运动补偿 中 h 2 6 4 采用了多种大小和形状的块 1 4 像素更高精度的运动估计 多参考 帧选择利复杂的多方向模式选择 在变换编码中 h 2 6 4 采用整型变换 与传 统编码标准中的d c t 变换不同 该方法解决了反变换误匹配问题 在h 2 6 4 中 采用u v l c 和c a v l c 结合或采用c a b a c 的熵编码算法 2 3 2h 2 6 4 视频压缩编码标准的关键技术 比特流的组织 一个给定的视频图像分割成多个小的宏块 例如 q c i f 1 7 6 1 4 4 格式图 像分成9 9 个1 6 1 6 的宏块 在采样过程中 y 样本的位置就是像素点所在的 位置 在水平方向和垂直方向上相邻的4 个像素点的中间位置采样一个c b 和 c r 样本 另外 若干个宏块又组成了宏块组 即s 1 i c e s 帧内预测编码 帧内编码是消除一个视频图像内存在的空间冗余 帧内编码不存在时间冗 余 编码得出的帧即i 帧图像 i 帧图像编码是直接采用对图像帧中的不同宏 块变换编码 结果 因为每帧图像都存在大量的图像信息编码 又没有时间相 关性信息被利用于编码处理 编码得出的t 帧数据量非常大 为了提高帧内编 码的效率 h 2 6 4 利用给定帧中相邻宏块之间的空间相关性 其原理主要是依 据图像中相邻宏块具有相似性的特点 因此通过己编码的宏块 典型的块是在 当前宏块左边和上边的相邻宏块 原因足这些宏块己被编码 来预测当前宏块 第二章视频压缩编码技术及h 2 6 4 标准 然后对当前宏块与预测值的差值进行变换编码 这样比直接进彳亍变换编码的方 法节省了大量的编码比特率 在帧内预测编码模式中 h 2 6 4 基于4 4 亮度子块提供了9 种模式 包括 d c 预测 m o d e2 和八方向模式 如图2 4 所示 相邻宏块的像素a 到m 将用 于预测和编码 例如 m o d e o 垂直预测 像素a 到p 的值计算如下 a e i 和m 等于a b f j 和1 1 等于b c g k 和0 等于c d h 1 和p 等于d 模式3 左下对角线预 a 到p 像素点预测计算如下 a a 2 b c 2 4 b e b 2 c d 2 4 c f i c 2 d e 2 4 d g j m d 2 e f 2 4 h k n e 2 f g 2 4 1 o f 2 g h 2 4 p g 3 h 2 4 对于视频图像区域比较平滑 包含较少的空间细节 h 2 6 4 采用1 6 x1 6 像 素块的帧内预测 这种预测方式又分为4 种预沏4 模式 d c v o r t i c a l h o r i z o n t a l p l a n a r 选择当中的模式对宏块亮度块进行帧内 预测编码 另外 h 2 6 4 对色度信号的帧内预测处理足采用8 x 8 像素块的4 种 预测模式 d c v e r t i c a l h o r i z o n t a l p l a n a r 基于相邻宏块预测编码模式的 选择 得出最优的预测编码模式以减少帧内编码数据量 提高编码效率 鹊 缓 mab c de fg h f i 1 降 i i 竺竺 里i 图2 4 对于4 x 4 亮度块的帧 内预测模式 1 6 第二章视频压缩编码技术及h 2 6 4 标准 帧间预测编码 帧间预测编码是利用连续图像序列之间的相关性 通过运动估计和运动於 偿来消除视频序列的时间冗余 选择已编码帧为参考帧来进行运动估计预测当 前编码帧 当前编码帧即p 帧 选择己编码帧和当前帧的后续帧为参考帧进行 运动估计来预测当前编码帧 则该帧为b 帧 h 2 6 4 具有原有标准的大多数运 动估计的主要特征 还增加了许多新的功能以提高编码效率 采用多参考帧进 行b p 帧预测编码 还增加了一种新的编码类型s p 帧 s p 帧的采用 可以提 供对码流的切换 拼接 随机访问和错误恢复等功能 块大小与形状 采用各种不同的块大小和形状来对1 6 x1 6 的宏块进行运动补偿 如图2 5 所示 每个4 x 4 的块要传输一个运动矢量值 那么对于单个宏块就要传输1 6 个运动矢量值 相应的 1 6 8 8 x 1 6 8 8 8 x 4 和4 8 的块大小也被运 用于单个宏块的运动矢量的表示中 由于采用不同大小的块进行帧问预测 使 得运动估计模型更接近物体的实际运动 因此 运动补偿的精度更高 能获得 更好的图像质量 比单独采用1 6 1