（信号与信息处理专业论文）h264视频压缩编码标准研究与dsp实现.pdf

论文题目 h 2 6 4 视频压缩编码标准研究与d s p 实现 专业 信号与信息处理 研究生 王克钊 签名 尘立壶l 指导老师 吴延海 签名 色缸 摘要 随着信息技术的发展 网络传输速度的提高 视频应用己经走进我们的生活 在这 样的背景下需要一个具有高压缩比 网络亲和性好的视频压缩标准 于是h 2 6 4 a v c 应 运而生 h 2 6 4 a v c 是i t u tv c e g 和i s o i e cm p e g 联合制定的最新视频编码标准 是目前图像通信研究领域的热点问题之一 h 2 6 4 采用了许多新技术使得编码性能大幅度提高 但这是以复杂度的成倍增加为 代价的 这就使得h 2 6 4 在实时视频编码及传输应用中面临着巨大的挑战 利用高性能 数字信号处理器 d s p 来实现h 2 6 4 实时编码器是一种快速有效的方法 所以研究h 2 6 4 编码器结构和在基于t i 高性能d s p 处理器t m s 3 2 0 d m 6 4 2 上的实现具有非常重要的意 义 论文从研究h 2 6 4 a v c 编码器的结构开始 具体分析了h 2 6 4 a v c 编码器的各个 模块以及相应模块所采取的一系列先进技术 在对这些技术进行研究的基础上 选择 h 2 6 4 的官方参考模型j m 8 6 作为研究对象 对整个代码的帧 片 宏块的编码过程进 行了系统的研究 参考x 2 6 4 一些算法的实现方法对代码进行了裁剪和c 算法级优化 在深入剖析算法的基础上 对影响编码速度的瓶颈部分进行研究 对u m h e x a g o n s 算法 进行了改进 在此基础上将在p c 机下优化过的代码进行d s p 的移植及优化工作 结合 所选用芯片的特点给出了移植过程中常见错误及其改正方法 最终完成了h 2 6 4 编码器 的d s p 移植 关键词 h 2 6 4 a v c j m 8 6 d m 6 4 2 优化 移植 研究类型 应用研究 s u b j e c t r e s e a r c ho nh 2 6 4v i d e oc o m p r e s s i o n c o d i n gs t a n d a r da n di t s d s p i m p l e m e n t a t i o n s p e c i a l t y s i g n a la n di n f o r m a t i o np r o c e s s i n g n a m e w a n gk e z h a o i n s t r u c t o r w uy a n h a i a b s t r a c t s i g n a t u r e 业尝 垃一 s i g n a t ur e w i t ht h ed e v e l o p m e n to fi n f o r m a t i o n t e c h n o l o g ya n di m p r o v e m e n to fn e t w o r k s p e e d v i d e oa p p l i c a t i o n sh a sb e e ni n t oo u rl i v e s u n d e rt h i sb a c k g r o u n d w ea l s on e e da v i d e oc o d ew h i c hs h o u l dh a v eh i g he f f i c i e n c ya n dg o o da d a p ta b i l i t yo fv a r i o u sn e t w o r k s h 2 6 4 a v ci st h en e w e s tv i d e oi n t e r n a t i o n a ls t a n d a r dd e s i g n e db yb o t hi t u tv c e g a n di s o i e cm p e g t h en e wt e c h n o l o g yi m p r o v e dc o d i n ge f f i c i e n c yg r e a t l y h o w e v e rt h ei m p r o v e m e n t i sb a s e do nt h ec o s to fr a p i di n c r e a s e dc o m p l e x i t y w h i c hm a k e si td i f f i c u l t yo fr e a l t i m e c o d i n ga n dt r a n s m i s s i o no fh 2 6 4 b a s e do nh i g h p e r f o r m a n c ed i g i t a ls i g n a lp r o c e s s o rt o i m p l e m e n t h 2 6 4v i d e oe n c o d e ri so n eo fm o s te f f i c i e n tm e t h o d s i nt h i sp a p e r f i r s t l y i t a n a l y z e dt h es t r u c t u r eo fh 2 6 4 t h e n i ti n t o r d u c e dt h em a i nt e c h n o l o g i e so fe a c hm o d u l e o fh 2 6 4 b a s e do nt h er e s e a r c ho ft h e s em a i nt e c h n o l o g i e s i ts e l e c th 2 6 4o f f i c i a lj m 8 6 r e f e r e n c em o d e la sar e f e r e n c e i ta n a l y z e dt h ep r o c e s so f f r a m e e n c o d i n g s l i c e e n c o d i n g a n dm a c r o b l o c k e n c o d i n g i tr e f e r e n c e ds o m em o t h e d so fx 2 6 4 c u t t i n gt h ec o d ea n d o p t i m i z i n gp r o c e s so ft h eo r i g i n a lcc o d e t h r o u g hd e e p l ys t u d y i n gt h em a i nt e c h n i q u e s a n da l g o r i t h m s u m h e x a g o n sa l g o r i t h mt ob ei m p r o v e g i v e ns o m ec o m m o n e r r o r sa n dt h e i r c o r r e c t i o nm e t h o d si nt h ep r o c e s so ft r a n s p l a n t a t i o n f i n a l l yt h ei m p r o v e de n c o d i n g a l g o r i t h m sa r et r a n s p l a n t e dt ot h ed s pc h i p k e y w o r d s h 2 6 4 a v cj m 8 6d m 6 4 2 o p t i m i z a t i o nt r a n s p l a n t a t i o n t h e s i s a p p l i c a t i o nr e s e a r c h 姿料技七学 学位论文独创性说明 本人郑重声明 所呈交的学位论文是我个人在导师指导下进行的研究工作及 其取得研究成果 尽我所知 除了文中加以标注和致谢的地方外 论文中不包含 其他人或集体已经公开发表或撰写过的研究成果 也不包含为获得西安科技大学 或其他教育机构的学位或证书所使用过的材料 与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意 学位论文作者签名 立炙勃1 日期 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定 即 研究生在校攻读学位期间 论文工作的知识产权单位属于西安科技大学 学校有权保留并向国家有关部门或 机构送交论文的复印件和电子版 本人允许论文被查阅和借阅 学校可以将本学 位论文的全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或扫描 等复制手段保存和汇编本学位论文 同时本人保证 毕业后结合学位论文研究课 题再撰写的文章一律注明作者单位为西安科技大学 保密论文待解密后适用本声明 学位论文作者签名 立克纠 指导教师签名 钆留 影月 拳年 1 绪论 l 绪论 1 1 选题背景及研究意义 视频信息随着社会的发展 科技的进步 应用领域和范围越来越广 包括视频会议 远程医疗 远程监控 基于网络的流媒体的传输和播放等 都需要大量的视频信息 对 数字视频及图像存储和传输业务的需求随之大幅度增加 相比较其它类型的信息如文本 和数据 数字图像的数据量巨大 例如一幅分辨率为2 2 7 2 1 7 0 4 像素 数码相机照片常 用像素 的照片 其数据量约为9 3 m b i t 如果不经过压缩直接存储 一张1 g b 的存储卡 只能存储8 0 张左右的照片 因此必须对数字信号进行压缩 用尽可能少的数据来表达 信息 节省传输和存储的开销i l l 为了能够在网络带宽 存储空间和处理器主频受限的 条件下数字视频及图像存储和传输业务更好的实施 就必须对视频数据进行大量压缩 因此 提出和制定了许多满足这些要求的视频压缩编码标准 由i t u t 和i s o i e c 共同 成立的联合视频小组 t 制定的i t u th 2 6 4 a v c 2 1 以下简称h 2 6 4 标准 正是其中 一种 可视电话 视频会议 网络传输 数字电视及无线多媒体通信等与我们的工作生活 息息相关 实现一个通用的多媒体通信终端具有很好的社会意义和广泛的市场发展潜 力 多媒体通信终端平台除了要有适合网络或者无线通信的视频通信协议外 还需要有 快速稳定的处理器作为多媒体处理的硬件平台 多媒体通信终端系统的关键是信号处 理 视频信号 图像信号 音频信号是多媒体系统进行处理和传输的对象 其中 视频 信号是信息量最大 数据量最大的部分 由于传输信道带宽的限制 必须对视频信号进 行压缩处理以适应信道码率的要求 而视频压缩一般都具有很高的运算复杂度 像运动 估计 d c t 变换等 运算量非常大 它们占用了多媒体信号处理总量的绝大部分时间 因此具有较高运算能力的处理器才能作为多媒体通信终端的运算单元 目前 数字信号 处理器 d s p 的高速发展为实现高效的多媒体信号处理平台提供了可能性 t i 公司的 t m s 3 2 0 d m 6 4 2 t 3 处理器具有高主频 多条流水线 高并行度以及专门的视频信号处理 指令等优点 它是视频处理领域首选的d s p 芯片之一 基于d s p 实现的多媒体通信终 端设备 同基于p c 机和f p g a 专用芯片实现的通信终端相比 具有灵活性高 可移植 性强 升级方便等优点 因此 以t m s 3 2 0 d m 6 4 2 为核心处理器的d s p 为实现高效的 音视频信号处理提供了快速稳定的多媒体信号处理平台 经过以上分析 将h 2 6 4 算法在d s p 上实现 对于多媒体通信的研究具有较高的 意义和价值 西安科技大学硕士学位论文 1 2 国内外研究现状 1 2 1 常用编码标准 目前国际上主要的编码标准有两大系列分别是由i s 0 i e c 制定的m p e g x 系列标准 和i t u t 制定的h 2 6 x 系列标准 下面对这两个系列作简要介绍 1 i s o i e c 编码标准 m p e g 系列 m p e g x 系列标准是由国际标准化组织 i s o 运动图像专家组 m p e g 制定 侧重 应用于多媒体业务 视频存储 视频广播 流媒体等 m p e g 1 1 标准制定的目标码率为1 2 m b i t s 其对于c i f c o m m o ni n t e r m e d i a t e f o r m a t 中间公共格式 3 5 2 2 8 8 格式图像可以达到实时播放 该标准是为只读 c d r o m 光盘的视频存储和播放所制定的 主要应用于v c d 业务 m p e g 2 p 1 是i t u t 与m p e g 共同完成的标准 i t u t 称这个标准为h 2 6 2 主要针对数字视频广播 d v b 高清晰度电视 h d t v 和d v d 等制定 是目标码率为4 9 m b i t s 的运动图像及其伴音的 编码标准 m p e g 4 坤1 是新一代的编码标准 其中提出了许多新的编码思想 其核心思 想是面向对象编码 能够支持更高压缩效率与应用范围 这种编码标准部分借鉴h 2 6 3 标准 其编码系统是开放的 可随时加入新的有效的算法模块 2 i t u t 编码标准 h 系列 h 2 6 x 系列是由国际电信联盟 i t u t 视频编码专家组v c e g v i d e oc o d i n ge x p o r t g r o u p 制定 该系列侧重于实时视频通信 会议电话 可视电话 该系列现有h 2 6 1 h 2 6 2 h 2 6 3 h 2 6 4 标准 h 2 6 1 1 是第一个实用视频编码标准 于1 9 9 0 年制定 它是针对低比特率应用场合 的一种编码标准 主要应用于双向视频通信 h 2 6 1 采用的算法主要是帧间预测和二维 d c t 变换的混合编码方法 后来许多编码标准都是在h 2 6 1 基础上的发展和改进 h 2 6 2 p 由i t u t 和i s o i e c 联合开发 相当于m p e g 2 目前 其己广泛的应用于d v d 数字电视 数字广播等领域 h 2 6 3 p 1 是针对低码率视频压缩提出的新标准 其目的是 为了支持码率低于6 4 k b i t s 的应用 目前己成为视频会议的主要标准 h 2 6 3 和h 2 6 3 是h 2 6 3 的改进版 h 2 6 4 a v c 是i t u t 与i s o i e c 共同成立的联合视频组 t j o i n t v i d e ot e a m 共同制定的新标准 该标准仍采用预测结合变换的混合编码方案 但引入 了许多新的编码技术和工具 使其编码效率比其它标准有明显提高 在相同的图像重建 质量下比h 2 6 3 节约5 0 的码率 h 2 6 4 具有较高的复杂度 在编码端计算的复杂度约 是h 2 3 6 的3 倍 约是m p e g 一4 的4 5 倍 2 1 绪论 1 2 2h 2 6 4 视频压缩标准研究现状 h 2 6 4 标准中的关键技术包括 多种更好的运动估计 小数像素 多模式 多参考帧 4 x 4 小尺寸块的整数变换 更精确的帧内预测 熵编码等 其中针对帧内 i n t r a 和帧间 i n t e r 宏块的精确快速的预测模式决策算法 快速的高精度运动估计算法 高效率的熵 编码算法是研究的热点和难点 h 2 6 4 并不明确的规定一个编码器如何实现 而是规定了一个编了码的视频比特流 的句法和该比特流的解码方法 各个厂商的编码器和解码器在此框架下应能够互通 在 实现上具有较大的灵活性 而且有利于相互竞争 这促进了各开发厂商对编码器的灵 活实现 目前业内比较流行的开源编码器有三种 j m x 2 6 4 及t 2 6 4 j m 模型 由德国h h i 研究所从2 0 0 2 年2 月开始开发 它是h 2 6 4 的官方测试模型 实现了2 6 4 所有的特性 但其程序结构冗长 编码复杂度极高 x 2 6 4 模型 由网上自由组织从2 0 0 4 年6 月开始联合开发的兼容2 6 4 标准码流的编 码器 其注重实用 和j m 相比 在不明显降低编码性能的前提下 努力降低编码的计 算复杂度 其至今无解码器 t 2 6 4 模型 由中国视频编码自由组织联合从2 0 0 4 年1 0 月开始开发的2 6 4 编解码 器 编码器编码输出标准的2 6 4 码流 解码器只能解t 2 6 4 编码器生成的码流 1 2 3d s p 技术发展现状 随着信息技术的发展 数字多媒体处理系统己经逐步取代传统的模拟系统 可以用 来实现数字多媒体处理的集成电路主要有三大类 a s i c 专用芯片 f p g a 现场可编程 门阵列 d s p 数字信号处理器 相比较a s i c f p g a 而言 d s p 平台在视频产品开 发领域有以下几方面的优势 第一 用户开发自由度更大 支持多种个性化开发 可以满 足市场不断提出的新的要求 在第一时间提升产品性能 增强产品的竞争能力 第二 d s p 处理能力强 可以在一个d s p 上同时实现多路音视频信号的压缩处理 这样使进 一步大幅度降低产品的成本成为可能 第三 开发周期短 实现快速技术更新和产品换 代 第四 芯片功耗低 对提高产品的稳定性提供可靠保障 世界上第一个单片d s p 芯片是1 9 7 8 年a m i 公司发布的 2 8 11 第一片可编程d s p 芯片的诞生为数字信号处理理论的实际应用开辟了道路 1 9 7 9 年美国i n t e l 公司发布的 商用可编程器件2 9 2 0 是d s p 芯片的一个主要里程碑 这两种芯片内部都没有现代d s p 芯片所必须有的单周期乘法器 1 9 8 0 年 日本n e c 公司推出的p p d 7 7 2 0 是第一个具有 乘法器的商用d s p 芯片 在这之后 最成功的d s p 芯片当数美国德州仪器公司 t i 的 一系列产品 t i 公司在市场上主要有三大系列产品 1 面向数字控制 运动控制的 t m s 3 2 0 c 2 0 0 0 系列 主要包括t m s 3 2 0 c 2 4 x f 2 4 x t m s 3 2 0 c 2 4 x l f 2 4 0 x 3 西安科技大学硕士学位论文 t m s 3 2 0 c 2 8 x x 等 2 面向低功耗 手持设备 无线终端应用的t m s 3 2 0 c 5 0 0 0 系列 主要包括t m s 3 2 0 c 5 4 x t m s 3 2 0 c 5 4 x x t m s 3 2 0 c 5 5 x 等 3 面向高性能 多功能 复杂应用领域的t m s 3 2 0 c 6 0 0 0 系列 主要包括t m s 3 2 0 c 6 2 x x t m s 3 2 0 c 6 4 x x t m s 3 2 0 c 6 7 x x 等 如今 t i 的一系列d s p 产品已经成为当今世界上最有影响的d s p 芯片 t l 成为世界上最大的d s p 芯片供应商 其d s p 市场份额占全世界份额近5 0 本论文使用的即是t i 公司2 0 0 3 年底推出的一款针对多媒体应用的芯片 m s 3 2 0 d m 6 4 2 1 3 本文主要工作与章节安排 本课题的主要目的是分析和优化h 2 6 4 的官方参考模型j m 8 6 并将优化后的代码 移植到t m s 3 2 0 d m 6 4 2 芯片上 实现d s p 平台的h 2 6 4 视频压缩编码 本文的主要工 作如下 1 详细研究了h 2 6 4 视频压缩编码标准 分析了h 2 6 4 编码算法 研究了d s p 移植 平台d m 6 4 2 的相关特性 2 对三大开源编码器进行了对比 选用了j m 8 6 版本的官方参考模型作为算法实现 的基础 详细研究了j m 8 6 代码的编码流程 参考x 2 6 4 代码将课题中不需要的功能去 除 改进和优化程序 改进了u m h e x a g o n s 算法 并对改进后的性能进行了验证 3 把基于p c 机的改进后的代码在d m 6 4 2 处理平台上进行初步移植 对移植过程 中遇到的问题和解决办法做出了详细地分析 说明 并给出了最终结果 基于以上工作本文主要章节安排如下 第二章详细地介绍了h 2 6 4 a v c 标准的特点和其中包含的新技术 包括其分层的体 系结构以及视频编码层的新特性 最后指出了复杂度是h 2 6 4 未被广泛采用的主要因素 之一 必须进行算法和平台的快速优化 第三章介绍了开发使用的硬件环境 包括d s p 芯片的结构特点 外设接口 流水线 以及开发用软件平台的特点 第四章选择h 2 6 4 官方参考模型j m 8 6 作为研究代码 根据项目的实际情况对代码进 行裁剪和优化 根据选用的硬件特点 进行了p c 机的c 算法级优化 p c 机至i j d s p 的移植 和d s p 平台上的d s p 代码优化 实现了d s p 平台上的视频压缩编码 最后一章为全文总结 并对下一步工作进行了展望 4 2h2 6 4 视频编码标准的特点厦关键技术 2h 2 6 4 视频编码标准的特点及关键技术 2 1 概述 日自口较为经典和广泛使用的图像压缩编码方法是混台编码 印通过减少统计冗余柬 达到压缩图像数据量的目的 h2 6 4 在技术上不但集中了以往标准的优点 而且对关键 算法进行了改进 使其在图像质量 编码效率 压缩率及网络适应性 容错性等方面均 较以往的视频压缩标准有较大改善 与以往标准相比 h2 6 4 主要有以下优点m i 在相同重建图像质量下比h 2 6 3 和m p e g 4 p a r t 2 节约5 0 左右的码率 可在很宽的码率范围内提供高质量的视频服务 对信道时延的适应性较好 既可工作于低时延模式以满足实时业务 如会议电视 等 又可工作于无时延限制的宽松场合 如视频存储等 具备较强的抗误码能力 包括支持传输环境恶劣的无线网络 采用分层模式 视频编码层 v c l v i d e o c o d i n g l a y e r 和专用于网络传输的网络抽 象层 n a l n e t w o r k a b s t r a c t i o n l a y e r 进一步提高网络适应能力 2 2h 2 6 4 的输入图像格式类型 h 2 6 4 支持的视频源格式包括y u v 4 2 0 4 2 2 和4 4 4 连续视频取样格式如图2 1 所示 同时支持运行扫描和隔行扫描的视频序列 对丁隔行扫描的视频帧 h2 6 4 支持 将奇偶场进行独立编码 也支持将奇偶场一起编码的方式 麓 噜7 噜c噜噜噜 4 t 4 i 4 4 毫 一噜 叠噜噜 4 c 噜 l 二 图2 l 连续视频取样格式 西安科技大学硕士学位论文 目前 h 2 6 4 主要针对采用y u v 4 2 0 采样的视频序列进行压缩编码 其中视频序 列的一帧可以由连续的数据构成 也可以由两个交织场 奇场和偶场 来构成 为了统一 无论编码数据的组织方式是连续的还是由交织的两场构成 都统一称为一帧图像 p i c t u r e 2 3h 2 6 4 的编码格式 h 2 6 4 将视频编码系统分为视频编码层 v c l 和网络抽象层 n a l 两个层次1 1 4 1 v c l 数据即编码处理后的输出 它表示被压缩编码后的视频数据序列 在v c l 数据传 输或者存储之前 这些编码的v c l 数据先被映射或封装进n a l 单元中 n a l 作为h 2 6 4 标准的一部分正式定义了视频编 解码器和外部网络之间基于包的接口 以便将v c l 层 视频流进行协议封装后通过n a l 集成到传输层 1 1n a l 头 r b s pn a l 头 r b s p n a l 头 r b s p l 图2 2 n a l 单元序列 n a l 单元序列如图2 2 所示 n a l 层把数据封装成为若干网络抽象单元 n a l u n a lu n i t 这些网络抽象单元可以在现有的大部分网络中以包的形式传送 封装于网 络抽象单元中的数据称为原始字节序列载荷 r b s p r a wb y t e ss e q u e n c ep a y l o a d s 根据 r b s p 的不同 网络抽象单元中可以分为不同的类型 h 2 6 4 中的r b s p 主要分为两种 一种为视频编码数据 一种为控制数据 视频编码数据可以以s l i c e 每个s l i c e 由若干宏 块组成 为单位进行组织 也可以对s l i c e 进行数据分割 即将每个s l i c e 中编码后的数据 按类型分为三种 同类型的数据组织到一起 形成三个数据划分 d a t ap a r t i t i o n 视频 编码数据以数据划分为单位进行组织 其中控制数据是指视频序列参数 图像参数等信 息 对于解码端 可以认为这些网络抽象单元或者正确无误 或者在网络中丢失 或者 存在位错误 一般网络抽象单元头信息中会设有相应标志来指示是否发生位错误 解码 器能够识别发生位错误的网络抽象单元并决定是对其进行解码还是丢弃 v c l 层主要研究基于混合编码中涉及到的常规的运动补偿 变换编码 熵编码等编 码技术 来提高视频信号的编码效率 使用s l i c e 技术 将一个待编码图像分割成许多 宏块来处理 v c l 的主要任务如下 1 通过分块技术将对整帧的处理降到对块的处理 来降低视频处理时间 2 通过变换 量化和熵编码方式对原始块进行编码 以达到降低视频帧空间冗余度 的目的 3 采用运动估计和运动补偿技术只对残差数据进行编码 以降低时间冗余 6 2h 2 6 4 视频编码标准的特点及关键技术 图2 3h 2 6 4 编码器 h 2 6 4 的v c l 层压缩算法是在h 2 6 3 和h 2 6 3 的基础上发展而来的 也采用与 h 2 6 3 和m p e g 4 类似的基于块的混合编码方法 采用帧内 i n t r a 和帧间 i n t e r 两种编 码模式 编码都以宏块为单位进行 对于i 帧图像采用帧内模式编码 对于p 帧和b 帧 图像则采用帧问模式编码 通过复杂的帧间预测来减少运动图像的时间冗余 通过对预 测残差进行d c t 变换来减少空间冗余 i n t r a 编码的基本流程为 选择宏块的帧内预测 模式一帧内编码一对残差数据进行变换和量化一对量化后的系数进行变长编码和算术编 码一生成重构块 用于后继块编码时的参考 i n t e r 编码流程为 多模式运动估计 根据率 失真优化算法选择编码模式一运动补偿产生残差数据一对残差数据进行变换 量化和编 码 h 2 6 4 编码器如图2 3 所示 1 5 1 编码时 首先把当前帧e 划分成宏块 宏块有帧内和帧间两种模式 帧内模式使用 当前帧内己编码的宏块进行预测 帧间模式使用以往一个或多个帧作为参考进行运动预 测 然后对预测值和原始值的差值d 进行整型变换 量化 重新排序和v c l 编码 最后 将运动失量m v 和每个宏块的头信息进行熵编码 产生压缩数据流进行传输 对量化系 数x 进行逆量化 反变换后 与预测系数相加 得到未经滤波的 1f 帧 对 i f 帧进行滤 波 得到当前重构帧 解码过程对应于编码器的各部分进行逆向操作 即可输出重构图 像数据 具体过程为 对每个块进行再量化 逆转换产生差值d 因为是不可逆量化 所以d 与d 不同 将运动补偿预测p 加到d 上产生重构块 各重构块存储起来以便产生 重构帧e 一个完整的帧被解码后生成的 就可输出显示了 也可保存起来用作参考 帧以生成下一帧 2 4h 2 6 4 的档次和级 并不是所有的用户都需要一种视频标准所提供的所有特性 因此 h 2 6 4 像以前所 有其他视频标准那样 提供了不同的档次 p r o f i l e s 和级 l e v e l s 不同的p r o f i l e 提供了 不同的算法要求和限制 使用相同p r o f i l e 的解码器 能够解码该p r o f i l e 支持的所有特性 7 西安科技大学硕士学位论文 而编码器只需支持该p r o f i l e 内的部分特性 对一个指定的p r o f i l e 又分为不同的l e v e l l e v e l 的选择一般是根据计算机的运算能力和内存容量决定的 h 2 6 4 规定了三个档次1 1 6 1 每个档次支持一组特定的编码功能和特定的应用 1 基本档次 b a s e l i n ep r o f i l e 在h 2 6 4 中的i d 值是6 6 它支持视频会议 可视电话 无线通信等实时视频通信应用等 b a s e l i n ep r o f i l e 的解码器支持以下特性 i 片和p 片类 型 去块滤波 z i g z a g 扫描方式 1 4 像素精度运动估计 三级运动分块 最小块为4 x 4 的块 c a v l c 熵编码模式 4 2 0 的色度块采样率等 2 主要档次 m a i np r o f i l e 的i d 值是7 7 它主要应用于数字广播电视和数字视频存 储领域 m a i np r o f i l e 的解码器除支持b a s e l i n ep r o f i l e 中的大部分特性外 还支持以下特 性 采用b 片的帧间编码 加权预测的帧内编码 c a b a c 熵编码 场编码 帧场自适应 编码等 3 扩展档次 e x t e n d e dp r o f i l e 的i d 值是8 8 它主要应用于流媒体中 e x t e n d e d p r o f i l e 除支持b a s e l i n ep r o f i l e 中的所有特性外 还支持以下特性 b 片类型 加权预测 s p 和s i 片类型 数据分层片 场编码 帧场自适应编码 2 5h 2 6 4 中的关键技术 h 2 6 4 标准的主要目的是提供一种和以往视频编码标准相比具有更高编码质量的 视频编码标准 h 2 6 4 仍然采用运动估计 预测 变换和熵编码等作为其编码的主要技 术内容 在编码时 将视频帧分为帧内 i n t r a 和帧间 i n t e r 两种编码模式 首先 将视 频帧分成块 以便将帧的处理在块的层次上进行 然后 利用视频帧内存在的空间冗余 性 通过相邻像素预测本块像素 对视频块进行不同域之间的变换 从时域转化到另一 个域 使得变换系数集中到少数几个点上 或利用连续的视频帧之间具有的时间冗余性 通过运动估计技术在参考帧内搜索找到和当前块相关性最大的视频块 然后计算两块之 间的差值 并对差值进行变换 最后 对变换系数和运动矢量进行熵编码 下面分别介 绍h 2 6 4 中各种关键技术 2 5 1 帧内预测 帧内预测 i n t r ap r e d i c t i o n 是使用相邻块对编码块像素值进行预测 对预测残差再进 行变换编码 h 2 6 4 对亮度块的帧内预测方法采用1 6 x1 6 和4 x 4 两种块方式预测0 7 1 对色 度块采用8 x 8 的块方式预测 就亮度而言 对于图像中较为平坦的部分 采用1 6 x1 6 预 测 对于变化较大的细节部分采用4 x 4 预测 预测之前 要对当i j 宏块相邻的左 上重 建块进行分类 根据不同的分类 用重建块作为参考 选择不同预测模式进行预测 亮 度块4 x 4 预测有9 种预测模式 1 6 x1 6 预测有4 种预测模式 色度块8 8 预测有4 种预测模 式 8 2h 2 6 4 视频编码标准的特点及关键技术 qab cde fgh 图2 44 x 4 亮度预测 1 4 x 4 亮度宏块预测 4 x 4 亮度预测如图2 4 在4 x 4 亮度块预测中 块上面和左边预测像素a q 为己编码并 重构的像素 用作编码器中的预测参考像素 a p 为待预测像素 利用a q 值和9 种预测 模式实现 编码器通过计算每种预测方式的绝对误差和s a e t h es u mo f a b s o l u t e e r r o r s 选择s a e 最小的预测模式进行预测编码 帧内4 x 4 预测有9 种模式 如下所述 模式0 垂直 由a b c d 垂直推出相应像素值 模式1 水平 由i j k l 水平推出相应像素值 模式2 d c 由a d 和i l 平均值推出所有像素值 模式3 下左对角线 由4 5 度方向像素内插得出相应像素值 模式4 下右对角线 由4 5 度方向像素内插得出相应像素值 模式5 右垂直 由2 6 6 度方向像素内插得出相应像素值 模式6 下水平 由2 6 6 度方向像素内插得出相应像素值 模式7 左垂直 由2 6 6 度方向像素内插得出相应像素值 模式8 上水平 由2 6 6 度方向像素内插得出相应像素值 2 1 6 x1 6 亮度宏块预测 帧内1 6 x1 6 预测模式根据与当前宏块相邻的像素生成预测值 在进行预测之前 首 先要判断这些邻近像素是否存在 如果不存在 比如当前宏块位于图像边缘或邻近宏块 位于其它片中时 则无法进行预测 1 6 x1 6 预测共有4 种预测模式如下所述 模式0 垂直 由上边像素推出相应像素值 模式l 水平 由左边像素推出像素值 模式2 d c 由上边和左边像素平均值推出像素值 模式3 平面 利用线形p l a n e 函数及左 上像素推出像素值 适用于亮度变化平缓 区域 3 8 x 8 色度宏块块预测 该预测是针对当前宏块的两个8x8 色度分量 它们由己编码的左上方色度像素预测 而得 共有4 种预测模式 模式0 d c 模式1 水平 模式2 垂直 和模式3 平面 两 9 西安科技大学硕士学位论文 个色度分量预测模式相同 且与1 6 x1 6 亮度预测类似 2 5 2 帧间预测 帧间预测和编码主要是利用视频信号的时域相关性 通过运动估计和补偿把视频信 号的时域冗余信息去掉 从而达到压缩视频数据的目的 由于视频信号的时域相关性远 远大于其空域相关性 所以 通过采用帧间预测和编码 可以更大的降低编码码流 帧 间编码的帧分为两种 一种是p p r e d i c t i o n 帧 一种是b b i d i r e c t i o n a l p r e d i c t i o n 帧 p 帧是前向预测帧 b 帧是双向预测帧 采用前后双向预测 下面介绍帧间编码的各种技 术 1 子块的划分 进行运动估计时使用的块大小对运动估计的效果有较大的影响 使用比较小的块可 以使得运动估计更精确 从而产生较小的运动残差 达到降低码率的作用 h 2 6 4 在进 行运动估计时使用了不同的宏块分割方式 宏块划分模式如图2 5 所示一个1 6 x1 6 宏块可 以分为1 个1 6 x1 6 2 个1 6 x8 或8 x1 6 或4 个8 8 等几种块大小 对8 x8 的块 又可以分为 1 个8 8 2 个 8 x 4 或4 8 4 个4 x 4 的块 宏块的色度成分采用和亮度块相同的分割模式 只是尺寸在水平和垂直方向减半 o 1 o 1 o 1 4 8 8 l6 8 8 o 1 23 图2 5 宏块划分模式 每一个块具有一个运动矢量m v 一个宏块最多可以携带1 6 个不同的运动矢量 每 个m v 被编码 传输 并且分割选择也被编码压缩到比特流中 对大的分割尺寸而言 m v 的选择和分割类型只需较少比特 但运动补偿残差在多细节区域中的能量高 小尺 寸分割运动补偿残差能量低 但需要较多的比特表征m v 和分割选择 整体而言 大的 分割尺寸适用于平坦区域 小尺寸适用于多细节区域 l o 2h 2 6 4 视频编码标准的特点及关键技术 2 m v 预测 由于h 2 6 4 支持多种宏块和子宏块的分割 如果图像细节较多时 划分的块尺寸较 小 若对每个块的m v 独立编码 则需要相当数目的比特 一个块的m v 与邻近块具有较 强的相关性 因此m v 可由邻近已编码的分割块预测而得 即可以通过相邻已编码的分 割块的运动矢量预测值m v p 和当前宏块的m v 得到预测与当前的差异m v d 将m v d 编 码传输 在解码端 m v p 以相同的方式形成并加到m v d 上 对于跳编码宏块而言 由 于不存在m v d 其运动补偿宏块也由m v 直接生成 3 1 4 精度像素内插 运动估计就是在参考帧中寻找一个与当前块最匹配的块 作为当前块的估计值 在 h 2 6 4 中 更是把运动估计的精度提高到了1 4 像素 并且把1 8 像素精度的运动估计作为 了一个可选项 h 2 6 4 中使用1 4 像素估计和整像素相比可以节省2 0 的码率 1 4 像素精 度的运动估计使用滤波算法得到半像素和1 4 像素位置的点 如果运动矢量指向整像素位 置 那么预测数据由相应的参考图像的像素组成 否则相应的非整位置像素值需要用内 插的方法获得 4 多参考帧运动估计 在h 2 6 4 中使用的多参考帧运动估计技术是对单帧运动估计技术的简单扩展 即在 多个参考帧中找到一个使预测误差达到最小的运动矢量 使用5 个参考帧和1 个参考帧相 比可以节省5 1 0 的码率 多个参考帧存放于帧缓存中 在帧缓存中包括短期参考帧和 长期参考帧两种参考帧类型 为了有效的利用多参考帧 必须采用合理的内存管理方法 在h 2 6 4 中允许采用两种帧缓存管理方案 即自适应缓存管理模式和滑动窗口帧缓存管 理模式 在h 2 6 4 标准中 b 帧可以采用i 帧 p 帧或者b 帧作为参考帧 对b 帧而言 有5 种预 测模式 分别是前向预测 后向预测 双向预测 直接模式和帧内预测模式 2 5 3 整数变换和量化 为了进一步节省图像传输码率 需要对图像信号进行压缩 为了去除图像信号中的 相关性及减小图像编码的动态范围 通常采用变换编码及量化技术n 引 变换编码将图像 时域信号变为频域信号 在频域中 图像信号的能量大部分集中在低频区域 由于d c t 的性能十分接近统计意义上的最优变换k l t 而且具有快速算法 所以 d c t 被广泛地应用于各种视频编码标准中 但是 传统的d c t 无论在运算精度还是复杂 度上都存在明显的不足 h 2 6 4 中引入了整型d c t 变换 对图像或预测残差采用的是4 x 4 整型d c t 这样不但 解决了精度问题 而且由于乘法均可由移位运算代替 运算的复杂度也大大降低 为了 进一步提高压缩效率 h 2 6 4 还允许把每个4 4 的变换矩阵中的直流分量单独取出组成一 西安科技大学硕士学位论文 新的4 x 4 矩阵 对此矩阵进行h a r d a m a r d 变换 量化过程在不降低视觉效果的前提下减少图像编码长度 减少视觉恢复中不必要的 信息 h 2 6 4 采用标量量化技术 它将每个图像样点编码映射成较小数值 量化过程是 对d c t 结果进行操作 j 下变换中的数乘运算和量化过程同时进行 根据图像动态范围的 大小来确定量化参数 既保留了图像中必要的细节 又可减少码流 2 5 4 熵编码 熵编码是无损压缩编码方法 它生成的码流可以经解码无失真地恢复出原数据 熵 编码是在统计意义上对数据的冗余信息进行压缩的方法 在视频编码中 对出现概率较 大的数据用较短的字长来表示 对出现概率较小的数据用较长的字长来表示 从而达到 降低数据量的目的 在h 2 6 4 中有两种熵编码方法 c a v l c t l 9 co m e n b a s e da d a p t i v e v a r i a b l el e n g t hc o d i n g 和c a b a ct 2 0 c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g 对不同的编码方案 采用不同的选择i2 1 1 c a v l c 主要利用经变换和量化后的4 x 4 矩阵的特性来实现高效的编码 1 经过变换与量化后的预测残差中含有较多的0 这样在z i g z a g 扫描之后 用 r u n l e v e l 编码表示预测残差可以取得较好压缩效果 2 残差末尾的几个非零变换系数一般为 1 c a v l c 对它们单独进行编码 3 作为空间相关性的一种表现 当i j 块中的非零系数个数和周围块中的非零系数个 数有一定的相关性 c a v l c 利用这一点自适应地选择编码当前块中非零系数个数的码 表 4 位于低频处的系数值一般较大 而位于高频处的则相反 c a v l c 利用这一点自动 地选择编码l e v e l 的码表 其编码流程如下 1 编码非o 系数个数和拖尾系数t r a i l i n go n e s 2 编码t r a i l i n go n e s 1 的符号 3 编码系数段l e v e l 4 编码最后一个系数前所有的零 t o t a lz e r o s 5 编码非零系数前零的个数 r u nb e f o r e c a b a c 编码是一种算术编码 它通过构建模型来预测当前的视频信号 与c a v l c 编码相比 c a b a c 提供了更高的编码效率 进一步节省了码率 2 5 5 去方块效应滤波 在h 2 6 4 中 编解码器反变换量化后图像会出现方块效应 产生方块效应的主要原 因是基于块的帧内和帧间的预测残差的d c t 变换 其变换系数的量化过程相对粗糙 因 1 2 2h 2 6 4 视频编码标准的特点及关键技术 而反量化过程恢复的变换系数带有误差 会造成在图像块边界上的视觉不连续 还有一 个原因是来自于运动补偿 运动补偿块可能是从不是同一帧的不同位置上的内插样点数 据中复制而来的 运动补偿块的匹配不可能是绝对准确的 所以就会在复制块的边界上 产生数据不连续 尽管h 2 6 4 采用较小的4 4 变换尺寸可以降低这种不连续现象 但仍需 要一个去方块滤波器 以最大限度提高编码性能1 2 2 1 滤波就是为了降低由h 2 6 4 高压缩比产生的明显的块失真效应 所有块按扫描顺序 进行有条件的滤波 以平滑块间的亮度落差 减小失真 提高解码帧的质量 使重构后 的图像更贴近原始图像 滤波过程是先计算出块的边界强度 再根据边界强度值选用不同的滤波方法 滤波 器强度参数与编码模式关系如表2 1 所示 表2 1 滤波器强度参数与编码模式关系 图像块模式与条件b s 边界两边一个图像块为帧内预测并且边界为宏块边界 边界两边一个图像块为帧内预测 边界两边一个图像块对残差编码 边界两边图像块运动欠量差不小于1 个亮度图像点距离 边界两边图像块运动补偿的参考帧不同 其它 b s 0 时 不进行滤波 b s 为非零时 判断区分该边界是否