（信号与信息处理专业论文）h264熵解码过程vlsi架构的设计与实现.pdf

1 h.264 熵解码过程 vlsi 架构的设计与实现 h.264 熵解码过程 vlsi 架构的设计与实现 摘 要 摘 要 h.264/avc 的颁布是视频压缩编码学科发展中的一件大事，它的 优异的压缩性能也将在数字电视广播、视频实时通信、网络视频流媒 体传递以及多媒体通信等各个方面发挥重要作用。本文重点研究 h.264 的熵解码过程电路的实现。在进行具体的实现时，针对各个难 点,本论文分别提出了解决方案， 这些方案也许不是最好的解决方案， 但却可以自始至终为实现所服务。本文将以时序、速度为最终的设计 指标，并将这两者作为首要的设计准则，在设计中力求达到这两者的 最优化和折衷。 h.264 不仅具有优异的压缩性能，而且具有良好的网络亲和性， 这对实时视频通信是十分重要的。 但是这种优异的性能是用硬件实现 的复杂度换来的。 怎样克服网络传输上的误码， 或者说怎样对误码进 行掩盖，是在熵解码时要特别注意的问题。 h.264 的熵编码中运用了三种十分先进的技术：指数哥伦布码 (exp-golomb)、基于上下文的可变长编码(cavlc)以及基于上下文的 算术二进制编码(cabac)。在本文中将会对前两种码字的解码进行详 细、全面的分析和实现，以期形成一个较完整高效的熵解码器。在分 析熵解码器和桶形移位寄存器的接口时， 本文详细分析了其中的各种 信号和数据流，对移位长度和解码进行了分离，提出了移位长度对实 时性要求更高这一重要结论，并用这一结论指导了整个解码过程，这 2 是本文的一个创新。在对 exp-golomb 码和 cavlc 码的解码器的设计 中，我们都贯彻了这一点，将快速、准确地输出移位长度放在了首要 位置。 相对于上述两种解码器来说， 熵解码的其它部分的电路设计的难 度和复杂度较少，但是在实现的过程中会有很多细节的因素，因此在 实现时，本文对各个细节进行了分析和解决，并经常考虑到调试的情 况，力求设计并实现一个便于后期调试的熵解码器。 在进行设计和实现的同时，本文对测试环境进行了搭建。在搭建 测试平台的过程中，本文比较了各种方法的优点和缺点，给出了完整 的、基于 pc 的测试平台。该平台整合了 eda 工具，参考模型和脚本 语言，用 h.264 的软件参考模型(jm)生成测试向量作为激励，用仿真 工具进行了功能仿真，并进行了专用集成电路(asic)的综合后仿真， 同时将输出的结果同 jm 参考模型的结果进行比较，在比较时采用了 perl 脚本语言以避免人工比较的复杂性和易出错性。这是本文的又 一个创新点。 本文在完成理论设计和实验的基础上，提出了一个较完整的 h.264 熵解码器系统设计方案，提供了综合脚本、测试脚本等一系列 材料。在本文的完成过程中，不但本身实现了熵解码的设计，还为 h.264 的其它模块的设计提供了可用的接口，为其它模块的实现提供 了可行性和快速性，可以为其它模块调用。 关键词关键词：h.264/avc，哥伦布码，基于上下文的可变长编码，桶形移 位寄存器，接口，时序，延时 3 vlsi architecture design and implementation of h.264 entropy decoding process abstract vlsi architecture design and implementation of h.264 entropy decoding process abstract h.264/avc is a breakthrough in the development of video compression coding studies. its excellent compression performance will play an important role in digital tv broadcasting, video real-time communication, network video media streaming transformation and multi-media short messages, etc. this thesis herein emphasizes on the implementation of h.264 entropy decoder。meanwhile, in the specific process of realization, the thesis proposes many solutions for various difficult problems. these solutions will always serve for the realization although they may not be the best. timing and velocity are taken as the ultimate design indicators and primary design principle in the thesis. both are supposed to become optimal and compromised in the design. h.264 has its advantages in both excellent compression performance and good network affinity, which are significant to real-time video communication. however, the excellent performance comes from the 4 complexity of hardware implementation. how to avoid the errors in network channel or how to conceal the error coding is an important problem for entropy decoding. h.264 entropy encoder has applied three advanced technologies: exp-golomb code, cavlc and cabac. the first two decoding will be discussed and completely implemented in details in order to form a complete and highly efficient entropy decoder. in the analysis of interfaces of entropy decoder and barrel shifter, we analyze all kinds of signals and data current in details, separate shift length and decoding, put forward an important conclusion that shift length needs more real-time requirements. the conclusion above is used as guidance for the whole process of decoding. as an innovative idea in the thesis, it goes through the design of exp-golomb code and cavlc decoder, and the priority will be given to the rapid and correct output of shift length. comparing to the above two decoder, the architecture design of other parts in entropy decoding is not so difficult, but it involves many detailed factors. therefore, the thesis focuses on the analysis and solutions to details in the implementation, and takes debugging into consideration at any time so that an entropy decoder for later debugging can be designed and implemented. besides the design and implementation, the thesis introduces the build-up of testing platform. during the process of build-up，i make the 5 comparison with various means in their advantages and disadvantages and provide the complete testing platform based on pc. the platform integrates eda tools, reference models and scripts languages, uses jm reference model creating testing vectors as its inspiration, carries out functional simulation with simulation tools and take the post-synthesis simulation. finally, the output results are compared with jm reference models with perl language in order to avoid the complexity and affordability. all the above are another important innovative point of this thesis. based on the theory analysis and experiment, a complete design plan of h.264 entropy decoder is proposed in this thesis, providing a series of complete materials such as vhdl source code, comprehensive script, testing script, etc. in this thesis, ive completed the design of entropy decoder and provide practicable interface for h.264s other model design, and make it practicable and rapid to realize other models and be freely used for other models. key words : h.264/avc， exp-golomb code， cavlc， barrel shifter， interface，timing，delay 上海交通大学硕士学位论文 78 缩略语 缩略语 vlsi very large scale integrated circuit 超大规模集成电路 avc advanced video coding 先进视频编码 cavlc context adaptive variable length coding 内容自适应变长编码 cabac context-adaptive binary arithmetic coding 内容自适应二进制算术 编码 eda electronic design automation 电子设计自动化 asic application specific ic 专用集成电路 ccitt international telephone and telegraph consultative committee 国际电话与电报顾问委 员会 itu international telecommunication union 国际电信联盟 iso international organization for standardization 国际标准化组织 jpeg joint photographic experts group 联合图像专家组 mpeg moving picture expert group 运动图像专家组 hdtv high definition television 高清晰度电视 vceg video coding experts group 视频编码专家组 jvt joint video team 联合视频组 vcl video coding layer 视频编码层 nal network abstraction layer 网络抽象层 pda personal digital assistant 个人数字助理 risc reduced instruction set computer 精简指令集计算机 ddr double data rate 双倍数据率 se syntax element 语法元素 fpga field programmable gate array 现场可编程门阵列 fsm finite state machine 有限状态机 hdl hardware description language 硬件描述语言 rtl register transport level 寄存器传输级 soc system on chip 片上系统 uvlc universal variable length coding 通用变长编码 if interface 接口 mc motion compensation 运动补偿 iq invert quantization 反量化 mux multiplexer 多路复用器 tsmc taiwan semiconductor manufacturing company 台湾积体电路制造股份 有限公司际 上海交通大学硕士学位论文 3 图例索引 图例索引 图 11 视频压缩标准进度图.-6- 图 12 系数扫描顺序(a)帧格式(b)场格式.-8- 图 13 sv-ip01 基本框图.-11- 图 14 cs7050 基本框图 .-12- 图 21 网络层码流格式(a)byte stream(b)rtp.-15- 图 22 nalu 类型.-16- 图 23 码流层次.-19- 图 24 emulation_prevention_three_byte 示意图 .-21- 图 25 exp-golomb 码中由前缀和后缀组成的比特组与 codenum 的对应关系 .-23- 图 26 接口与码流中的接入点 .-25- 图 27 分层状态机举例 .-26- 图 31 顶层框图.-29- 图 32 桶形移位寄存器时序.-30- 图 33 主控接口.-32- 图 34 vld 同运动补偿模块的接口.-33- 图 35 vld 同 iq 的接口 .-34- 图 36 parser_ctrl 模块输入输出.-35- 图 37 典型 nalu 时序图.-36- 图 38 uedecoder 框图 .-38- 图 39 sedecoder 框图 .-40- 图 310 宏块层状态转换图.-45- 图 311 cavlc 架构图.-48- 图 312 level 解码流程图.-53- 图 313 重构示意图.-54- 图 41 jm 参考模型 .-57- 图 42 cavlc 测试平台 .-59- 图 43 uedecoder 测试平台 .-62- 图 44 control fsm 仿真波形图.-63- 图 45 startcodefinder 仿真波形图.-63- 图 46 uedecoder 仿真波形图 .-64- 图 47 uedecoder 延迟时序图.-64- 图 48 cavlc 仿真层次.-65- 图 49 cavlc_top_ctrl 仿真波形 .-65- 图 410 cavlc 中的数据串转并.-66- 上海交通大学硕士学位论文 4 表格索引 表 21 rtp 头 .-16- 表 22 exp-golomb 码表.-24- 表 23 部分可合并语法元素.-27- 表 31 普通优先权解码器.-36- 表 32 分级优先权解码器.-37- 表 33 有符号哥伦布码码字与码值对照表.-39- 表 34 前缀值与码流对照表.-52- 表 41 编码配置文件参数.-58- 表 42 编码流程示意.-60- 上海交通大学硕士学位论文 上海交通大学上海交通大学 学位论文原创性声明学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果 由本人承担。 学位论文作者签名：邵振 日期： 2007 年 1 月 25 日 上海交通大学硕士学位论文 上海交通大学上海交通大学 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和 借阅。 本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 保密保密，在 年解密后适用本授权书。 本学位论文属于 不保密 不保密。 （请在以上方框内打“” ） 学位论文作者签名：邵振 指导教师签名：郑世宝 日期： 2007 年 1 月 25 日 日期： 2007 年 1 月 25 日 上海交通大学硕士学位论文 5 第一章第一章 绪论绪论 1.1 视频压缩标准发展简史视频压缩标准发展简史 1984年ccitt第15研究组发布了数字基群电视会议编码标准h.120建议。 1988年ccitt通过了视像编码标准h.261建议，被称为视频压缩编码的一个里程 碑。从此，itu-t、iso等公布的基于波形的一系列视频编码标准的编码方法都 是基于h.261的混合编码方法。 1986年，iso和ccitt成立了联合图像专家组(jpeg，joint photographic experts group)，研究连续色调静止图像压缩算法国际标准，1992年7月通过了 jpeg标准。1988年iso/iec信息技术联合委员会成立了活动图像专家组(mpeg， moving picture expert group)。1991年公布了mpeg-1视频编码标准，码率为 1.5mbit/s，主要应用于家用vcd的视频压缩；1994年11月，公布了mepg-2标准， 用于数字视频广播(dvb)、家用dvd的视频压缩及高晰度电视(hdtv)。码率从 4mbit/s、15mbit/s直至100mbit/s分别用于不同档次和不同级别的视频压缩 中。 1995年，itu-t推出了h.263标准，用于低于64kbit/s的低码率视频传输，如 pstn信道中的可视会议、多媒体通信等。1998年至2000年又分别公布了h.263+、 h.263+等标准。1999年12月，iso/iec通过了“视听对象的编码标准” mpeg-4，它除了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵 活性。 2001年itu-t vceg和iso/iec mpeg成立了jvt， 致力于新一代视频压缩标 准的研究。2003年3月，itu-t和iso/iec正式公布h.264视频压缩标准，不仅显著 提高了压缩比，而且具有良好的网络亲和性，加强了对ip网、移动网的误码和丢 包的处理。h.264的出现是继mpeg-2出现后视频压缩的又一革命性进展12。图 1-1用进度图的形式简要描述了视频压缩标准的发展进度。 上海交通大学硕士学位论文 6 itu-t/ mpeg mpeg itu-t year80848589909495990005 h.261h.263h.263+h.263+ mpeg-1mpeg-4 h.262h.26l/jvt 图 1-1 视频压缩标准进度图 figure 1.1 the road map of video compression standard 1.2 h.264 标准标准 1.2.1 h.264 标准的特点标准的特点3 从 整 体 结 构 来 看 ， h.264/avc标 准 与 以 往 的 压 缩 编 码 标 准 如 mpeg-2/mpeg-4 有许多相似之处。每一帧图像都被划分成一个或多个 slice，每 个 slice 被分为一个个 16x16 大小的宏块(macroblock)， 每个宏块被进一步划分成 不同大小(16x8，8x16，8x8，8x4，4x8，4x4)的子宏块(sub-macroblock)。最小的 4x4 块被称作 block。 h.264 标准一共可以分成两个大的层次： vcl(视频编码层)和 nal(网络抽象 层)。vcl 层以 slice 为基本单位进行压缩编码，而 nal 层对 vcl 层编码后的 数据流进行分组、打包、信道编码等与视频传输相关的操作。在 nal 层又有两 种打包方式，一种是 rtp 封装，一种是 nalu 封装。由于不同的封装所对应的 熵解码过程也不尽相同，所以后续的章节中将对这两种方式进行详细的阐述，并 设计实现其相应的解码功能。 h.264 标准在进行压缩编码的过程中采用了以下一些编码工具3839： 1. 帧内预测编码 (1) 16x16 块大小的预测方式4 个预测方向 (2) 4x4 块大小的预测方式9 个预测方向 2. 帧间预测编码 (1) 采用了多个参考帧，包括长期参考帧和短期参考帧 (2) 可变块大小运动估计 (3) 1/4 像素插值 上海交通大学硕士学位论文 7 (4) 加权预测方式 (5) 对隔行扫描的视频采用基于帧/场的预测方式 3. 隔行编码 (1) 帧场自适应编码,其中又包括图像帧场自适应(picaff)和宏块帧场 自适应(mbaff) (2) 不同的扫描方式 4. 4x4 整数余弦变换 5. 去块滤波器 6. 系数扫描方式 (1) 帧扫描方式(zig-zag) (2) 场扫描方式 7. 熵编码 (1) 指数编码(exp-golomb) (2) 基于上下文的可变长编码(cavlc) (3) 基于上下文的算术码(cabac) 8. 差错恢复工具 (1) 灵活的宏块顺序(fmo) (2) 任意的 slice 顺序(aso) (3) 冗余的 slices 从 vld(variable length decode,可变长解码)的角度来说，以上所述的特性 中，除了熵编码部分，其余的都不会直接反映在 vld 的过程中，但是，对所有特 性的深入理解有助于我们在设计 vld 解码器时能按照正确的思路去实行。 也就是 说，我们从 vld 过程所解出来的各种数据，要能够与上述特性符合，能被各部分 的解码器所识别并进行正确的处理。 下面主要介绍几种与 vld 过程的正确性紧密 联系的部分： （1） 系数扫描方式 系数扫描方式分为两种，分别针对采用帧格式编码的宏块和采用场格式 编码的宏块。具体的扫描方式如图 1-2 所示。 上海交通大学硕士学位论文 8 01 2 3 4 56 7 8 910 11 12 13 1415 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ab 图 1-2 系数扫描顺序(a)帧格式 (b)场格式 figure 1.2 coefficient scanning order in (a) frame and (b) field modes （2） 熵编码 h.264 标准中采用了三种熵编码方式：exp-golomb 码、cavlc 和 cabac。需要进行熵编码的语法元素包括： (a) slice 层以上的语法元素采用固定可变长编码方式。 (b) slice 层及 slice 层以下的语法元素采用 cavlc 或 cabac 编码方式。 (c) 宏块类型(mb_type)。 (d) 编码块模式(cbp)用来表示那些 4x4 块中包含非零系数。 (e) 量化系数，只对当前宏块的量化系数与之前宏块的量化系数的差值 进行编码。 (f) 参考帧索引值。 (g) 运动矢量，只对当前运动矢量与前一个运动矢量之间的差值进行编 码。 (h) 经过变换和量化后的系数。 对于这一部分的具体算法和规则，我们将在第二章中着重阐述。 （3） 帧间预测编码 在 h.264 标准的运动估计算法中，宏块被进一步划分成更小的子块，搜 索匹配块的过程也由原先的基于宏块进行改为基于子块进行。每个 16x16 的 宏块可以被分成 16x16、16x8、8x16 和 8x8 四种类型的子块，而每个 8x8 的 子块又可以进一步被分成 8x8、8x4、4x8 和 4x4 四种类型的小块。因此在进 上海交通大学硕士学位论文 9 行运动估计时就会出现一共七种不同大小的块。在运动估计的过程中，采用 了多个参考帧，这些参考帧可以是前向的也可以是后向的。为了进一步提高 压缩效率，采用了 1/4 像素的预测精度。利用插值计算得到所需的 1/4 位置 的像素。对当前编码的运动矢量，首先根据周围已知的运动矢量进行预测， 然后对预测值和实际求出运动矢量之间的差值进行编码。 1.2.2 h.264 的应用现状的应用现状 h.264最具价值的部分是更高的数据压缩比，在同等的图像质量条件下， h.264的数据压缩比能比当前dvd系统中使用的 mpeg-2高2-3倍，比mpeg-4高1.5 -2倍。正因为如此，经过h.264压缩的视频数据，在网络传输过程中所需要的带 宽更少， 也更加经济。 在mpeg-2需要6mbps的传输速率匹配时， h.264只需要1mbps -2mbps的传输速率错误！未定义书签。错误！未定义书签。错误！未定义书签。错误！未定义书签。 。一种标准能够存在 的关键在于它能被做到产品中去并且影响和改善人们的生活，由于264的先进的 编码性能和较高的数据压缩率，从2003年其诞生以来，业界一直都在不遗余力地 对其相关产品进行研究和开发，以下几条是比较有代表性的关于h.264发展的业 界新闻： (1) 2006年1月，nvidia在ces 2006大会上使用geforce显卡进行h.264视频 解码演示。nv用一张geforce 7800显卡去解码20mbps、1080p h.264编码的高清 晰内容。nvidia表示，将在forceware 85系列驱动程序当中加入对h.264解码的 支持。h.264是蓝光和hd-dvd共同采用的视频编码方式，在20mbps编码速率下， 大多数处理器都无法达到全速解码运行 4。 (2) 2006 年 7 月 12 日，ati 发表声明，微软 xbox360 主机预定推出的 hd dvd 影片播放扩充套件“xbox360 hd dvd 播放机(player)” ，将采用由 ati 所提供的 h.264 影像解码技术，来满足处理负担繁重的 hd dvd h.264 影像解码需求。该 技术将利用由 ati 设计的 xbox360 图形处理器 xenos 的通用着色器(unified shader)架构，来提供平顺的解码处理，以及梳型滤波(comb filtering)、自动 增益控制(agc)等处理技术，来减低影像压缩失真、提升播放时的画面品质 5。 (3) 2006 年 9 月，上海文广传媒集团宣布将在上海建成全球最大的 h.264 标 准的 iptv 网络 6。 上海交通大学硕士学位论文 10 从上面几条可以看出，自03年诞生以来，到了06年，h.264正进入了其稳步 和高速发展的时期，本文在这个时候的研究设计是十分有意义的。 1.3 h.264 集成电路的发展集成电路的发展 自新一代视频编解码标准 h.264 公布以来， 许多公司都对它投入了极大的兴 趣。2002 年 9 月，在阿姆斯特丹举行的国际广播会议(ibg)上，videolocus 公司 展示了他们的一个基于 h.264 的演示产品。他们用 1mbps 的速率成功地传送了 mpeg-2 需要 5mbps 的 dvd 质量的视频数据流。2002 年 10 月，ubvideo 公司在配 置主频为 800mhz 奔腾 3 处理器的笔记本电脑上演示了 h.264 的 cif 方案。他们 的编码器可达到 49 帧/秒，也就是说，在上述配置下，他们的设计平均每秒可以 对 49 帧 cif 格式的视频序列进行编码，而他们的解码器可达到 105 帧/秒，编解 码器同时工作可达到 33 帧/秒， 他们应用于实时会话视频服务的低码率演示产品 误码率降低了 10左右。当前德国电信、broadcom、诺基亚、摩托罗拉、intel、 三星以及 herinirich hertz institute(hhi)都在研究 h.264 的实时解决方案。 hhi 已经在 arm922 处理器上实现了 6 帧/秒的 cif 视频和 25 帧/秒的 qcif 视频。 另外 ti 公司、philips 公司在 2003 年相继公布了在 ti16c6和 trimedia dsp 上的解码器方案。 以国际上的第二代核心标志h.264为例，专用集成电路芯片的开发进程也明 显加快。sand video于2003年第三季度发布了实现h.264 baseline的fpga解决方 案，今年1季度又发布了其实现baseline的专用芯片。2004年4月份sand video 公司已被broadcom公司收购。amphion公司于2004年4月公布了其实现h.264 main profile的ip core。在输入时钟为245mhz，外部memory为24mb，功耗为160mw的 情况下可实现30帧/秒的19291080高清数字电视标准图像的传输38。 1.3.1 sand video 公司的公司的 sv-ip01 美国的sand video7公司03年12月宣布成功开发出可对h.264编码的hdtv 视频进行解码的业界首款可授权的h.264内核，专用于移动电视以及蜂窝电话、 pda和汽车导航系统上的视频应用。svip01lp是sand video的h.264基本档次兼 容内核，直接由该公司7月推出的高清晰度h.264标准档次sv-ip01衍生而来。其 上海交通大学硕士学位论文 11 基本档次(baseline profile)内核支持帧率30fps下高达全d1的分辨率，适用于蜂窝 电话以及其它功率敏感设备，对于0.13微米工艺器件在30fps时的cif分辨率,其功 耗低于50mw。该公司又于04年2月推出h.264标准档次(main profile) sv-d011内 核，可以对19201080像素、30帧/秒或60场/秒的hdtv视频进行解码，编码速 度最大为30mbps。在今年初的消费电子展会上，该公司利用xilinx公司的两块 fpga对h.264格式编码的19201080像素hdtv视频进行了解码。演示视频采用 固定码率，编码速度为7.9mbps，此时功耗约为1.25w。sv-ip01是一款h.264解码 专用芯片，片内集成了一个32位 risc cpu，工作频率为166mhz，主要负责熵 解码以及解码控制。整体结构如图1-5所示。从中可见视频部分采用的片外存储 器为ddr。 stream input buffer cabac cavlc mpeg- 2 vlc h.264 programmable parser mpeg-2 programmable parser 32-bit risc motion compensation h.264 inverse transform spatial prediction mpeg-2 inverse transform h.264 deblock digital video output image reconstruction host interfaceddr controller interface command and controlddr controller mpeg-2 or h.264 coded stream video output source: sand video inc. 图 1-3 sv-ip01 基本框图 figure 1.3 generic block diagram of sv-ip01 1.3.2 amphion 公司的公司的 cs7050 amphion公司 8于2004年4月公布了其实现h.264 main profile的ip 核 cs7050。在输入时钟为245mhz，外部memory为24mb，功耗为160mw的情况下可实 现30帧/秒的19201080高清数字电视标准图像的传输。cs7050在架构上同样采 用了嵌入式cpu与专用电路相结合的方式。利用cpu来对解码操作的每个环节进 行调度和控制，需要大量运算操作的部分则由专用电路来实时处理。整体架构如 图1-6所示。 从图中可以看到， 输入的h.264标准码流先被送入byte stream decoder 进行熵解码，inter prediction模块负责产生运动补偿过程中所需要的预测块信息， 上海交通大学硕士学位论文 12 熵解码后的残差信息和inter prediction模块产生的预测块信息一起送入pixel decode模块进行解码，然后经过de-blocking filter中滤波后送入d