（信号与信息处理专业论文）基于h264avc的视频编码技术研究与fpga实现.pdf

study on h.264/avc based video coding technique and its fpga realization a thesis submitted to chongqing university in partial fulfillment of the requirement for the degree of master of engineering by li fang supervisor: ass. prof. zhangling major: signal and information processing college of communication engineering of chongqing university, chongqing, china april,2008 中文摘要 i 摘 要 h.264/avc是由国际电信联盟(itu)和国际标准化组织(iso)共同制定的新一代 视频压缩编码标准，其压缩效率较h.263和mpeg-4 simple profile有显著提高。在 相同的重建质量下，h.264比h.263节约50%左右的码率，此外h.264还具有更好的 ip和无线信道适应性， 并在视频通信领域、 数字广播视频以及视频存储播放领域得 到了日益广泛的应用。 与以往的视频编码标准相比，h.264标准的改进主要体现在预测、整数变换量 化和熵编码方法上。h.264以编解码复杂度的增加来换取对视频压缩性能的提升， 从而给h.264在实时视频上的应用带来困难，因此采用fpga硬件来实现一些计算 相对密集的算法成为了视频压缩领域的研究热点。本文深入研究了h.264的编码原 理，并对h.264/avc的硬件实现复杂度进行了分析，结合现有的硬件实验平台，设 计了一种可行的h.264编码器系统方案。 论文详细阐述了h.264中的帧内预测编码技术，并通过matlab仿真，直观的给 出了各种预测模式的亮度与色度预测效果。提出了使用求和与算术移位结构实现 各种帧内预测模式，极大地减小了预测电路的实现复杂度，同时使用多模式并行 搜索的决策算法进行最佳模式选择，充分发挥了硬件的并行处理能力。 论文对整数dct变换、残差系数量化、色度直流系数的hadamard变换与量化 以及相应的反量化反变换原理进行了详细的分析，设计了基于快速蝶形运算的整 数变换结构，显著了降低了矩阵运算的实现复杂度。 论文详细分析了cavlc的编码原理，借助统计的方法对cavlc编码过程中的 编码参数进行了分析；并采用多时钟域处理技术和流水技术显著的提高了电路运 算的吞吐量，并使用算术运算替代部分规律性的查表处理，节约了硬件的存储资 源。 论文最后使用altera cycloneii系列fpga对所设计的h.264编码器系统中各 功能模块进行了实验验证，并给出了各部分关键电路的实现效果。对实验结果进 行了分析，验证了系统的可行性与有效性。 关键词关键词：h.264/avc，帧内预测编码，整数变换量化，cavlc，fpga 重庆大学硕士学位论文 ii 英文摘要 iii abstract h.264/avc is the newest video coding standard, which is developed by itu-t and iso. compared to h.263 and mpeg-4 simple profile, the compression performance of h.264 is improved significiantly. in the same reconstruction quality, h.264 can reduce almost 50% bits stream compared to h.263. further more, h.264 also has better adaptability of ip and ridio channel, which hae been widely applied in video communication field, digital broadcasting video and video storage&play back field. compared to traditional video compression standard, h.264 impreoves mainly on prediction metholds, integer transform&quantization and entropy coding metholds. h.264 improves its performance in cost of its codec complexity, which makes its much more difficult in real-time video applications. hence, using fpga to realize some complex algorithms has been treated as the research hotspot in video compression field. according to the actual hardware experimental platform, a simple but practicable coding system is designed, which based on the deep study on the principle of h.264/avc and the analysis of complexity of its hardware realization. the intra prediction technique is discussed detailly. and matlab simulation is employed to demonstrate all kinds of intra prediction mode in both luminance and chrominance. a simple but practicable sum and arithmetic shift operation is proposed to realize and construct the whole intra prediction operation, which extremely reduce the realization complexity of the prediction circuit. meanwhile, a multi-mode searching in parallel methold is also proposed to select the priorit prediction mode, which can make full use of the hardwares parallel processing ability. the principle of integer dct transformation, residual levels quantization, the hadamard transformation of chroma dc levels and their reverse process are expatiated in detail. to avoid the complex matrix computation, a rapid butterfly operation based integer transformation is proposed to significantly reduce the complexity of hardware realization. the principle of cavlc is discussed in detail. some important coding arguments are analyzed with statistical methold. further more, a multi-clock domain processing and pipeline technique are proposed to significiantly improve the throughput of the encoding circuit. besides, arthimatic operation is also used to replace some regular look-up tables to save hardware memory resources. 重庆大学硕士学位论文 iv finaly, altera cycloneii serial fpga device is adopted to verify some key function units in the designed h.264 codeing system.the feasibility and validity of the coding system are also verified by analyzing the experimental results. key word: h.264/avc, intra prediction coding, integer thransform&quantization, cavlc, fpga 目 录 v 目 录 中文摘要中文摘要 . i 英文摘要英文摘要 . iii 1 绪论绪论 . 1 1.1 课题研究背景课题研究背景 . 1 1.2 现有的图像压缩编码技术现有的图像压缩编码技术 . 2 1.3 h.264/avc 的研究现状的研究现状 . 3 1.4 本文研究意义及内容本文研究意义及内容 . 4 2 h.264/avc 视频编码原理及编码系统结构设计视频编码原理及编码系统结构设计 . 7 2.1 h.264/avc 编码原理编码原理 . 7 2.1.1 h.264 编码器结构 . 7 2.1.2 h.264/avc 的档次 . 7 2.1.3 h.264/avc 的视频格式 . 8 2.1.4 h.264/avc 的图像数据结构 . 9 2.2 h.264/avc 采用的新技术采用的新技术 . 10 2.3 编码系统硬件设计的复杂度编码系统硬件设计的复杂度 . 12 2.4 编码系统的整体结构设计编码系统的整体结构设计 . 13 2.5 本章小结本章小结 . 13 3 h.264/avc 编码系统视频采集模块设计编码系统视频采集模块设计 . 15 3.1 视频采集系统视频采集系统 . 15 3.1.1 硬件结构 . 15 3.1.2 图像采集模块的设计与实现 . 16 3.2 本章小结本章小结 . 19 4 h.264/avc 编码系统帧内预测模块设计编码系统帧内预测模块设计 . 21 4.1 帧内预测原理帧内预测原理 . 21 4.1.1 4 4 亮度块预测 . 21 4.1.2 16 16 亮度块预测 . 31 4.1.3 8 8 色度块预测 . 34 4.1.4 最佳预测模式选择 . 38 4.2 帧内预测模块硬件设计帧内预测模块硬件设计 . 38 4.2.1 帧内预测的块扫描顺序 . 38 4.2.2 帧内预测算法分析 . 38 重庆大学硕士学位论文 vi 4.2.3 亮度预测模块 . 39 4.2.4 色度预测模块 . 44 4.3 本章小结本章小结 . 47 5 h.264/avc 编码系统变换量化模块设计编码系统变换量化模块设计 . 49 5.1 变换量化的基本原理变换量化的基本原理 . 49 5.1.1 整数 dct 变换 . 50 5.1.2 比例缩放及量化 . 52 5.1.3 dct 直流系数的变换量化 . 53 5.2 反量化反变换的基本原理反量化反变换的基本原理 . 56 5.2.1 dct 直流系数的反变换反量化 . 56 5.2.2 残差系数的反量化 . 57 5.2.3 逆 dct 变换 . 58 5.3 变换量化的设计与实现变换量化的设计与实现 . 58 5.3.1 整数 dct 变换与量化 . 58 5.3.2 hadamard 变换与量化 . 63 5.4 反量化反变换的设计与实现反量化反变换的设计与实现 . 67 5.4.1 残差系数的反量化 . 67 5.4.2 色度直流系数的反变换与反量化 . 68 5.4.3 逆 dct 变换 . 69 5.5 本章小结本章小结 . 72 6 h.264/avc 编码系统熵编码模块设计编码系统熵编码模块设计 . 73 6.1 cavlc 基本原理基本原理 . 73 6.2 cavlc 编码器设计与实现编码器设计与实现 . 77 6.2.1 编码算法分析 . 77 6.2.2 设计与实现 . 79 6.3 本章小结本章小结 . 85 7 h.264/avc 编码系统验证与调试 . 87 7.1 系统验证平台系统验证平台 . 87 7.2 硬件资源消耗硬件资源消耗 . 87 7.3 系统性能测试系统性能测试 . 88 7.3.1 视频采集模块 . 88 7.3.2 帧内预测模块 . 89 7.3.3 cavlc 熵编码模块 . 93 7.4 本章小结本章小结 . 94 目 录 vii 8 总结与展望总结与展望 . 95 致致 谢谢 . 97 参考文献参考文献 . 99 附附 录录 . 101 重庆大学硕士学位论文 viii 1 绪论 1 1 绪论 1.1 课题研究背景 我国已成为世界上规模最大的通信大国，固定电话普及率已达27.8%，移动电 话普及率已达41.6%，宽带网络正在不断的建设中，宽带用户普及率近15%1。8 纵8横的光纤构成了我国骨干传输网。 以mstp(多业务传输平台)技术为主的城域网 正在大力建设，以adsl为主的宽带接入网也在迅速发展。我国信息化的瓶颈在于 信息资源的开发和利用。在信息资源中，视频信息的开发、利用更具有重要的理 论意义和应用价值。20世纪90年代以来，我国的会议电视技术获得了巨大的发展， 短短几年，从最初的中央到各省的一个会议电视骨干网，逐步发展为以铁道、电 力、石油、公安各系统、各省以至各地县约数千个的会议电视网。 internet的迅猛发展，导致ip技术应用普及到各个方面，网上教育、远程医疗、 电子商务、电子政务、网上证券如雨后春笋。一句话，ip视频通信已经十分引人注 目。通信业务已从电话、传真、电报发展为可视电话、会议电视、视频点播等， 即以音频为主发展到以视频为主的多媒体通信。 视频信息的表示形式是视频信号，通常为视频的电信号，这种信号通过网络 传送至终端用户，并在屏幕上显示。视频信号所包含的信息量大，其内容可以是 活动的，也可以是静止的；可以是彩色的，也可以是黑白的；有时变化快、细节 多，有时变化十分平坦。一般而言，视频信号信息量大，传输网络所需的带宽相 对较宽。例如，一路可视电话或会议电视信号，由于其活动内容较少，所需带宽 较窄，要达到良好质量，不压缩约需若干mbit/s，压缩后仅需要384kbit/s；又如， 一路高清电视信号(hdtv)，由于其信号量相当巨大，不压缩需要1gbit/s，利用 mpeg-2压缩后，尚需20mbit/s。可见，视频信号虽然具有直观性、确定性、高效 性等优越性能，但是要传送包含视频信息的信号却需要较高的网络带宽。这就是 为获得视频信息所需付出的代价2。 如上所述，视频信号由于信息量大，传输网络带宽要求高，因此需要对视频 信号进行压缩编码后通过网络传输，以便节省传送的带宽和存储空间。如果不考 虑质量，一味地压缩，虽然压缩比很高，但压缩后信息严重失真，显然达不到要 求；反之，如只关心质量，压缩比太小，也不符合要求。 h.264/avc是新一代视频压缩编码标准，与其它现有的视频编码标准相比，在 相同的带宽下提供更加优秀的图像质量。h.264与以前的视频编码国际标准相比， 最大的优势有3： 低码流：和mpeg-2和mpeg-4 asp等压缩技术相比，在等同图像质量下， 重庆大学硕士学位论文 2 采用h.264技术压缩后的数据量比mpeg-2和mpeg-4都要小。这样一来，h.264压 缩技术的采用将大大节省用户的下载时间和数据流量收费。 高质量的图像：h.264能提供连续、流畅的高质量图像(dvd质量)。 容错能力强： h.264提供了解决在不同稳定网络环境下容易发生的丢包等 错误的必要工具。 网络适应性强：h.264提供了网络适应层(network adaptation)，使得h.264 的文件能容易地在不同网络上传输(例如互联网，cdma，gprs，wcdma， cdma2000等)。 h.264/avc因为其优越的性能而被广泛应用于高清晰电视(hdtv)、 电视会议、 网络流媒体等。 尽管h.264/avc承诺将比已有的视频编码标准具有更高的编码效率， 它仍为系 统构架师、dsp工程师和硬件设计人员带来了巨大的工程设计挑战。h.264/avc标 准引入了自1990年推出的h.261之后视频编码标准演进过程中出现的大部分重大 改变和算法间断(algorithmic discontinuities)。实现h.264/avc标准所需要的算法技 术复杂度、数据局部性，以及算法和数据并行性，常常会影响到系统级别的整体 构架决策。这种影响又会决定在广播、视频编码、电话会议一级消费电子领域开 发h.264/avc解决方案所需的最终开发成本4。 1.2 现有的图像压缩编码技术 视频编码标准主要由itu-t和iso/iec开发。前者发布了视频会议标准h.261、 h.262、h.263、h.264，后者发布了大家熟悉的mpeg系列：mpeg-1、mpeg-2、 mpeg-4、mpeg-7、jpeg标准。 h.261是最早的运动图像压缩标准，是为在综合业务数字网(isdn)上开展双向 业务(可视电话、视频会议)而制订的。h.261采用一种中间格式(cif, common intermediate format)对图像进行处理，编码主要包括帧内编码和帧间编码。其帧内 编码方式是对输入的图像数据先进行dct变换，然后量化，最后把量化好后的值 送进视频复合编码器。 帧间编码则是先进行以宏块(88)为基础的运动补偿预测编 码，然后将相应的当前帧块与预测帧块相减得到残差信号，最后对残差信号进行 dct变换、量化后送入复合编码器。 h.262等同于mpeg-2， 是由mpeg-1扩充二来， 支持隔行扫描， 使用十分广泛， 几乎用于所有的数字电视系统，适合标准和高清电视，适合各种媒体传输，包括 卫星、有线、地面等，都能有效传输。 h.263是itu-t为低于64kbit/s的窄带通信信道制定的视频编码标准。它是在 h.261的基础上发展起来的。它是面向运动图像远程实时传输的压缩方法。 1 绪论 3 mpeg-1是1991年公布的视频编码标准，码率为1.5mbit/s，主要用于家用vcd 的视频压缩,也可被用于数字电话网络上的视频传输，如非对称数字用户线路 (adsl)、视频点播(vod)等，还可以被用作记录媒体或是internet上传输音频。 mpeg-1的视频编码器与h.261的并无多大差别，但需要考虑双向预测编码和解码。 此外，mpeg-1编码前必须将视频图像转换成逐行扫描图像，解码时先将恢复的图 像存在缓存中以便显示时按顺序显示。 mpeg-2是1994年公布的，主要用于数字视频广播(dvb)、家用dvd的视频压 缩及高清晰度电视(hdtv)。其码率从4mbit/s、15mbit/s直至100mbit/s分别用 于不同档次和不同级别的视频压缩中。mpeg-2标准包括系统、视频、音频及符合 性(检验和测试视音频及系统码流)4个部分，采用分级编码。 mpeg-4是1999年正式成为国际标准的，与mpeg-1和mpeg-2相比，它更注重 多媒体系统的交互性和灵活性。它是针对数字电视、交互式绘图应用(影音合成内 容)、交互式多媒体等整合及压缩技术而制定的。其主要包含音视频对象编码工具 集和编码对象句法语言两个部分。 h.264标准是2003年3月在国际上正式颁布的，作为mpeg-4的第10部分，它采 用了比以前标准更复杂的编码方法，以此来获得更好的图像质量。在相同的重建 图像质量下，h.264比h.263和mpeg-4减小50%的码率。其具体关键技术将在第二 章中详细讨论。 1.3 h.264/avc 的研究现状 目前，大多数的视频会议系统均采用h.261或h.263视频编码标准。在同等速 率下，h.264能比h.263减小50%的码率，也就是说，用户即使是只利用384kbit/s的 带宽，就可以下高达768kbit/s的高质量视频服务。h.264不仅有助于节省庞大的开 支，还可以提高资源的使用效率，同时使达到商业质量的视频会议服务拥有更多 的潜在用户。 目前，国外已经有少数几家厂商的视频会议产品支持h.264协议，厂商们致力 于普及h.264这个全新的业界标准。其它视频会议方案厂商也在陆续效仿他们的做 法。美国等高等电视系统会议和日本无线电工业和事务协会都准备把h.264作为地 面便携式数字电视广播的编码方式。欧洲数字电视广播标准团体也正在将h.264作 为数字电视的一种编码方式来采用。家电行业中的视频存储设备厂商也看中了 h.264。东芝的hd dvd-rom就采用h.264。硬盘录像机hdd和dvd录像机的长时 间录像功能也会采用h.264编码，h.264能使hdtv节目录像和sdtv的长时间录像 也成为可能。因而，生成lsl芯片的厂商也十分重视h.264。甚至dvd论坛也在讨 论用h.264来压缩hdtv节目。在通讯领域，互联网工程任务已开始将h.264作为实 重庆大学硕士学位论文 4 时传输协议流的格式进行标准化。互联网和手机的视频传送也会用h.264作为编码 方式。美国polycom公司用基本档次h.264格式压缩图像的电视会议系统也已经开 始生产。日本三洋在2007年4月下旬发售了一款采用了h.264视频格式的最新的 xacti系列摄像机dmx-cg65，它支持h.264的动画记录。 如今，国内很多图像处理方面的数码产品都在开始采用h.264标准。上海文广 旗下的百事通网络电视技术发展有限公司称，上海将成为全球最大的基于h.264标 准的iptv网络。我国自主研发的凤芯2号芯片于2006年12月对外发布，该芯片支持 最新的h.264技术。厦门实物于2007年公开演示销售世界首款能解码h.264的1080p 高清多媒体硬盘播放器limhd200i。 1.4 本文研究意义及内容 作为新一代的视频压缩编码标准， h.264对多编码模式、 编码参数自适应选择、 上下文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤波以及抗误 码能力等方面进行了诸多改进，采取了一系列切合实际的技术措施，大大提高了 编码效率和网络自适应能力。与以往的视频编码标准相比，h.264的改进主要体现 在预测与熵编码技术上的改进，h.264以编解码复杂度的增加，来换取对视频压缩 性能上的提升5。随着网络技术的发展和人们对视频质量要求的日益提高，以及 h.264在hdtv中应用的增加，如何减小编码时延、提供更好的图像质量、实现更 为高速的h.264编解码器成为研究的热点。 fpga(fired programmable gate array)适宜处理计算密集型信号处理算法，并 可以有效地利用fpga内部的数据并行处理技术来方便地实现h.264标准中的多模 式处理算法，例如帧内预测等；利用硬件引擎的多重实例化技术可以有效地节约 硬件资源，提高fpga内部对ram块存储资源与寄存器组等逻辑资源的利用率，从 而可以提供更高的设计灵活性。此外，可以在fpga内部针对模块划分，采用多时 钟域处理技术，灵活地匹配系统各个环节的处理速度要求，采用流水处理技术可 以显著地提高系统设计的时钟性能，提高系统的运行速度。 本文对h.264/avc标准进行了全面、深入的分析与研究；对h.264的硬件实现 复杂度进行了分析，提出了部分改善方法，并结合现有的硬件实验平台，设计了 一种可行的h.264编码器系统方案。 系统的硬件实现采用altera公司开发的de2开发板，fpga为cyclone ii ep2c35f672c6，系统调试采用altera公司提供的signaltap ii嵌入式逻辑分析仪 对硬件的处理时序及数据进行实时监控，验证系统各功能模块运行的正确性。 论文结构安排如下： 第2章简要介绍h.264编码器原理及组成结构，并根据项目需求对h.264编码器 1 绪论 5 系统进行整体结构设计； 第3章结合现有的硬件平台，设计并实现完整的视频采集模块，同时，对采集 的数字视频进行色度取样率变换，以满足h.264/avc的处理要求； 第4章详细阐述h.264的帧内预测编码技术，使用matlab软件对亮度和色度 图像的各种预测模式进行仿真，并重点阐述44亮度子块的预测及色度宏块预测 技术的硬件实现方案及优化技术； 第5章详细讨论h.264的整数变换量化及反量化反变换技术，并进行具体的硬 件实现及相应的仿真验证； 第6章详细讨论h.264的cavlc编码原理，并采用统计的方法对cavlc的编码 特性及部分关键参数的取值范围进行分析，同时给出cavlc的具体硬件实现及相 应的优化技术和仿真验证结果； 第7章介绍系统的硬件实验平台。通过仿真验证h.264/avc的图像压缩性能， 对所设计的h.264编码器系统中各功能模块进行实验验证，并给出图像采集、 cavlc等关键电路的实现效果，对实验结果进行分析，验证电路功能的正确性及 所设计系统的有效性。 最后对全文进行总结，提出系统需要进一步完善的地方及需要进一步研究的 问题。 重庆大学硕士学位论文 6 2 h.264/avc 视频编码原理及编码系统结构设计 7 2 h.264/avc 视频编码原理及编码系统结构设计 2.1 h.264/avc 编码原理 2.1.1 h.264 编码器结构 h.264 并没有明确规定一个编码器如何实现， 而是规定了一个编了码的视频比 特流的句法。根据标准中对解码器的规定，可以归纳总结出编码器应包括的功能 模块有：帧内预测、帧间预测、变换量化、反量化反变换、熵编码。 h.264 编码器的功能组成框图如图 2.1 所示2： 图 2.1 h.264/avc 编码器组成结构 fig 2.1 structure of the h.264/avc encoder h.264 和基于以前视频压缩编码标准的编码器功能块的组成并没有区别， 主要 不同在于各功能块的细节。其编码器仍采用的是变换和预测的混合编码法。在图 2.1 中，输入的帧或场 fn 以宏块为单位被编码器处理。如图所示，首先对输