（信号与信息处理专业论文）基于fpga的avs帧间编码及整数变换量化的研究与实现.pdf

上海人学硕士学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 摘要 随着人们对多媒体需求的日益增长，视频压缩技术得到了长足的发展。从 h 2 6 1 视频编码建议，到h 2 6 4 a v c ，a v s 等都有一个共同的不断追求的目标， 即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量。然而，在视频 标准编码质量不断提高的同时，算法的复杂度也大大增加，使得在传统处理器上 实现编解码变得困难。数字图像处理的应用领域不断扩大使得实时处理技术成为 研究的热点。f p g a ( 现场可编程门阵列) 由于其自身的特点使得它非常适合用 于视频编解码的硬件实现。 本文以实现高清格式的a v s 实时编码器为目标，作者负责帧间编码和整数 变换量化的研究及其实现。通过对a v s 编码器帧间编码主要模块算法特点和复 杂度的分析，在基于f p g a 的平台上，针对帧间编码中的复杂模块和整数变换量 化模块设计了相应的硬件实现构架，以提供编码器所需要的实时性能。 本文给出了帧间编码中参考像素调度、运动搜索失真度运算阵列以及整数变 换、量化模块的详细硬件设计及实现过程。最后在m o d e l s i m 环境下建立了硬件 模块测试平台，完成了对整个设计的r t l 级的仿真验证，分析数据表明所设计 模块能够满足编码器的实时要求。 关键词：a v s ，帧间预测，整数变换，量化，f p g a 上海大学硕十学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 a b s t r a c t f o rt h ei n c r e a s i n gd e m a n do fm u l t i m e d i a , t h ev i d e oc o m p r e s s i o nt e c h n o l o g yh a s b e e nd e v e l o p e dd r a m a t i c a l l y a l lt h et i m et h eg o a li sac o m m o nc o n s t a n tp u r s u i tt h a t a c h i e v i n gt h eq u a l i t yo fp i c t u r ea sg o o da sp o s s i b l eo nt h eb a s i so fc o d er a t e ( o r m e m o r yc a p a c i t y ) a sl o w 弱p o s s i b l ef r o mt h es u g g e s t i o no fh 2 6 1v i d e oc o d et o h 2 6 4 a v c 、a v sv i d e oc o d e ，e t c h o w e v e r , l a t e s tv i d e oc o d i n gs t a n d a r d s ，s u c ha s h 2 6 4 a v ca n da v s ，a r ec h a r a c t e r i z e db yh i g hc o m p l e x i t ya sw e l la sc o m p r e s s i o n e f f i c i e n c y t h er e a l - t i m ep r o c e s s i n gt e c h n o l o g yo fd i g i t a li m a g ep r o c e s s i n gh a s b e c o m eah o t s p o to fr e s e a r c h ，a st h ea p p l i c a t i o n so fd i g i t a li m a g ep r o c e s s i n ge x t e n d c o n t i n u o u s l y b e c a u s eo fi t su n i q u ef e a t u r e s ，f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) i sm o s ts u i t a b l ef o rp e r f o r m i n gr e a l - t i m ei m a g ep r o c e s s i n g t h i sd i s s e r t a t i o nf o c u s e do nr e a l i z i n gaa v sh dr e a l t i m ee n c o d e r t h ea u t h o r t o o kc h a r g eo ft h ed e s i g no fi n t e r - f r a m ec o d i n g ，i n t e g e rt r a n s f o r ma n dq u a n t i z a t i o n b a s e do ne v a l u a t i n gt h ec o m p l e x i t yo ft h em a i np r o c e s s i n gm o d u l e si na v se n c o d e r a n dt h ec h a r a c t e r i s t i co ff p g a ，t h es p e c i a la r c h i t e c t u r e a r ed e s i g n e df o rt h o s e c o m p l i c a t e da n dt i m e c o n s u m i n gm o d u l e s ，i no r d e rt or e a c ht h es y s t e mr e q u i r e m e n t t h i st h e s i sp r o p o s e dt h ei m p l e m e n t a t i o no fh a r d w a r ea l g o r i t h m so fr e f e r e n c e p i x e l s ，a r i t h m e t i ca r r a y , i n t e g e rt r a n s f o r ma n dq u a n t i z a t i o n f i n a l l y , at e s t b e n c hw a s e s t a b l i s h e du n d e rt h ee n v i r o n m e n to fm o d e l s i ma n df u l 6 l l e dt h er t ls i m u l a t i o na n d v e r i f i c a t i o no ft h ep r o c e s s o r t h em a x i m u mf r e q u e n c yo ft h ei n t e r - f r a m ec o d i n g , i n t e g e rt r a n s f o r ma n dq u a n t i z a t i o nc a l lr e a c h10 0 m h z ，s ot h ed e s i g nc a nm e e tt h e r e a l i t i m er e q u i r e m e n to ft h ea v se n c o d e r k e y w o r d s ：a v s ，i n t e rf r a m ec o d i n g ，i n t e g e rt r a n s f o r m ，q u a n t i z a t i o n ，f p g a i i 上海大学硕士学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人己发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 签名：圣诱詹日期： 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：王孛屠导师签习日期： 上海人学硕十学位论文 基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 1 1 研究背景 第一章绪论 随着上世纪七十年代后大规模和超大规模集成电路技术、数字信号处理技 术、计算机技术、通信技术的跨越式飞速发展，人类对信息的处理也迅速从模拟 领域进入数字领域，从本地的单机处理进入网络交互式处理，从简单的文本信息 处理进入多媒体信息处理。 互联网的飞速发展，消费类电子、通信、影视、及广播、计算机技术日益紧 密地结合起来，多媒体信息传递过程中所需要存储和传输的数据量的急剧增加， 不进行图像压缩编码给存储器存储容量、传输信道的传输率( 带宽) 及计算机的 处理速度等方面增加极大的压力。在这样的情况下，视频压缩技术成为多媒体技 术的关键所在【1 1 。 传统的压缩编码技术是建立在香农( s h a n n o n ) 信息论基础上的，它以经典 的信息论为基础，用统计概率模型来描述信源，但它未考虑信息接受者的主观特 性及事件本身的具体含义、重要程度和引起的后果。 基于波形的图像编码方法为第一代图像压缩编码技术。第一代图像压缩编码 技术的实现相对来说较简单，主要有预测编码、变换编码和统计编码这三大经典 编码方法。其编码的基本实体是像素或像素块，是非常好的纹理编码方案，能够 在中等压缩率的情况下，提供较好的图像质量。但是，它没有利用图像自身的结 构特点，其压缩比普遍不高，往往无法提供令人满意的质量；另外，它不考虑或 基本不考虑人眼的视觉系统h v s ( h u m a nv i s u a ls y s t e m ) 对编码图像的影响，而 图像信息的最终接受者恰恰就是人。因而，第一代图像压缩编码技术还具有很大 的发展潜力。 2 0 世纪8 0 年代，第二代图像编码技术被正式提出。它突破了原有信息论的框 架，实现了从“波形 编码到“模型 编码的转变。从根本上讲，实现图像编码 可分成两步，第一步把图像变成一个消息序列；第二步把码字分配给这些消息。 第一代图像压缩编码方法重点在码字分配，第二代图像压缩编码方法则侧重图像 上海大学硕上学位论文基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 如何表示为消息序列，这时图像中被编码的实体不再是按图像和像素块来划分， 而是按其内容进行划分。第二代编码方法主要包括：基于分形的编码、基于模型 的编码、基于区域分割的编码和基于神经网络的编码等，其压缩比多在3 0 ：1 至l j 7 0 ：l 之间。但是第二代编码方法大大增加了实现的复杂度，从当前发展情况来看，它 仍处于深入研究的阶段。 近年来，出现了一类充分利用人类视觉特性的“多分辨率编码 方法，如子 带编码，塔形编码和基于小波变换的编码。这类方法原理上仍属于线形处理，属 于“波形 编码，可归于经典编码方法，但它们又充分利用了人类视觉系统的特 性，因此可以看作是第一代编码技术向第二代编码技术过渡的桥梁。 国际上目前已经有了最新的国际标准h 2 6 4 a v c ，欧洲d v b ( d i g i t a lv i d e o b r o a d c a s t i n g ) 联盟也正逐步用m p e g - 4 取代m p e g - 2 ( g e n e r i cc o d i n go fm o v i n g p i c t u r e sa n d a s s o c i a t e d a u d i o ) 我国积极参与了新国际标准的制定并做出了一定的 技术贡献，但是，新的标准仍有一个收费问题，高额的费用将使得该技术的产业 化受到严重影响。实际上，目前围绕新一代视频编解码技术，激烈的竞争已经趋 于白热化，视频编解码标准已经出现多项共存，求同存异的阶段。 1 2 国内外研究现状 尽管a v s 的编码复杂度是m p e g 2 的5 至1 j 7 倍，然而半导体的计算能力从 m e p g 2 问世以来已提高约1 0 0 倍，这为a v s 实时编码器的实现奠定基础。 2 0 0 6 年2 月底，a v s 标准的视频部分( a v s i - p 2 ) 被正式批准为数字视频国家 标准，并于2 0 0 6 年3 月1 日起正式实施。在这短短的一年多以来，a v s 有了很大的 发展，其产业链也日益完善和蓬勃发展起来。目前，a v s i 作组会员单位已经包 括了华为、中兴、联想、s v a 和t c l 等国内翘楚，以及诺基亚、英特尔、i b m 、飞 利浦等国际巨头在内的1 3 2 家单位。i p t v 是a v s 标准第一个突破的应用领域。a v s 融合地面视频传输国标一步到位，杭州广电“双国标 电视启动运营，使a v s 国 家标准继i p t v 之后的又一重大应用突破。a v s 产品百花齐放的局面正在形成，十 多款a v s 机顶盒产品已经能够进入ip 1 v 和广播电视市场【2 1 。2 0 0 8 年1 1 月，在“2 0 0 8 中国国际工业博览会 上，上海广电集团推出了a v s 地面数字电视终端一体机【3 】。 2 上海大学硕上学位论文基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 随着地面数字一体机的推出，a v s 标准在地面数字电视中的应用已经日趋完备。 目前，a v s 标准已经陆续在上海市，杭州市，陕西省，青岛市，太原市和四川省 进入大规模商用阶段，因此基于a v s 标准的地面双国标一步到位的格局已经形 成。 由于a v s 标准仍处于一个发展和完善的阶段，从而要求编码器的实现平台应 具有相当的灵活性和可伸缩性，不仅能够快速的适应标准的发展，还能面向不同 的视频应用。因此，目前的实时编码器解决方案都是完全可编程的，硬件平台设 计往往基于可编程d s p 和f p g a ，通过软、硬件结合的方式实现系统的设计。要想 将a v s 应用到实时系统中，一方面需要硬件的发展，另一方面还需不断地优化算 法和具体实现的方式。 1 3 课题的目的及意义 a v s 信源编码技术和标准为我国数字音视频产业的发展提供了难得的机遇 【4 】【5 1 。首先，国际标准在技术上需要平衡各方利益，我国的a v s 则不需要考虑这 些因素，可以做的更好；其次，国际标准的知识产权问题能否有效解决是影响其 产业应用的重要因素，在这方面a v s 标准具有自主知识产权，可以摆脱知识产权 的牵制；第三，我国在m p e g 2 标准上的开发和运营投入相对于发达国家来说较 少，如果采用a v s 新标准，历史包袱相对较少。 当前最重要的是，如果自主的a v s 标准在技术上能够不断突破，在性能上能 够不断提高并具有兼容特色的话，就能够加快其产业化的步伐，建立和营造有利 于该技术发展的环境和氛围，全面升级以视频压缩技术为基础的行业发展。中国 如果能抓住这个机会，一步跨越到新一代技术前沿，并具有足够大的市场规模， 就能使中国产业界以强者的姿态加入到这个行业中，在技术专利标准芯片一系 统产业这个产业链上，具有全面的主动权。 在视频编解码领域，随着a v s 标准的出台，各大厂商和一些民间机构都对此 方面进行了研究，形成了自身的特色。但是，这些算法都是基于软件平台的，或 是在p c 机上进行算法的深入研究。算法的深入和复杂化会带来更好的压缩效果， 同时能保证压缩图像的失真度尽可能的降低，其缺点是不能脱离软件平台而存 3 上海人学硕士学位论文基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 在，实时性较差。 因此，2 0 0 6 年1 2 月信息产业部和上海市科委共同资助，上海大学与上海广电 集团中央研究院合作的项目a v s 实时高清编码器正式立项。本课题以实现a v s 实 时高清编码器为目标，作者主要负责帧间编码和整数变换量化模块的设计。本课 题中采用的是现场可编程逻辑器件( f p g a ) ，充分发挥f p g a 高速、实时的特点， 在视频图像压缩处理领域进行应用尝试，以期望能提供一个新的解决途径，同时 也为进一步设计视频处理的特定用途集成电路a s i c ( a p p l i c a t i o ns p e c i f i c i n t e g r a t e dc i r c u i t ) 打下坚实的基础。作者的研究侧重三个方面，第一，通过对a v s 帧问编码算法复杂度的评估和算法特点的分析，在尽可能不损害编码图像质量的 前提下，提出适合于f p g a 实现平台的软件模型，进而构架出基于f p g a 正确有 效的a v s 帧间编码系统。第二，根据帧间编码中部分模块高度的复杂性，专门设 计了相应的实现方式。针对参考数据存取复杂性，提出了一种基于f p g a 的高效 参考像素调度方法，大大缩短数据存取所需的时间，使得以较短的时间实现复杂 的运动估计算法成为可能。针对运动估计过程中失真度的计算特点，设计了专门 的运算阵列，大大降低了运动搜索的计算复杂度。第三，针对a v s 中整数变换、 量化所独有的特点和f p g a 自身的硬件优势，专门设计相关的实现电路，使其能 够满足a v s 编码器的实时特性。 1 4 论文创新点 如上所述，通过近两年的深入研究，作者在所负责的帧间编码和整数变换量 化模块设计方面取得了较大的进展，本文主要的创新点如下： 1 深入分析了a v s 参考软件模型( r m 5 2 h ) 中帧间编码算法复杂度和算法特 点，针对f p g a 硬件实现平台的自身特性，在尽可能不影响编码图像质量的前提下， 对a v s 软件模型进行了一系列改进，并在此基础上提出了适合于f p g a 实现的a v s 帧间编码系统构架。虽然牺牲了一些图像质量，但算法改进后帧间编码复杂度显 著降低，数据存取存在一定规律性。对改进的a v s 软件模型进行测试，可知算法 改进对编码器的性能影响在可接受的范围以内。 2 根据本文所实现的帧间编码系统中，运动估计所选定的搜索中心位置， 4 上海大学硕士学位论文基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 分析运动估计所需的参考像素特点，利用三个内部存储器实现了参考像素的高效 存取，并且利用参考像素值的预写入，使得帧与帧之间形成能够连续进行的流水 结构，以节省重复读取大量参考像素的时间，使得在硬件实现时以较短的时钟周 期完成整像素和亚像素的运动估计成为可能。 3 针对a v s 运动估计失真度计算一致性的算法特点，采用运算单元阵列来获 得并行计算能力，提高了处理单元的执行效率，使得运动估计中失真度的计算时 间显著减少。 4 通过功能模块复用、流水线操作等硬件设计技巧，整数变换量化模块在 保证编码器实时性的前提下，尽量节省硬件资源。与文献 6 【7 相比，本文所设 计的硬件实现方案在相同的资源占用率下，具有更高的处理速度和更短的关键路 径。 1 5 论文的内容安排 论文全文共分为7 章，其内容安排如下： 第一章绪论，首先阐述本文的研究背景，目的，意义以国内外研究现状， 然后概括介绍本文的创新点以及论文的内容安排； 第二章a v s 视频编码标准概述，介绍了视频编解码的原理以及一些主要的 视频编解码标准，重点介绍了a v s 视频编解码标准。 第三章a v s 实时编码器的系统架构，通过对a v s 实时编码器的复杂度分析， 给出了基于f p g a 的a v s 实时编码器的系统构架，并在此基础上进一步确定了 a v s 实时编码器中的流水线控制机制。 第四章帧间编码算法研究与实现，简要介绍了a v s 标准中的帧间编码技术， 针对其算法的特点和实现复杂度，对a v s 参考软件模型( r m 5 2 h ) 作了改进，并 在此基础上给出了基于f p g a 的帧间预测硬件结构设计。详细阐述了复杂模块参 考像素存储和运动估计失真度的硬件结构设计。 第五章a v s 整数变换量化算法研究与实现，介绍了整数变换和量化的算法 原理，并对其进行了性能和复杂性的分析，提出了一种适合于f p g a 实现的电路 设计，对该设计结构进行了综合、仿真并与其它设计进行了比较； 上海大学硕上学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 第六章仿真与验证，给出了基于m o d d s i m6 3 a 的硬件测试平台，实现了软 件算法模型和硬件模块性能的测试。 第七章总结与展望，总结论文所取得的成果和存在的问题，展望a v s 实时 编解码设计的未来研究方向。 6 上海大学硕士学位论文 基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 第二章a v s 视频编码标准概述 我国作为一个电子消费类产品的生产和消费大国，完全应该利用可以自主控 制的技术形成自主信源编码标准，而且，国内的研究团队目前已经具备了这种能 力。几年来，在国家“8 6 3 计划的支持下，中国科学院计算技术研究所先后联 合了国内从事数字音视频编解码技术研发的组织和企业，在积极参与国际标准制 定的基础上，对数字音视频技术开展了较为深入的研究，提出并完成了具有自主 知识产权的数字音视频编解码技术a v s 。 2 1 主要的视频编码原理 无论是哪一种视频编码标准，其目的都是实现对视频的压缩，其核心思想是 去相关。通过减少视频序列间的相关性，降低视频内容中的冗余，用较少的比特 数来表示视频内容，从而实现对视频的压缩。这些冗余包括t 1 空间和时间冗余。图像的空间冗余指的是在同一帧画面中，相邻像素之 间的相关性，而时间冗余通常是对视频序列而言，除非发生场景切换，否则相继 帧在时间上都是连续的。在前后两帧中往往包含与当前帧相似的背景和对象。运 动越缓慢，位置变换越小，视频序列在时间轴上的相关性就越强。视频压缩的目 标就是在保证重构图像质量的前提下尽量去除图像本身存在的空间相关性和序 列间的时间相关性。 2 信息熵冗余。对于图像数据的像素，若其平均码长大于所表示信息的信 息熵，n - 者的差值就是信息熵冗余。然而对于实际图像数据的每个像素，很难 得到它的信息熵。在数字化一幅图像时，若对于每个像素都是用相同的比特数表 示，必然会存在信息熵冗余。信息熵冗余、空间冗余和时间冗余统称为统计冗余， 因为它们都决定于图像数据的统计特性。 3 人眼视觉冗余。人眼视觉具有非均匀性，使得人眼视觉对某些空间频率 感觉迟钝。这些信息在通常的视觉过程中相对来说不那么重要，可以认为它们是 人眼视觉冗余。人眼视觉冗余的存在与人观察图像的方式有关，人在观察图像时， 7 上海人学硕+ 学位论文基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 主要是寻找某些比较明显的码本特征，而不是定量的分析图像中每一个像素的亮 度。人们通过分析这些特征与先验知识结合以完成对图像的解释过程。 正是由于以上的原因，图像的数据压缩是可能的。图像数据压缩技术是多媒 体技术中十分重要的组成部分。如果不进行数据压缩，则无论传输还是存储都很 难实用化。而采用数据压缩的好处就在于： 1 能快速传输各种媒体的信息源，降低信道的占用和提高外设备吞吐量； 2 压缩数据存储容量，降低存储费用； 3 可以降低发射机功率，对于多媒体移动通信系统尤为重要，如目前流行 的w a p 手机上网及未来将要开通的3 g 业务等。 2 2 视频压缩编码标准 视频编码经过十几年的完善和发展，已经成为一个技术内容繁多，理论体系 庞大的重要学科。国际标准化组织( i s o ) 、国际电工联合会( i e c ) 及国际电信 联合会( i t u t ) 陆续制定的各种视频压缩标准，不断吸纳发展成熟的视频压缩 技术，推动了视频技术在各领域的迅速普及。i t u t 相继发布了h 2 6 x 系列标准， 而i s o i e c 则推出- j j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 和m p e g ( m o v i n g p i c t u r e se x p e r t sg r o u p ) 系列标准。i s o i e cj p e g 系列标准j p e g 和j p e g2 0 0 0 ，主 要针对静止图像的压缩应用，如数码相机。i s o i e cm p e g 系列标准m p e g 一1 和 m p e g 2 ，主要针对视频存储和回放、数字电视广播和视频点播应用；m p e g 4 的目标是获得更大范围的多媒体应用。1 1 r u t h 2 6 x 系列标准如h 2 6 1 、h 2 6 3 主 要针对视频通信应用，如数字视频电话和视频会议。新近国际标准h 2 6 4 和我国 自主标准a v s 的压缩对比之前的标准在压缩率上有着明显的提高，在数字电视广 播、数字存储媒体、多媒体通信方面有着更广阔的应用前景。 2 2 1m p e g 2 m p e g 2 【8 9 1 的全称是“g e n e r i cc o d i n go f m o v i n gp i c t u r e sa n da s s o c i a t e d a u d i o 。m p e g - 2 的目标是在3 m b p s 3 5 m b p s 的传输速率下，提供高质量的多媒 体信号，并提供质量、时间、空间上的可伸缩性。与m p e g 1 相比，m p e g 2 加 8 上海人学硕士学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 入了以下两个主要的新技术：对隔行扫描的支持和可伸缩性编码。 普通的电视信号采用隔行扫描的方式，一帧分为两场进行扫描。在一帧图像 中相邻的行属于不同的场，在景物存在快速垂直运动时，相邻行的相关性降低， 会影响编码的效率。为了尽可能提高编码的性能，m p e g 2 允许以场为单位进行 运动补偿和变换编码。 可伸缩性，顾名思义，就是根据实际的需要( 如可利用的信道宽度、解码终 端的处理能力等) 在编码质量和码流大小之间取得折衷。m p e g 2 支持4 种可分级 编码模式：数据划分、信噪比( s n r ) 分级、空域分级、以及时域分级。每种分 级模式更详细的说明请参阅文献 1 0 。 m p e g 2 从编码到传输的体系十分完善，并且支持的码率范围大，应用领域 十分广阔，涵盖了卫星广播服务、有线电视、有线广播、数字地面电视、电子影 院、家庭影院、互动媒体、远程视频监控等方面。大家所熟悉的d v d 就是基于 m p e g 2 标准的。可以说，m p e g 2 是目前最成功的视频编码标准之一。 2 2 2h 2 6 3 h 2 6 3 是c c i t t ( 现i t u - t ) 于1 9 9 5 年提出的更低比特率的视频编码方案，可 将图像最低编码至l j 2 0 k b p s ，通过电话线上以2 2 8 k b p s 的v 3 4m o d e m 传输，图像 质量达到1 7 6 1 4 4 或1 2 8 9 6 分辨率下5 1 5f s 的水平。 h 2 6 3 t e 常适合在固定带宽的信道中传输视频信号。m p e g i 、h 2 6 1 、h 2 6 3 三种编码方式都是针对低成本的编码方案。m p e g i 编码方式实现在4 0 0 k b p s - - 2 m b p s 速率上传输c i f 格式、每秒5 - - 一3 0 帧的活动图像；h 2 6 1 编码方式采用了区 域更新的方法，进一步降低了码流速率，实现在1 2 8 一- 7 6 8 k b p s 的速率上传输c i f 或q c i f 格式、每秒5 - - - 2 5 帧的活动图像：h 2 6 3 编码方式是三种方式中数据流速 率最低的一种，它在h 2 6 1 的基础上增加了四种编码选项，将码流速率降到 1 2 8 k b p s 以下，在9 6 1 2 8 k b p s 的速率上传输c i f 或q c i f 格式、每秒1 - 1 5 帧的活 动图像，特别适合在电话线上传输质量要求不高的活动图像。 在完成h 2 6 3 标准的制定工作后，为适应在窄带网络环境上传输视频信息， i t u t 在1 9 9 8 年1 月通过了h 2 6 3 标准的第二版h 2 6 3 + 1 l 】，增加了十二个新的高级 9 上海大学硕士学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 模式。2 0 0 0 年1 1 月，又推出了第三版h 2 6 3 + + 【1 2 】，新增了3 个高级模式。新增模 式主要包括：参考帧再采样模式、高级帧内编码模式、交替帧间v l c 选择模式、 分片结构模式、参考帧选择模式、数据分割模式可分级扩展编码等。 2 2 3m p e g 4 m p e g 4 1 3 】【1 4 1 于1 9 9 8 年推出，正式名称为：i s o1 4 4 9 6 2 。其应用目标是针对 窄带宽传输、高画质压缩、交互性操作以及将自然物体与人造物体相溶合的表达 方式，同时还特别强调广泛的适应性和扩展性。其核心是：1 基于内容的交互 性。支持基于内容的操作和码流编辑，自然与合成数据的混合编码，增强的时间 域随机存取。2 具有极高的压缩比。具有多个并发六编码能力，可以实现对景 物的多视角编码。3 具有通用存储性。提供一种抗误码的鲁棒性，可以实现基 于内容的尺度可变性。作为第一个面向对象的视频编码标准，m p e g 4 的出现具 有很强的历史意义。为了支持面向对象的交互，m p e g 4 中引入了视频对象的概 念。视频对象平面( v o p ，v i d e oo b j e c tp l a n e ) 是m p e g 4 中重要的数据结构， 通过v o p ，高压缩比和基于内容的访问得以实现。另外，它引入了形状编码技术， 基于1 6 x1 6 宏块的形状编码算法可对任意形状的v o p 进行编码。 2 2 4h 2 6 4 a v c h 2 6 4 a v c 作为面向电视电话、电视会议的新一代编码方式，最初是由i t u 组织的视频编码专家组( v c e g ，v i d e oc o d i n ge x p e r t sg r o u p ) 于1 9 9 7 年提出的。 直至1 2 0 0 1 年底，鉴于h 2 6 4 a v c 的实验模型的性能明显优越于现有的m p e g 4 的 软件模型，i s o i e c 的m p e g 组织也加入了i t u t 的v c e g ，组成了联合视频小组 ( j v t ，j o i n tv i d e ot e a m ) ，共同完成h 2 6 4 a v c 的制定工作，其目标就是建立一个 单独的，新的i t u - t 视频编码标准，同时也作为m p e g - 4 家族的一部分( m p e g p a r t - 1 0 ) 。 具体来说，h 2 6 4 a v c 支持三个不同档次的应用。基本档次：主要应用于“视 频会话”，如会议电视、可视电话、远程医疗和教育等。扩展档次：主要用于网 络的视频流，如视频点播。主要档次：主要用于消费电子，如数字电视广播、数 1 0 上海人学硕十学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 字视频存储等。h 2 6 4 在混合编码的框架下引入了新的编码方式，提高了编码效 率，更贴近实际应用。 h 2 6 4 a v c 的应用目标广泛，可满足各种不同速率、不同场合的视频应用， 具有较好的抗误码和抗丢包的处理能力。h 2 6 4 a v c 对网络传输具有更好的支持 功能。它引入了面向口包的编码机制，有利于网络中的分组传输，支持网络中视 频的流媒体传输。h 2 6 4 a v c 标准使运动图像压缩技术上升到了一个更高的阶 段，在较低带宽上提供高质量的图像传输是h 2 6 4 a v c 的应用亮点。 2 3a v s 视频压缩标准简介 a v s l p 2 是我国数字音视频编解码技术标准工作组联合国内众多研究机构 和企业共同制定的第二代音视频编解码标准。该标准主要针对高分辨率和标准分 辨率数字电视广播、数字存储媒体、网络流媒体、多媒体通信等应用，视频部分 已于2 0 0 6 年3 月被正式批准成为国家标准。 2 3 1a v s 编码器结构 a v s 视频压缩标准并没有明确规定编解码器如何实现，而仅仅规定了编码视 频比特流的语法和语义，以及语法单元的解码过程。这种松弛的约束给予整个标 准最大限度的灵活性，新的算法和特性可以快速融入到标准中来，也可以针对特 定的应用对编码方法进行优化。保证了各个厂商的编解码器在此框架下能够互 通，同时在实现上具有较大的灵活性，有利于相互竞争。 与以往的视频编码标准( 如h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g 2 ) 相比，a v s 采用的仍然是基于块的混合编码方法，因此编码框架基本一致，如图2 - 1 。该标 准采用了较多新的更加有效的编码技术包括8 8 整数余弦变换、量化、熵编码、 帧内预测、帧间预测、环路滤波等，编码效率比第一代m p e g 2 标准高2 3 倍， 和h 2 6 4 标准编码效率相当。图像帧被分割成1 6 1 6 大小的若干宏块以降低计 算复杂度，编码的对象就是宏块。利用图像帧在时间和空间上的相关性，对编码 宏块进行帧内预测或帧间预测，将预测宏块与原始宏块差分后，得到一个残差块， 进一步通过变换来改善残差系数的能量集中性能，并将量化后的残差系数进行熵 r m 学碰l 学* 论j幕f f p g a 的a v s 帧目编6 q 蜷按i m 研究2j 实现 h2ia v s 编码器结构扯h 编码，加入必要的解码信息后，进行传输或存储。同时，为了消除编码端和解码 端的漂移误差，在编码器中必须包含解码步骤，得到与解码端一致的重建图像作 为预测参考。解码步骤就是图2 一l 中的虚线框内的部分。残差系数经过反量化， 反变换后得到重建系数，与预测宏块相加后，得到重建宏块，再通过去块滤波消 除块效应后存入帧存储器，作为下一个预测帧的参考。 通过以上分析发现，预测残差在经过8 x 8 整数余弦变换和量化后有两条路 径输出：一条路径经z i g z a g 扫描完成重排序过程，得到一位排列的量化系数， 井最终经过熵编码后得到压缩码流；另一条路径经过反量化、反变换得到残差， 并与预测值相加后形成重建数据，将其作为后续帧内预测的参考值，在其经过环 路滤波处理后送入帧缓存中用于帧日j 预测的参考值。综上所述，可知在整个编码 过程中有两条数据流通路前向通路和重构通路。前向数据通路用于输入数据 的编码，输出挫缩后的码流；重构数据通路用丁二输入数据的预测，输出后续宏块 预测所需的参考值。 a v s 标准尽管沿袭了基于块的混合编码方法，但是由于在各功能块的细节上 采用了新的技术，使其编码效率显著提高。具体的编码流程图如图2 - 2 。 上海大学硕上学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 2 3 2 编码比特流的结构 n o 图2 2 编码器流程图 与m p e g 2 类似，a v s 标准采用基于分层的数据结构。整个视频序列是比 特流的最高层语法结构。视频序列由序列头开始，后面跟着一个或多个编码图像， 每帧图像之前应有图像头。编码图像在比特流中按比特流顺序排列，比特流顺序 应与解码顺序相同。解码顺序可与显示顺序不相同。序列结束码表明了一个视频 序列的结束。 视频序列头由视频序列起始码开始，后面跟着一串编码图像数据。序列头可 1 3 上海大学硕士学位论文 基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 在比特流中重复出现，称为重复序列头。使用重复序列头的主要目的是支持对视 频序列的随机访问。序列头后的第一个编码图像应是i 帧。在对比特流进行编辑 或随机访问的情况下，重复序列头之前的全部数据可被丢弃，这样得到的一个新 的比特流仍应符合a v s 标准。 其次是图像层。一幅图像是一帧，帧由三个样本矩阵构成，包括一个亮度样 本矩阵( y ) 和两个色度样本矩阵( c b 和c r ) 。样本矩阵元素的值为整数。y ， c b 和c r 三个分量与原始的( 模拟) 红、绿和蓝色信号之间的关系，包括原始信 号的色度和转移特性等可在比特流中定义，这些信息不影响解码过程。其编码数 据由图像起始码开始，到序列起始码、序列结束码或下一个图像起始码结束。 在a v s 标准中有三种图像格式：4 ：2 ：0 格式，4 ：2 ：2 格式，4 ：4 ：4 格式。 对于4 ：2 ：0 格式，c b 和c r 矩阵水平和垂直方向的尺寸都只有y 矩阵的一半。亮 度和色度样本位置如图2 - 3 。 oooooo oooooo oooooo oooooo o 代表亮度样本 代表色度样本 图2 - 34 ：2 ：0 格式下亮度和色度样本位置 对于4 ：2 ：2 格式，和c r 矩阵在水平方向的尺寸只有y 矩阵的一半，在垂 直方向的尺寸和y 相同。亮度和色度样本位置如图2 4 所示。 o圆oo ooooo oooo oooooo o 代表亮度样本代表色度样本 图2 _ 44 ：2 ：2 格式下亮度和色度样本位置 1 4 簿 学颂位论文基十肿g a 的a v s 帻问编码及鼓盘换量化的研究b 实m 对于4 ：4 ：4 格式，c b 和c r 矩阵在水平和垂直方向的尺寸都和y 矩阵一样 亮度和色度样本位置如图5 所示。 圆圆圆圆 圆圆圆 圆 圆圆圆圆 圆 o 代表亮度样本代表色度样奉 图2 - 54 ：4 ：4 格式f 亮度和乜度样率位置 第三层是条带层。条带是按光栅扫描顺序连续的若干宏块行，条带内的宏 块行不应重叠，条带之间也不应重叠。条带内宏块的解码处理不应使用本图像其 他条带的数据。如果隔行图像的两场数据依次出现，这两场数据应届于不同的条 带。条带结构如图2 - 6 所示。 幽2 - 6 条带结构 第四层为宏块层，宏块的大小为1 6 1 6 。图像划分为宏块，宏块左上角的 点不应超出图像边界。在比特流中，当隔行扫描图像的两场编码数据依次出现时， 任一宏块的像素应来自同一场。宏块的划分如图2 7 所示，这种划分用于运动补 偿。图2 7 中矩形罩的数字表示宏块划分后运动矢量和参考索引在码流中的顺序。 第五层为块层，大小为8 8 。在不同的图像格式下，一个宏块所包含的块 的数日有所不同。在4 ：2 ：0 格式下，个宏块包括4 个8 x 8 亮度块( y ) 和2 个 8 x 8 色度块( 1 个c b ，1 个c r ) 。如图2 - 8 所示，图中数字为宏块中8 x 8 块的顺 萄 上海大学硕十学位论文基于f p g a 的a v s 帧问编码及整数变换量化的研究与实现 序号。 宏块划分 1 个1 6 1 6 亮度块 和相应的色度块 2 个1 6 8 亮度块 和相应的色度块 2 4 - 8 x1 6 亮度块 和相应的色度块 4 + 8 x 8 亮度块 和相应的色度块 口日田田 图2 7 宏块的划分 田田曰 yc bc r 图2 - 8 宏块划分为8 x 8 块( 4 ：2 ：o 格式) 在4 ：2 ：2 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和4 个8 x 8 色度块( 2 个c b ，2 个c r ) 。如图9 所示，图中数字为宏块中8 x 8 块的顺序号。 田圈曰 yc bc r 图2 - 9 宏块划分为8 x 8 块( 4 ：2 ：2 格式) 在4 ：4 ：4 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和8 个8 x 8 色度块( 4 个c b ，4 个c r ) 。如图1 0 所示，图中数字为宏块中8 x 8 块的顺序号。 2 3 3 图像类型 田田田 yc bc r 图2 1 0 宏块划分为8 x 8 块( 4 ：4 ：4 格式) 同h 2 6 4 a v c 类似，a v s 标准一共有三种编码图像：i 帧、p 帧和b 帧。在 同一个视频序列中，不一定同时有这三种编码图像，但一定有i 帧编码图像。 i 帧为帧内编码图像，其利用帧内相邻像素或相邻行像素的亮度和色度信号 的空间相关性进行预测，由于没有运动预测，所以其编码数据量较大，但i 帧的 1 6 上海大学硕上学位论文基于f p g a 的a v s 帧间编码及整数变换量化的研究与实现 编解码不依赖于其他帧，可以独立进行，能够有效地控制差错的传播，编码后的 图像可随机插入压缩图像序列。 p 帧为帧间预测编码图像，其不仅可以利用帧内像素的空间相关性进行预 测，而且能够以最近的前一个或两个图像为基准并通过运动补偿方式进行预测， 其本身也是下一个图像编码的参考。与i 帧相比，p 帧的压缩效率较高，但由于 其对前面的i 帧或p 帧编码图像有依赖，前面编码图像中的误差会被扩散传播。 b 帧为双向预测编码帧，其能够利用帧内像素的空间相关性进行帧内预测， 也能够同时以前面的i 帧或p 帧编码图像和后面的p 帧或i 帧编码图像为基准进 行运动补偿预测。通过前面的i 帧或p 帧进行预测称为前向预测，以后面的i 帧 或p 帧为基准的预测称为后向预测，b 帧是前向预测与后向预测得到的对应像素 值的平均。b 帧可以采用的预测方式较为全面，因此其压缩率最高，同时预测复 杂度也最高。b 帧对前向或后向的帧都有依赖性，但由于其不被用作参考图像， 因而不会扩散传播误差。 2 3 4 图像间的顺序 如果视频序列中没有b 帧，解码顺序与显示顺序相同。如果视频序列中包 含b 帧，解码顺序与显示顺序不同，解码