（电路与系统专业论文）基于leon2的avs视频解码器的设计研究.pdf

摘要 摘要 a v s 是我国具备自主知识产权的第二代信源编码标准，其重点解决的问题是 数字音视频海量数据的编码压缩问题。a v s 作为数字音视频产业“牵一发动全身 的基础性标准，为我国构建“技术一专利一标准_ 芯片与软件_ 整机与系统制造 一数字媒体运营与文化产业”的产业链条提供了难得机遇。a v s 解码芯片的设计 是a v s 产业化的核心部分，因此，如何设计出低成本并具高性能的a v s 解码芯 片，具有重要的意义。 本文在此背景下，基于3 2 位嵌入式微处理器l e o n 2 进行了a v s 解码器的 设计研究。首先，对a v s 视频标准进行了初步研究，并对其关键技术进行深入 分析。其次，对l e o n 2 处理器的原理做了简单的分析，介绍了l e o n 2 处理器 在s o c 设计中的优势和国内外应用现状，并对l e o n 2 处理器的v h d l 代码进 行了分析，并扩展了其内部r a m 。接着，结合开放源码阐述了a v s 视频解码原 理，对开源的a v s 解码器代码进行了深入的分析；根据l e o n 2 处理器的特点， 对开源的a v s 解码器代码进行编写，并在l e o n 2 处理器的开发平台上进行了功 能验证。最后，对a v s 解码器进行了软硬件划分，设计了一种基于l e o n 2 的 a v s 解码器架构，对部分软件流程控制进行了仿真，并采用s y s t e m c 对宏块解 码单元做了行为级建模及验证。 本文完成了a v s 解码器在l e o n 2 开发平台上的移植，并正确地实现了视频 解码功能；在m o d e l s i m 下，设计的a v s 解码器架构软件部分的仿真结果符合设 计要求；采用s y s t e m c 对宏块解码单元进行了行为级建模并验证了该单元的正确 性。 关键词：a v s ；l e o n 2 ；视频解码器 a b s t r a e t a b s t r a c t a v sw h i c h0 1 1 1 n a t i o no w n st h ei n t e l l e c t u a lp r o p e r t yi st h es e c o n dg e n e r a t i o n c o d i n gs t a n d a r do fi n f o r m a t i o n i tc o m e so u tt os o l v et h ec o d i n gc o m p r e s s i o np r o b l e m o ft h em a s s i v ed a t ao fv i d e oa n ds o u n d a v si sn o wt h eb a s i cs t a n d a r do fv i d e oa n d s o u n dw h i c ho f f e r su st h eg r e a t e s to p p o r t u n i t yt ob u i l dt h ei n d u s t r i a lc h a i no f t e c h n o l o g y - p a t e n t - s t a n d a r d - c h i p & s o r w a r e - s y s t e m & s y s t e mm a n u f a c t u r e - d i g i t a l m e d i ap r o g r a ma n dl i t e r a t u r ei n d u s t r y ”t h ea v sd e c o d e rc h i pi st h ec o r eo fa v s i n d u s t r i a l i z a t i o n , t h e r e f o r e ，h o wt od e s i g nal o wc o s ta n dh i l g hc a p a b i l i t ya v sd e c o d e r c h i p ，i so fg r e a ts i g n i f i c a n c e u n d e rt h ec o n d i t i o na b o v e ，t h i sp a p e rd or e s e a r c ho na v sv i d e od e c o d e rd e s i g n b a s e do n3 2 - b i te m b e d d e dm i c r o p r o c e s s o r - l e o n 2 f i r s t l y , t h i s p a p e r d oa p r e l i m i n a r ys t u d yo fa v sv i d e os t a n d a r da n dd e p t ha n a l y s i so fi t sk e yt e c h n o l o g i e s s e c o n d l y , i tg i v eas i m p l ea n a l y s i sa b o u tt h ep r i n c i p l eo fl e o n 2p r o c e s s e r , i n t r o d u c e t h ea d v a n t a g eo fl e o n 2p r o c e s s o ri ns o cd e v e l o p m e n ta n dt h ea p p l i c a t i o no f l e o n 2 ，a n dh a v ea na n a l y s i so fl e o n 2 sv h d lc o d e ，a n de x t e n dl e o n 2 sl o c a l r a m a g a i n ，a f t e rab r i e fi n t r o d u c t i o no fa v sv i d e od e c o d e r ，t h i sp a p e rg i v ea i n d e p t ha n a l y s i s o no p e ns o u r c ec o d e o ft h ea v sd e c o d e r ；a c c o r d i n gt ot h e c h a r a c t e r i s t i c so ft h el e o n 2 ，t h i sp a p e rh a v er e w r i t e dt h es o u r c ec o d e o fa v s d e c o d e r ，a n da c h i e v ef u n c t i o n a lv e r i f i c a t i o ni nt h ed e v e l o p m e n tp l a t f o r mo fl e o n 2 f i n a l l y , t h i sp a p e rm a k ea l ls o f t w a r ea n dh a r d w a r ed i v i d e do fa v sd e c o d e r ，g i v ea n d e s i g na b o u tt h ea v s v i d e od e c o d e rb a s e do nl e o n 2 ，a n dd ob e h a v i o r a lm o d e l i n g v a l i d a t i o nf o rd e c o d i n gu n i to fm a c r o b l o c k su s e ds y s t e m c ，a n da c h i e v ep a r t i a l c o n t r o lm o d u l es o f t w a r ep r o g r a m t h r o u g ht h i sr e s e a r c h ，h a v ea ni m p l e m e n t a t i o n o ft h ea v sd e c o d e ri nt h e l e o n 2d e v e l o p m e n to fp l a t f o r m ，a n dt h ec o r r e c ti m p l e m e n t a t i o no fv i d e od e c o d i n g ； t h ed e s i g no ft h ea v sd e c o d e ra r c h i t e c t u r e ss i m u l a t i o nr e s u l t sm e e tt h ed e s i g n r e q u i r e m e n t s ，d ob e h a v i o r a lm o d e l i n gv a l i d a t i o nf o rd e c o d i n gu n i to fm a c r o b l o c k s u s e ds y s t e m c i i i a b s t r a c t k e y w o r d s ：a v s ；l e o n 2 ；v i d e od e c o d e r i v 第1 章绪论 1 1 视频标准发展状况 第1 章绪论 国际上音视频编解码标准主要有两大系列【l 】：i s o i e cj t c l 制定的m p e g t 2 】 系列标准( 主要为数字电视采用) 和i t u 针对多媒体通信制定的h 2 6 x 系列视 频编码标准及g 7 系列音频编码标准。 理论上讲，音视频产业可以选择的信源编码标准有四个：m p e g 2 、m p e g - 4 、 m p e g - 4a v c ( 简称a v c ，也称t 、h 2 6 4 ) 、a 、厂s 。前三个标准是由m p e g 专家组完成的，第四个是我国自主制定的。 1 ) m p e g 一2 m p e g 一2 是由活动图像专家组和u t 的第1 5 研究组于1 9 9 4 年共同制定的。 m p e g 一2 标准是一个通用的标准，它解决了m p e g 1 不能满足多媒体技术、数字 电视技术对分辨率和传输率等方面的技术要求上的缺陷，能在很宽范围内对不同 分辨率和不同输出比特率的图像信号有效地进行编码。 m p e g 2 增加的新的技术特征有：支持隔行扫描视频的编码、支持对电视质 量视频的有效编码、增加可扩展性( 空间域可扩展性、s n r 可扩展性、数据分割) 等。 m p e g 2 标准也是实现d v d 的标准。除了作为d v d 的指定标准外，m p e g 2 还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 2 ) m e p g 一4 m p e g 4 是活动图像专家组于1 9 9 9 年2 月公布的标准。m p e g 4 采用第二 代编码方法，不同于m p e g l 等基于像素的第一代编码方法。另外，它不仅针 对一定比特率下的视频、音频编码，而且更加注重多媒体系统的交互性和灵活性。 m p e g - 4 编码的基本单元是视频对象( v o ) ，主要采用形状编码、纹理编码、 运动信息编码和s p r i t e 编码方法。 m p e g 4 在基于网络的视频应用领域取得了广泛的应用。但是，目前大量的 应用还是限制在简单对象类型，标准中基于内容特点的编码受到了限制。 基于l e o n 2 的a v s 视频解码器的设计研究 3 ) h 2 6 4 h 2 6 4 标准是由u t 的视频编码专家组v c e g 和i s o w , c 的活动图像专 家组m p e g 共同成立的联合视频小组t 于2 0 0 3 年3 月公布的。h 2 6 4 的目标 是为视频编码应用提供下一代的解决方案，提供显著增强的编码效率，同时减少 h 2 6 3 中一些混乱的可选模式。 h 2 6 4 把一些己经证明行之有效的可选模式作为基本模式固定下来，如统一 的熵编码、多种帧内预测模式、基于上下文的算术编码模式等；另一方面，h 2 6 4 又加入了一些新的研究成果，如可选的l 似l 8 ) 像素的运动估计、多模式的运 动矢量估计、4 x 4 的整型d c t 运算等，从而使h 2 6 4 在压缩率上具有更佳的性 能。 虽然h 2 6 4 有更高的压缩比、更好的和无线网络信道适应性，在相同的 重建图像质量下h 2 6 4 能够比h 2 6 3 节约5 0 左右的码率。但同时，h 2 6 4 计算 复杂度高，编码的计算复杂度大约相当于h 2 6 3 的三倍，解码复杂度大约相当于 h 2 6 3 的两倍【3 1 。 4 ) a v s a v s 标准是数字音视频编解码技术标准工作组( a v si 作组) 制定的数字音 视频编码标准，包括系统、视频、音频、数字版权管理等四个主要技术标准和一 致性测试等支撑标准。a v s 工作组成立于2 0 0 2 年，成员包括国内外从事数字音 视频编码技术和产品研究开发的机构和企业。在经过了几年的发展完善后，a v s 已经于2 0 0 6 年成为国家标准，也是未来视频领域的发展方向之一。其任务是： 面向我国的信息产业需求，联合国内企业和科研机构，修订数字音视频的压缩、 解压缩、处理和表示等共性技术标准，为数字音视频设备与系统提供高效经济的 编解码技术，服务于高分辨率数字电视广播、高密度激光数字存储媒体、无线宽 带多媒体通讯、互联网宽带流媒体等重大信息产业应用。 上述四种标准编码效率的比较【4 】：m p e g - 4 是m p e g 。2 的1 4 倍。a v s 和a v c 在技术水平和编码效率上相当，都比m p e g 2 高一倍以上，即所占用的传输带 宽、频谱资源、存储容量都不到m p e g - 2 的一半。 2 第1 章绪论 1 2 研究背景和意义 由于技术陈旧需要更新及收费较高等原因，m p e g 一2 即将退出历史舞台。 m p e g - 4 出台的新专利许可政策被认为过于苛刻令人无法接受，导致被众多运营 商围攻，陷入无法推广产业化的泥沼而无力自拔，前途未卜。而a v s 是基于我 国创新技术和部分公开技术的自主标准，其技术方案简洁，芯片实现复杂度低， 达到了第二代标准的最高水平；而且，a v s 通过简洁的一站式许可政策，解决 了m p e g - 4 专利许可问题死结，是开放式制订的国家、国际标准，易于推广； 此外，a v s 是一套完整的标准体系，为数字音视频产业提供了更全面的解决方 案。所以，a v s 可作为第二代信源标准的上佳选择。 a v s 的主要特点是应用目标明确，技术有针对性。与h 2 6 4 的b a s e l i n ep r o f i l e 相比，a v s 标准的视频部分增加了b 帧、i n t e r l a c e 等技术，因此其压缩效率明显 提高，而与h 2 6 4 的m a i np r o f i l e 相比，又减少了过于复杂的预测模式、c a b a c 等效率不够高或实现难度大的技术，从而增强了可实现性。因此在高分辨率应用 中，其压缩效率比m p e g 一2 提高了2 3 倍。而在压缩效率相当的前提下，又相对 于h 2 6 4 的m a i np r o f i l e 的实现复杂度大为降低。实验表明，a v s 在编码端的运 算复杂度约为h 2 6 4 的3 0 ，而其在解码端的运算复杂度约为h 2 6 4 的7 0 t 5 1 。 a v s 是一套适应面十分广阔的技术标准，优势表现在以下几个方面：( 1 ) a v s 是基于我国自主创新技术和国际公开技术所构建的自主标准；( 2 ) a v s 的编码效 率比我国目前准备采用推广的m p e g - 2 国际标准高2 3 倍( 高清晰度电视可达到3 倍或更多) ；( 3 ) a v s 可节省一半以上的无线频谱和有线信道资源，降低传输和存 储系统的复杂程度，显著降低传输、存储设备与系统的经济投入，得到广播电视 业的广泛认同。 a v s ，这个具有我国自主知识产权的数字音视频编解码技术标准，伴随着 a v s 标准化工作组的成立( 2 0 0 2 年) 而进入人们的视线，2 0 0 6 年该标准系列 中的信息技术先进音视频编码第二部分视频被作为国家标准正式实施，2 0 0 7 年a v s 视频编码标准被i t u t 确定为口t v 国际标准。人们一方面为a v s 先进 的性能、简洁的方案、合理的专利许可等突出优势所叹服，另一方面对其产业化 推进却心生疑虑，a v s 的应用总给人不温不火的感觉。这种“平静 终于在2 0 1 0 年一系列进展及其被伴随的国内各大媒体频繁的a v s 相关报道中被打破：2 0 1 0 基于l e o n 2 的a v s 视频解码器的设计研究 年7 月，a v s3 d 电视编解码标准完成定稿并上报主管部门，首套a v s3 d 电视 编解码系统研发成功；1 0 月，国家广电总局为5 个城市采购a v s 编码器，吹响 了a v s 大举挺进地面数字电视广播的号角，对a v s 产业化、a v s 的应用起到了 实质性的推动作用，意义非凡；1 1 月，基于a v s3 d 电视编解码标准的3 d 电视 技术试验系统搭建成功并成功应用于广州亚运会3 d 电视转播，填补了我国在3 d 电视标准上的空白【6 1 。 a v s 产业化已经达到一定的程度目前市场上各种品牌的a v s 编码器、 转码器为数不少，比如上海国茂的g m tc o d e r s t a r 、u n i a v 的p o w e r c o d e r 、 s u m a v i s i o n 9 21 0 、t e l a i r i t y 的b e 6 0 0 0 7 0 0 0 9 0 0 0 提供a v s 解码芯片的厂商达 2 0 多家，包括国芯、展讯、上海龙晶、b r o d c o m 、s t 、n x p 等掣6 1 。 解码芯片的设计是a v s 产业化的核心部分，其中国内厂家的产品有【7 】： 一 s p r e a d t r u ms v 6 1 l1 s v 6 1 0 0 s v 6 6 0 0 v p e n s t a rd s 1 0 0 0h d d s 1 0 0 0s d n a t i o n a l c h i pg x 3 2 0 3 tg x 3101 c e l e s t i a lc s m 12 0 8 - 。h a i e rh i 2 8 3 0 ( h d ) h i12 6 0 ( s d ) 国外厂家的解码芯片产品有： 一 b r o a d c o mb c m 7 4 0 5 b | b c m 7 4 6 6 一 s ts t i 5 2 0 x 7 1 0 x n x ps t b 2 2 2 - s i g r n a d e s i g n s m p 8 6 5 4 本课题针对a v s 解码芯片设计的重要性，进行了基于开源l e o n 2 微处理器 的a v s 解码器架构的设计研究。 1 3 本文主要贡献和论文结构 本文在此背景下，基于3 2 位嵌入式微处理器l e o n 2 进行a v s 解码器的设 计研究。首先，对a v s 视频标准进行了初步研究，并对其关键技术进行深入分 析。其次，对l e o n 2 处理器的原理做了简单的分析，介绍了l e o n 2 处理器在 s o c 设计中的优势和国内外应用现状，并对l e o n 2 处理器的v h d l 代码进行 4 第1 章绪论 了分析，并对其l o c a lr a m 进行了扩展。接着，结合开放源码阐述了a v s 视频 解码原理，对开源的a v s 解码器代码进行了深入的分析；根据l e o n 2 处理器的 特点，对开源的a v s 解码器代码进行编写，并在l e o n 2 处理器的开发平台上进 行了功能验证。最后，对a v s 解码器进行了软硬件划分，设计了一种基于l e o n 2 的a v s 解码器架构，仿真了部分软件流程控制，并采用s y s t e m c 对宏块解码单 元做了行为级建模及验证。 本文共分为五章，主要结构安排如下： 第一章为绪论。主要介绍了当前视频标准图像发展现状，阐述了a v s 视频 标准的重要性和本文设计研究的意义，最后说明了本文的主要工作和研究内容。 第二章为a v s 视频标准的介绍。首先介绍了a v s 解码器的基本原理，然后 分析了a v s 视频标准比特流的结构，最后对a v s 的关键技术进行了深入分析。 第三章为l e o n 2 处理器原理以及应用。首先介绍了l e o n 2 处理器的结构 和主要的功能模块，然后对l e o n 2 的开源v h d l 代码进行了深入的分析并扩展 了其l o c a lr a m ，介绍了l e o n 2 在s o c 设计中的优势，最后介绍了l e o n 2 处 理器在国内外的应用情况。 第四章为a v s 解码器开放源码的分析、编写和在l e o n 平台的移植。首先 结合开放源码阐述了a v s 视频解码原理，对开源的a v s 解码器源代码进行了深 入分析。然后根据l e o n 2 处理器的特点，对开源的a v s 解码器源代码进行编写， 并在l e o n 2 处理器的开发平台上通过了功能验证。 第五章为a v s 解码器的软硬件划分，以及基于l e o n 2 的a v s 解码器的设 计研究。在本章节中，首先根据第四章中的算法复杂度分析，再结合a v s 软件 解码器的解码特点，对a v s 解码器进行了硬件划分；在软硬件划分的基础上， 基于l e o n 2 设计了一种a v s 解码器的架构，针对i 帧的解码描述了控制过程； 然后阐述了软件部分的设计，并在m o d e l s i m 下进行了流程控制的仿真；最后， 采用s y s t e m c 对宏块解码单元做了行为级建模并进行验证。 第六章为总结和展望。对本文所做的工作和下一步工作进行了简要阐述。 5 基于l e o n 2 的a v s 视频解码器的设计研究 第2 章a v s 视频标准概述 a v s 视频标准是本设计的基础。在本章节中，首先将介绍a v s 解码器的基 本原理，然后分析a v s 视频标准比特流的结构，最后对a v s 的关键技术进行深 入分析。 2 1a v s 视频解码原理 a v s 视频解码如图2 1 【8 】【9 1 所示。a v s 视频的解码过程如下：首先码流经过 熵解码得到相应的控制信息和图像数据，将得到的图像数据进行逆扫描得到量化 系数，量化系数经过反量化和反变换得到残差系数，残差系数加上预测的结果得 到重构数据，再经过环路滤波去块效应，得到最终的图像数据。其中预测结果由 帧内预测或者帧间预测运动补偿获得，帧内预测参考当前帧内的其它宏块，帧间 预测的宏块由参考帧获得。 待解码数据流 熵解码 ( v l d 可变长解码)( z 逆i g 望z 描a g ) h 反量化 一 l7 l “5 “ 反变换 ( i d c t ) _ r 一 + 图2 - 1a v s 解码原理图 2 2a v s 视频标准比特流结构 a v s 定义的图像数据流是一个分层结构，码流结构语法层次从高到低依次 分为：视频序列、图像、条带、宏块和块，如图2 2 【1 伽所示。 视频序列是比特流的最高层语法结构，由序列头开始，后面跟着一个或多个 编码图像，每帧图像之前应有图像头。序列结束码表明了一个视频序列的结束。 6 第2 章a v s 视频标准概述 标准支持两种序列：逐行序列和隔行序列。帧由三个样本矩阵组成，包括 个亮度样本矩阵( y ) 和两个色度样本矩阵( c b 和c r ) 。样本矩阵元素的值为整数。 序列 图像 条带 宏块 块 y 圈 c b 圈 c 图2 - 2a v s 数据分层结构 场由构成帧的三个样本矩阵中相间的行构成，即帧样本矩阵的第一行、第三 行、第五行，依次类推，构成一个场，称为顶场；第二行、第四行、第六行，依 次类推，构成另一个场，称为底场。解码器的输出是一系列的帧或场，两帧之间 存在着一个帧时间间隔。对隔行序列而言，每帧图像的两场之间存在着一个场时 间间隔。对逐行序列而言，每帧图像的两场之间时间间隔为0 。 如图2 3 所示，为测试码流功夫节选g o n g f u 的部分码流结构。视_ s h o r t a v s 频序列头由视频序列起始码开始，后面跟着一串编码图像数据，起始码按字节对 齐，由起始码前缀和起始码字组成。起始码前缀为2 3 个o 比特和1 个l 比特。 一幅图像是一帧，其编码数据由图像起始码开始，到序列起始码、序列结束码或 图像起始码结束，在比特流中，隔行扫描图像的两场编码数据可依次出现，也可 交织出现。两场数据的解码和显示顺序在图像头中规定。图像的解码处理包括解 析过程和解码过程。解析过程由比特流获得语法元素，解码过程由语法元素产生 7 基于l e o n 2 的a v s 视频解码器的设计研究 解码图像。在a v s 视频标准中，定义了三种图像类型：帧内解码图像i 帧、前 向帧间解码图像p 帧和双向帧间解码图像b 帧。i 帧中的宏块只进行帧内预测， 编解码不需要参考其它帧图像，可作为编码后序列的随机访问点。p 帧和b 帧的 宏块则需要进行帧内预测或帧间预测，需要参考先前已解码的图像。如果视频序 列中没有b 帧，解码顺序与显示顺序相同。如果视频序列中包含b 帧，解码顺 序与显示顺序不同，解码图像输出显示前应进行图像重排序。图像重排序规则为： 当前解码图像是b 帧，输出由此b 帧解码的图像；当前图像是i 帧或p 帧，如 果存在前一个i 帧或p 帧的解码图像，输出前一个解码图像。如果不存在前一个 i 帧或p 帧的解码图像，不输出任何解码图像。 数据 溺瀚戮阚 缓绸蘸 缓鬃麟麟 麓瓣羹 缓缓黝憋 麓瀚蠹 pb i 刊1 缘，逛始1 - 。j o ( o o o l b 6 1 j 条，+ 起始“，j 0 0 0 0 0 l o o 宏块数据 r 焉了z 一：一_ i _ = _ i _ _ 1 i ：塑塑塑墨夔塑鳖j 图2 - 3a v s 码流结构 条带是按光栅扫描顺序连续的若干宏块行，条带内的宏块行不应重叠，条带 之间也不应重叠。条带内宏块的解码处理不应使用本图像其它条带的数据。 在a v s 视频标准中，宏块是由8 x 8 的亮度分量( 与其相关的色度分量( u 、 构成，它是用作运动补偿和改变量化器等级的单元。在比特流中，当隔行扫描 图像的两场编码数据依次出现时，任一宏块的像素应来自同一场。宏块可根据不 固 第2 章a v s 视频标准概述 同的图像格式，被分成不同的亮度和相应的色度块。宏块格式可有三种方式【8 】： ( 1 ) 在4 ：2 ：0 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和2 个8 x 8 色度 块( 1 个c b ，1 个c r ) 。如图2 - 4 所示，图中数字为宏块中8 x 8 块的顺序号。 田0 1 7 ：- 1r - n 图2 - 4 宏块划分为8 x 8 块( 4 ：2 ：0 格式) ( 2 ) 在4 ：2 ：2 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和4 个8 x 8 色度 块( 2 个c b ，2 个c r ) 。如图2 5 所示，图中数字为宏块中8 x 8 块的顺序号。 田田困 图2 5 宏块划分为8 x 8 块( 4 ：2 ：2 格式) ( 3 ) 在4 ：4 ：4 格式下，一个宏块包括4 个8 x 8 亮度块( y ) 和8 个8 x 8 色度 块( 4 个c b ，4 个c r ) 。如图2 - 6 所示，图中数字为宏块中8 x 8 块的顺序号。 田田田 图2 - 6 宏块划分为8 x 8 块( 4 ：4 ：4 格式) 2 3a v $ 关键技术特点 a v s 中突出的、有别于其它视频压缩标准的特点有：8 x 8 整数变换、量化、 帧内预测、1 4 精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效 应环路滤波等。下面将对以上各个部分做详细说明n 玎n 幻n 引。 ( 1 ) 变换和量化 变换编码是视频编码的主要技术之一。变换前首先将原始图像划分成固定大 小的块，对每一个块分别进行正交变换，将空域图像信号映射变换到另一个正交 9 基于l e o n 2 的a v s 视频解码器的设计研究 矢量空间，产生一批变换系数。变换后的系数经过量化、编码处理后就可以形成 压缩码流。解码时对码流进行反量化反变换就可以恢复空域图像。 在a v s 中，与h 2 6 4 标准类似，用类d c t 的整数变换代替了d c t 变换。 a v s 的变换和量化技术源自h 2 6 4 ，因为h 2 6 4 是第一个采用整数变换替代d c t 的国际标准。整数变换在计算复杂度上优于d c t 变换，这种方法的优点在于： 在编码器中和解码器中允许精度相同的变换和反变换，便于使用简单的定点运算 方式。也就是说，这里没有“反变换误差”，从而消除了编码器与解码器之间的 失配现象。a v s 和h 2 6 4 两者在此部分最大的不同在于变换尺寸。h 2 6 4 标准中 变换基于4 x 4 块的整数变换【1 4 】，而a v s 中的变换以8 x 8 样本块为基本单元，且 变换系数进行标量量化。这样a v s 避开了h 2 6 4 的专利问题，而且通过验证，8 x 8 变换在高清晰电视这类应用中的性能不会比4 x 4 变换差【”】。 为了减少变换和量化过程中取整带来的误差，h 2 6 4 a v c 中将正向缩放和量 化结合在一起操作，反向缩放和反量化一起操作。而在a v s l p 2 中，则采用带 p i t ( p r e s c a l e d i n t e g e rt r a n s f o r m ) 的8 x 8 整数余弦变换技术【1 6 】。即把所有的缩放 都放在编码端完成，极大的简化了解码器的计算量，使得a v s i p 2 解码端的复 杂度是仅为h 2 6 4 a v c 解码端复杂度的7 0 ，从而降低芯片的功耗，更有利于 在工作频率不高的移动终端上快速实现。 ( 2 ) 帧内预测技术 a v s 采用基于8 x 8 块的帧内预测。亮度和色度分量帧内预测分别有5 种和4 种模式，相邻已解码块在环路滤波前的重建像素值用来给当前块做参考。与h 2 6 4 的4 x 4 块帧内预测相比，采用比较大的预测块将增加待预测样本和参考样本之间 的距离，从而减弱相关性，降低预测精确度。因此，在a v s 的d c 模式，d o w n l e f t 模式和d o w nr i g h t 模式中先用3 抽头低通滤波器( 1 、2 、1 ) 对参考样本滤波。 另外，a v s 的d c 模式中，每个像素值由水平和垂直位置的相应参考像素值来预 测，所以每个像素的预测值都可以不同。这种d c 预测与h 2 6 4 中的d c 预测相 比，预测结果更为精确。实验表明，a v s 采用5 种模式仅比h 2 6 4 采用9 种模式 损失0 0 5 d b 的p s n r i l7 1 。与h 2 6 4 相比，采用较大的像素块做帧内预测，可以 提高编解码i 帧的速度。同时，采用比较少的帧内预测模式f 对亮度而言，a v s 的5 种对应h 2 6 44 x 4 块的9 种预测模式) ，降低了编码解码的控制复杂度。 l o 第2 章a v s 视频标准概述 ( 3 ) 帧间预测 帧间运动补偿编码是混合编码技术中最重要的部分之一( 去除视频序列图象 在时间上的冗余) ，对视频序列图象数据的压缩贡献了至关重要的作用。 a v s 支持p 帧和b 帧两种帧间预测。p 帧至多采用两个前向参考帧，b 帧采 用前后各一个参考帧。在传统的视频编码标准( m p e g x 系列与h 2 6 x 系列) 中，双向预测帧b 帧都只有一个前向参考帧与一个后向参考帧，而前向预测帧p 帧则只有一个前向参考帧。而新近的h 2 6 4 充分地利用图片之间的时域相关性， 允许p 帧和b 帧有多个参考帧，最多可以有3 1 个参考帧。多帧参考技术在提高 压缩效率的同时也将极大地增加存储空间与数据存取的开销。a v s 中p 帧可以 利用至多2 帧的前向参考帧，而b 帧采用前后各一个参考帧，p 帧与b 帧( 包 括后向参考帧) 的参考帧数相同，其参考帧存储空间与数据存取的开销并不比传 统视频编码的标准大，但远远小于h 2 6 4 中所需要的存储空间。可见，与h 2 6 4 相比，a v s 采用的帧间预测技术，大大降低了对存储单元空间的使用，但同时， 这也对图象预测质量带来一定的影响。这也在一定程度上反映了标准制定过程 中，相关标准制定专家只能在一系列技术中，选取一个最佳的均衡点，在预测图 象质量和所需要的存储空间大小间，找到一个最好的平衡。 a v s 标准采用了1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 和8 x 8 的块模式进行运动补偿，而去 除了h 2 6 4 标准中的8 x 4 ，4 x 8 ，4 x 4 的块模式，目的是能更好地刻画物体运动， 提高运动搜索的准确性。实验表明，对于高分辨率视频，a v s 选用的块模式已 经能足够精细地表达物体的运动。较少的块模式，能降低运动矢量和块模式传输 的开销，从而提高压缩效率、降低编解码实现的复杂度。 a v s 的b 帧的双向预测使用了直接模式( d i r e c tm o d e ) 、跳过模式( s k i pm o d e ) 和对称模式( s y m m e t r i c m o d e ) 。使用对称模式时，码流只需要传送前向运动矢量， 后向运动矢量可由前向运动矢量导出，从而节省后向运动矢量的编码开销【1 8 1 。 对于直接模式，当前块的前、后向运动矢量都是由后向参考图像相应位置块的运 动矢量导出，无需传输运动矢量，因此也可以节省运动矢量的编码开销。跳过模 式的运动矢量的导出方法和直接模式的相同，跳过模式编码的块其运动补偿的残 差也均为零，即该模式下宏块只需要传输模式信号，而不需要传输运动矢量、补 偿残差等附加信息。 基于l e o n 2 的a v s 视频解码器的设计研究 运动矢量的精度为1 4 像素，为得到非整数样本，需要进行插值运算。a v s 视频标准定义了两个4 抽头f i r 滤波器，分别用于1 2 和l 4 亮度样本的插值。 与h 2 6 4 使用的6 抽头f i r 滤波器相比，a v s 视频标准的滤波器实现复杂度较 低。 ( 4 ) 熵编码 变长的编解码技术在音视频编码标准中得到广泛的应用。如h u f f m a n 1 9 】编码 等，a v s l p 2 熵编码采用其特有的基于指数哥伦布码( e x p g o l o m b ) 的自适应 变长编码技术。所有的语法元素和残差数据都是以指数哥伦布码的形式映射成二 进制比特流。采用指数哥伦布码的优势在于：一方面，它的硬件复杂度比较低， 可以根据闭合公式解析码字，无需查表；另一方面，它可以根据编码元素的概率 分布灵活地确定以k 阶指数哥伦布码编码，如果k 选得恰当，则编码效率可以 逼近信息熵。在和h 2 6 4 a v c 比较中可以发现a v s l p 2 中指数哥伦布码编码所 有可变分布的语法元素，而h 2 6 4 a v c 中指数哥伦布码编码除变换系数以外的语 法元素。对于变换系数，h 2 6 4 a v cb a s e l i n ep r o f i l e 用c a v l c 2 0 1 ，m a i np r o f i l e 用 c a b a c 2 1 1 ，而a v s l p 2 采用基于上下文的2 d _ v l c ( v a r i a b l el e n g t hc o d e ) 。因 为其中经过z i g z a g 扫描后的1 d ( 1 e v e l 、r u n ) 序列存在着很强的相关性，l e v e l 值 呈现减小趋势，r u n 值呈现增大趋势。所以根据当前( 1 e v e l 、r u n ) 的不同概率分布 趋势，将( r u n 、l e v e l ) 对视为一个事件联合编码，自适应改变指数哥伦布码的阶数。 而在此之前的编码标准中虽然也用到2 d v l c ，但是没有考虑上下文的关系，对 于不同类型的变换块分别用不同的v l c 表编码，这就需要在硬件实现的时候用 到外部存储器，从而增加了c p u 访问外存带来的时间开销，不利于硬件的实时 处理。 ( 5 ) 环路滤波 基于块的视频编码很容易造成方块效应，特别是在低码率的情况下，a v s 视频标准定义了自适应环路滤波器来消除方块效应，改善重建图像的主观质量， 同时可提高编码效率。 2 4 本章小节 本章节介绍的a v s 视频标准是设计的理论基础。a v s 视频标准是本设计的 1 2 第2 章a v s 视频标准概述 基础。在本章节中，首先介绍了a v s 解码器的基本原理，然后分析了a v s 视频 标准比特流的结构，最后对a v s 的关键技术进行了深入分析。在了解了a v s 视 频标准的基础上，结合开源a v s 解码器代码，本文将在第四章着重介绍a v s 解 码器的解码流程。 基丁l e o n 2 的a v s 视频解码器的设计研究 第3 章l e o n 2 处理器的原理及应用 l e o n 处理器的原理是本设计的另一基础。在本章节中，首先将对l e o n 2 处理器的基本原理进行阐述，然后将分析l e o n 2 处理器的v h d l 代码并扩展其 l o c a lr a m ，再次分析l e o n 2 在s o c 中的优势，最后简单介绍了l e o n 2 处理 器在国内外的一些应用。 3 1 l e o n 2 处理器结构及主要功能模块 图3 1l e o n 2 处理器的结构框图【2 3 1 图3 1 是l e o n 2 的片上结构框图。l e o n 2 模块包含一个支持s p a r cv 8 结 构的处理器，可以被设计为带有如下片上特性的嵌入式应用系统：独立的指令和 数据缓存；硬件乘法器和除法器；中断控制器；带有追踪缓冲器的调试支持单元； 两个2 4 位的定时计数器；两个u a i ；防止掉电功能；看门狗；1 6 位的i o 接 口；灵活的存储器控制器；以太网m a c 和p c i 接口；新的模块可以非常容易的 添加到a m b a 的a h b a p b 总线上【2 4 1 。 1 4 第3 章l e o n 2 处理器的原理及应用 3 1 1 整数单元 l e o n 2 处理器采用s p a r c 体系【2 5 1 ，根据s p a r c 结构手册第8 版设计。这 是一个新的实现并非建立在之前的基础之上。此设计专注于可移植性和低复杂 性。l e o n 2 整数单元有如下特点： 一5 级流水线指令 一独立的指令和数据缓存接口 一支持2 3 2 个寄存器窗口 一可配置的乘法器( 1 6 x1 6 ，3 2 x l ，3 2 x 8 ，3 2 x 1 6 & 3 2 x 3 2 ) 一带4 0 累加器可选择的1 6 x 1 6 位m a c 一基数为2 的除法器 d 电- t 如d d h - l f e t c h d e c o d e e x e c u t e 图3 - 2 l e o n 2 整数单元结构图 如图3 2 所示，为l e o n 2 整数单元使用单一的五级流水线指令系统。 1 f e ( 取指令) ：如果指令缓存被激活，指令就从指令缓存里面被取出来。 否则，取指将转交给存储器控制器。指令在这一级最后有效并锁存在砌中。 1 5 基t - l e o n 2 的a v s 视频解码器的设计研究 2 d e ( 解码) ：指令被解码，操作数被读入。操作数可能来自寄存器或者是 内部数据旁路。调用和分支目标地址在这一级产生。 3 e x ( 执行) ：算数逻辑单元，逻辑和算数操作开始执行。存储器操作( 例 如l d ) 和蹦p l r e t t 指令操作需要的地址被产生。 4 m e ( 存储) ：访问数据缓存。为了缓存读取数据，数据将在这一级的末尾 有效。将执行阶段读取的数据写到数据缓存中。 5 w r ( 写数据) ：将a l u ，逻辑单元，算数单元或者缓存读取操作的结果 写回到寄存器中。 3 1 2 a m b a 片上总线 a m b a ( a d v a n c e dm i c r o c o n t r o l l e rb u sa r c h i t e c t u r e ) 规范是一种已制定的、开 放的规范，充当着s o c 设计的架构，正迅速成为s o c 和口库上开发的标准， 同时也为高性能嵌入式微控制器设计定义了一种片上通信标准。它是a r m 公司 设计的一种用于高性能嵌入式系统的总线标准，独立于处理器和制造工艺技术， 增强了各种应用中的外设和系统宏单元的可重用性。 a m b a 规范中定义了三种不同的总线：a h b ( a m b a 高性能总线) 、a s b ( a m b a 系统总线) 和a p b ( a m b a 外设总线) 。a p b 是专门用于低功耗的外 围设备的。a s b 和a h b 都是1 6 3 2 位处理器上使用的高性能总线，可以有效地 连接处理器、片上和片外存储器，支持流水线操作【2 6 1 。其中a h b 是a m b a 的 最新一代总线标准。a h b 可以实现高性能，高时钟频率所必须的操作。如猝发 传输、单时钟沿操作等。 a p b 总线被用来访问外围功能