（模式识别与智能系统专业论文）基于blackfin533的h264avc视频编码研究.pdf

摘要 随着计算机技术和通信技术的发展，网络视频和流媒体技术发展起来。为了 满足人们对视频信息的需求，国际电信联盟( i t u ) 和国际标准化组织( i s o ) 国际电工委员会( i e c ) 联合制定了新一代视频编码标准h 2 6 4 a v c 。它采用了 一系列先进编码技术，在编码效率、网络适应性等诸多领域都超越以往的视频编 码标准，代表了未来多媒体数据压缩编码的发展趋势。嵌入式系统是当前计算机 技术的热门研究领域，是h 2 6 4 a v c 应用的承载平台。b l a c k f i n 5 3 3 是a d 公司推 出的面向新一代视频编码标准h 2 6 4 a v c 和m p e g 一4 的视频芯片。因此，研究 h 2 6 4 a v c 标准，并结合基于b i a c k f i n 5 3 3 的嵌入式系统进行应用研究，推动 h 2 6 4 1 a v c 的应用具有重要意义。 本文主要是h 2 6 4 a v c 和b l a c k f i n 5 3 3 嵌入式系统的应用研究。首先，对 h 2 6 4 a v c 标准的基本思想和原理进行了学习，并对帧内帧间预测、整数变换和 熵编码等关键技术和标准细节进行了深入的研究，对h 2 6 4 a v c 的语法进行了细 致的分析，对编码流程有了一个清晰的认识。接着对b l a c k f i n 5 3 3 进行深入的学习， 了解它的芯片结构、总线结构、存储器管理原理、缓存机制等，研究b l a c k f i n 5 3 3 的指令集，熟悉它的编程结构和视频指令，研究a d s p - - b f 5 3 3e z k i tl i t e 评 估板的结构和组成原理，针对评估板缺少e t h e r n e t 接口，提出一个改进方案，通 过扩展插槽扩展一个e t h e m e t 接口。最后，我们用a d s p b f 5 3 3e z k i tl i t e 评估板作为编码系统，进行h 2 6 4 a v c 应用研究。通过分析编码系统的原理编 写1 2 c ( i n t e ri c ) 程序对编码系统进行初始化。分析编码系统的视频采集部分，根据 视频编码需要的c i f ( c o m m o n i n t e r m e d i a f o r m a t ) 图像格式，对采集到的p a l 图像 进行预处理。由于图像处理对数据传输带宽敏感，对b l a e k f i n 5 3 3 的d m a 传输进 行了测试，为编程提供参考。分析整数变换的原理，根据b l a c k f i n 5 3 3 的结构特点， 编写了h 2 6 4 a v c 整数变换的程序，并进行了计算优化。 关键词：视频编码h 2 6 4 a v c 熵编码b l a c k f i n a b s t r a c t w i t ht h e d e v e l o p m e n to fc o m p u t e r a n dc o m m u n i c a t i o nt e c h n o l o g y ，n e t w o r k v i d e oa n ds t r e a mm e d i aa p p e a r t om e e tt h ed e m a n do ft h ep e o p l e i t ua n di s o i e c j o i nh a n d s t od e v e l o pt h en e wv i d e oc o d i n gs t a n d a r do ft h eh 2 6 4 a v c b ya d o p t i n ga n u m b e ro fn e wc o d i n g t e c h n i q u e s ，i t h a sa c h i e v e da s i g n i f i c a n ti m p r o v e m e n t i n c o m p r e s s i o np e r f o r m a n c ea n da “n e t w o r k f r i e n d l y ”v i d e or e p r e s e n t a t i o nr e l a t i v e t o e x i s t i n gs t a n d a r d s e m b e d d e ds y s t e mi st h ep o p u l a rr e s e a r c hs u b j e c t so f t h ec o m p u t e r , w h i c hi st h e p l a t f o r mo ft h e h 2 6 4 a v c c o d i n gs y s t e m b l a c k f i n 5 3 3 i st h en e w m u l t i m e d i a c h i pf o rt h eh 2 6 4 a v ca n dm p e g - 4 s o ，t h es t u d yo f t h ec o m b i n a t i o no f t h eh 2 6 4 a v ca n de m b e d d e ds y s t e mb a s e do nt h eb l a c k f i n 5 3 3i s i m p o r t a n tf o rt h e a p p l i c a t i o no f h 2 6 4 a v c t h ea u t h o r ss t u d yi sm a i n l yi nt h ea p p l i c a t i o no fh 2 6 4 a v ca n dt h ee m b e d d e d s y s t e mb a s e do nt h eb l a c k f i n 5 3 3 f i r s t ，t h ea u t h o rl e a r n st h eb a s i ct h o u g h ta n dt h e o r y ， s t u d i e st h ei n t e ra n di n t r ap r e d i c t i o n ，t h ei n t e g e rt r a n s f o r m ，t h ee n t r o p y c o d i n g ，a n ds o o n ，a n a l y z e s t h ed e t a i lo ft h es t a n d a r d ，l e a r n st h e s y n t a x a n ds e m a n t i c so ft h e h 2 6 4 a v c s e c o n d ，t h ea u t h o rl e a r n st h es t r u c t u r e ，t h eb u s ，t h em a n a g e m e n to f m e m o r y , m a n a g e m e n t o ft h ec a c h eo ft h eb l a c k f i n 5 3 3 ，s t u d i e st h ei n s t r u c t i o ns e to f t h eb l a e k f i n 5 3 3 t h es t r u c t u r eo fp r o g r a ma n dv i d e oi n s t r u c t i o ni s l e a r n e d b y s t u d y i n gt h es t r u c t u r ea n dt h e o r yo ft h ea d s p b f 5 3 3e z k i tl i t ee v a l u a t i o n b o a r d ，t h ea u t h o rf i n d st h a ti t i ss h o r to fe t h e r n e ti n t e r f a c e a n di m p r o v e so ni t b y a d d i n gae t h e r n e ti n t e r f a c eb a s e do nt h es l o t f i n a l l y , t h ea d s p b f 5 3 3e z k i t l i t ee v a l u a t i o nb o a r di s e m p l o y e da st h ev i d e oc o d i n gs y s t e m t h eh 2 6 4 a v c c o d i n gs y s t e mb a s e do nb l a c k f i n 5 3 3i sd e v e l o p e d b ya n a l y z i n gt h et h e o r yo ft h e v i d e oc o d i n gs y s t e m ，t h ea u t h o rg i v e st h e1 2 c ( i n t e ri c ) p r o g r a mt oi n i t i a l i z i n gt h e s y s t e m b e c a u s et h es y s t e mp r o c e s s e st h ec i f ( c o m m o ni n t e r m e d i af o r m a t ) i m a g e ，w e n e e dt oc o n v e r tt h ep a l i m a g et ot h ec i fi m a g e a st h ev i d e oc o d i n gi ss e n s i n gt h e b a n d w i d t h ，w et e s tt h et r a n s m i s s i o no ft h ed m a w eg i v et h e i n t e g e rt r a n s f o r m p r o g r a mo p t i m i z e dt ot h eb l a c k f i n 5 3 3 k e y w o r d ：v i d e oc o d i n gh 2 6 4 1 a v c e n t r o p yc o d i n g b l a e k f i n 创新性声明 6 9 , 5 3 6 l 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担切相关责任。 本人签名 亍培松 日期三堂幽 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 本人签名：i 鳢控日期兰2 1 1 ：! ! ! 堡 导师签名：日期2 0 口岁、m ， ，孽一 珲 第一章绪论 第一章绪论 1 1 引言 随着社会的发展，视频信息的应用范围越来越广。视频信息广泛的应用于娱 乐、远程医疗、远程监控、视频会议、网络教学等。人们对于视频信息的需求也 越来越大，譬如在通信领域，人们现在已经不满足于语音通信，人们渴望能够视 频聊天；在3 g 无线通信，我们也希望它在视频方面有更好的表现。 为了满足人们对视频信息的需求，需要解决因为视频信息剧增带来的视频传 输和存储问题。解决这个问题有两个途径，一个是增大网络带宽和存储媒介的容 量：另一个是提高视频信息的压缩效率。提高网络带宽需要大量的设备投资，成 本太高。提高视频信息的压缩效率只是需要发展新的视频编码技术，我们只需要 更换新的编码端和解码端设备，现在许多终端设备只需要升级软件就可以支持新 的视频编码标准，并且可以很好的利用现有的网络设备。所以提高编码效率是满 足人们对视频需求的一个很好选择。 为了提高视频信息的编码效率，国际化标准组织( i s o ) 国际电工委员会( i e c ) 和国际电信联盟( i t u ) 制定了一系列视频编码标准。为了获得更好的编码效率和 网络适应性，它们联合制定了h 2 6 4 a v c 新一代视频编码标准。随着编码效率的 提高，编码的复杂度越来越大，需要研究新的视频编码算法提高编码效率和编码 速度。 随着集成电路技术和计算机技术的发展，嵌入式系统的功能越来越强大体积 越来越小，价格越来越低，所以嵌入式系统已经广泛的应用于消费类电子产品。 为了满足人们对视频信息的需求，需要研究视频编解码系统在嵌入式系统中的应 用。h 2 6 4 a v c 是由i s o i e c 和i t u 合作制定的新一代视频编码标准，2 0 0 3 年3 月正式通过，现在正处于应用开发阶段，因此研究h 2 6 4 a v c 的关键算法和它的 嵌入式应用有重要意义。 1 2 视频压缩编码技术的发展概况及国际标准 1 2 1 视频编码原理 原始图像中存在着大量的信息冗余，如时间冗余、空间冗余、信息熵冗余、 视觉冗余和知识冗余等等。一般情况下画面的大部分区域信号变化缓慢，尤其是 背景部分几乎不变，因此，视频图像在相邻象素间、相邻行间、相邻帧问存在强 基于b l a c k f i n 5 3 3 的h 2 6 4 a v c 视频编码研究 相关性，这种相关性就表现为空间冗余和时间冗余。视频图像的空间冗余一般通 过离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 、离散小波变换( d i s c r e t e w a v e l e tt r a n s f o r m ，d w t ) 等变换来去除，而视频图像的时间冗余则通常使用运 动估计和运动补偿来完成。视频编码就是去除视频信息中的冗余，从而达到数据 压缩的目的。 1 2 2 视频编码技术发展 1 9 4 8 年，o l i v e r 提出了第一个编码理论脉冲编码调制( p u l s ec o d i n g m o d u l a t i o n ，简称p c m ) ；同年，s h a n n o n 的经典论文“通信的数学原理”首次 提出并建立了信息率失真函数概念；1 9 5 9 年，s h a n n o n 进一步确立了率失真理论， 以上工作奠定了信息编码的理论基础。 “第一代”视频编码技术主要以预测编码、变换编码和统计编码三大经典编 码方法为基础。它们都是非常优秀的纹理编码方案，能够在中等压缩率的情况下， 提供非常好的图像质量，但在非常低的压缩率情况下，无法为一般的序列提供令 人满意的质量。八十年代初期，“第一代”编码技术已经达到了顶峰，这类技术去 除客观和视觉冗余信息的能力已接近极限。究其原因是由于这些技术都没有利用 图像的结构特点，因此它们也就只能以象素或块作为编码的对象，另外，这些技 术在设计编码器时也没有考虑人类视觉系统的特性。 “第二代”视频编码技术是k u n t 等人于1 9 8 5 年提出，主要是为了克服“第 一代”视频压缩编码技术的局限性。他们认为，“第一代”编码技术只是以信息论 和数字信号处理技术为理论基础，旨在去除图像数据中的线性相关性的一类编码 技术。其压缩比不高，大约在1 0 ：l 左右。而“第二代”编码技术不局限于信息论 的框架，要充分利用人的视觉生理、心理和图像信源的各种特征，实现从“波形” 编码到“模型”编码的转变，以便获得更高压缩比。其压缩比多在3 0 ：l 至7 0 ：1 之间，有的甚至高达1 0 0 ：1 。“第二代”编码方法主要有：基于分形的编码、基于 模型的编码、基于区域分割的编码和基于神经网络的编码等。“第二代”编码方法 充分利用了计算机图形学、计算机视觉、人工智能与模式识别等相关学科的研究 成果，为视频图像压缩编码开拓出了广阔的前景。但是由于“第二代”编码方法 增加了分析的难度，所以大大增加了实现的复杂性。从当前发展情况来看，“第二 代”编码方法仍处于深入研究的阶段。例如，分形法由于图像分割、迭代函数系 统代码的获得是非常困难的，因而实现起来时间长，算法非常复杂。模型法则仅 限于人头肩像等基本的视频图像上，进一步的发展有赖于新的数学方法和其它相 关学科的发展。神经网络的工作机理至今仍不清楚，硬件研制不成功，所以在视 频压缩编码中的应用研究进展缓慢，目前多与其他方法结合使用。但由于巨大压 第一章绪论 缩性能的潜力，人们都在致力于这些新方法的研究之中。 近年来，出现了一类充分利用人类视觉特性的“多分辨率编码”方法，如子 带编码、塔形编码和基于小波变换的编码。这类方法使用不同类型的一维或二维 线性数字滤波器，对视频图像进行整体的分解，然后根据人类视觉特性对不同频 段的数据进行粗细不同的量化处理，以达到更好的压缩效果。这类方法原理上仍 属于线性处理，属于“波形”编码，可归入经典编码方法，但它们又充分利用了 人类视觉系统的特性，因此可以被看作是“第一代”编码技术向“第二代”编码 技术过渡的桥梁。 1 2 3 国际视频编码标准 视频压缩编码标准的制定工作主要是由国际标准化组织( i n t e r n a t i o n a l s t a n d a r d i z a t i o n o r g a n i z a t i o n ， i s o ) 和国际电信联盟( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，i t u ) 完成的。由i t u 组织制定的标准主要是针对实 时视频通讯的应用，如视频会议和可视电话等，它们以h 2 6 x 命名：而由l s o 和 i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的共同委员会 中的m p e g 组织( m o v i n g p i c t u r ee x p e r tg r o u p ) 制定的标准主要针对视频数据的 存储( 如v c d 和d v d ) ，广播电视和视频流的网络传输等应用，它们以m e p g x 命名。各种视频压缩编码标准都是根据人们在不同领域中对声像数据的要求所制 定的，并且随着人们的需求不断地发展。图1 1 按制定的时间顺序大致描述了视 频编码标准的发展历程。 囡日日三工习 囝固 三 圈臣互【j 三圈 图1 1 视频编码国际标准的发展 在i t u 和i s o i e c 所制定的这些标准中，并没有对视频编码的具体算法做硬 性规定，而仅仅是定义了相应的解码方法和比特流语法，使得对于符合某一标准 的压缩码流，所有的解码器都能够得到相同的输出结果，这也为标准的具体应用 带来了最大限度的自由度。下面我们就对几种典型的国际视频编码标准做简要介 绍。 一、m p e g 系列标准 基于b l a c k f i n 5 3 3 的n 2 6 4 a v c 视频编码研究 1 m p e g 1 m p e g 1 制订于1 9 9 3 年，是针对数据传输率1 5 m b p s 以下的数字存储介质图像 及其伴音编码的国际标准，共分为图像编码、声音编码和系统( 同步和复用) 3 个部分。该标准主要用于在各种数字存储介质( c d r o m 、d a t 、w i n c h e s t e r 盘 等) 上存储同步和彩色运动视频信号，在1 2 m b p s 速率下的视频质量可与v h s ( 家 用视频系统) 所记录的模拟视频质量相媲美。m p e g 1 对色差分量采用4 ：l ：1 的二 次采样率，可优化为中等分辨率，并在优化的模式下采用所谓的标准交换格式 f s i f l ，其视频压缩率约为2 6 ：l 。m p e g 一1 标准采用了运动估计运动补偿、变换编 码等技术，并规定了编码位流的表示语法和具体解码方法。由于m p e g l 标准是 针对数字存储的应用而制定的，因此它的编、解码器是不对称的，其编码端的复 杂度通常要远远高于解码端。 2 m p e g 2f h 2 6 2 ) 2 1 m p e g 2 标准是由i s o 的m p e g 专家组和i t u t 的第1 5 研究组与1 9 9 4 年共同制 定的，全称为“运动图像及其伴音的编码”，在i t u t 的协议中也被称为h 2 6 2 建议 ( r e c o m m e n d a t i o nh 2 6 2 ) 。m p e g 2 的传输速率为3 m b p s l o m b p s ，主要针对数 字电视和高清晰度电视( h d t v ) 所需要的视频及伴音信号，此外还兼顾了与a t m 信元的适配问题。 m p e g 一2 在m p e g 1 的基础上做了相应的扩展，从多方面提高了编码参数的灵 活性以及编码性能。它综合采用了运动补偿的帧间预测、空间域离散余弦变换、 自适应量化和可变长编码的混合编码。m p e g 2 视频编码标准是一个分等级的系 列，按编码图像的分辨率分成4 个等级( l e v e l s ) ；按所使用的编码工具的集合分成 五个类别( p r o f i l e s ) 。“等级”与“类别”的若干组合构成m p e g 2 视频编码标准在某种 特定应用下的子集，对某一输入格式的图像，采用特定集合的压缩编码工具，产 生规定速率范围内的编码码流。因此，m p e g 2 具有很广的应用前景。 3 m p e g 4 1 3 1 在m p e g l 和m p e g - 2 之后，i s o 的m p e g 工作组于1 9 9 9 年4 月出台了m p e g 一4 标准( i s 0 1 4 4 9 6 ) ，并在1 9 9 9 年1 2 月提出了第二版的i s o 最终草案( i s 0 1 4 4 9 6 2 f c d ) 。m p e g 4 提出了音视频对象( a u d i o v i d e oo b j e c t ，a v o ) 的概念，并在此 基础上实现了许多新的功能，为各种多媒体应用特别是基于i n t e r a c t 和移动网络 的应用提供了理想的工具，如基于内容的编码、错误掩盖和基于内容的可伸缩性 等。与m p e g 前两个图像压缩标准相比，m p e g 4 为多媒体数据压缩提供了一个 更为广阔的平台，更注重于定义种格式和框架，而不是具体的算法，其出发点 就是希望建立起一个更自由的通信与研发环境，可以在系统中加入许多新的算法， 为使用计算机软件实现编码和解码提供更大的方便。它可以将各种各样的多媒体 技术充分应用于编码中，除包括压缩本身的一些工具、算法外，还包括图像分析 第一章绪论 和合成、计算机视觉、计算机图形学、虚拟现实和语音合成技术。 4 m p e g 一7 t j 和m p e g 2 1 1 8 1 m p e g 7 标准称为“多媒体内容描述接口”( m u l t i m e d i ac o n t e n td e s c r i p t i o n i n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型的多媒体信息及它 们之间的关系，以便更快更有效的检索信息。该标准的第4 版已于2 0 0 0 年l o 月发布， 它通过标准化一种用来定义描述方案的语言，即描述定义语言( d d l ) ，使带有与 之相关的m p e g 7 数据的a v 素材，就可以被加上索引，并可进行检索。这些媒体 材料可包括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它 们之间的组合关系。 在m p e g 一7 的基础上，i s o 又于1 9 9 6 年开始着手m p e g 一2 l 标准的制定工作。 m p e g 2 1 是一个支持通过异构网络和设备使用户透明而广泛地使用多媒体资源 的标准，其目标是建立一个交互的多媒体框架，该框架能够使遍布全球的各种网 络和设备上的数字资源被透明和广泛的使用。 总体来说，m p e g 4 和m p e g 2 1 其应用范围业已超出了传统的传输和存储范 畴，而是转向多媒体检索、交互式多媒体操作和内容管理等领域，已经不是一种 单纯意义上的视频编码算法。 二、h 2 6 x 标准 1 h ，2 6 1 1 4 l h 2 6 1 建议是最早出现的视频编码国际标准，由i t u t 第1 5 研究组为在窄带 综合业务数字网( n i s d n ) 上开展双向声像业务( 可视电话、电视会议) 而制定 的。该建议于1 9 9 0 年通过，其全称为“p 6 4 k b i t s 视听业务的视频编解码器”， 其中p = 1 3 0 ，用以根据传输线路的带宽调整图像质量。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，采用的算法结合了可减少时间冗余的帧间预测和可减少 空间冗余的d c t 变换的混合编码方法，主要由运动估计i b 偿、d c t 变换和 h u f f m a n 编码几部分组成。由于该建议主要针对实时业务，因而希望编解码延时 尽可能小，所以只利用前一帧做参考帧进行前向预测，且编解码器的复杂程度基 本对称。 2 h 2 6 3 5 l h 2 6 3 建议是1 1 u t 提出的关于码率低于6 4 k b i v s 的窄带电信信道视频编码的 基本算法，于1 9 9 6 年正式通过。它以h 2 6 1 为基础，同时吸收t m p e g 等其他一些 国际标准中有效合理的部分作出改进，如半像素精度的运动估计、不受限运动矢 量、高级预测模式、p b 帧等，使其性能优于h 2 6 1 。h 2 6 3 建议不仅着眼于利用p s t n ( p u b l i cs w i t c h e d t e l e p h o n e n e t w o r k ，公共开关电话网络) 传输，而且兼顾g s t n 移动通信等无线业务，作为视频编码解码的核心算法被广泛应用于视频电话终端 基于b l a c k f i n 5 3 3 的h 2 6 4 a v c 视频编码研究 如i t u t h 3 2 4 ( p s t n ) 、h 3 2 0 ( i s d n ) 和h _ 3 i o ( b - i s n r ) 中。 在h 2 6 3 之后，i t u 又相继于1 9 9 8 年和2 0 0 0 年制定了h 2 6 3 + 1 9 j ( h 2 6 3v 2 h 2 6 3 第二版) 和h 2 6 3 + + ( h 2 6 3v 3 ，h 2 6 3 第三版) 。h 2 6 3 + 和h 2 6 3 + + 是h 2 6 3 标准的扩充 并与之兼容，主要是在h 2 6 3 的4 种可选模式的基础上又附加了新的可选模式和其 他一些附加特性，目的是拓宽应用领域、提高压缩效率和错误掩盖能力。 3 h 2 6 4 a v c t 0 1 【圳 h 2 6 4 a v c 作为面向电视电话、电视会议的新一代编码方式，最初是由i t u 组 织的视频编码专家组v c e g 于1 9 9 8 年提出的，目标是在同等图像质量条件下，其 压缩效率比任何现有的视频编码标准要提高1 倍以上。直蛩j 2 0 0 1 年底，m p e g 组 织也加入了i t u t 的v c e g 组织，组成了联合视频专家组( j o i n t v i d e o t e a m ，j v t ) 共同完成制定工作。h 2 6 4 a v c 标准草案于2 0 0 3 年3 月正式获得通过。 l 2 6 4 仍基 于经典混合编码算法的基本结构，在变换编码【3 4 】、熵编码【3 5 】。【3 8 午口运动估计等 方面采用了一系列先进技术，是视频编码技术和图像工程的最新研究成果，其性 能超越了以往所有的视频编码标准，具有光明的应用前景。 1 3 嵌入式系统的发展 根据i e e e 的定义，嵌入式系统是“控制、监视或者辅助设备、机器和车间运 行的装置”( 原文为d e v i c e su s e dt oc o n t r o l ，m o n i t o r , o ra s s i s t t h e o p e r a t i o n o f e q u i v m e n t ，m a c h i n e r yo rp l a n t s ) 。不过上述定义并不能充分体现嵌入式系统的精 髓，目前国内普遍认同的一个定义是：嵌入式系统是以应用为中心和以计算机技 术为基础的，并且软硬件是可裁减的，能满足应用系统对功能、可靠性、成本、 体积、功耗等指标的严格要求的专用计算机系统。 嵌入式系统伴随着计算机技术发展了半个多世纪，现在已经发展出应用于不 同领域的门类的众多的各种系统。嵌入式系统可以根据处理器的位数、主频和应 用领域等分类。位数和主频反映的是计算机系统的计算能力，我们一般根据嵌入 式系统的应用领域分类。我们通常分类如下： ( 1 ) 基于单片机( 以m c s - - 5 1 、9 6 为代表) 的简单控制系统。该类系统的 集成了众多外围接口可以方便的进行系统设计，适合应用于仪表和控制领域。缺 点就是计算能力不强，不能应用于复杂的信号处理领域。 ( 2 ) 以d s p 为基础的数字信号处理系统。与单片机相比，d s p 具有更加适 合于数字信号处理的优点：普遍采用改进的哈佛总线结构，内部有硬件乘法器、 累加器，使用多级流水结构，在内部采用并行处理，并有专门设计的适合于数字 信号处理的指令系统，可以进行多片d s p 并行处理。该类系统主要用于移动基站 和雷达等数据量大且要求实时处理的领域。该类芯片的供应商以t i 和a d 公司为 第一章绪论 代表。 ( 3 ) 基于微处理器的嵌入式系统。该类系统微处理器以a r m 、p o w e r p c 、 m i p s 和6 8 k 系列为代表。此类嵌入式系统外围接口丰富，并且运行微型操作系 统。因为可以移植操作系统在该类微处理器上，所以有丰富的软件资源可以利用。 它们特别适合应用于网络通信和人机交互等软件复杂的领域。优点是可以丌发出 具有良好的人机界面的复杂系统，同时可以很好的保护利用已有的软件资源，缺 点是信号处理能力不如d s p 。 应用于视频领域的嵌入式系统需要有强大的信号处理能力，并且需要有良好 的交互功能。因此现有的视频系统需要d s p + 微控制器组合使用才能满足要求。 为了满足多媒体应用，a d 公司推出b l a c k f l n 系列处理器，它使用了a d 和 i n t e l 合作开发的m s a ( m i c r os i g n a la r c h i t e c t u r e ) 。该架构融合了d s p 和微控 制器( m c u ) 的特点。它即具有d s p 信号处理能力强的特点，又具有嵌入式微 处理器易于控制交互的优点，使用一块芯片就可以满足要求。因此，基于 b l a c k f i n 的嵌入式系统非常适合视频应用。 1 4 1 主要研究工作 1 4 本文的主要工作和章节安排 新一代视频编码标准h 2 6 4 a v c 具有很高的编码效率和良好的网络接口，是 未来多媒体数据压缩编码的应用主流。自从2 0 0 3 年3 月通过最终稿以来，围绕 h 2 6 4 a v c 的应用研究正在广泛展开。因此研究h 2 6 4 a v c 标准，并结合基于 b l a c k f i n 5 3 3 的嵌入式系统进行应用研究，推动h 2 6 4 a v c 的应用具有重要意义。 本文的主要工作以h 2 6 4 a v c 和b l a e k f i n 5 3 3 嵌入式系统为中心，可以分为 三部分：一是h 2 6 4 a v c 标准的分析研究：二是基于b l a c k f i n 5 3 3 的嵌入式系统 研究；三是视频编码系统研究。主要研究工作内容如下： l 、以h 2 6 4 a v c 为中心，熟悉视频编码的基本思想和原理，学习h 2 6 4 a v c 的语法并对其中的关键技术和标准细节进行了分析。在这一过程中，主要研究 了整数变换、运动预测、量化和熵编码。对于帧间预测7 种可变块尺寸和多参考 帧模式的细节进行了细致的分析，对于熵编码中的c a b a c 和c a v l c 进行了对 比研究。 2 、以b l a c k f i n 5 3 3 嵌入式系统为中心，熟悉视频编码的硬件系统和开发工具。 这一部分主要分析b f 5 3 3 的内核结构、存储器管理、缓存管理、总线结构和指令 集，学习使用v i s u a ld s p + + 3 5 软件开发环境。接着分析a d s p - - b f 5 3 3e z k i t l i t e 评估板，并在此基础上提出适合h 2 6 4 a v c 网络应用的视频编码系统。 3 、频编码系统的功能测试和h 2 6 4 a v c 整数变换的程序优化。由于 基于b l a c k f i n 5 3 3 的h 2 6 4 a v c 视频编码研究 b l a c k f i n 5 3 3 没有专门的1 2 c 接口，通过通用i o 口模拟，因此首先要编写1 2 c 程 序，驱动i o 口实现视频编解码芯片的初始化；根据编码图像需要c i f 格式，把 采集到的p a l 格式图像转化为c i f 格式；由于视频处理需要大数据量传输，对总 线带宽敏感，我们在不同的传输方向和总线频率测试d m a 传输带宽，为编程提 供参考：对于h 2 6 4 a v c 的关键部分整数变换进行原理分析，结合b l a c k f i n 5 3 3 的特点，编写并优化整数变换程序。 1 4 2 论文的主要贡献 1 、完整地分析h 2 6 4 a v c 标准，并且在关键部分进行了详细的分析。 2 、详细地介绍b l a c k f i n 5 3 3 ，并在总线和内存管理等重要部分对它的原理和 性能进行了分析。 3 、编写1 2 c 程序，实现硬件的初始化：实现视频图像的采集和格式转化；测 试不同情况下的d m a 总线的带宽，为编程提供参考；分析整数变换原理并 编写针对b l a c k f i n 5 3 3 优化的整数变换程序，总结了编写b l a c k f i n 程序的要领。 1 4 3 本文的章节安排 根据研究工作的内容，论文全文共分为5 章。具体如下： 第一章绪论。 介绍视频编码的原理和国际视频编码标准的发展，介绍嵌入式系统的分类。 第二章h 2 6 4 a v c 标准应用研究。 这一章主要是完整的分析h 2 6 4 a v c ，对输入图像格式、编码器结构、运动 预测、整数变换与量化、熵编码和n a l 进行了分析。 第三章基于b l a c k f i n 5 3 3 的视频嵌入式系统。 这一章主要介绍b l a c k f i n 5 3 3 芯片，开发工具和开发流程，以及以b l a c k f i n 5 3 3 评估板为基础的视频编解码系统。 第四章h 2 6 4 a v c 视频编解码系统研究。 介绍我们在视频编解码系统的1 2 c 总线、视频采集、存储器性能测试和整数 变换等方面所做的工作。 第五章结束语。 对论文进行了总结，并对视频编码应用的下一步发展进行了预测。 第二章h 2 6 4 a v c 标准应用研究 第二章h 2 6 4 a v 0 标准应用研究 2 1 引言 h ，2 6 4 a v c 是i t u t 的v c e g ( 视频专家组) 和i s o i e c 的m p e g ( 活动图 像编码专家组) 组成的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的新一代数字 视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 一4 的第1 0 部分。 1 9 9 8 年1 月开始草案征集，2 0 0 3 年3 月i t u 和i s o i e c 分别通过最终稿。 h 2 6 4 a v c 是在h 2 6 x 和m p e g x 系列标准的基础上发展起来的，它的目标 是提高编码效率、简化语法规范和网络适应性。为了提高编码效率，它采用了多 参考帧、可变块、整数变换和基于上下文的熵编码等许多新技术。为了提高网络 使用性，除了视频编码层( v c l ) 外，还增加了网络抽象层( n a l ) ，使h 2 6 4 a v c 具有网络友好性。 下面就详细介绍h 2 6 4 a v c 的详细内容。 2 2 1 输入图像格式 2 2 输入图像格式及表示 为了便于图像的处理和系统兼容，国际上制定了统一的图像格式。常用的图 像格式有c i f ( c o m m o n i n t e r m e d i af o r m a t ) 和q c i f ( q u a r t e rc o m m o ni n t e r r n e d i a f o r m a t ) ，其中c i f 为3 5 2 x 2 8 8 ，q c i f 为1 7 6 x 1 4 4 。由于人们眼睛对色彩的变化的 敏感度低，所以对色度信号采用子采样。常用的信号采样格式如表2 1 所示。在 h 2 6 4 t a v c 一般采用4 ：2 ：0 格式。该格式图像表示每幅图像由一个亮度分量和 两个色度分量，色度分量的尺寸是亮度的1 4 。 表2 1 信号采样格式 信号采样格式每象素占用字节 单色 l 4 ：2 ：01 5 4 ：2 ：22 4 ：4 ：43 一幅图像可以由一帧组成或上下两场组成，渐进扫描视频信号产生的是帧图 像，隔行扫描信号产生上下两场图像。渐进扫描方式的采样如图2 1 所示，图2 2 l o 基于b l a c k f i n 5 3 3 的h 2 6 4 a v c 视频编码研究 表示的是隔行扫描的采样方式。 oo oo xx oo f 卧_ e = 亮度情号位趾 0= 色度信号位筒 圈2 1 渐进扫描信号采样方式 ooo x ooo x ooo ；叵三 i 叵巫丑、 = 亮度信号位置 2 亮度信号位置 0；色度信号位置0 = 色度信号位置 图2 2 隔行扫描信号采样方式 2 2 2 图像中宏块和片断的划分 采样后的视频图像( 包括帧和场图像) 都被分成互不重叠的1 6 1 6 宏块，每 个宏块包括1 个亮度块和2 个8 x 8 的色度块。一帧c i f ( 3 5 2 2 8 8 ) 格式的图像 分为2 2 1 8 = 3 9 6 个宏块，一帧q c i f ( 1 7 6 1 4 4 ) 格式的图像被分为1 1 x 9 = 9 9 个宏块。若干个宏块又组成了宏块组，称为片( s l i c e ) 。当宏块的帧场自适应模 式不使用时，如图2 3 ( a ) 所示，图像和片断是由一个个宏块组成，该图像分了 2 个片，该模式适合帧场信号。当使用帧场自适应模式时，如图2 3 ( b ) 所示， 上下相邻的宏块组成宏块对，对于场信号，宏块对的上面宏块来自上半场信号， 宏块对的下面宏块来自下半场信号。使用该模式首先要把图像转化为帧格式，解 码输出时可以根据显示设备输出帧信号或场信号。 x o o o x 第二章h 2 6 4 a v c 标准应用研究 l a 2 2 3 图像分块及表示 图23 图像划分示意剧 图像由宏块组成，宏块按照光栅扫描的顺序从0 开始编号。如图2 4 ( a ) 所示 每个宏块又可以进行分割，每个子块的编号如图所示，对于8 x 8 的子块还可以进 行分割，予块分割编号如图2 4 ( b ) 所示。 ( a ) 宏块分割 ( b ) 子块分割 口田田田 1 6 x 1 6 8 8 口日田田 8 88 x 4 4 x 8 图2 4 宏块及子块分割示意图 所以由宏块编号m b a d d r ，宏块分割编号m b p a r t l d x ， s u b m b p a r t i d x 可以唯一确定图像块。 2 2 4 当前块邻域的确定 4 4 子块分割编号 在图像编码的过程中，经常需要利用相邻块的信息，需要确定当前块的相邻 块。如图2 5 所示，当前块为宏块或宏块分割或子块分割，左相临块用a 表示， 上方相邻块用b 表示，右上方相邻块用c 表示，左上方相邻块用d 表示。 要确定相邻块，首先要确定相邻点。如图2 5 以当前块左上方的点为参考点， 基于b l a c k f i n 5 3 3 的h 2 6 4 a v c 视频编码研究 相邻块的相邻点和参考点的相对坐标如表2 2 所示。覆盖相邻点的宏块标号为 m b a d d r n ( n 为a ，b ，c 或d ) ，覆盖相邻点的子块为m b p a r t i d x n ( n 为a ，b ， c 或d ) ，如果该子块是8 x 8 的予块，那么还需要覆盖相邻点的子块标号 s u b m b p a r t i d x n ( n 为a ，b ，