（通信与信息系统专业论文）基于blackfin533的h264视频解码的实现与优化.pdf

浙江工业大学硕士学位论文 基于b l a c k f i n 5 3 3 的h 2 6 4 视频解码的实现与优化 摘要 h 2 6 4 是一种具有高压缩比、高图像质量和良好网络亲和性的视频编解码标准。它吸 收了以往标准的优点，提出了许多新的思想和算法，大幅度提高了编解码效率和图像质量， 但也导致了运算量的大幅增加，因此如何有效地实现h 2 6 4 图像编解码是多媒体应用中面 临的主要难题之一。 b l a c k f i n 5 3 3 是a d i 公司推出的一款低功耗、高性能的定点d s p 芯片，主频高达 6 0 0 m h z ，每秒可处理1 2 0 0 m 次乘法运算。它采用a d i 和i n t e l 共同研发的微信号m s a 结 构，引入专门的视频处理指令，可以并行处理多条指令。在功耗、成本方面有很大的优势， 极具性价比，非常适合嵌入式的多媒体视频应用。 2 0 0 9 年1 月7 日，国家工业和信息化部为中国移动、中国电信和中国联通发放3 张第 三代移动通信( 3 g ) 牌照，标志着我国正式进入3 g 时代，六成的人愿意尝试3 g 服务， 同时说明数字视频技术将深入到人们生活的各个方面。因此，本文研究并实现的基于 b l a c k f i n 5 3 3 的h 2 6 4 视频解码具有广泛的应用前景。 本课题充分研究了h 2 6 4 标准参考代码j m 8 6 和b l a c k f i n 5 3 3 芯片的硬件结构特点，结合 了实时视频应用以及b l a c k f i n 5 3 3 芯片的主频和内存等方面的因素，选择了h 2 6 4 的基本档次 ( b a s e l i n ep r o f i l e ) 作为研究的重点，提出了基于b l a c k f i n 5 3 3 的h 2 6 4 视频解码方案并实现 了其相关的优化操作。本文主要从以下几个方面进行了具体的阐述： 1 首先在p c 机上进行了h 2 6 4b a s e l i n ep r o f i l e 的提取，接着在b l a c k f i n 5 3 3 平台上实现 7 h 2 6 4b a s e l i n ep r o f i l e 解码算法的移植，最后完成了h 2 6 4b a s e l i n ep r o f i l e 解码的各种优 化； 2 在算法优化过程中，经过复杂度分析，确定了去方块滤波、熵解码和变换量化等为 主要的耗时模块，并重点研究了去方块滤波模块中的滤波强度判断，通过对参考算法的改 进，提出了一种快速的滤波强度判断方法，并在解码速度上有了近1 0 的提高； 3 在其他优化方面，本文结合b l a c k f i n 5 3 3e z k i tl i t e 开发板的硬件结构进行了基于 浙江工业大学硕士学位论文 编译环境选择、存储资源重配置以及关键汇编程序改写等方面的优化。 最后通过实验证明，以上的优化处理明显地提高了解码速度，缩短了解码时间，有效 地减少了计算量，并降低了c p u 的开销。 关键字：h 。2 6 4 ，b l a c k f i n 5 3 3 ，视频解码，实现与优化 i i 浙江工业大学硕士学位论文 i m p l e m e n ta n do p t i m i z a t i o no fh 2 6 4v i d e o d e c o d e rb a s e do nb l a c k f i n 5 3 3 a b s t r a c t h 2 6 4i st h en e w e gv i d e oc o d e cs t a n d a r dw i n ll l i g hc o m p r e s s i o nr a t i o 、h i g hi m a g eq u a l i t y a n dn e t w o r k - f r i e n d l y i th a sa b s o r b e da d v a n t a g e so ft h ef o r m e rv i d e oc o d e ca n dp u tf o r w a r d m a n yn e wi d e a sa n da l g o r i t h m s ，a n di n c r e a s e sc o d e ce f f i c i e n c ya n di m a g eq u a l i t y ，b u ti ta l s o l e a d st oas i g n i f i c a n ti n c r e a s ei nt h ea m o u n to fc o m p u t i n g , s oh o wt or e a l i z eh 2 6 4e f f i c i e n t l yi s o n eo ft h em a i np r o b l e m si nm u l t i m e d i aa p p l i c a t i o n s b l a c k f i n 5 3 3i sal o w - p o w e r 、h i g h - p e r f o r m a n c ea n df i x e d - p o i n td s pc h i pp r o d u c e db y a d i ，a n di t sf r e q u e n c yi su pt o6 0 0 m h z ，a n di tc a nh a n d l e12 0 0 mm u l t i p l i c a t i o np e rs e c o n d b l a c k f i n 5 3 3u s e sm i c r os i g n a la r c h i t e c t u r e ( m s a ) d e v e l o p e db ya d ia n di n t e l ，a n di t i n t r o d u c e ss o m es p e c i a lv i d e op r o c e s s i n gi n s t r u c t i o n s ，a n dc a r lh a n d l ep a r a l l e li n s t r u c t i o n s b l a c k f i n 5 3 3a l s oh a sa d v a n t a g e so fp o w e r 、c o s ta n dh i 出c o s t e f f e c t i v e ，s oi ti ss u i t a b l ef o rt h e e m b e d d e dv i d e oa p p l i c a t i o n s j a n u a r y7 ，2 0 0 9 ，m i n i s t r yo fi n d u s t r ya n di n f o r m a t i o nt e c h n o l o g yo ft h ep e o p l e sr e p u b l i c o fc h i n ah a si s s u e dt h et h i r d - g e n e r a t i o nm o b i l ec o m m u n i c a t i o n s ( 3 g ) l i c e n s et oc h i n am o b i l e 、 c h i n at e l e c o ma n dc h i n au n i c o m ，w h i c hi n d i c a t e s3 gw i l lb ei nc h i n a ，a n d6 0 o fp e o p l ea l e w i l l i n gt ou s e3 gs e r v i c e t h i ss h o w st h a td i g i t a lv i d e ot e c h n o l o g yw i l li n c o r p o r a t ei n t oa l l a s p e c t so fp e o p l e sl i v e s t h e r e f o r e ，t h es t u d ya b o u tt h ei m p l e m e n t a t i o no fh 2 6 4v i d e od e c o d e r b a s e do nb l a c k f i n 5 33h a sb r o a da p p l i c a t i o np r o s p e c t s t h i sp a p e rs t u d i e dh 2 6 4r e f e r e n c ec o d ej m 8 6a n db l a c k f i n 5 3 3h a r d w a r es t r u c t u r e ，a n d t a k ei n t oa c c o u n to ft h er e a l t i m ev i d e oa p p l i c a t i o n s 、b l a c k f i n 5 3 3f r e q u e n c ya n dm e m o r y ，a s w e l la so t h e rf a c t o r s ，t h e nh a sc h o s e nh 2 6 4b a s e l i n ep r o f i l ea st h er e s e a r c ho b j e c t ，a n db r i n go u t t h es c h e m ea b o u tt h ei m p l e m e n t a t i o no fh 2 6 4v i d e od e c o d e rb a s e do nb l a c k f i n 5 3 3 t h ep a p e r w i l le x p a t i a t ed e t a i l e da sf o l l o w s ： l i l 浙江工业大学硕士学位论文 1 e x t r a c tt h eh 2 6 4b a s e l i n ep r o f i l ei np cm a c h i n ea n dr e a l i z eh 2 6 4b a s e l i n ep r o f i l e d e c o d e ra l g o r i t h mo nt h ep l a t f o r mo fb l a c k f i n 53 3 ，a tl a s tp r o g r e s ss y s t e mo p t i m i z a t i o na n d m o d u l eo p t i m i z a t i o nf o rh 2 6 4b a s e l i n ep r o f i l e ； 2 d u r i n ga l g o r i t h mo p t i m i z a t i o n ，d e t e r m i n et h a tt h et i m e c o n s u m i n gf u n c t i o n sa r ee n t r o p y c o d i n g 、d e b l o c k i n gf i l t e r a n dq u a n t i t a t i v et r a n s f o r m a t i o nm o d u l e ，t h e nt h ej u d g e m e n to f b o u n d a r ys t r e n g t h ( b s ) o fd e b l o c k i n gf i l t e rm o d u l ei ss p e c i a l l ys t u d i e d ，a n dp r o p o s ea ne f f i c i e n t a r i t h m e t i cf o rd e b l o c k i n gf i l t e rb a s e do nt h ef o r m e r , t h e ns h o r t e na b o u t10 o ft h ed e c o d e rt i m e ； 3 i no t h e rs i d e so fo p t i m i z a t i o n ，p r o p o s eo p t i m i z a t i o ns t r a t e g i e ss u c ha sc o m p i l e r o p t i m i z a t i o n 、m e m o r yr e s o u r c eo p t i m i z a t i o na n dc o m p i l e dl a n g u a g eo p t i m i z a t i o nb a s e do n b l a c k f i n 5 3 3h a r d w a r ep l a t f o r m t h r o u g ht h e s eo p t i m i z a t i o n s ，h 2 6 4d e c o d e rc a l li m p r o v ed e c o d e rs p e e da n dq u a l i t y , a n d s h o r t e nd e c o d e rt i m e ，e f f e c t i v e l yr e d u c et h ec a l c u l a t i o na n dt h es o f t w a r eo v e r h e a do fc p u ，t h e n i m p r o v et h ee f f i c i e n c yo ft h ed e c o d e r k e yw o r d s ：h 2 6 4 ，b l a c k f i n 5 3 3 ，v i d e od e c o d e r ，i m p l e m e n ta n do p t i m i z a t i o n i v 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名：瓢妒 日期：w ? 年f 月7 o 日 ， 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密0 。 ( 请在以上相应方框内打“”) 作者签名：像1 揽i 导师签名：1 红太 日期办习年，月日 日期：听年厂月伽日 浙江工业大学硕士学位论文 第1 章绪论 1 1 研究背景与意义 长期以来，人们在自然界接收到的主要信息是视觉信息，人类通过视觉获得的信息量 约占总信息量的7 0 。视觉信息中的视频信息具有直观性、确定性、可信性、高效性等优 点【i j 。随着近几年多媒体技术和通信技术的发展，视频信息广泛的应用于远程监控、远程 医疗、视频会议、娱乐、网络教学等：同时人们对于视频信息的需求也越来越大，在通信 领域，人们现在已经不满足于语音通信，人们渴望能够视频聊天。在已经圆满结束的2 0 0 8 年北京奥运传输直播上以及已经发证通行的3 g 技术，视频方面已经有了很好的表现。 为了满足人们对视频信息的需求，需要解决因视频信息剧增带来的视频传输和存储等 问题。解决这些问题一般有两个途径：一是增大网络带宽和存储空间；另一个是提高视频 源的噩缩效率。前者提高网络带宽需要投入大量的设备，成本太高；后者提高视频源的压 缩效率需要发展新的视频编解码技术，更新编解码端设备，目前许多终端设备只需要升级 软件就可以支持新的视频编解码标准，并且可以很好的利用现有的网络设备。因此提高视 频编解码效率是满足人们对视频需求的一个很好选择。 目前，国际上制定视频编解码标准的组织主要是i s o ( 国际标准化组织：i n t e r n a t i o n a l s t a n d a r d i z a t i o no r g a n i z a t i o n ) 和i t u ( 国际电信联盟：i m e m a t i o n a lt e l e c o m m u n i c a t i o n u n i o n ) ，它们先后制定了静止和运动的图像编解码标准：静止图像压缩的j p e g 、面向i s d n ( 综合业务数字网：i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 视频传输的h 2 6 1 、用于数字音视 频传输及存储的m p e g 1 、支持h d t v ( 高清晰度电视：h i g h d e f i n i t i o n1 v ) 高品质数字音 视频传输与存储的m p e g 2 、适合低码率视频传输的h 2 6 3 、基于对象的视频编码标准 m p e g 4 和致力于低码率高效率的h ，2 6 4 。这些国际标准的建立都大大的提高了编解码效 率，是图像和视频编码技术五十年的研究结果，推动了图像和视频技术的应用发展。 其中，h 2 6 4 标准的推出，是视频编解码标准的一次重要进步，但h 2 6 4 也带来了算法 复杂度的大幅度提高，与其相比是以往编解码标准的4 倍以上。随着集成电路技术的快速 发展，特别是高速数字媒体处理器( j i n a d ia n a l o gd e v i c ei n c 公司的b l a c k f i n 5 3 3 t 2 1 ) 的出 现，为实现高效的音视频信号处理提供了可能性。在不断改良发展的多媒体处理器上，低 成本的m c u + d s p 混合结构的新架构处理器的出现，成为实现嵌入式环境下h 2 6 4 解码新的 1 浙江工业大学硕士学位论文 亮点。混合结构的处理器，免除了片间通信带来的系统设计的复杂性，大幅度提高了处理 数据流的能力，同时降低了多芯片对功耗的需求。具有此混合结构的b l a c k f i n 系列d s p 是专 门为便携式的应用所设计的，特别适用于对要求苛刻的便携式嵌入式应用。目前在移动终 端、p d a 、机顶盒和数码相机等嵌入式产品上都广泛采用了d s p 芯片，研究视频编解码算 法的d s p 实现，对进一步推动其应用具有重要的意义。 基于此，本文对新架构的b l a c k f i n 5 3 3 处理器上的h 2 6 4 视频解码的实现进行了研究， 对整个解码系统进行了详细的分析和设计，最后完成了基于b l a c k f i n 5 3 3 处理器的h 2 6 4 解码 系统的实现与优化，为低成本的视频解码解决方案提供了参考，并具有很好的应用潜力。 1 2 研究现状 1 2 1 国际视频编解码标准的发展 国际视频压缩编解码标准的制定工作主要是由i s o 和i t u 两大组织完成的，由i t u 制定 的标准主要是针对实时视频通讯的应用，如视频会议和可视电话，它们以h 2 6 x 命名；而由 i s o 和i e c ( 国际电工委员会：i n t e m a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 的共同委员会中的 m p e g ( 动态图像专家组：m o v i n gp i c t u r ee x p e r tg r o u p ) 制定的标准主要针对视频数据的 存储、广播电视和视频流的网络传输等应用，它们以m e p g - x 命名。各种视频编解码标准 都是根据在不同领域中对声像数据的要求所制定的，并且随着人们的需求不断地发展。下 图1 1 按制定的时间顺序大致描述了视频编解码标准的发展历程【3 j 。 li t d v c e g j 厂雨2 扣( j 1 3 高吲 iii h 1 l h 2 6 3 + + l ：ii ! ! ! ! 鞋2：l 缉唑l 嘲：r 1 嘲： 毕盟划：厂+ ：哑掣： ： m 咋g ：i ： ： ： ：i ( 1 9 9 4 9 5 ) l ：眄两研： l s o ，- e c ：网：1 1 蒿去向 i i m f e g：u ! 塑u ：b ! ! ! 丝峰划 l i l ， _ _ - 1 9 9 0 在图1 1 中，横粗线以上表示由i t u 制定的编解码标准，横粗线以下表示由i s o i e c 制 定的编解码标准，压在横粗线上的方框表示由i s o i e c 与i t u 联合制定的编解码标准。 2 浙江工业大学硕士学位论文 m p e g x 系列 m p e g 专家组主要负责开发电视图像数据和声音数据的编码、解码和同步方面的标准， 是针对运动图像而设计的。其平均压缩比可达5 0 ：1 ，压缩率比较高，可实现帧之间的压缩， 有统一的格式，兼容性好。到目前为止，已经开发和正在开发的m p e g 标准有： m p e g 1 ：数字电视标准，1 9 9 2 年正式发布【4 1 ，主要针对1 5 m b p s 以下的数字存储媒质 运动图像及其伴音编码的国际标准，是专为工业级标准而设计，可适用于不同带宽的设备， 女 ic d r o m 、v i d e o c d 、c d r 等。 m p e g 2 - 数字电视标准，结构与m p e g 1 相似，但增加了新的补充部分。m p e g 2 可 以提供一个较广的范围改变压缩比，以适应不同画面质量、存储容量以及带宽的要求，可 适用于广播、有线电视网、电缆网络以及卫星直播，提供广播级的数字视频 4 1 。 m p e g 3 ：已于19 9 2 年7 月合并到h d t v 工作组。 m p e g - 4 ：多媒体应用标准，是一种基于对象的音视频编解码标准【5 】。m p e g - 4 不再是 一个单纯的音视频编解码标准，它更多定义的是一种格式、框架，而不是具体算法，为多 媒体数据压缩提供了一个更为广阔的平台，允许在系统中加入新的算法，为用计算机软件 编解码提供了更大的方便。 m p e g 一5 、m p e g 6 ：至今还没有定义。 m p e g 7 - 多媒体内容描述接口标准，目前正在研究。 在m p e g 编解码标准的发展中，经常会出现一些容易混淆的概念。如将m p e g 4 等于 d i v x ( 数码影像压缩编码新技术) ，不少人都以为d i v x 就是m p e g 4 ，但其实d i v x 的影 像部分以m p e g 4 来压缩、音效部分以m p 3 压缩处理，再以a v i 文档格式存在的制成品：也 有人认为m p 3 即是m p e g 3 ，其实不然，m p e g 3 只不过是被淘汰的一种压缩技术，至于大 家熟悉的m p 3 其实是m p e g 1l a y e r3 的音频数据压缩技术，它是m p e g 1 音频编码算法的 一部分，简称m p 3 ；同样，m p 4 不是m p 3 的下一代，当然也不是m p e g - 4 ，m p 4 是m p e g 一2 a a c ，是一种音频压缩格式，生活中常说的m p 4 播放器是一种集音频、视频、电子书、图 片浏览、收音机等于一体的多功能播放器。目前，不知是炒作还是趋势，在商家眼里，只 要能和视频沾一点边的播放器，统统都i q m p 4 ，这种说法虽然简单直观，但增加了与m p 3 区分的难度。 在过去的几年中，符合m p e g 标准的产品与应用具有强大的生命力，m p e g 在编码标 准化、商业化方面所获得的巨大成功也使人们感到m p e g 总是能够兼顾技术发展潮流与实 际应用需求，紧扣商业应用的脉搏，这使得它变得越来越引人注目而又激动人心。 3 浙江工业大学硬士学位论文 h 2 6 - x 系列 通常情况下，h2 6 - x 标准侧重于视频信息的数据压缩效率1 6 l ，以适台调整该系统在特 定的位速率下传输，其主要应用目标是可视电话和会议电视。h2 6 1 标准首次尝试综合数 字压缩技术和网络技术实现熟悉图像实时传输【l 】，即可以在码率为p x 6 4 k b i f f s ( p 取1 3 0 ) 的i s d n 上实时地传输声音和图像信息。h 2 6 3 标准是一种码率低于6 4 k b i t s 的甚低码率视 频压缩编码标准【7 】，它不仅着眼于利用p s t nf 公共开关电话网络：p u b l i cs w i t e h e d t e l e p h o n e n e t w o r k ) 传输，而且兼顾g s t n ( 通用交换管理协议：g e n e r a ls w i t c ht e l e e o m m u n i e a f i o n n e t w o r k ) 等无线业务。为进一步改善图像质量，提高压缩比，h 2 6 3 在h2 6 1 的基础上进 行了很多改进，如用半像素精度预测取代了全像素预测、不受限运动矢量、p b 帧模式、先 进预测模式、用基于语法的算术编码代替霍夫曼编码等等。在带宽受限或紧缺的应用场合 下，h 2 6 4 大大降低了网络带宽需要，同时自适应传输能力大大提高了系统抗抖动性能。 h 2 6 1 标准是视频编解码的经典之作，h2 6 3 是其发展，并将逐步在实际上取而代之， 主要应用于通信方面，但h2 6 3 众多的选项往往令使用者无所适从。因此，在此基础上发 展起来的新的视频编解码标准h2 6 4 克服了以往标准的弱点，在混合编解码的框架下引入 了新的编解码方式，提高了编解码效率，面向实际应用。 h2 6 4 以系统的高效率压缩和高质量解码图像为目标嘲，算法上不但考虑单个算法模块 实现的高效性，同时注重联合设计，将多种具有独特性的编码技术集成在一起，使整个标 准的视频压缩性能得至飞跃性提高。 对h2 6 3 h l p ( h i 曲l a t e n c y p r o f i l e ) 、m p e g - 4 a s p ( a d v a n c e ds i m p l e p r o f i l e ) 、m p e g - 2 m p 国m l ( m a i np r o f i l e m a i nl e v e l ) 和h2 6 4m a i np r o f i l e 标准的编码器，选取c i f 格式的 标准测试序列t e m p e t e 进行了测试，输入帧频为3 0 帧s ，测试结果如图1 - 2 和表i 1 所示【9 l 。 t 4 目* q 口m 目1 2 各种编码器重建图像的亮度峰值信噪比 1日tnslia 浙江工业大学硕士学位论文 从图1 2 可以看到，h 2 6 4 重建图像的峰值信噪p s n r 与m p e g 4 相比平均提高2 d b ，比 h 2 6 3 平均提高3 d b ，比m p e g 2 平均提高5 d b 。 表1 1 给出了对于这组测试序列所能节省的平均比特率，h 2 6 4 编码视频流与m p e g - 4 a s p 编码视频流相比，可节省近3 9 的比特率，若与h 2 6 3 h l p 相比，平均可节省约5 0 的 比特率，同时 = i , m p e g 2 ，最多可节省近6 5 的比特率。 表1 1各种视频编码器节省比特率对照表 平均节省比特率对照 编码器m 【p e g - 4a s ph 2 6 3h l pm p e g - 2 h 2 6 4 a v cm 【p3 8 ，6 2 4 8 8 0 6 4 4 6 m p e g - 4a s p 1 6 6 5 4 2 9 5 h 2 6 3h l p3 0 6 1 但是，h 2 6 4 性能的提高是以增加系统复杂度为代价的。芯片制造业普遍认为采用h 2 6 4 标准的编解码器与采用m p e g 2 标准的芯片相比，起码要增加3 倍的门数：其算法会导致解 码端指令增j 3 h 2 至0 3 倍以上。因此，当前基于h 2 6 4 标准的研究更多地集中在算法优化和硬件 芯片设计上。h 2 6 4 档次的划分，为嵌入式系统的实现提供了一定的条件。在随后的章节中， 将会对在b l a c k f i n 5 3 3 平台上开发实现h 2 6 4 解码系统的方案进行探讨和研究。 1 2 2h 2 6 4 解码平台的比较及选择 面对功能日益复杂的编解码标准，它们都有各自的优点和应用领域，如何有效的实现 视频编解码已成为设计开发视频应用的关键技术之一【l o l 。对实现视频编解码平台的选择需 要综合很多因素，其中包括应用的种类、对开发的支持、功耗限制、未来产品的升级、开 发平台是否可获得以及商用编解码器的成本等，表1 2 列出了目前流行的实现平台。 表l 一2 视频编解码平台比较 平台优点缺点 不易更新和升级、成本不占优 专业硬件性能和功耗最佳。 势、系统不灵活、开发成本高。 d s p 或多媒体开发周期短、系统灵活、易于升级、效编解码器的选择范围有限、开 处理器率高、功耗低、处理能力强。发成本中等。 硬件设计简单、软件开发环境好、易于 个人电脑成本很高，应用领域受限。 升级、性能较佳。 浙江工业大学硕士学位论文 到目前为止，个人电脑的软件平台和专用硬件平台是实现m p e g 4 编解码最广泛采用 的实现平台。d s p 或多媒体处理器因其在功耗、性能和灵活性上的良好平衡性在h 2 6 4 应 用领域开始流行【】。 随着多媒体技术的发展，视频编解码标准在很多领域都得到了成功应用，如v c d ( m p e g 1 ) 、视频会议( h 2 6 3 ) 、d v d ( m p e g 2 ) 、机顶盒( m p e g 2 ) 等。h 2 6 4 能面 向各种应用场合( 从低比特率到高比特率) ，其算法本身也包含了丰富的基于压缩和网络 传输的各种编解码选项。众所周知，h 2 6 4 的高效性是建立在其高复杂度的基础上，就其 基本档次而言，解码器复杂度是h 2 6 3 解码器的3 倍左右，而编码器的复杂度更是高达l o 多倍。h 2 6 4 作为前景广阔而又具有挑战性的新生事物，必将带动新一轮技术革新。 近年来，处理器芯片性能在不断地提高，其中包括越来越高的处理器主频，强大的运 算功能以及丰富的外部设备。b l a c k f i n 5 3 3 处理器在功耗、成本等方面的优势也是其受到人 们关注的一个原因。该处理器融合了d s p 和m c u ( 微控制器：m i c r oc o n t r o lu n i t ) 的特 点，既具有d s p 信号处理能力强的特点，又具有嵌入式微处理器易于控制交互的优点，单 芯片就可以满足两方面要求。因此，基于b l a c k f i n 的嵌入式系统非常适合视频应用。 自从2 0 0 3 年3 月通过终稿以来，围绕h 2 6 4 的应用研究正在广泛的展开。因此研究 h 2 6 4 标准，并结合基于b l a c k f i n 5 3 3 的嵌入式系统进行应用研究，对推广h 2 6 4 的应用具 有重要意义。 1 2 3b l a c k f i nd s p 系列的优势分析 在嵌入式d s p 和m c u 市场中，t i 、飞斯卡尔、杰尔等通用d s p 厂商主要占领可编程 d s p 市场；b r o a d c o m 、s t m i c r o 、c i r r u s 等公司的产品则多以a s i c 的形式出现，为专用功 能的d s p 芯片；在嵌入式m c u 市场中，则是飞斯卡尔、瑞萨、i n t e l 等单片机厂商的舞台。 a d i 把这三个市场的重叠部分定义为汇聚处理概念，推出了b l a c k f i n 处理器，它是一种嵌 入式处理器核，通过软件的方式实现d s p 和m c u ，这样在一个产品中便具备了d s p 的运 算优势和单片机的控制优势。 b l a c k f i n 在信号处理性能和功率利用效率方面取得了突破性进展【1 2 1 ，同时也造就了一 个基于s i m d ( 单指令流多数据流：s i n g l ei n s t r u c t i o nm u l t i p l ed a t a ) 架构的全3 2 位r i s c ( 精 简指令集计算机：r e d u c e di n s t r u c t i o ns e tc o m p u t e r ) m c u 程序设计模型。b l a c k f i n 处理器 提供了高性能和同类软件目标，从而实现了实时信号处理任务与非实时控制任务之间资源 的灵活分配。 6 浙江工业大学硕士学位论文 目前，b l a c k f i n 处理器在单核产品中性能可高达7 5 6 m h z ，该系列中的新型对称多处 理器成员在相同的频率条件下实现了性能的翻番。b l a e k f m 处理器系列还提供了低至0 8 v 的业界领先功耗性能。对于满足当今及未来的信号处理应用( 宽带无线、具有音视频功能 的网络工具及移动通信) 而言，这种高性能与低功耗的组合是必不可少的。 作为一种尖端的信号处理技术，b l a c k f i n 系列特别适合于完成图像、视频、音频、语音 和数据通信的数字信号处理，同时还提供综合的控制能力。其主要优点如下： 可实现各种新型市场和应用的高性能信号处理和高效控制处理能力； 可使系统设计师将器件功耗模式与终端系统要求相适应的动态电源管理能力； 可确保开发时间最小化的易用型混合1 6 3 2 位指令集架构和开发工具套件： 可分层结构的内存，缩短了内核对内存的访问时间，可获得最大的数据吞吐量。 在目前的嵌入式多媒体应用中有一些采用了多处理技术的解决方案，在这样的架构中 d s p 主要负责媒体处理、信号处理；而r i s c 则主要完成控制、包处理等。而b l a c k f m 系 列的处理器并不仅仅是一个单纯的d s p ，它是一高性能的双m a c ( 媒体存取控制：m e d i a a c c e s sc o n t r 0 1 ) 处理器，额外拥有其他类似微处理器所常见的一些特性，可以与普通r i s c 的m c u 相媲美。如图1 3 示为o m a p 架构的处理器和b l a c k f i n 系列处理器的对比。 a p p l i c a t i o n e m b e d d e d0 s d s p m i d d l e w a r e 二 二 d s p k e r n e l b l a c k f i np r o c e s s o r ( o m a p ) 硬件硬性的资源配置( b l a c k f i n ) 软件a p i 灵活的资源配置 图1 3o m a p 架构的处理器和b l a c k f i n 系列处理器的对比 o m a p 架构的处理器内部为a r m 和d s p 的双核结构，a r m p 勺核负责运行嵌入式操作系 统、应用软件等；c 5 x 负责视频、图像处理。而b l a c k f i n 系列的处理器，可以同时运行嵌入 式操作系统、上层应用和进行一般的信号处理。 浙江工业大学硕士学位论文 本课题选择的a d s p b l a c k f i n 5 3 3 是b l a c k f i n 系列中具有代表性的d s p 处理器，这款 b l a e k f i n 处理器兼具业界一流的d s p 性能和m c u 功能，并且支持嵌入式操作系统，专为 满足目前音视频、通信应用等方面的计算需求和降低功耗而设计的。 1 3 课题的主要工作和结构安排 本文的主要内容侧重于对h 2 6 4b p ( 基本档次：b a s e l i n ep r o f i l e ) 解码的实现与优化研 究。现有的h 2 6 4 参考模型j m 系列，完全体现了h 2 6 4 的各种特性，但它的结构、算法都相 当繁复，严重影响了编解码效率。本文的主要工作是分析h 2 6 4b a s e l i n ep r o f i l e 的实现要求 和a d i 公司b l a c k f i n 5 3 3 的硬件结构特点，并把在通用p c 平台下开发的h 2 6 4 官方测试参考模 型j m 8 6 移植至) j a d i 的b l a c k f i n 5 3 3 评估开发套件上，最后并对其进行一系列的优化操作，实 现解码性能的提高。 本论文内容包括七章，结构安排如下： 第一章绪论：介绍本课题的研究背景、意义和主要工作。 第二章h 2 6 4 a v c 编解码标准的技术：介绍了h 2 6 4 视频压缩协议，分析并讨论了关 键技术，为在嵌入式环境下实现视频解码提供了理论基础。 第三章h 2 6 4 a v c 解码开发平台一a d ib l a c k f m 5 3 3 概述：分析了b l a c k f i n 5 3 3 芯片的特 点，同时对h 2 6 4 解码开发平台b l a c k f i n 5 3 3e z - k i tl i t e 评估开发套件进行了移植可行性分 析，并且介绍了开发工具v i s u a ld s p + + 4 5 的特点和应用。 第四章基于b l a c k f i n 5 3 3 的h 2 6 4 视频解码方案设计：分析了硬件设计方案及其注意事 项，在此基础上提出了软件开发流程及关键点的处理。 第五章基于b l a c k f i n 5 3 3 的h 2 6 4b a s e l i n ep r o f i l e 解码移植：分析了h 2 6 4b a s e l i n e p r o f i l e 解码器的档次限制，从j m 8 6 提取了支持基本档次的解码结构，并在此基础上进行了 h 2 6 4 解码代码的移植工作。 第六章基于b l a c k f i n 5 3 3 的h 2 6 4b a s e l i n ep r o f i l e 解码优化：研究了j m 8 6 算法并进行 了相应的算法优化，分析采用了基于b l a c k f i n 5 3 3 硬件平台的优化，并分析了重点耗时函数 的汇编优化策略，最后对优化效果进行了分析评价。 最后是结论、参考文献和致谢。 浙江工业大学硕士学位论文 第2 章h 2 6 4 a v c 编解码标准的技术分析 h 2 6 4 通过继承、改进和引入新技术使其编解码效率得到显著提高。本章首先对h 2 6 4 标准的产生历程做了简单介绍，然后对h 2 6 4 标准的编解码结构进行了阐述，最后对h 2 6 4 的关键技术进行了分析，为在嵌入式环境中实现解码进行了理论的探讨和准备。 2 1h 2 6 4 a v c 的产生 从上个世纪8 0 年代开始，i s o 玎e c 和i t u t 这两大组织就己经不断的推出一系列针对不 同应用的数字视频编解码标准。1 9 9 5 年，在完成h 2 6 3 标准的最初版本之后，v c e g ( 视 频编码专家组：v i d e oc o d i n ge x p e r t sg r o u p ) 就将未来工作划分为长期和短期两个目标， 其短期目标是对h 2 6 3 的功能及应用范围进行扩充，因此最终制订了h 2 6 3 + 标准；其长期 目标是针对低比特率的视频通信制订出新一代的标准【1 1 1 。 1 9 9 8 年1 月，v c e g 征集视频编解码方案，于1 1 月份形成了第一份正式的评价文献。 19 9 9 年8 月，v c e g 完成了h 2 6 4 的第一个草案一h 2 6 l 及其测试模型t m l 1 。在v c e g 完成的第一个草案文档和第一个测试模型t m l 1 后，测试结果显示其软件编码的视频流质 量远优于当时基于m p e g 4 标准的软件编码的视频流质量。同时，m p e g 也启动了在a v c ( 高级视频编码：a d v a n c e dv i d e oc o d i n g ) 方面的研究。在充分意识到h 2 6 l 1 曼好的发展 前景之后，i s o h e c 的m p e g 和i t u t 的v c e g 再次合作组建了t ( 联合视频专家组：j o i n t v i d e ot e a m ) ，其目的就是在h 2 6 l 技术体系上进一步完善，共同研究并推动其形成新的 国际编码标准。 2 0 0 2 年1 2 月，t 形成了最终国际标准草案f d i s ( f i n a ld r a f ti n t e r n a t i o n a ls t a n d a r d ) 。 2 0 0 3 年3 月，h 2 6 4 标准正式颁布。 h 2 6 4 是i t u t 和i s o h e c 联合制定的编码标准，它最先由i t u t 的v c e g 提出，命名为 h 2 6 l ，在2 0 0 3 年3 月正式成为官方标准的草案。该标准在i t u t 中被称为r e c o m m e n d a t i o n h 2 6 4 ，而在i s o i e c 中成为m p e g 4 的第十部分，虽o p a r t1 0 ( a d v a n c e dv i d e oc