（微电子学与固体电子学专业论文）基于arm的mpeg4视频解码的实现和优化.pdf

摘要 摘要 人类社会而今已经迈入数字时代，各种各样的数字技术产品在普通老百姓的日常生 活中随处可见。包括音频上从广播接收到m p 3 、m i d i 等音频播放的支持，以及视频上 彩屏的出现、摄像功能在手持终端上的应用，越来越多的多媒体功能被集中n d , d , 的手 持终端产品中。 本文的主要目的是选取一种合适的视频解码技术，在原有g a r f i e l d 系统架构上实现 实时的视频解码，并从软硬件优化和系统重新划分的角度得到最优的解码性能。本文首 先介绍几种现在应用比较广泛和比较有发展前景的视频压缩算法，通过比较分析选择 m p e g 4s i m p l ep r o f i l e 作为在g a r f i e l d 平台上实现的压缩算法；接着初步实现m p e g - 4 s i m p l ep r o f i l e 在g a r f i e l d 架构中的解码播放，并分析总结实现过程中出现的问题；然后 在保持g a r f i e l d 系统架构不变的情况下，对解码实现进行全面的优化，提高解码效率； 最后从架构的角度对整个系统进行重新的规划和设计，提出最优化的软硬件设计。 论文通过对各种视频压缩技术的比较选择最适用于移动数码终端产品的m p e g 一4 s i m p l ep r o f i l e 作为视频解码算法，在g a r f i e l d 结构上系统全速运行于8 0 m h z ，纯软件解 码只能实现q c i f ( 1 7 6 x1 4 4 ) 每秒8 - - 9 帧的播放效率。经过从软硬件多方面优化后， 在系统全速运行时实现q c w 每秒钟2 4 帧左右的解码效率。为使系统能够达到c i f ( 3 5 2 2 8 8 ) 每秒2 5 帧( 最差情况) 的解码效率，本文从系统架构方面考虑重新对系统做出 软硬件划分，由硬件加速器来完成整个8 x 8 象素块的i d c t 运算。实验结果表明当处 理器选用a r m 9 系列，硬件加速单元在5 0 0 周期内完成i d l 玎运算时，系统最差情况下 可以达到c i f 2 5 f p s 的解码效率。 关键词： m p e g 4a r m 视频解码优化 奎堕查兰堡主兰垡堡壅 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fd i g i t a lt e c h n o l o g y , m o r ea n dm o r ek i n d so fd i g i t a l a p p l i c a t i o n ss u c ha sm p 3 s 、m o b i l ep h o n e s 、d i g i t a lc a m e r a sa r eu s e do ra c c e p t e db yp e o p l e i n e v i t a b l y t h ev i d e ot e c h n o l o g yb a s e d o nh a n dh o l da p p l i c a t i o n sb e c o m e sv e r yi m p o r t a n t t h ep u r p o s eo ft h i sp a p e ri st oc h o o s eas u i t a b l ev i d e od e c o d et e c h n o l o g ya n du s et h i s s t a n d a r dt oa c h i e v er e a l t i m ev i d e od e c o d eo nt h eg a r f i e l d ，a n dt h e no p t i m i z ei tt h r o u g h h a r d w a r ea n ds o f t w a r e f i r s tt h i sp a p e ri n t r o d u c e ss e v e r a lv i d e oc o m p r e s s i o ns t a n d a r d sa n d c h o o s e sm p e g - 4s i m p l ep r o f i l ea so u rs t a n d a r d t h e nw ea c h i e v em p e g 一4s i m p l ep r o f i l e v i d e od e c o d eo nt h eg a r f i e l da n da n a l y z e st h ep r o b l e m sw em e e t a n do p t i m i z e st h e p e r f o r m a n c ef r o mb o t hh a r d w a r ea c c e l e r a t o ra n ds o f t w a r em o d i f i c a t i o n ，b u ts t i l lk e e p st h e g a r f i e l ds y s t e ms t r u c t u r eu n c h a n g e d a tl a s tt h i sp a p e rt a k e st h es y s t e ms t r u c t u r ei n t oa c c o u n t i n c l u d i n gr e d i v i d i n gh a r d w a r ea n d s o f t w a r ec o o p e r a t i o ni no r d e rt om e e tg r e a t e rp e r f o r m a n c e l a s tc h a p t e rm a k e sas u m m a r yo ft h ew h o l ep a p e ra n di s s u e ss o m ep o i n t sf o rt h ef u t u r ew o r k a f t e rc h o o s i n gm p e g - 4s i m p l ep r o f i l ea ss y s t e mv i d e od e c o d es t a n d a r d ，t h i sp a p e r a c h i e v e sq c i f ( 1 7 6 + 1 4 4 ) 8 9 f p sw i t h o u ta n yo p t i m i z a t i o nw h e ns y s t e mc l o c ki s8 0 m h z t h e nq c i f ( 1 7 6 + 1 4 4 ) 2 4 f p si sa c h i e v e dt h r o u g hb o t hh a r d w a r ea n ds o f t w a r eo p t i m i z a t i o n o nt h eg a r f i e l dw h e ns y s t e mc l o c ki s8 0 m h z i no r d e rt oa c h i e v ec i f ( 3 5 2 + 2 8 8 ) 2 5 f p s ，a s p e c i a lh a r d w a r e a c c e l e r a t o rw h i c hp e r f o r m si d c ti su s e dt h r o u g hs y s t e ms t r u c t u r e m o d i f j c a t i o n k e yw o r d ：m p e g 一4a r m v i d e od e c o d e r o p t i m i z a t i o n 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其他教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：密昌j 岿日期：上业：，2 ，2 关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交的学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的 内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查询和借阅， 可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学 研究生院办理。 研究生签名：j 蚪导师签名：堑毒芏鱼2 三日期：蛐 第一章前言 1 1 背景和意义 第一章前言 1 1 1 多媒体技术在手持终端的应用 入类社会而今己经迈入数字时代，各种各样的数字技术特别是多媒体技术产品如数字电视、光 盘存储、计算机通讯等已逐渐进入普通老百姓的日常生活中。数字多媒体技术就是利用数字编解码 技术来描述和表达图像、声音等各种媒体信息的一种方法。多媒体技术的出现把人们进一步引入信 息领域，并以最直观的方式表达多媒体信息。 多媒体技术在影音方面的应用丰富了人们的娱乐生活； 多媒体技术与通信技术的结合极大消除了地域障碍带来的通讯不便； 多媒体技术在教育和人才培训上的运用有力地推动了计算机辅助教育和计算机辅助教学的 发展； 多媒体技术利用数据压缩和大容量数据存储技术，配以宽带网络传递，使得实现无纸世界 成为可能。 多媒体技术在手持终端中的应用更是成为多媒体技术应用领域中最为突出的一个，众多的多媒 体手持终端产品如手机、掌上电脑、m p 3 播放器等已广为人们所熟知。这些产品的出现丰富了人们 的日常生活，但消费者在使用这些产品的同时也提出了更高的要求。包括音频上从广播接收的要求 到m p 3 、m i d i 等音频播放的支持，以及视频上彩屏的出现、摄像功能在手持终端上的应用，越来 越多的多媒体功能被集中到小小的手持终端产品中。因此研究多媒体技术在手持终端产品中的应用 有着非常重要的意义： 丰富g a r f i e l d 芯片特色，提高市场竞争力； 使得在g a r f i e l d 芯片上实现视频播放成为可能： 适应流媒体应用的趋势； 降低开发成本，省去额外的硬件单元； 1 1 2 面临的挑战 多媒体技术要获得真正实用关键要解决视频、音频信息数字化后巨大的数据量与有限容量存 储介质、通信传输介质之间的矛盾。解决这一矛盾的重要途径就是对数据量进行压缩。下面几个表 格分别列出了几种视频格式图像在未经压缩前的数据量以及几种数字存储介质和传输介质的容 量： 东南大学硕士学位论文 表格卜1 几种图像格式在一定帧率下未经压缩数据量 图像格式分辨率 象素比特率( b p p )帧率( f p s )数据量( k b p s ) q c l f 1 7 6 x 1 4 4 1 61 5 6 0 8 2 5 6 0 q u a r t e rv o a 3 2 0 2 4 01 62 02 4 5 7 6 0 0 0 c l f3 5 2 2 8 81 6 3 04 8 6 6 0 4 8 0 删6 4 0 x 4 8 01 63 01 4 7 4 5 6 0 0 0 s v g a8 0 0 6 0 0j 63 02 3 0 4 0 00 0 0 表格卜2 几种数字存储介质容量 存储介质 容量( m b i t s ) 中等容量闪存卡( 6 4 m b y t e ) 5 1 2 c d - r o m 5 6 0 0 硬盘( 2 0 g b y t c ) 1 6 0 0 0 0 表格卜3 几种传输介质容量 传输介质容量( k b p s ) m o d e m 5 6 g s m9 6 g p r s3 0 w c d m a3 8 4 w l a n 1 1 0 0 0 从表l l 和表1 - 2 可以看出，图像未经压缩处理前巨大的数据量和有限的存储介质容量相比，可 以存放的数据量十分有限。以一幅标准c i f 格式( 3 5 2 x 2 8 8 ) 彩色图像( 1 6 b p p ) 为例，其数据量约 为1 6 2 m b i t 十贞，如果以每秒3 0 帧的速度播放，则视频信号的传输速率约为4 9 m b p s 。若用6 5 0 m b 的光盘来存放这种信号，则一张光盘只能存放不到2 分钟的图像。很难想象对于一部9 0 分钟的电影， 大约需要3 3 0 8 g 的存储空间( 约四十五张光盘) 来存储，对于本身存储介质容量很有限的p d a 、 手机等手持终端产品而言，根本无法完成这样的数据存储。而如果通过外挂存储器的方式来解决， 不但在性能上会受到很大影响而且在使用时也很不方便。 此外，对于现在的手持终端产品来说不仅要求有多媒体处理能力上的支持，同时也离不开对网 络的要求。客户希望得到的多媒体应用不仅仅集中在手持终端产品本身，更要求可以随时得到网络 的支持，包括从网络下载所需的多媒体资料和实时在线观看等服务。这不仅要求产品有足够的处理 能力，也要求网络传输介质能够及时传送足够的数据量。从表i - 1 和表i - 3 的对比分析可以看出，有 限的传输介质容量相比于未经压缩前的原始数据而言，单位时间内可以传送的数据量十分有限。同 样以上述c i f 格式图像为例，即使是用最快的无线局域网w l a n 来传送，一秒钟的数据需要多于四 2 一蔓= 兰萱童 秒的时间才能够传输完成，这显然无法满足播放要求。 所以在进行正常的数据存储和传送之前，必须要使用有效的方法对原始数据进行压缩，同时还 要保证在提取数据或是数据接收端能够真实的恢复出原始数据。 1 2 论文的工作 多媒体技术特别是视频图像技术在手持终端产品中的巨大应用潜力和市场前景，要求我们开发 出支持多媒体技术的手持终端硬件平台来参与市场竞争。论文的工作就是在现有g a r f i e l d 平台上选 择一种合适的视频压缩技术来实现视频解码和播放，并且针对实现过程中存在的问题进行优化总结， 进而重新对系统架构进行软硬件的规划，在新架构中实现c i f 每秒2 5 帧的解码效率。主要工作包括 以下三个方面： ( 1 ) 选择压缩标准 对现有的几种视频压缩标准进行分析和比较，选择一种在保持图像不失真情况下有较 高压缩率、算法运算复杂度适当、适合于在手持终端产品上实现的压缩标准。同时这种压 缩标准必须是一种得到广泛应用的视频压缩技术，保证用户可以很容易得到适合于这种压 缩技术的数据源。 ( 2 ) g a r f i e l d 平台实现和优化 在g a r f i e i d 平台上使用选择的压缩标准并充分 用g a r f i e l d 芯片资源和其他优化手段， 最优化的实现视频解码和播放，从中达到了解熟悉此压缩算法的目的。 ( 3 ) 架构重定义 分析在g a r f i e l d 平台实现中硬件架构的不足，根据压缩标准在解码过程中的特点对整 个解码过程进行软硬件划分，从中提取中有价值而且适合于用硬件加速单元实现的部分， 以在新架构平台上达到c i f 最差情况下每秒2 5 帧的解码效率。 1 3 论文的结构 论文共有六个章节，第一章为前言部分；第二章介绍了几种现在应用比较广泛和比较有发展前 景的视频压缩技术，通过比较分析选择m p e g - 4s i m p l ep r o f i l e 作为在g a r f i e l d 平台上实现的压缩技 术；第三章初步实现m p e g - 4s i m p l ep r o f i l e 在g a r f i e l d 架构中的解码播放，并分析总结实现过程中 出现的问题；第四章在保持g a r f i e l d 系统架构不变的情况下对解码实现进行全面的优化，提高解码 性能效率；第五章从架构角度对整个系统进行重新规划和设计，最优化的在硬件平台上实现视频图 像的解码播放；最后一章根据上述的分析研究总结结论并提出对未来工作的展望。 东南大学硕士学位论文 第二章几种视频解码标准的介绍和比较 国际标准化组织i s o i e c 和国际电信联台会i t u t 是制定视频、音频编码标准的两大组织，分 别制定了m p e g 系列标准和h 2 6 x 系列视频标准。两者的区别在于，h ，2 6 x 系列是纯粹的视频编解 码标准，而m p e g 系列不但包含了视频部分，还包括音频、系统等其他方面的标准。两个组织也共 同制定了一些标准，比如说u t 的h 2 6 2 就等同于i s o i e c 的m p e g 2 视频编码标准，而h 2 6 4 则被列入了m p e g 4 的第l o 部分。下面简单介绍这两个组织制定的这一系列标准。 2 1 m p e g 系列 运动图像专家组m p e g ( m o v i n gp i c t u r e se x p e l sg r o u p ) 成立于1 9 8 8 年，主要致力于数字视频、 音频编码的标准化工作。它的成员均为视频、音频和系统领域的专家，目前拥有来自包括i b m 、s u n 、 b b c 、n e c 、i n t e l 、a t & t 等世界知名公司的3 0 0 多名成员。针对不同的影像质量要求和应用， m p e g 先后提出了几个不同版本的标准。目前比较常见的主要是m p e g - 1 、m p e g 一2 、m p e g - 4 、 m p e g 一7 和m p e g 2 1 。 2 1 1 m p e g - l m p e g 1 标准发布于1 9 9 3 年，主要针对1 5 m b p s 以下数据传输率数字存储介质的运动图像及其 伴音的编解码。m p e g 1 旨在达到v r c 质量，其视频压缩率约为2 6 ：1 。主要应用于在c d - r o m 上 存储同步和彩色运动视频信号，并在v c d 和m p 3 等领域取得了巨大的成功。 2 1 2 m p e g - 2 1 9 9 4 年m p e g 又推出了主要针对标准数字电视和高清晰度电视应用的m p e g - 2 标准，应用编码 码率在3 m b p s 到1 0 0 m b p s 不等。m p e g 一2 不是m p e g 一1 的简单升级，它在系统和传输等方面做了更 加详细的规定和完善，特别适用于广播级数字电视的编码和传送，被认定为是卫星数字电视s d t v 和高清晰数字电视h d t v 的编码标准。m p e o 2 的另一特点是具有较广的压缩比变化范围，能适应 不同影像质量、存储容量和带宽的要求。 于1 9 9 9 年正式公布的m p e g - 4 m 和m p e g 1 、m p e g 2 有很大不同，最显著的差别在于它采用 基于对象的编码理念：即在编码时将一幅景物分成若干个在时间和空间上相互联系的视频音频对象， 分别编码后经过复用传输到接收端，在接收端再对不同对象分别解码，最后合成所需的视频和音频e 4 第二章几种视频解码标准的介绍和比较 这样便于对不同对象进行不同的编码和操作，也有利于不同数据类型间的融合。m p e g 4 对传输速 率的要求比较低，约为4 8 0 0 b p s 到6 4 0 0 0 b p s 左右，所以它主要针对数字广播电视、视频通讯、交互 式视频网络游戏和交互式多媒体网络等领域的应用。m p e g 一4 将众多的多媒体应用集成于一个完整 的框架中，旨在为多媒体通信及应用环境提供标准的算法和工具，建立一种多媒体传输、存储等领 域普遍采用的统一数据格式。 m p e g - 4 针对不同应用时可以使用相应不同的编解码工具而提出了类( p r o f i l e ) 口1 的概念，它是 可以实现某个m p e g - 4 功能的一套工具子集。p r o f i l e 使得用户完全可以根据自己的需要来选择使用 相应的m p e g - 4 工具，并且在构建解码器时也不需要为所有m p e g j 中使用的编码算法准备好相应 的解码算法。对于m p e g 4 视频部分来说，主要有以下几个p r o f i l e ： ( 1 ) 简单类( s i m p i ep r o f i l e ) ： 主要针对较低处理能力的应用领域，能对矩形视频对象进 行有效编码，适用于视频会议和无线网络移动设备如手机、p d a 等手持终端产品： ( 2 ) 简单可扩展类( s i m p l es c a l a b l ep r o f i l e ) ：比前者增加了对时空可扩展对象的编码支持， 能适用于较高处理能力的应用环境，如网络广播等： ( 3 ) 核心类( c o r ep r o f i l e ) ：增加对任意形状和时间可扩展对象的编码支持，主要应用于 网络多媒体应用； ( 4 ) 主要类( m a i np r o f i l e ) ：增加对交叉和半透明物体的编码支持，主要应用于d v d 和交 互式广播； ( 5 ) 多比特类( n b i tp r o f i l e ) ：增加象素宽度为4 1 2 位的视频对象的编码支持，适用于 监视仪器等领域。 2 14m 旷e g - 7 针对存储的视频、音频数据量不断增加，难以有效管理和快速搜索查找这些存储信息的问题， m p e g 提出了m p e g 7 。m p e g 7 与其说是一种压缩编码算法。还不如说是一个多媒体内容描述接 口。它对各种不同类型的多媒体信息进行标准化的描述，并将这种描述和所描述的对象联系起来， 从而帮助用户快速有效的查找到所需的视频、音频资料。它主要适用于数字图书馆、智能多媒体和 多媒体编辑、广播媒体选择等领域。 2 1 5 m p e g 2 1 电子商务的出现改变了人们物质商品交换的商业模式，但随之而来的是如何保护多媒体内容的 知识产权以及如何获取数字视频、音频等数字商品的问题。为此m p e g 启动了m p e g 一2 1 以求通过 将不同的协议、标准、技术等有机的融合在一起来解决这些问题。m p e g - - 2 1 标准其实就是一些关 键技术的集成，通过这样一个集成环境对数字多媒体资源进行透明有效的管理，实现这些数据资料 的描述、使用、保护等功能。 总体来说，m p e g 系列标准主要有以下几个优点： 东南大学硕士学位论文 由于m p e g 从一开始就是作为一个国际化的标准来制定，所以它具有很好的兼容性； m p e g 能够比其他算法提供更好的压缩比，晟高可达2 0 0 ：1 ； 更重要的是，m p e g 在提供高压缩比的同时，对数据的损失很小。 2 2 h 2 6 x 系列 h 2 6 x 系列标准是r r o - a v 6 0 定的h 3 2 x 框架协议中的视频标准部分，包括h 2 6 1 、h 2 6 3 和h 2 6 4 ， 而其音频部则分都以g 开头。 2 2 1 h 2 6 1 作为最早的运动图像压缩标准，h 2 6 1 是n u - t 为在综合业务数字网( i s d n ) 上开展双向影音业 务如视频会议等而制定的。它详细制定了视频编码的各个部分包括运动补偿的帧间预测、d c t 变 换、量化、熵编码等。h 2 6 1 传输速率为6 4 k b p s 的整数倍，只支持对c w 和q c w 两种图像格式的处理。 2 2 2 h 2 6 3 i t u - t 为低于6 4 k b p s 的窄带通讯制定了应用于低码率视频编码的h 2 6 3 标准，它与m p e g - 4s i m p l e p r o f i l 相比在帧内编码、一个宏模块四个运动矢量等方面都有相似的地方。h 2 6 3 是以h 2 6 l 为基础发 展起来。支持对1 6 c i f 、4 c i f 、c i f 、q c 正、s q c i f 等多种图像格式的处理。同时h 2 6 3 又增加了若 干选项以提供更灵活的编码方式，使得压缩效率大大提高，更适应于网络传输。经过不断完善和多 次升级。h ，2 6 3 已经基本上取代了h 2 6 1 。 2 2 3 h 2 6 4 h 2 6 4 是i s o i e c 和u 可共同开发制定的瓶一代视频压缩标准，在i s o i e c 中该标准命名为a v c ( a d v a n c e d v i d e o c o d i n g ) 并作为m p e g - 4 标准的第l o 部分，而i t u - t , j 称之为h 2 6 4 。在相同的重建 图像质量下，h 2 6 4 的数据压缩率要比m p e g 2 高2 3 倍、比h 2 6 3 高2 倍左右与m p e g 一4s i m p l ep r o f i l e 相比也要高1 5 倍左右，可见h 2 6 4 在编码效率、数据压缩比方面得到更为显著的提高。h 2 6 4 x 十信道 时延的适应性较强，既可工作于较低时延模式下以满足会议电视等实时业务，又可工作于视频存储 等无时延限制的场合，所以它几乎适用于低码率无线应用、高清晰度广播电视等所有视频应用领域。 相对于先前介绍的那些视频压缩标准来说h 2 6 4 增加了很多先进的技术，如4 4 整数变换、空域内的 帧内预测、1 4 象素精度的运动估计等，这是视频编码标准一次很重要的进步。这些新技术的引入带 来了更高的数据压缩比，使得h 2 6 4 能够应用于更多的新领域，但同时也大大增加了算法运算的复杂 度，大约为现有其他压缩标准的4 倍以上，相应的对硬件也提出了更高要求。所以就目前来说，在手 持终端产品上实现h 2 6 4 编解码算法还具有一定的难度。 6 第二章几种视频解码标准的介绍和比较 2 3 其他视频压缩标准 2 3 1 w m 9 w m v 9 ( w i n d o wm e d i av i d e o9 ) 是微软开发的新一代数字多媒体技术，采用独立编码方式并且可 以在线观看视频节目。微软开发它的主要目的是对抗h 2 6 4 ，并且测试表明w m v 9 的视频压缩效率比 m p e g 2 、m p e g 4s i m p l ep m f i l e , , 及h 2 6 3 高很多，与h 2 6 4 的压缩效率相当，而在算法复杂度上却要 比h 2 6 4 略低。但由于它是微软内部标准，因而在应用中有一定的局限性。 2 3 2 a v s 数字视音频编解码标准a v s 嗍( a u d i ov i d e oc o d i n gs t a n d a r d ) 是由我国自主研发制定的音频、 视频编码技术标准，它主要针对高清晰度电视、高密度光存储媒体等应用。a v s 标准主要以h 2 6 4 为 基础，强调自主知识产权，同时充分考虑了算法实现的复杂度。在相同图像大小和质量的前提下， 它的编码效率大约是m p e g 2 的2 3 倍，优于m p e g - 4 a v c h 2 6 4 ，更重要的是算法方案比较简洁， 计算复杂度明显要e g m p e g - 4 a v c h 2 6 4 低很多。目前a v s 已经基本完成系统、视频、音频部分的制 定，但还没有正式发布。 2 4 本章小结 本章分析比较了几种广泛应用的视频压缩标准，下表列出了上述几种视频压缩标准的比较情况 表2 1几种视频解码标准的比较 m p e g 1m p e g 2m p e g - 4m p e g 7m p e g 一2 lh 2 6 1h 2 6 3h 2 6 4 最大视 频分辨3 5 2 x 2 8 81 9 2 0 x i1 5 27 6 8 x 5 7 63 5 2 x 2 8 8 蜜 最大数 据率38 05 一l o 6 4 k b p s 的 低于 整数倍 6 4 k b p s m b p s 视频质 量 满意很好很好满意很好很好 解码硬 很低中等高很低高很高 件要求 数字广播 应用领v c d 、d v d 、数 电视、视频 数字图书 数据资料 可视 所有的 通讯、交互馆、广播媒的描述，使视频会议视频应 域 m p 3 字电视电话 式多媒体体选择用，保护用领域 网络 视频文 m p g 、r r d v 、 m p g 、m p e , a s f 、i i l o v 、 7 东南大学硕士学位论文 e 件扩展m p e 、 m p e g 、m 2 v 、 名 m p e g 、d a t r o b i 备注未发布淘汰 综合以上的情况，本文选择m p e g 一4s i m p l ep r o f i l e 作为g 舡n e l d 平台上的视频压缩标准。 8 第三章基rg a r f i e l d 的m p e g 一s p 的实现 第三章基于g a r f i e l d 的m p e g 4s p 的实现 通过上一章对儿种常川视频压缩技术的分析和比较本文选择m p e g 一4s i m p l ep r o f i l e 作为 g a r f i e l d 的视频乐缩算法。本章将首先在软什调试环境中对解码软什进行调试，最焉在g a r f i e l d 埂 ，| 环境上实现m p e g 4s i m p l ep r o f i l eq c i f ( 1 7 6 x1 4 4 ) 视频格式的解码橘放。 3 1 运行平台 3 1 1 g a r f i e l d 系统架构 g a r f i e l d 是尔南入学a s l ci 群中一i i , 白土研发的一款1 6 3 2 r i s c 微控制器，面向低成本丁持设备和 其它通川嵌入式设备。系统枢图如f 所示： 图3 一ig a r f i e l d 系统架构框i 划 g a r f i e l d 系统山核为a r m 7 t d m l ，最高l ：作频率8 0 m h z 。采_ l ja m b a 总线协议，内嵌2 0 k b y l e 零等待c s r a m ( e m b e d d e ds r a m ) ，用r 存放多媒体数据处理或者操作系统的一些核心代码和数据， 以达剑提高系统性能嗣1 减小系统功耗的目的。a h b 总线上挂有_ | jr 提供多媒体定点父苗乘加i 耋锌的 多媒体加速器m m a ( m u l t i m e d i aa c c e l e r a t o r ) ，支持黑自、1 6 级次度和6 4 k 彩色的l c d c ( l c d c o n t r o l l e r ) ，提供高速数据传输的6 通道d m a c ( d m a c o n t r o l l e r ) 以及支持s r a m 、s d r a m 、n o r f l a s h 笛多种存储设薪的外部存储器接ue m i ( e x l e r n a lm e m o r yi n t e r f a c e ) 等殴备。a p b 总线则提供 了多种其他接口模块，如a c 9 7 、m m c 等。对丁m p e g 4 视频解码来说，需要州剑其中人部分a h b 设备这些设备特别多媒体加速器m m a 是实现m p e g 4s i m p l e p r o f i l e 视频解码和橘放的馁仆基础。 9 东南大学硕士学位论文 3 1 2 a d s ( a r md e v e l o p e rs u i t e ) 在硬件平台上实现软件的运行和调试，就必须有软硬件协同工作的调试环境。为能够得到调试 板上a r m 处理器的硬件反馈信息，通过a r mj t a g 及其配置程序m u l t i i c e p c 与硬件调试板建立通 讯连接，在p c 终端控制解码程序并将其传递给硬件，从而实现软硬件的协同工作。a d s 口i 就是基于 a r m 的客户端软件调试工具，通过配置a d s 可以将测试程序传送给硬件调试板由硬件来执行指令， 只在p c 端对程序执行跟踪和观测。a d s 也可以将目标对象配置成a r m u l a t o r ，即一个只含有a r m 核 和存储器模型的软件调试环境，让程序在a r m 指令模拟器上运行。 3 1 3 硬件调试板 所谓硬件调试板就是一块g a r f i e l d 芯片的硬件测试环境板，如下图所示。测试版上集成有g a r f i e l d 芯片、彩色l c d 屏、s d r a m 和a r mj t a g 接口等m p e g - 4 视频解码需用到的硬件设备。通过a r m j t a g 接口将硬件调试板与p c 相连，将程序存放于s d r a m 中，由g a r f i e l d 芯片执行指令并最终在 l c d 屏上显示图像。 3 1 。4 解码程序 图3 - 2g a r f i e l d 硬件调试板 本文使用x v i d c o r e 100 - r c 3 版本的m p e g 4 开放源代码作为解码程序，其中包含了m p e g - 4 编 码部分和m p e g - 4s i m p l ep r o f i l e 的解码部分，以及基于其他系统的汇编加速函数。 为提高代码的可读性并使其能够在g a r f i e l d 平台上运行，首先需要对代码做一定程度的简化修 改。 ( 1 ) 删除掉编码部分的代码以提取出纯粹的解码函数。包括： 直接去除掉有明显编码特征的程序或函数，比如d c t 程序、量化程序、运动估计等； 对于功能不明确的函数，通过设断点、追寻调用关系等综合判断是否属于解码程序。 ( 2 ) 将代码中基于其他操作系统的汇编函数改写成c 语言或者a r m 汇编。由于程序本身提供 了相同功能的c 语言代码，所以可以直接删去这些汇编代码。 1 0 第三章基于g a r f i e l d 的m p e g - 4s p 的实现 ( 3 ) 代码只提供h 视频格式输出，为解决g a r f i e l d 系统中l c d 控制器不支持直接在l c d 屏上显示y u v 格式视频图像的问题，需要加入y u v 到r g b 的格式转换代码。 3 1 5 编码视频流 为验证m p e g 一4s i m p l ep r o f i l e 的解码实现，需要提供相应的编码视频流作为输入。根据m p e g - 4 s i m p l ep r o f i l e 的特性，本文通过专门的视频制作工具分别制作了只包含i 帧、p 帧和矩形形状编码 的q c i f ( 1 7 6 x1 4 4 ) 和c i f ( 3 5 2 2 8 8 ) s i m p l ep r o f i l e 编码视频流。 3 2 实现 3 2 1 输出y u v 格式 首先在a r m u l a t o r 平台上实现m p e g - 4s i m p l ep r o f i l e 的视频解码，并且不) j u x , y u v 到r g b 的 格式转换代码从而使程序输出y u v 格式图像。 同时为便于在调试过程中对解码情况进行跟踪，在每一帧解码结束后打印出每一帧的帧号、类 型和所占字节长度等基本信息。如下图所示： 图3 - 3 解码信息 本文将程序每秒钟所能解码的帧数定义为解码效率。要得到程序的解码效率，最直观的一个参 数就是程序在一定时钟频率下的解码帧率，这一参数越高说明能达到的性能越好。这需要知道解每 一帧占用的时间，而a d s 的统计功能可以得到两个程序运行节点之间所占用的周期数。所以如果选 择在合适的位置设置断点，统计出每一帧数据解码时所占用的周期数，对应子一定的时钟频率，就 可以计算出解一帧图像所花费的时间，从而可以得到在该频率下程序所能达到的解码帧率。 现在的问题就在于如何选取这个断点，使测得的数据能够昂接近于每一帧解码所占用的实际周 期数。上面提到在每一帧解码结束后程序会打印出一段关于每一帧的一些辇本信息，所以每两次打 东南大学硕士学位论文 印信息之间的间隔时间应该大致等于每一帧的解码时间( 可能会多一些后处理所占用的时间) 。所以 在打印信息后设置断点，通过a d s 的统计工具记录下从该断点开始处程序执行到下次执行到该断点 处的周期数，就是最后一条打印信息对应那一帧的解码周期数。下图最后一行所示的t o t a l 示数就 表示刚才发生的两次断点间的间隔周期数。 图3 4 时钟统计信息 结合图3 3 和图3 w 4 ，可以知道解第1 2 8 帧总共耗费了1 5 7 3 7 7 0 个时钟周期。所以在系统时钟为 5 0 m 时( 对应时钟周期为2 0 n s ) ，该帧解码共耗时3 1 4 7 5 m s 。假设每一帧耗时均与此相近，则可以 得出结论：解码程序的解码效率为每秒3 2 帧。而事实上每一帧的类型不同( 对于s i m p l ep r o f i l e 只 有i 帧和p 帧) 、所占字节长度不同等因素都会直接影响这一帧的解码速度，所以每帧解码耗时都不 尽相同。同样在系统时钟为5 0 m h z 时随机抽取1 0 帧图像的解码情况进行记录，得到下表 表3 - 1解码得y u v 格式时随机采样帧记录表 帧号类型 所占字节数解码周期数5 0 m 下帧率 2 9p 3 38 5 2 5 7 95 9 1 2 8p 3 6 11 5 7 3 7 7 03 2 1 7 2p6 5 42 4 5 2 5 1 42 0 2 4 6 p3 9 41 6 7 9 2 9 43 0 3 2 6p 1 5 0 53 0 9 7 3 5 21 6 4 0 6p4 7 01 7 5 1 9 0 52 9 4 9 8p5 0 02 1 9 3 2 7 72 3 5 6 5p1 7 71 1 9 1 7 9 34 2 6 0 0i 2 3 3 5 4 5 7 9 1 7 5 1 1 7 1 9p 9 6 0 2 4 4 2 3 2 92 0 从上表可以看出不同图像帧的解码效率有着很大差别，晟快情况下可以达到5 9 f p s ( 第2 9 帧) 的解码效率，在最慢情况下只有l l f p s ( 第6 0 0 帧) ，而一般情况下解码效率大约在2 0 - - 3 0 f p s 。在实 际应用中，每秒2 0 一3 0 帧左右的播放速度可以基本上满足人眼视觉上对图像的要求。但是需要注意 的是这个过程中最后得到的视频格式为y u v 格式，这种格式在g a r f i e l d 中不能直接在l c d 屏上显 示，所以必须要将y u v 格式转换成r g b 格式。 1 2 第兰章基于g a r f i e l d 的m p e g 4s p 的实现 3 2 2 输出r g b 格式 为使解码程序最后输出的视频格式在g a r f i e l d 系统中能够直接被l c d 控制器所使用，在原算法 基础上加入了y u v 到r g b 的转换算法。为与程序输出w v 格式时的情况做比较，仍对表3 一l 中 所被采样的1 0 帧图像再次记录。记录情况如下表所示： 表3 - 2 解码的r g b 格式时随机采样帧记录表 帧号类型所占字节数解码周期数5 0 m 下帧率 2 9p3 31 8 6 5 0 4 72 7 1 2 8p3 6 12 s 9 3 8 9 l1 9 1 7 2p6 5 43 4 9 5 3 6 91 4 2 4 6p3 9 42 7 1 0 9 6 i1 8 3 2 6p1 5 0 54 1 6 7 0 1 11 2 4 0 6p4 7 02 6 9 1 0 8 81 9 4 9 8p5 0 0 3 2 1 6 0 9 61 6 5 6 5p 1 7 72 2 4 3 2 8 02 2 6 0 0i2 3 3 55 5 4 0 4 4 2 9 7 1 9p9 6 03 4 7 7 1 7 7 1 4 比较表3 1 和表3 - 2 可以看出，加上y u v 到r g b 的转换后解码效率几乎降低了一半，平均的 解码效率仅在2 0 帧左右。这样的帧率播刚刚满足播放效果的需求，而g a r f i e l d 系统的最高工作频率 在7 5 m h z - - 8 0 m h z 左右，现在仅m p e g 4s i m p l ep r o f i l e 的视频解码就占去5 0 m h z ，如果再结合音 频解码则几乎就将耗尽所有的系统资源。这样当系统运行多媒体应用时无法进行其他的运算操作， 否则会造成音频、视频的不同步或者是图像的不连续。另外值得指出的是上述结果是在存储器为零 等待时取得的，在g a r f i e l d 芯片中内嵌的e s r a m ( 零等待) 容量仅为2 0 k 而其它片外存储器的性 能均低于e s r a m ，因此由于片外存储器的性能限制硬件平台的解码效率要低于这个值。 3 2 3 3 周期等待时间 上述两种情况都在a r m u l a t o r 平台上存储器为零等待的情况下实现，为使a r m u l a t o r 上的软件 模拟环境与真实g a r f i e l d 硬件环境更为相似，利用a d s 的m e m o r ym a p 功能开辟一块读写等待时间 均为7 0 n s ( 相当于在系统时钟为5 0 m i - i z 时等待周期为3 周期) 的存储区域并把程序区、静态动 态数据区全部置于这块存储空间内。这相当于在硬件环境中把代码全部置于3 周期等待时间的 s r a m 中。现在选取了l o 个不同于表3 - 1 的采样帧，记录下的解码周期数如下表所示： 东南大学硕士学位论文 表3 - 33 周期等待时间解码得r g b 格式时随机采样帧记录表 帧号类型所占字节数解码周期数5 0 m 下帧率 1i3 3 5 11 1 0 0 1 6 6 55 1 3 1p3 5 04 5 3 7 6 4 01 i 1 7 6p6 7 06 1 8 6 9 2 08 2 1 8p4 8 64 9 3 8 4 0 61 0 3 0 0i2 5 5 21 0 0 2 8 6 8 55 3 1 8p1 2 1 57 1 3 4 2 2 37