（系统工程专业论文）MPEG4编码器在ADSPBF561上的实现与优化.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着多媒体视频技术的飞速发展，低成本、高品质的视频编解码技术显 得越来越重要。它融合了计算机、多媒体、通信及网络等多项技术，成为人 们研究的热点之一，具有广阔的应用前景和研究价值。 论文从当前比较流行的视频编码标准m p e g 4 出发，结合实际需要， 采用a d i 公司的b f 5 6 1 高性能处理器，移植当前m p e g 4 标准最具代表意 义的x v i d 编码器，并对该编码器进行了优化。本论文在研究h i p e g 一4 编码器 的算法与实现的基础上进行移植和优化。 论文从视频编码技术的发展与现状入手，研究m p e g 4 编码标准的思想， 分析了形状编码、运动信息编码和纹理编码的算法。结合当前比较先进的用 于视频编码的处理器b f 5 6 1 ，简述了编码器的硬件实施方案。深入阅读x v i d 编码器源代码，编写编码器入口函数，并且详尽分析x v i d 编码器的整体框 架和编码流程。具体讲述了帧内编码i - v o p 和帧间编码p v o p 的实现步骤。 在嵌入式操作系统下搭建b l a c k f i n 交叉编译环境，通过改写m a k e f i l e 自动化 编译文件，将整合后的编码器x v i d 源文件全部进行交叉编译，将生成的编 码可执行文件移植到b l a c k f i n 开发板上，完成m p e g 4 编码器x v i d 在b f 5 6 1 上的实现。论文还从程序的结构、算法及b f 5 6 1 多媒体指令等方面对编码器 x v i d 进行优化，进一步提高编码的画质和效率。 经过测试与分析，论文设计的编码系统实现简便、压缩比高而且画质清 晰，适用于对网络带宽要求较低的多媒体娱乐及远程视频监控系统等，具有 一定的实用价值。最后，对论文的工作进行了总结与展望。 关键词：视频编码、x v i d 、b f 5 6 1 、交叉编译、优化 西南交通大学硕士研究生学位论文第n 页 a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i av i d e ot e c h n o l o g y , i tb e c o m e sm o r ea n d m o r ei m p o r t a n tt h a te n c o d i n gw i t hl o wc o s ta n dh i g hp e r f o r m a n c e c u r r e n t l y , v i d e oc o m p r e s s i o ns t a n d a r d sa p p e a ro n ea f t e ra n o t h e r , s u c ha sm p e g - 4 ，h 2 6 4 ， a v sa n ds oo n s y n c r e t i z i n gw i t hc o m p u t i n g , m u l t i m e d i a ，c o m m u n i c a t i o n ， n e t w o r ka n ds oo n ，t h ev i d e oe n c o d i n gt e c h n o l o g yb e c o m e so n eo fs t u d yh o ta n d h a sb r o a da p p l i c a t i o np r o s p e c ta n dr e s e a r c hv a l u e o nt h eb a s i co fa c t u a ln e e d s ，t h et h e s i sc o m b i n i n gt h ep o p u l a rm p e g 一4 v i d e o c o m p r e s s i o ns t a n d a r d ，e m p l o y i n ga d ic o m p a n y sh i g hp e r f o r m a n c e p r o c e s s o rb f 5 6 1 ，t r a n s p l a n t st h ex v i de n c o d e rw h i c hi m p l e m e n t st h ef u n c t i o n o f v i d e oe n c o d i n g i tm a k e so u to p t i m i z a t i o ns c h e m ew h i c ha i m sa tm u l t i m e d i a c o m m a n d ，e n c o d i n ga r i t h m e t i ca n ds t r u c t u r e a tf i r s t ，t h et h e s i si n t r o d u c e st h ed e v e l o p m e n to ft h et e c h n o l o g yo fv i d e o e n c o d ea n da c t u a l i t y , t h et h o u g h t sa n dc h a r a c t e r so fm p e g - 4v i d e oc o m p r e s s i o n s t a n d a r d s e c o n d l yt h et h e s i si n t r o d u c e st h ea d v a n c e dp r o c e s s o ra d s p - b f 5 6 1 a n de n c o d i n gs c h e m eo fh a r d w a r ei m p l e m e n t t h i r d l y , w i t ha u t h o r se n t r a n c e f u n c t i o no fe n c o d e r , i t a n a l y s e st h ew h o l ev i d e oe n c o d e r s f r a m e w o r ka n d i m p l e m e n tf l o wo fe n c o d e rx v i d ，w h i c hi st h em o s ti m p o r t a n te n c o d e rb a s eo n m p e g 一4 t h e n ，t h e s i si n t r o d u c e st h er e a l i z a t i o no fm p e g 一4e n c o d e ro nb f 5 6 1 ， p a r t i c u l a r i z e st h e d e t a i l so fc r o s s c o m p i l ea n dr e a l i z a t i o np r o b l e m s a tl a s t ，i t c o m p l e t e st h ee n c o d e r so p t i m i z a t i o n ，w h i c he n h a n c e st h ec o d i n ge f f i c i e n c ya n d q u a l i t y t h ee n c o d i n gs y s t e mi si m p l e m e n t e ds i m p l e l ya n dh a sh i g hc o m p r e s sr a t i o a n dq u a l i t yb yt e s t i n g i ti sf i tf o rm u l t i m e d i ae n t e r t a i n m e n ta n dl o n g d i s t a n c e v i d e os u p e r v i s es y s t e m t h e s i ss u m su pt h em a i np o i n t so fr e s e a r c ha n dt h e f u t u r ew e r ki nt h ee n d k e yw o r d s ：v id e ee n c o d e x vid b f 5 6 1 ，c r o s s c o m p i l i n g ，o p t i m i z i n g 西南交通大学硕士研究生学位论文第1 页 1 。1 概述 第1 章绪论 随着互联网的飞速发展，以及与计算机技术日益紧密地结合起来，针对 消费类电子、通信、电视、电影、监控等多媒体技术有长足的发展。色彩斑 斓的大千世界，瞬息万变的风云变幻，美妙动听的自然声音等等，带给人一 种身临其境的感觉。可以说，多媒体技术带给我们的是前所未有的感官新体 验。多媒体技术中最为关键的就是音视频编解码技术。网络上传输的音视频 文件数据量之大，单纯用扩大存储器容量、增加通信干线的传输率等办法是 不现实的，而数据压缩技术是个行之有效的解决办法。通过数据压缩编码， 可以将音视频文件的数据量降下来，以压缩形式存储、传输，既节约了存储 空间，又提高了通信于线的传输效率，同时也可使计算机实时处理音频、视 频信息，以保证播放出高质量的音视频节目i l l 。多媒体信息的海量数据对信 息存储设备及通信网络提出了很高的要求。因此，研究高效的多媒体音视频 数据压缩算法具有重要的现实意义1 4 l l 。 目前比较成熟的编解码标准有m p e g 4 、h 2 6 4 及国内具有自主知识产 权的a v s 标准等。与此同时，一大批用于处理视频压缩编码的处理器如雨后 春笋般涌现出来，有s a m s u n g 公司的a r m 92 4 1 0 系列处理器、t i 公司的 t m s 3 2 0 系列处理器和a d i 公司的b l a c k f i n 系列的处理器等等。这些为论文 中视频编码系统的实现提供了很好的软硬件技术支持。作为一种比较成熟的 视频编码标准，m p e g 4 以其高效的压缩比、接近d v d 的画面质量而广泛用 于各种多媒体技术，是目前主流的音频压缩标准。 本论文正是采用基于m p e g 4 标准的x v i d 编码器在b f 5 6 1 上实现视频 编码的。b f 5 6 1 是a d i 公司最新推出的一款具有双核结构的d s p ，它的每个 核都可运行在7 5 0 m h z 的处理速度上，同b l a c k f i n 5 3 x 系列的d s p 相比更加 方便侠捷。m p e g - 4 在b f 5 6 1 上的实现分两步：首先，将m p e g 4 标准最具 代表意义的编码器x v i d 源码经过编译移植到d s p 上，实现对视频流编码功 西南交通大学硕士研究生学位论文第2 页 能。然后，结合b f 5 6 1 的特点及其内部的多媒体指令，采用汇编语言对编码 器进行算法、结构上的优化，从而提高编码效率和质量。 1 2 视频编码技术的发展与现状 数字图像和视频编码技术的研究开始于2 0 世纪6 0 年代，当时使用空间 域差分脉冲( d p c m ) 编码。到2 0 世纪7 0 年代，开始研究变换编码。在1 9 7 4 年，a h m e d 介绍了著名的基于宏块的离散余弦变换( d c t ) 策略。运动补偿 预测误差编码也于2 0 世纪7 0 年开始了，而且随着基于宏块的混合运动补偿 系统d c t ( m c d c t ) 的到来，这项技术也于1 9 8 5 年成熟并运用到实际技术 当中1 2 l 。 众所周知，对视频图像进行编码可分为两种方式，一种是无损压缩编码， 一种是有损压缩编码。无损压缩也即压缩前和解压缩后的数据完全一致，多 数的无损压缩都采用r l e 行程编码算法，该方式的缺陷是压缩比不高；有损 压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失 一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几 乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标由于 多媒体文、声、静止图像、视频动态图像等信源数据有极强的相关性，也就 是说有大量的冗余信息。所以采用有损压缩方式，可以将庞大数据中的冗余 信息去掉( 去除数据之间的相关性) ，保留相互独立的信息分量，从而减少数 据量达到高的压缩比而又不影响画面质量。可以说，目前的压缩编码的实现 绝大部分也都是基于有损压缩的1 6 】。 目前视频编码技术从编码标准方面来看，i s o i e c 的标准主要制定了 m p e g 系列标准，最新发展是m p e g 2 、m p e g 4 、m p e g 7 和m p e g 2 1 等， i t u - t 的标准已颁发的视频压缩标准有h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 。还有 中国自主制定的音视频编码技术标准a v s ，以及针对静止图像编解码的 j p e g 2 0 0 0 。下面将对各种编码标准，从算法、编码品质、应用各个方面进行 简要介绍。 m p e g 1 m p e g 一1 制定于1 9 9 2 年，主要是针对c i f 标准分析率( n t s c 制为 西南交通大学硕士研究生学位论文第3 页 3 5 2 x 2 4 0 ，p a l 制为3 5 2 x 2 8 8 ) 的图像进行压缩，视音频信息经过压缩后的数 据码率最大为1 5 m b i t s ，主要应用在c d r o m 、v i d e o c d 等数字媒体上进 行存储，也可以在局域网、i s d n 网上进行视音频信息的传输l 。 m p e g 2 m p e g 一2 制定于1 9 9 5 年，编码码率可达1 0 0 m b i 体，是目前发展比较成 熟的基于矩阵像素图像的压缩编码标准，现已成为广播电视行业的标准。该 编码技术是基于时间相关性和空间相关性，将大量冗余信息去除而保留有用 信息的，能在很大范围内对不同分辨率和不同输出比特率的图像信号进行有 效编码口1 。应用在高清数字电视h d t v 、d v d 的制作( 压缩) 方面。还可用 于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 m p e g 4 m p e g 4 制定于1 9 9 8 年1 0 月，是基于第二代视音频编码技术制定的压 缩标准，以视听媒体对象为基本单元，实现数字视音频和图形合成应用、交 互式多媒体的集成，目前已经在流式媒体服务等领域开始得到应用。m p e g 一4 标准深入到组成一个场景的视频、音频对象的语义中去，对不同的主体 采用不同的编码方式，各种视、音频源不限于自然界，也可以是合成源，最 终在解码端进行组合h 。比较典型的应用就是目前的各种虚拟场景和虚拟演 播室，比如天气预报就是将人物这一对象与场景进行的一个合成。m p e g - - 4 是完全基于对象的一种编码方式。它的特点更适于交互式a v 服务及远程监 控，是一个有交互性的动态图像标准【s l 。它可以将较大的媒体文件在保证视 音频质量下压缩得非常小，利于在网络中传播。目前已经有很多编解码器都 是参照m p e g 4 标准，如w m v 9 、d v i 】【、x v i d 等。 m p e g 7 m p e g 7 是多媒体内容描述标准， 多媒体资源的组织管理、搜索、过滤、 又叫做多媒体内容描述接口。支持对 检索，已基本完成。m p e g 7 并不针 对某个具体的应用，而是针对被m p e g 7 标准化了的图像元素，这些元素将 支持尽可能多的各种应用，并对他们的数据库实现查询1 9 l 。 m p e g 2 1 m p e g 一2 1 的且标是定义一个交互式多媒体框架，跨越大范围内不同的网 络和设备，使用户能够透明地使用多媒体资源，存取、使用并交互多媒体对 西南交通大学硕士研究生学位论文第4 页 象，实现多种业务模型，包括在价值链中对版权和支付交易的自动管理，以 及对内容使用者隐私的尊重等等1 1 】。 h 2 6 1 由n u t ( 国际电信联盟i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n - t e l e c o m m u n i c a t i o n1 视频编码专家组( v c e g ) 制定的最早的视频编码建议，发 布于1 9 8 8 年：目的是规范i s d n 网上的会议电视和可视电话应用中的视频编 码技术；它采用的算法结合了可减少时间冗余的帧间预测和可以减少空间冗 余的d c t 变换的混合编码方法；和i s d n 信道相匹配；输出码率是p 6 4 k b i t s ；p 取值较小时，只能传清晰度不太高的图像，适合于面对面的电视 电话：p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视图像。h 2 6 1 的视频压缩标准相当于i s o i e c 活动图像专家组制定的m p e g 1 i f o 。 h 2 6 2 h 2 6 1 的改进版。1 9 9 2 年发布，相当于i s o i e c 活动图像专家组制定的 m p e g 一2 t “i 。 h 2 6 3 1 9 9 4 年发布，相当于m p e g 4 的v e r s i o n l ，是由i t u t 制定的视频会议 用的低码率视频压缩标准i l l l 。在技术上是h 2 6 1 的改进和扩充，支持码率小 于6 4 k b i f f s 的应用，是一种过时的标准。 h 2 6 4 h 2 6 4 是r r u t 的v c e g ( 视频编码专家组) 和i s o ，i e c 的m p e g ( 活 动图像编码专家组) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的一个新的 数字视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o f l e c 的m p e g 4 的第 1 0 部分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个草案，2 0 0 1 年5 月制定了其测试模式t m l 8 ，2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的f c d 扳。2 0 0 3 年3 月正式发布。h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高 精度、多模式的位移估计，基于4 x 4 块的整数变换、分层的编码语法等。这 些措施使得h 2 6 4 算法具有很的高编码效率，在相同的重建图像质量下，能 够比h 2 6 3 提高5 0 左右的码率【1 1 】。 西南交通大学硕士研究生学位论文第5 页 j p e g 2 0 0 0 针对静止图像压缩编码标准j p e g 2 0 0 0 更加注重图像的可伸缩表述，广 泛应用于静止图像的压缩和电视图像序列的帧内图像压缩编码n ，。可以在任意 给定的分辨率级别上来提供一个低质量的图像恢复，或者在要求的分辨率和 信噪比的情况下提取图像的部分区域。经典的j p e g 2 0 0 0 编码运算法则包含三 个部分：小波交换、画布坐标系统、e b c o t 编码。原始图像数据( 例如b m p 位图) 首先进行画布坐标标定，然后在画布坐标的基础上进行划分：第一步 先划分为不同的分量( c o m p o n e n t ) ，第二步将画布区域划分为大小相同的矩 形“片”( t i l e ) ，这两个步骤可以互换。在画布坐标系统预处理之后，就是 进入j p e g 2 0 0 0 的核心阶段之一：离散小波分析( d w t ) 。小波分析被直接运用 于各个片，这样每个片的区域都被d w t 分析，形成不同的分辨率级别，每个 分辨率级别中含有四个子带，这样就为j p e g 2 0 0 0 的分辨率递进的功能提供了 可能。在这之后，就进入了j p e g 2 0 0 0 的第二个核心阶段：嵌入式优化截断编 码( e b c 0 t ) 。首先将各个子带进行e b c o t 的预处理量化，预处理过后， 进入e b c 0 t 的核心编码阶段，该阶段分为两次，一次编码主要是划分码块及 熵编码，二次编码主要是分层打包的过程。最后，码流将会以封包流 ( p a c k s t r e a m ) 的形式传输，包的主头描述了原始图像和不同的分解及编码 类型以便查找、提取、解码和重构指定分辨率级、保真度、感兴趣区域和其 他特点的图像部分【1 2 l 。 a v s a v s 是中国自主制定的音视频编码技术标准。a v s 工作组成立于2 0 0 2 年6 月，在短短的一年多时间内，审议了1 8 2 个提案，先后采纳了4 1 项提案， a v s 视频部分于2 0 0 3 年1 2 月定稿。a v s 标准以当前国际上最先进的m p e g 4 a v e h 2 6 4 框架为起点，自主制定适合广泛数字视频应用的中国标准，其中 强调自主知识产权，同时充分考虑实现难度1 1 3 】。a v s 是以取代m p e g 2 规 格为目标的高效编码方式之一，编码效率相当于h 2 6 4 和w i n d o w sm e d i a 9 ( v c 1 ) 的水平。a v s 与m p e g 4 a v c h 2 6 4 标准的主要技术差异包括：8 x 8 整数变换、量化、帧内预测、1 4 精度像素插值、特殊的帧间预测运动补偿、 二维熵编码、去块效应环内滤波等【1 1 。a v s 标准是一个极具战略性的领域， 它会影响到从多媒体数字信号编解码器芯片和移动网络到数字电视、高清晰 西南交通大学硕士研究生学位论文第6 页 度光盘和宽带网络应用程序等等重大关键数字音视频前端系统与信息家电产 业。 视频编码从目前业界应用来看，主要是以m p e g 标准族为主，各厂家和 不同行业都仿效m p e g 标准，出台了一系列参照m p e g 标准的行业规范和国 家规范，从而使m p e g 及其派生的产品应用越来越广。 1 3 本论文的主要工作 本论文的研究目的是为满足多媒体视频用户的需求，实现低成本而高品 质的视频质量的编码算法。采用了a d i 公司的b f 5 6 1 开发板，实现m p e g 4 编码算法和优化。本论文主要工作如下： 1 、研究嵌入式操作系统l i n u x 的工作原理、l i n u x 下应用程序的开发、 编译、调试、运行等技术。基于a d i 公司的b l a c k f i n 系列开发板b f 5 6 1 ，研 究编码器硬件实现方案。 2 、研究m p e g - 4 标准开源代码x v i d l 1 0 ，分析各个功能模块的具体实 现。其中包括d c t 变换模块( 反变换) 、量化模块( 反量化) 、运动估计与预 测模块、编解码器函数等等。 3 、根据编码器算法，编写编码器入口函数x v i de i i c i a w c ( 见作者的代 码) 。 4 、根据实际需求对编码器源码进行裁减、编译，修改自动化编译文件 m a k e f i l e 和c o n f i g u r e 文件，然后在b l a c k f i n 的编译环境下，实现编码器函数 x v i d l 1 0 的交叉编译。将交叉编译生成的编码可执行文件移植到开发板 a d s p b f 5 6 1 上，编译、运行实现编码功能。同时观察编码后视频图像文件 的大小、质量及编码效率( 帧率) ，为优化做准备。 5 、在实现编码功能的基础上针对耗时较多地模块采用多媒体指令进行优 化( 包括运动估计的运动搜索算法的优化和d c t 变换模块的优化) 和针对程 序的算法和结构进行了优化。 西南交通大学硕士研究生学位论文第7 页 1 。4 全文的内容安排 全文的内容安排如下： 第l 章绪论部分，概括了视频编码技术的发展与现状，介绍了当 前各种视频压缩编码标准，如m p e g 系列、h 2 6 x 系列，j p e g 及国内拥有自 主知识产权的a v s 等等。 第2 章a d i 公司的双核处理器- - b f 5 6 1 。详尽介绍了其作为视 频开发的特点及优势，然后介绍了该处理器的开发平台、软硬件配置及其实 现编码的相关问题。 第3 章m p e g 4 视频编码标准的基本理论及编码器的实现流程。 研究了m p e g 4 标准的编码思想、构成及特点，然后以编写编码器入口函数 为切入点，对m f e g 4 标准最具代表意义的编码器x v i d 的编码流程进行了 详细的介绍。 第4 章m p e g 4 编码器在b f 5 6 1 上的实现。介绍了如何搭建交叉 编译的开发环境，详细介绍了编码器x v i d l 1 0 的交叉编译过程，然后，将 编译通过的可执行文件下载到目标扳上实现编码功能。 第5 章结合b l a c k f i n 多媒体汇编指令的优势，对编码器x v i d 从 程序的结构、算法等方面优化，进一步提高编码效率和质量。 第6 章全文的总结与展望。 西南交通大学硕士研究生学位论文第8 页 第2 章a d s p - b f 5 6 1 双核处理器 2 1a d i 公司b f 系列d s p 美国模拟器件公司( a n a l o gd e v i c e ，i n c ，简称a d d 是一家全球领先的 高性能模拟信号、混合信号和数字信号处理( d s p ) 集成电路( i c ) 专业半导体公 司。公司产品广泛用于模拟信号和数字信号处理领域。其中，b l a c k f i n 系列 的d s p 正是为满足目前音频、视频、通信应用等方面的计算需求和降低功耗 而设计的。 2 1 ib i a c k f ir l 系列处理器简介 作为信号处理芯片的主要供应商之一，美国模拟器件公司( 简称a d i ) 一直致力发展高性价比的产品。b l a c k f i n 系列处理器是a d i 公司的最新的基 于微信号体系结构的嵌入式处理器，具有高性能和低功耗等特点。b l a c k f m 系列媒体处理器满足高速信号处理和控制功能并举的应用需求，用于对多媒 体应用中很普遍的实时数据流和通常由m c u 操纵的控制任务进行处理。 b l a c k f i n 处理器通过把信号处理模块 例如双m a c 和视频运算器( 札u ) 和典型的m c u 功能( 例如操作模式和内存管理单元) 结合起来，提供了一 种设计嵌入式多媒体系统的集成方法。 b l a c k f i n d s p 系列的推出突破了传统的d s p 和微控制器设计规则，将通 用微控制器熟悉的编程环境与高性能d s p 的特点和功能结合在一起。 b l a c k f i n 媒体处理器系列不仅包含这些m c u 类型的外围设备，如低速的串行 端口 例如串行外围接口( s p i ) 和通用异步收发器( u a r t ) 、可编程通信 接口( p c i ) 、通用串行总线( u s b ) ，还包含用于发送和接收多媒体信息的高 速接口。b l a c k f i n 处理器还支持用于软件异常、硬件断点、高性能计数器， 而且可以通过一个j t a g 口对目标硬件完整控制1 2 9 1 。 d s p 应用强调尽可能用最少的时钟周期执行尽可能多的算术计算( 如 m a c 操作) 。为了达到这个目的，它们经常采用超长指令字v u w 嗍。b l a c k f i n 的v l i w 指令集包含了“b i t 操作码以支持d s p 内部环路的每时钟周期多次 西南交通大学硕士研究生学位论文第9 页 运算功能。b l a c k f i n 处理器在一个统一平台上利用一个工具链开发代码，开 发工程师只要学会一个指令集就能维护在同一个操作系统上运行的一个代码 集。这种协同作用实际上创造了一个新的“媒体指令集计算”领域，可大大缩 短开发时间。 为了快速搬移数据，b l a c k f i n 处理器采用了d m a 高度集成的方法来管 理流动数据，以便有效地完成视频处理。在典型的应用中，原始数据首先从 视频端口或串行端口等外围设备直接经过d m a 进入媒体处理器；然后，在 媒体数据处理期间，中间数据直接经过d m a 送到外部存储器或者从外部存 储器获取；最后，处理过的数据直接经过d m a 送回到外围设备或系统存储 器。 总之，在多媒体应用中采用b l a c k f i n 处理器，较之其它处理器解决方案 具有成本低、速度快、复杂性小、产品上市时间短等明显的优势。特别是 b l a c k f i n 处理器能以出色的性价比实现音频、视频、图像等媒体处理功能。 可以说，b l a c k f i n 处理器不仅可以进行快速的信号处理和多媒体处理，还能 很方便地扩展u s b ，p c il o ，u a r t ，s p o r t 等接口，非常适合视频读入， 编解码处理以及网络传输。 2 1 2b f 5 6 1 处理器简介 a d s p b f 5 6 1 是b l a e k f i n 系列产品成员之一，是a d i 公司最新推出的高 性能低功耗处理器，该处理器的最大特点是两个高达7 5 0 m l - i z 的b l a c k f i n 内 核，每秒可完成3 0 0 0 m 的m a c 运算。系统包含动态电源管理p l l 、j t a g 、 实时时钟等。另外处理器还提供了2 个双通道全双工同步串行接口s p o r t ( 用 来完成串行和多处理器的通信工作) 、2 个1 6 通道d m a 控制器、1 个内部存 储器d m a 控制器、1 个全双工的通用异步接收发送( u 舢h ) 端口、3 个 p w m 时钟、s p i 兼容端口和2 个并行v i d e oi op p i 外围接口单元( 支持 n u r 6 5 6 视频数据格式，可以同时处理视频的输出和输入) 。此外还包括2 个4 0 位的a l u ，4 个视频a l u 和1 个4 0 位移位器。 内核 如图2 1 所示，每个内核包含2 个乘累加器( m a c ) ，运算单元处理来 西南交通大学硕士研究生学位论文第1 0 页 自寄存器组的8 位、1 6 位或者3 2 位数据。每个m a c 每周期可完成一个1 6 位乘以1 6 位的乘法运算，并把结果累加到m a c 中，同时提供8 位的精度 扩展。每个3 2 位的输入寄存器可以作为两个1 6 位的寄存器，因此每个a l u 可以完成非常灵活的单1 6 位算术运算。通过把寄存器当作两个1 6 位的操作 数使用，双1 6 位或单3 2 位操作可以在一个周期中完成。这样，双a l u 可 以完成四个1 6 位操作，加速了每个周期的吞吐量。强大的4 0 位移位器功能 丰富，可以对数据进行移位、循环移位、归一化、提取和存储等操作。两个 数据地址产生器( n a g ) 为从存储器同时取回双操作数提供地址。两个数据地 址产生器共用一个寄存器组，包括四套3 2 位的索引、修改、长度和基地址 寄存器州。 图2 - 1b l a c k f i n 体系架构图 b l a c k f i n 处理器采用改进的哈佛结构和分级的存储器结构。一级存储器 l 1 一般以全速运行，没有或只有很少的延迟。二级存储器l 2 是另一级存储 器，分布在片内或片外，对它的访问会耗费多个处理器周期。在l 1 级，指 令存储器只存放指令，2 个数据存储器存放数据，一个专用的临时数据存储 西南交通大学硕士研究生学位论文第1 1 页 器存放堆栈和局部变量信息。在l 2 级，采用统一存储空间，可以存放指令 和数据。此外，l 1 指令存储器的一半和l 1 数据存储器的一半可配置成静态 r a m ( s r a m ) 或c a c 胍。存储器管理单元( m m u ) 提供存储器保护功能， 对运行于内核上的独立的任务，可保护系统寄存器免于意外的存取i 卅。 存储器的结构 a d s p b f 5 6 1 把存储器视为一个统一寻址的4 g b y t e s 的地址空间，使用 3 2 位地址。所有的资源，包括内部存储器、外部存储器和i ，o 控制寄存器， 都占据公共地址空间中相应的部分，并且各自独立。此地址空间的各部分存 储器按分级结构排列，以提供高性能价格比。 如图2 2 所示，l 1 存储器是内核中性能最高也是最重要的存储器。l 2 存 储器提供额外的存储能力，性能相对较低。片外存储系统通过外部总线接口 单元( e b i u ) 进行访问，可以由s d r a m 、f l a s h 和s r a m 进行扩展，可以 访问多达7 6 8 m b y t e s 的物理存储器。存储器的d m a 控制器提供高带宽的数 据传输能力，能够在内部l 1 ，l 2 存储器和外部存储器空间之间完成代码或数 据的块传输( 这将在d m a 控制器部分详细介绍) 。 内部( 片内) 存储器 a d s p b f 5 6 1 有4 块片内存储器，提供到内核的高带宽的访问。第1 块 是b l a c k f i n 内核的l 1 指令存储器，它由1 6 k b y t e s 4 路组相联的c a c h e 和 1 6 k b y t e s 的s r a m 组成。l 1 指令存储器以处理器的最快速度访问。第2 块 片内存储器是b l a c k f i n 内核的l 1 数据存储器，由4 个1 6 k b y t e s 的b a n k 组 成。第3 块是一个4 k b ；y t e s 的临时数据s r a m ，它和l 1 存储器有相同的运 行速度，但是只能作为数据s r a m 。第4 块片内存储系统是l 2s r a m 存储 器阵列，它提供1 2 8 k b y t e s 高速s r a m ，以内核速度的一半进行访问。l 2 存 储器是一个独立的指令和数据存储器，两个b l a c k f i n 内核共享一个专用低延 迟6 4 位宽的通道端口，来访问l 2s r a m 存储器。每个b l a c k f i n 内核处理 器有其自己的内核存储器映射寄存器( m m r ) ，但是它们共享相同的系统 m m r 寄存器和1 2 8 kb y t c s 的l 2s r a m 存储器m 。 外部( 片外) 存储器 a d s p b f 5 6 1 外部存储器通过外部总线接口单元( e b i u ) 进行访问。此接 口可与多达4 个b a n k 的同步d r a m ( s d r a m ) ，或与4 个异步存储设备( 包 西南交通大学硕士研究生学位论文第1 2 页 括f l a s h 、e p r o m 、r o m 、s r a m 和存储器映射i ，o 设备等) 无缝连接。 s d r a m 控制器可通过编程与4 个b a n k 的s d r a m 接口，每个b a n k 容量 为1 6 mb y t e s 到1 2 8 mb y t e s ，4 个b a n k 的总容量可达5 1 2 mb y t c s l 明。 i ，0 存储器空间 b l a c k f i n 处理器没有定义独立的i 0 空间，所有的资源都被映射到统一 的3 2 位地址空间。片上i o 设备的控制寄存器被映射到靠近4 g b y t e 地址 空间顶端的存储器映射寄存器( m m r ) 地址范围内。a d s p b f 5 6 1 包括一个小 的引导内核( k e r n e l ) ，用于配置相应的外设来引导。如果a d s p b f 5 6 1 被配 置为从引导r o m 存储器引导，那么d s p 从片内引导r o m 开始执行。 c o r e i e e o w po 硅目 p c o 艇m r r e 捌耵矾ol c 0 r e 嘲r k l e q t l g t 目q s 吖t e m 帆f 堆a 花m l 10 4 哺j e , t c h 岫0 r l 椰l = 二二：二二：二二= 誓 l 1i n s t r u c 删s r _ 眦c 雌t f q l 二二二= = 二二二二二 ， l t 州i v ) - r 1 ，t n o ns 触ml 咐 l = 二：二= ：= 二二：= = = j l o 1 8 m kb r m 虻 c - 培n q l l d a t a 弧n k 8s r a m f l q q i 二= = = = = = = 二= = ：j l o a t a 8 i 帆a r 眦 c 培t k i l l ，融t 曲e t n k a 5 r h a 哪l 1 二= = = = 二二= 二：= = il ，c r t a * d a f 堋 i r e s e r v e d l 1 * 懵t r u c t 渊r h c + 恒i 叼 亡二= = 二= 二= = 二= = = 二= il l t 嘲雎t i o ht r ml q q e 二= 二= 二= 二= = = il 10 t a b n k b $ r a f 4 l c j i , c h 蛳 il d a t b 蜊k bs 鼬”i “h q e 二= = = ：二二= 二= ll d a t a ”m ab r a m j c a c h e f l “i il 1d a t a # 眦a r l i 岣 l 28 r a m1 1 2 阱 e o o t r o 烈 r e $ e r v d “h cm e 惭y 日a h ， a 3 t n c ”e o r ye h h2 3 r n c e 洲rb n ki h c 哐m o 吖e 嫩 s o r a m 日 n k 3 图2 2a d s p b f 5 6 1 存储器结构图 事件处理 a d s p b f 5 6 1 的事件控制器处理到达处理器的所有同步和异步事件。事 件处理支持嵌套和优先级。嵌套允许同时激活多个事件的服务程序。优先级 西南交通大学硕士研究生学位论文第1 3 页 保证高优先级事件的响应可以抢占较低优先级事件的响应。控制器支持五种 不同类型的事件，包括仿真( 通过j t a g 接口) 、复位、不可屏蔽中断( n m r ) 、 异常和中断。 d m a 控制器 a d s p b f 5 6 1 有多个独立的d m a 控制器，能够以最小的d s p 内核开 销完成数据自动传输。d m a 传输可以发生在a d s p b f 5 6 1 的内部存储器和 任意一个有d m a 能力的外设之间。此外，d m a 传输也可以在任意一个有 d m a 能力的外设和已连接到外部存储器接口的外部设备之间完成( 包括 s d r a m 控制器、异步存储器控制器) 。有d m a 传输能力的外设包括 s p o r t 、s p i 端口、u a r t 和p p i 端口。每个独立的有d m a 能力的外设至 少有一个专用d m a 通道。a d s p b f 5 6 1d m a 控制器能够支持一维( i d ) 或二维( 2 d ) d m a 传输。d m a 传输的初始化可以由寄存器或名为描述子 块的参数来实现。除专用外设的d m a 通道以外，在a d s p b f 5 6 1 的不同存 储器之间有4 个存储器d m a 通道。这使得任意的存储器( 包括外部s d r a m 、 r o m 、s r a m 和f l a s h ) 之间的数据块传输成为可能，并使处理器干预降 到最小( 见( a d ib l a c k f i n 高端解决方案b f 5 6 1 中文技术数据) 。 2 2b f 5 6 1 开发平台硬件配置 2 2 1b f 5 6 1 开发平台架构 b f 5 6 1e z - k i t 是由a d i 公司提供的具有双a d s p b f 5 6 1 处理器的开发 板。处理器采用双核架构，每一个d s p 核最高运行速度可高达7 5 0 m h z 。 a d s p - b f 5 6 1 的特色是一个d s p 内核运行操作系统，另一个d s p 内核可以运 行视频编码，类似于“m c u + d s p ”的结构。应用开发人员既可以方便的开 发使用d s p ，又能够享受操作系统带来的便利。b f 5 6 1e z 。k i t 开发板的硬 件配置及性能指标如下所示： 1 、物理尺寸：1 2 0 8 0 x8 m m ； 2 、c p u ：a d s p b f 5 6 l ，双核，7 5 0 m h z ： 3 、f l a s h - 1 6 m ： 西南交通大学硕士研究生学位论文第1 4 页 4 、s d r a m ：6 4 m ： 5 、视频接口：1 ) 1 路c v b s 视频输出接口； 2 ) 3 路视频输入接口； 6 、音频接口：1 ) 1 路音频输入接口； 2 11 路音频输出接口； 7 、u s b ：1 个u s b o t g 接口； 8 、网口： 1 个1 0 ，1 0 0 m 自适应以太网接口 9 、串口；1 个2 线r s 2 3 2 串口； 1 0 、j t a g ：1 个j t a g 接口： 1 1 、电源：1 个5 v 直流电源接口； 另外，该开发板还配置了带云台的摄像机和一个显示器，分别用于提供 视频数据源和显示编码效果。 2 2 2u p e g - 4 编码器硬件方案的实现 该编码系统是对采集来的原始数据按m p e g 4 标准进行压缩编码的。摄 像头采集原始视频数据，经过模数转换模块转换后存放在片外存储器 s d r a m 中