（电路与系统专业论文）基于DM642的MPEG4算法的移植和优化[电路与系统专业优秀论文].pdf

摘要 摘要 随着多媒体信息需求的增长，在低速信道上实现实时动态视频编解码技术是 目前视频处理领域的一个研究热点，嵌入式视频编解码技术有着越来越广泛的应 用前景。本文实现了基于d m 6 4 2 的m p e g 4 嵌入式视频压缩系统，可应用于需要 数据压缩的嵌入式多媒体领域。 本文首先深入研究了d m 6 4 2 的硬件特性，包括处理器结构，视频口外设、存 储器结构、并行硬件结构、集成开发环境c c s 和d s p b i o s 的配置和使用方法，并 分析了优化时可以利用到的所有硬件特性。针对视频压缩，重点研究了m p e g 4 算 法的框架和流程、算法的各个组成模块、视频口的结构和视频采集功能的实现原 理，为算法的移植奠定基础；其次，作为本文的重点，深入分析了算法移植中遇 到的问题，并针对具体问题设计了优化中采用的各种方法，分模块逐一进行优化、 针对每一种优化方法，测试了优化前后的性能并进行对比，同时列出了按一定流 程进行优化后的性能测试总结。 本文采用调整程序结构、存储器优化、流水线技术、线性汇编、内联函数、 自带函数库等优化方法对移植成功的m p e g 4c 语言程序进行优化。经测试，本系 统优化前为2 秒一帧，经优化后达到了c i f 格式1 6 帧每秒的压缩任务，基本满足 了视频监控系统的需求。 关键字：d m 6 4 2d s p b i o sm p e g 4 移植和优化 a b s t r a c t a b s t r a c t w i t ht h ei n c r e a s i n gd e m a n d0 nm u l t i m e d i ai n f o r m a t i o n ，i ti sah o tr e s e a r c h8 1 e a w h e r ei m p l e m e n tr e a l t i m ea n dl i v ev i d e oc o d i n go nl o ws p e e dt r a n s m i s s i o nc h a n n e l m a i nh a r v e s to ft h i sp a p e rw a st h a t i ti n t r o d u c e dam p e g 4e m b e d d e dv i d e o c o m p r e s s i o ns y s t e mw h i c h w o u l db en o r m a l l yu s e di ne m b e d d e dm u l t i m e d i a a r e aw h o r e q u e s tv i d e oc o m p r e s s i o n f i r s to fa l l ，t h i sp a p e ri n t r o d u c e dh a r d w a r ec h a r a c t e r i s t i co fd m 6 4 2w h i c h i n c l u d e dt h es t r u c t u r eo ft h ec p ua n dm e m o r y , v i d e op e r i p h e r i c ，t h ep a r a l l e lh a r d w a r e s t r u c t u r e ，a n dc o n f i g u r a t i o na n da p p l i c a t i o no fc c sa n dd s p f i 3 i o s ，a n dm a d ea a n a l y s i so ft h eh a r d w a r et r a i t sw h i c hw a sf a v o rt oo p t i m i z a t i o n a i m i n ga t v i d e o c o m p r e s s i o n ，h i g h l i g h to ft h i sp a r tw a s f o c u s e do nt h ep r o c e s so fi m p l e m e n t i n gv i d e o c a p t u r ea n dt h ep r i n c i p l ea n du t i l i t yo f v i d e od r i v e r , t h i sa l lm a d eab a s i sf o rn e x tj o b i n t h es e c o n dp a r to ft h i sp a p e r , i tc o v e r e dt h ef r a m ea n df l o wo fm p e g 4a l g o r i t h m ，a n d s p e c i a l l ye n h a n c e dt h em o d u l e sw h i c hc o m p o s e dt h ea l g o r i t h m t h el a s tp a r t ，a st h e c e n t e ro ft h i sp a p e r , g a v ead e t a i l e dd e s c r i p t i o no ft h eo b s t a c l e se n c o u n t e r e dw h e n t r a n s p l a n t e da n dt h em e t h o d su s e dw h e no p t i m i z a t i o n ，a n dg a v et h ec o m p a r i s o no f e v e r ym o t h o d st h a tw a sb e e ne m p l o y e db e t w e e nt h ef r o ma n da f t e rc o n d i t i o no ft h e o p t i m i z a t i o n m e a n w h i l e ，i td e m o n s t r a t e dap e r f o r m a n c e t e s i n gs u m m a r yt h a tw a s a r r a n g e db yt h ef l o wo fo p t i m i z a t i o n a f t e rs o m eo p t i m i z a t i o nm e t h o d ss u c ha sa d ju s t i n gp r o g r a ms t r u c t u r ea n dm e m o r y , p i p e l i n et e c h n o l o g y , l i n e a ra s s e m b l y , i n l i n ef u n c t i o na n di m a g el i b r a r y a f t e rt s e t ，i t r e f l e c t e daf a c tt h a tt h es y s t e mc o m p l e t e dac i ff o r m a tc o m p r e s s i o nt a s ko f15f r a m e s p e rs e c o n dc o m p a r e dw i t ht h ep r e v i o u s2 s e c o n dp e rf l a m ea n db a s i c l l ys a t i s f i e dv i d e o m o n i t o rs y s t e m k e y w o r d ：d m 6 4 2 d s p b i o sm p e g 4t r a n s p l a n ta n do p t i m i z a t i o n 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 翌e 鱼盈白期幽，三5 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名：召墅亟岛一 导师签名：避 日期z 勘2 ：玉5 日期d ! 三：篁 第一章绪论 第一章绪论 1 1 选题目的及研究内容 当今时代，信息技术和计算机互联网技术飞速发展，在此背景下，多媒体信 息已成为人类获取信息的最主要载体，同时也成为电子信息领域技术开发和研究 的热点。多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继 等优点，但同时也伴随海量数据的产生，这对信息存储设备及通信网络均提出了 很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。以存储7 2 0 * 4 8 0 大小的视频为例，在y 、c b 、c r 色彩空间下，一秒视频的存储容量约为7 2 0 * 4 8 0 * 2 * 2 5 = 1 6 5 m 字节，一般嵌入式设备的存储容量为1g 那么也只能存储6 2 秒钟的视频， 对于高清视频，这个存储量更是庞大无比，可见研究高效的多媒体数据压缩编码 方法，以压缩的形式存储和传输数字化的多媒体信息具有重要意义。作为多媒体 技术的核心及关键，多媒体数据压缩编码近年来在技术及应用方面都取得了长足 进展，它的进步和完善正深刻影响着现代社会的方方面面。 m p e g 4 作为新一代多媒体数据压缩编码的典型代表，它第一次提出了基于内 容、基于对象的压缩编码思想。它要求对自然或合成视听对象作更多分析甚至是 理解，这正是信息处理的高级阶段，因而代表了现代数据压缩编码技术的发展方 向。 采用通用d s p 处理器，用软件编程实现视频编解码，具有灵活性好，算法易 于更新，开发周期短等特点。t i 公司的t m s 3 2 0 d m 6 4 2 是一款专门面向多媒体应 用的专用d s p , 主频高达6 0 0m h z ，具有4 8 0 0 m i p s 的运算性能和丰富的外设接口， 其外部配置了3 个视频端口和一个以太网接口。d m 6 4 2 是目前实现视频应用最理 想的平台之一，非常适合于开发视频编解码的嵌入式数字视频系统。 1 2 国内外研究现状 1 2 1 视频压缩的可行性及其方法 视频数据压缩的目的是去除庞大数据中的冗余信息，即消除数据之间的相关 性，而保留相互独立的信息分量。视频数据中的冗余主要包括三类：人眼视觉系统 h v s ( h u m a nv i s u a ls y s t e m ) 对亮度和色度的不同心理反应形成的心理冗余【l 】图像 在时域和空域上的相关性形成的统计冗余以及平均编码长度和信源熵之间的偏差 2 基于d m 6 4 2 的m p e g 4 算法的移植和优化 形成的熵冗余【2 1 。为消除这些冗余，目前主流的视频标准主要采用了以下几种方法 来进行视频数据的压缩。 ( 1 ) 空间采样 与色度信号的变化相比，人眼对亮度信号的变化更灵敏，因此利用人眼视觉 系统对色差信号的弱敏感性，可以消除视频数据中含有的主观冗余，从而有效降 低原始编码数据量。所以众多视频编码方案首先将图像数据分成y u v 信号( 一个亮 度分量和二个色度分量) ，然后再对色度分量进行降采样。目前广泛使用的采样格 式有4 ：2 ：2 ，4 ：2 ：o 和4 ：l ：1 等。 ( 2 ) 预测编码 预测编码是利用信号间的相关性将每个像素用其前值( 前像素、前行、前帧) 做预测，并传输实际信号与预测信号差值。信号相关性越强，预测精度越高，实 际信号与预测信号的差值就越小，从而编码后的比特数也相应减少。1 9 5 2 年， c c c u l t e r 首先提出了d p c m ( d i f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 的概念【3 j ，同年b e l l 实验室的b m o l i v e 第一次从理论和实验上对图像的线性预测编码技术进行了研 究。1 9 6 6 年，j b o n e a l 分析计算了二维线性预测器的最佳预测系数，确立了最佳 线性预测的设计理论 4 1 ，1 9 6 9 年m o u n t s 等首次提出帧问预测编码方法【5 】，8 0 年代初开 始了对做运动补偿预测所用的运动估值技术的研究【6 j 。发展到今天，运动补偿预测 己经在视频图像编码方法中占有重要的地位。 预测编码根据时空相关特性可分为时域帧间预测和空域帧内预铡两类。帧间 预测指的是利用图像序列问的时间相关性，使用已编码帧的像素值作为参考，从 而以补偿残差值取代当前帧像素值来表征当前帧特性的冗余消除方法，如m p e g 4 的p 帧；同时，一幅图像内的相邻像素间也具有较强的相关性，因此可以利用帧内预 测方法来消除空间冗余，如m p e g 4 的帧内d c ，a c 预测。 ( 3 ) 变换编码【7 j 变换编码己成为用于静止图像编码和视频编码的一种非常流行的压缩方法。 变换编码的目的在于去掉帧内或帧间残差图像内容的相关性，对变换系数进行编 码，而不是对画面的原始像素进行编码。尽管图像变换本身并不导致数据压缩但 是通过采用正交变换编码技术进行多维坐标系的旋转变换，把散布在各个原坐标 轴上的原始图像数据集中到新的坐标系中少数坐标轴上的方法可以使图像数据在 变换域内最大限度的不相关。将图像数据从空域变换到频域后，可利用人眼视觉 系统对高频信号不敏感的特点，将高频系数尽量量化为零而产生长零串，这样非 常有利于消除编码熵冗余。正交变换的种类很多，如k l 变换、d c t 变换、s l a n t 变换等。1 9 6 8 年，i i c a n d r e w s 和w kp r a t 首先将离散傅里叶变换( d f t ) 用于处理静 止图像，得到了较好的压缩效果。次年，w k ，p r a t t 等人提出利用只有加减运算的 h a d a m a r d 变换对图像进行编码。进入7 0 年代后，又先后出现了k l 变换、h a a r 变换、 第一章绪论 s l a n t 变换等方法，并从理论上证明了在均方误差最小准则下，k l 变换是最佳变换， 但它的缺点是计算复杂度大，工程上难以实现。1 9 7 4 年由n a h m e d 和k r r a o 提出 了离散余弦变换( d c t ) ，由于d c t 变换在假定信源为一阶平稳马尔可夫过程时最接 近k l 变且具有快速算法，因此常被作为变换编码的基本方法。 ( 4 ) 熵编码 熵编码是建立在随机过程的统计特性基础上的，其基本思想是对出现概率较 大的符号分配短码字，对出现概率较小的符号分配长码字，从而达到编码后的平 均码长最小。熵编码包括香农范诺编码、霍夫曼编码和算术编码等。1 9 4 8 年， s h a n n o n 在提出信息熵理论的同时，也给出了一种简单的编码方法一s h a n n o n 编码。 1 9 5 2 年，r m f a n o 又进一步提出了f a n o 编码。这些早期的编码方法揭示了变长编 码的基本规律，也确实可以取得一定的压缩效果，但离真正实用的压缩算法还相 去甚远。第一个实用的编码方法是由d a h u f f m a n 提出的h u f f m a n 编码，它具有效 率高，运算速度快，实现方式灵活的特点，从2 0 世纪6 0 年代至今，在数据压缩领 域得到了广泛的应用f s 】。1 9 6 8 年前后，e e l i a s 发展了s h a n n o n 和f a n o 的编码方法， 构造出从数学角度看来更为完美的s h a n n o n f a n o e l i a s 编码。沿着这一编码方法的 思路。1 9 7 6 年，j ，r i s s a n e n 提s h a n n o n - f a n o e l i a s 编码。沿着这一编码方法的思路， 1 9 7 6 年，j r i s s a n e n 提出了一种可以成功地逼近信息熵极限的编码方法一算术编码。 它利用任何一个数据序列均可表示成0 和1 之间的一个间隔的特性进行编码，每个 间隔的位置与数据的概率分布有关，可以根据信源的统计特性，对未知概率模型 的信源自适应地配置其分布。1 9 8 2 年，r i s s a n e n 和g g l a n g d o n 一起改进了算术编码。 之后，人们又将算术编码与j g c l e a r y 和i h w i t e n 于1 9 8 4 年提出的部分匹配预测模 型( p p m ) 相结合，开发出了压缩效果近乎完美的算法。对于无损压缩而言，p p m 模 型与算术编码相结合，已经可以最大程度地逼近信息熵的极限。算术编码虽然可 以获得最短的编码长度，但其本身的复杂性也限制了它的一些应用1 9 】。目前h u f f m a n 编码和算术编码己经被广泛用于各种图像压缩编码标准中，对变换、预测编码之 后的图像系数作进一步的编码。 ( 5 ) 新一代编码技术 除了以上方法外还有诸如子带编码、小波编码、分形编码与模型基编码等。 图像的子带编码借鉴于语音的子带编码，它将输入信号的频带用带通滤波器分成 若干连续的频段，称之为子带，对每个子带中的信号采用单独的编码方案去编码。 在信道上传送时，将每个子带的代码复合起来；译码时，对每个子带单独译码，然 后把它们组合起来，还原成原来的信号。s h a p i r o - 亍：1 9 9 3 年提出嵌入式零树小波编 码( e z w ) 算法后，小波变换理论在图像压缩领域的应用取得了重要突破l l 。与 f o u r i e r 分析相比，小波变换是时间和频率的局域变换，能更加有效地提取信号和 分析局部信号。利用小波变换可以一次变换整幅图像，而且可以达到很高的压缩 4 基于d m 6 4 2 的m p e g 4 算法的移植和优化 比。分形编码是一种直接在空间域寻找并最大限度地利用图像的自相似性的编码 方法。分形用于图像编码比较有效的方法是1 9 8 4 年m ，eb a m s l e y 提出的迭代函数系 统i f s ，它把一幅图像分解为若干类景物的子图像，对每类子图像寻找出一个分形 算法，简称为i f s 码，使这组i f s 码所代表的分形图像在主观上与原始子图像非常相 似。由于i f s 码的信息量比原始图像要少得多，因而可以获得较高的压缩比。 模型基图像编码首先由瑞典的f o r e h h e i m e 等人于1 9 8 3 年提出，它不要求图像信 号定具有自相似性。可以用更普遍、更基本的基元如三角或椭圆来建立模型。 模型基图像编码第一类景物里的物体三维模型为严格己知，称为“语义基”图像编码； 第二类则是针对未知物体的模型基图像编码，需要实时构造物体的模型，称为“物 体基”图像编码。模型基编码的核心是对模型本身或模型参数进行编码传输，如果 模型足够好，对模型的描述又足够成熟，那么模型基编码就有很强的可利用性。 以上所述的各种方法都能有效地消除冗余，因此在实用视频压缩标准中通常采用 多种方法相结合的混合编码方案，以求达到最佳的编码效率l l 。 1 2 2 视频压缩标准发展历程 ( 1 ) h 2 6 1 【1 2 】 h 2 6 1 是最早的运动图像压缩标准，它是i t u t 为在综合业务数字n ( i s d n ) 上 开展双向声像业务( 可视电话、视频会议) 而制定的，速率为p x6 4 k b i t s ( p 为整数) 。 当p 小于6 时，只能传输清晰度不太高的图像，可应用于电视电话；当p 大于6 时，可 以传输清晰度较好的图像，可适用于电视会议等。h 2 6 1 标准详细制定了视频编码 的各个部分，包括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定 速率的信道相适配的速率控制等部分。它只能处理c i f 和q c i f 两种图像格式，每帧 图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 ( 2 ) m p e g l t 1 3 】 m p e g l 可适用于不同带宽的设备，如c d r o m ，也可被用于数字电话网络上 的视频传输，如非对称数字用户线路( a d s l ) ，视频点播( v o d ) ，以及教育网络等。 它的目的是把2 2 1 m b i t s 的n t s c 图像压缩到1 2 m b i t s ，压缩率为2 0 0 ：l ，这是图像压 缩的工业认可标准。它可针对s i f 标准分辨率的图像进行压缩，传输速率为 1 5 m b i t s ，每秒播放3 0 帧。m p e g l 的编码速率最高可达4 5 m b i t s 。与h 2 6 1 相似， m p e g l 也采用运动补偿和二维d c t 变换，对量化后的d c t 系数进行变长编码，而 每个数据块的直流( d c ) 分量采用预测差分编码方式。 ( 3 ) m p e g 2 h 2 6 2 1 1 4 】 m p e g 2 的视频编码部分即是h 2 6 2 。m p e g 2 的设计目标是高级工业标准的图 像质量以及更高的传输率。它除了作为d v d 的指定标准外，还可用于为广播、有 第一章绪论 线电视网、电缆网络以及卫星直播提供广播级的数字视频。m p e g 2 所能提供的传 输率在3 m b 1 0 m b s 间，在n t s c 制式下的分辨率可达7 2 0 x 4 8 6 ，能够提供广播级的 图像质量。m p e g 2 的另特点是，可提供一个较广范围的可变压缩比，以适应不 同的画面质量、存储容量以及带宽的要求，为此，m p e g 2 定义了不同的p r o f i l e 和 l e v e l ，并且根据不同的p r o f i l e 定义了不同的子集，而每个p r o f i l e 又以l e v e l 来对编码 参数作进一步的限制。m p e g 2 标准采用了半像素精度的运动矢量搜索，引入了 “帧”( f r a m e ) 和“场”( f i e l d ) 的编码方式，并且支持可分级技术，其中包括空间可分级 性、时间可分级性和信噪比可分级性等。 ( 4 ) h 2 6 3 1 1 5 】 h 2 6 3 是i t u t 为低于6 4 k b i t s 的窄带通信信道制定的视频编码标准，支持用于 视频会议和视频电话应用程序的视频压缩和解码。它是在h 2 6 1 基础上发展起来 的，其标准输入图像格式可以是s q c i f , q c i f , c i f , 4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取 样图像。h 2 6 3 与h 2 6 1 相比，采用了半像素运动补偿、无限制的运动向量、基于 语法的算术编码以及与m p e g 中的p b 帧一样的帧预测方法等较先进的技术，从而 达到了进一步降低码率和提高编码质量的目的。后来推出的h 2 6 3 + 和h 2 6 3 + + 标准 扩充了h 2 6 3 的编码可选项，提供了更大的适用范围。如h 2 6 3 + 标准允许更大范围 的图像输入格式，自定义图像的尺寸，使之可以处理基于视窗的计算机图像、更 高帧频的图像序列及宽屏图像；h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，以增强码 流在恶劣信道上的抗误码性能，同时提高了编码效率。 ( 5 ) m p e g 4 1 1 6 1 m p e g 4 标准不仅针对一定比特率下的视频、音频编码，而且更加注重多媒体 系统的交互性和灵活性。它主要应用于可视电话、可视电子邮件等，对传输速率 要求较低，在4 8 6 4 k b i t s 之间。m p e g 4 利用很窄的带宽，通过帧重建技术、数据 压缩，以求用最少的数据获得最佳的图像质量。m p e g 4 的最大特点是引入了“视频 对象”( v i d e oo b j e c t ) 概念，可以动态地侦测图像各个区域变化，基于对象地调整压 缩方法，以获得比m p e g l 更大的压缩比。与m p e g l 和m p e g 2 标准相比，除了传统 的编码功能之外，m p e g 4 具备了更多引人注目的功能，包括了有效压缩、对象内 容的存取和可扩展性、空域和时域的可扩展性以及强健的纠错能力等。 ( 6 ) h 2 6 4 a v c 1 7 】 h 2 6 4 标准是由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合 组制定的，以实现视频的高压缩比、高图像质量和良好的网络适应性为目标。h 2 6 4 标准继承了h 2 6 3 和m p e g l 2 4 视频标准协议的优点，但它采用“回归基本”的简洁 设计，在结构上并没有变化，只是在各个主要的功能模块内部使用了一些先进的 技术，提高了编码效率；而且加强了对各种信道的适应能力，采用“网络友好”的结 构和语法，有利于对误码和丢包的处理；应用目标范围较宽，可以满足不同速率、 6 基于d m 6 4 2 的m p e g 4 算法的移植和优化 不同分辨率以及不同传输或存储场合的需求。 ( 7 ) a v s 1 8 】 a v s 是由我国自主制定的音视频编码技术标准，主要面向高清晰度电视、高密 度光存储媒体等应用，已于2 0 0 6 年初正式成为国家标准。a v s 标准以当前国际上最 先进的m p e g 4 和h 2 6 4 a v c 框架为基础，强调自主知识产权，同时充分考虑了实 现的复杂度。 1 2 3 视频压缩的硬件实现方法 当前对于视频编解码的实现主要有以下几种途径： ( 1 ) 基于p c 的软件实现 利用普通p c 的c p u 实现视频压缩解压缩，这种方案具有开发费用低，开发周 期相对较短等优点，而且可使用现成的软件包，因此是开发者广泛采用的一种方 案。但是软件编码器的运行脱离不了计算机，计算机的性能优劣对其影响很大， 所以在应用上受到诸多限制。 ( 2 ) 基于数字信号处理器( d s p ) 实现 d s p 的结构决定它非常适合于计算密集的数字信号处理。如采用改进的哈佛总 线结构，内部有硬件乘法器、累加器，使用流水线结构，具有良好的并行特性， 并有专门设计的适合信号处理的指令系统等。d s p 芯片的这些特点使得它非常适合 用于不允许有延迟的实时应用领城，并对于视频处理系统，一块d s p 芯片结合外围 电路就能完成整个系统的功能。这种方案的好处是系统灵活，硬件系统设计完成 后，整个系统的升级仅仅通过修改软件即可完成。目前市场上的d s p 芯片以美国德 州仪器公司( t i ) 的t m s 3 2 0 系列为流，t m s 3 2 0 系列从t m s 3 2 0 c 1 0 开始，现己形成 c 2 0 0 0 ，c 5 0 0 0 c 6 0 0 0 等系y u d s p 产品。 ( 3 ) 基于f p g a 实现图像压缩处理 随着f p g a 产品价格的下降，f p g a 以其强大的并行性和灵活性越来越多的应 用于视频图像处理领域，只需要利用f p g a 厂商提供的f p g a 产品和其相关开发软 件，通过h d l 软件编程的方法即可实现特定的图像视频压缩算法。这一方法由于 具有通用性并可以实现算法的并行运算等特点，无论是作为独立的数宇信号处理 器，还是作为d s p 芯片的协处理器，目前都是比较活跃的研究领域。 综合比较以上方案的优缺点可知： 第一种基于p c 的软件编码器使用比较方便，技术成熟，但是其过分依赖于计 算机，使用领域比较有限。 第二种方案非常适合于图像信号处理以及通用信号处理，而且这一方案具有 性能上的优势和通用性的特点，使得其成为真正使d s p 技术实用化的方法，作为视 第一章绪论 频处理领域的主角，d s p 已经广泛应用于这一领域，具有较多可借鉴的资源。另一 方面，d s p 芯片价格的下降，更加增强了这一领域的发展。 由于视频处理i p 的开发难度和较高的开发成本，基于f p g a 的视频处理应用有 待进一步的广泛应用。 由于基于d s p 实现视频应用的成熟化和软件易更新性，我们选择基于 t m s 3 2 0 d m “2 这款高性能的专用媒体处理器来实现m p e g 4 编解码器。 1 3 本文主要工作及内容安排 本文的任务是，基于d m 6 4 2 硬件平台设计和实现了c 语言版本m p e g 4 算法的 移植和优化。 本课题研究的重点集中在以下三点： 1 器件和平台选型，为实现m p e g 4 算法移植和优化选择理想的硬件平台。 2 研究d m 6 4 2 的硬件特性，研究其处理器结构，视频口外设、存储器结构、 并行硬件结构、集成开发环境c c s 和操作系统d s p b i o s 的配置和使用方法、研究 优化时可以利用到的所有硬件特性。对于视频压缩，重点研究视频口结构和视频 采集的实现原理。 3 为了在算法级实现一定的优化，详细分析了m p e g 4c 语言版本代码，按照 编码器的数据流程分模块研究算法的具体实现方法。将算法分为帧内和帧间两大 模块，其中帧内模块包括d c t 量化，z i g z a g 扫描，帧内预测，v l c 变长编码；帧 间模块主要包含运动估计和运动补偿。分模块研究算法实现方法并分模块进行优 化，是本文采用的一种条理清楚的研究策略。 本文内容结构安排如下： 第一章，绪论。介绍选题目的、意义，以及国内外研究现状。 第二章，系统方法设计。首先介绍一些系统中涉及的视频处理的基础知识， 进而详细介绍系统硬件功能构成方案及系统软件流程。 第三章，d m 6 4 2 特性介绍及视频采集的实现。d m 6 4 2 的特性介绍主要包括内 核、存储器结构、外设、c c s 编译器等方面的详细介绍。后部分研究了t i 的视频驱 动模型，结合硬件分析了视频采集实现的细节。 第四章，m p e g 4 算法介绍。详细描述了m p e g 4 算法流程框图，详细介绍了各 关键算法模块，为算法优化作准备。 第五章，算法移植与优化。作为本文的目的，在前两章的基础上介绍了移植 中遇到的问题和优化时所采用的各种方法。 第二章系统方案设计 9 第二章系统方案设计 本章首先介绍一些系统中涉及到的视频处理的基础知识，进而详细介绍系统 硬件功能构成及系统软件流程。 2 1 视频信号的数字化 由于当今的处理器( d s p 或f p g a ) 只能处理数字信号，而一般地，视频源都是 模拟视频源( 如模拟摄像头、录像带等) ，所以进行数字视频处理的第一步就是要将 模拟视频信号进行数字化，通常，这一步是由视频解码器完成的。视频解码器实 质上就是一个a d 转换器，它将各种输入制式、格式的模拟信号转换为一定格式 的数字视频信号。 2 1 1 视频信号的制式【1 9 l 世界上主要有三种不同的电视系统：n t s c 制式、p a l 制式和s e c a m 制式。 不同的制式代表视频信号在传输过程中采用不同的调制方法。不同制式的视频信 号可以通过相应制式的摄像头获得。 ( 1 ) n t s c 制式 n t s c 是美国在1 9 5 3 年1 2 月首先研制成功的，以美国国家电视系统委员会 ( n a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e e ) 的缩写命名。这种制式的色度信号调制特点 为平衡正交调幅制，即包括了平衡调制和正交调制两种，虽然解决了彩色电视和 黑白电视广播相互兼容的问题，但是存在相位易失真、色彩不稳定的缺点。n t s c 制电视的供电频率为6 0 h z ，场频为每秒6 0 场，帧频为每秒3 0 帧，扫描线为5 2 5 行，图像信号带宽为6 2 m h z 。采用n t s c 制的国家有美国、日本等国家。 ( 2 ) p a l 制式 p a l 制式又称为帕尔制。它是为了克服n t s c 制式对相位失真的敏感性，在 1 9 6 2 年，由前联邦德国在综合n t s c 制式的技术成就基础上研制出来的一种改进 方案。p a l 是英文p h a s e a l t e r a t i o nl i n e 的缩写，意思是逐行倒相，也属于同时制。 它对同时传送的两个色差信号中的一个色差信号采用逐行倒相，另一个色差信号 进行正交调制方式。这样，如果在信号传输过程中发生相位失真，则会由于相邻 两行信号的相位相反起到互相补尝作用，从而有效地克服了因相位失真引起的色 彩变化。因此，p a l 制对相位失真不敏感，图像彩色误差较小，与黑白电视的兼 l o 基于d m 6 4 2 的m p e g 4 算法的移植和优化 容也好，但p a l 制的编码器和解码器都比n t s c 制的复杂，信号处理也较麻烦， 接收机的造价也高。 ( 3 ) s e c a m 制式 s e c a m 制式又称塞康制。它属于同时顺序制，1 9 6 6 年由法国研制成功。在 信号传输过程中，亮度信号每行传送，而两个色差信号则逐行依次传送，即用行 错开传输时间的办法来避免同时传输时所产生的串色以及由其造成的彩色失真。 s e c a m 制式特点是不怕干扰，彩色效果好，但兼容性差。帧频每秒2 5 帧，扫描 线6 2 5 行，隔行扫描，画面比例4 ：3 ，分辨率7 2 0 * 5 7 6 。 2 1 2 色彩空间模型 模拟视频信号经过采样、量化后成为数字视频信号。如何表示这一数字化的 视频信号便引入了色彩空间模型的概念，即数字视频信号的不同表示方法。由于 我们的系统用到了y u v 空间模型，所以这里主要介绍此类模型。 y u v 空间模型中的y 表示亮度信号，u v 表示色差信号，常用到的y u v 格 式有以下几种： ( 1 ) y u v4 ：4 ：4 ，如图2 1 所示，每2 * 2 个y 对应4 个c b 和4 个c r ，各分量抽 样率相同，像素码流存放为：y 0u 0 v 0y 1u 1v 1y 2 u 2 v 2y 3u 3v 3 。 ( 2 ) y u v4 ：2 ：2 ，如图2 2 所示，每2 * 2 个y 对应2 个c b 和2 个c r ，每个色差 信号的抽样率是亮度信号的一半，像素码流存放为：y 0u 0y iv 1y 2u 2y 3v 3 。 & 函函&焱函 & 函函函函陵 函函函&函& 颡殁焱鼓焱圆 y 嚣曩o 铷嚣e 噶蓑y | to 强秘露蒜 图2 iy u v 4 ：4 ：4 样例位置图2 2y u v 4 ：2 ：2 样例位置 ( 3 ) y u v4 ：1 ：1 ，如图2 3 所示，每4 1 个y 对应1 个c b 和1 个c r ，像素码流 存放为：y 0u 0y 1y 2v 2y 3 。 ( 4 ) y u v4 ：2 ：0 ，如图2 4 所示，每2 * 2 个y 对应1 个c b 和1 个c r ，在水平和 垂直方向上都取样一半色度信号。 第二章系统方案设计 模拟视频 蠢蚴， 焱 跫 蔽 函 ￥霉曩0e 哺e 携曩 图2 3y i j v4 ：i ：1 样例位置 焱焱 焱焱 y 诼曩0e 曜c r 嚣曩 图2 4y u v 4 ：2 ：0 样例位置 2 2 系统硬件功能构成框图 s d r a m ( 3 2 m ) 揪s a a 7 码11 器5 阁艨訾im d m 南6 4 2 悟, 问i y u v 4 ：2 ：2i s a a 7 码1 0 器5 幅 f l a s h 图2 5 系统功能构成框图 如图2 5 所示，视频压缩系统由如下部分构成： 模拟摄像头： 作为本系统的视频源，提供n t s c 制式的模拟视频，分辨率：7 2 0 奉4 8 0 。 视频解码器s a a 7 1 1 5 ： 完成模拟视频的数字化，为d s p 提供y u v 4 ：2 ：2 格式的数字视频。 d m 6 4 2 + m p e g 4 - 作为算法处理平台，d m 6 4 2 是系统的核心，内部移植m p e g 4 编解码 算法。 视频编码器s a a 7 1 0 5 ： 完成数字视频到模拟视频的转换，其输入为y u v 4 ：2 ：2 格式数字视频， 输出为b t 6 5 6 格式复合模拟视频，直接连到t v 监视器进行显示，即可直 观的看到优化的效果。 s d r a m ： 1 2 基于d m 6 4 2 的m p e g 4 算法的移植和优化 视频的帧缓存，系统的程序运行存储器。其大小为3 2 m ，足以存放l o 帧视频数据。 f l a s h ： 固化程序代码，使系统可以脱机运行。 中断触发 d 数据流向 2 3 系统数据流向介绍 d m 6 4 2 内部 叠s d r a m 内部 视频口 中断 磊 视频口 采集 f i f o 视频口 显示 f i f o 谬 视频口 中断 e d m a 中断 魏 e d m a 控制 器 ：，e d m a 控制 器 彰 e d m a 串断 图2 6 系统数据流向图 如图2 6 所示，模拟视频首先经过视频解码器s a a t l l 5 ，转换成符合b t 6 5 6 标准的y u v 4 ：2 ：2 格式的数字视频，然后数字视频进入视频口采集f i f o ，当填满 相应f i f o ( y , c b ，c r l 后，触发视频1 3 中断，随后通过e d m a 控制器将视频1 ：3 采集 f i f o 中的数据搬移到视频采集帧缓存( s d r a m ) ，缓存一帧视频图像等待处理，当 应用程序调用f v i da l l o t ( 1 后，再次利用e d m a 控制器将视频采集帧缓存( s d r a m ) 中的数据搬移到d m 6 4 2 处理器进行视频编码( 这部分第四章进行详细论述) ，编码 完后的数字视频再次利用e d m a 控制器搬移到视频显示帧缓存( s d r a m ) ，等待显 示。显示命令下达后，e d m a 控制器将视频显示帧缓存( s d r a m ) 的数据搬移到视 频1 ：3 显示f i f o 中，接下来再将这帧数据送入视频编码器s a a 710 5 ，转换成模拟视 频，在t v 监视器上显示。 印蹴囱 第三章d m 6 4 2 特性介绍及视频采集的实现原理 1 3 第三章d m 6 4 2 特性介绍及视频采集的实现原理 本章介绍了t i 的媒体处理器d m 6 4 2 的相关特性，并重点分析了视频采集的 实现原理。首先从内核、存储器结构、外设、c c s 编译器等方面介绍了d m 6 4 2 的 相关特性和开发方法。然后重点研究了t i 的视频驱动模型，结合硬件分析了视频 采集实现的原理。 3 1d m 6 4 2 内核 1 9 9 7 年，美国t i 公司发布了新一代d s p 芯片t m s 3 2 0 c 6 0 0 0 ，包括定点系列 和浮点系列。其中定点系列是t m s 3 2 0 c 6 2 x x ，浮点系列是t m s 3 2 0 c 6 7 x x ，二者相 互兼容。2 0 0 0 年3 月，t l 发布了新的c 6 4 x x 内核，主频l - 1 g h z ，处理速度接近 9 0 0 0m i p s ，总体性能比c 6 2 x x 提高了1 0 1 5 倍。其中c 6 4 1 6 工作在6 0 0 m h z 主频 下，只利用5 0 的运算能力就可以同时进行单通道m p e g 4 视频编码、单通道 m p e g 4 视频解码和单通道m p e g 2 视频编码的处理。2 0 0 2 年t i 推出了基于c 6 4 x 内核的d m 6 4 2d s p ，该型号d s p 专门用于多媒体视音频应用。图3 1 是c 6 4 x 系 列d s p 的内核结构图。 l 一瓣一 l l c 8 o c p u r p b f p 伊a 阱f 舯喃 d o w n 嫩l 棚n 幽翻猷加c s 呻埘 c , m l m l 糟g 醇爆 i r , m t n 栅c l , o d e h l e t 瞒i fl 砷ao 粕鼬8c o n l r o l i r 叼躐臂f 轴a ll r 。9 蓐t 甜1 1 8 嗡 工【iz 工【i z 科 e 拧链t 越帕n f 上 i s ，| | d tli 1 3 2 | m 2 | s 2l 1 2l l 穗口晦 i 出黛酬 璃蚋翻i ： o _ 纠口 脚j 协m m 畸 婀噶 3 轴t , k l d r e 昭 - 一i 口吣 譬 毒、1 6 - , 3 2 - - 6 i - 撼协 图3 ic 6 4 x 系列d s p 的内核结构图 1 4 基于d m 6 4 2 的m p e g 4 算法的移植和优化 如上图3 1 所示，c 6 4 xc p u 内核包括： 程序取指单元( p r o g r a mf e t c hu n i t ) 指令分配、打包单元( i n s t r u c t i o nd i s p a t c hu n i 0 指令译码单元( i n s t r u c t i o nd e c o d eu n i t ) 两条数据处理路径a 和b ，每路处理路径包含四个功能单元 ( l ，s ，m ，d ) 两