（信号与信息处理专业论文）基于davinci平台的视频转码系统的设计与实现.pdf

j ， 静 _ 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：鱼工堇 e t 期：垄竺：三：丝 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：墨王! 鱼导师签名：耋主兰兰日期：塑一，乡 山东大学硕士学位论文 目录 摘要1 a b s t r a c t ：； 第一章绪论5 1 1 课题背景5 1 1 1 视频转码技术的发展5 1 1 2d a v i n c i 技术的产生。6 1 2 课题意义7 1 3 课题方案9 1 4 论文内容安排l l 第二章d a v i n c i 开发平台12 2 1d a v i n c i 技术12 2 2t m s 3 2 0 d m 6 4 6 7 数字多媒体处理器1 4 2 3c 6 4 x + 对c 6 4 x 内核的性能改进1 7 2 4 集成开发环境c c s 1 9 第三章视频转码算法软件实现2 l 3 1m p e g 2 视频部分概述2 1 3 2m p e g 2 系统层概述2 3 3 3 转码算法软件设计2 4 3 3 1 转码系统总体软件框架2 4 3 3 2t s 流解复用一2 6 3 3 3 空间分辨率转换3 l 第四章基于d a v i n c id s p 的实现及优化3 4 4 1 基于d a v i n c id s p 的优化流程3 4 4 2p c 到d s p 平台的代码移植3 5 4 3c 代码级优化3 8 4 3 1c 代码性能统计方法3 8 山东大学硕士学位论文 4 3 2 选用c 编译器提供的优化选项3 9 4 3 3 减小存储器相关性4 1 4 3 4 使用内联函数4 3 4 3 5 数据打包4 4 4 3 6 软件流水技术4 8 4 3 7 库函数的使用5 l 4 4 线性汇编优化5 2 4 5 优化结果总结5 5 第五章d a v i n c ic o d e ce n 舀n e 概述及x d m 封装5 7 5 1c o d e ce n g i n e 概述一5 7 5 1 1d a v i n c i 参考软件框架5 7 5 1 2c o d e ce n g i n e 编程架构5 8 5 1 2x d m 与v i s aa p i 5 9 5 2 转码器的x d m 封装6 1 5 2 1 数据结构的定义6 l 5 2 2 回调函数的实现6 2 第六章总结和展望6 4 参考文献6 6 致i 射7 0 攻读硕士学位期间发表的论文7 1 i l 山东大学硕士学位论文 c o n t e n t s a b s t r a c i 1 c h a p t e ro n e ：i n t r o d u c t i o n 5 1 1r e s e a r c hb a c k g r o u n d 5 1 1 1d e v e l o p m e n to fv i d e o t r a n s c o d i n gt e c h n o l o g y 一5 1 1 2b a c k g r o u n do fd a v i n c it e c h n o l o g y 6 1 ：! s u b j e c ts i g n i f i c a n c e 7 1 ：；s u b j e c ts c h e m e 9 1 4t h e s i ss t r u c t u r e 11 c h a p t e r t w o ：d a v i n c ip l a t f o r m 12 2 1d a v i n c it e c h n o l o g y 12 2 2t m s 3 2 0 d m 6 4 6 7d i 百t a lm u l t i - m e d i ap r o c e s s o r 14 2 3p e r f o r m a n c ee n h a n c e m e n to fc 6 4 x + b a s e do nc 6 4 x 。l7 2 4c c ss o f t w a r ed e v e l o p m e n tp l a t f o r m 19 c h a p t e rt h r e e ：s o f t w a r ea l g o r i t h mo fv i d e ot r a n s c o d i n g 21 3 1m p e g 2v i d e op a r t 2 1 3 2m p e g - 2s y s t e ml a y e r 2 3 3 3t r a n s c o d i n gs o f t w a r ea l g o r i t h m 2 4 3 3 1g e n e r a ls o f t w a r ef r a m e w o r ko f t r a n s c o d i n ga l g o r i t h m 一2 4 3 3 2t sd e m u l t i p l e x i n g 2 6 3 3 3s p a t i a ld o w n s c a l i n gt r a n s c o d i n g 31 c h a p t e rf o u r ：i m p l e m e n ta n do p t i m i z a t i o nb a s e do nd a v i n c id s p 3 4 4 1o p t i m i z i n gf l o wb a s e do nd a v i n c id s p 3 4 4 2c o d et r a n s p l a n tf r o mp ct oc c s 3 5 4 3o p t i m i z a t i o no n c o d el e v e l 3 8 4 3 1s t a t i s t i cm e t h o d so f c o d ep e r f o r m a n c e 3 8 4 3 2o p t i m i z i n go p t i o n sp r o v i d e db yc c o m p i l e r 3 9 4 3 3m i n i m i z i n gm e m o r y i n d e p e n d e n c e 4 1 4 3 4u s i n gi n t r i n s i c s z i ：i 4 3 5w i d e rm e m o r ya c c e s sf o rs m a l l e rd a t aw i d t h s 4 4 4 3 6s o f t w a r ep i p e l i n e 4 8 山东大学硕士学位论文 4 3 7u s i n gd s pl i b r a r i e s 51 4 4l i n e a r l ya s s e m b l y 5 2 4 5c o n c l u s i o n 5 5 c h a p t e r f i v e ：c o d e ce n g i n eo v e r v i e wa n dx d m e n c a p s u l a t i o n 5 7 5 1c o d e ce n g i n eo v e r v i e w 5 7 5 1 1d a v i n c ir e f e r e n c es o f t w a r ef r a m e w o r k 5 7 5 1 2c o d e ce n g i n ep r o g r a m m i n gs t r u c t u r e 5 8 5 1 2x d ma n dv i s aa p i 5 9 5 2x d me n c a p s u l a t i o no f t r a n s c o d e r 6l 5 2 1d e f i n i t i o no f d a t as t r u c t u r e s 6 1 5 2 2r e a l i z a t i o no f c a l l b a c kf u n c t i o n s 6 2 c h a p t e rs i x ：c o n c l u s i o na n dp r o s p e c t 6 4 r e f e r e n c e s 6 6 t h a n k s 7 ( ) a c h i e v e m e n t s 7l l 山东大学硕士学位论文 摘要 视频压缩标准的发展和各种多媒体终端设备的广泛应用，推动了视频转码技 术的发展。视频转码就是将视频码流从一种格式转换到另一种格式，传统的视频 转码技术分为三类：比特率转码、分辨率转码和语法转码。本文应用的是空间分 辨率转码。 嵌入式视频应用领域的迅猛发展对视频处理芯片提出了更高的要求，不但要 具备足够的运算能力，而且要有强大的控制功能。t i 推出了达芬奇( d a v i n c i ) 技术 及相关产品，很好地解决了这些问题。本课题就是基于d a v i n c i 系列t m s 3 2 0 d m 6 4 6 7 进行了转码系统的开发，其特有的h d - v i c p ( 高清视频图像协处理器) 为转码系统 的实时开发提供了条件。 最基本的转码结构是像素域级联式转码，直接由解码器和编码器串联而成。 这种转码方式的编码部分和解码部分在结构上完全独立，具有极大的灵活性，并 且不存在图像漂移等问题，转码后的图像质量高，但其运算复杂度高，很难满足 实时性要求。为了降低计算复杂度，可以在保持视频质量下降不大的情况下，重 用输入码流的信息，如运动矢量信息、宏块编码模式信息等，以提高转码速率。 由于借助于d m 6 4 6 7 的f d v i c p 完全可以满足实时性要求，因此在综合考虑了图像质 量、转码灵活性等各要素之后，本课题最终选用了像素域级联式转码方案。 本文首先论述了视频转码技术的发展和d a v i n c i 技术的产生，介绍了课题意 义、课题方案及论文内容的安排。 然后论文对d a v i n c i 开发平台进行了介绍，引入了d a v i n c i 技术的概念，对本 课题应用的t m s 3 2 0 d m 6 4 6 7 平台及t m s 3 2 0 c 6 4 x + d s p 内核作了介绍。 接下来论文从算法角度阐述了转码软件的实现，对软件框架及其中的细节部 分m t s 流解复用、空间分辨率转换，进行了详细说明。 然后论文重点论述了如何在d a v i n c id s p 下进行转码软件的编程和优化。从代 码移植、c 代码优化和汇编级优化等各个角度进行了详细说明。其中c 代码优化部 分，本文运用了各种优化手段，从理论和实验数据上对优化效果进行了深入浅出 山东大学硕士学位论文 的说明。对于d a v i n c i 平台的软件模块c o d e ce n g i n e 以及如何进行x d m 算法封装， 本文也给出了细致的说明。 最后本文对基于d a v i n c id s p 下视频转码软件的实现和优化工作进行了总结， 并且对未来的发展做出了展望和规划。 2 关键词：视频转码，d a v i n c id s p ，降空间分辨率，m p e g 2 山东大学硕士学位论文 a b s t r a c t t h ed e v e l o p m e n to fv i d e oc o m p r e s s i n gs t a n d a r d sa n dt h ew i d ea p p l i c a t i o no f v a r i o u sm u l t i - m e d i at e r m i n a lu n i t sa c c e l e r a t e st h ed e v e l o p m e n to fv i d e ot r a n s c o d i n g t e c h n i q u e i t sa b s o l u t e l yn e c e s s a r yt oc o n v e r tt h ef o r m a to fv i d e ot oa n o t h e ri no r d e r t o m e e td i f f e r e n tn e e d so fd i f f e r e n tu s e r s t h i si sw h yv i d e ot r a n s c o d i n gt e c h n i q u ec o m e s f o r t h t r a d i t i o n a lv i d e ot r a n s c o d i n gt e c h n i q u ec a nb ec l a s s i f i e di n t ot h r e ek i n d s ，w h i c h a r eb i t - r a t et r a n s c o d i n g , r e s o l u t i o nt r a n s c o d i n ga n ds y n t a xt r a n s c o d i n g a n dt h el a s to n e i sa p p l i e di nt h i sd i s s e r t a t i o n t h er a p i d d e v e l o p m e n to fe m b e d d e dv i d e oa p p l i c a t i o n sp u tf o r w a r dh i g h e r r e q u i r e m e n tf o rv i d e op r o c e s s i n gc h i p s o nt h eo n eh a n d ，t h e ym u s th a v es u f f i c i e n t c o m p u t i n gp o w e r o nt h eo t h e rh a n d ，t h e ym u s th a v es t r o n gc o n t r o lf u n c t i o n t i r e l e a s e dd a v i n c it e c h n i q u ea n dr e l e v a n tp r o d u c t s ，w h i c hs o l v e t h e s ep r o b l e m sp e r f e c t l y t h i st h e s i si sb a s e do nt m s 3 2 0 d m 6 4 6 7 ，o n eo fd a v i n c ip r o d u c t s ，o fw h i c ht h e - s p e c i a lc o m p o n e n th d v i c pp r o v i d e sc o n d i t i o n st oa c h i e v er e a l t i m e d e v e l o p m e n to ft h i st r a n s c o d i n gs y s t e m t h em o s ts t r a i g h t f o r w a r dt r a n s c o d i n ga r c h i t e c t u r ei st oc a s c a d et h ed e c o d e ra n d e n c o d e rd i r e c t l y t h i sk i n do fa r c h i t e c t u r ei sf l e x i b l ea n dh a sg o o dr e a l t i m eq u a l i t yb u t c o m p l e x s i g n i f i c a n tc o m p l e x i t ys a v i n gc a nb ea c h i e v e dw h i l es t i l lm a i n t a i n i n g a c c e p t a b l eq u a l i t y , b yr e u s i n gi n f o r m a t i o nc o n t a i n e di nt h eo r i g i n a li n c o m i n gb i t s t r e a m ，i n c l u d i n gm o t i o nv e c t o r , m a c r o b l o c ke n c o d i n gm o d ea n df r e q u e n c yd o m a i n i n f o r m a t i o n a si ti sc e r t a i nt om e e tr e a l - t i m en e e d sw i t ht h eh e l po fh d v i c po f d m 6 4 6 7 ，t h i st h e s i sa d a p t st h ec a s c a d i n ga r c h i t e c t u r ea tl a s t f i r s t ，t h i sd i s s e r t a t i o nd i s c u s s e st h ed e v e l o p m e n to fv i d e ot r a n s c o d i n gt e c h n i q u e a n dt h ef o r m a t i o no fd a v i n c i t h et e c h n i c a lb a c k g r o u n di sp u tf o r w a r di nt h i sp a r t t h e nt h ed a v i n c ip l a t f o r mi sp r e s e n t e da n dt h ec o n c e p to fd a v i n c it e c h n i q u ei s i n t r o d u c e d t h em u l t i m e d i ap r o c e s s o rt m s 3 2 0 d m 6 4 6 7w i t hc 6 4 x + i n s t r u c t i o ns e ti s a l s oi n t r o d u c e d ，w h i c hi sa d a p t e di nt h i sd i s s e r t a t i o n i nt h ef o l l o w i n gp a r t ，t h ea l g o r i t h mo ft h et r a n s c o d i n gs o f t w a r ei sb r o u g h tf o r w a r d t h es o f t w a r ef r a m e w o r ka n dt h ed e t a i lc o m p o n e n t s ，s u c ha st sd e m u l t i p l e x i n gp a r ta n d 3 山东大学硕士学位论文 s p a t i or e s o l u t i o nc o n v e r t i n gp a r t , a l ei n t r o d u c e d t h e n ，t h ed i s s e r t a t i o nd i s c u s s e sp r o g r a m m i n ga n do p t i m i z i n go ft h et r a n s c o d i n g s o f t w a r eb a s e do nd a v i n c id s pi ne m p h a s e s ，w h i c hi sd i s s e r t a t e df r o mt h ev i e w so f c o d et r a n s p l a n t i n g ，co p t i m i z i n ga n da s s e m b l yo p t i m i z i n g a st ot h ep a r to fc o p t i m i z i n g ，v a r i o u sk i n d so fm e a s u r e sa r ea p p l i e d ，w i t ht h ee f f e c t ss h o w e dt or e a d e r s d e t a i l sa r ea l s od i s c u s s e da b o u tc o n f i g u r a t i o na n du s i n go fc o d e ce n g i n e 4 t h ef i n a lp a r to ft h ed i s s e r t a t i o ni sa b o u ts o m ec o n c l u s i o na n df u t u r ew o r k k e yw o r d s ：v i d e ot r a n s c o d e ，d a v i n c id s p ，s p a t i a ld o w n s c a l e ，m p e g 一2 山东大学硕士学位论文 1 1 课题背景 1 1 1 视频转码技术的发展 第一章绪论 随着信息科技的进步和数字娱乐产业的迅猛发展，数字多媒体技术越来越受 到人们的广泛青睐。其中，视频业务的增长尤为显著。除了传统的无线广播电视 以及录像播放机以外，人们还可以通过因特网或i p t v 等方式在电视及p c 上收看高 清晰度的数字电视节目1 。随着2 0 0 6 年p 2 p 流媒体进入中国互联网市场，视频流媒 体播放业务呈现了快速发展的态势曙1 ，如p p l i v e 、q q l i v e 、p p s t r e a m 、u u s e e 等都 是目前我们比较熟悉的业务。同时各种新的视频接收终端也相继出现，例如通过 便携式的个人多媒体设备( 如p d a 、智能手机等) ，可以随时随地观看数字电视或在 线视频点播。由于不同的接收终端设备在数据处理速度、存储容量和显示能力上 相差很大，因此在处理视频信息时，对不同的接收终端使用同一格式的数据是不 合适的，这就需要根据不同终端设备的处理能力和接收带宽，将码流转换成不同 的格式，再分别传输给不同的接收终端o ”。 同时，伴随着视频业务的发展，各种视频编解码标准相继推出。目前市场上 存在着h 2 6 4 、m p e g 一2 、m p e g - 4 、j p e g 、m j p e g 、i 聊v i v 9 等众多的媒体播放格式，我 国也已于2 0 0 6 年推出了具有自主知识产权的a v s 标准n 1 。随着视频编码多样性的产 生，使得在不同视频编码标准之间进行格式转换的需求不断增长，视频转码技术 由此产生。 视频转码技术哺引就是将视频码流从一种编码格式转换到另一种编码格式，并 针对不同的码率、不同的分辨率、不同的语法格式进行修改和整合，使转换处理 之后的数据能够满足信道传输或者接收端对码流的要求，从而为异质网络和不同 终端设备问进行视频的快速转输和高效处理提供了可能。视频转码已成为视频编 解码领域一个新的研究热点。目前视频转码的应用领域盯1 主要有以下几个方面： l 、由于各种视频编解码标准的存在，且它们应用的领域各不相同，在这些应 山东大学硕士学位论文 用的交叉领域需要视频转码技术； 2 、由于不同的网络以不同的带宽运行，在网络互联方面需要视频转码技术； 3 、由于不同的解码环境具有不同的解码能力，包括运算速度、参考帧存储器 大小以及码流缓冲器容量等，码流需要经过转换才能输入解码器； 4 、由于显示终端支持的分辨率不同，需要通过视频转码技术合成符合分辨率 要求的码流。 传统的视频转码啤1 可分为三类，分别是：码率转换、分辨率转换和语法转换。 其中码率转换、分辨率转换多用于编码标准相同或相似的码流：码率转换用以适 应带宽的不足从而顺利地传输码流，如可以通过再量化减小比特率；分辨率转换 主要用于满足用户终端设备对不同的实时处理能力、解码能力、显示分辨率的要 求，分为时间分辨率转码( 帧率变换) 和空间分辨率转码( 图像分辨率变换) ，如从 h o t v 至o s o t v 的转码可以在支持s d t v 的设备上观看高清节目。语法转码主要是由于 输入的码流和终端所支持的码流所遵循的视频编码标准不同，如m p e g 一2 至i j m p e g 一4 的转码，可以将d v d 和数字广播中采用m p e g - 2 标准编码的内容转换为m p e g 一4 编码的 格式，从而满足网络多媒体应用的要求。语法转换主要应用于数字广播和网络传 输，可使发送方和接收方保持兼容性，确保空| 日j 网络的自适应性，并尽可能地节 省带宽。 由此可见，视频转码使得异质网络之间、不同的接入设备之间以及不同视频 数据格式之间能够互相兼容。随着对视频转码的需要场合越来越多，在保持视频 质量下降不大的情况下，如何降低转码的运算复杂度又成为人们所关心的问题， 包括如何尽可能重用输入码流的信息、如何实现在像素域和变换域的信息重用等 等，这使得视频转码技术的研究r 渐深入和复杂。 1 1 2d a v i n e i 技术的产生 近年来，嵌入式视频应用领域发展迅猛，视频产品的类型呈多样化发展，并 逐步由标清向高清过渡。这就需要视频处理芯片一方面具备更强的运算能力，另 一方面能进行灵活的系统整合，快速地进行产品开发。目前在嵌入式视频应用领 域，包括机顶盒、可视电话、便携式媒体播放器等应用中的处理芯片主要有d s p 、 6 厶 山东大学硕士学1 立论文 f p g a 、a s i c 、a r m 等旧3 。 在不同的应用场合下，这些处理芯片都有各自的优势和局限。在嵌入式视频 应用发展的早期，d s p 以其强大的运算能力和灵活的可编程性占据了主导的地位， 直到现在，d s p 在功耗、灵活性以及运算能力上都可满足主流视频应用的功能需要。 但是d s p 的操作系统功能简单，应用在比较复杂的视频应用时，控制功能略显不足； 而f p g a 凭借强大的并行处理能力和可定制的流水线结构，非常适合视频算法的实 现，当前很多f p g a 厂商都推出了大分辨率的视频应用解决方案，但因功耗体积和 成本的限制无法广泛应用于消费电子领域：a s i c 定制的视频编解码芯片由于成本 低廉，编解码速度快广泛用于各个领域，但是编解码效果和灵活性都存在一定的 缺陷；另外在嵌入式通用处理器的运算能力逐步提高之后，也有a r m 等嵌入式通用 处理器被用于视频应用，由于大多数通用处理器上能运行实时操作系统，因此很 适合于需要复杂控制功能的场合。然而通用处理器的计算能力有限，现在大多数 还是应用于较小尺寸的视频应用中川。 从上面的分析可以看出，现在嵌入式视频应用领域对处理芯片的要求主要有： l 、足够的运算能力，能实现大尺寸视频的编解码：2 、需要具备强大的控制功能， 因为今后的视频应用必将从单一的视频编解码向更多元化的应用过渡，因此基于 操作系统的解决方案将得到更加广泛的应用。另外，对于产品开发而言，在功能 的整合程度、芯片成本、功耗和灵活性、应用开发周期等方面也都将针对不同的 应用有不同的要求。 针对嵌入式视频应用对处理器芯片的各种要求，达芬奇( d a v i n c i ) 技术儿堙3 应 运而生。d a v i n c i 技术由t i 公司推出，以其独特的d s p + a r m 双核结构，同时满足了 视频应用的高运算量和系统的控制功能要求，并且包含基于可扩展、可编程d s p 的 s o c ( s y s t e mo nc h i p ) 的加速器与外设，全方位满足了各类视频应用的需求，大大 简化了系统设计的复杂性，成为当今视频应用处理芯片的主流解决方案。 1 2 课题意义 交互式视频娱乐及各种通讯手段的出现和不断演进，使得如何让通信、处理、 存储和显示能力不同的用户终端设备能够访问到各类视频内容，成为视频领域一 7 山东大学硕士学位论文 项亟待解决的课题。对视频流进行转码以适应不同网络和终端漫备的需求便是其 中的一项核心技术。m p e g - 2 标准作为一项已经广泛应用的视频压缩标准，面对各 种新的标准不断涌现，仍具有不可替代的优势。本课题就是在这样的应用背景下， 基于d a v in c id s p 平台和m p e g - 2 标准，对空间分辨率视频转码器进行了设计和优 化工作。 m p e g - 2 标准制定于1 9 9 4 年，是一项比较成熟的标准。m p e g - 2 的出现使数字 电视逐步取代了模拟电视，它特别适用于广播级的数字电视的编码和传送，被认 定为s d t v 和h d t v 的编码标准3 1 以及d v d 的指定标准。m p e g - 2 在广播、有线电视 网、电缆网络等方面有着相当广泛的应用。近年来伴随着m p e g 一4 、h 2 6 4 、a v s 等 新兴标准的相继出现，m p e g 一2 在图像质量、码率等方面依然保持着领先的优势， 占领着巨大的市场圳。本课题的转码系统正是基于m p e g 一2 标准进行的，对于m p e g 一2 的第一部分( 系统) 和第二部分( 视频) 都进行了相应的讨论。 空间分辨率转码n 5 1 主要用于满足用户终端对不同分辨率的要求。另外，伴随 着数字机项盒( s e tt o pb o x ) 的同益普及，如何使自己生产的机顶盒能更有特色、 更受用户的欢迎，成为了许多机顶盒厂商重点考虑的问题，而为机顶盒添加一些 附加功能便成为解决这一问题的首选。其中的一项附加功能就是将多路节目复合 到一路码流中，即用户可以在一个画面中同时观看多个电视节目的播放。这就用 到了空间分辨率转码技术。本课题j 下是基于这样的思想，进行了相关的转码算法 研究和实时丌发。最终的结果表明，本课题的研究具有非常大的应用价值，未来 可以广泛地应用于市场。 d a y i n c id s p 是t i 公司针对嵌入式视频应用领域对处理芯片的要求而设计的， 具有独特的a r m 和d s p 双核架构。一般来讲，将a r m 作为通用处理器，用于系统 控制；d s p 作为运算器，用于数字信号处理，包括音视频编解码等。就丌发工具而 言，a r m 上有m m u ，访问虚地址，运行l i n u x 操作系统，使用针对a r m 体系的交叉 编译器进行开发；d s p 上无m m u ，访问实地址，使用c c s 编译环境6 1 。 近年来，t i 陆续推出了t m s 3 2 0 d m 6 4 7 t m s 3 2 0 d m 6 4 8 、t m s 3 2 0 d m 6 4 3 x 、 t m s 3 2 0 d m 6 4 4 x 、t m s 3 2 0 d m 6 4 6 x 等一系列基于d a v i n c i 技术的数字媒体处理器。其 中，t m s 3 2 0 d m 6 4 6 7 是t 1 2 0 0 8 年推出的一款高度集成的媒体处理器，集成了2 9 7 m l t z a r m 9 2 6 e j - s 内核与5 9 4 m 叶l zc 6 4 x + d s p 内核，并集成了两个高清视频影像协处理 8 山东大学硕士学位论文 器( h d - v i c p ) ，支持h 2 6 4 、m p e g 2 、m p e g 4 标准的编码、解码以及转码。正是 基于d m 6 4 6 7 独特的结构，本课题的转码系统选用它作为丌发平台：将d s p 用于 信号处理，负责信号处理算法，包括音视频编解码算法、c o d e ce n g i n e 、d s p 的实 时操作系统d s p b i o s 及和a r m 通信的模块；将a r m 端用于算法应用层和i 0 驱动， 调用d s p 侧的算法，完成系统控制功能。通过对d s p 端算法进行优化，充分利用 c 6 4 x + d s p 内核的v l i w ( 超长指令集) 结构等强大的信号处理能力，可以大大提高 代码执行效率，有利于满足系统实时性的开发；充分利用d m 6 4 6 7 提供的c o d e c e n g i n e 机制，可以高效便捷地完成a r m 和d s p 之间的软件通信。针对这些方面， 本课题均进行了较为深入的设计开发。另外，通过对h d v i c p 的进一步研究，可 以直接利用d m 6 4 6 7 提供的算法软件完成转码方案的设计，从而更加节约时间， 提高代码效率。 1 3 课题方案 本课题的设计目的是通过空间分辨率转码系统将多路视频合成到一路视频 中，并最终在t m s 3 2 0 d m 6 4 6 7 平台上完成视频码流的实时播放。在具体的设计中采 用了1 6 路输入视频，整个转码算法所要完成的工作包含以下三方面：1 6 路视频码 流的解码( 此处的解码包含t s 流解复用和e s 流解码) 、空间分辨率转换以及一次 编码过程。代码调试过程中通过对实验数据进行分析得出，一次编码所用的时间 大致相当于两次解码所用的时间。因此1 6 路解码需要相当于8 次编码的时问。且 每次解码完之后都要进行空间分辨率转换，共要进行1 6 次，之后才能开始编码。 由此可见，该转码系统的算法复杂度是相当高的。实验结果也表明，仅用纯软件 方法实现整个算法功能是远远不能满足实时性要求的。在d m 6 4 6 7 平台上，基于其 d s p 端5 9 7 m h z 的时钟，即使运用各种优化手段对代码进行了全方位的优化，也仅 能实现每秒钟4 - - 5 帧的播放速率，与实时性要求的设计目的还有很大差距。 针对这一问题，课题设计初始提出了两种解决办法：一是借助于硬件解码器， 将原设计中软件解码的部分由1 6 个硬件解码器代替，从而提高转码速度。目前市 场上的m p e g - 2 解码芯片已经较为普及，如e s - 4 4 0 8 ，p a n t e r a 佃- d v d n ”等，解码速 率快，完全可以满足本课题中转码系统对实时性的要求。这一方法设计简单，但 9 山东大掌硕士学1 立论文 其造价高，尤其对于本课题这样一个面向市场应用的开发，成本是一个必须要考 虑的问题；另一个方法是在对d s p 侧算法进行充分优化的基础上，最大限度地利 用高清数字图像协处理器h d v i c p 所提供的功能来降低d s p 端的负载。充分利用 h d 。v i c p 的各项机制，包括m e ( 运动估计引擎) 、i p d e ( 帧问预测引擎) 、m c ( 运动 补偿引擎) 、l f ( 环路滤波引擎) 、c a l c ( 计算引擎) 和e c d ( 熵编码解码引擎) 等，还 可通过视频数据转换引擎管理包括垂直下调节( d o w n s c a l i n g ) 、色度采样( c h r o m a s a m p l i n g ) 等在内的视频处理任务。理论研究表明，通过使用这些机制，完全可以 完成实时开发的目标。与前一方法相比，这种方法造价低，具有明显的优势。 在转码算法方面，视频转码最简单的实现方式就是将输入的压缩视频流完全 解码至像素域，重建视频序列流，然后再按输出要求直接压缩成另一种的码流输 出，如图卜1 所示，称之为基于像素域的级联转码( c p d t ，c a s c a d e dp i x e l d o m a i n t r a n s c o d i n g ) u 引。由于基于像素域的级联转码中编码部分和解码部分在结构上是 完全独立的，因此，在视频转码时具有极大灵活性，并且不存在图像漂移等问题， 转码后的图像质量很高。它可以在不同的码率、不同的帧率、不同的空间分辨率、 不同的编码模式、甚至不同的编码标准上进行操作。这种体系结构的缺点是再次 编码所需要的运动矢量、宏块编码模式和d c t 变换等参数都要重新确定，所需计 算量和缓存较大，影响了转码实时性的实现。 类 还 次 1 0 i 1 卜r 巴厂 hf 一 基丁像素域的级联转码结构 诞生了其他的转码体系结构，大致分为两类：一 凸思想是充分利用解码时原始码流中的信息，包括 各其应用于编码过程，从而改进转码结构，提高二 蓬换域的体系结构，其