（通信与信息系统专业论文）基于freescale+imx27的视频编解码的研究与应用.pdf

i l i i ii iij ltt li i ii it ii il y 17 5 8 3 6 2 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：沙f 口：j ；! 乙 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校 攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部 门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论 文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 4 7 一 llf ale1 m x 2 7 的视频编解码的研究与应用 摘要 在国民经济当中是绿色产业，尤其近几年发展非常 之快，目前更是需要进入一个可持续发展的行列，中央对整个通信产 业的重视已经达到了前所未有的高度，这是政策面；随着因特网的发 展成熟，我们有了良好的宽带技术、无线技术、通信技术、计算机技 术，更有了大批掌握了相关技术的优良人才，从开发到使用，这是技 术面；随着社会的发展，人们对通信质量、通信方式等多方面要求的 提高，使得传统的通信方式：信件、语音等不足以胜任时代的需求， 这是市场需求面。有了以上三个基础条件的支撑，基于网络的音视频 通信行业迅速发展起来。 根据i e e e ( 美国电气电子工程师学会) 的定义，嵌入式系统是“控 制、监视或者辅助装置、机器和设备运行的装置”。嵌入式系统是以 应用为中心，以计算机技术为基础，软硬件可裁剪，它主要应用于计 算机技术、通信技术、半导体技术、微电子技术、语音图象数据传输 技术，甚至传感器等先进技术，适用于应用系统对功能、可靠性、成 本、体积、功耗有严格要求的专用计算机系统。目前嵌入式系统已经 渗透到我们生活中的每个角落，工业控制，交通管理，信息家电，家 庭智能管理系统，p o s 网络及电子商务，环境工程，机器人等等，几 乎无所不及。嵌入式系统具有系统内核小，专用性强，系统精简，实 时性高，多任务操作等特征。随着信息化，智能化，网络化的发展， 嵌入式系统技术也将获得更广阔的发展空间。 目当前国际上有两个负责音视频编解码的标准化组织：一个是国 际电信联合会( i t u - t ) 下的v c e g ( v i d e oc o d ee x p e r tg r o u p ) 视频编码 专家组，另一个是国际标准化组织i s o 和国际电工委员会i e c 下的 m p e g ( m o t i o n p i c t u r ee x p e ag r o u p ) 运动图像专家组。这两个视音频 编码标准化组织都对音视频的编解码工作做出了巨大的贡献，共同推 动了音视频编解码技术的发展及应用。 本文将介绍一款产品网真机，它的硬件基于f r e e s c a l e 公司 i m x 2 7 平台，软件基于嵌入式l i n u x 操作系统，应用软件中，通信 控制使用基于s i p ( t h es e s s i o ni n i t i a t i o np r o t o c o l 初始会话协议) 协 议的l i n p h o n e ，图形操作界面使用m i n i g u i ，最终实现了网络音视频 通信，并具备音视频录制，音视频播放等辅助功能。文章将介绍产品 相关软硬件各部分的实现原理以及所做的具体工作，并着重对视频编 解码模块进行详细的阐述。 关键词：音视频通信，i m x 2 7 ，l i n p h o n e ，s i p ，m i n i g u i i 一 r t h ev ) e oc o d e cr e s e a r c ha n da p p l i c a t i o n b a s e do nf i 冱e s c a l ei 【x 2 7 a b s t r a c t i n f o r m a t i o na n dc o m m u n i c a t i o ni n d u s t r yi st h eg r e e ni n d u s t r yo ft h e n a t i o n a le c o n o m y i td e v e l o p sv e r yr a p i d l ya n dn e e dt oe n t e rt h er a n k so f as u s t a i n a b l e d e v e l o p m e n t t h e c e n t r a lf o c u so ft h ee n t i r e c o m m u n i c a t i o n si n d u s t r yh a sr e a c h e da l lu n p r e c e d e n t e dh i g h w i t ht h e d e v e l o p m e n to ft h e i n t e r a c tm a t u r e s ，w eh a v ea g o o d b r o a d b a n d t e c h n o l o g y , w i r e l e s st e c h n o l o g y , c o m m u n i c a t i o nt e c h n o l o g y , c o m p u t e r t e c h n o l o g y , m o r eal a r g en u m b e r o fr e l a t e dt e c h n o l o g i e sm a s t e r e dt h ef i n e t a l e n t w i t ht h ed e v e l o p m e n to fs o c i e t y , p e o p l e sc o m m u n i c a t i o nq u a l i t y , c o m m u n i c a t i o na n dm a n yo t h e rd e m a n d si n c r e a s e ，m a k i n gt h et r a d i t i o n a l m e a n so fc o m m u n i c a t i o n ：m a i l ，v o i c ea n do t h e rn e e d sn o te n o u g h q u a l i f i e df o r t h em o d e mt i m e s w i t ht h es u p p o r to f t h ea b o v et h r e eb a s i c c o n d i t i o n s ，i n t e m e t b a s e da u d i oa n dv i d e oc o m m u n i c a t i o n si n d u s t r yh a s d e v e l o p e dr a p i d l y a c c o r d i n gt oi e e e ( i n s t i t u t eo fe l e c t r i c a la n de l e c t r o n i ce n g i n e e r s ) d e f i n i t i o n ，e m b e d d e ds y s t e mi sa “c o n t r o l ，m o n i t o r , o ra s s i s t i v ed e v i c e s ， m a c h i n e r ya n de q u i p m e n to p e r a t i o nd e v i c e e m b e d d e ds y s t e mi sb a s e d o na p p l i c a t i o n - c e n t r i c ，c o m p u t e rt e c h n o l o g y , h a r d w a r ea n ds o f t w a r ec a n b ec u t ，i ti s m a i n l yu s e di nc o m p u t e rt e c h n o l o g y , c o m m u n i c a t i o n s t e c h n o l o g y , s e m i c o n d u c t o rt e c h n o l o g y , m i c r o e l e c t r o n i ct e c h n o l o g y , v o i c e ， i m a g ed a t at r a n s m i s s i o nt e c h n o l o g y , a n de v e ns e n s o r sa n d o t h e ra d v a n c e d t e c h n o l o g i e s ，a p p l y t oa p p l i c a t i o n sf o rf u n c t i o n a l i t y , r e l i a b i l i t y , c o s t ，s i z e ， p o w e rc o n s u m p t i o n ，t h e r ea r es t r i c tr e q u i r e m e n t so fs p e c i a lc o m p u t e r s y s t e m c u r r e n t l ye m b e d d e ds y s t e m sh a v ep e n e t r a t e di n t oe v e r yc o m e r o f o u rl i v e s ，i n d u s t r i a lc o n t r o l ，t r a f f i cm a n a g e m e n t ，i n f o r m a t i o na p p l i a n c e s ， h o m ei n t e l l i g e n tm a n a g e m e n ts y s t e m ，p o sn e t w o r ka n de - c o m m e r c e ， e n v i r o n m e n t a le n g i n e e r i n g ，r o b o t i c s ，e t c ，a l m o s tl e s st h a n n o t h i n g e m b e d d e ds y s t e m sh a sm a n yf e a t u r e ss u c ha sas y s t e mk e m e li ss m a l l ， 3 llf， d e d i c a t e d ，t h es y s t e ms t r e a m l i n e d ，r e a l t i m eh i g h ，a n dm u l t i 。t a s k o p e r a t i o n a si n f o r m a t i o nt e c h n o l o g y , i n t e l l i g e n c e ，n e t w o r kd e v e l o p m e n t ， e m b e d d e d s y s t e m st e c h n o l o g yw i l l a l s o g e t ab r o a d e r s p a c e f o r d e v e l o p m e n t t h e r ea let w om e s hc u r r e n ti n t e m a t i o n a la u d i oa n dv i d e o c o d e cf o rt h es t a n d a r d i z a t i o no r g a n i z a t i o n s ：o n ei st h ei n t e r n a t i o n a l t e l e c o m m u n i c a t i o n su n i o n ( i t u t ) u n d e rt h ev c e g ( v i d e oc o d ee x p e r t g r o u p ) v i d e oc o d i n ge x p e r t sg r o u p ，a n dt h eo t h e ri st h em p e g ( m o t i o n p i c t u r e e x p e r tg r o u p ) m o v i n gp i c t u r ee x p e r t sg r o u pu n d e rt h e i n t e m a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o ni s oa n dt h ei n t e r n a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o ni e c b o t ho ft h es t a n d a r d i z a t i o n o r g a n i z a t i o n sh a sm a d eat r e m e n d o u sc o n t r i b u t i o nt ot h ea u d i oa n dv i d e o c o d e cw o r k ，a n dj o i n t l yp r o m o t et h ea u d i oa n dv i d e oc o d e ct e c h n o l o g y d e v e l o p m e n ta n da p p l i c a t i o n s t h i sp a p e rw i l li n t r o d u c eap r o d u c t n e tr e a lm a c h i n e i ti sb a s e do n f r e e s c a l e si m x 2 7h a r d w a r ep l a t f o m i t ss o f t w a r ei sb a s e do ne m b e d d e d l i n u xo p e r a t i n gs y s t e m a n df o ra p p l i c a t i o ns o f t w a r e ，c o m m u n i c a t i o n s c o n t r o li ss i p ( t h es e s s i o ni n i t i a t i o np r o t o c o ls e s s i o ni n i t i a lp r o t o c 0 1 ) b a s e d p r o t o c o ll i n p h o n e g r a p h i c a l u s e ri n t e r f a c ei sm i n i g u i e v e n t u a l l ya c h i e v et h en e t w o r ka u d i oa n dv i d e oc o m m u n i c a t i o n s c a p a b i l i t i e s ，a n dh a v ea u d i oa n dv i d e or e c o r d i n g ，a u d i oa n dv i d e o p l a y b a c ka n do t h e ra u x i l i a r yf u n c t i o n s k e y w o r d s ：a u d i oa n dv i d e oc o m m u n i c a t i o n ，i m x 2 7 ，l i n p h o n e , s i p ，m i n i g u i 4 ， _|=- 目录 第一章绪论。7 1 1 项目研究背景。7 1 2v o i p 简介7 1 2 1v o i p 的出现7 1 2 2v o i p 的标准8 1 2 3v o i p 的优缺点8 1 2 网络可视电话9 1 3 项目背景介绍1 0 第二章f r e e s c a l ei m x 2 7 处理器12 2 1a r m 相关简介1 2 2 2f r e e s c a l ei m x 2 7 处理器介绍1 2 2 3 当前主流视频处理器对比1 4 第三章嵌入式系统1 7 3 1 嵌入式系统简介。1 7 3 1 1 嵌入式系统历史1 7 3 1 2 嵌入式系统特点。1 7 3 1 3 嵌入式系统分类和组成19 3 2 嵌入式操作系统2 0 3 2 1 嵌入式操作系统的分类2 0 3 2 2 嵌入式操作系统的特点。2l 3 2 3 嵌入式l i n u x 操作系统的优缺点2 2 3 3 嵌入式l i n u x 操作系统的组成2 3 3 3 1b o o t l o a d e r 2 4 3 3 2 嵌入式l i n u x 内核2 4 3 3 2 嵌入式l i n u x 文件系统2 6 3 4 嵌入式l i n u x 操作系统在本项目中的移植2 8 3 4 1b o o t l o a d e r 的编译移植2 9 3 4 2 内核的移植3 0 3 4 3 文件系统的移植3l 第四章系统主要应用软件3 4 4 1m i n i g u i ：3 4 4 1 1m i n i ( m i 的软件架构3 4 4 1 2m i n i g u i 的运行模式3 6 4 2l i n p h o n e 3 7 4 3m p l a y e r 3 9 第五章i m x 2 7 视频处理单元( u ) 的介绍4 l 5 1 硬件操作一4 l 5 2 软件操作4 2 5 3 源码结构。4 3 5 4v p u 部分重要模块4 5 5 4 1v i d e oc o d e c 4 5 5 4 2e m m a _ i t 4 6 第六章视频编解码模块的开发j 4 8 6 1l i n p h o n e 的视频编解码模块的开发4 8 6 2m p l a y e r 的视频编解码模块的开发5 5 第七章开发中一些具体细节问题以及解决方法6 5 7 1n f s 系统开发环境的建立。6 5 5 一； 7 2 编解码应用程序的测试6 6 7 3f r a m e b u f f e r 的修改6 9 7 4 网卡驱动的修改7 0 第八章系统测试与结论。7 3 8 1 整体功能测试7 3 8 2 结论7 5 总结7 6 参考文献7 7 致谢7 8 6 北京邮电大学基于f r e e s e a l ei m x 2 7 的视频编解码的研究与应用 1 1 项目研究背景 第一章绪论 信息通信产业在国民经济当中是绿色产业，尤其近几年发展非常之快，目前 更是需要进入一个可持续发展的行列，中央对整个通信产业提出一个非常重要的 任务，就是在整个国民经济g d p 当中，服务业比重要不断增加，即在整个国民 经济g d p 当中，要求服务业比重要不断增加。现在国际上发达国家服务业平均 水平占g d p 7 0 ，国际平均水平是5 0 ，而我国离平均水平还有一定差距。“十 一五”计划里关于信息产业、关于服务业发展提出重要任务，2 0 1 0 年服务业占 g d p 要提高三个百分点，2 0 2 0 年要提高到5 0 以上，这意味着国家g d p 增长主 要靠服务业拉动。服务业基础是信息和通信技术，这也就意味着国家会对信息和 通信技术进行大力扶持，这是国家发展的重点。 目前，大家非常看好网络音视频信息服务，现在随着网络、宽带、无线、计 算机等各种技术的提高和普及，大力发展网络音视频服务成为了可能，同样也是 一种市场需求。目前因特网上的基于文本、图片的信息服务已经相当丰富和完整， 下一步的重点必然是音视频信息服务。这种服务相对于传统的电视、广播有着不 可替代的优势。传统的音视频服务，从听( 观) 众的角度来看是一种被动接受， 这些信息一闪而过，无法回放，无法定时播放，无法反复播放，更无法自由传播， 无法进行端到端的双向通信，而基于因特网的音视频传输则更能满足新时代的要 求。在音视频信息服务行业中，基于互联网的可视电话无疑是十分引人注目的一 种技术。 1 2v o i p 简介 1 2 1v o i p 的出现 v o l p ( v o i c eo v e ri n t e m e tp r o t o c 0 1 ) 简单说就是将模拟声音讯号( v o i c e ) 数字 化，以数据封包( d a t ap a c k e t ) 的形式在m 数据网络( i pn e t w o r k ) 上做实时传输。 7 北京邮电大学基于f r e e s c a l ei m x 2 7 的视频编解码的研究与应用 v 0 m 最大的优势是能广泛地采用i n t e m e t 和全球i p 互连的环境，提供比传统业 务更多、质量更好的服务。v o i p 可以在i p 网络上便宜的传送语音、传真、视频、 和数据等业务。 早在1 9 9 0 年代中期，不少大型公司就透过i p 电话技术，为海外分公司提供 直线电话接往公司的总部的服务。早期的i p 电话由于频宽问题，会使通讯出现 很严重的机械声音。1 9 9 5 年2 月以色列v o c a l t e c 公司研制出可以通过i n t e m e t 网打长途电话的软件产品”i p h o n e l 0 ”，这也是全球第一款语音传输软件。一般用 户只要在p c 机上安装该软件，就可以通过互联网和任何地方安装同样软件的联 机用户进行通话。这项技术上的突破引起了巨大反响，其背后的无限商机使得许 多公司进行此项技术的研究，从而使i p 电话技术得到迅速发展，人们把这种在 互联网上实现电话业务称为i n t e m e t 电话，应该说是i p 电话的雏形。其工作原理 是由发送端使用特定的语音编码对语音进行编码压缩，打包后通过互联网或专用 的i p 网络传输到接收方，再经过解压缩算法处理还原为语音信号。 1 2 2v o i p 的标准 目前世界多个标准组织和工业实体提出了很多话音编码方案。其中包括国际 电信联盟的g 7 1 1 ( 速率6 4 k b p s ) ，g 7 2 3 1 ( 速率5 3 k b p s 或者6 3 k b p s ) ，g 7 2 9 a ( 速 率8 k b p s ) 编码方案。微软、i n t e l 等业界巨头也有自己的编码方案。为了在现有通 信网络上进行多媒体应用，国际电信联盟( i t u - - t ) $ i j 定了h 3 2 x 多媒体通信的一 系列协议，下面是一些主要标准，简单说明： h 3 2 0 ，在窄带可视电话系统和终端( n i s d n ) 上进行多媒体通信的标准； h 3 2 1 ，在b - - i s d n 上进行多媒体通信的标准； h 3 2 2 ，在有q o s 保证的局域网上进行多媒体通信的标准： h 3 2 3 ，在无q o s 保证的包交换网络上进行多媒体通信的标准； h 3 2 4 ，在低比特率通信终端( p s t n 和无线网络) 上进行多媒体通信的标准。 1 2 3v o i p 的优缺点 随着v o i p 市场的快速发展，v o i p 业务形式也更加丰富多彩，满足了人们 的各种需求，提供了更宽广的发展空间。目前的v o i p 业务有如下三个特点： 无线化：随着w i f i 、3 g 等技术和应用的普及，使得无线v o i p 业务的用 户在迅速增加，这都源于无线传输的带宽增加，它使得更丰富的业务内容成为可 能。v o i p 业务无线化带来的影响有多方面，其中最主要的，一是降低乃至免除 北京邮电大学基于f r e e s c a l ei m x 2 7 的视频编解码的研究与应用 漫游费，二是在3 g 或g p r s 上作为一种免费应用，这都直接冲击着传统话音业 务。 视频化：宽带互联网的发展带来更充足的带宽资源，这使得流畅的视频通 信成为可能，并且也可以在互联网上提供更丰富的业务和更多的内容。许多软件 和互联网巨头基于品牌和自身技术优势，如微软和s k y p e 都先后增加视频和会议 通话功能，并不断完善。 综合化：v o i p 技术的日益成熟，使得话音可以作为一种互联网应用进入 各个领域，例如游戏间通信，电子交易、购物网络客服、网上呼叫中心等。v o i p 更多地以一种软件形式与其它应用集成和融合，开始在家庭和企业快速普及开 来。 当然，v o i p 也存在着许多“先天缺陷”，通话质量受到网络好坏的影响，停 电时候无法使用，清晰度与传统的固话仍有些差距，存在被偷听偷录的风险等， 但这都不足以阻碍v o i p 技术的发展，随着技术的进一步深入，所有的问题都会 得到有效的解决。2 0 0 9 年的中国v o 口市场流量达到了9 9 5 0 亿分钟，而具有更 强大实力的新i p 服务供应商也会不断涌入市场。无线v o i p 在不久的将来会与 传统通信实现并存和竞争的关系，而不是对传统通信的一种廉价替代物。 1 2 网络可视电话 网络可视电话是一种基于互联网传输的，集视频、语音于一体的多媒体通信 业务，用户在进行语音通话的同时，通过终端屏幕看到对方传过来的视频图像， 同时将自己的本地图像传输到对方。网络可视电话是基于v o i p 技术的语音、视 频同步通信软件，与语音交换服务器、电话网关和接点交换服务器构成完整的语 音、视频通信平台。 网络可视电话系统设备主要包括：语音交换服务器、电话网关、接点交换服 务器。语音交换服务器是语音通信平台的最重要部分，是语音通信平台的核心， 负责提供用户管理、身份认证、语音数据传输和其他管理控制等功能，用于向网 络电话用户提供语音及控制信息的交换服务，是通话的枢纽。电话网关可以实现 普通电话网络p s t n 与i p 网络的转换，各i p 电话网关由统一的规则进行管理。 i p 电话网关具有路由管理功能，它负责把各地区电话区号映射为相应的地区网 关口地址。接点交换服务器一般应于用集中式网络。它呈星行或树行拓扑，其 中所有的信息都要通过中心接点交换机，各类链路都从中心接点交换机发源，中 9 北京邮电大学 基于f r e e s c a l ei m x 2 7 的视频编解码的研究与应用 心接点交换承载大量的信息交换任务。 网络可视电话中一般使用到的关键技术包括：信令技术、寻址技术、路由技 术、延迟技术、自动噪音抑制技术、自动回音消除技术、自动增益控制和音视频 编解码技术等。信令技术负责保证电话呼叫的顺利实现和话音质量，包括p s t n 侧信令。如中国七号信令，以及i p 网内的信令技术等。在i p 电话的寻址技术中， i p 电话系统把目标电话号码映射为i p 地址，这种转换由设置的拨号规则映射功 能完成。在目前的i p 电话系统中将电话号码转化为i p 地址，采用d n s ( d o m a i n n a m es y s t e m ，域名系统) 的方式。路由技术是存于网络层中的一个主要功能。延 迟技术是指用于减少网络延迟的相关技术，使通信更流畅。自动噪音抑制技术、 自动回音消除、自动增益控制和音视频编解码等技术的目的是减少数据带宽占 用，提高通信话音和图像质量。 与传统个基于电话网络的可视电话相比，网络可视电话让传统的单纯声音通 话变成“面对面”的交流，人类更多的信息是通过眼睛去获得的，而交流过程中很 多信息是通过肢体语言来表达的，换一种表达方式，如果传统的电话是“顺风耳”， 那么可视电话就是“千里眼”加“顺风耳”，所以，这种可视电话的效用之好自然无 可厚非! 与传统的基于电话线路的可视电话相比，网络可视电话具有很多明显的 优势，这些优势主要来自于速度，就是网络带宽要远大于普通电话的带宽。有了 速度上的保证，不但通话流畅了，视频更清晰了，很多传统可视电话无法实现的 功能也都成为了可能。 网络可视电话终端设备一般是由电话机、摄像设备、显示设备及控制器组成 的。可视电话的话机和普通电话机相似是用来通话的；摄像设备的功能，是摄取 本方用户的图像信息传送给对方；显示设备，其作用是接收对方的图像信号并在 荧光屏上显示对方的图像，可以使用显示器，也可以使用电视机。 1 3 项目背景介绍 本文的实际开发背景是北京视灵通公司的网络可视电话机网真机项目， 开发目标是一套基于f r e e s c a l ei m x 2 7 和互联网的可视电话平台，包含完整的软 硬件开发，其中软件包含服务器和客户端软件。服务器软件系统负责提供用户管 1 0 的研究与应用 接控制，最终成功地实现了较为流畅的音视频传输，达到了初步研发目的。当然， 研究中也发现还有很多问题，如回音消除、界面美化等，有待改进。 北京邮电大学基于f r e e s c a l ei m x 2 7 的视频编解码的研究与应用 第二章f r e e s c a l ei m x 2 7 处理器 2 1a r m 相关简介 a r m 是微处理器行业的一家知名企业，于1 9 9 1 年成立于英国剑桥，主要出 售芯片设计技术的授权，客户包括世界上许多著名的半导体、软件和o e m 厂商， 硬件诸如i n t e l 、i b m 、l g 半导体、n e c 、s o n y 、菲利浦，而软件系统的合伙 人，则包括微软、升阳和m r i 等一系列知名公司。uj a r m 公司设计了大量高性 能、廉价、耗能低的r i s c 处理器、相关技术及软件。目前，采用a r m 技术知 识产权核的微处理器，也就是我们通常所说的a r m 微处理器，已经遍及工业 控制、消费类电子产品、通信系统、网络系统、无线系统等各类产品市场，基于 a r m 微处理器的应用已经占据了3 2 位r i s c 微处理器7 5 以上的市场份额， a r m 技术正在逐步渗入到我们生活的各个方面，触手可及。 2 2f r e e s c a l ei m x 2 7 处理器介绍 2 0 0 6 年7 月2 5 日，f r e e s c a l e 半导体公司推出了i m x 2 7 应用处理器，又向 在移动设备上实现真正的高清晰视频的目标迈进了一步，同时也扩展了已经相当 广泛的移动多媒体解决方案组合。i m x 2 7 在f r e e s c a l e 的年度技术论坛上正式推 出，该产品可以提高移动多媒体设备( 例如，v 2 i p 无线及移动电话、便携式媒 体播放器等设备) 的视频和图像质量，并且能够增强它们的连接功能。i m x 2 7 是在i m x 2 1 成功的基础上构建的，使我们在为移动设备提供真正的高清晰度视 频解决方案方面又迈进了一步。i m x 2 7 提供增强视频和连接，其中集成了增强 型多媒体硬件加速器( e m m a ) ，可以高效处理h 2 6 3 、h 2 6 4 以及m p e g 4 视频流， 达到d 1 ( d v d 画面质量，7 2 0 x 4 8 0 的屏幕分辨率) 分辨率，从而使得视频清晰 度有了进一步的提高。e m m a 执行所有复杂的视频前和视频后数据处理，包括 解块、去环状块( d e r i n g ) 、色彩空间转换、放大、视频编解码、图像的缩放、旋 转、镜像、y u v r g b 数据转换等，使强大的4 0 0 m h z a r m 9 2 6 e j s 内核可以执 行其它任务。i m x 2 7 为设计者提供了更高的灵活性，为他们提供了串行端口和 1 2 f r c e s e a l ei m x 2 7 的视频编解码的研究与应用 o n - t h e - g o 接口，实现了与很多外 、打印机，以及a t a 硬盘和片上 以加强竞争优势，并为客户提供 具有不同性能的产品。i m x 2 7 多媒体应用处理器采用f r e e s c a l e 的s m a r t s p e e d 技 术构建，该技术是一种智能的一体化方法，使用硬件加速器，用以减轻c p u 的 工作负载，并同时使用交叉开关，为系统提供平行处理功能。通过这样的技术， 处理器就能以更高的时钟速度运行，同时还可以节约功耗，达到节电的目的，延 长电池寿命。i m x 2 7 提供多种不同的节电模式，使设计者能在功耗与待机和恢 复时间之间进行权衡。i m x 2 7 采用的一项新技术是f r e e s c a l e 的创新动态过程 温度补偿( d p t c ) 机制，该机制能将电压降低到支持当前运行频率所需要的最 低水平，从而节约5 0 的功耗。i m x 2 7 采用f r e e s c a l ep l a t f o r mi n d e p e n d e n t s e c u r i t ya r c h i t e c t u r e ，多种安全特性的结合，为运营商、内容提供商和消费者提 供了非常高的可信度。对运营商来说，这种安全架构可以提供安全保护功能， 帮助防御恶意服务攻击、配置保护、服务窃取和克隆问题。对内容提供商来说， 它可以拦截外界对授权内容的非法访问，从而防止非授权的使用和散布。而对于 消费者来说，私人数据是不希望别人访问的，它可以帮助防止身份窃取等。 i m x 2 7 支持n a n df l a s h 启动，可以同时连接l c d 和s m a r tl c d 两块显示屏， 可同时支持三个m m c s d s d i o 接口，含有索尼的m e m s t i c kp r o 控制器，高达 六个u a r t 接口，两个1 2 c ，三个c s p i ，支持a c 9 7 和1 2 s 声卡。因此，i m x 2 7 在a r m 9 内核基础上最大限度地实现了高性能和低功耗的完美结合。i m x 2 7 既 是一个功能强大的应用处理器，又是一个功能强劲的视频编解码处理器，无疑是 多媒体应用处理器领域里的一颗新星。 本文所最关心的就是i m x 2 7 的视频处理特性。i m x 2 7 处理器以i m x 2 1 为 基础进行设计，基于a r m 9 2 6 e j s 。处理器内部的硬件编解码模块性能强大，可 以达到h 2 6 4 m p e g 4 编解码d 1 分辨率：7 2 0 x 5 7 6 2 5 f p s ；7 2 0 x 4 8 0 3 0 f p s ；全双 工编解码同时进行可以达到v g a 分辨率：6 4 0 x 4 8 0 3 0 f p s ，这在目前的嵌入式 a r m 处理器中鲜有敌手。而且，i m x 2 7 可以同时进行h 2 6 4v g a 3 0 f p s 的编 码和m p e g 4v g a 3 0 f p s 的解码，而且也能h 2 6 4v g a 3 0 f p s 解码和m p e g 4 v g a 3 0 f p s 编码同时进行。i m x 2 7 支持多方网络视频会议和多种视频格式编解 1 3 北京邮电大学 基于f r e e s c a l ei m x 2 7 的视频编解码的研究与应用 码【2 】： h 2 6 4 a v cb a s e l i n ep r o f i l ee n c o d i n g d e c o d i n g ； m p e g 一4p a r t - i is i m p l ep r o f i l ee n c o d i n g d e c o d i n g ； h 2 6 3p 3e n c o d i n g d e c o d i n g ； 多方会议：最多可同时处理4 路图像位流的编解码； 全双工多格式支持：在做m p e g 4 编码的同时可以做h 2 6 4 的解码； 支持码率控制，支持c b r 和v b r 。 和某些其他含视频编解码功能的嵌入式处理器相比，i m x 2 7 的硬件编解码 是通过c p u 内部a s i c 实现的，而不是通过集成a r m 和d s p 的双核s o c 实现。 所以，i m x 2 7 的功耗更低，系统整体性能更强。 下图2 1 是i m x 2 7 处理器的功能模块图表： c o n n e c t i v 脚 c s p ! 3 + ， 5 5 1 2 “： 1 2 c 穆l ， “u a r t 獬7 u s 82 。o 一 1 - w l r e 掌鬈e ，二： ，ja t a ； j 目 d q # 鳓 e x p a n s i o n s d h c 3 ， m s h e | jj + l 妒 | ， i t 二， j 後j 曩堍j 一曩 譬 ，i 稍o ”鬻阮t 孑，j 男：，二。 j 0 j ， c p u c o m p 酶x 籁，： a r m 9 2 6 e j - s ；鼬基斑菇嚣黝黼 1 + ；。1 j i 。；，jo? ，。j - j一。j j i - c a c h e 7 ：d - c a c h e m m u ， 6 知： 。? + ：。j 4 。 2 。轳。： i n t e r n a lc o n t r o l ，b u sc o n t r o lm e m o r yc o n t r 0 1 e x t e r n 或 i b 鼬m o r yi n m r f b c e ? ，一j ， 。，： m 3 i f ，。 一 一、* ；一 ： ： s d r a m e ；。，。， ， 爨m： p ，。 一m + n f c ；，一一，0 。： ，p c 髓