（通信与信息系统专业论文）基于fpga的trimedia媒体处理系统.pdf

摘要 随着i c 技术和网络技术的飞速发展，人们对通信的需求逐渐转向以音视频 通信为主的多媒体通信上来。与图像通信紧密相关的流媒体技术正逐渐改变和 替代传统的媒体发布形式，在高效的压缩编码保证下，开始在i n t e r n e t 上流行。 这也使得信息资源实现了高度共享，从根本上改变了以往人们进行信息交流的 模式。 本文提出了一种基于f p g a 的t r i m e d i a 媒体处理方案。首先简要介绍了目 前媒体处理与应用的情况，如低速率音视频编解码的标准。然后在讲述p h i l i p s t m l 3 0 0 多媒体处理器的内部结构、功能的基础上，分析了t r i m e d i a 和a c e xf p g a 的相关硬件设计，讲述了媒体处理系统的软件设计。系统的接口在f p g a 中大部 分以h d l 模块进行设计，这种设计方法可以缩短设计周期，提高设计的可靠性 和效率。在软件设计应用中，还利用信息中枢p c 强大的处理能力，采用w m e n c o d e 对音视频信息进行实时流化。 最后，本文提出了系统改进和提高的方向。 关键词：t r i m e d i a ：f p g a ：t m l 3 0 0 ：媒体处理：音视频 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h ei ct e c h n o l o g ya n dt h en e t w o r k , t h en e e do f p e o p l e o nc o m m u n i c a t i o ni sc o n v e r t e dt om u l t i m e d i ac o m m u n i c a t i o n t h e t e c h n o l o g yo fs oc a l l e ds t r e a mm e d i a ，w h i c hi sh i g h l yr e l a t e dt oi t ，i sc h a n g i n ga n d s u b s t i t u t i n gt h et r a d i t i o n a lf o r mo ft h ep r e s e n t a t i o no ft h em e d i a t h em u l t i m e d i a t e c h n o l o g yh a v em a d et h ei n f o r m a t i o nr e s o u r c eb ef u l l ys h a r e d 卸dc h a n g e dt h e o u t d a t e dc o m m u n i c a t i o nm o d e lt h o r o u g h l y t h ep a p e rg i v e sar e f e r e n c ed e s i g no ft r i m e d i ap r o c e s s i n gs y s t e mb a s e do i l f p g a i ts u m m a r i l yi n t r o d u c e st h eo fm u l t i m e d i ap r o c e s s i n ga n da p p l i c a t i o ns u c ha s t h el o w r a t e c r i t e r i o no fa u d i o - v i d e oc o d e e n c o d e , t h e np r e s e n t st h es t r u c t u r ea n d f u n c t i o n so ft h et m l 3 0 0 ，am u l t i m e d i ap r o c e s s i n gd e v i c e so fp h i l i p sc o m p a n y , a l s o d e t a i l e d l ya n a l y s e st h eh a r d w a r ed e s i g ns c h e m e so ft r i m e d i aa n da c e xf p g a a n d # y e st h es o f t w a r ed e s i g no ft r i m e d i as y s t e m t h es y s t e m si n t e r f a c e i sm o s t l y d e s i g n e dt ov h d l b l o c ki nf p g a t h i sd e s i g n e dm e t h o dc a nh e l pt os h o r t e nd e s i g n p e r i o da n di m p r o v et h er e l i a b i l i t ya n de f f i c i e n c yo ft h ed e s i g n i nt h es o f e w a r ed e s i g n ， t h ep o w e r f u lp r o c e s s i n ga b i u t yo fp e r s o n a lc o m p u t e ri su s e dt oe n c o d et h ed i g i t a lr e a l t i m ev i d e of o rs t r e a m i n gb yu s i n gw i n d o w sm e d i at e c h n o l o g y i na d d i t i o n ，a d v i c e so nh o wt oi m p r o v et h es y s t e mi sg i v e ni nt h ep a p e r k e y w o r d s ：t r i m e d i a ；f p g a ；t m l 3 0 0 ；s t r e a mm e d i ap r o c e s s i n g ；a u d i o v i d e o i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定，同意如下各项 内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论 文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文； 学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务：学校有 权按有关规定向国家有关部门或者机构送交论文的复印件和电予版；在不以赢 利为目的的前提下 学位论文作者签名 可以适当复制论文的部分或全部内容用于学术活动。 帅咿 1 晓l ，车r 月谚日 经指导教师同意，本学位论文属于保密，在 年解密后适用本授权书。 指导教师签名：张咿 学位论文作者签名： 解密时间： 年月日 各密级的最长保密年限及书写格式规定如下： 内部5 年( 最长5 年，可少予5 牟) 秘密l o 年( 最长1 0 年，可少于 o 年) 机密2 0 年( 最长2 0 年，可少于2 0 年) 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位敝储签名窃呻 j , o p 3 + 年f 月万日 第一革引言 第一章引言 由于带宽和处理能力的限制，谈到数字信号处理时，更多是简单的语音信号 处理。随着技术的发展，可利用的带宽越来越大，处理能力越来越强，简单的语 音己不满足需求，人们开始关注动态范围更广的音频处理和视频处理，要求越来 越多的视频应用。例如，希望用i n t e m e t 收看电视、播打电话( i p n ，v o i p ) ，希 望随时随地的看电影( 移动流媒体) ，希望用视频监控保护着家人等等。 归纳一下，媒体处理在市场上有如图1 1 的应用： 图1 1 媒体处理的应用 这些应用的共同点是它们都要求视频和图像的处理，这些处理可能是图像质 量的优化，如锐化、自平衡等；也可能是视频和图像的压缩，解压缩，如m p e g 一4 ； 也可能是不同压缩制式之间的转换，如h 2 6 3 、h 2 6 4 与m p e g 一4 等等。这些处 理都要求主处理芯片有较强的图像视频处理功能。 第一节媒体处理应用背景 1 1 ，1媒体处理的必要性可行性 媒体通信是从贝尔发明电话开始的，电视技术则奠定了音视频同步传输的基 石。但未经压缩的模拟音视频信号占用的带宽太大，每一个频道所要占用的带宽 是6 5 m h z ，无法实现交互式的多媒体通信。 而数字视频信号的数据量更大，标准的p a l 信号的速率为2 1 6 m b s ，如果不 第章引占 压缩基本上不可能传输，即使压缩到2 m b s 时也只能在通信干线 i 传输，f ：能扩 展到终端用户。因此需要提高压缩效率，一方面通过图象质量的阶级实现，但主 要还是提高编码效率。例如用于较高速率视频编码的m p e g l ( v c d 、1 5m b p s ) 、 m p e g 2 ( d v d 广播级、4 i 0m b p s ) ，一部1 0 0m i n 的d v d 5 的视频素材也要约 5g b 的存储空间，目前的网络现状难以接受。 另一方面，媒体数据的运算量也非常大，比如仅图像运算中最基本的运算离 散余弦转换( d c t ) ，对于单通道3 0 帧的v g a 视频，它就需要每秒大约6 千万 次的乘加运算，这还仅是其中非常小的一部分。 所以在媒体处理中，巨大的数据量、运算量都需要进行低比特率媒体处理。 这样专用媒体处理芯片的应用出现了。相比于通用的d s p ，用于多媒体应用的专 用芯片集成了许多专用模块，这些模块用硬件加速很多通用的多媒体方面的大量 算法明晰的处理二 例如采用专用芯片实现的p c s 一1 p 视频会议系统和刀叮v 移动多媒体系统( 图 1 1 ) ，可以应用于矾v w 曲m e d i a 、移动流媒体( w e bl i v e m o b i l et v ) ，为用户 提供实时电视、数字视频广播( 硬盘播出) 、视频点播和视频通话等服务。应用 于网络视频会议时，速度能达到2 m b s 以及3 0 帧秒。 躅1 1p c s 1 p 视频会议系统i p l v 移动多媒体系统 在本文中，从开发的成本和速度考虑，选择了p h i l i p s 的t r i m e d i a 媒体处理 芯片，因为t r i m e d i a l 3 0 0 是专为多媒体应用而设计的，它集成了多个为多媒体 应用而设计的专用模块 1 l o 基于f p g a 和t r i m e d i a 的编码系统设计非常简单，易于实现。使用t m1 3 0 0 设计时，只需在外围添加音、视颓模数转换芯片和外部s d r a m ，普通的模拟视 频和音频信号采样后可以被压缩成高质量的m p e g2 4 视频流和m p e gl a y e r l - 3 或a c - 3 音频流，然后复用为p s 或t s 流，提供给存储或广播媒介。而只要通过 1 2 c 总线设置编码参数即可，无需用户具有较多的m p e g 编码经验或投入过多的 设计成本，缩短了设计周期。 经过处理以后，可以使运算时间降低到图像采集间隔之下，即实现软实时的 2 第章0 采集一压缩一传送。 1 1 2低比特率音视频编解码标准 对音频信号压缩编码的标准主要有i t u c c i t t 的g 系列：g 7 1 1 、g 7 2 1 、 g 7 2 2 、g 7 2 3 、g 7 2 8 、g t 7 2 9 ：m p e g 系列的m p e g 一1 ，m p e g 一2 ，m p e g 4 ，m p e g 7 中的音频编码和d o l b y ( 杜比) 实验室的a c 系列：a c - 1 ，a c 一2 ，a c - 3 等。 图1 2 给出了低比特率音频编解码的一般模型圯1 。每个子带信号都在经过定 标处理后被重新进行量化，量化编码过程引入的量化噪声不能超过已确定的对应 子带的掩蔽门限。因此量化噪声频谱与信号频谱进行了动态自适应。“比例因子” 和各子带所使用的量化器的相关信息与编码后的子带样值一同进行传输。而解码 器可以在不了解编码器如何确定编码所需信息的情况下对码流进行解码。这降低 了解码器的复杂度，并为编码器的选择和解码器开发提供了很大的灵活性。 嘲输出 图1 2 一般的低比特率音频编解码框图 对于极低速率的视频编码，主要是u th 2 6 3 + h 2 6 4 和i s o 的m p e g 4 标准。它们是针对视频会议、可视电话的甚低速率编码标准，基于内容的检索与 编码，可对压缩数据内容直接访问。既可媲美d v d 的视频质量，又具有v c d 的压缩效率，从而在较小网络带宽的前提下获得更为满意的视频效果。例如 m p e g - - 4 ，每秒可得到2 5 - 3 0 帧( 3 5 2 1 7 6 ) 的无闪烁视频，同时将视频数据压 缩到3 0 0 k b p s ，使单路服务器在采用1 0 0m 网卡的情况下可以支持1 0 0 多个并发 视频流。 图1 3 给出了一般的低比特率视频编解码框图。视频信息可分为形状信息 ( s h a p e ) 、运动信息( m o t i o n ) 、纹理信息( t e x t u r e ) 。对视频对象的编码就是对 第章引j 这3 利】f 吉息进行编码。通过运动预测和运行补偿来去除连续帧之f n j 的时间冗余 通过d c t 可以有效压缩特征系数；量化一般包括量化、z 字扫描和行程编码， 可以进一步提高压缩率；熵编码主要有h u f f m a n 编码和算术编码。 一7 卣7 幽 节目流j 倍输流 萄 _ j颈溯 由 船复用 jc 空闽、时阁) i 一鼢估计 视频p e s 囤一等、卜匡三卜臣 翮 _ j 解码输出 l _ j 蛟理 运动、形状 i l 运动补偿1 图1 3 一般的低比特率视频编解码框图 通过视频编码后可以得到视频e s 流，打包后得到分组p e s 流和传输流t s 。 对于实时的极低比特率的应用，如可视电话，还可以采用极低比特率视频 ( v u j l ) 核进行编码。 1 a 3可编程媒体处理芯片 般来说，若能找到合适的a s i c ，用a s i c 实现所需标准的编解码总是效 率最高，成本最低的。用t m s 3 2 0 c 8 0 等d s p 芯片有其优点，但是其效率不及 a s i c ( 如运动估计a s i c ) 或可编程器件( 如f p g a 、c p i d ) 相结合的方案， 而不定单纯用多个t m s 3 2 0 c 8 0 来完成任务。 如果将编解码任务分成模块，分别用a s i c 或f p g a 来分别实现这些模块， 这样可以发挥各自的长处，兼顾效率和灵活性。总之，在选择视频压缩编解码的 实现方案时，应综合考虑标准的技术难度、实现难度、专用芯片及实现条件等多 种因素，采用适当的实现方案。 从开发的难易程度上考虑，使用现成的芯片较容易，丌发周期和成本都比较 4 低，但它灵活性较差，不容易升级。f 脚比较以下四种可编程媒体处口 ! 器d s p 。 表1l四种可编样姒体处理器的性自t - l l 较 t m $ 3 2 0 c 8 0 a d s p 2 1 0 6 1m a p ( a1 m 1 3 0 0 片内r a m小，5 2 k 较大i m较大，6 4 k无 对外部r a m有t c 的瓶颈1 6 0 ms d a r m 接口1 2 8 ms d r a m 接u5 7 2 ms d r a m 快速接 的访问口 编程语言c 及c 8 0 汇编cc 及m a p 汇编 c 、c + + 及c u s t o m 处理能力m p 为5 0 m i p s4 0 m i p s1 8 0 0 m i p s 9 0 0 m i p s p p 为5 0 0 m o p s 1 6 x 1 6 m a g 3 0 0 1 5 04 8 0 03 6 0 经过对上表的比较，尽管t m s 3 2 c 8 0 芯片功能强大，运算速度快，但它的 并行处理需要手工协调、不方便，而且与外界存储器的交换也有一定的瓶颈。 t m 1 3 0 0 芯片和m a p c a 芯片从整体性能上都比较突出，都各有优缺点。相比之 下，t m1 3 0 0 内部还有专门的i m a g ec o p r o c e s s o r ( i c p ) 以及专门的v l d 模块， 可以协助c p u 完成一部分视频压缩的任务，减轻c p u 的负担，而这恰恰是 m a p c p 所不具备的。而且，t m l 3 0 0 的开发工具比m a p c a 要方便。 权衡多方面因素，采用t m l 3 0 0 作为整个系统的主处理器较为适合。t m1 3 0 0 的主要特性有： ( 1 ) 在单芯片上实现对音频、视频和图片的处理和通信。 ( 1 ) 一个功能很强大、通用的v i e w 处理器核。该核不仅用于协调片上各 部分的活动，还用于实现各种较复杂的多媒体算法。1 6 6 m h z 的主频下，v l i w c p u 可以实现6 5 m o p s 的处理能力。 ( 2 ) 独立d m a 驱动的多媒体输入输出单元，该单元提供正确的格式以使 软件的处理更有效。 ( 3 ) 并行工作的多媒体协处理器，该处理器专用于一些重要的多媒体算法。 ( 4 ) 高性能的总线和存储器系统提供t m1 3 0 0 各处理单元间的通讯。 ( 5 ) 灵活的外部x 1 0 旧c i 总线接口，核电源2 5 v ，i 0 电源3 3 v ，功耗为 3 5 w ，工作温度0 到8 5 摄式度。 这样，t m1 3 0 0 媒体处理器负责音视频信号的接受、转化、图象合成、地址 分配并将处理后的音视频信号通过网络连接线输出等功能。同时，为降低成本， 提高资源利用率，可以利用f p g a 逻辑控制实现简单、对大量数据做并行处理。 第一章引肓 第二节媒体处理发展趋势 1 2 1媒体网络传输发展概况 对于媒体网络传输而占，主要是宽带网络技术，它使用以i p 为核心的分组 技术和以移动通信为核心的无线技术1 3 1 。宽带网络技术最新发展有以下几个方 面： ( 1 ) 利用电话线传输媒体信息。 利用电话线传输视频信息主要是各种数字用户线路x d s l 技术。 a d s l 的关键技术在于高速信道的调制技术：正交幅度调制( q a m ) 、无载 波幅度相位调制( c a p ) 和离散多频( d m t ) 调制。第二代a d s l 支持下行8 m b s 、 上行8 0 0 k b s 净数据速率。 v d s l 能够提供更高的传输速率。v d s l 调制技术有：q a m ( 正交幅度调制) 和d m t ( 离散多音频) 。 ( 2 ) 利用自由空间光通信但s o ) 传输媒体信息。 目前，能传输音视频业务的宽带无线接入有多种，如v s a t 宽带卫星广域接 入、i e e e8 0 2 1 6 宽带无线接入、中距离的无线本地环路技术、i e e e 8 0 2 1 1 系列 和h i p e r l a n 的无线局域网接入、i e e e8 0 2 1 5 无线个人域网w p a n ，以及包括 蓝牙、红外、超宽频、h o m e r f 的短距离无线互连技术。 最近，作为一种解决“最后一公里”瓶颈的解决方案，自由空间光通信( f r e e s p a c eo p t i c a lc o m m u n i c a t i o n ) 技术也浮出水面。f s o 是光纤通信与无线通信相 结合后的创新产物，它以大气为媒质，通过激光或光脉冲来传送数据信号。采用 点到点的组网方式，传输距离在2 4 公里之间时，f s o 能支持1 5 5 m b p l s 1 0 g b p s 的传输速率。 ( 3 ) 采用无源光网络( p o n ) 传输媒体信息。 p o n 技术是实现f l 丌x 最理想的宽带接入方式。p o n 包括a t m p o n ( a p o n ) 和e t h e m e t p o n ( e p o n ) 两种形式。 ( 4 ) 采用f i b r ec h a n n e l 传输媒体信息。 f i b r ec h a n n e l 的最大特点是将网络和设备的通信协议与传输物理介质隔离 开，这样多种协议可在同一个物理连接上同时传送。f c 传输速度快，它可以提 供接近于设各处理速度的吞吐量，提供从2 6 6 m b p s 到4 g b p s 的传输带宽，支持 超过1 0 公里的传输距离。f c 对于视频图像和海量数据的存储及传输极为理想， 能提供实时广播级视音频数据访问能力，成为音视频传输与存储领域的新技术。 筇一章引j 1 2 2网络视频与流媒体发展方向 流媒体( s t r e a m i n gm e d i a ) ，就是指把连续的影像和声音信息，经过压缩处理 后放到网络服务器上，让浏览者一边下载一边观看、收听，而不必等到整个多媒 体文件下载完成就可以即时观看的技术。播放流媒体文件一般只需要经过几秒或 几十秒的启动延时。 在网络技术高度发展的今天，流媒体技术得到了广泛的应用，能够达到低传 输、高图像质量的视频流更是流媒体技术发展所追求的目标，流媒体音视频编码 技术的发展正代表着该领域的发展动向。m p e g 4 视频编解码技术由于其图像质 量高、图像传输码率低，从而得到网络视频传输领域的青昧。加上其根据图像实 际情况实现可变编码的特性，编码的效率高，负荷流媒体技术的发展方向。 以m p e g 4 为核心的网络视频与流媒体两个发展方向是“1 ： ( 1 ) 低比特率下的多媒体通信； ( 2 ) 多工业的多媒体通信的综合。 第三节选题意义与内容组织 ( 1 ) 夺文选题意义 本文提出了基于f p g a 的t r i m e d i a 媒体处理体系统。基于f p g a 和t r i m e d i a 的编码系统设计非常简单，易于实现。这是因为如果仅用f p g a 来实现，算法部 分的实现会比较复杂；如果仅用t m l 3 0 0 来实现，驱动时序的设计也会非常困难。 而同时利用，可以实现更加复杂的图像处理算法和硬件控制逻辑设计，具有很强 的系统扩展能力。 使用t m1 3 0 0 设计时，只需在外围添加音、视频模数转换芯片和外部 s d r a m ，普通的模拟视频和音频信号采样后经t r i m e d i a 媒体处理后复用为p s 或t s 流，提供给存储或广播媒介。而只要通过1 2 c 总线设置编码参数即可，无 需用户具有较多的m p e g 编码经验或投入过多的设计成本，这样缩短了设计周 期。 所以本文提出的媒体处理方案，可以作为利用硬件a s i c 平台和p c 软件平 台实现媒体流低传输码率、高图像质量、可变比特编码的参考。 ( 2 ) 本文内容组织 本文首先在讲述p h i l i p st m l 3 0 0 多媒体处理器和a c e xf p g a 的内部结构、 功能的基础上，分析了系统各大模块( 高速a d 变换、高速媒体处理t r i m e d i a 芯片、大规模f p g a 芯片、存储单元等) 的相关硬件设计。然后讲述了t r i m e d i a 第一章r j l 言 媒体处理系统的软件设计。其q j ，实现t s a 架构中a l 层和各f p g a 模块足奉 课题研究的核心。 系统中t r i m e d i a 所实现的处理功能主要是： ( 1 ) t m l 3 0 0v i ( 视频输入) 部件读取片外经山，d 变换的视频数据，解复 用成y u v 平面数据，再根据需要进行亚抽样，最后把它们写到s d r a m 中。 ( 2 ) 使用一张量化表和h u f f m a n 码表对连续几十帧甚至上百帧图像进行硬 压缩，同时对当前图像进行整像素运动估计；而d c t 部分调用过于频繁，所以 可以采用的查找表的方法进行优化。 ( 3 ) 在t m l 3 0 0 附加不同的外围接口，作为一个主c p u 用于独立机型的开 发，同时作为一个多媒体加速处理器，进行码流分发，应用于p c 环境。 系统的接口在f p g a 中大部分以h d l 模块进行设计，这种设计方法可以缩 短设计周期，提高设计的可靠性和效率。系统中f p g a 所实现的逻辑功能主要是： ( 1 ) 系统上电后，完成对其他器件( 如t r i m e d i a 、f i f o ) 的复位： ( 2 ) 响应系统t r i m e d i a 的指令，从相应的输入f i f o 中读取流数据，做并 串变换后传输至t r i m e d i a 的串行输入口，同时进行采样控制； ( 3 ) 作为复用器，对进入系统的数据传送流中的程序参考时钟域p c r 中的 数值进行补偿计数。 在软件设计应用中，还利用信息中枢p c 机强大的处理能力，采用w m e n c o d e r 技术对音视频信息进行实时流化。 最后，本文提出了系统改进和提高的方向。 第2 奄t r i m c d i a 媒体处理系统结构 第二章t r i m e d i a 媒体处理系统结构 t r i m e d i a 媒体处理系统是利用硬件a s i c 平台进行音视频编解码实现的，同 时还充分利用p c 平台优势进行音视频流的网络传输、硬盘存储以及声音、图像 预览等功能，使媒体流能够达到低传输码率、高图像质量、可变比特编码。 第一节t r i m e d i a 系统框架 t r i m e d i a 系统中的的数据通信可以看成是视频、音频和控制信息的混合。利 用a c e x1 kf p g a 最大的特点是结构灵活，有较强的通信性，适于模块化设计， 从而能够提高算法效率”1 ：同时其开发周期较短，系统易于维护和扩展，适合于 实时信号处理。这是因为，实时信号处理中，低层的信号预处理算法处理的数据 量大，对处理速度的要求高，但运算结构相对比较简单，适于用f p g a 进行硬件 实现，这样能同时兼顾速度及灵活性；而高层处理算法的特点是所处理的数据量 较低层算法少，但算法的控制结构复杂，适于用运算速度高、寻址方式灵活、通 信机制强大的t m l 3 0 0 芯片来实现。 由大规模f p g a 芯片和高速m e d i ap r o c e s s i n g 芯片组成系统的核心，是为了 发挥两者的优势。f p g a 芯片与d s p 芯片相比，由于其结构上的优势，f p g a 芯 片更适合完成并行处理、重复性强、速度要求高的数字信号处理运算，而t r i m e d i a 芯片更适合完成串行顺序处理。 所以，设计中的t r i m e d i a 主要用于运算部分，f p g a 主要完成逻辑控制。利 用f p g a 中预先设置好的训练序列，3 2 9 个l e 就可以实现1 5 0 个并行相关器， 而用d s p 来实现相同功能，其速度要求为至少1 5 0 m b p s 。 两者比较如表2 1 所示。 表2 1f p g a 与t r i m e d i a 芯片的比较 f p g a 芯片 t r i m e d i a 芯片 编程方式 易实现 q h d l 、v e f i l o g 语言及图形编程 实现容易c 、汇编语言编程 资源重复利用性通过外部处理器动态配置改变m e m o r y 内容重复利用 硬件资源结构可实现并行的乘法器加法器操作 m a c 单元的重复操作 处理速度并行运算速度快，只受硬件结构限制 受m a c 单元操作速度限制 适合的信号处理运算高速并行处理串行顺序操作 第2 章t r i m e d i a 媒体处理系统结构 图2 1 所示为t r i m e d i a 系统组成框图t 6 。 i 匕掣 s 讪o； 使能1言号 ： 视频编解码 视频r j s c ：i 视 1 虱肿g a l h2 6 x m p e g t mi 擘融 巴 尚+ + s d r a m i 协处理器 ， i 揽l i l c a： ， t l 音频i di ， 音频编解码 吼7 ir 7 g 7 1 1 5 i 勰 0 7 2 锯瞄静u 输出 i o i 煳糊l1 ；h 嚣 + p c l 用户控毒爆面l j 7 蓉娆控制fi 籀 i 隧* t d m e d h 扭始化微代玛捷体处理嚣 设备 捌2 ，1t r i m e d i a 系统组成框崮 由图2 1 ，f p g a 首先通过读取脚r o m 完成自身配置( 如工作的时钟频率、 外围s d r a m 大小等信息) ，进入正常工作状态后，通过1 2 c 总线对视频和音频 采样编码器进行初始化配置，根据配置信息把启动程序读入s d r a m ，再由启动 程序把f l a s hm e m o r y 中的应用程序读入s d r a m 并开始执行。 然后i z p g a 对采集到的一帧数据进行预处理，存入s d r a m 。t m l 3 0 0 读取 s d r a m 中的数据，在预设两个数据缓冲区用于保证连续完整的接收高速图像数 据，然后启动v i 捕获，根据当前控制单元的状态保存有效的图像数据。当任一 预设缓冲区满时激活产生中断，在中断服务程序里根据实际设定的情况 来重置数据在s d r a m 的存储地址；t m1 3 0 0 一方面把音频、视频端口输入的数 据被主程序处理后经输出i ，o 输出，另一方面实时处理数据，分离编码完成后送 到f l a s h 或p c 中。t m l 3 0 0 与其他i c 单元间的通信由系统的1 2 c 总线来实现。 下面是组成框图的详细说明： ( 1 ) 视频u o 设备s a a 7 1 1 4 h 完成p a l 制式的视频a d 采样，音频状) 设 备c s 4 2 1 8 完成音频的a d 采样。模拟音视频信号的数据采样率可以编程设置。 ( 2 ) t r i m e d i a1 3 0 0 从s a a 7 1 1 4 h 接收视频数据，从c s 4 2 1 8 接收f s 的a d 采样数据，并对音视频信号进行独立的压缩编码。实现不同标准的音视频编码标 准与t r i m e d i a 芯片初始化配置微代码有关，该微代码在启动该芯片工作前下载 到芯片内部，然后复位该芯片开始工作。 i o 第2 章t r i m e d i a 姒体处理系统 j 构 ( 3 ) t m1 3 0 0 片选信号控制打丌一个数据通道，片选有效时扣丌数据通道。 ( 4 ) t r i m e d i a 的h o s t 接口地址、数据总线经驱动后和f p g a 相连。由f p g a 产生r e a d y 信号可以方便控制时序。 ( 5 ) 音频1 2 s 时钟由晶体电路产生。 系统中t m l 3 0 0 相当于p c 的c p u ；e e p r o m 相似于b i o s ，起引导作用； f l a s hm e m o r y 相似于硬盘，用于存放应用程序；s d r a m 相似于内存，用于暂 存指令和数据：以太网接口、串口等相当于通信设备，实现不同网络的通信。 第二节媒体流处理流程 媒体处理解决从音视频的编码解码、存储，到网络端的媒体服务、媒体流 传输，到用户端的播放等一系列问题。在发送端，从输入设备获取的视频和音频 信号，经过编码器压缩后，按照一定的格式打包，再通过网络发送出去；在p c 端，来自网络的数据包首先被解包，获得的视频、音频压缩数据经解码后进行流 化，从而使用户数据和控制数据得到了相应的处理。 一个典型的媒体流处理流程如图2 2 所示”1 。 视频源： 编码， 媒体 音颚源：压缩 服务器 r v 、话筒 = 盯 、，一一 存储 代理 服务 器 图2 2 媒体流处理流程 从图2 2 中可以看出，原始的音视频流经过t m l 3 0 0 编码和压缩后，形成媒 体文件存储( 直播的方式不需要文件存储) ，媒体服务器( p c ) 根据用户的请求 把媒体文件( 或者直播的媒体流) 传递到用户端的媒体播放器。在媒体传输中间 还可能需要代理服务器进行媒体内容的分发或转发。 其中，影响媒体传输质量3 个最关键的因素是：编码和压缩的性能和效率、 媒体服务器的性能、媒体流传输的质量控制。 ( 1 ) 编码，压缩的性能 影响音频视频流的压缩编码性能的因素很多，首先是压缩效率。压缩效率 第2 章t r i m e d i a 姒体处理系统结构 要求在保证一定音频视频质量的前提f ，媒体流的码流谜率应尽量低。 其次是编码的冗余性和可靠性，传输中数据丢失对编码质量的影响、速率调 节的能力也要考虑，因为网络的拥塞状况是不断变化的，编码必须能够适应网络 速率的变化。 ( 2 ) 媒体服务器的性能 媒体服务器性能的关键指标是流输出能力和支持的并发请求数量。可采用简 单的p c 集群方式，由多个p c 流媒体服务器用局域网连接，前端采用内容交换 负载均衡器将服务的请求分布到各个p c 媒体服务单元。这样成本低，易实现。 ( 3 ) 媒体流传输的质量控制 这是制约性能最重要的因素。由于媒体传输对网络带宽、延迟、丢失率等要 求很高，而基于无连接的包交换i p 网络对带宽资源和q o s 的控制能力都比较弱。 对t m l 3 0 0 系统，可以采用视频码流编码机制，这部分内容将在第5 章阐述。 第三节 r b l l 3 0 0 媒体处理器结构与功能 t d m e d i a 系列芯片是p h i l i p s 公司出品的专为多媒体信号处理而设计的多媒 体处理器。其中t m1 3 0 0 芯片以一个v l i w ( v e r yl o n gi n s l r u c t i o nw b r d ) 处理器核 为核心，通过一个高带宽内部总线和其它内部模块相连接，图2 3 显示了t m l 3 0 0 芯片的内部结构。 图2 3t m l 3 0 0 的结构框图 1 2 第2 章t r i m c d i a 蝶体处理系统结构 由图2 3 中可以看出，除了具有强大的处理能力的v l i w c p u 和与之配合使 用的缓存、多媒体协处理器和高速的内外部总线外，t m l 3 0 0 中还集成了丰富的 多媒体i o 资源和通信资源。 ( 1 ) 存储器接i ( m m i ) ：支持3 2 m b 或6 4 m b 存储空间，适应多种s d r a m 型号，最高读写速度可达到1 4 3 m h z ： ( 2 ) 视频输入输出接口( v i & v o ) ：视频输入输出接口支持c c i r 6 5 6 数字信 号( ( 4 ：2 ：2 y u v 格式) ，同时它支持水平方向的1 2 子采样( 7 2 0 3 6 0 ) ； ( 3 ) 音频输入输出接1 3 ( a i & a o ) ：它们都支持具有s 接1 2 1 的a d 和d a 设备，舢支持一路1 6 b i t 单声道或立体声双声道输入，a o 支持四路1 6 b i t 和3 2 b i t 立体声或单声道双声道输出； ( 4 ) i 2 c 总线：i 2 c 总线是一种串行总线标准，在视频芯片和存储芯片中应 用广泛，它提供了一个对视频芯片和存储芯片进行操作的简单易行的接口： ( 5 ) 同步串行接口( ( s s d ：最高速度可达8 m b p s 的同步串行接1 3 可以和多 种串行设各直接互连( 如v 3 4 m o d e m ，i s d n ，e l 等) ： ( 6 ) x i o p c i 接口：它为芯片提供了一种与其他外围芯片灵活互连的方式 ( 如网络接口控制器、f l a s h 、u a r t 芯片等) 。 第四节a c e x1 kf p g a 结构与功能 a c e x1 k 是& i t e m 着眼于通信、音频处理及类似场合应用而推出的f p g a 器件，是首选的中规模器件产品。a c e x l k l 0 0 是a c e x l k 系列f p g a 芯片中 最大规模的一种，典型情况下具有1 0 万可用逻辑门。它的结构如图2 4 所示8 1 ： 第2 章t r i m c d i a 蝶体处理系统结 d 图2 4a c e x l k l 0 0f p g a 结构 a c e x l k 使用e a b 构成的r a m 、r o m 、双口r a m 和f i f o 等结构可以大 大提高基于l u t 的算术运算、数字信号处理的性能。这使a c e x l k 非常适用于 复杂的逻辑应用如：高性能通讯应用的数字信号处理、数据传送和微处理器。 它具有如下特点： ( 1 ) a c e x1 k 采用查找表( l u t ) 和e a b ( 嵌入式阵列块) 相结合的结 构，特别适用于实现复杂逻辑功能存储器功能，例如通信中应用的数字信号处理、 多通道数据处理、数据传递和微控制等。 ( 2 ) 典型门数为1 万到1 0 万门，有多达4 9 1 5 2 位的r a m ( 每个e a b 有 4 0 9 6 位r a m ) 。 ( 3 ) 器件内核采用2 5 v 电压，功耗低，能提供高达2 5 0 m h z 双向i o 功能。 ( 4 ) 具有快速连续式延时可预测的快速通道互连( f a s tt r a c k ) ；具有实现 快速加法器、计数器、乘法器和比较器等算术功能的专用进位链和实现高速多扇 入逻辑功能的专用级连接。 第3 章t r i m c d a 系统地什改； 第三章t r j m e d i a 系统硬件设计 第一节硬件总体设计 t r i m e d i a 系统的硬件框图如图3 1 所示，主要包括几大功能模块”1 ：高速 a d 变换、高速媒体处理t r i m e d i a 芯片、f p g a 芯片、存储器和接口模块。其中 f p g a 和t r i m e d i a 芯片是系统的核心，用来完成高速音视频信号处理算法。 其中，视频采集a d 模块负责将模拟视频信号进行数字化采样，将模拟视 频信号转换成计算机可识别的数字视频信号。 t m l 3 0 0 模块负责以下工作：( 1 ) v i 部件读取片外经a d 变换的视频数据， 解复用成y u v 平面数据，再根据需要进行亚抽样，最后把它们写到s d r a m 中； ( 2 ) 使用一张量化表和h u f f m a n 码表对连续几十帧甚至上百帧图像进行硬压缩， 同时对当前图像进行整像素运动估计；而d c t 部分调用过于频繁，所以可以采 用的查找表的方法进行优化；( 3 ) 通过外围接口，作为一个多媒体加速处理器， 与p c 握手通信。 一d p 4 控制瘴 图3 1 高速媒体处理平台的硬件框图 f p g a 模块负责：( 1 ) 系统上电后，完成对其他器件( 如t r i m e d i a 、f i f o ) 的 复位：( 2 ) 响应t m l 3 0 0 的指令，从相应的输入f i f o 中读取流数据，做并串变 第3 童t r i m e d i a 系统硬设计 换后传输至t m l 3 0 0 的串行输入u ，同时进行采样控制：( 3 ) 作为复用器，对进 入系统的数据传送流的程序参考时钟域p c r 中的数值进行补偿计数。另外，在 整个系统中信号被可控制的延时是十分必要的，因此需要f p g a 提供可控延时。 存储模块e e p r o m 、s d r a m 、f l a s h 分别存储系统启动信息、暂存指令和 数据、系统的应用程序。 第二节电源、复位单元 硬件系统中，电源单元占有及其重要的地位，很多系统的硬件问题是由于电 源不理想导致的。如果电源不理想，有可能系统可以工作但有些单元工作不稳定。 系统需要5 v 、3 3 v 和2 5 v 三种直流电压。选择d c d c 电源管理芯片是 m a x i m 公司的m a x l 6 4 卯讧a x l 6 5 1 芯片。m a x l 6 4 9 m a x l 6 5 1 是一种高效的 开关电源芯片，最高可达3 0 0 k h z 的开关频率。可以输出从l m a 到1 5 a 较宽的 工作电流，最大输出功率可达1 2 5 w 。输入电压范围从3 6 v 到1 6 v 。m a x l 6 4 9 可输出固定5 v ，m a x l 6 5 1 可输出固定3 3 v ，如图3 _ 2 所示。 v 琳 图3 2m a x l 6 4 9 m a x l 6 5 1 电路图 第3 章t r i m c d i a 系统硬件设计 m a x l 6 4 9 m a x l 6 5 1 也可以j 二作在凸调输出电压摸式下，如系统需要2 5 v 电压，可以算得r 2 = 1 0 0 k 。 系统提供两种复位方式：一种是硬复位；另一种是利用1 2 c 控制软件实现软 复位，如图3 , 3 所示。 图3 3 系统复位电路 第三节音视频田单元 在多媒体处理应用中，视频音频的采集是最基本的，因为它是对原始数据的 获取，是所有处理的基础。从模拟信号源来的信号经模数转换后，再由t m l 3 0 0 加以处理，才可供使用或存储为素材。 一般来说，高速的音视频采集单元需要a 仍单元具有较高的采样速率和工 作带宽