（信号与信息处理专业论文）嵌入式网络视频通信终端dsp系统设计与实现.pdf

嵌入式网络视频通信终端d s p 系统设计与实现 摘要 随着超大规模集成电路和嵌入式软硬件技术的迅猛发展，嵌入式网 络视频通信终端成为新一代通信终端产品的主流。 本文基于t i 公司数字媒体d s p 芯片d m 6 4 2 ，设计嵌入式网络视频通信 终端硬件及软件系统，实现视频信息的实时采集、编解码及实时网络通 信。 d m 6 4 2 的高集成性使得系统的外围电路接口简单，本文基于d m 6 4 2 的 片上资源，设计了音视频采集的d s p 硬件系统，包括d s p 最小系统、音视频 接口、网络接口、f p g a 模块、视频模块、音频模块、逻辑控制模块和网 络模块等关键环节。为降低线路板的噪音，在多层电路板设计过程中， 考虑了元器件布局、电源层、地层与数据层的抗干扰分配等关键问题， 并针对系统中多组电源基准与地基准，进行合理的电源层、地层分割。 布线时，确保主要信号线走线短、交叉少，对主要的电源进行适当的滤 波，从而提高系统的电磁兼容与抗干扰能力。 基于硬件平台，运用开发板级支持库，实现了视频通信终端系统的 底层驱动程序设计。系统软件采用分层结构，包括c s l ( 芯片支持库) 、 b s l ( 板级支持库) 、设备驱动程序和应用软件层。芯片支持库和板级支 持库为系统控制底层硬件提供了基本的用户程序接口。设备驱动程序使 用了t i 的类微型驱动程序模型。上层为类驱动，底层为微型驱动。这种 模型能够确保最大的代码复用性。 应用层软件完成视频信息的实时编码，采用改进的低比特率h 2 6 3 算 法。在d s p 硬件平台上实现了h 2 6 3 算法的优化，提高编码了效率与鲁棒 性。在h 2 6 3 算法的d s p 实现中，使用了五个任务模型：输入任务、处理 任务、输出任务、网络初始化任务和网络任务。任务问使用s c o m 模块来 交互信息。 软硬件测试结果表明，硬件系统稳定、灵活、便于扩展，能够完成 视频通信终端的主要功能。利用该平台，能够研究更有效的编解码算法， 扩展通信接口，从而应用于多种多媒体通信系统。 关键词：数字媒体d s p ；视频通信终端：抗干扰；实时视频捕捉；类微型 驱动模型 d s pi m p l e t a t i o no fn e t w o r k e dv i d e o c o m m u n i c a t i o nt e r m i n a l s a b s t r a c t w i t ht h ed e v e l o p m e n to fv l s ia n di m b e d d e dt e c h n o l o g i e s e m b e d d e d v i d e oc o m m u n i c a t i o nt e r m i n a l sa r eb e c o m i n gt h em a i ns t e a mo fv i d e o c o m m u n i c a t i o np r o d u c t s t h et h e s i sd e v e l o p e da ne m b e d d e dp l a t f o r mf o rt h en e t w o r k e dv i d e o c o m m u n i c a t i o nt e r m i n a l sa n di m p l e m e n t e dt h eh a r d w a r em o d u l e so fv i d e o c a p t u r i n g ，e n c o d i n g - d e c o d i n ga n dr e a l t i m en e t w o r kc o m m u n i c a t i n gb a s e do i l t i sd i g i t a lm e d i ad s pd m 6 4 2 d m 6 4 2f e a t u r e sp l e n t yo fo n - c h i pr e s o u r c e sa n dt h u sn e e d ss i m p l e p e r i p h e r a li n t e r f a c ec i r c u i t s 1 1 1 ed s p c o r e da u d i o v i d e op r o c e s s i n gs y s t e m d e v e l o p e di n c l u d e st h em a i nm o d u l e ss u c ha sd m 6 4 2s m a l l e s ts y s t e m ， a u d i o v i d e oa c q u i s i t i o na n dc o d e c ，l o g i cc o n t r o l ，e t h e r n e ti n t e r f a c ea n do t h e r p e r i p h e r a lm o d u l e s t om i n i m i z et h em u l t i 1 a y e rp c bn o i s e t h ep c bl a y o u t w a sc o n s i d e r e dc a r e f u l l ya l o n gw i t ht h er e a s o n a b l el a y e ra s s i g n m e n ，s u i t a b l e d i v i s i o no fp o w e rl a y e ra n dg r o u n dl a y e ra c c o r d i n gt ot h em u l t i p l ep o w e r r e f e r e n c e si n h e r e n ti nt h es y s t e m w h e nr o u t i n g ，t h em a i ns i g n a lt r a c k sw e r e d e l tw i t ha s s h o r t l ya n db r a n c h l e s s l ya sp o s s i b l e 1 1 1 ep o w e rp i n sw e r e d e c o u p l e dp e r f e c t l yt ol o w e rt h ee l e c t r o m a g n e t i cd i s t u r b a n c e t h es o f f e a r er u n n i n go nt h eh a r d w a r ep l a t f o n i lw a si m p l e m e n t e db a s e d o nt h eb s l ( b o a r ds u p p o r tl i b r a r y ) a n dt h ec s l ( c h i ps u p p o r tl i b r a r y ) t h e s o f t w a r es t r u c t u r ew a sl a y e r e d ，i n c l u d i n gc s l ，b s l ，d e v i c ed r i v e r sa n d a p p l i c a t i o ns o f t w a r el a y e r s c s la n db s lp r o v i d et h eb a s i ca p i st oc o n t r o l t h eh a r d w a r e t h ed e v i c ed r i v e r ss u c ha sv i d e op o r td r i v e rw e r ed e s i g n e d a c c o d i n gt ot i st w o l a y e r 出i v e rm o d e l c l a s s m i n id r i v e rm o d e l t h eu p p e r l a y e ri st h ec l a s sd r i v e ra n dt h el o w e ro n ei s t h em i n id r i v e rt oe n s u r e m a x i m u mc o d er e u s e t h ea p p l i c a t i o ns o f t w a r ee m p l o y e dh 2 6 3v i d e oc o d e cs t a n d a r dw h i c h w a so p t i m i z e df o re m c i e n c ya n dr o b u s t n e s sb a s e do nt h eh a r d w a r ep l a t f o r m t h e r ea r ef i v et a s km o d u l e si nt h eh 2 6 3e n c o d e ri n c l u d i n gi n p u t ，p r o c e s s i n g ， o u t p t i t n e t w o r ki n i t i a l i z a t i o na n dn e t w o r k i n gt a s k s t h e s et a s k sc o m m u n i c a t e w i t he a c ho t h e rv i as c o mm o d u l eo f r f 一5 t h ee x p e r i m e n t a lr e s u l t sp r o v e dt h a tt h es y s t e mw a ss t a b l ea n d p o r t a b l e t h em o d u l i z e dd e s i g ne n s u r e se a s ye x p a n d a n c e t h i sh a r d w a r ep l a t f o r mc a n b ee m p l o y e dt oi n v e s t i g a t em o r ee f f i c i e n tv i d e oc o d e c sa n dt h u st ob ew i d l y u s e di n p r a c t i c a l m u l t i m e d i ac o m m u n i n c a t i o n s y s t e m s w i t hd i f f e r e n t c o m m u n i c a t i o ni n t e r f a c e s k e y w o r d s ：d i g i t a l m e d i ad s p ：v i d i oc o m m u n i c a t i o n t e r m i n a l s ； a n t i - e l e c t r o m a g n e t i cd i s t u r b a n c e ；r e a l t i m ev i d e oc a p t u r i n g ；c l a s s m i n i - - d r i v e r m o d e l 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处， 本人签名：涨墅 本人承担一切相关责任。 e t 期：2 丝笪! i ! 逆 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅：学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 羝是 日期：2 1 1 i ：兰：冱 导师签名： 墨_ 墨! 罐 日期：塑：! 丝 嵌入式网络视频通信终端d s p 系统设计与实现 1 1 课题背景 第一章绪论 视频产品现在正经历着从模拟化向数字化、网络化的革命，并在科学研究、工农 业生产、交通运输、资源的遥感探测、医疗卫生、空间探测、航天探测等各个领域内 应用越来越广泛。 数字视频通信系统不仅符合信息产业的未来发展趋势，而且代表了视频通信行业 的未来发展方向，蕴藏着巨大的商机和经济效益，成为目前信息产业中颇受关注的数 字化产品。特别是近年来，随着技术的进步和社会经济的不断发展，客观上对视频通 信系统的准确性、有效性和方便性提出了更高要求。具体地讲，主要体现在以下两个 方面：一是对同一套系统的覆盖面和实施距离提出了更高的要求，通俗地说就是要达 到点多面广。二是要求视频通信系统与管理信息系统、网络系统结合，实现对大量视 频数据的压缩存储、传输和自动处理，从而达到资源共享，为各级管理人员和决策者 提供方便、快捷、有效的服务。 网络视频通信系统视频信号处理的速度和高稳定可靠性是至关重要的，而当今应 用比较广泛的网络视频通信系统主要是模拟系统或以p c 机插入视频采集卡构成的，难 以满足实时处理和稳定可靠的要求。超大规模集成电路和嵌入式软硬件技术的迅猛发 展，使得研制嵌入式网络视频通信终端成为可能，嵌入式网络视频通信技术成为新一 代网络视频通信系统的主流。 基于嵌入式网络视频通信系统的优点在于：由于这种系统的硬件是一个同处理器 和软件捆绑较为紧密、功能专一、设计专门的独立的设备，不像插卡系统那样受通用 计算机系统中其它软件硬件的影响，因此性能更稳定，且便于安装、维护，易于实现 系统的模块化设计，便于管理、维护、降低费用；另一方面，由于功能单一，只要视 频编解码算法合适，系统的实时性容易得到保证。同时，控制功能较p c 系统更容易实 现，且功能更加完善。 同时，基于i p 网络或基于无线网络的视频通信系统也成为另一个发展趋势。将图 像摄取后进行远程传输的主要方式除了互联网，还有光纤。有人认为，通过光端机和 光纤进行远程监控，其视频图像的质量和传输速度要优于网络传输，但是它昂贵的成 北京邮电大学硕上研究生论文 本和复杂的布线工程让人望而却步。更重要的是，其组网能力相对较差，不能满足大 型监控项目的需求。而网络监控则在此显示出它独有的优势：儿是有网络的地方就能 构建网络监控系统。由于省去了传统的布线和线路维护费用，使得网络监控系统的安 装成本大大降低。对于使用者来说，网络监控还不受时间、地点限制，在授权的情况 下可以随时按需监控，实现即插即用即看，使用方式相当便捷。于是，i p 网络监控一 致被业界认为是未来视频联网监控的主要趋势。而更加高级的无线网络也将随着无线 技术的发展在网络视频通信中占有一席之地。 网络数字视频通信系统中，高效的视频信息采集编码与传输是系统的关键环节。 视频信息处理运算量大，基于d s p 设计并实现视频通信终端，是能够快速处理如此大 信息量的最佳方法。为了实现基于i p 网络及无线网络的实时视频通信，尤其是为了满 足移动视频通信的需要，本文提出了基于d s p 技术的嵌入式网络视频通信终端设计， 为构建多种多媒体通信系统提供视频信息捕获与传输的信源终端。 研制新一代的嵌入式网络视频通信系统有着重要的意义，可广泛应用于安全防 范、信息获取和指挥调度等方面。如小区安全监控，电讯行业基站监控，银行系统的 柜员机监控，林业系统的火情监控，交通监控等。 1 2 嵌入式网络视频通信终端系统涉及的关键技术 近年来，随着视频压缩、网络通信及大规模高速集成电路的发展，为嵌入式网络 视频通信终端系统的实现提供了良好的技术基础和保障。 1 2 1 视频压缩技术的发展 视频是流特性业务，数据量很大。例如，c i f 格式的图像每帧的数据量为2 0 2 8 k b ， 数据流量可达6 0 8 m b p s ，p a l $ 1 j 式、彩色视频的数据流量可达1 4 8 8 m b p s 。这么大的数 据量如果不进行处理，当今的网络是不可能实现时事传输的。视频压缩技术可以有效 去除图像的空问冗余性和时间冗余性，稍微降低一些图像质量，就可以大大减少图像 的数据量。因此，视频压缩是必不可少的。 当今的视频压缩标准有m p e g 和h 2 6 x 两大系列。m p e g l 应用于v c d 领域，m p e g 2 应用 于d v d 领域，m p e 6 4 目前已应用于i n t e r n e t 流媒体领域，并开始支持目前标准尚未全 面支持的那些应用，例如移动通信和个人通信中的声像业务，以及各种基于无线网络 嵌入式网络视频通信终端d s p 系统设计与实现 环境的手持式电子产品。m p e g 一7 并不兼容以前的标准，而是以前标准的扩展和延伸， 主要描述各种类型的视听材料，如静止图像、图形、3 d 模型、音频、视频等，以及关 于这些视听材料在一个多媒体表达中是如何结合的等信息。i t u t 就颁布的h 2 6 1 标 准，用于可视电话和会议电视。后来又陆续发展了h 2 6 3 ，h 2 6 3 + ，h 2 6 4 。它们的 压缩原理是充分利用视频数据的空间和时问冗余，采用预测与变换的混合编码方法， 对残余的数据进行编码，保证了极大的压缩比。h 2 6 3 在多媒体电脑、掌上电脑、网 络电视、远程视频监控、视频会议和可视电话等都己经有了广泛的应用。目前最新的 h 2 6 4 标准是j 2 t u t 的v c e g ( 视频编码专家组) 和i s o 的m p e g ( 活动图像编码专家组) 的 联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的标准。在相同的重建图像质量下，h 2 6 4 能够比h 2 6 3 节约5 0 左右的码率。 在如今的视频通信领域，最广泛应用的是h 2 6 3 协议，它已经可以在嵌入式系统 中达到实时、稳定的压缩效果。h 2 6 4 标准的应用也在推进中，但是h 2 6 4 获得优越 性能的代价是计算复杂度的增加，据估计 倍，解码复杂度大约相当于h 2 6 3 的两倍， 的。 1 2 2 视频网络传输技术 编码的计算复杂度大约相当于h 2 6 3 的三 在现有的处理器上还是难以达到实时性能 网络载体的发展是视频通信的前提。2 0 0 0 年，全球视像系统的市场规模达到了 3 6 4 亿美元，其中单机式的可视电话约占二成，市场规模达到8 亿美元左右。2 0 0 1 年 以来，国际上i s d n 窄带和x d s l ，h f c 等宽带应用渐热，用户越来越多。2 0 0 1 年底，全 球i s d n 用户达到1 0 4 亿。互联网络更是蓬勃发展，这给网络视频传输的大发展打下了 坚实的基础，有利于各种网络视频应用的的快速发展。 模拟电话网p s t n 已经在中国发展了几十年，是覆盖最广、最为经济实用的通信网。 但是p s t n 的传输带宽受到很大的限制，而且p s t n 模拟线路的误码率比i s d n 数字线路 高，很难达到流畅的传输速率，全屏显示的图像会产生失真和解码的马赛克现象。 i s d n 的接续时问短，视频传输帧速率可达到1 5 帧秒以上，是几种网络环境中效 果较好的，但是价格昂贵，而且这种视频传输的广泛使用还取决于i s d n 的普及程度。 随着电信部门加快了宽带城域网的建设，实现了宽带到户，宽带到办公室的梦想。 2 0 0 2 年我国的宽带用户才2 0 0 多万人，2 0 0 3 年发展到到1 0 0 0 万以上。宽带i p 网有着其 他网络所无法比拟的低成本，高带宽的优势，使得承载在i p 网上的视讯业务的费用大 北京邮电大学硕士研究生论文 大降低了，降低了门槛，形成了视讯通信向i p 网发展的趋势。 而对于无线网络还存在带宽比较窄，误码率高等缺陷。在传输时需要引入抗干扰 算法等，更加大了系统的计算量。但做为一个更高层次的需求，无线网络视频通信系 统是未来的发展趋势。 视频通信向i p 网发展主要的技术关键在于视频传输网络在速度和确定性等方面 的需求。随着网络在速度上不断提高，国内外研究的不断投入，这一难题已经基本被 克服。另一方面就嵌入式视频服务器而言，目前一般使用带内置嵌入式操作系统的嵌 入式w e b h 务器来实现网络功能。即采用独立于d s p 的网络控制芯片，将通信协议、 i n t e r n e t 协议、i p 及许多外设继承在一个s o c 内，这种实现方法存在的问题在于：无 法对系统进行灵活配置，无法根据应用的需要对系统进行裁减，并因为芯片的加入而 增加系统的成本。当今一些最新推出的数字媒体处理器( 如d m 6 4 2 ) 解决了这一问题。 它有比较完整的网络功能的以太网媒体存取控制器一e m a c ( e t h e r n e tm e d i aa c c e s s c o n t r o l l e r ) 。从而将d s p 的数据处理和网络控制功能集成到一块芯片上来。而且完全 可以编程，又可以使得它能够兼容正在发展的各种多媒体信号处理标准，构成通用的 多媒体通信系统软件平台。这些优势使它在数字视频领域得到了广泛的应用，并推动 了网络视频通信系统的进一步发展。 1 2 3 视频d s p 处理器 d s p 是数字信号处理器( d i g i t a ls i g n a lp r o c e s s i n g ) 的缩写。主要适用于需要大 量重复运算的场合，目前广泛应用于通讯，医疗仪器，多媒体和雷达信号处理等领域。 相对于普通p c 计算机结构，d s p 构成的数字化系统具有体积小，功耗低，稳定性高且 性能强大的特点。嵌入式视频通信系统，要实现视频的编解码算法，处理大量的视频 数据，实现网络协议等，使用一般的处理器是无法达到它的处理要求的，只有d s p 的 特点满足了嵌入式视频通信系统的这些特殊要求。 d s p 的发展历程大致分为三个阶段：上世纪7 0 年代理论先行，8 0 年代产品普及，9 0 年代突飞猛进。在d s p 出现之前数字信号处理只能依靠m p u ( 微处理器) 来完成。但m p u 较低的处理速度无法满足高速实时的要求。因此，直到7 0 年代，有人才提出了d s p 的 理论和算法基础。那时的d s p 仅仅停留在教科书上，即便是研制出来的d s p 系统也是由 分立元件组成的。随着大规模集成电路技术的发展，1 9 8 2 年世界上诞生了首枚d s p 芯 片。这种d s p 器件采用微米工艺n m o s 技术制作，虽功耗和尺寸稍大，但运算速度却比 嵌入式网络视频通信终端d s p 系统设计与实现 m p u 快了几十倍，尤其在语音合成和编码解码器中得到了广泛应用。d s p 芯片的问世是 个里程碑，它标志着d s p 应用系统由大型向小型化迈进了一大步。至8 0 年代中期，随 着c m o s 技术的进步与发展，第二代基于c m o s 工艺的d s p 芯片应运而生，其存储容量和 运算速度都得到成倍提高，成为语音处理、图像硬件处理技术的基础。此后d s p 技术 因其适应市场上对大量运算的需求而得到了迅速的发展，现在最快的d s p 已经达到了 1 g h z 的时钟频率。 考虑到d s p 运算速度快但是接口能力差的倚况，一种新型的d s p 芯片一媒体处理器 ( m e d i ap r o c e s s o r ) 应运而生，并很快得到业界的广泛关注。媒体处理器继承了通用 d s p 芯片的特点，针对多媒体应用扩充了各种接口功能，优化了中央处理器结构。飞 利浦、a d i ，t i 等半导体供应商都十分看好媒体处理器市场，并推出了具有竞争力的 产品。高处理能力芯片的出现给视频会议带来更小的延迟和更高的帧频。例如t i 公司 的t m s 3 2 0d m 6 4 2 、飞利浦的t r i m e d i a 和e q u a t o r 的m a p c a ，它们集成了丰富的多媒体信 号接口，针对多媒体信号的特点优化了处理器结构，甚至内嵌了特殊协处理器用于进 行专门操作，缓解通用处理器的压力，例如视频编码中的变长编解码。 t i 的新型数字媒体处理器t m s 3 2 0 d m 6 4 2 是目前业界性能最高的媒体处理器。它带 有三个视频口，均可输入或输出，支持b t 6 5 6 、百兆以太网口、多路音频串口、6 6 m h z p c i 等等，可支持四路图像，3 0 帧秒的m p e g 一2 的实时压缩。t i 的数字媒体处理器不仅 能够以m i c r o s o f tw m v 9 格式提供高清晰视频流，而且还能够提供m p e g 一4 ，m p e g 一2 以及 m p e g l 。此外，该器件还支持h 2 6 4 。采用d m 6 4 2 可简化设计，无需转接芯片就可无 缝的与网络音视频输入输出接口。由t i 提供的广泛的设计、软件和系统支持，缩短了 从开发到投入使用的时间，使设计者更容易开发出满足多媒体应用的设备来。 12 4 嵌入式视频通信终端系统设计的核心问题 以上三种技术的发展使得高性能网络视频传输应用成为可能，在终端设计中，要 综合考虑图像质量、实时性、系统成本等因素，使整个系统配置迭到最佳。 1 3 嵌入式网络视频通信终端系统技术的发展现状 数字视频通信相关产品的技术和产业化发展近几年来一直是国内视频行业的 个热点，通过国内整个行业的不断努力，目前数字视频的技术水平达到了国际先进水 北京邮电大学硕“上研究生论文 平，开始直接参与国际竞争，同时产品已经开始进入国际市场。我们在国际市场上的 竞争力来源于我们掌握了相关的核心技术，核心技术决定了产品在市场上的竞争力。 包括：1 、视频压缩算法，这是决定产品主要特性的技术，压缩算法在不断发展之中； 2 、网络技术，这是面向未来多用途的视频多媒体设备以及大规模数字视频多媒体网 络系统的构成基础；3 、智能化技术，数字视频系统根据应用领域的不同可以提供各 种智能化的功能，这样才能够拓展市场，提升产品的竞争力。 作为目前最新的视频编码技术h 2 6 4 ，在安防行业应用有着非常大的前景。h 2 6 4 标准采用了很多新技术用来提高压缩比降低码流，主要是采用了高精度、多模式预测 技术。h 2 6 4 标准针对网络传输的需要设计了差错消除的工具便于压缩视频在误码、 丢包多发环境中传输，从而保证了视频传输的有效性。实现h 。2 6 4m a i np r o f i l e 算 法后可以使视频码流降低一半，可以实现c i f 格式视频在普通的a d s l 上实时连续传输， 即使在网络有波动的情况下也不会受到影响。同时由于h i2 6 4 算法具有网络编码层和 网络传输层结构，这样对于普通的宽带网络和无线网络的适应性大大加强，不会由于 网络的误码影响传输的质量。然而目前的芯片处理能力还不能够实现完整的h 2 6 4 算 法，现在只能实现i t 2 6 4 算法中的部分功能，因此需要一个过程才能够体验n h 2 6 4 给大家带来的优点。 目前绝大多数视频组网有两个特点：集中式或采用私有控制协议。集中式可靠性 和扩展性差；私有协议费时费力，不能互通。因此现在趋向于采用分布式、标准化的 组网方案。基于s i p 协议既能够组建纯s i p 的下一代视频多媒体网，也能够与软交换结 合组建下一代视频多媒体网，完全可以适应应用的需要。由于s i p 本身具有的简单灵 活、分布式控制以及对移动性良好支持等优点，随着i n t e r n e t 的迅猛发展，尤其在最 近的两年时间内，由i e t f 首先提出的s i p 协议已经开始被i t u t $ 6 1 6 、e t s it i p o n ( 欧 洲标准化组织) 、i m t e 等各种标准化组织所接受，并在这些组织中成立了与s i p h 关的 工作组。特别是作为i t u ts g l 6 主要成员，在多年发展h 3 2 3 应用的基础上，针对s i p 应用在视频领域的特点，提出了s i p 的应用指导，并推出了相应的s i p 协议栈，使得i t u 的成员实现了这两种协议之间的互通性。视频多媒体需求的大众化以及s i p 相关技术 的逐渐成熟，s i p 已成为新兴的视频多媒体领域的主流信令控制协议。 基于s i p 组建网络为用户提供语音、数据和视频的移动多媒体应用已经开始崭露 头角。目前国外厂商已经推出了基于s i p 的即时信息、语音和视频等应用。如微软的 w i n d o w sx p 采用s i p 信令协议，这意味着s i p h 。够在个人计算机上实现视频多媒体应 用：3 g p p ( 7 r h i r dg e n e r a t i o np a r t n e r s h i pp r o j e c t ) 采用了s i p 的3 g 体系结构计划， 6 嵌入式网络视频通信终端d s p 系统设计与实现 s i p 成为3 g 用户建立包括视频在内的实时通信会话的基石。 智能化技术是与应用领域紧密结合的技术，可以针对各种应用环境的特点开发 出不同类型的应用技术，提升产品的适应力，例如： 图像识别：实时图像识别是对视频的图像压缩序列进行实时处理，来达到不同应 用环境的要求。目标类型识别用于识别目标的类型、位置，进一步可以实现人像匹配、 车辆分析( 颜色、车型、车牌) ：目标自动跟踪技术是通过对移动目标的识别，自动 控制摄像机来跟踪目标的移动，监视目标的整个移动过程。这些智能化工作方式在多 种应用环境下都很有价值。 图像分析；移动目标的分析技术是通过对画面中移动目标的识别，分析统计目标 的类型、流量、运动方向、速度等信息，可以用于交通道路指挥自动化以及重要场合 自动检测分析，也可以用于环境监控中的自动化监测报警。 同时，随着视频通信各个方面技术的不断进步，视频通信技术得到了更为快速的 发展。 硬件视频和软件视频的同步发展、技术成本的不断下降，正在大力推进网络视频 的大规模应用。在硬件视频方面，视频终端的价格由9 0 年代初刚开始商用阶段的1 0 万美元一台，降低到5 0 0 0 3 0 0 0 0 美元一台，目前还在大幅度下降。同时由于图像压 缩算法的不断进步，在不降低图像质量，甚至质量有所提高的前提下，所占用的信道 宽度也从最初的2 m b 下降到1 2 8 3 8 4 k b 。在软件视频方面，基于i p 和p c 的视频系统已 经突破了防火墙、带宽、多语言混合等技术限制，能够方便地为人们提供随时随地的 视频应用。国外的公司开发的软件视频系统都已经投入商用。 随着通信系统功能不断完善、性能逐步提高，成本开始下降，基数庞大的企业用 户及个人视频通信应用市场显露曙光。宽带的发展为网络视频通信提供了契机。近年 来，中国网络基础设施建设不断完善，越来越多的商业、企业甚至个人用户实现了宽 带接入。最新的预测数据显示，2 0 0 8 年全球宽带网用户数量将增长到3 2 5 亿，其中a d s l 服务用户将增长到大约2 亿，而全球a d s l 用户增长的主要动力来自亚洲地区，平均每 年将增自n 2 8 0 0 万a d s l 宽带网用户和大约8 5 0 万线缆调制解调器用户。 宽带接入的逐渐普及为网络视频通信应用提供了沃土，而近两年不断增长的对低 成本、远距离多媒体通信的市场需求则为视频会议应用提供了必不可少的发展动力， 目前视频会议正逐渐成为中国宽带网络的热点应用之一。目前视频技术正在向以嵌入 式技术为依托，以网络、通信技术为平台，以智能图像分析为特色的方向发展。并且 不断引入无线、移动、小型化等更多的新技术和应用。从应用面看，目前我国网络视 北京邮电大学硕士研究生论文 频技术应用越来越广，涉及政府、教育、银行、电信、医疗、企业、军事等诸多领域 或部门。据有关方面推测，我国的视频会议系统在应用规模上，己处于世界前两名， 在应用技术上也不比国外落后。尤其在会议型应用方面，我国甚至已经超过了国外， 目前在国内的网络视频应用一片红火。 1 4 本论文的主要研究内容 本论文拟基于多媒体d s p 芯片，设计嵌入式网络视频通信终端，实现对音视频信 号的采集及实时网络通信。 主要研究内容包括： 1 基于高速数字信号处理器( d s p ) 的嵌入式视频通信终端硬件电路系统设计及 调试。系统采用t i 公司的高速数字信号处理器，采集视频信号，放入帧缓存中，e h d s p 进行视频压缩及传输。 2 视频通信终端底层驱动软件设计。基于硬件平台，开发板级支持库及视频驱 动程序，奠定系统良好运行的基础。 3 h 2 6 3 视频编码算法移植及优化。对h 2 6 3 视频编解码算法针对d s p 平台进行移 植及优化，在平台上完成视频文件的实时采集与传输。 4 对整个系统的软硬件进行测试。包括对硬件测试点信号的测试及通过测试硬 件的一些程序分别对系统硬件的各个功能模块的测试。 本文的章节结构安排如下： 第一章提出了课题背景，论述了实现视频通信终端系统所需的各项关键技术，并 分析了视频通信系统的国内外研究现状。 第二章介绍本文涉及的主要专业基础知识，包括实时数字信号处理、数字信号处 理器及其系统开发和网络视频传输技术等。 第三章提出嵌入式网络视频通信系统的总体结构和设计，介绍了基于数字媒体 d s p 系统的体系结构及其组成部分。具体讨论了系统的硬件设计，包括d s p 最小系统、 音视频模块、网络通信模块以及可编程元器件设计。并对p c b 电路板设计进行了讨论。 第四章具体讨论了系统软件设计，包括总体软件框架，基础程序开发，网络视频 通信软件，给出了详细的设计思想及软件流程图。 第五章给出了硬件系统测试的结果。 最后对本文所做的主要工作进行了总结，提出了论文工作的主要收获和不足。 嵌入式| i i j 9 络视频通信终端d s p 系统设计与实现 第二章视频通信终端d s p 技术基础 2 1 实时数字信号处理与d s p 系统 2 1 1 实时信号处理 信号处理的实质是对信号进行变换，目的是获取信号中包含的有用信息。数字信 号处理就是用数字的方法对信号进行编号，以获取有用信息。实时性指的是系统必须 在有限的时间内对外部输入信号完成指定的处理，即信号处理的速度必须大于等于输 入信号更新的速度( 图2 1 是常见信号的频率范围) ，而且信号输入到处理后的信号 输出延时必须足够小。 摊链渡 声蠹9 。 搅$自 、 ， 脊疑。瓣选 ， 簋丹旷捂， 屯砚 、 无线避信 擞9 l “z1 0 0l k l l zl ol o ol 搬i z 1 0l o o 1 0l o o 图2 1 常见信号频率范围 由图2 1 可见，实时信号处理的速度对不同类型的信号可以相差很大。如对一个 音频信号用4 0 k h z 时钟进行采样，假定采样数据为1 6 b i t ，那么这个信号的数据率就是 8 0 k 字节秒，它对实时处理速度的要求只要大于等于8 0 k 字节秒即可。但对于一个每 帧3 5 2 2 8 8 8 b i t ，3 0 帧每秒的c i f 格式的视频信号而言，其数据率是6 1 m 字节秒， 因此，它对实时处理速度的要求就是大于等于6 1 m 字节秒。因此，对实时信号处理 北京邮电大学硕士研究生论文 的速度要求是与相应的模拟信号带宽和数据格式( 字长) 相关的。 2 1 2 实时o s p 系统 图2 2 是一个典型的实时d s p 系统构成。由于实时信号处理系统所要处理的信号 一般为模拟信号，因此，输入信号首先进行滤波，然后进行a d 变换，将信号变成数 字比特流。根据奈奎斯特抽样定理，为保证信息不丢失，抽样频率至少是输入带限信 号最高频率的2 倍。 蓉弩，三三-1二三三三习_垂垂蔓垂鐾叫三三三l鬈鸷 图2 2 典型的实时d s f 系统 d s p 芯片的输入是a d 变换后得到的以抽样形式表示的数字数据，d s p 芯片对输入 的数字信号进行特定的算法处理。最后，经过处理后的数字样值在经过d a 变换转换 成模拟信号，之后再经过滤波就可以得到连续的模拟波形。 图2 2 给出的实时d s p 系统是一个典型模型，并不是所有的d s p 系统都必须有模型 中的所有模块。例如，有些输入信号本身就是数字信号( 如c d ) ，有些输入信号不需 要转变成模拟输出。 2 1 2 2d s p 系统的特点 ( 1 ) 接口方便。d s p 系统与其他以现代数字技术为基础的系统或设备都是相互兼 容的，与这样的系统接口以实现某种功能比模拟系统与这些系统接口要容易的多。 ( 2 ) 灵活性好。由于d s p 芯片其中的p l d 器件都是可编程的( 在线可编程或离线 可编程) ，只要改变它们的软件，即可完成不同的功能。而模拟系统则不同，功能的 改变必须重新设计。 ( 3 ) 可靠性强。由于数字系统只有两个电平“o ”和“l ”，在器件正常工作的条 件下，噪声及环境的影响一般不容易影响结果的- i ：f 确性与准确性，不像模拟系统的参 数都有一定的温度系数，易受温度影响，电磁震动，压力等外界环境也会对参数产生 影响。另外，由于d s p 系统对采用大规模集成电路的故障率也远比采用分立元件构成 的模拟系统的故障率低。 ( 4 ) 精度高。1 6 位数字系统可以达n l o 的5 次方的精度，而模拟网络中元件精度 很难达到1 0 的4 次方以上。 嵌入式嘲络视频通信终端d s p 系统设计与实现 ( 5 ) 集成度高。在一些对体积要求很小的场合，高集成度的数字电路将必不可 少。由于数字部件有高度规范性，便于大规模集成，大规模生产，且数字电路主要工 作在截至饱和状态，对电路参数要求不太严格，因此产品的成品率高，价格日益下降。 在d s p 系统中，由于d s p 芯片、c p l d 芯片、f p g a 等都是高集成度的产品，加上采用表面 贴装技术，体积得以大幅度压缩。另外在系统开发完成之后，还可以将产品进一步开 发成a s i c ( 专用集成电路) 芯片，进一步减小体积，降低成本。 ( 6 ) 保密性好。保密性也是对高科技产品的一个重要要求。由于d s p 系统中d s p 、 f p g a 、c p l d 等器件在保密性上的优越性能，使其与由分立元件组成的模拟系统或简单 数字系统相比，具有高度保密性。如果将其做成a s i c ，那么保密性能更是无懈可击。 2 2 数字信号处理器及其系统开发 2 2 1 数字信号处理器基础 2 211 数字信号处理芯片 可编程d s p 芯片是一种具有特殊结构的微处理器，为了达到快速进行数字信号处 理的目的，d s p 芯片一般具有程序和数据分开的总线结构、流水线操作功能、单周期 完成乘法的硬件乘法器以及一套适合数字信号处理的指令集。 由于美国德州仪器公司( t z ) 的t m s 3 2 0 系列是目前d s p 芯片市场的主流，本论文 采用t m s 3 2 0 系列的d s p 芯片构建的视频通信系统，所以本章以t i 的t m s 3 2 0 系列的d s p 芯片为例来介绍d s p 芯片基本结构及d s p 系统设计。 t m s 3 2 0 系歹i j d s p 芯片的基本结构包括：( 1 ) 哈佛结构；( 2 ) 流水线操作：( 3 ) 专 用的硬件乘法器：( 4 ) 特殊的d s 时旨令：( 5 ) 快速的指令周期。 ( 1 ) 哈佛结构 通用处理器( g p p ，如微机算计的c p u 、单片机等) 一般采用的是冯诺一曼( y o n n e u m a n ) 的体系结构，将指令、数据、地址存储在同一存储器中，统一编址，依靠指 令计数器提供的地址来区分是指令、数据还是地址。取指令和取数据都访问同一存储 器，数据吞吐率低。 而哈佛结构是不同于冯诺一曼结构的并行体系结构，其主要特点是将程序和数 据存储在不同的存储空问中，即程序存储器和数据存储器是两个相互独立的存储器， 每个存储器独立编址，独立访问。与两个存储器相对应的是系统中设置了程序总线和 北京邮电大学硕士研究生论文 数据总线两条总线，从而使数据的吞吐率提高了一倍。 在哈佛结构中，由于程序和数据存储器在两个分开的空间中，因此取指和执行能 重叠运行。为了进一步提高运行速度和灵活性，t m s 3 2 0 系歹u d s p 芯片在基本哈佛结构 的基础上进行了改进，一是允许数据存放在程序存储器中，并被算术运算指令直接使 用，增强了芯片的灵活性；二是指令存储器在高速缓冲器( c a c h e ) 中，当执行此指 令时，不需要在从存储器中读取指令，节约了一个指令周期的时问。 ( 2 ) 流水线 与哈佛结构相关，d s p 芯片广泛采用流水线以减少指令执行时间，从而加强了处 理器的处理能力。t m s 3 2 0 系列处理器的流水深度从2 6 级不等。也就是说处理器可以 并行处理2 6 条指令，每条指令处于流水线上的不同阶段。以一个三级流水线为例， 冯诺一曼结构和哈佛结构下指令流定时关系如图2 3 所示。 i 对钟 指令n - 2 拖n - l 搬n 时钟 指n - 2 指i 】! 指令n 冯灌藏蔓缝掬指母藏的定时美景 峨佛缩拇拯令谴的定时关幕 图2 3 冯诺一曼结构和哈佛结构下指令流定时关系图 ( 3 ) 专用的硬件乘法器 在通用处理器( g p p ) 中，乘法指令时通过一系列的加法来实现的，需要多个指 令周期来完成。在信号处理运算中有大量的乘法运算存在，而各种算法的改进也将降 低其中的乘法运算次数作为一项最主要的目标：与g p p 不同，t m s 3 2 0 系列d s p 内部都有 一个专用乘法器，乘法可在一个指令周期内完成