（电子科学与技术专业论文）mpeg4嵌入式网络实时视频系统的设计与实现.pdf

塑垩查堂堡主堂垡笙塞 a b s tr a c t e m b e d d e d1 色c h n o l o g yi st l l ec e n t e ro f i m e r e s “np c a r e re r a i nt h i sd i s s e n a t i o n ，b a s e d o ne m b e d d e ds y s t e m1 1 c c h n o l o g y ，w ei m p l e m e n tan e t w o r kv i d e os y s t e m t h i ss y s t e mc a n b eu s e df b rn e t w o r km u l t i m e d i aa p p l i c a t i o ns y s t e m t h et y p i c a la p p l i c a t i o ni sd i g “a l n e t 、o r kv i d e oc 啪e r a ，d i g i t a ln e t w o r km o n i t o r i n gd e v i c e ，a n ds oa 1 1 b e c a u s et h ev i d e o d a 诅i ss ol a 唱et h a ti ti sn o ts u i t a b l ef o rn e t w o r ka p p l i c a t i o n s ot h ea p p l i c a t i o nn e e d sa c o n l p r e s s i o nc o d i n gm c 也o d w ec h o o s em p e g 4 p a r t 2a st h e d e oc o m p r e s s i o nc o d i n g m e 山o d i m e 6 4 0 0c h i pi sp r o d u c e db yi n t i m ec 唧i nk o r e a i ti sar e a lt i m em p e g 4 s o p l e v e l 3 锄dm u l t i c h 锄e lv i d e oc o d i n gs i n g l ec h i p i nt h i sd i s s e n a t i o n ，t h ec p uo ft h ee m b e d d e dp 1 a t f b ni ss 3 c 2 4 1 0p r o d u c e db y s 锄s u n gc o i p 1 1 1 ee x t e n dp a ni si n c l u d e d b yi m e 6 4 0 0a n di t sa c c e s s o 蒯c i r c u i t e l 协1 1 ) 【 o p e r a t i n gs y s t e mi sm n o nt h ee m b e d d e dp l a t f o m i no r d e rt ol e te l i n l l ) ( o p e r a t i n gs y s t e mc a l l t 1 1 ee x t e n dc i r c u i t ，w en e e dd e v i c ed r i v c rj u s tf o rt 1 1 ee x t e n dc i r c u i t d e v i c ed r i v e ra d o p t s z e r o c o p yt e c h n o l o g y z e r o c o p yt e c h n o l o g ya s s u r e st h a ta to n et i m et h e r eo n 坶i so n ep i e c e o f d e os t e 锄i nt 1 1 ep h y s i c a lm e m o r y 、v i t l ln oc o p yi tn oo n l yi m p r o v e st h ee m c i e n c yo f t h e u s a g eo f m e m o r y ，姐da l s os a v et h ec p ur e 踟c eo fc o p y i n g 位v i d e os t r e 啪a r “，a u s e ra p p l i c a t i o ni su s e df o rn e t w o r kt r a l l s p o r to fm u l t i m e d i ai n f b n n a t i o n s p e c i a lr t p r t c p t t a i l s p o np r o t o c o li sa d o p t e d i no r d e rt ot e s t 龇c 印a b i l i t yo f m es y s t e m ，b a s e do n 也es y s t 锄， ar c a la p p l i c a t i o ns y s t e m ，n e t w o r kv i d e or e a lt i m em b n i t o r i n gs y s t e m ，i sd e s i g n e d t h e u s e r j u 髓n e e d si eb r 0 啊s e ft om o n i t o r 也es y s t e m 1 1 1 e d e oi so p l i o n a l3 2 0 ) ( 2 4 0 & 6 4 0 x 4 8 0 d i x e l sp i c t l l r _ e k e m r d s ：m p e g 4s 3 c 2 4 1 0r t p ，r t c p z e r o - c o p y l i n l l ) 【 i j 浙江大学硕十学位论文 第一章绪论 随着后p c 时代的到来，嵌入式技术逐渐成为计算机技术发展的一个重要分支。与 通用的计算机系统相比，嵌入式系统专指嵌入到一个对象体系中，并对浚对象体系进行 智能化控制的专用计算机系统。在消费电子、通信、汽车、工业控制以及军事行业等众 多领域中，都存在着嵌入式系统的身影。随着人们应用需求的发展变化，嵌入式技术的 应用范围会继续扩大。 本文所设计的m p e g 4 嵌入式网络实时视频系统是基于嵌入式系统技术设计和实现 的。对于面向网络多媒体应用的嵌入式系统来说，由于多媒体信息数据量的庞大，需要 多媒体压缩编码技术与之配合。嵌入式系统技术和多媒体编码技术是本文设计和实现的 技术基础。 1 1 嵌入式系统简介 嵌入式技术是一项面向应用的计算机技术。最初的嵌入式系统是由单片机组成的， 实现的是相对比较简单的一些功能。随着后p c 时代的到来，网络和多媒体技术成为人们 需求的发展方向，对于嵌入式系统的性能以及结构提出了新的要求。目前的嵌入式技术 是指采用专门设计的嵌入式处理器为控制器，并结合计算机应用技术来满足特定应用的 一项技术。对于嵌入式系统的开发，可以分成两个部分，嵌入式软、硬件平台的设计以 及基于嵌入式平台的针对特定应用的开发。 1 1 1概念 嵌入式( 计算机) 系统( e m b e d d e ds y s t e m ) 是以应用为中心，以计算机技术为基础， 软硬件可以裁减的，能满足应用系统对功能、可靠性、成本、体积、功耗等指标的严格 要求的专用计算机系统。 通用的计算机系统，即p c 机，是为了满足用户的各种需求，并不是为了某种应用专 门设计的。处理速度、存储容量以及系统的兼容性是通用计算机系统的发展方向。而嵌 入式系统的发展方向则与嵌入性能、控制能力以及控制的可靠性是密切相关。 1 1 2 组成 最初的单片机时代，嵌入式系统的组成比较简单，往往一个单片机就可以满足所有 的应用需求。但是在现代的嵌入式系统中，往往需要很多的部件协同工作，包括嵌入式 处理器、嵌入式外围设备、嵌入式操作系统以及嵌入式应用软件等。 浙江大学硕士学位论文 嵌入式系统的核心部件是嵌入式处理器。嵌入式处理器是为了完成专门的应用而设 计的特殊目的的处理器。在嵌入式处理器中往往集成了和具体的应用有关的一些部件， 有利于嵌入式系统小型化以及降低成本和功耗等。同时，有些嵌入式处理器需要使用先 进的芯片设计技术，可以达到密集型计算的应用需求。 嵌入式处理器可以分成4 类： 嵌入式微处理器( e m b e d d e dm ic r o p r o c e s s o ru n jt ，e m p u ) 。在通用计算机的c p u 的基础上，在工作温度、抗电磁干扰及可靠性等方面都做了各种增强。在使用e m p u 构 建母板时，只保留和具体嵌入式应用相关的部件，可以大幅度减小系统体积和功耗。嵌 入式微处理器目前主要有a m l 8 6 8 8 、3 8 6 e x 、s c 一4 0 0 、p o w e rp c 、6 8 0 0 0 、m i p s 和a r m 系列等。 嵌入式微控制器( m i c r o c o n t r o l l e ru n i t ，m c u ) 。将整个计算机系统都集成到一 块芯片中，也可以称为单片机。与微处理相比，微控制器的体积较小，成本也较低，但 是灵活性、系统资源有限，而且很难进行扩展。 嵌入式d s p 处理器( e m b e d d e dd i g i t a ls i g n a lp r o c e s s o r ，e d s p ) 。d s p 处理对 系统结构和指令进行了特殊设计，使其适合与执行d s p 算法，编译效率较高，指令执行 速度较高。 嵌入式片上系统( s y s t e mo nc h j p ，s 0 c ) 。随着e d i 的推广和v l s j 设计的普及 化及半导体工艺的迅速发展，在一块芯片里面可以实现复杂的系统。s o c 很大程度地减 小了系统的体积和功耗，提高了可靠性。 嵌入式外围设备主要是针对嵌入式微处理器来进行说明的。嵌入式微处理器需要母 板的支持才能正常工作。嵌入式外围设备是指配合嵌入式处理工作的所需的其余部件。 按照外围设备的功能，可以分成以下4 类： 存储器类型。对于没有内置存储器的嵌入式处理器，需要外接存储器来满足要求。 存储器可以分为静态易失型存储器( r a m ，s r a m ) 、动态存储器( d r a m ) 、非易失型存储器 ( r o m ，e p r o m ，e e p r o m ，f 1 a s h ) 。其中，f l a s h ( 闪存) 可以擦写次数多，存储速度快， 容量大及价格便宜等优点在嵌入式领域得到广泛的应用。 普通接口类型。外围设备和嵌入式处理器进行信息交互的通道可以称为接口。为 了实现接口的兼容，许多接口都有详细的标准设计。按照标准设计的接口，就算是由不 同的公司生产，也可以进行通信。目前在嵌入式领域有广泛应用的几种接口，包括 r s 一2 3 2 4 8 5 接口( 串口) ，i r d a ( 红外接口) 、s p i ( 串行外围设备接口) 、i2 c ( 现场总线 浙江人学硕 学位论文 待定) 、u s b ( 通用串行接口) 、e t h e r n e t ( 以太网接口) 、并口以及总线扩展接口。 显示类型。c r t 、l c d 和触摸屏等外围显示设备。特别是多媒体领域，显示设备是 嵌入式系统的一个不可缺少的部件。面向多媒体应用的嵌入式处理器，一般都具有对显 示设备的支持。 特殊设备类型。嵌入式系统是一个面向应用的计算机系统。在进行嵌入式系统设 计时，需要加入一个新的设备来实现某种特殊的应用。比如本系统中的编码电路板，就 是为了实现视频的编码而设计的。 在嵌入式系统中，为了有效地管理硬件资源以及多任务处理操作，在用户应用程序 和嵌入式硬件之间加入了一层软件系统，称为嵌入式操作系统。操作系统包括存储器管 理、硬件设备管理、中断处理、任务间通信、任务调度以及定时器管理等软件模块。嵌 入式操作系统的引入，为用户应用程序的设计提供编程接口。用户应用程序使用这些编 程接口可以实现复杂的逻辑功能。但是嵌入式操作系统本身需要一定的系统资源，而在 嵌入式系统中，系统资源是有限的。这就需要对嵌入式操作系统进行特别设计或者直接 放弃操作系统。 目前，应用比较广泛的嵌入式操作系统主要有：u c o si i 、u c l i n u x 、a r 旷l i n u x 、 v x w o r k s 、d s o s 、n u c l e u s 、p l a m o s 、 w i n d o w sc e 、e m b e d d e dl i n u x 、e c o s 、q n x 、l y n x 以及s y 响i a n 等。 嵌入式应用软件是针对特定的实际应用领域的，基于相应的嵌入式硬件平台的，并 能完成用户预期任务的计算机软件。一般情况下，与p c 机的应用软件相比，嵌入式应用 软件有运行效率和系统资源等要求。在支持操作系统的嵌入式系统中，设计应用软件比 较便利，但是运行效率不如应用程序直接在硬件上运行。 1 1 3 特点 现代计算机技术有两个分支：通用计算机技术和嵌入式技术。与通用的计算机技术 相比，嵌入式技术具有如表1 1 所示的特点。 嵌入式技术通用计算机技术 应用范围 专用较广 体积很小一般较大 成本较低较高 功耗较小较大 设计途径软硬件协同设计硬件很难改动，软件较为方便 浙江大学硕上学位论文 实时性 一般都有很高要求视具体应用而定 工作环境较为恶劣较为温和 存储方式磁盘r o m 系统资源较小较大 调试 硬件和软件都有专门的调试工一般只有软件有调试工具 具 操作系统可有可无有 表1 1嵌入式技术和通用计算机技术的比较 1 2 多媒体压缩编码技术简介 随着计算机的普遍使用，多媒体概念已经深入人们的思想。多媒体技术是指使用图 像和声音两种较直观的媒体类型协同来传递信息的一种技术。在计算机世界里，如果没 有多媒体技术的支持，传递的信息只能是文字或者简单的符号。多媒体技术让计算机世 界变得异常精彩，几乎可以和自然世界相媲美。在后p c 时代里，多媒体技术的应用范围 会更加广阔。特别是基于网络技术和嵌入式技术的多媒体技术将会出现在人类生活的各 个方面，比如可视电话、车载播放器、星际飞船等。 多媒体信息，与其他的信息相比，最大的缺点是需要大量的数据。当多媒体技术和 网络技术相结合时，传输原始的多媒体信息会过度地消耗网络资源。在分析多媒体信息 时，发现多媒体信息具有很大的冗余度。消除多媒体数据信息中的冗余度的技术就可以 称为是多媒体压缩编码技术。合理的多媒体编码技术，一方面可以减小数据量，一方面 又可以保持多媒体信息的完整性。所以，如果有了多媒体编码技术的支持，多媒体信息 就可以在网络上进行传输，给多媒体技术的应用增加了新的亮点砼1 。 图像是多媒体信息的主体。关于图像信息的编码技术是多媒体编码技术的重点。图 像编码主要是为了消除图像信息的冗余度。一般的图像中，有三种类型的数据冗余：编 码冗余、象素间冗余和心理视觉冗余。 编码冗余。在为每个信息选择码字时产生的冗余称为编码冗余。h u m n a n 编码和 算术编码方法都可以有效地消除编码冗余。不只在图像信息领域中，在其他很多领域中， 都会有该冗余的存在。 象素间冗余。图像信息是使用象素来组织的。而一旦相邻的象素间存在一定的相 关性，便会产生象素间冗余。该冗余是图像信息中特有的。为了消除象素间冗余，可以 使用相邻的象素来预测当前的象素，而当前象素的信息就可以用与相邻的象素的预测值 4 浙江大学硕七学位论文 来表示，这时就会有效地减小了该象素的数据量，消除了象素问的冗余。 心理视频冗余。前面的两种冗余都是客观存在的。而心理视频冗余则是有人类主 观决定的。在人类视频系统中，会有差别地对待图像信息的不同部分。那些不十分重要 的信息部分称为心理视觉冗余。这些冗余在不会削弱人类对图像的感知质量的情况下可 以消除。由于消除心理视觉冗余数据会导致一定量信息的丢失，所以这一过程称为“量 化”，属于数据有损编码。上面介绍的消除两种冗余的方法则是属于无损压缩编码的b 。 1 3 本文主要工作以及章节安排 设计与实现一个基于网络技术的嵌入式m p e g 4 视频系统是本文的主要工作。在分 析了本系统的需求之后，提出了基于一个嵌入式平台的系统设计方案( 图1 1 ) 。本文首 先介绍了对嵌入式平台的构建和多媒体压缩编码方式的选择。在分析了选择的嵌入式平 台适合本系统之后，开始基于嵌入式平台的系统设计。软硬件划分是设计工作的开始。 硬件系统主要是指m p e g 4 压缩编码系统。采用专用的m p e g 4 压缩编码芯片来实现对视 频信号的压缩处理。软件系统不仅包括对网络视频硬件系统的初始化和控制部件，还包 括网络服务部件。本文第三章和第四章中分别给出详细的硬件系统和软件系统的设计方 案。最后完成系统的调试。 图1 1 嵌入式网络视频系统 本文中，刨新性设计主要有以下几点： ( 1 ) 本文设计的m p e g 4 嵌入式网络视频系统是完全独立工作的嵌入式系统。选用 微处理器核为a r m 9 2 0 t 的s 3 c 2 4 1 0 芯片为嵌入式处理器。在嵌入式平台上，运行移植 浙江犬学硕上学位论立 的e l i n u ) 【操作系统，支持多媒体视频流的网络服务。i m e 6 4 0 0 芯片实现m p e g 4 硬件压 缩编码功能。 ( 2 ) 实现零拷贝技术。零拷贝技术带来的好处主要有可以减少重复拷贝的c p u 消 耗以及节省系统内存资源。详细的介绍可以见第4 章零拷贝技术。 ( 3 ) 为了在嵌入式系统中实现对视频流的网络服务功能，需要设计支持流媒体传输 的协议。立足于r t p 肛h c p 协议，设计了适合嵌入式系统应用的流媒体网络传输协议。 在第4 章网络服务子模块详细介绍。 本文的章节安排如下： 第一章介绍了嵌入式系统的现状以及发展前景。结合在本文设计的网络视频系统中 的嵌入式系统的应用，介绍了嵌入式系统的概念、组成以及特点等。最后，简要介绍了 多媒体压缩编码技术。嵌入式系统技术和多媒体压缩编码技术是本系统中的两项重要技 术。 第二章首先介绍嵌入式网络视频系统的应用以及特性。按照从上至下的分析方法， 对系统进行模块设计，分模块对系统进行设计，完成系统设计的软硬件划分以及各个模 块的实现方法。最后，在介绍了所选用的s 3 c 2 4 l o 嵌入式平台之后，给出了系统的完整 设计方案。网络视频系统的硬件和软件系统会分别在第3 章和第4 章里面给予详细介绍。 第三章介绍m p e g 4 嵌入式网络视频硬件系统。首先简要介绍了硬件系统所需的专 用芯片i m e 6 4 0 0 视频压缩编码芯片和b t 8 3 5 模拟视频解码芯片。然后，介绍两块芯片在 本系统中的应用方案。最后，完成硬件系统电路的制作并做出电路实物。 第四章详细描述了m p e g 4 嵌入式网络视频软件系统。在完成对软件系统的构建之 后，详细介绍了软件系统的各个部件，包括支持硬件系统的设备驱动程序、用户应用软 件等。在设备驱动程序设计中，采用零拷贝技术，提供系统运行效率。基于t c p i p 协议 和r t p ，r t c p 标准，设计了专用的应用层流媒体传输协议。最后，介绍了在网络视频实 时显示系统中的客户端系统的设计。 第五章介绍m p e g 佴嵌入式网络视频系统的调试。先介绍硬件系统的调试。重点介 绍硬件调试的方法以及注意点。然后介绍软件调试。在完成软硬件调试之后，连接系统 完成调试。 浙江丈学硕上学位论文 第二章嵌入式网络视频系统的总体设计 嵌入式网络视频系统( 见图2 1 ) ，是个基于视频编码技术和网络技术，完成视频 数据采集和处理功能的嵌入式系统。原始的数字视频数据具有很大冗余度，经过了压缩 编码处理之后，生成的视频流才符合做下一步处理工作的要求。网络视频系统就是指将 压缩编码后的视频流通过宽带网络传输给远端的客户系统。客户系统在接收到网络上传 送过来的视频流数据之后，可以直接保存数据或者先将经过压缩编码的数据流解码成原 始的数字视频数据，然后再将原始的视频信息重现出来。同时，远端的客户系统也可以 通过网络对本地视频编码系统进行操作，控制本地系统的运行。 客 i ；誊窿套二 一黪 冬一义 自 一编。； ： 蕤霪 网络链路j 端 守 系 统 麓 鎏燃 图2 1 嵌入式网络视频系统 2 1 系统设计 按照空间的不同，系统可以分成本地服务子系统和客户子系统两个部分( 见图2 _ 2 ) 。 前者是视频流的来源，作为一个视频流服务提供者的形式存在。一般情况下，选择视频 源作为本地系统。视频信号是由本地服务系统采集的。而本地服务系统提供的另一个功 能就是为采集到的视频信号提供网络服务，为客户子系统访问视频信号提供支持。后者 是指视频信号的接收者，也就是通过网络传输得到视频信号并对视频信号进行处理操作 的子系统。 2 1 1 本地服务子系统 网络实时视频系统中，本地服务子系统是视频系统的核心子系统( 见图2 3 ) 。可以 包括两个基本模块：编码模块和服务器模块。编码模块完成对原始视频数据的数字化和 压缩编码处理。服务器模块完成数据网络服务功能。 浙江人学硕上学位论文 2 1 1 1 编码模块 本地服务子系统是视频流的产生地点。而视频流是贯穿整个系统的关键数据。视频 流是指原始数字视频信号经过了压缩编码处理之后的视频数据流。与原始的数字视频信 号相比，视频流的数据量有了很大的减小，但是图像质量的变化可以控制在一定的范围 之内。在编码模块中，选择合适的编码方式是非常重要的。 视频流速率适合网络特性。目前宽带高速网络的出现一定程度地减小了网络资源 的紧张。但是在多媒体应用中，原始的数字视频数据速率太大，在高分辨率的图像中， 数据速率会达到几百m b i t s s 。所以将原始数字视频数据编码生成视频流是实际应用中必 须考虑的一个环节1 。 编码方式的国际标准化。采用标准化的编码方式，可以提供很多的便利。在设计 编码器的时候，只需要遵循编码标准的规定，就能获得广泛的支持。利用该编码器产生 的视频流就能被其他也遵循此标准的解码器顺利地解码。 交互操作和视频流的灵活性。在图2 2 里面可以看到，客户子系统和本地服务子 r 浙江大学碗上学位论文 系统是彼此互相联系的两个子系统。两者之问需要有交互的操作。交互的信息包括视频 流和控制信息。控制信息的操作过程可以看成，客户子系统将控制信息发送给本地服务 子系统，本地服务子系统响应控制信息，改变本地服务子系统的一些状态，而这些状态 改变的最终结果引起了视频流数据的变化，而视频流的变化正是客户子系统所需求的。 可以看出，对于网络视频系统来说，如果需要进行远程控制的话，在对视频流的生成方 面，就必须具有一定的灵活性，根据客户子系统的需求而发生相应的改变。只有当视频 流具有一定的灵活性之后，客户子系统和本地服务子系统的交互操作才能够得到实现。 m p e g 系列和h 2 6 x 系列是其中的代表。两者都是国际中通用的视频编码标准，分 别是由两个独立的国际组织发布的。虽然两个系列的标准都具有编码效率高、性能优良 等共同特点，但是都具有各自独特的优势和应用范围。同一个系列内部，不同的编码标 准也具有一些的差异特性。 h 2 6 x 系列标准是由i 丁u t 组织发布的。h 2 6 1 和h 2 6 3 都是为了适应低码率通信 而设计出来的，主要的应用领域有可视电话和视频会议等。后者具有比前者压缩比大的 优点。h 2 6 3 + 是h 2 6 3 的更新版本，同样也是为了适应低码率通信设计的，但是增加了 很多的可选项，包括视频源格式、图像分辨率、图像时钟频率等。 在m p e g 系列标准的发展过程中，并不单是为了追求更高的编码效率。m p e g l 是 专门用于数字存储媒体视频的编码。相对于h 2 6 x 系列，具有较高的输出码率。目前c d 播放器中，大多采用就是m p e g l 标准，码率可以达到1 4 m b i t “s 。而m p e g 2 在目前的 数字电视以及d v d 等技术中都得到了广泛的应用。与m p e g l 相比，m p e g 2 增加了很 多的新特性，包括隔行扫描视频编码，高分辨率的图像，系统构建和交互操作等。 m p e g 4 标准的出现在一定程度上受到了h 2 6 3 的影响，因为在当时h 2 6 3 的编码效 率和灵活性都已经是非常成熟，所以m p e g 组织在制定m p e g 4 标准时放弃了更新以前 版本的方案，而转向采用全新的基于对象编码的方法。m p e g 4 标准并不只是一个具体的 编码算法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体( w w w 、 资料撷取与分散) 等整合及压缩技术的需求面制定的国际标准。m p e g 4 标准中具有很多的 多媒体框架级，可以满足很多领域的需求。m p e g 4 标准中包括了很多部分的内容，有系统、 视觉、声音、参考软件设计、多媒体整合框架等“1 。 在2 0 0 3 年，m p e g 4p a r t l 0 正式发布，也可以称为是h 2 6 4 。因为这部分内容是两个 组织联合研究和分别发布的。与以前的任何编码标准相比，h 2 6 4 更为详细和清晰地描绘 了编码操作的过程，为编码器的设计提供了很大的便利。而h 2 6 4 标准作为m p e g 4 标准 9 浙扛大学硕士学位论义 的一部分，提高了m p e g 4 标准在编码一般的自然视频数据方面的效率”1 a 在简要的了解几种比较重要的国际视频编码标准之后，在网络视频系统中，m p e g 4 标准是可以符合要求。因为m p e g 4 标准不仅具有较高的编码效率，而且满足交互性和 灵活性的特点。从m p e g 4 标准众多框架中可以选择适合网络传输的框架。同时，m p e g 4 标准对于系统的描述可以给实现m p e g 4 系统提供指导。 对于m p e g 4 编码器的实现，一般可以分成软件和硬件两类。但是在嵌入式系统中， 由于嵌入式c p u 的资源受限，很多情况下，编码器都是利用硬件来实现的。而对于硬件 实现又可以有两种途径：a s i c 和d s p 。前者是指选用由专业编码器设计公司生产的编码 芯片。后者是指选用支持多媒体开发的d s p 芯片，然后按照编码标准设计相应的编码器。 由于后者的开发时间较长和成本都较高，所以本设计中，选择前者来实现m p e g 4 编码 器。 2 1 1 2 网络服务模块 本地服务子系统的另一个功能就是网络服务功能，是由网络服务模块实现的。这一 模块的功能主要有发送视频流给客户子系统和接收视频流控制信息。 由于视频流不同与传统的文字、图片等媒介，它是实时流的结构，本地服务系统和 客户系统之间存在链路关系。这和t c p 传输方式有点相似，但是t c p 的重传机制又是不 符合实时流的传输特性。因为在实时流中，本身的数据量较大，重传会消耗很多的网络 资源。重传的数据对于实时流来说没有太大的意义。实时流一般具有时间独立性的特点。 丢弃传送错误的数据并不会对后面传输的数据产生影响。 在以太网中，由于采用包交换的方式，会产生传输抖动( j m e r ) 。抖动是由传输中各 个分组的传送时间不同和错序所造成的。视频流对抖动非常敏感，轻微的抖动就可能会 让视频流发生错误。 在另一个方面，视频流的传输对网络的服务质量管理( q o s ) 提出了新的要求。由 于视频信号的质量和视频流的速率具有直接的关系。为了能够在当前的网络环境下，取 得最好的视频质量，这就需要为传输的视频流提供q o s 管理。 视频流的传输不能直接使用传统的t c p 和u d p 。目前大多数的多媒体应用都是采 用基于t c p 和u d p 的应用层协议。有些多媒体应用还需要支持组播技术，尤其是在多 点视频会议系统中。r t p i c p 就属于这类基于组播的应用层协议。 i e i f 在1 9 9 6 年就已经接纳r t 啷c p 为i m e r n e t 标准，目前r 肼僳t c p 已经成为 流媒体传输使用的最广泛的协议。r 1 p ( r e a lt i m ep r o t o c 0 1 ) 是提供端对端数据服务的实 1 0 浙江大学硕士学位论文 时传输协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据。r t c p ( r e a i t i m ec o n t m lp m t o c 0 1 ) 则并不直接传输数据，而是监控和控制数据传输的过程。同时， 应用层0 0 s 管理的功能也是由r t c p 提供的。一般情况下，r t c p 提供的q o s 管理包括 拥赛控制和差错控制等 1 。 针对具体应用，i e i f 还制定了r t p 与特定媒体相结合的i m e m e t 标准。根据相应 的标准，可以将特定类型的媒体直接流化，封装为r 曙协议包。在2 0 0 3 年，i e l f 发布 了关于r t p 协议和m p e c 珥相结合的一系列r f c 标准，提出了用于传输m p e g 4 视频流 的r t p 有效负载格式，用于r t p 协议能够有效地传输m p e g 4 视频流。 从上可以看出，r t p ，r t c p 协议是适合m p e g 4 视频流的传输和控制。在网络视频 系统中，网络服务模块可以按照r t p ，r t c p 协议来实现。 r 1 r p 协议传输由编码模块产生的实时m p e g 4 视频流。由于r t p 协议并没有规定 是重传机制，相当于采用了u d p 方式。与u d p 不同的是，r t p 协议中加入了组播机制。 r t c p 协议的主要功能是为多媒体系统提供回话质量或者广播性能质量的信息。 每个r t c p 信息包封装客户端和本地服务器端的统计报表。这些信息包括发送的信息包 数目、丢失的信息包数目以及信息包的抖动等情况。而对于本地服务器端来说，这些信 息可以用来确定网络状况，对自身的状态进行调整，包括控制编码模块和网络服务模块， 而达到网络q o s 管理的目的。对于客户端来说，可以控制r t p 数据包的接收。在接收到 数据包之后，为数据包拆封、重组提供管理。一般情况下，鉴于r t c p 协议包的重要性， r t c p 协议都是利用基于t c p 协议实现的。 2 1 2 客户子系统 在图2 2 中可以看到，客户子系统是视频流的接收者，并且按照自己的需求对视频 流进行相应的处理操作。同时，客户子系统是两个子系统交互动作的发起者( 见图2 4 ) 。 当客户子系统需要视频流的时候，它就会向本地服务子系统发起请求。在发送的请求信 息里面，客户子系统还可以加入自己所需求的视频质量以及分辨率等视频特性参数。在 接收到客户子系统的请求之后，本地服务子系统分析请求信息，生成相应的视频流，并 将视频流发送给客户子系统。 在视频流的传输过程中，客户子系统可以发送改变视频流特征的信息给本地服务子 系统，这时本地服务子系统先暂停数据传输，在根据接收的信息改变编码器的状态之后， 又接着开始数据传输。 当客户予系统不再需要视频流时，它就会发送一个停止信息给本地服务子系统。本 浙江人学硕士学位论文 地服务子系统在接收到停止信息时，首先停止数据传输，然后再让编码器停止工作，这 时整个系统处于初始状态，等待新的客户子系统请求。 在图2 2 可以看到，客户子系统和本地服务系统是密切联系的。在上一节介绍本地 服务子系统中，网络服务模块支持r t p r p 协议，也就是说客户子系统和本地服务系 统是通过r t p r t c p 协议进行交互信息的。客户子系统同样应该支持这种协议。图2 2 中视频流由r 1 p 传输，而控制信息则是由r t c p 传输的。图中只选择控制视频的r t c p 信息包进行描述，在实际系统中，r t c p 包的交互动作是远远不止这些操作的。r t c p 包 应该定时地、持续地在传输过程进行交互，除了控制视频流之外，还应该进行网络o o s 管理。 关于客户子系统接收到视频流之后进行的处理操作，本设计选择实时视频显示这一 操作加以实现。本地服务端的视频信息就可以通过网络在客户端实时进行显示，应用范 围只要包括视频会议、多媒体交互以及视频监控等领域。 2 2 系统实现 在上一节中，介绍了系统的各个组成部分，也简要的描述了系统的模块结果。在这 1 2 浙江人学硕士学位论文 一节中，就会详细的讲解关于系统模块的设计。总的来说，该系统是一个基于嵌入式技 术的多媒体处理系统。从图2 2 可以看出，系统可以分成本地服务端和客户端两个子系统。 在本设计中，客户子系统是基于p c 机的系统，所以客户子系统是利用软件技术来实现的。 嵌入式技术是在本地服务子系统中使用的。本地服务子系统是基于s 3 c 2 4 1 0 嵌入式平台 进行设计的。在介绍详细系统设计之莳，先对嵌入式平台做一些介绍。 2 2 1基于s 3 c 2 4 1 0 的嵌入式平台 s 锄s u n g 公司生产的s 3 c 2 4 1 0 是一款1 6 3 2 位的r i s c 微处理器。该产品是为低功 耗、低成本、高性能的手持设备以及其他的嵌入式系统应用而设计的。s 3 c 2 4 1 0 微处理 器是以a r m 9 2 0 t 为c p u 内核的。a r m 9 2 0 t 提供的m m u 协处理器使系统更好地支持 嵌入式操作系统，包括w i n d o 、c e 、l i n u x 等8 1 。同时，删9 2 0 t 提供的t h u m b 指令集 支持、3 2 位a m b a 系统总线以及哈佛高速缓存结构使微处理器的性能得到了很大的提 高。这些决定了s 3 c 2 4 1 0 可以实现一个性能优良的智能控制系统。s 3 c 2 4 1 0 微处理器提 供了丰富的系统外设，减少嵌入式系统的成本和开发难度。但是由于a i t m 9 2 0 t 微内核 并没有提供d s p 增强技术，所以在多媒体处理系统中，需要外接设备来完成多媒体处理 的工作“1 。 在嵌入式平台中，为了让嵌入式处理器s 3 c 2 4 l o 正常工作，需要配备一些外部设备， 比如s d r a m 、r o m 、网络接口以及其他的一些常见的接口等。这里值得一提的是嵌入 式平台的总线扩展接口。总线扩展口就是为了适应不同的用户需求而设计的。直接将处 理器的一部分总线连接出来再加入其他的系统资源，比如中断等，就可以构成总线扩展 口。处理器可以直接访问连接在该接口上的外部设备。典型的总线扩展接口的引脚可以 见表2 1 。 引脚功能描述 a d d r 【o ：4 】 地址总线最低5 位 d a t a 【o ：1 5 】 数据总线低1 6 位 n g c s b a l l l ( 选择信号 n 也 写有效信号 n o e 读有效信号 n 葡t 等待总线信号 e i n t 外部中断信号 表2 1 总线扩展口的典型引脚 1 3 浙江人学硕士学位论文 在几种嵌入式操作系统中，几款商业操作系统像w i n d o wc e 和v x w o r k ，不仅具有 较高的性能和良好的移植性，而且也提供了良好的开发环境和技术服务。但是都需要较 高的成本，这是在嵌入式系统设计中必须考虑的一个问题。另外，商业操作系统一般都 不提供源码，这使对嵌入式操作系统的研究无法深入。 l i n u x 是完全符合g n u g p l 许可的操作系统内核。它的源码是完全公开的和免费 的。l i n u x 内核支持众多的处理器，并且针对特定的处理器做了许多性能优化工作。目前 在很多的嵌入式处理器上都已经成功的移植了嵌入式l i n u x 操作系统。虽然l i n u x 在实 时性方面不如一些商业的嵌入式操作系统，但是在一些对实时性要求不是很高的嵌入式 系统中得到了广泛地应用。随着l i n l l ) 【2 ，6 版本的推出，对实时性的支持有了很大的提高。 l i t l l l ) ( 内核得到了g n u 组织的支持，提供了一系列的嵌入式系统开发工具。g n u 工具链 支持嵌入式开发的整个过程。 嵌入式l i i l l l ) 【操作系统兼容u n i x 操作系统。许多u n l x 应用程序无需任何改动， 就可以直接在l i n u x 系统中编译运行。l i n u x 操作系统具有u n i x 操作系统几乎一致的编 程接口，这给习惯了u n 操作系统的软件开发者转向l i n u x 操作系统提供了很大的便 利。 按照是否经过了厂商的优化，可以将嵌入式l i l l 慨操作系统分成两类：商业化的嵌 入式l i n l l x 操作系统以及非商业化的嵌入式l i n u x 内核。只有嵌入式l i n u x 内核，是无法 进行嵌入式系统开发的，还需要很多的g n u 项目支持，包括研砌工具链、文件系统等。 而商业化的嵌入式l i n l l ) 【操作系统，除了完成上述的工作以外，还对嵌入式l i n u x 操作 系统做了一些改进，包括实时性扩展以及技术支持培训服务等。选择商业化的嵌入式 l i n i l 】( 操作系统可以减小很多的工作并且提高了系统的性能，另外，使用商业化的嵌入式 l i n u x 操作系统是不需要版权费，只需付给商家一定的服务费。 本设计中，选择商业化的m i z il i n u x 操作系统在嵌入式平台运行。相应的交叉开发 环境选用：宿主机( p c 机) 采用f e d o r ac o r e3 ，采用c 0 m 口和目标体通信；交叉环境 使用a r m g c c 一2 9 5 3 ；嵌入式操作系统内核版本为1 i n u x 一2 4 1 8 一r m k 7 d x a 卜m z 4 。 2 。2 2 设计方案 图2 5 是m p e g 4 网络视频系统的设计原理图。m p e g 4 视频压缩标准实现数字视频 信号的压缩编码处理。s 3 c 2 4 1 0 嵌入式平台实现视频流网络服务功能。 1 4 浙江大学硕士学位论文 图2 5m p e g 4 嵌入式网络视频系统 总的设计方案可以见图2 6 。本地服务子系统可以作为一个独立的嵌入式系统进行设 计。在设计嵌入式系统时，首先需要解决的是软硬件划分的问题。本地服务子系统包括 两个基本的工作模块：编码模块和网络服务模块( 见图2 3 ) 。 由于成本和开发时间方面进行能够考虑，编码模块采用硬件进行设计而且选用专门 的遵循m p e c h 视频编码标准的芯片来实现。在本设计中，选用韩国i n t h e 公司生产的 i m e 6 4 0 0 芯片来实现m p e g 4 编码。选择c o l l ) ( e n t 公司生产的b t 8 3 5 芯片来实现对模拟 视频信号的数字化和解码操作。 对于网络服务模块，利用嵌入式平台的t c p 仃p 网络功能，实现专用的r t p 爪t c p 协议。在所实现的协议的基础上，完成对网络服务模块的设计和实现。 如果按照软件和硬件设计来对该系统需要的设计进行分类，则可以见表2 - 2 。 浙江大学硕士学位论文 客户子系统本地服务子系统 网络服务模块 软件客户端模块e l i n u x 操作系统( 编码模块硬件的驱动程 设计序) 硬件无编码模块 设计 表2 2 软硬件划分 本章小节 网络视频系统是一个本地服务端和客户端相互通信的视频系统。在介绍了系统的特 性和要求之后，分模块对系统进行了设计。系统的设计可以分成几个部分，包括客户端模 块、网络服务模块、e l i n u x 操作系统( 编码模块硬件的驱动程序) 以及编码模块。网络 视频硬件系统主要是指编码模块。网络软件系统是指在e l i n l l ) 【嵌入式平台上运行的软件 系统。这两个系统分别在后面的两章里给予介绍。 1 6 浙江大学硕士学位论文 第三章嵌入式网络视频硬件系统 网络视频系统硬件系统主要是指编码模块。编码模块的核心功能是完成视频信息的 m p e g 4 编码。选用l m e 6 4 0 0 芯片束实现m p e g 4 编码的功能。但是般情况下，在视频 信号发送给编码模块之间，还需要视频格式的解码。如果采集到的原始视频信号为模拟 的话，还需要先进行模数转换操作( 见图3 1 ) 。模数转换和视频格式的解码操作可以用 一块专用的芯片来实现。本设计选择c o n x e n t 公司的b t 8 3 5 芯片来实现这部分功能。 编码模块和嵌入式平台需要交互信息。两者之间需要一个能够满足数据传输和控制 要求的接口。嵌入式平台提供的c p u 外围总线接口为设计提供了便利，不仅数据传输速 度较快，而且对外围设备的控制较为方便。 3 1 芯片介绍 在编码模块中，主要的芯片分别是1 1 1 t i m e 公司的i m e 6 4 0 0 和c o n x e m 公司的b t 8 3 5 。 前者是第一款出现为高分辨率的实时视频系统设计的m p e g 4 编码器，单芯片实现视频 和音频的四通道编码，在一些多数据源的视频领域应用比较方便。本设计中，只使用了 i m e 6 4 0 0 的单通道编码功能。后者是专门用于多种视频格式的解码器，包括n t s c 、p a l 、 s e c a m 以及s v i d e o 等视频格式。而且低功耗和性能稳定的优点使它在p c 和可携式 浙江大学硕上学位论文 设备中的视频捕捉系统中得到了广泛应用。 3 1 1l 眦：6 4 0 0 i m e 6 4 0 0 芯片是由一个3 2 一b i tr i s cc p u 和一些专门为视频和音频处理设计的硬件 模块构成的( 见图3 2 ) 。黜s cc p u 控制和协调其他的硬件模块。而r j s cc p u 的运行是由 f i 肿w a r e 控制。这为芯片的工作提供了很大的灵活性。外部控制器可以访问f i n n w a r e ， 按照自己的需求设置相应