（机械设计及理论专业论文）基于ip的嵌入式声像传输系统.pdf

北京邮电大学硕士论文 基于i p 的嵌入式声像传输系统 摘要 本文所描述的基于i p 的嵌入式声像系统是实验室为北京翰林精工集团 开发的能够在嵌入式端和p c 间进行双向语音通信，并可在p c 端对嵌入式端 进行视频监控的一套系统，即语音双向传输，视频单向传输。本系统已在2 0 0 8 年1 2 月成功部署，至今运行良好。 系统嵌入式端采用了a r m 9 核的$ 3 c 2 4 4 0 作为处理器，结合u d a l 3 4 1 音频 c o d e c ，c s 8 9 0 0 网卡作为音频和网络应用的硬件平台，并外接了摄像头和显示 触摸屏完成视频采集和人机界面交互。嵌入式端操作系统采用l i n u x ，内核 版本号2 6 1 3 。应用软件部分语音通信移植了目前应用广泛的l i n u x 开源软 件l i n p h o n e ，嵌入式视频服务器自主开发。在p c 上用v c 编写了p c 端应用程 序。 本文详细的分析了i i s 音频总线原理，给出了s 3 c 2 4 4 0 + u d a l 3 4 1 音频系 统的硬件连接和寄存器配置，在此基础上研究了l i n u x 驱动结构，并详细分 析了驱动各部分代码。在应用软件部分，本文给出了v o i p 软件的嵌入式端移 植过程和m i n i g u i 界面编程；在远程监控部分，本文详细分析了嵌入式服务 器和客户端的编写过程。 论文的主要创新点在于在嵌入式端将语音通信和远程监控结合起来，在 对硬件资源充分利用的同时节省了开销。此外作为一个订制系统本设计有很 多地方考虑到了厂家的实际需要，在为厂家提供便利的同时也在产品设计上 有所创新。 论文的主要工作包括嵌入式和通信相关技术的研究与学习，研究各芯片 和嵌入式端的硬件原理，系统的编译和声卡驱动的编写和修改，以及应用软 件的开发和移植。 关键词：嵌入式v o i p 远程监控a r mi i s 北京邮电大学硕士论文 i p b a s e de m b e d e da u d i oa n dv i d e o t r a n s m i s s i o ns y s t e m a b s t r a c t 1 1 1 es y s t e md e s c r i b e db yt h i sp a p e ri sar e m o t ea u d i oa n dv i d e ot r a n s p o r t i n gs y s t e m i ti s d e s i g n e df o rd r p h a r mp r e c i s i o nm a c h i n e r yc o ，l t df o rm o n i t o r i n gp r o d u c t i o nd e p a r m e n t a n dt a l k i n gt ow o r k e r si nt h eo f f i c eo ro t h e rp l a c e s i ti sc o m p o s e do fo n ep ca n ds e v e r a l e m b e d d e dt e r m i n a l ，m e ya r ec o n n e c t e db ye t h e r n e t 1 1 1 es y s t e mw a sd e p l o y e di nd e c e m b e r 2 0 0 8 ，a n dh a sb e e nw o r kw e l ls i n c et h e n i nf i r s tc h a p t e r , t h ep a p e rg i v e ss o m eb a s i ck n o w l e d g ei n c l u d i n ge m b e d d e dt e c h n o l o g y , v o i pa n dr e m o t em o n i t o r i n g c h a p t e r2d e t a i l e di n t r o d u c e st h eh a r d w a r ea n ds o t t w a r e p l a t f o r m sf o rt h es y s t e m c h a p t e r3s t u d i e st h es o u n d c a r dd r i v e ro ft h ee m b e d d e dt e r m i n a l s c h a p t e r4a n dc h a p t e r5s e p a r a t e l yg i v ed e s i g n so ft h ev o i pa n dr e m o t em o n i t o r i n gs y s t e mi n e m b e d d e dt e r m i n a la n dp cp l a t f o r m c h a p t e r6t e s t sb o t hv i d e oa n da u d i os y s t e mt h e ng i v ea 8 u l l l r i z e n em o s tc r e a t i v ep a r to ft h i sa r t i c l ei sv o i pa n dr e m o t em o n i t o rv i d e o8 e l v c ra l e c o m b i n e di nt h ee m b e d d e dt e r m i n a l s t l l i sd e s i g nm a k e st h eb e s to ft h eh a r d w a r er e s o u r c ea t t h es a m et i n er e d u c e dc o s t s i na d d i t i o n ，弱am a d et oo r d e rs y s t e m ，n ec u s t o m e r s f a c i l i t ya r e a l w a y st a k ei n t oa c c o u n t , 8 0t h i sd e s i g nh a sm a n yn e wp o i n t s 1 1 1 em a i nt a s ko ft h ep a p e ri n c l u d i n g ：s t u d y i n gt h ek n o w l e d g eo fe m b e d d e ds y s t e ma n d v o i pk n o w l e d g e , l o o ka tt h ed a t a s h e e t so fc p u c h i pa n ds o u n de o d e e ，t r a n s p l a n tt h el i n u x k e r n e la n dv o 口s o f t w a r et ot h eh a r d w a r ep l a t f o r m , ，d e v e l o pt h e $ e r v o ra n dc l i e n tp r o g r a m m e f o rv i d e om o n i t o r a tl a s tw es u m m a r i z et h e6 n i s h e dw o r k , t h e nt e s ta n de s t i m a t et h es y s t e m k e y w o r d s ：e a l b e d e ds y s t e mv o i p r e m o t em o n i t o ra r mi i s 声明 声明户明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确地说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：b 巾妨 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻 读学位期间论文工作的知识产权单位属北京邮电大学学校有权保留并向国家有关部门或机构 送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分 内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密 后遵守此规定) 保密论文注释：本学位论文属于保密在- 年解密后适用本授权书非保密论文注释：本 学位论文不属于保密范围，适用本授权书。 本人签名：生哒 导师签名：奢恳瓶 日期：型兰：三：! 日期：出互三( 第1 章绪论 1 1 嵌入式系统简介 第1 章绪论 嵌入式系统( e m b e d d e ds y s t e m ) 是当今热门的概念之一，在大多数网站或专业书籍 中，对嵌入式系统的定义为：以应用为中心，计算机技术为基础，软硬件可裁剪并适用于 应用系统对功能，可靠性，成本，体积，功耗有严格要求的专用计算机系统，该系统一般 由嵌入式微处理器，外围硬件设备，嵌入式软件操作系统以及用户的应用程序四大部分组 成，用于实现对其他外部设备控制以及网络的数据交换等功能。针对于某种特定的应用需 求，嵌入式系统嵌入到对象软硬件体系中。“嵌入性，“专用性 和“计算机系统 是嵌 入式系统的三个基本概念，对象系统则是嵌入式系统所嵌入的宿主系统。 嵌入式系统与普通的p c 系统相比有以下特点： 1 ) 嵌入式系统功耗低，体积小，专用性强。嵌入式c p u 工作在为特定用户群设计的 系统中，能够把p c 中许多板卡完成的任务集成到芯片内部，有利于嵌入式系统设计的小 型化。 2 ) 嵌入式系统中的软件一般固化在存储芯片或单片机本身中，以提高实行速度与系 统可靠性。硬软件都必须高效设计，系统要精简，对软件代码质量要求很高。操作系统一 般和软件集成在一起。 3 ) 嵌入式系统开发需要专门的开发工具和开发环境。 1 1 1a r m 微处理器核 a r m 是一类微处理器，同时也是一个公司的名字。a r m 公司与1 9 9 0 年1 1 月在英 国剑桥成立，原名a d v a n c e dr i s cm a c h i n e ，它是全球领先的1 6 3 2 位嵌入式r i s c 微处 理器解决方案供应商，向全球各大领先电子公司提供高性能，低成本和高效率的r i s c 处 理器，外设和系统芯片授权。目前，全世界有几十家著名的半导体公司都使用a r m 公司 的授权，其中包括m o t o r o l a ，s a m s u n g ，i b m ，a t m e l ，s o n y ，l g 等。 a r m 微处理器核技术广泛运用于便携式通信产品，手持运算，多媒体和嵌入式解决 方案领域，已成为r i s c 标准。a r m 处理器核是系统的引擎，它从存储器读取a r m 或 t h u m b 指令并执行这些指令。目前基于a r m 核的处理器主要有以下几大类【l 】： 1 ) a r m 7 系列。a r m 7 系列包括：a r m 7 2 0 t ，a r m 7 e j s ，a r m 7 t d m i 和 第l 章绪论 a r m 7 t d m i s ，见表1 1 。最常用到的是a r m 7 t d m i 。t 代表的是支持t h u m b 指令集， d 代表支持片上调试，m 代表内嵌硬件乘法器，i 表示支持片上断点和调试点。主要应用 于个人音频设备( 如m p 3 ) ，无线手持设备等。最适合对价位和功耗要求高的消费类产品。 表1 1a r m 7 系列处理器 c a c h e t i g h t l y m e m o r y b u st h u m bd s pj a z e l l e ( i n s t d a t a ) c o u p l e dm s g m e m o r y a i t m 7 2 叮8 k bm m ua h by e sy e sn o a i 泓7 e j sa h 旧髟嚣y e sy e s a r m 7 1 d m ia h by 醯n on o a i t m 7 1 d m i - sa h by e sn on o 2 ) a r m 9 系列。a r m 9 系列包括：a r m 9 2 0 t ，a r m 9 2 2 t 和a r m 9 4 0 t ，见表l - 2 。 这一系列的处理器主要应用于下一代手持设备产品，视频电话，p d a ，数字消费产品，机 项盒，家用网关等方面。 表1 2a r m 9 系列处理器 c a c h e t i g h a yc o u p l e dm e m o r y b u st h u m bd s pj a z e l l e ( i n s t d a t a ) m e m o r ym s g a r m 9 2 0 t1 6 k b 1 6 k b【m 【ua s by e sn on 0 a r n l 9 2 2 t8 k b 8 k bn 咖a s by e sn on o a r m 9 4 时 f i x e d o ya s by e sn on o 3 ) a r m 9 e 系列。a r m 9 e 系列包括：a r m 9 2 6 e j - s ，a r m 9 4 6 e s ，a r m 9 6 6 e s 和 a r m 9 6 8 e s 。这一系列处理器可为综合处理器，使用单一的处理器内核提供了微控制器， d s p ，j a v a 应用系统的解决方案，因此适用于同时使用d s p 和微控制器的应用。该系列 强化了数字信号处理功能，可以应用于需要d s p 与微控制器相结合使用的情况，将t h u m b 技术和d s p 技术都扩展到a r m 指令集中，并具备e m b e d d e d l c e - r t 逻辑，更好的适应 了实时系统得开发需求。 4 ) s t r o n g a r m x s c a l e s t r o n g a r m 是采用a r m 体系结构高度集成的3 2 位r i s c 微处 理器。他融入了i n t e l 公司设计和微处理技术，以及a r m 体系结构的电源效率，其体系 结构在软件上兼容a r m v 4 体系结构，同时又具有i n t e l 公司手持消费类电子设备和移动 计算与通信设备生产的嵌入式微处理器。 x s c a l e 是基于a r m v 5 t e 体系结构的解决方案，是一款性能全，性价比高，功耗低的 处理器，支持1 6 位的t h u m b 指令和d s p 指令集，主要应用于数字移动电话，个人数字 助理和网络产品等场合。 本论文的开发平台使用了基于a r m 9 核心的微处理器，因此在本小节将重点介绍这 款芯片。目前市场上主流的a r m 微处理器基本上都是a r m 7 和a r m 9 。两者性能上的 2 第l 章绪论 差异也符合和不同产品的需要。 a r m 9 t d m i 核将a r m 7 t d m i 的功能显著的提高到更高更快的水平 2 1 。a r m 9 t d m i 也支持t h u m b 指令集，并支持片上调试功能。最显著的区别就是流水线从3 级增加到5 级。其实a r m 9 使用5 级流水线也是受到s t r o n g a r m 的启发而设计的，并针对s t r o n g a r m 中不足之处作了改进与优化，从而获得更好的性能。a r m 7 的流水线操作如图1 1 所示： 取撸l 译码 执行i l ：取指l 译码l 执行l 出【翌u 塑制觞 图1 - 1a r m 7 流水线操作 到a r m 7 为止，上述的3 级流水线性价比很高，但随着市场对产品性能要求的提高， 使得原来的3 级流水线开始无法满足需要，因此删9 处理器使用5 级流水线。同时具 有分开的指令和数据存储器，减少了在每个时钟周期内必须完成的最大的工作，进而允许 使用更高的时钟频率，5 级流水线具体如下： ” 1 ) 取址：从寄存器中取出指令，并将其放入指令流水线。 2 ) 译码：对指令进行译码。 3 ) 执行：把一个操作数移位，产生舭的结果。 4 ) 缓冲数据：如果需要，则访问数据存储器；否则6 叫的结果只是简单的缓冲1 个时钟周期，以便所有的指令具有相同的流水线流程。 5 ) 回写：将指令产生的结果写回寄存器堆中，包括任何从寄存器中读取的数据。 图1 2 比较了a r m 7 的3 级流水线和a p , _ m 9 的5 级流水线。该图显示了处理器的主 要处理功能如何在增加的流水线之间的重新分配，以使得时钟频率在相同的工艺下取得提 高。 k e g 读l 移龇u | k e g 写 1 1 2典型的嵌入式操作系统 图1 - 2a r m 9 流水线操作 目前国际上有两百多种嵌入式操作系统，这些操作系统可以分为实时操作系统和非实 3 第l 章绪论 时操作系统。对于时间要求非常紧的系统，可称之为实时操作系统。个人电脑中常用的 w i n d o w 系列的操作系统不算是实时操作系统，因为实时系统的一个重要的特点就是对时 间要求非常严格。如果实时系统没有在某一时间段响应某件事情，系统就会出错。 “实时和“非实时 这两个术语联系非常紧密，以至于很多人提出这样的问题：嵌 入式系统到底是不是实时系统。应该说，它们是同义的，但不完全相同的。可以认为，至 少嵌入式系统是软实时系统，所有的嵌入式系统都是实时系统，但并不是所有的实时系统 都是嵌入式系统，原因就在于软实时和硬实时的区别【3 】。硬实时系统是一个刚性的，不 可改变的时间限制，它不允许任何超出范围的错误。超出范围的错误会带来损害甚至导致 系统失败，或者导致系统不能实现它预期的目标。软实时系统的时限是一个柔性灵活的， 它可以容忍偶然的超时错误。失败的后果并不严重，仅仅轻微降低系统的吞吐量。 从2 0 世纪8 0 年代开始，市场上出现各种各样的商用嵌入式操作系统，这些操作系统 大部分都是为专有系统开发的，从而逐步演化形成现在市场上各种形式的嵌入式操作系统 百家争鸣的局面。这些操作系统有v x w o r k s ，l i n u x ，w i n d o wc e ，p s o s 和s y m b i a n e 。 在所用的操作系统中，l i n u x 无疑是发展得最快，应用最广泛的。l i n u x 本身的种种 特制使其成为嵌入式错作系统的首选。在进入市场的前两年，嵌入式l i n u x 的设计通过广 泛的应用而获得巨大的成功。随着嵌入式l i n u x 技术的成熟，定制需要的内核尺寸非常方 便，同时支持更多的硬件平台，并从早期的试验阶段迈进到嵌入式市场的主流。 根据i d c 的报告，l i n u x 已经成为全球第二大操作系统，预计在服务器市场上，l i n u x 在未来的几年内将以每年2 5 的速度增长，中国的l i n u x 市场更是能保证近4 0 的增长 速度。l i n u x 发展如此之快的原因主要在于产品的成本。在激烈竞争的市场中，只拥有先 进的技术远远不够，如何减少产品成本的投入也是需要重点考虑的问题。免费开源的 l i n u x 无疑为厂商节约了一大笔开支。 嵌入式l i n u x 协会( e l c ) 在2 0 0 2 年底发布了e l c 产品规范版本1 0 ( e l c p s ) ，它 给以后的应用与二次开发带来许多好处。首先，嵌入式l i n u x 的发布可以很清楚的显示自 身的功能特性；其次，第三方类库的中间程序在很少或者没有额外接口的条件下就可以运 行不同的嵌入式l i n u x 配置；再次，软件开发人员可以将程序段写入一个现成的a p i 中， 并相信这一代码可以为其它的嵌入式l i n u x 环境提供接口。 另外一种嵌入式l i n u x 就是u c l i n u x ，它去掉了l i n u x 中的内存管理单元，主要用于 没有内存管理单元的处理器( 如三星公司的8 3 c 4 4 b o x 处理器) ，该系统直接访问内存， 所有程序所访问的地址都是物理地址。 4 第1 章绪论 1 2v o i p 关键技术 v o i p 网络电话，中文就是“通过口数据包发送实现的语音业务 ，它使你可以通过 互联网免费或是资费很低地传送语音、传真、视频和数据等业务。其基本原理就是通过语 音压缩设备对我们的语音进行压缩编码处理，然后再把这些语音数据根据相关的协议进行 打包，经过p 网络把数据包传送到目的地后，再把这些语音数据包串起来，经过解压解 码处理后，恢复成原来的信号，从而达到由口网络发送语音的目的。简而言之，v o i p 网络电话就是通过互联网打电话，将网络电话机直接接上诸如a d s “也就是超级一线通) 、 有线宽带、l a n 也就是单位局域网) 等任何宽带接口，简单设置所申请的地址号码后，即 可象打普通电话一样随意拨打想通话的号码了。 传统的p 网络主要是用来传输数据业务，采用的是尽力而为的、无连接的技术，因此 没有服务质量保证，存在分组丢失、失序到达和时延抖动等情况。数据业务对此要求不高， 但话音属于实时业务，对时序、时延等有严格的要求。因此必须采取特殊措施来保障一定 的业务质量。v o i p 电话n o i p 网络电话的关键技术包括：信令技术、编码技术、实时传 输技术、服务质量( q o s ) 保证技术、以及网络传输技术等。 1 2 1信令技术 信令技术保证电话呼叫的顺利实现和话音质量，目前被广泛接受的v o i p 控制信令体 系包括r r i 丌的h 3 2 3 系列和m t f 的会话初始化协议s i p 。 u 的h 3 2 3 系列建议定义了在无业务质量保证的因特网或其它分组网络上多媒体 通信的协议及其规程【4 】。h 3 2 3 标准是局域网、广域网、i n t r a n e t 和i n t e r n e t 上的多媒 体提供技术基础保障。h 3 2 3 是i t u t 有关多媒体通信的一个协议集，包括用于i s d n 的 h 3 2 0 ，用于b i s d n 的h 3 2 1 和用于p s t n 终端的h 3 2 4 等建议。其编码机制，协议范围 和基本操作类似于i s d n 的q 9 3 1 信令协议的简化版本，并采用了比较传统的电路交换的 方法。相关的协议包括用于控制的h 2 4 5 ，用于建立连接的h 2 2 5 0 ，用于大型会议的h 3 3 2 ， 用于补充业务的h 4 5 0 1 h ，4 5 0 2 和h 4 5 0 3 ，有关安全的h 2 3 5 ，与电路交换业务互操作的 h 2 4 6 等。h 3 2 3 提供设备之间、高层应用之间和提供商之间的互操作性。它不依赖于网 络结构，独立于操作系统和硬件平台，支持多点功能、组播和带宽管理。h 3 2 3 具备相当的 灵活性，支持包含不同功能的节点之间的会议和不同网络之间的会议。h 3 2 3 建议的多媒体 会议系统中的信息流包括音频、视频、数据和控制信息。信息流采用h 2 2 5 0 建议方式来 打包和传送。 5 第l 章绪论 c o n t r o id a t aa u dl ov id e oa nc n t lc o n t r o l h 2 2 5 0h 2 4 5t 1 2 0 t c pu d p i p 图1 - 3h 3 2 3 仂议栈 h 3 2 3 呼叫建立过程涉及到三种信令：r a s 信令( r - - 注册：r e g i s t r a t i o n 、a = 许可： a d m i s s i o n 和s = 状态：s t a t u s ) ，h 2 2 5 0 呼叫信令和h 2 4 5 控制信令。其中r a s 信令用来 完成终端与网守之间的登记注册、授权许可、带宽改变、状态和脱离解除等过程；h 2 2 5 0 呼叫信令用来建立两两个终端之间的连接，这个信令使用q 9 3 1 消息来控制呼叫的建立和 拆除，当系统中没有网守时，呼叫信令信道在呼叫涉及的两个终端之间打开；当系统中包括 一个网守时，由网守决定在终端与网守之间或是在两个终端之间开辟呼叫信令信道；h 2 4 5 控制信令用来传送终端到终端的控制消息，包括主从判别、能力交换、打开和关闭逻辑信 道、模式参数请求、流控消息和通用命令与指令等。h 2 4 5 控制信令信道建立于两个终端 之间，或是一个终端与一个网守之间。图1 3 为h 3 2 3 协议栈。 虽然h 3 2 3 提供了窄带多媒体通信所需要的所有子协议，但h 3 2 3 的控制协议非常复 杂。此外，h 3 2 3 不支持多点发送( m u l t i c a s t ) 协议，只能采用多点控制单元( m c u ) 构成 多点会议，因而同时只能支持有限的多点用户。h 3 2 3 也不支持呼叫转移，且建立呼叫的时 间比较长。与h 3 2 3 相反，s i p 是一种比较简单的会话初始化协议。它不像h 3 2 3 那样提 供所有的通信协议，而是只提供会话或呼叫的建立与控制功能。s i p 可以应用于多媒体会 议、远程教学及i n t e r n e t 电话等领域。s i p 既支持单点发送( u n i c a s t ) 也支持多点发送会 话参加者和媒体种类可以随时加入一个已存在的会议。s i p 可以用来呼叫人或机器设备， 如呼叫一个媒体存储设备记录一个会议，或呼叫一个点播电视服务器向会议播放视频信 号。 会话初始化协议s i p 是由i e t f 提出并主持研究的一个应用层控制信令协议。它被用 6 第1 章绪论 来创建、修改以及终止一个或多个参与者参加的会话进程，可在会话中邀请其它参与者加 入。这些会话包括所有i n t e r n e t 上交互式两方或多方多。 s i p 是一种应用层协议【5 】，可以用u d p 或t c p 作为其传输协议。与h 3 2 3 不同的是： s i p 是一种基于文本的协议，用s i p 规则资源定位语言描述( s i pu n i f o r n lr e s o u r c el o c a t o r s ) ， 这样易于实现和调试，更重要的是灵活性和扩展性好。由于s i p 仅作于初始化呼叫，而不是 传输媒体数据，因而造成的附加传输代价也不大。s i p 的u r l l 甚至可以嵌入到w e b 页或 其它超文本链路中，用户只需用鼠标一点即可发出一个呼叫。与h 3 2 3 相比，s i p 还有建立 呼叫快，支持传送电话号码的特点。图1 4 为s i p 协议栈 廉甩屡 俺鞠层 穗络屡 链舔凄 鐾理屡 1 2 2语音编码技术 图1 _ 4s i p 协议栈 语音压缩编码技术是v o i p 电话v o i p 网络电话技术的一个重要组成部分。目前，主要 的编码技术有u t 定义的g 7 2 9 、g 7 2 3 ( g 7 2 3 1 ) 等。 g 。7 2 9 协议是由u - t 的第1 5 研究小组提出的，并在1 9 9 6 年3 月通过的8 k b p s 的语 音编码协议。 g 7 2 9 协议使用的算法是共轭结构的算术码本激励线性预测( c s a c e l p ) ，它基于 c e l p 编码模型。由于g 7 2 9 编解码器具有很高的语音质量和很低的延时，被广泛地应用 在数据通信的各个领域，如v o i p 和h 3 2 3 网上多媒体通信系统等。 电话线路上的模拟语音信号，经话路带宽滤波( 符合i t u - tg 7 1 2 建议) 后，被8 k h z 采样，量化成16 b i t 线性p c m 数字信号输入到编码器。该编码器是基于线性预测分析合 成技术，尽量减少实际语音与合成语音之间经听觉加权后差分信号的能量为准则来进行编 码的。编码器的其主要部分有：线性预测分析和l p c 系数的量化、开环基音周期估计、 7 第1 章绪论 自适应码本搜索、固定码本搜索和码本增益量化。 q 7 2 9 的解码也是按帧进行的，主要是对符合( 2 7 2 9 协议的码流进行解码，得到相应 的参数，根据语音产生的机理，合成语音。解码过程主要分为：参数解码和后滤波处理。 参数解码是首先解码得到线谱对参数，并将线谱对参数转换为线性预测系数。然后解 码出基音周期，获得自适应码本矢量v ( n ) 。解码出固定码本矢量的四个脉冲的位置和符 号，计算出固定码本矢量c ( n ) 。解码出固定本预测增益g c 和固定码本增益，接着得到激 励信号。最后将激励信号输入到线性预测合成滤波器中，计算出重构语音。 后滤波处理主要是自适应后滤波。自适应后置滤波器是由三个滤波器级连而成：长时 后置滤波器h p ( z ) ，短时后置滤波器h f ( z ) ，频谱倾斜补偿滤波器h t ( z ) ，后面接着进行一 个自适应增益控制过程。后置滤波器的系数每一个子帧更新一次。后置滤波能够有效地 改善合成出的语音质量。 g 7 2 3 1 采用5 3 6 3 kb i t s 双速率话音编码，其话音质量好，但是处理时延较大，它是目 前已标准化的最低速率的话音编码算法。 g 7 2 3 1 为i t u t 于1 9 9 6 订定的双速元语音编码压缩标准，其主要的速元为6 3k b p s 与5 3k b p s 两种，它采用音框导向( f r a m e - o r i e n t e d ) 处理模式，将输入的语音讯号，切成 一连串固定长度的音框，每个音框有2 4 0 个数位化之取样值( 每一个取样值是由8k i - i z 取 样频率取样，再以1 6b i t s 量化而成1 l ，以音框为编码压缩的处理单位，每个音框的时距 为3 0m s 。在编码区块的流程上，两速元编码方式的参数计算过程大致相同，主要之差异 在于残余讯号的编码。 由于q 7 2 3 1 也属于c e l p ( c o d e - e x c i t e dl i n e a rp r e d i c t i o n ) 编码一族，它拥有传统参 数编码法( v o c o d e r ) 与波形编码法( w a v e f o r mc o d e r ) 的优点，以一线性预测滤波器( l i n e a r p r e d i c t i o nf i l t e r ) 来表示语音讯号的短时距( s h o r t - t e r m ) 特性之数学模型，并以基频预测方 式( p i t c hp r e d i c t i o n ) 来找出语音讯号的长时距( l o n g - t e ：n ：n ) 之类周期，再加上谐波杂讯整型 器( h a r m o n i cn o i s es h a p i n gf i l t e r ) ，过滤讯号中之杂讯的类周期性；最后，再以多重脉冲 ( m u l t i - p u l s e ) 讯号来逼近残余讯号，进行量化编码。其编码架构区块，主要有线性预测分 析，共振峰感观式权重滤波器( f o r m a n tp e r c e p t u a lw e i g h t i n gf i l t e r ) ，基频估计与预测，谐 波杂讯整型滤波器，激发源计算( e x o t a t i o nc o m p u t a t i o n ) ，参数编码方法等六个部份，其 编码架构区块，主要有线性预测分析，共振峰感观式权重滤波器( f o r m a n tp e r c 印t u a l w e i g h t i n gf i l t e r ) ，基频估计与预测，谐波杂讯整型滤波器，激发源计算( e x c i t a t i o n c o m p u t a t i o n ) ，参数编码方法等六个部份。 解码端的操作仍以音框为处理单位，首先将接收到的l s p 传输码进行解码，内插， 合成l p c 系数供合成滤波器系数( s y n t h e s i sf i l t e r ) 之用，并将每个次音框的基频参数传输 8 第1 章绪论 码与激发源参数传输码进行解码，以产生新的激发源讯号，再经由各级滤波器的层层过滤 而合成语音， 1 2 3实时传输技术 实时传输协议( r e a l t i m et r a n s p o r tp r o t o c o l ，r t p ) 是在i n t e m e t 上处理多媒体数据 流的一种网络协议【6 】，利用它能够在一对一( u n i c a s t ，单播) 或者一对多( m u l t i e a s t ，多 播) 的网络环境中实现传流媒体数据的实时传输。r t p 通常使用u d p 来进行多媒体数据 的传输，但如果需要的话可以使用t c p 或者a t m 等其它协议，整个r t p 协议由两个密 切相关的部分组成：r t p 数据协议和r t p 控制协议。实时流协议( r e a lt i m es t r e a m i n g p r o t o c o l ，r t s p ) 最早由r e a ln e t w o r k s 和n e t s c a p e 公司共同提出，它位于r t p 和r t c p 之上，其目的是希望通过网络有效地传输多媒体数据。 r t p 数据协议 r t p 数据协议负责对流媒体数据进行封包并实现媒体流的实时传输，每一个r t p 数 据报都由头部( h e a d e r ) 和负载( p a y l o a d ) 两个部分组成，其中头部前1 2 个字节的含义 是固定的，而负载则可以是音频或者视频数据。r t p 数据报的头部格式如图1 5 所示： 其中比较重要的几个域及其意义如下： 1 ) c s r c 记数( c c ) 表示c s r c 标识的数目。c s r c 标识紧跟在r t p 固定头部之 后，用来表示r t p 数据报的来源，r t p 协议允许在同一个会话中存在多个数据源，它们 可以通过r t p 混合器合并为一个数据源。例如，可以产生一个c s r c 列表来表示一个电 话会议，该会议通过一个r t p 混合器将所有讲话者的语音数据组合为一个r t p 数据源。 2 ) 负载类型( p t ) 标明r t p 负载的格式，包括所采用的编码算法、采样频率、承 载通道等。例如，类型2 表明该r t p 数据包中承载的是用ug - 7 2 1 算法编码的语音数 据，采样频率为8 0 0 0 h z ，并且采用单声道。 3 ) 序列号。用来为接收方提供探测数据丢失的方法，但如何处理丢失的数据则是应 用程序自己的事情，r t p 协议本身并不负责数据的重传。 4 ) 时间戳。记录了负载中第一个字节的采样时间，接收方能够时间戳能够确定数据 的到达是否受到了延迟抖动的影响，但具体如何来补偿延迟抖动则是应用程序自己的事 情。 9 第1 章绪论 071 5 3 l 版斟p | x 障参与鼬 有效载荷类型序号 时间戳 同步源标识符( s s r c ) 参与源标识符( c s r c 一 一 口首部 l m p 首刮r t p 首部 or t p 数据部分 。 图1 - 5r t p 数据报头 从r t p 数据报的格式不难看出，它包含了传输媒体的类型、格式、序列号、时间戳 以及是否有附加数据等信息，这些都为实时的流媒体传输提供了相应的基础。r t p 协议 的目的是提供实时数据( 如交互式的音频和视频) 的端到端传输服务，因此在r t p 中没 有连接的概念，它可以建立在底层的面向连接或面向非连接的传输协议之上；r t p 也不 依赖于特别的网络地址格式，而仅仅只需要底层传输协议支持组帧( f r a m i n g ) 和分段 ( s e g m e n t a t i o n ) 就足够了：另外r t p 本身还不提供任何可靠性机制，这些都要由传输协 议或者应用程序自己来保证。在典型的应用场合下，r t p 一般是在传输协议之上作为应 用程序的一部分加以实现的。 r t c p 控制协议 r t c p 控制协议需要与r t p 数据协议一起配合使用，当应用程序启动一个r t p 会话 时将同时占用两个端口，分别供r t p 和r t c p 使用。r t p 本身并不能为按序传输数据包 提供可靠的保证，也不提供流量控制和拥塞控制，这些都由r t c p 来负责完成。通常r t c p 会采用与r t p 相同的分发机制，向会话中的所有成员周期性地发送控制信息，应用程序 通过接收这些数据，从中获取会话参与者的相关资料，以及网络状况、分组丢失概率等反 馈信息，从而能够对服务质量进行控制或者对网络状况进行诊断。 r t c p 协议的功能是通过不同的r t c p 数据报来实现的，主要有如下几种类型： 1 ) s r 发送端报告，所谓发送端是指发出r t p 数据报的应用程序或者终端，发送端 同时也可以是接收端。 2 ) r r 接收端报告，所谓接收端是指仅接收但不发送r t p 数据报的应用程序或者终 端。 3 ) s d e s 源描述，主要功能是作为会话成员有关标识信息的载体，如用户名、邮件 地址、电话号码等，此外还具有向会话成员传达会话控制信息的功能。 4 ) b y e 通知离开，主要功能是指示某一个或者几个源不再有效，即通知会话中的其 1 0 第1 章绪论 他成员自己将退出会话。 5 ) a p p 由应用程序自己定义，解决了r t c p 的扩展性问题，并且为协议的实现者提 供了很大的灵活性。 r t c p 数据报携带有服务质量监控的必要信息，能够对服务质量进行动态的调整，并 能够对网络拥塞进行有效的控制。由于r t c p 数据报采用的是多播方式，因此会话中的所 有成员都可以通过r t c p 数据报返回的控制信息，来了解其他参与者的当前情况。 在一个典型的应用场合下，发送媒体流的应用程序将周期性地产生发送端报告s r ， 该r t c p 数据报含有不同媒体流间的同步信息，以及已经发送的数据报和字节的计数，接 收端根据这些信息可以估计出实际的数据传输速率。另一方面，接收端会向所有已知的发 送端发送接收端报告r r ，该r t c p 数据报含有已接收数据报的最大序列号、丢失的数据 报数目、延时抖动和时间戳等重要信息，发送端应用根据这些信息可以估计出往返时延， 并且可以根据数据报丢失概率和时延抖动情况动态调整发送速率，以改善网络拥塞状况， 或者根据网络状况平滑地调整应用程序的服务质量。 1 2 4 服务质量( q o s ) 保证技术 v o i p 电话v o i p 网络电话中主要采用资源预留协议( r s v p ) 以及进行服务质量监控 的实时传输控制协议r t c p 来避免网络拥塞，保障通话质量 1 2 5网络传输技术 v o i p 电话v o i p 网络电话中网络传输技术主要是t c p 和u d p , 此外还包括网关互 联技术、路由选择技术、网络管理技术以及安全认证和计费技术等。由于实时传输协议 r t p 提供具有实时特征的、端到端的数据传输业务，因此v o i p 电话n o i p 网络电话中可 用r t p 来传送话音数据。在r t p 报头中包含装载数据的标识符、序列号、时间戳以及传 送监视等，通常r t p 协议数据单元是用u d p 分组来承载，而且为了尽量减少时延，话音净 荷通常都很短。i p 、u d p 和r i p 报头都按最小长度计算。v o 口话音分组开销很大，采用 r t p 协议的v o i p 电话v o i p 网络电话格式，在这种方式中将多路话音插入话音数据段中， 这样提高了传输效率。此外，静音检测技术和回声消除技术也是v o i p 电话v o i p 网络电 话中十分关键的技术。静音检测技术可有效剔除静默信号，从而使话音信号的占用带宽进 一步降低到3 5kb i t s 左右；回声消除技术主要利用数字滤波器技术来消除对通话质量影 响很大回声干扰，保证通话质量。 第l 章绪论 1 3 远程视频监控系统 1 3 1视频监控系统概述 从上个世纪9 0 年代以来，随着科学技术的迅速发展，人们的生产行为、生活方式都 发生了重大的变化，作为生活生产中非常重要的一项技术即视频监控技术的重要性正在逐 渐被人们所认识和重视。视频监控系统的演变，是一个基于单片机系统从集中监控向基于 嵌入式专用位处理器网络监控的发展历史。早期的监控系统，采用大型仪表集中对各个重 要设备的状态进行监视，并通过操作盘来进行集中式操作。而计算机监控系统是以监测控 制计算机为主体，加上检测装置、执行机构与被监测控制的对象( 生产过程) 共同构成的 整体。在该系统中，计算机实现了生产过程的检测、监督和控制功能。在现代企业的生产 和管理中，大量的物理量、环境参数、工艺数据、特性参数需要进行实时检测、监督管理 和自动控制，而嵌入式监控技术与多媒体网络技术的结合，使得这些现场参数、数据可以 通过由直观的视频图像数据来获取。 随着生产力的进步，设备的分布越来越离散。单一的，各自独立的监测系统已不能适 应工业化的需求，于是便产生了分布式系统。这种系统以计算机网络为基础，嵌入式硬件 设备为平台，使系统资源分配趋于合理。但是由于目前运行的绝大多数分布式监测系统还 只是在局域网上，通常的测控仅局限于同一地点，所以具有一定的地域局限性。i n t e m e t 能实现资源的共享，从而使人们有能力解决以前在极有限的资源下很难解决的问题，为远 程监控系统的发展提供了有利的条件。远程监控是本地计算机通过网络系统如 i n t e m e t i n t r a n e t ，对远端进行监视和控制，完成对分散控制网络的状态监控及设备的诊断 维护等功能。我们通常把能够实现远程监控的通信媒体、嵌入式软件、硬件系统称为远程 监控