（信息与通信工程专业论文）远程监控系统客户端软件的设计与实现.pdf

电子科技大学硕士学位论文 摘要 嵌入式多媒体远程监控系统以其能实时、形象、真实的反映被监控对象的特 性，逐渐成为现代化管理、监测、控制的重要技术手段之一。与传统的多媒体监 控系统相比，嵌入式多媒体远程监控系统具有体积小、图像质量稳定、远距离监 控等优点，具有良好的应用与发展前景。 本文课题以银行监控应用为背景，构建了一个基于c l i e n t s e r v e r 结构的远程 监控系统。本系统综合利用传感器技术、数据采集技术、网络通信技术、多媒体 技术及面向对象编程技术，具有设备控制、消防保安等功能，可以同时在远程机 和服务器上通过语音、信号灯等多种方式显示和处理监控和报警信息。该监控系 统以监控信息的实时操作和实时控制为中心，充分利用了现有的局域网资源和广 域网资源。整个系统采用分层的、面向对象的设计方法，具有结构模块化、层次 化、接口简单、适应性强、升级扩展方便等特点，并可根据本系统的通讯设计规 范对特殊的网络结构进行二次开发，具有良好的开放性。 论文的核心内容是客户端软件系统的设计与实现。作者以模块化的软件设计 思想对客户端软件系统进行了模块的划分和细化，然后详细介绍了各子模块的设 计和主要功能函数的设计，其中包括以下主要内容： f 1 ) 调用音频底层函数w a v e x 对a d p c m 音频解码； ( 2 ) 调用源代码开放的x v i d 库对m p e g l 和m p e g 4 视频解码，并将其封 装到d i r e c t s h o w 中； ( 3 ) 网络传输时依靠t c p 传送命令、r t p 传送数据以及r t c p 保证q o s ， 并在网络接口与上层程序之间设计了一个双缓冲区，尽量减小网络抖动带来的影 响，t c p 和u d p 编程由w i n s o c k 实现，r t p r t c p 编程由源代码开放的j r t p l i b 库实现； ( 4 ) 使用d i r e c t s h o w 技术提供多媒体程序开发的框架，将各个功能分解到 单一的c o m 组件中，如此的c o m 组件在d i r e c t s h o w 中被称为过滤器，主要的 过滤器有网络数据读取过滤器、m p e g 4 解码过滤器、运动检测过滤器、字符叠 加过滤器和提交过滤器； ( 5 1v c 和v b 混合编程，v c 设计下层程序，打包成动态连接库，提高效率， v b 设计上层友好界面。 然后论文介绍了对客户端软件系统的测试结果。最后论文对系统的结构和 性能做出了总结和改进完善的建议。 关键词：多媒体远程监控系统，a d p c m ，m p e g 4 ，u d p t c p i p ，r t p r t c p ， q o s ，d i r e c t s h o w 电子科技大学硕士学位论文 a b s t r a c t e m b e d d e dm u l t i m e d i ar e m o t em o n i t o r i n gs y s t e me a r lr e f l e c tt h eo b j e c t b e i n gm o n i t o r e d v i v i d l y a n dt r u l yi n r e a lt i m es t a t e ，w h i c hm a k ei tb e c o m e so n eo ft h e i m p o r t a n tm e a n so f m o d e r n i z a t i o nm a n a g e m e n t ，m o n i t o r i n ga n dc o n t r 0 1 c o m p a r i n gw i t ht h et r a d i t i o n a lm u l t i m e d i a m o n i t o r i n gs y s t e m ，e m b e d d e dr e m o t em u l t i m e d i as y s t e mh a st h ec h a r a c t e r i s t i c so f s m a l lv o l u m e ， h j g hs t a b l ei m a g eq u a l i t y ，l o n gd i s t a n c em o n i t o r , e t cs oi t h a sg o o da p p l i e da n dd e v e l o p m e n t a l o u t l o o k o nt h eb a s i so f m o n i t o r i n gs y s t e mi nt h eb a n k ，t h i st h e s i sd e s i g n sae m b e d d e dm u l t i m e d i a r e m o t em o n i t o r i n gs y s t e mt h a tb a s e do nc l i e n t s e r v e ra r c h i t e c t u r es y n t h e s i z i n gt h et e c h n o l o g yo f s e n s o r ，d a t aa c q u i s i t i o n ，n e t w o r kc o m m u n i c a t i o n ，m u l t i m e d i a ，a n do o p ( o b j e c to r i e n t e d p r o g r a m m i n 曲，t h i ss y s t e mc a np r o v i d ed e v i c ec o n t r o la n d f i r ea l a r ma n dc a na sw e l ld i s p l a ya n d p r o c e s st h em o n i t o r i n ga n da l a r m i n gi n f o r m a t i o n o nb o t hs e r v e ra r mc l i e n t ，b ym a n i f o l dm e t h o d s ， s u c ha ss p e a k e r ，s i g n a ll a m pa n de t c t h i sm o n i t o r i n gs y s t e mi sf o c u s e do nr e a l - t i m ec o n t r o la n d m o n i t o ri nl o c a ln e t w o r ka n dw i d ea r e an e t w o r k w i t ht h eo b j e c t - o r i e n t e dd e s i g na n dl a y e r e d s t r u c t u r e ，i tp o s s e s s e st h e s ef e a t u r e s ：m o d e l e d ，l a y e r e d ，s i m p l ei n t e r f a c e ，e a s yo p e r a t i o n ，s t r o n g a d a p t a t i o n ，u p g r a d a b l ea n ds oo n a d d i t i o n a l l y ，t h es e c o n dd e v e l o p c a nb ed o n et os p e c i a ln e t w o r k w i t hk e e p i n gt ot h ec o m m u n i c a t i o no f t h i ss y s t e m t h ed e s i g na n di m p l e m e n t a t i o no fc l i e n ts o f t w a r es y s t e m i st h ec o r ec o n t e n to ft h i s t h e s i s t h ew r i t e rd e s i g n st h i ss o f t w a r es y s t e mb ym o d u l es e p a r a t i n gs o f t w a r ed e s i g nm e t h o dt h e n s u b m o d u l e sa n dm a i nf u n c t i o n sa r ed e s i g n e di nd e t a i l ，i n c l u d i n g ： ( 1 ) d e c o d ea d p c m a u d i o b yw a v e x a p l ( 2 ) d e c o d em p e g i a n dm p e g 4b yf r e ex v i ds d k ，w h i c hi se n c a p s u l a t e di n t od i r e c t s h o w a r c h i t e c t u r e ( 3 ) d u r i n gn e t w o r kt r a n s m i s s i o n ，c o n t r o lc o m m a n d sa r es e n tb y t c pa n dm u l t i m e d i ad a t ai s d o n eb yr t p , m e a n t i m er t c p p r o v i d e sq o s t h e r e i sad u a l b u f f sb e t w e e nn e t w o r ka p p l i c a t i o n a n dn e x ta p p l i c a t i o ni no r d e rt or e d u c en e t w o r kw o b b l e t c p u d pa r er e a l i z e db yw i n s o c ka p i a n dr t p r t c pa r ed o n eb yf r e ej r t p l i bs d k ， ( 4 ) d i r e c t s h o wt e c h n o l o g yp r o c i d e s a na r c h i t e c t u r ef o r d e v e l o p m e n t o fm u l t i m e d i a a p p l i c a t i o n s i n g l e f u n c t i o ni s d e s i g n e db y c o mm o d u l e ，w h i c hi sc a l lf i l t e ri nt h e d i r e c t s h o w t h e r ea r em a i n l yr e a d i n gd a t af r o mn e tf i l t e r , d e c o d i n gm p e g 4v i d e of i l t e r , m o t i o n d e t e c tf i l t e r , t i t l eo v e r l a yf i l t e ra n dr e n d e rf i l t e ri nt h ed i r e c s h o wa r c h i t e c t u r e ( 5 ) v c a n dv ba r eb o t hu s e df o rs o f t w a r ed e v e l o p m e n t v cd e s i g n su n d e r - a p p l i c a t i o nf o r e f f i c i e n c ya n dm a k e i ti n t od 1 1 v bd e s i g n sf r i e n du p p e r - i n t e r f a c ea p p l i c a t i o n l l 电子科技大学硕士学位论文 t h e nt h es y s t e mt e s tr e s u l ti s b r i e f l yd e s c r i b e di nt h ee n do ft h et h e s i s ，t h ec o n c l u s i o n so n s y s t e ms t r u c t u r ea n dp e r f o r m a n c e a r eg i v e no u ta n dt h ed e v e l o p m e n to f r e m o t em o n i t o r i n gs y s t e m i nf u m r ei sa l s os u g g e s t e d k e y w o r d s ：m u l t i m e d i ar e m o t em o n i t o r i n gs y s t e m ，a d p c m ，m p e g 4 ，u d p f f c p i p r t p r t c p ，q o s ，d i r e c t s h o w 1 1 1 电子科技大学硕士论文 独创- i 生声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：盗左生签日期：z 。s 年牛月27 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：厶堑丛导师签名： 日期：2 p 口f 电子科技大学硕士学位论文 1 1 课题的背景 第一章引言 随着国民经济和科学技术的发展以及人民生活水平的提高，人们对日常工 作的条件和环境的要求也在不断。这种情况下，对于以往些工作环境恶劣，地 理位置较远或者有可能危及人身健康甚至生命的场合，采用无人职守作业的需求 就门益突出了。 无人职守作业已经成为许多行业的迫切需要，在银行系统也是如此。鉴于现 今银行的安全要求，如果每天二十四小时派人去进行现场值班工作既浪费人力物 力财力，也不便于管理和处理突发情况，所以用于远程的无人职守监控系统的设 计就被提出。对于远距离无人职守的银行，为了及时了解现场的工作情况，这就 需要一套远程监控系统，使之能对银行的危险区域和保险箱、前台等关键控制区 域以及银行四周图像的非法入侵进行音频和视频监控，并且能够对现场发生的异 常情况进行自动报警，以便远端值班中心操作人员及时发现和解决意外情况，并 自动记录下意外情况的整个过程。 通过公用或者专用网络，将远程现场展现在远端控制中心值班人员面前或者 对远程现场情况进行实时录像，并对异常情况能进行报警提示。开发具有这样功 能的一个监控系统，可以大大提高银行系统的工作效率，减少开销，确保安全。 将系统稍作改动，也可用于其它远程监控现场的应用。这些年，随着国民经济的 发展，远程监控系统的应用已经越来越广泛： ( 1 ) 制造企业的生产现场，随着制造企业现代化的不断发展，以及制造企业 的不断计算机化，制造企业的监控将成为一个热点。 ( 2 ) 今智能楼宇中的综合监控管理系统，包括楼宇设备管理、保安管理、 停车监控等等。 ( 3 ) 无人职守的终端。 ( 4 ) 今银行、邮电、水利、交通等大型公共设施。 ( 5 ) 大型仓库及军事基地等场所。 ( 6 ) 家庭用户，随着人民生活水平的提高以及计算机的家庭普及率的提高， 家庭小型监控系统的需求量也很大。 1 2 监控系统的发展 视频监控系统的发展大致经历了三个阶段。在九十年代初以前，主要是以 模拟设备为主的闭路电视监控系统，称为第一代模拟监控系统。最简单的监控系 电子科技大学硕士学位论义 统是由一架摄像机和一台监视器组成，中间用馈线连接，不需要特殊处理，仪适 用于近距离单点监控，应用受到很大限制。目前广泛使用的模拟监控系统多采用 宽带的同轴电缆为传输介质，以模拟信号传输，图像效果较好，也可实现多点龉 控。但传输距离短，且造价较高，不适合于远距离监控。九十年代中后期，随着 计算机处理能力的提高和视频技术的发展，人们利用计算机的高速数据处理能力 进行视频的采集和处理，利用显示器的高分辨率实现图像的多画面显示，从而大 大提高了图像质量，这种基于p c 机的多媒体主控台系统称为第二代数字化本地 视频监控系统。 九十年代末，虽然基于p c 的远程监控系统仍然占据监控系统的主要市场， 但是它具有：结构复杂，稳定性、可靠性不高，价格高昂、操作烦琐等缺陷。特 别是很多场合需要在一个监控现场安装多个摄像头，并需要在监控终端同时对多 个监控现场进行实时监控。对于这种需求，如果仍然采用基于p c 的远程监控技 术，利用专用的压缩解压卡来实现视频数据的压缩和解压，就需要大量的压缩 解压卡，使整个系统更加复杂，稳定性和可靠性更低，而整个系统的成本也变得 更加昂贵。 二十一世纪初，随着远程监控系统被越来越多的应用于各个领域，对视频 监控系统的要求也越来越高：操作简单、实时可靠、多功能、数字化、经济实用 的视频监控系统的开发和设计正越来越多地受到人们的瞩目。与此同时，随着网 络带宽、计算机处理能力和存储容量的快速提高，以及各神实用视频处理技术的 出现，视频监控步入了全数字化的网络时代，基于嵌入式技术的网络化视频监控 系统应运而生，此类监控系统又采用了m p e g 4 、h 2 6 3 、h 2 6 4 等先迸的编解码方 法，开辟了监控系统的新时代，该类监控系统被统称为第三代远程视频监控系统。 嵌入式系统被定义为：以应用为中心、以计算机技术为基础、软件硬件可裁 剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系 统。嵌入式系统以其本身体积小，实时性高，稳定性好，支持以太网等优点，成 为工控领域的新热点。基于嵌入式技术的网络化视频监控系统有效地将嵌入式技 术和视频技术结合在一起，可以很好地解决基于p c 的视频监控系统中存在的问 题。1 基于嵌入式技术的网络化视频监控主要的原理是：在监控现场采用嵌入式 技术。摄像机传送来的视频信号和麦克风采集的音频信号数字化后由高效压缩芯 片压缩，通过组播方式传送到网络上。网络上用户可以直接用监控系统客户端软 件收看监控现场的图像，授权用户还可以控制摄像机云台镜头的动作或对系统配 置进行操作。在监控现场利用嵌入式技术，采用专用芯片和实时操作系统，有效 地提高了系统的实时性和稳定性。而且把视频压缩和网络传输功能集成到一个体 电子科技大学硕士学位论文 积很小的设备内，可以直接连入以太网，达到即插即看，省掉各种复杂的电缆， 安装方便( 仅需设置一个i p 地址) ，无需专人值守。 在监控终端，远程监控人员只需拥有一台安装了客户端软件的p c 机，无需 安装特殊的硬件设备，就可以在世界的任何一个地方，对监控现场进行实时远程 监控。这样大大降低了系统的成本，极大地方便了整个监控系统的操作和维护。 与基于p c 的视频监控系统相比，基于嵌入式技术的网络化视频监控系统具 有：体积小，安装方便，现场无需专人值守，成本低，稳定性高，实时性好等特 点。因此基于嵌入式技术的网络化视频监控系统必将有良好的应用与发展前景。 1 3 课题来源 本课题源于四川绵阳九洲电子科技有限公司与电子科技大学通信学院合作 研制开发多媒体数字视频监控系统的项目。本课题的开展，在跟踪国内外先进的 计算机网络与多媒体技术的同时，对于积极开展企业与高校间的产学研结合，推 进科研成果产品化的进程具有积极的意义。同时，本项目的开发完成将直接产生 经济和社会效益。 1 4 课题的任务 该课题所研发的监控系统集成第三代监控系统所要求的特性，同时具备数字 音视频录像机( d v r ) 和数字音视频服务器( d v s ) 的功能。它完全脱离p c 平台，建 立在嵌入式处理器和嵌入式操作系统上，不采用p c 处理器和p c 操作系统。此外， 本监控系统具有m p e g l 和k l p e g 4 可选择视频流压缩、实时视频和音频预览、视频 信号和音频信号切换、本地录像文件回放、实时网络传输、远程文件回放和下载、 支持流协议、支持双向语音对讲等功能。 1 4 1 基本功能 ( 1 ) 采用嵌入式实时多任务操作系统( r t o s ) 和嵌入式处理器，完全脱离p c 平台，系统调度效率高，代码固化在f l a s h 中，系统更加稳定可靠。 ( 2 ) 采用m p e g 4 硬件压缩技术，压缩比高。 ( 3 ) 多级用户权限管理，保证系统安全。 ( 4 ) 支持一个硬盘接口；支持一个r s 一4 8 5 接口，用于控制云台；支持一个 v g a 接口；支持一个r s 一2 3 2 接v 1 ，用于m o d e m 连接。 1 4 2 压缩功能 ( 1 ) 支持多达1 6 路的视频信号，每路皆可实现每秒2 5 帧c i f 分辨率的独立 硬件压缩，视频压缩采用可选的m p e g l 和m p e 6 4 技术，不仅支持变码率，而且支 电子科技大学硕士学位论文 持变帧率。可设定视频图像质量，也可设定视频图像的压缩码流。支持多达1 6 路音频信号，每路音频信号独立实时压缩，也可保持静音。 ( 2 ) 支持多种分辨率，从f u l ld 1 ( 7 2 0 5 7 6 ) 到o c i f ( 1 7 6 1 4 4 ) 。 ( 3 ) 支持视音频实时预览和切换。 ( 4 ) 支持区域移动侦测。 ( 5 ) 支持图象掩盖，掩盖位置可以在视频图像中的任何位置。 1 4 3 网络功能 ( 1 ) 支持u d p t c p t p 、r t p r t c p 等网络协议。 ( 2 ) 可以使用客户端软件设置参数、实时浏览一路或者多达十六路的视频和 音频信号、查看视频设备状态、控制云台和镜头、下载远程的存储文件。 ( 3 ) 支持通过客户端软件和服务器端的双向语音通信。 ( 4 ) 具备w e bs e r v e r 功能，可以通过浏览器访问和设置服务器端。 1 4 4 存储功能 ( 】) 支持八个 d e 硬盘，每个硬盘的容量可达2 0 0 0 6 8 。 ( 2 ) 硬盘文件系统为f a t 3 2 ，硬盘上的文件可以选择循环记录和非循环记录。 ( 3 ) 支持u s b 闪盘、u s b 硬盘、u s b 刻录机。 ( 4 ) 文件记录有六种模式：定时录像、手动录像、移动检测录像、报警录像、 移动检测录像报警录像、移动检测1 报警录像。 1 5 本人完成的工作 本人完成的主要工作包括以下内容： ( 1 ) 与他人共同完成了基于网络的远程监控系统的总体设计。 ( 2 ) 完成了本监控系统客户端软件的总体设计，并实现其功能，能够达到 公司实际应用的基本要求。 ( 3 ) 采用先进的m p e g 4 编解码方式，使得视频流远程传输成为可能，同时 提供可选的m p e g l 编解码方式。 ( 4 ) 采用专门面向流媒体的r t p r t c p 协议，并改进了现有的o o s 算法，保 证了网络传输的实时性和可靠性。 ( 5 ) 使用针对多媒体开发的d i r e c t s h o w 技术，开发出多个基于c o m 组件 的过滤器，极大提高了多媒体应用软件的开发效率。 ( 6 ) v b 、v c 和s d k 的混合编程，既保证了底层程序的运行效率，又能为用户 提供友好的上层界面。 ( 7 ) 其他一些关键技术的解决，l e , 女w 双缓冲区的设计，图像重叠技术，模拟 4 电子科技大学硕士学位论文 服务器的设计等等。 本论文主要的安排如下，第一章中介绍了课题的背景和来源，第二章中介绍 了监控系统的总体结构和客户端软件的结构设计，第三章介绍了m p e g 编解码方 法和运用，第四章介绍了r t p r t c p 等协议的应用和一种保证q o s 的改进算法， 第五章介绍了先进的d i r e c t s h o w 技术和应用，第六章介绍了多语言混合编程及 其上层友好界面的实现，第七章给出了课题结果，并针对监控系统的发展和本课 题的进展提出了自己的一些观点。 电子科技大学硕士学位论文 2 1 系统总体设计 第二章监控系统的设计 系统总体框架如图2 - 1 所示。安装在现场的摄像头和麦克将采集的模拟音 视频信号送入采用l i n u x 操作系统的d v r 。模拟信号被分成两路，一路直接送入 监视器进行本地回放，另一路被送入i m e 6 4 0 0 编码器编码成m p e g 4 或者m p e g l 的 视频流和a d p c m 的音频流，从编码器出来的音视频流再被分为两路，一路送入本 地硬盘存储，另一路通过网络发送到客户端。 客户端把服务器端传来音视频数据分为两路，一路进行客户端存储，另一路 启动d i r e c t s h o w 流水线，将视频信号和音频信号分离，分别送入各自的解码器。 对于视频信号，针对不同的编码方式，还需选择m p e g 4 或者m p e g l 的解码器。最 后，解码后的音视频信号被送入对应的设备进行实时预览。” 2 2 服务器端设计 图2 - 1 监控系统总体框图 服务器端是一台完全脱离p c 的嵌入式网络数字硬盘录像机( d v r ) ，同时也作 为数字音视频服务器( d v s ) 使用。该d v r 采用嵌入式处理器和嵌入式操作系统 l i n u x ，其核心部件是i m e 6 4 0 0 音视频编码器，该编码器支持多种音视频格式编 码和运动检测编码”，其结构如2 2 所示。 电子科技大学硕士学位论文 图2 - 2i m e 6 4 0 0 结构图 2 3 监控系统客户端设计 本远程监控系统采用服务器客户端( s c ) 模式，多个用户可以通过多台装有 客户端软件的p c 机远程访问和控制服务器，操作简单方便。客户端软件是本监 控系统的特色之一，也是本文主要的内容，其结构如图2 - 3 所示。 图2 - 3 客户端软件结构 客户端软件可分为网络接口模块、音视频解码模块、音视频回放模块、运 动检测报警模块和录像模块等，而音视频解码、音视频回放和运动检测报警等模 电子科技大学硕士学位论文 式都被置于d i r e c t s h o w 框架之中。 ( 1 ) 网络接口模块负责和服务器的连接工作，包括通信的建立、数据格式的 约定以及音视频信号和控制信息的传递。 ( 2 ) 音视频解码模块负责解码网络接收音视频数据。 ( 3 ) 音视频回教模块将来自前端的多路视频信号同时显示在用户窗口上，将 一路音频信号送入声卡。 ( 4 ) 运动检测报警模块即数字视频序列的运动检测，它负责监控各路实时图 像，将报警信息及时传递到用户界面，报警模块还包括烟雾、红外等其它报警功 能，并可将灯光控制集成在此模块上。 ( 5 ) 录像模块包括将无人监控的图像信息保存在硬盘上，等待用户的处理。 以下各章将分别从音视频编解码，保 i j eo o s 的网络，d i r e c t s b o w 框架，友 好的用户界面四大模块对客户端软件进行详细介绍，相关的关键技术将在相应的 章节中得到阐述。 8 电子科技大学硕士学位论文 第三章音视频编解码设计 3 1 音频编解码设计 3 1 1 音频格式介绍 通常所说的音频是指频率在2 0 h z 2 0 k h z 的声音信号，分为：波形声音、语 音和音乐三种，其中波形声音就是自然界中所有的声音，是声音数字化的基础。 语音也可以表示为波形声音，但波形声音表示不出语言、语音学的内涵。音乐与 语音相比更规范一些，是符号化了的声音。但音乐不能对所有的声音进行符号化。 将模拟的( 连续的) 声音波形数字化( 离散化) ，以便利用数字计算机迸行处理 的过程，主要包括采样和量化两个方面。 数字音频的质量取决于：采样频率和量化位数这两个重要参数。此外，声道 的数目、相应的音频设备也是影响音频质量的原因。音频文件通常分为两类：声 音文件和m i b i 文件。声音文件是指通过声音录入设备录制的原始声音，直接记 录了真实声音的二进制采样数据，通常文件较大。m i d i 文件是一种音乐演奏指 令序列，相当于乐谱，可以利用声音输出设备或与计算机相连的电子乐器进行演 奏，由于不包含声音数据，其文件尺寸较小。由于本课题中没有用到m i d i 文件， 所以只介绍声音文件。 声音文件包括w a v e 文件、a i f f 文件、a u d i o 文件、m p e g 文件及其r e a l a u d i o 文件等。在本课题中，声音数据不但来自网络，也可能从w a v e 文件中读取。 w a v e 文件作为多媒体中使用的声音文件格式之一，是以r i f f 格式为标准的。 a i f f 是音频交换文件格式( a u d i oi n t e r c h a n g ef il ef o r m a t ) 的英文缩写，是 苹果计算机公司开发的一种声音文件格式。每个w a v e 文件的头四个字节便是 “r i f f ”。w a v e 文件由文件头和数据体两部分组成。其中文件头又分为r i f f 文 件标识段和w a v e 声音数据格式说明段两部分。w a v e 文件头格式见表3 - 1 。 偏移地址字节数数据类型内容 o o h4c h a r“r i f f ”标志 0 4 h4 l o n gj n t文件长度 0 8 h 4c n a r“w a v e ”标志 o c t t4c n a r“f m t ”标志 1 0 h4过渡字节( 不定) 1 4 h2i n t格式类别( 0 1 为p c m ，0 2 为a d p c m ) 1 6 h 2i n t通道数，单声道为l ，双声道为2 电子科技大学硕士学位论文 1 8 h2i n t 采样率( 每秒钟样本数) 1 c h4 l o n g i n t 波形音频数据传送率，其值为通道数每 秒数据位数x 每样本的数据位数8 2 0 h2i n t数据块调整数( 鞍字节算的) ，其值为通道 数每样本数据位置8 2 2 1 1 2样本的数据位数 2 4 t 4c h a r数据标记符“d a t a ” 2 8 h4 1 0 n g i n t 语音数据的长度 表3 1w a v e 文件头格式说明表 常见的w a v e 文件主要有两种，分别对应于单声道( 1 1 0 2 5 k b z 采样率、8 b i t 的采样值) 和双声道( 4 4 1 k h z 采样率、1 6 b i t 的采样值) 。w a v e 文件数据块包 含以脉冲编码调制( p c m ) 格式表示的样本。w a v e 文件是由样本组织而成的。在 单声道w a v e 文件中，声道0 代表左声道，声道l 代表右声道。在多声道w a v e 文 件中，样本是交替出现的。 3 1 2 音频压缩编码介绍 语音压缩编码中的数据量是指：数据量= ( 采样频率量化位数) 8 ( 字节数) x 声道数目。压缩编码的目的：通过对资料的压缩，达到高效率存储和转换资料 的结果，即在保证一定声音质量的条件下，以最小的资料率来表达和传送声音信 息。实际应用中，未经压缩编码的音频资料量很大，进行传输或存储是不现实的。 所以要通过对信号趋势预测和冗余信息处理，进行资料的压缩，这样就可以使我 们用较少的资源建立更多的信息。举个例子，没有压缩过的c d 品质的资料，一 分钟的内容需要l i m b 的内存容量来存储。如果将原始资料进行压缩处理，在确 保声音品质不失真的前提下，将数据压缩一半，5 5 m b 就可以完全还原效果。而 在实际操作中，可以依需要来选择合适的算法。常见的几种音频压缩编码有以下 几种： ( 1 ) 波形编码：将时间域信号直接变换为数字代码，力图使重建语音波形保 持原语音信号的波形形状。波形编码的基本原理是在时间轴上对模拟语音按一定 的速率抽样，然后将幅度样本分层量化，并用代码表示。译码是其反过程，将收 到的数字序列经过译码和滤波恢复成模拟信号。如：脉冲编码调制( p u l s ec o d e m o d u l a t i o r l ，p c m ) 、差分脉_ 冲编码调制( d p c m ) 、增量调制( d m ) 以及它们的各种 改进型。如自适应差分脉冲编码调制( a d p c m ) 、自适应增量调制( a i n ) 、自适应 传输编码( a d a p t i v et r a n s f e rc o d i n g ，a t c ) 和子带编码( s b c ) 等都属于波形 编码技术。波形编码特点：高话音质量、高码率，适于高保真音乐及语音。 ( 2 ) 参数编码：参数编码又称为声源编码，是将信源信号在频域或其它正交 1 0 电子科技大学硕士学位论文 变换域提取特征参数，并将其变换成数字代码进行传输。译码为其反过程，将收 到的数字序列经变换恢复特征参量，再根据特征参量重建语音信号。具体说，参 数编码是通过对语音信号特征参数的提取和编码，力图使重建语音信号具有尽可 能高的准确性，但重建信号的波形同原语音信号的波形可能会有相当大的差别。 如：线性预测编码( i p c ) 及其它各种改进型都属于参数编码。该编码比特率可 压缩到2 k b i t s 一4 8 k b i t s ，甚至更低，但语音质量只能达到中等，特别是自然 度较低。参数编码特点：压缩比大，计算量大，音质不高，廉价。 ( 3 ) 混合编码：混台编码使用参数编码技术和波形编码技术，讨算机的发展 为语音编码技术的研究提供了强有力的工具，大规模、超大规模集成电路的出现， 则为语音编码的实现提供了基础。8 0 年代以来，语音编码技术有了实质性的进 展，产生了新一代的编码算法，这就是混合编码。它将波形编码和参数编码组合 起来，克服了原有波形编码和参数编码的弱点，结合各自的长处，力图保持波形 编码的高质量和参数编码的低速率。如：多脉冲激励线性预测编码( m p l p c ) ，规 划脉冲激励线性预测编码( k p e l p c ) ，码本激励线性预测编码( c e l p ) 等都是属 于混合编码技术。其数据率和音质介于参数和波形编码之间。 3 1 3a d p c m 算法( g 7 2 1 ) 分析 服务器端的i m e 6 4 0 0 编码器支持m p e g l 伴音、a d p c m 和u l a w 三种视频编码 方式，考虑到网络通信情况、软件解码复杂度以及音质清晰度等要求，选择a d p c m 作为音频的编码方式。 c c i t t 在1 9 8 6 年提出了3 2 k b sa d p c m 标准算法结构( g 7 2 1 ) ，作为长途通信 传输中的一一种新型国际通用语音编码压缩方法，其编译码原理框图如图3l ，3 2 所示。 由于c c i t t 制定a d p c m 语音编码标准的目的是为了扩充原有的扩压p c m 方式 的数字长途通信的信道容量，所以在g 7 2 1 算法标准中安排有与扩压p c m 数字通 信系统有关的输入输出接口。 就编码器的处理过程而言，算法先经p c m 扩压模块把8 b i t 的压缩p c m 信号 扩张成1 3 b i t ( a 律) 和1 5 b i t ( u 律) 的线性p c m 信号，这部分算法在g 7 1 l 中有详 细描述。以下简述线性p c m 信号s 。( k ) 如何进行a d p c m 压缩处理得到4 b i t 的编码 输出i ( k ) ，其编码流程见图3 - 1 。 电子科技大学硕士学位论文 e 。( k ) 图3 1a d p c m 编码框图( g 7 2 1 ) 第一步：计算s ，( k ) 与自适应预测器的输出s 。( k ) 的差值e ( k ) = s 。( k ) - - s 。( k ) 。 第二步：依据自适应量化因子y ( k ) ，通过自适应量化模块对e ( k ) 一y ( k ) 进行 量化，得到量化输出码流i ( k ) ，输出给译码器( 或存储在存储器中) 。 第三步：根据第二步算出的i ( k ) ，通过量化标度因子自适应模块计算量化 标度因子y ( k ) 。 第四步：根据重建信号s ，( k ) = s 。( k ) + e 。( k ) 和逆自适应量化器输出e q ( k ) 得 到新的自适应预测器预测系数，根据新的预测器预测系数得到新的预测器输出 s 。( k ) ，如此又回到第一步进行下一个语音样值的压缩。 而每当接收到一个压缩码字i ( k ) ，按如下方式进行译码，其译码流程见图 3 2 。 图3 - 2a d p c m 译码框图( g 7 2 1 ) 第一步：i ( k ) 经逆自适应量化模块得到归一化量化误差e 。( k ) ，加上自适应 量化标度因子y ( k ) 和自适应预测输出s 。( k ) ，就得到重建的语音信号s ，( k ) 。这 电子科技大学硕士学位论文 一步和编码器对应部分相同。 第二步：和编码器算法一样，译码器自适应更新量化标度因子y ( k ) 、预测 系数和预测器输出s 。( k ) 。 第三步，对重建信号进行p c m 压缩，得到压缩的p c m 语音信号，这是为了与 p c m 设备接口兼容。 完成第三步后接收新的i ( k ) ，回到第一步并依此循环。 3 1 4 音频编解码实现 w i n d o w s 可以通过高级音频函数、媒体控制接口m c i 、低级音频函数w a v e x 以及d i r e e t s o u n d 提供音频服务。在以上各种方法中，本人采用低级音频函数 w a v e x 处理接收到的音频信号，虽然这会加大软件实现的难度，但能够为程序设 计人员带来极大的灵活性。 w a v e x 程序设计主要包括查询音频设备、打开和关闭设备驱动程序、分配和 准备音频数据块、管理音频数据块、应用删t i m e 结构、处理错误。使用w a v e x 函数之所以能够对各个声音数据块操作，要归功于w i n d o w s 的消息映射，w i n d o w s 在采集、播放完一个数据块之后就会发送有关的消息。播放声音涉及到的重要消 息及触发条件如下： 咖w o mc l o s e ：在个波形声音输出设备关闭时发出，之后该设备旬柄不再 有效。 m mw o md o n e ：当给定的输出缓存播放完毕后返回发给应用程序，或者直接 调用w a v e o u t r e s e t 函数停止播放并重置管理器。 埘w o mo p e n ：当给定的波形声音输出设备被打开时发出。 m o mc l o s e ：当m i d i 输出设备关闭时发出。 w o o ld o n e ：当缓冲数据播放完毕并正被返回程序时发到m i d i 输出回调函数。 w o mo p e n ：当m i d i 输出设备打开时发出。 w a v e x 重要的数据结构有： 波形数据格式w a v e f o r m a t w a v e f o r 凇t 蹦。 波形数据缓冲区格式w a v e h d r 。 音频输出设备性能w a v e o u t c a p s 。 这些内容都定义在m m s y s t e m h 头文件中。 本课题中音频信号的处理主要包括声音录入、声音播放、音频压缩和解压， 在软件中相关的实现函数被封装到三个类中： c s o u n d l n ：实现声音的录入。 c s o u n d o u t ：实现声音的播放。 c c o m p r e s s i o i l ：实现音频的压缩与解压。 电子科技大学硕士学位论文 f 面给出音频信号处理的简单流程图，因为播放和录入，压缩和解压是完全 相同的逆过程，所以仅给出了音频文件播放和解压的过程，由于音频解码相对较 复杂，所以单独分柝该模块，如图3 3 所示 读取音频文件 m d o o p e n ( )【 。 打开文件l 输出音频文件 w a v e o u t o p e n0 打开一个输出设备 m m i o d e s c e n d ( ”w a v e ”) 从网络接收的 进入”f r e t ”块音频信号 w a v e o u t p r e p a r e h e a d e r0 准各w a v e 数据头 m d o r e a d ( ) 读取w a v e 文件格式信息 1r l【 i w a v e o u t w r i t e0 一解压模块l 1 1 将数据写入设备开始播放 m i o a s c e n d ( ) 跳出”f m t ”块 w a v e o u t r e s e t0 停止播放并重置管理器 m m i o d e s c e n d ( ”d a t a ”) 进入”d a t a ”块 w a v e o u t c l o s eo 并闭播放设备 m m i o r e a d ( ) 读取w a v e 数据信息 w a v e o u t u n p a r e h e a d e ro 清理用 厂二五五i 万 w a v e o u t p r e p a r e h e a d e r 准 f关闭文件f 备的w a v e 到3 - 3 音频处理流程图 w i n d o w s 操作系统本身附带了目前绝大多数音频编解码器( o o d l e s ) ，新开发 的c o d e c s 也可由系统的安装程序装入系统中。所有安装的c o d e c s 都由音频编码 解码器( a c m ) 管理。w a