（电力电子与电力传动专业论文）网络会议中语音技术的研究.pdf

武汉理l 人学硕士学位论文 a b s t r a c t n e t m e e t i n gi s ar e a lt i m em e e t i n gr e s o l u t i o nf o ri n t e l l i g e n t iz e c o o p e r a t i n go f f i c e ，i tt r a n s p o r t si n f o r m a t i o ns u c ha sa u d i o 、v i d e o 、 i m a g e s a n df i l e st or e a l i z e v i r t u a lm e e t i n gf a c et o f a c e b y t e l e c o m m u n i c a t i o n 。n e t m e e t i n gisa p p l i e dw i d e l yi nm a n yw a y sw it ht h e d e v e l o p m e n to fn e t w o r ka n dm u l t i m e d i a 。v o i c ei s t h ep r i m a r yc a r r i m ro f t h ec o n t e n ta n dt h eb a s a lm e a n sw a y so ft h ec o m m u n i c a t i o ni nn e t m e e t i n g 。 a so n eo ft h em o s tp r i m a r ya n dk e yt e c h n o l o g l e s ，a u d i op h o n e t i c st a k e s e f f e c to nt h en e t m e e t i n gd e v e l o p m e n t 。 t h i sp a p e ra n a l y z e sa n dc o m p a r e st h ea u d i oq u a l i t y 、t h es i z eo fd a t a p a c k e t s 、t h er e a lt i m ea n dt h ee n d p o i n td e t e c t i o nf o ra u d i oc o d e cb y i n t r o d u c i n gt h el a t e s tr e s e a r c ha n dd e v e l o p m e n tl e v e la n da p p li c a t i o n o u t l o o ka n da n a l y z i n gt h ep r o b l e m so fa u d i oa n d m u l t i m e d i ad a t a t r a n s p o r ti nt h ef i e do fn e t m e e t i n g 。t h ea u t h o ra n a l y z e st h et e c h n o o g y f e a s i b i1it yo fa u d i oa n dn e t w o r ki nt h e o r yu n d e rw i n d o w s ，r e s e a r c h e s a u d i os a m p l e 、p l a y 、c o d e ci nd e t a il ，d e v e l o p sa n di m p l e m e n t sa na p p ll e d r e a lt i m ea u d i os d kr e a l a u d i ow i t hv ca n dm u l t i m e d i aa u d i os d ko nt h e a b o v e ，u s e su s e rd a t a g r a mp r o t o c o lt op r o g r a ma n dd e v e l o par e a lt i m e d a t at r a n s p o r ts d kd a t a c h a n n e lb yr e s e a r c h i n gt h ei o s s l e s sa n dt h ed e l a y o fm u l t i m e d i ad a t at r a n s p o r t 。 t h i sp a p e rb r i r i g sf o r w a r da n dc o n s t r u c t san e t m e e t i n gp l a t f o r m1 0 t r a n s p o r ta n dc o n t r o la u d i oa c c o r d i n gt ot h ea c h i e v e m e n to ft h e o r y 、 a l g o r i t h m sa n ds o f t w a r et e s t 。t h ep l a t f o r m i su s e dt o c a r r y o u ta n e t m e e t i n gd e s i g ns c h e m e ，w h i c hb u i l d sar e a lt i m em e e t i n gs y s t e mb y a d o p t i n gt h eb sm o d e lt om a n a g em e e t i n ga n dt h ec sm o d e lt ot r a n s p o r t d a t as t r e a m ，d e v e t o p sar e a la u d i om e e t i n gs o f t w a r ew i t hv ca n da s pt h a t s u c c e e dt od e b u ga n dr u no nw in d o w s 。 k e yw o r d s ：n e t m e e t i n g ，a u d i o 、t c p i p 、m u l t i m e d i a i i 此页若属实请申请人及导师签名。 独创性声明 y8 6 1 4 5 本人声明，所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得武汉理工大学或其它教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 研究生签名：歹募拭 关于论文使用授权的说明 日期丝! ：兰侈 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅； 学校可以公布论文的全部内容，可以采用影印、缩印或其他复制 手段保存论文。 ( 保密的论文在解密后应遵守此规定) 研究尘签名张导师签名：簿日期 注：请将此声明装订在论文的目录前。 武汉理工大学硕十学位论文 第1 章绪论 网络会议是一种新兴的系统办公和通讯工具，它综合利用了网络通信、数 据库、多媒体和数学算法等，提供全面的、高质量的、安全、快捷的综合服务 功能。随着科学技术特别是网络技术和多媒体压缩技术的发展，网络会议的发 展势头特别迅猛。同时，人们不在满足于以单纯文字为主的交流方式，作为网 络会议主要交流媒介的语音技术和视频技术的发展和应用尤为显著，商业需求 对于网络会议中语音和视频提出了更多、更高的功能要求。 1 1 网络会议概述 随着全球经济一体化进程的加快，人们基于互联网的活动日益增加。受软件 技术和互联网带宽的限制，以往人们只能使用文字进行交流。随着互联网普及， 越来越多的人接触和使用互联网。随之即时通讯软件应运而生。但是即时通讯 软件只解决了人们一对一的交流方式。是否有更好的软件来解决多人同时使用 网络进行交流呢? 有了这种软件，公司职员在办公室能够参加异地的会议，在办 公室能够对异地的工程技术人员进行技术培训。 中国企业目前面临着两个大的挑战，一个是全球化，另一个则是信息化。 随着中国加入w t o ，企业业务内容的地域性扩展，现在已经很少有企业，它的业 务还是集中在某一个地方或者以某一个城市为主要商务活动地点。因此不同 地点的工作人员的信息交流，协同工作，以及如何有效地与分布广泛的客户、 合作伙伴进行交流沟通已成为企业经营成败的关键因素。因为新技术和新产品 的更新越来越快，大量的相关信息需要及时分享给公司的员工。如何有效地分 享信息而又基本不影响大家的日常工作成为提高企业素质的一项挑战。从企业 经营的通信方式看，可以分成内部和外部两大类。从内部来讲，项目管理、公 司会议、员工培训、公司相关事件的发布、技术支持等具体活动，都可以通过 网络会议来进行。从企业的对外交流来讲，有销售相关的，有市场活动，还有 一些渠道的管理，或者是客户的支持等。为了工作上的需求，人们开始寻求其 他解决方法，类似的教育、商业、新闻、政治等方面的活动促使网络会议的诞 武汉理上人学硕士学位论文 生和兴起。网络会议应该是一种有效的不可替代的沟通工具和方式。有了网络 会议这样的先进工具之后，不但节省了商务通信的成本和时间，加快了决策的 过程，提高了企业的效率，而且减轻了员工的工作负担，大家的生活可以变得 更轻松。大家的交流，也会变得非常顺畅，因为网络会议是一种非常有效的通 信工具，自投入使用以来，得到了迅速的发展【7 j 。 网络会议技术一种协同会话类型，在i p 局域网或因特网上共享文件或进行 远程演讲，不仅有传统视频和电话会议的图像和声音交流，而且能提供各种文 档、软件、甚至远端电脑之间的交流功能。用户不需要购买终端设备，也不需 要租用专线，只需具备因特网接入功能和一个账户，无需其他设备( 或者网络) 就能召开网络会议，可以不受时间、地点的限制，与任何人实现“面对面”地交流 和“手把手”地工作。它能够提供图像、声音、文档、应用程序、网页、桌面、流 媒体等多项共享功能，除了通常意义上的会议用途外，还可以用来开展教学和 培训，组织网上销售和市场推广活动，进行售前或售后培训、远程客户维护、 协同工作等等。网络会议通常既可作为一种服务，也可成为一种产品或者解决 方案进行应用。网络会议服务出现后，很快就吸引了大批忠实的企业用户。 对于员工来讲，他们不需要企业来规定必须使用某个厂家的产品，因而无需老 板的同意，一些部门的员工就能够无处不在地使用网络会议。当企业开始意识 到网络会议技术所带来的快速利润，并对网络会议的潜在发展进行了评估，同 时把网络会议的安全问题提上日程，这种随意的模式就迅速发生了转变，企业 开始对创建网络会议的策略和对使用哪家网络会议提供商的服务做出了明确的 规定。 1 2 对网络会议中语音技术的现状、研究的目的和意义 网络会议的普及造就了一个庞大的网络会议市场，给网络会议设备和软件 制造商提供了巨大商机。基于网络会议的应用技术迅速崛起，其中包括销售网 络会议、软件演示和远程客户支持，网络会议发展势头良好，不但能够提高企 业的生产效率，还能增强企业的综合竞争实力，最终增加企业收入。网络会议 是面向商务通信的一场革命。因为网络会议不但可以节省大量的时间( 会议场 地的租借，会议室的布置等) ，而且可以节约大量的成本( 差旅费、活动费等) ： 更重要的是这种面向商务的通信，可以不因为时间、地点而影响交流，沟通。 武汉理t 大学硕士学位论文 这两点使网络会议逐渐成为商务活动中一种重要的通信工具。 网络会议并没有建立起一种固定的使用模式，还有许多问题亟待解决，比 如网络会议如何与音频会议、视频会议和即时通信相协调；网络会议的哪些核 心功能是必不可少的；对某些特定的企业来说，网络会议哪些独特的功能更加 重要；企业用户是否应该购买会议服务器自行组建会议，还是应从服务提供商 处租赁网络会议服务：防火墙问题、安全问题、稳定性等问题是否能得到保障； 网络会议的价格情况又是如何等。 随着计算机的广泛普及和应用，今后基于软件的桌面网络会议系统将是网 络会议市场发展的重点和趋势。随着商业环境的全球化趋势，远距离、低成本 的即时沟通的需求越来越迫切，而桌面网络会议系统正好迎合了这种需求。同 时，宽带网络的迅速发展和芯片技术的提高更为桌面网络通信提供了良好的平 台，使得基于软件的桌面网络通信变得切实可行。 目| j i ，语音技术正进入一个相对成熟时期【l ”，很多厂商和研究机构有了浯 音技术在输入和控制上令人鼓舞的演示，输入硬件和软件平台环境也ij 益向i 啦 想化迈进，但语音技术比起人类的听觉能力来还相差甚远，其应明也dh i j h i jj i 。 始，语音技术在丌发和研究上还有大量的工作需要做。从j 下发上讲，特别是从 桌面型应用方面来看，语音技术需要在以下几个方面继续努力：一、进步舰 范和建设语音输入的硬件通道、软件基本q 擎和甲白，使得把语爵技术集成到 需要语音功能的大量软件中去；：、语音产业需要更加j ：放的环境，使得有这 个兴趣和实力的企业都能加入这方面的研究和开发中，逐步改变只有某贱人公 司和实验室拥有这个技术的状况。也只有这样，才有可能创造 | ；多姿多彩的应 用来；曼、在软件界面上不断创新，在现有技术纂础上使得产生动人心魄的效 果，逐步改变人们用鼠标、键盘的习惯，当然这需要一个漫长的过程。 在研究上，钊对现有技术的缺陷。首先，需要提高系统的可靠性，使得系 统往小时浼话人，小同况话风格、语速，不问带宽的语音信号和小同信噪比条 什卜具有同等的效果。这方丽应浚进步细化曰| j i 的研究模块。从语音刹语吉 产生、编码、传输到解码等各个环节加以深入探索。第一，需要提高系统的灵 活性，包括研究能方便地结合应用领域中摹于统计、规则和有限语法等各种知 识源的框架和适合不同计算平台。i p 语音要求语音流实时性好和清晰度高。实 时性好，要求语音包小，发送快，延迟小，语音连贯。清晰度高，要求语音清 晰，杂音小或者无杂音。这些都要求程序有好的语音服务功能，但语音编程比 武汉理i i 大学硕士学位论文 较复杂，涉及到的算法比较多。 研究网络会议中语音技术具有多方面的意义。一，对语音编码解码进行研 究，进一步优化编码解码算法，能够减小压缩时问和数据量，提高语音质量和 实时性二，对语音的传输进行研究，有利于提高网络的服务质量( o o s ) ，增强 多媒体数据的实时性，提高数据单播和多播性能，拓宽网络应用范围。i ，对 网络会议中的语音实时传输技术进行研究，能够通过对语音研究，对比了解视 频实时技术， 提高多媒体技术融合，增强网络会议的功能。四，对网络会议中 语音技术进行研究，能够了解和扩展类似的协同工作应用软件，如即时通讯的 功能，促进协同办公技术的发展和应用，提升技术创新能力。 1 3 本课题的提出背景和主要研究内容 本课题结合现有的网络技术、数据库技术和多媒体技术，根据协同办公和 远程教育等方面的实际需要，提出并实现基于i p 网络的远程会议系统，实现多 方语音对话和单视频的网络会议软件。 本课题的主要内容是建立一套可用性较高的网络会议系统。该系统采用浏 览器服务器( b s ) 模型对网络会议进行管理，使用客户机服务器( c s ) 模型进 行数据传输。在会议管理方面，该系统能够设置用户权限，限制非法用户登录 和设置会议：能够通过设置不同的服务器，保证数据传输流畅：能够设置基本的 会议信息，方便用户查看和修改。在数据传输方面，该系统通过w i n d o w s 操作 系统底层的音频接口采集、播放和转换语音编码：使用短时平均能量法和短时平 均过零率对语音端点进行检测，减少语音数据的冗余：采用u d p 协议发送语音数 据和文件数据：采用t c p 协议发送消息和事件。用户的计算机上只要安装了客户 端软件，在局域网或者广域网中能够和服务器进行数据传输，有麦克风和扬声 器，就能够进行网络会议 该系统的整体模型如下图卜l ： 武汉理= 大学硕十学位论文 图1 1 网络会议结构模型 该网络会议系统和其他网络会议相比具有一下有点： 1 1 和完全基于w e b 模式的网络会议相比，本系统丌发周期短，测试方便， 有利于研发人员把工作重点放在系统性能和功能上，能够迅速增强系统功能。 2 ) 和基于客户端的网络会议系统，如n e t m e e t i n g 相比，本系统提供了用户 管理、会议管理和服务器管理的功能，有利于会议的配置和管理。 3 ) 本系统除依赖于操作系统所提供的支持外，没有使用任何其他的商业代 码和链接库，具有独立的知识产权，减少了软件的依赖性，有利于提高软件的 可靠性。 4 ) 本系统在语音压缩和基于t c p i p 协议的数据传输方面采用的技术已经相 当成熟，对软件可维护性来讲，开发人员只需要把关键性技术放在优化语音压 缩技术、数据实时传输和网络会议功能的功能扩展上，有利于提升产品竞争力。 武汉理上大学硕士学位论文 第2 章网络会议中与语音相关的概念和关键技术 本文所提出的网络会议方案是建立在个人p c 的基础上，使用t c p i p 协议 中t c p 协议和u d p 协议作传输会议数据，对语音编码后，进行传输。因此，作 为必备知识，为建立一个完整的网络会议，将讨论如下内容： j t c p i p 协议，t c p 协议和u d p 协议 2 晟大数据包 3 语音编码技术及其标准 2 1 网络传输相关协议和技术 2 1 1t c p i p 协议概述 协议是对网络中的设备，以何种方式交换信息的一系列规定的组台，它对 信息交换的速率、传输代码、代码结构、传输控制步骤、出错控制等许多参数 做出定义及规范。网络是个互相连接的大群体，所以在相互连接的各个节点 上需要拥有共同的“语言”一规范。根据它的定义和规则来控制数据传递，这 种所谓的“语言”就是协议。 t c p i p 协议( t r a n s f e rc o n t r o l np r o t o c o l i n t e r n e tp r o t o c 0 1 ) 叫做传输 控n 网际协议，又叫网络通讯协议，这个协议是i n t e r n e t 国际互联网络的基 础。 t c p i p 是网络中使用的基本的通信协议9 】。虽然从名字上看t c p i p 包括两 个协议，传输控制协议( t c p ) 和网际协议( i p ) ，但t c p i p 实际上是一组协议， 它包括上百个各种功能的协议，如：远程登录、文件传输和电子邮件等，而t c p 协议和i p 协议是保证数据完整传输的两个基本的熏要协议。通常说t c p i p 是 i n t e r n e t 协议族，而不单单是t c p 和i p 。t c p i p 是用于计算机通信的一组协议， 我们通常称它为t c p i p 协议族。它是7 0 年代中期美国国防部为其a r p a n e t 广 域网开发的网络体系结构和协议标准，以它为基础组建的i n t e r n e t 是目阿国际 上规模最大的计算机网络，正因为i n t e r n e t 的广泛使用，使得t c p i p 成了事 实上的标准。之所以说t c p i p 是一个协议族，是因为t c p i p 协议包括t c p 、 武汉理i + 大学硕十学位论文 i p 、u d p 、i c m p 、r i p 、t e l n e t f t p 、s m t p 、a r p 、t f t p 等许多协议，这些协议一 起称为t c p i p 协议。从协议分层模型方面来讲，t c p i p 由四个层次组成：网络 接口层、网间网层、传输层、应用层。 其中： 网络接口层这是t c p i p 软件的最低层，负责接收i p 数据报并通过网络发 送之，或者从网络上接收物理帧，抽出i p 数据报，交给i p 层。 网间网层负责相邻计算机之间的通信。其功能包括三方面。一、处理来自 传输层的分组发送请求，收到请求后，将分组装入i p 数据报，填充报头，选择 去往信宿机的路径，然后将数据报发往适当的网络接口。二、处理输入数据报： 首先检查其合法性，然后进行寻径一假如该数据报已到达信宿机，则去掉报头， 将剩下部分交给适当的传输协议：假如该数据报尚未到达信宿，则转发该数据 报。三、处理路径、流控、拥塞等问题。 传输层提供应用程序间的通信。其功能包括：一、格式化信息流；二、提 供可靠传输。为实现后者，传输层协议规定接收端必须发回确认，并且假如分 组丢失，必须重新发送。 应用层向用户提供一组常用的应用程序，比如电子邮件、文件传输访问、 远程登录等。远程登录t e l n e t 使用t e l n e t 协议提供在网络其它主机上注册的 接口。t e l n e t 会话提供了基于字符的虚拟终端。文件传输访问f t p 使用f t p 协 议来提供网络内机器间的文件拷贝功能。 相 o s i 中的层功能t c p i p 协议族 文件传输、电子邮件、文件服t f t p 、h t t p 、s n m f 应用层 务、虚拟终端 s m t p 、d n s 、t e l ne 数据格式化、，代码转换、数 表示层没有协议 据加密 解除或建立与别的接点的联 会话层没有协议 系 传输层提供端对端的接口 t c p 、u d p 网络层为数据包选择路由l 1 9 、1 。m 9 、 l b g p 、i g m p 武汉理工大学硕士学位论文 数据链路层! 钡篡张心帧，瞄黜裟湍 冲即“即“ 物理层 体兰君纛裂詈据形式在物理媒| 。篡竺北雎8 0 2 、； 表2 1o s i 和t c p i p 比较 传输层上的主要协议是t c p 和u d p 。正如网络层控制着主机之间的数据传 递，传输层控制着那些将要进入网络层的数据。两个协议就是它管理这些数据 的两种方式：t c p 是一个基于连接的协议：u d p 则是面向无连接服务的管理方式 的协议。 t c p i p 协议使用了称为包交换的通信技术。计算机网络中所传输的数据， 全部是以”包( p o c k e t ) ”来发送。t c p i p 协议中所使用的包，与邮寄的包裹几 乎是相同的。包是由报头和报文所组成。在报头中，记载有包的发送主机地址、 接收主机地址及与报文内容有关的信息等：在报文中，记载有需要发送的数据。 在发送包的时候，所经过的路出器阅读报头的信息，并通过报头中所记载的终 点主机的信息，向目的主机进行转发处理，反复操作，包能够最终达到所要发 送的终点主机。 每个端系统都被赋给一个具有唯一性的地址。由于在单个主机上可能存在 多个进程，故每个进程都附接到一个逻辑端口。每个进程被赋给该主机内一个 唯一的地址，该地址称为端口。t c p i p 协议栈就是从端口到端口传递数据。在 i p 层之上有两个传输协议：一个是传输控制协议t c p ，它是一个面向连接的：另 一个是用户数据报协议u d p ，它是无连接的。先讨论面向连接的协议t c p ，然后 再考察无连接的数据报协议u d p 。 2 1 1 传输控制协议t c p t c p 用于在各种网络上提供有序可靠数据传输能力的虚电路服务和面向数 据流的传输服务。t c p 再不可靠的分组传输子网上( 这种子网随时都有可能出现 数据丢失、损坏、重复传送、延迟和错序) 提供可靠的进程间通信机制。为了取 得可靠发送，t c p 必须执行检测分组丢失，搜捕到确认时自动重传，以及诸如处 理延迟的重复数据报的问题等许多操作。t c p 可以支持许多高层协议( u p p e r l e v e lp r o t o c o l ，u l p ) ，它对高层协议的数据结构无任何要求，只将他们作为 一种连续的数据流。它对分组没有太多的限制，最大分组为6 5 k b 。较大的分组 武汉理工大学硕士学位论文 将在i p 层分成数据段进行传输，但一般的t c p 的实现都规定了适当大小作为数 据段的长度。此外，t c p 在数据流中加入了一个面向字节的序号，以管理t c pi h j 连续的数据流。 t c p 的主要功能是在一对u l p 之间提供面向连接的传输服务，连接管理可以 分为三个阶段：建立连接、数据传输和中止连接。在建立连接时，可以给该连接 赋予某些属性以便在连接期间使用，如安全性和优先级等。 t c p 主要通过套接字( s o c k e t ) 为u l p 提供面向连接的传输服务，利用套接 字可使一个u l p 主动发起与另一个u l p 之间的唯一连接。套接字实际上实现了 基于i p 地址( 在i p 报头) 和应用端口( 在t c p 报头中) 的连接。一个连接是由通 信双方定义的套接字号而建立的。 一旦连接建立起来并且该连接处于活动状态时，t c p 可以产生并发送分组。 当发送结束后，连接双方都要终止各自的连接。为了保证提供可靠性的服务， t c p 还提供了确认、流控制、复用及同步等功能。 t c p 的报文格式如下： 0 1 51 63 l 源端口号目的端口号 序号 确认号 报头保 u a p r s f 窗口 长度留 检验和 紧急指针 选项填充 数据 图2 一lt c p 报文格式 t c p 协议中的基本传输单元为段( s e g m e n t ) ，因此习惯上将t c p 报文称为t c p 段。一个t c p 段由段头和数据流两部分构成，t c p 数据流是无结构的字节流，流 中的数据是由一个个直接序列构成的，无任何可提供解释的结构，这一特征使 得t c p 段得段长是可变得。因此，t c p 协议中得序号和确认号都是针对流中字节 得，而不是针对段。 为了保证传输得可靠性，接受方t c p 实体需要发送方t c p 实体所传来的t c p 9 武汉理1 大学硕士学位论文 段给予确认。在一般情况下，接受方将确认已正确接收到的连续字节流前n 个 字节，给出的确认号指示的是下一个( n + 1 ) 所希望接收的字节。这种面向字节的 累计确认方式的优点是在可变长度段传输方式下不会发生确认的二义性，并且 实现起来也比较容易。两个使用t c p 协议进行通信的对等实体间的一次通信过 程一般都要经历建立连接、数据传输和中止连接等阶段。t c p 协议内部通过一套 完整状态转换机制来保证各个阶段的正确执行，为上层应用提供双向、可靠、 顺序及无重复的数据流传输服务。在每条t c p 通信连接上传送的每个数据字节 都有一个与之对应的序号，这是t c p 协议实体的重要概念之一。以字节为单位 递增的t c p 序号主要用于数据排序、重复检测、差错处理及流量控制窗1 ：3 等t c p 协议机制上，保证了传输任何数据字节都是可靠的。 t c p 报头中的序号字段为4 个字节，表示的序号空间范围为o 到2 ”，因此 发送字节的序号编码算法都要以2 ”为模。t c p 序号不仅用于保证数据传送的可 靠性，还用于保证建立连接( s y n 请求) 和拆除连接( f i n 请求) 的可靠性，每个s y n 和f i n 段都要占一个单位的序号空间。在t c p 协议中，建立连接要通”过三次 握手”机制来完成。这种”三次握手”机制既可以由一方t c p 发起同步握手过 程而由另一方t c p 响应该同步过程，也可以由通信双方同时发起连接的同步握 手。最常见的三次握手过程如下： 1 ) t c p 实体a 向t c p 实体b 发送一个同步t c p 段请求建立连接。 2 ) t c p 实体b 将确认t c p 实体a 的请求，并同时向t c p 实体a 发出同步请求。 3 ) t c p 实体a 将确认t c p 实体b 的请求，即向t c p 实体b 发送确认t c p 段。 4 ) t c p 实体a 在已建立的连接上开始传输t c p 数据段。 过程图如下： _ _ _ - 斗 略e 0 3 c k 1 0 卜c t l - s y b l c k _ * 1 噶e o * l o p a c k * 1 啦y l 州q y n a c k h 一_ _ i 驰o - 1 0 1 c k 一i ，c n 峭c k m t 卜一“ 图2 - 2t c p 请求连接过程 0 一技 = 抟 ：姨 ! 啦荷 武汉理工人学硕士学位论文 此外，在建立连接过程中，对于出现的异常情况，如本地同步请求与过去遗 留在网络中的同步连接请求序号相重复，因系统异常使通信双方处于非同步状态 等。t c p 协议要通过使用复位( r s t ) t c p 段来加以恢复，即发现异常情况的一方发 送r s t 段通知对方来处理异常。由于t c p 连接是一个全双工的数据通道，一个连 接的关闭必须由通信双方共同完成。当通信的一方没有数据需要发送给对方时， 可以使用f i n 段向对方发送关闭连接请求。这时，它虽然不再发送数据，但不排 斥在这个连接上继续接收数据。只有当通信的对方也递交了关闭连接请求后，这 个t c p 连接才会完全关闭。在关闭连接时，既可由一方发起而另一方响应，也可 以双方同时发起。无论怎样，收到关闭连接请求的一方必须使用a c k 段给予确认。 实际上，t c p 连接的关闭过程也是一个三次握手的过程，如图： 凄簿 r 一一w 一卜 c s i e q “3 0 0 ：, a c k “1 0 i c t l m a c k ：, 卜* 锤蚌拉 图2 - 3t c p 请求关闭过程 一旦连接建立起来，通信双方就可以在该连接上传输数据了。在数据传输过 程中，t c p 协议提供一种基于动态窗口协议的流量控制机制，使接收方t c p 实体 能够根据自己当前的缓冲区容量来控制发送方t c p 实体传送的数据量。流量控 制实际上反映了信道容量和接收缓冲区容量的有效利用和动态分配问题。t c p 窗 口流控制机制采用的是种称为信用证的动态窗口机制，主要通过t c p 段中的 窗口字段和确认号字段来实现的。窗口对应于t c p 实体能够接收的数据的序号 空间，确认号表示t c p 实体希望接收的下一个数据字段的序号。连接建立时， 双方使用s y n 段或者a c k 段中的窗口字段捎带相互通知各自的窗口尺寸，即发 放信用证。在数据传输过程中，发送发按接受方通告的窗口尺寸和序号发送一 定的数据量。接受方可根据接收缓冲区的使用状况动态地调整接收窗口，并在 揽 趣 蝴 城 武汉理工大学硕士学位论文 输出数据段或确认断时捎带着将新的窗口尺寸和起始序号通告发给发送方。发 送方将按新的起始序号和新的接收窗口尺寸来调整发送窗口，接受方也用新的 起始序号和新的接收窗口大小来验证每一个输入数据段的可接受性。 t c p 协议的多路复用功麓是通过端口机制提供的。端口用于标识t c p 连接的 地址集，一个主机上的多个应用进程可以通过不同的端口同时使用t c p 实体进 行通信，从而达到多路复用的目的。不同主机上的t c p 实体对端口地址的选取 是独立的，只要保证本地端1 3 地址的惟一性就可以保证t c p 连接的惟一性，即 网间惟一的i p 地址和本地惟一的端口地址将惟一确定通信连接的一端。一个本 地端口可以同时与多个远地端口建立通信连接。 2 1 2 用户数据报协议u d p u d p 提供一种面向进程的无连接传输服务，这种服务不确认报文是否到 达，不对报文排序，也不进行流量控制，因此u d p 报文可能会出现丢失、重复 及失序等现象。对于差错、流控和排序的处理，则由u l p 根据需要自行解决， u d p 协议本身不提供。与t c p 相同的是，u d p 协议也是通过端口号支持多路复用 功能，多个u l p 可以通过端口地址共享单- 的u d p 实体。由于u d p 是一种简单 的协议机制，通信开销很小，效率比较高，比较适合于对可靠性要求不高，但 需要快捷、低延迟通信的应用场合，如多媒体通信等。 u d p 报文格式如图所示。u d p 报头各个字段意义如下： 1 ) 源端口号为发送方的u d p 端口号，支持u d p 多路复用机制。它是一个可 选的字段，不用时设为0 。 2 ) 目的端口号为接收方的u d p 端口号，支持u d p 多路复用机制。 3 ) 报文长度包括u d p 报头和数据在内的报文长度，以字节为单位，最小值 为8 ( 报头长度) 4 ) 校验和地计算对象包括伪协议头、u d p 报头和数据。校验和是可选字段， 该字段为0 时，表示发送发没有位改u d p 数据报提供校验和。 0】5 】63 】 武汉理1 ：大学硕士学传论文 图2 4u d p 报文格式 u d p 数据报是通过i p 协议发送和接收的。网间寻址由i p 地址完成，进程 间寻址则由u d p 端口来实现。当发送数据时，u d p 实体构造好一个u d p 数据报后 递交给i p 协议，i p 协议将整个u d p 数据报封装在i p 数据报中，即加上【p 报头， 形成i p 数据报发送到网上。在接收数据时，u d p 实体首先判断接收到的数据报 的目的端口是否和当前使用的某个端口相匹配。如果匹配，则将数据报放入相 应的接收队列：否则丢弃该数据报，并向远端口发送一个端口不可达的i c m p 报 文。另外，档接收缓冲区已满时，即使是端口匹配的数据报也要丢弃。u d p 在计 算校验和时要包括一个伪协议头，它不是u d p 数据报的有效成分，主要用于验 证u d p 数据报是否正确地传送到了目的地。伪协议头包含有源i p 地址、目的i p 地址、协议号及u d p 报长等字段，有关信息来自于i p 报头。 2 1 3 最大数据包问题 在数据传输中，总是希望每次发送的有效数据最大。但是，理论上，i p 数 据报的最大长度是6 5 5 3 5 字节，这是由i p 首部1 6 比特总长度字段所限制的。 去除2 0 字节的i p 首部和8 个字节的u d p 首部， u d p 数据报中用户数据的最长 长度为6 5 5 0 7 字节。t c p 协议中用户数据的最长长度更小一些。大多数操作系统 所提供的长度比这个最大值小。因为它存在两个限制因素。第一，应用程序可 能会受到其程序接口的限制。s o c k e ta p i 提供了一个可供应用程序调用的函数， 以设置接收和发送缓存的长度。对于u d ps o c k e t ，这个长度与应用程序可以读 写的最大u d p 数据报的长度直接相关。现在的大部分系统都默认提供了可读写 大于8 1 9 2 字节的u d p 数据报。第二个限制来自于t c p i p 的内核实现。可能存 在一些实现特性( 或差错) ，使i p 数据报长度小于6 5 5 3 5 字节。 2 i 4t c p 和u d p 的使用 微软提供了在v c 中方便使用t c p 和u d p 协议的类c s o c k e t 和c a s y n c s o c k e t 。 c s o c k e t 是从c a s y n c s o c k e t 派生而来。c a s y n c s o c k e t 能够实现t c p 和u d p 协 议。 当使用u d p 协议时， c a s y n c s o c k e t 的使用方法如下 武汉理工大学硕士学位论文 a s y n c s o c k e t 一) c r e a t e ( n s o c k e t p o r t ，s o c k d g r a m ) 使用创建u d p 然后调用s e n d t o 发送数据到地址，若有数据发送到本地建立u d p 协议端口的计 算机上，该s o c k e t 响应o n r e c i e v e 方法，调用r e c e i v e f r o m 方法可以获得数据。 当使用t c p 协议时就比较复杂了。服务器端需要两个s o c k e t ，一个作为和客户 端连接的连接套接字，另一个作为服务的套接字。其连接图如下： 一 图2 - 5c a s y n c s o c k e t 采用t c p 协议连接模型 首先，务端启动服务s o c k e t ，然后客户端和服务端调用c r e a t e 方法 a s y n c s o c k e t 一 c r e a t e ( n s o c k e t p o r t ，s o c k s t r e a m ) 使用创建t c p 服务s o c k e t 再调用b i n d 方法绑定本地计算机端口。客户端使用c o n n e c t 方法连接服务端s o c k e t 。服务s o c k e t 在事件o n a c c e p t 中响应客户端的连接。 此时服务s o c k e t 需要创建一个s o c k e t 以便和客户端s o c k e t 连接起来，并且 个连接s o c k e t 只能服务一个客户端。这样客户端和服务端就建立了一一对应的 t c p 连接。如果客户端和服务器端连接的s o c k e t 都调用c l o s e 方法，连接断丌。 连接着的s o c k e t 使用s e n d 方法发送数据，并在o n r e c e i v e 事件中使用r e c e i v e 方法接收数据。 武汉理工大学硕士学位论文 2 2 多媒体流实时传输r t p 和r t c p 人们对于实时、高效、信息量大、内容丰富的多媒体通信的需求越来越大。 多媒体通信的一个显著特点是数据量大，并且许多应用对实时性都有较高的要 求。实时性是下一代网络应用的一个重要发展方向，它要求传输的延时小、丢 包率低。实时性应用的这些特点决定了本身受重传机制、拥塞控制机制等限制 的t c p 协议不适合用来传输实时多媒体数据，因而专门为实时传输而设计的 r t p r t c p 协议应运而生。r t p r t c p 协议是为支持实时多媒体数掘通信而设计的 传输层协议，它由i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ) 作为r f c l 8 9 9 发布。 它位于t c p 和u d p 协议层之上，通常是利用底层的u d p 协议对实时音一视频数据进 行组播( m u l t i c a s t ) 或单播( u n i c a s t ) ，从而实现多点或单点音一视频数据的 传输。在实际应用中，r t p r t c p u d p 多用于音一视频媒体数据的传输，而t c p 则 主要用于传输信令等控制消息1 2 3 。 r t p 包括两个紧密相关的部分：实时传输协议( r t p ) ，它用于出声念书有实时 特征的信息：r t p 控制协议( r t c p ) ，它用于见识服务质量和传输对话中的成员信 息。实时传输协议r t p 提供对实时信息端到端传送业务，其中业务包括负载类 型识别、序列编号、添加时间标记和传输监视。典型应用是应用程序中利用u d p 复用和较验和在其上运行r t p ：这两个协议构成传输协议功能的功能。但是，r t p 可能需要和其它适当的下层网络或者传输协议在一起使用。如果下层网络提供 多播分布，r t p 支持把数据传送到多个目的地。r t p 是用来承载具有实时特征的 数据，而实时传输控制协议用于监视服务质量和传递正在进行的会议的与会者 信息。r t c p 对于松散控制的会议是足够的。就是在没有明晰的成员控制和建立 的情况下，也不是一定要支持所有与会者的控制信息需求。该功能可能完全或 者部分地包含在一个会以控制协议中。 r t p 本身并不提供任何机制保证实时传输或服务质量，而是让下层协议组实 现。它并不为传输提供保障，无法防止顺序混乱，也不假设下层网络是可靠的， 并能按顺序传输分组。r t p 分组中的序列号允许接受方对发送方分组序列进行重 武汉理j 大学硕士学位论文 建，也用于确定分组在序列中的位置，但无需解码。r t p 包括一个顺序号，用以 重建发送顺序，单顺序号也可用于去定一个分组的固有位置。因此在基于u d p i p 使用r t p 协议传输实时多媒体时，需要i p 协议提供对服务质量( q o $ ) 的支持爿能 真正保证实时业务的服务质量( q o s ) 。r t p 主要用于多成员多媒体会议，并不限 于此：连续数据存储、交互的传输仿真、活动管道及控制和测量中都可能用到 r t p 。r t p 提供实时特征的端到端的数据传送服务，包含了装载数据的标志符、 序列计数、时间戳和传送监视。采用r t p 协议封装的音视频数据，即使丢失某 些包， 仍能对数据包进行解码。此外，时间戳信息便于保持音频和视频信号 的同步。根据发送字节计数字段、包丢失累计数字段和包间抖动字段，调整r t p 包的发送数量，以保证一定的传送质量。 2 3 音频信号与数字化 人类所能感知客观世界的两个途径就是昕觉和视觉，而听觉所感受到的信息 就是声音。人对声音频率的接收有一定的范围，对于2 0 k h z 和低于2 0 h z 的声音， 一般人都不会听到。因此2 0 h z 一2 0 k h z 是人类听觉频带，而2 0 h z 、2 0 k h z 的信号 称为”音频信号”，高于2 0 k h z 的声音称为超声，低于2 0 h z 的声音称为次声。 在音频的范围内，人耳对3 k h z 5 k h z 的声音信号特别敏感。为了记录、分析、 处理声音信息，人们采用拾音设备( 如麦克风等) 进行电声转换，以实现电信号 转换为声信号的目的。 模拟信号是在时间上和幅值上都是连续变化的信号。模拟信号的一个重要缺 点就是噪声容限较低，抗干扰能力差，在录音中，失真和噪声的影响是5 p n 重 放信号动态范围的重要原因，因而使声音的质量收到限制。数字信号在时间上 和幅值上都是离散的。由于数字信号的这一特点，决定它必须使用二值函数来 表示，因此人们通常使用二进制来表示数字信号。数字信号是一