视频会议系统毕业设计

年4月19日视频会议系统毕业设计文档仅供参考，不当之处，请联系改正。摘要随着网络通信和多媒体技术的发展，人们已不满足简单的语音和文字通信，希望集语音、文字和图像于一体的多媒体通信。多媒体通信是继电报，传真，电话之后新的通信技术。视频会议系统是一种应用网络技术和音频/视频编解码技术来实现虚拟会议的多媒体通信系统，能够使地理上分散的用户在网络上经过视频，声音，文本等信息流进行交互式的交流。由于分组交换的IP网络特别是Internet的飞速发展，与IP有关的技术也取得了巨大的发展。基于IP交换网络的视频会议系统的实现由于其成本的低廉，交互性强大，多点共同参与的特点和优点取代了传统的电视，电话会议，成为了人们经过远程进行会议交流的理想选择。本文围绕“基于IP网络的视频会议系统”这一课题展开的。视频会议系统采用RTP/RTCP协议作为媒体控制协议，音频采用G723，视频编码采用H.323标准，实现了局域网内点对点的视频会议系统。本文主要阐述以下几个方面的内容:=1\*GB3①分析了视频会议系统的发展，应用及意义。=2\*GB3②分析并研究了视频会议系统使用的关键技术。=3\*GB3③分析并研究了视频会议系统的实现标准。=4\*GB3④实现了局域网点对点视频会议系统的总体设计。=5\*GB3⑤阐述了视频会议系统的实现。关键字：视频会议系统；H.323协议；组播；RTP/RTCP协议ABSTRACTWiththedevelopmentofthetechnologyofmultimediaandnetworking，textandvoidcommunicationviaInternetcannotmeettherequirementsofthepeople.Peopleneedanewcommunicationthatcantransmittext，voidandvideo.Itdevelopedaftertelephone，telegraphandfax.Nowvideoconference，anapplicationofmultimediacommunication，appliesnetworkingtechnologyandmultimediacodectorealizeavirtualconference.Throughvideoconference，peoplewhoarenotinthesameplacecancommunicatefreelyandeffectivelywitheachother.AstherapiddevelopmentoftheIPpacketswitchingnetworksespeciallytheInternet，thetechnologyaboutIPhasmadetremendousdevelopment.IP-basedvideoconferencesystemoftheexchangenetworkbecauseofitslowcost，interactivepowerfulandmoreincommonwiththecharacteristicshasreplacedthetraditionaltelevisionandtelephoneconference.Ithasbecomeanidealchoiceexchangethroughthelongmeeting.Inthispapertalkabout“ResearchofIP-basednetworkvideoconferencesystem”.ThevideoconferencerealizedaPoint-to-PointvideoconferencesystemusingRTP/RTCPasmediacontrolprotocol，G.723standardasaudiocodec，H.323standardasvideocodec.Thispapermainlydescribesthefollowingaspects:=1\*GB3①Asalysisoftheapplicationandsignificanceofthevideoconferencesystem.=2\*GB3②Asalysisofkeytechnologiesofvideoconferencesystems.=3\*GB3③Asalysisandstudyaboutthestandardofthevideoconferencesystem.=4\*GB3④ALANdesignofapoint-to-pointvideoconferencesystem.=5\*GB3⑤Realizedavideoconferencesystem.Keywords:videoconferencesystem;H.323protocol;multicast;RTP/RTCP目录第1章绪论 11.1背景 11.2视频会议系统的概念 11.3视频会议的发展及发展趋势 21.4视频会议系统的现状 31.5研究视频会议系统的意义 41.6本文主要的研究内容 4第2章视频会议系统的技术研究 52.1视频会议系统的类型和组成 52.1.1视频会议系统的类型 52.1.2视频会议系统的组成 62.2H.323标准分析 62.2.1H.323协议的概念 62.2.2视频会议系统的基本框架结构 72.2.3H.323协议栈详细描述 82.2.4H.323组件 92.4本章小结 14第3章视频会议系统使用的关键技术 153.1多媒体信息处理技术 153.1.1多媒体压缩技术 153.1.2音频编解码技术 153.1.3视频编解码技术 163.2网络技术 173.2.1RTP/RTCP协议 173.2.2组播技术 183.2.3QOS保障技术 183.3信息安全 193.4流媒体传输技术 193.4.1流媒体的概念 193.4.2实时传输协议RTP 203.4.3实时传输控制协议RTCP 203.5.1NAT技术与NAT穿越 213.5.2NAT穿越的主要技术 213.6本章小结 22第4章视频会议系统的总体设计 234.1局域网内的点对点视频会议系统结构 234.2视频会议系统软件结构 234.3软件体系结构设计 234.4系统的模块设计 244.5系统的工作流程 244.6本章小结 26第5章视频会议系统的实现 275.1基于DirectShow视音频的采集的实现 275.1.1DirectShow技术 275.1.2视音频采集模块 285.2控制和通信模块的实现 315.2.1H.225.0呼叫信道信令的实现 315.2.2H.245.0控制信令 325.3视音频传输模块的实现 345.3.1RTP/RTCP处理模块 345.3.2RTP传输视音频信息流的实现 345.4本章小结 35结论 36参考文献 37致谢 39第1章绪论1.1背景随着Internet和视频压缩技术的飞速发展，使得Internet网络成为信息交换和传输的重要手段之一，简单的数据计算、数据存取、数据访问无法满足政府，教育，企业等的需求，希望实现数据，音频，视频的双向互通，进行实时的多方位的信息沟通，因而，以IP网络为基础的多媒体视频会议已成为主要的发展趋势，受到国内外市场的普遍关注[1]。个人计算机的普及、微电子技术和多媒体技术的飞速发展、综合业务数字网的建立及宽带综合业务数字网的研究发展，都有力的推动了视频会议的发展。现代宽带网络技术的发展迅速，基于IP网络的视频会议系统正成为会议系统发展的主流[2]。当前的多媒体会议系统大多基于硬件插卡方案，以满足实时应用的要求，但存在很大缺点，它需要额外的资金购买硬件，而且一旦出现新的协议或算法，就必须更换硬件，因此基于IP交换网络的视频会议系统的实现由于其成本的低廉，交互性强大，多点共同参与的特点和优点取代了传统的电视，电话会议，成为了人们经过远程进行会议交流的理想选择。基于IP协议的交换技术的发展，使传统电信业务和互联网数据业务的整合成为可能。它能为用户提供直接，全面的沟通交流，并能节约时间、降低成本、提高生产率，在社会性的信息交流中了发挥了巨大的沟通作用。1994年当时的Intel公司执行总裁AndyGrove曾预言:“到将令每台PC具有视频会议系统”，虽然现在并没有实现Grove在1994年的超前预言，但现在看来，不容置疑的是:视频会议是当今火热的宽带网上的最有代表性的应用之一[3]。1.2视频会议系统的概念视频会议系统，是指两个或两个以上不同地方的个人或群体，经过传输线路及多媒体设备，将声音、影像及文件资料互传，达到即时互动的沟通，以完成会议目的的系统设备[4]。视频会议系统旨在为分散于不同地区的多个用户提供一个很好的讨论环境，使人们足不出户就可与远在天涯的朋友展开讨论，举行远程会议。视频会议系统多媒体信息的强大表现力和计算机的交互、管理能力极大地方便了与会者[5]。在会议发起时，计算机负责用户间的联络(包括发送邀请、处理回执等);在会议进行中，可自动处理用户的加入和退出，为用户灵活地参加会议提供了方便。这种会议系统不但能实时地传输与会者的声音与影像，产生面对面讨论的感觉，而且能够将会议上讨论的内容与这些信息的传输结合起来，便于计算机完成一些事务性工作，减轻与会者的负担。在会议进行过程中，用户还能够经过数据库查找会议中要用到的资料，建立会议的目录，记录会议的进展，以便归档保存，供以后查询。视频会议系统不但为面对面交谈提供手段，而且有效支持群体协作，主要表现在以下方面：=1\*GB3①提供共享工作空间:提供足够的视频音频通信能力，使人们尽量以面对面方式进行交互;在交互过程中，控制和协调相关用户之间以及用户与系统之间的关系。=2\*GB3②提供共享信息空间：人与人之间交互式数据交换与操纵;同时支持个人与群体工作，而且能够在两者之间交换信息[6]。1.3视频会议的发展及发展趋势视频会议大致经历了以下几个发展阶段[7]。第一阶段，20世纪60年代至80年代的模拟技术视频会议。1964年，世界上最早的模拟技术可视电话——PicturePhoneMOD－I诞生于美国贝尔实验室，采用了图像和语音分时传输的方法，传输带宽为300～3400Hz。进入20世纪70年代，由于数字式传输的出现，传统视频会议系统所用模拟信号的采样和变换方法得到极大改进，数字信号处理技术逐渐成熟。对数据压缩的研究生成了视频会议产品的核心技术——CODER（Coder/Decoder）。第二阶段，20世纪90年代初至1995年基于ISDN的数字视频会议。这一阶段的前期是基于SDH、DDN网的视频会议，后期主要是基于ISDN网的视频会议。20世纪90年代初期，第一套国际标准H.320获得经过，不同品牌之间的兼容性问题得到了解决。第三阶段，1995年以后基于IP网的数字视频会议。20世纪90年代后期，随着PC的快速升级，数据存储和处理能力越来越强，信息压缩技术发展快速，进一步推动了视频会议系统的发展。当前视频会议技术正向Internet网络上的多媒体会议方向发展。视频会议系统未来的发展趋势有以下几点：=1\*GB3①编解码方式由硬件向软件转化。由于计算机处理速度和附属板卡的处理速度提高，许多需要专用设备进行的数据处理过程能够交由计算机及其内置的通用板卡来完成，在效果上没有太大的区别=2\*GB3②系统协议类型从H.320向H.323转化。在初期，由于IP协议不是很普遍，基于ISDN线路，符合H.320协议的产品占主要比例。随着近几年IP协议的普遍应用和互联网的高速发展，特别是对于宽带网络的普及，符合H.323协议的系统自开始占有的比例急剧上升。估计在未来几年年，基于H.323协议的系统将会取代H.320产品。=3\*GB3③流媒体技术越来越多的应用于视频会议系统中。当前，流媒体技术与IP视频会议一样受到重视，两者之间的相互融合正在开创广阔的应用空间。=4\*GB3④虚拟会议(VirtualSpaceTeleconferencingSystem，VST)将会出现。虚拟会议是会议系统的高级形式。它与视频会议系统中采用的独立视频窗口不同，它提供了一种虚拟会议环境，多个与会者的图像统一出现在虚拟会场中，表现形式是运动参数驱动的运动人脸模型。系统中的重要部件MCU将接收到的音、视频码流进行混合，在编码状态下生成虚拟会议室，并将混合后的业务流传送给每个与会者。这种系统需要VR技术支持，涉及到VST显示系统，视频对象提取，三维人体建模，空间交互模型等关键技术，是未来的高级会议形式。=5\*GB3⑤组播技术的运用。随着下一代互联网的研究开发，组播技术将会越来成熟，由此会使得基于组播的视频会议更加的普及，节省大量的带宽。1.4视频会议系统的现状国外对视频会议的研究开发远远早于中国，第一代视频会议产品的可视电话是由美国贝尔实验室1964年研制出来，中国第一台拥有自主知识产权的ISDN可视电话7月才研制成功.随后视频会议提供厂商加大了视频会议终端产品的研发，众多国际品牌脱颖而出，以WEBEX为代表的运营平台提供商也给视频会议市场注入了新的活力。在美国，视频会议己渗透到政府、商业、金融、交通、服务、教育等各行业，其中远程教育和远程医疗占了相当大的比重。在这其中，美国政府对信息化建设起到了非常重大的推动作用，在远程教学方面，诸多美国大企业利用视频会议系统为员工提供培训，而MRR和Duke等顶尖大学也都在远程教育方面进行了很大投资.911事件之后，美国出现了企业集团、个人大规模采购与使用视频会议系统的热潮，据调查显示，有91%的商业企业倾向于采取视频会议的工作方式[8]。中国的视讯业发展已有的历程。发展之初的视频会议系统只是针对政府、金融、集团公司等高端市场，主要在专网中运行，且造价不菲，预算往往高达百万、千万元。受SARS的影响，中国视频会议系统市场近两年突破了以往的平缓发展局面，开始步入稳步快速发展阶段。混网及企业公网市场代替基于专线网络的视频会议系统占了主流地位。，基于混网和企业公网的产品占到了68.8%的比例，，这一比例将高达87.5%，成为市场主流。赛迪顾问公司去年年底的调查显示，中国在政府、金融、能源、通信、交通、医疗、教育等重点行业机构中视频会议设备的用户比例达到了66.3%，视频会议系统己经成为了中国行业信息交流和传递的重要手段。计世资讯(CCWResearch)预测，未来3年内，视频会议系统将以复合年平均增长率26.1%的速度增长。1.5研究视频会议系统的意义基于IP网络的视频会议系统是一种集音频、视频、数据为一体的多媒体网络通信的应用，是人们继单一媒体实现网络上的实时通信后对多媒体实现实时通信提出的要求。实现IP网络上的视频会议系统有着社会和技术发展两方面的意义。从它的技术发展意义来讲，研究IP网络上的视频会议系统促进了网络中多媒体信息的编码压缩解压技术，同时还促进了IP网络对媒体的实时传输技术、多点传输技术和业务保障技术的不断发展。从产生的社会效益来讲，视频会议能够节省大量的会议费用，但实现IP网络上的视频会议系统不但仅只是提供给人们一个能够进行异地实时会议的工具，还能够在这个基础上增开网络实时通信的增值服务。除了上述视频会议系统的类型外，还能够在办公自动化、紧急求援、现场指挥调度等许多方面发挥作用，因此有较好的发展前景。1.6本文主要的研究内容本文主要阐述以下几个方面的内容:=1\*GB3①分析了视频会议系统的发展、应用及意义。=2\*GB3②分析并研究了视频会议系统类型、组成及相关标准。=3\*GB3③分析并研究了视频会议系统使用的关键技术。=4\*GB3④给出了视频会议系统的总体设计。=5\*GB3⑤分析研究了视频会议系统的实现。第2章视频会议系统的技术研究2.1视频会议系统的类型和组成2.1.1视频会议系统的类型根据运行环境和支持标准等视频会议系统能够划分为以下不同的类型[9]。根据会议节点数目不同，视频会议系统分为点对点视频会议系统和多点视频会议系统。点对点视频会议系统应用于两个通信节点间。多点视频会议系统应用于两个以上节点之间的通信。根据运行的通信网络不同，视频会议系统分为数字数据网（DDN）或其它专用网型、局域网/广域网型（LAN/WAN）和公共交换电话网型（PSTN）3种。使用DDN或专用网，在384～2048kbit/s，可提供25～30帧/s的CIF或QCIF图像；在LAN/WAN环境种，运行在384kbit/s速率下，可提供每秒15～20帧/s图像；而在PSTN上，运行在28.8kbit/s或33.6kbit/s等速率下，只能达到5～10帧/s。根据技术支持类型的不同，视频会议系统可分为基于线路的视频会议系统和基于分组的视频会议系统。基于线路的视频会议系统，也称为常规视频编解码系统，依照专用线路提供一个确定的比特率，诸如租用线路或公用线路交换服务。基于分组的视频会议系统是从分组视频通话系统演化而来的，其基本原理是相同的，即利用桌面计算机支持视频会议的服务。根据所选用的终端类型不同，视频会议系统可分为桌面视频会议系统（DesktopVideoConference）、会议室型视频会议系统（Room/Roll-aboutVideoConference）和可视电话系统。桌面型视频会议系统主要利用计算机软件完成会议功能。会议室视频会议系统在带有环境控制设备的专用会议房间里装置一个或多个大屏幕，系统由屏幕、摄像机、麦克风和辅助设备等组成。可视电话系统用于点到点通信，它满足了在电话上进行视频会议传输的要求，系统组成包括一个小屏幕、内部摄像机、视频编解码器、音频系统和键盘。视频会议系统按照传输网络能够分为以下几类：[10]基于PSTN（PublicSwitchedTelephoneNetwork，公共交换电话网）的系统一般只提供点到点的通信功能，因受信道速率33.6kbps的约束，难以提供较好的质量和音频，应用范围有限。基于ISDN（IntegratedServicesDigitalNetwork，综合业务数字网）的系统是当前使用最多的系统，ISDN线路结合了数字通信的灵活性与电话系统的低价位。一般ISDN提供64kbps或128kbps的带宽，足够一般通信会议系统使用，因此对于桌面会议系统比较合适。基于ATM（AsynchronousTransferMode，异步传输方式）和B-ISDN（BroadbandIntegratedServicesDigitalNetwork，宽带综合业务数字网）的系统因ATM和B-ISDN尚未普及，因此这种类型的系统当前很难有较大的发展。基于LAN（LocalAreaNetwork，局域网）的系统与其它网络相比，LAN具有组网简单、传输速率高等特点，其上运行的视频会议系统也较容易实现好的运行效果。基于Internet的系统是以上各种类型网络集合而成的错综复杂的环境，在其上运行的视频会议系统相对来说实现难度最高。可是，随着Internet的商业巨大成功，基于IP网络的具有多媒体通信功能的应用系统成为多媒体应用的主要发展趋势。2.1.2视频会议系统的组成典型的多媒体视频会议系统由终端设备，通信链路，多点控制单元（MCU，Multi-pointControlUnit）及相应的软件部分组成。终端设备：终端设备不但要完成各自的数据处理任务，还要并行完成多媒体通信协议的处理、音视频信号的接收、存储与播放，并记录和检索大量与会议相关的数据与文件。终端设备的硬件配置包括音、视频信号处理器，压缩与解压缩卡，以及摄像机、话筒、扬声器、电子书写板、图像扫描仪和通信网卡等。通信链路：通信链路的选择有很多种，包括PSTN、LAN、WAN、N-ISDN、FrameRelay或者B-ISDN、ATM等。多点控制单元MCU：MCU是视频会议系统的核心设备，它是一个数字处理单元，一般设在网络节点（汇接局）处，用于处理多个地点同时进行通信，其主要功能是将各终端送来的信号进行分离，抽取出音频、视频、数据和信令信号，分别送到相应的处理单元，进行音频混和或切换、数据广播和确定路由选择、定时和处理会议控制等。软件部分：软件部分包括协议处理、会议服务、音频与视频信号处理、协同工作管理和图形用户接口等。国外常见的视频会议软件有CU-SeeMe（由美国Cornell大学开发）、IVS（INRIAVideoconferencingSystem，由法国INRIASophia开发）和ShowMe（由SunMicrosystems公司开发）等。2.2H.323标准分析2.2.1H.323协议的概念1997年3月ITU-T(国际电信联盟电信标准化部门)发布了用于局域网上的视频会议标准协议H.323，为与Internet和Internet相连的视频会议系统提供了互通的标准，各厂商也纷纷推出符合该标准的视频会议系统产品。H.323是一套在分组网上提供实时音频、视频和数据通信的标准，是ITU-T制订的在各种网络上提供多媒体通信的系列协议H.32x的一部分。H.323协议被普遍认为是当前在分组网上支持语音、图像和数据业务最成熟的协议。采用H.323协议，各个不同厂商的多媒体产品和应用能够进行互相操作，用户不必考虑兼容性问题。H.323制定了无QOS(服务质量)保证的分组网络PBN(packetBasedNetworks)上的多媒体通信系统标准，这些分组网络主宰了当今的桌面网络系统，包括基于TCP/IP、IPX分组交换的以太网、快速以太网、令牌网、FDDI技术。因此，H.323标准为LAN、WAN、Internet上的多媒体通信应用提供了技术基础和保障，成为视频会议系统的主流技术。H.323是ITU多媒体通信系列标准H.32x的一部分，该系列标准使得在现有通信网络上进行视频会议成为可能，其中，H.320是在N-ISDN上进行多媒体通信的标准:H.321是在B-ISDN上进行多媒体通信的标准:H.322是在有服务质量保证的LAN上进行多媒体通信的标准:H.324是在GSTN和无线网络上进行多媒体通信的标准。H.323为现有的分组网络PBN(如IP网络)提供多媒体通信标准。若和其它的IP技术如IETF的资源预留协议RSVP相结合，就能够实现IP网络的多媒体通信。基于lP的LAN正变得越来越强大，如IPoverSDHSONET、IPoverATM技术正在快速发展以及LAN宽带正在不断的提高。由于能提供设备与设备、应用与应用、供应商与供应商之间的互操作能力，因此，H.323能够保证所有H.323兼容设备的互操作性。更高速率的处理器、日益增强的图形器件和强大的多媒体加速芯片使PC成为一个越来越强大的多媒体平台。H.323可提供PBN与别的网络之间进行多媒体通信的互连互通标准。许多计算机、网络通信公司，如Inter、Microsoft和Netscape都支持H.323标准。H.323标准包括在无QOS保证的分组网络中进行多媒体通信所需的技术要求。这些分组网络包括LAN、WAN、Internet以及使用PPP等分组协议经过GSTN或ISDN的拨号连接或点对点连接。2.2.2视频会议系统的基本框架结构图2.1为基于H.323的视频会议系统的体系结构。从图中能够看出，H.323会议系统由终端(Terrill)，网守(Gatekeeper，亦称网闸)，网关(Gateway)，多点控制单元(MCU)组成，不同的会议分组由路由器(Route)接入Internet。视频会议系统的框架结构是基于H.323标准建立的，H.323是一个框架协议，它涉及到终端设备、视频、音频和数据传输、通信控制、网络接口方面的内容，还包括无QOS保证的IP网络无QOS保证的IP网络H.323终端H.323MCUH.232网闸H.323网关H.323终端H.323终端电话交换网N-ISDNB-ISDN语音终端语音终端V.70终端H.320终端H.320终端H.321终端图2.1视频会议系统的组成了组成多点会议的多点控制单元(MCU)，多点控制器(MC)，多点处理器(MP)，网关以及网守等设备。它的基本组成单元是“域”，在H.323系统中，所谓域是指一个由关守管理的网关，多点控制单元(MCU)，多点控制器(MC)，多点处理器(MP)和所有终端组成的集合。一个域最少包含一个终端，而且必须有且只有一个关守。H.323系统中各个逻辑组成部分称为H.323的实体，其种类有：终端，网关，多点控制单元(MCU)，多点控制器(MC)，多点处理器(MP)。其中终端、网关、多点控制单元(MCU)是H.323中的终端设备，是网络中的逻辑单元。终端设备是可呼叫的和被呼叫的，而有些实体是不通被呼叫的，如关守。H.323包括了H.323终端与其它终端之间的，经过不同网络的，端到端的连接。H.323协议它参考了其它ITU-T标准，提供了系统和组件描述，呼叫模型描述以及呼叫信号处理，完成了多层次的多媒体通信。这些层次结构包括局域网上的声音通信，声音和视频通信，声音和数据通信，声音和视频通信以及数据通信。2.2.3H.323协议栈详细描述H.323协议栈是一个有机的整体，根据功能能够将其分为四类协议，也就是说该协议从系统的总体框架(H.323)，视频编解码(H.263)，音频编解码(G723.1等)，系统控制(H.245)，数据流的复用(H.225)等各方面作了比较详细的规定。为网络电话和网络会议系统的进一步发展和系统的兼容性提供了良好的条件。系统控制是H.323终端的核心。整个系统控制由H.245控制信道，H.225.0呼叫信令信道和RAS(注册、许可、状态)信道提供。音频编解码协议包括G711协议(必选)，G722，G723.1，G728，G729等协议。编码器使用的音频标准必须与H.245协商确定H.323终端应能对本身所具有的音频编解码能力进行非对称操作，如以G711发送，以G729接收。视频编解码协议主要以H.263为主，H.323系统的数据会议功能是可选的。在H.323系统中，包括4个主要的组件：终端(Terrill)，网关(Gateway)，网守(Gatekeeper)和多点控制单元MCU(MultipointControlUnit)。各组件之间经过信息流的传递进行通信，这里的信息流能够分为视频、音频、数据、通信控制信号和呼叫控制信号。视频信号包含经数字化、编码后的运动视频，在网络上以不大于能力交换结果所选择的速率进行传输。视频信号还伴有视频控制信号。音频信号包含经数字化、编码后的语音，为了减少音频信号的平均比特率，应提供语音激活功能。音频信号还伴有音频控制信号。数据信号包括静止图像、传真、文档、计算机文件以及其它的数据流。通信控制信号用于在相关端点之间传递控制数据，完成能力交换、打开/关闭逻辑信道、模式控制和其它通信控制功能。呼叫控制信号用于呼叫建立、呼叫拆除，以及其它呼叫控制功能。按照H.225.0协议，上述信息流经格式化后，被送往H.225.0描述的网络接口层中。2.2.4H.323组件=1\*GB3①H.323终端：H.323终端是能够在分组交换网络中提供实时、双向通信的节点。H.323终端功能框架如图2.2所示。其中系统控制单元、H.225分层、分组网络接口、音视频编码单元是H.323终端必须具备的，视频编解码单元和数据应用是可选的。下面简单介绍终端基本组件的主要作用。音频压缩：采用特定的音频压缩算法产生数字化音频信号并进行相应的解码。在运用中，编解码器使用的音频算法是在交换期间经过H.245协商得到的。音频流应根据H.255.0标准进行格式化。H.323终端能够同时发送或接收多个音频信道信息。例如，它能够允许两种语音传送;对于多点会议，H.323终端需实现音频混合的功能。在音频压缩，G711是必须的，而其余的G722、G728、G723和G729是可选的。视频压缩：采用特定的视频编码算法产生数字化信号并进行相应的编码。视频编码不进行BCH纠错，且允许以不对称的视频比特率、帧速率、图像分辨率运行。类似音频编解码器，视频编解码器使用的编解码算法是在交换期间经过H.245协商得到的，视频流也应根据H.225.0建议规定的格式进行打包传送。在视频压缩中，H.261QcIF方式是必选，而H.261cIF和H.263所有图像格式是可选的。数据信道。H.323终端经过H.245的控制消息建立一个或多个数据信道。H.323会议系统的数据功能是建立在T.120系列基础之上的。根据应用的要求，数据信道是双向或单向的逻辑信道，在这些逻辑信道上实现H.323会议系统的全部数据通信功能。H.245控制：H.245控制信道承载管理。H.323通信试图操作的端到端控制消息，描述了用于打开和关闭传输音频、视频和数据的逻辑信道以及容量交换、模式选择请求、流量控制消息及通用命令和指示。H.245信令在两个终端间或一个终端和MCU间或一个终端和网关间建立。对于端点参与的呼叫，端点应在每个方向上建立一个H.245控制信道，并使用H.245建议的消息和规程。H.225呼叫控制：运用H.225呼叫控制信令来建立两个H.323终端间或终端与网守间的连接，其中H.225.0描述了媒体(音频和视频)流打包、媒体流同步、控制流打包以及控制消息格式。呼叫信令信道的建立先于H.323终端间的H.245控制信道和其它任何逻辑信道，因此，它的建立不受H.245控制信道的管理。RAS控制：RAS(Registration，Admissionandstatus，登记、接纳和状态协议)信号运用H.225控制消息在终端与网守之间执行登记、接纳、带宽改变和使二者脱离关系等过程。RAS信道不受H.245控制信道管理。系统没有网守时，无需建立RAS信道。若系统存在网守，RAS信道建立早于终端间的任何信道。分组网络接口：H.323终端的网络接口是H.225建议所描述的，它规定了下述必须的功能:对H.245控制信道、数据信道、呼叫信令信道提供可靠的端到端服务(TCP、SPX等)，对于音频、视频和RAS信道提供不可靠的端到端服务(UDP、IPX等)。这些服务能够是单工、双工、单播或多播的。H.323终端之间的通信过程分为几个阶段，简单描述如下：第一阶段，执行呼叫信令协议(H.225.0)，控制信道为呼叫信令信道(可靠信道)，呼叫建立后，在端点之间建立起H.245媒体控制信道。第二阶段，执行H.245控制协议，控制信道为媒体控制信道(可靠信道)。进行通信能力交换和模式设定，以协调通信双方的互通性。第三阶段，在端点之间建立具有一定带宽的音频和视频逻辑信道，这些逻辑信道为实时不可靠信道，采用UDP方式传输。第四阶段，在通信过程中，执行H.245媒体控制协议进行参数设定和带宽修改等。第五阶段，利用H.225.0呼叫控制协议结束通信，关闭逻辑信道，媒体控制信道和呼叫控制信道。视频I/O设备视频I/O设备音频I/O设备系统控制用户接口用户数据应用T,120等音频编解码G711,G722,G723,G728,G729视频编解码H.231,H.263系统控制视频I/O设备视频I/O设备视频I/O设备接收通路延迟H.225.0网络接口图2.2H.323终端设备结构图=2\*GB3②网闸：网闸又称网守，是H.323传输架构中最为重要的设备，它相当于整个架构的管理者与仲裁角色，它的工作包括终端的IP认证及别名(misaddress)转换，传输带宽的管理，信令的转换等。从逻辑上讲，网闸是一个独立的设备(功能模块)，但实际上，网闸能够与终端，MC，MP，MCU，Gateway等在一个设备上，但其功能是独立的。在H.323系统中能够有网闸，甚至有多个网闸，网闸之间还能够进行相互通信，但也能够没有网闸。可是，如果它们在H.323网络中出现，末端设备就必须用到它们的服务。网闸的基本工作就是为注册的H.323端点提供呼叫控制服务。H.323标准定义了几种网闸必须提供的服务，也指出了它能提供的其它的可选的功能。H.323要求网闸必须提供以下服务：地址翻译:网闸必须能将别名地址翻译为传输地址。这在电路交换网络中的电话试图呼叫在此网络中的PC的情景中是特别有用的。当决定PSIN的网关定址时也十分有用。入会场许可的控制与管理：H.323系列建议定义了用来授权的网络接入的RAS消息。服务提供商能够经过网闸界面利用现有的授权机制。另外，企业管理和服务提供商还能够提出她们自己的网络授权准则—例如，基于服务预定，信用卡保证，一天中的某些时段等等。在某些情况下，所有的呼叫都能被授权。带宽控制：网闸必须支持RAS带宽消息。许多情况下，带宽请求都将被接受，除非网络或特定的网关阻塞。H.323标准还规定了强迫带宽控制的机制。域管理：网闸必须列出所有在其上登记的末端设备的表格。决定哪些H.323末端设备能够登记到特定的网闸、图表或域的逻辑合成的规则并不由H.323标准指定，而是留待网络设计员酌情处理。=3\*GB3③多点控制单元：多点控制单元用于支持3个以上端点设备的会议，主要功能是协调及控制多个终端间的视频传输。MCU的作用相当于一个交换机的作用，但它又与一般电话网的交换机不一样。H.323系统中，一个多点控制单元由一个多点控制器MC(MultipointController)和几个多点处理器MP(Multipointprocessor)组成，但也能够不包含MP。多点控制器处理终端间的H.245控制信息，从而决定它对视频和音频一般的处理能力。在必要情况下，多点控制器还能够判断哪些视频流和哪些音频流需要多播，以控制会议系统使用的资源。MC主要是负责协调终端间传输频道使用的先后顺序及利用H.245来界定传输内容的规格；MP则是在MC的控制规定之下真正在从事影音的再制作、转送、以及一些视频流的处理。MCU中MC是必须要具备的管理功能，MP则视终端处对视频的处理能力及整体环境架构而有取舍的余地。MC并不直接处理任何媒体信息流，而将它留给MP来处理。MP对视频，音频或数据信息进行混合，切换及其它处理。多点处理器和多点控制器可能存在于一台专用设备中或作为别的H.323组件的一部分，但MCU一般是独立的单元设备，具有自己的传输层地址。=4\*GB3④网关(Gateway)：在会议系统中，网关是跨接在两个不同网络之间的设备，把位于两个不同网络上的会议终端连接起来组成一组会议。网关的主要功能有三大类：第一大类是通信格式的转换，如对于H.323会议网络(如IP网)和电路交换网(SCN)之间就必须经过网关实现H.225.0码流和H.221码流之间的互译，以完成链路层的连接。第二大类是视频、音频和数据信息编码格式之间的互译，以完成表示层之间的相互通信。第三大类是通信协议和通信规程如H.245与H.242之间的互译，以实现应用层的通信。由于网关是跨接在两个网之间的，对于两个网中的任一个网来说网关都是该网的一个设备。由于网关在一个网内是没作用的，因而会议如在一个网内召开，就不需要网关。在两个网中的任一个网内它要么起终端的作用，要么在网内起MCU作用。H.323的视频会议系统的层次结构。H.323标准协议不是单纯的一个协议，而是包含网守RAS协议、呼叫信令H.225协议、媒体控制协议H.245协议、媒体传输协议义TCP以及音频视频编解码协议和数据共享协议T.1加协议的一系列协议的集合体。具体介绍如下：网络层和传输层协议：在H.323协议栈中，IP和TCP协作，共同完成面向连接的传输。可靠的传输保证了数据包传输时的流量控制、连续性以及正确性，但这样会引起传输延迟以及占用网络带宽。H.323将可靠的TCP用于H.245控制信道。T.12O数据信道和呼叫信令信道。音频和视频信息采用不可靠的、面向非连接的传输方式，即利用用户数据报协议担DP)，因而它无法提供很好的服务质量，但其传输延时较TCP小。系统控制：系统控制功能是H.323终端的核心，它提供了H.323终端正确操作的信令，这些功能包括呼叫控制、能力交换、命令和指示以及用于开放和描述逻辑信道内容报文等。整个系统的控制由H.245多媒体通信控制信道、H.225.0呼叫信令信道以及RAS信道提供。分组与同步：H.225.0标准描述了无服务质量保证的分组网络上媒体流的打包分组与同步传输机制，它对传输的视频、音频、数据与控制流进行格式化，功能以便输出网络接口。另外，它还完成逻辑成帧、顺序编号、纠错与检错功能。RAS协议原理。进行注册、认可和状态通信的不可靠信道称为RAS信道。RAS通知功能用H.225.0消息在端点和关守之间执行登记、授权，带宽变换状态和脱离处理。RAS通知信道独立于呼叫信道和H.245控制信道。H.245打开的逻辑信道过程并不用于建立RAS通知信道。在互联网环境下，由于没有网守，因此没有采用RAS通知信道。在包含一个关守的互联网环境下，RAS通知信道在端点和关守之间存在。RAS通知信道比H.323端点之间的其它任何信道的建立都早。呼叫信令功能利用H.225.0的呼叫信令在两个H.323终端之间建立连接。呼叫信令信道独立于RAS信道和H.245控制信道。H.245的打开逻辑信道过程并不用来建立呼叫信令信道。呼叫信令信道在H.245信道和其它的H.323端点之间的信道建立之前就应该打开。在没有关守的场合，呼叫信令信道在两个对应的呼叫端点之间打开。在有关守的场合，呼叫信令在端点和关守或由关守指定的端点之间打开。RAS是端点和网守之间执行的协议，基本上是管理功能，有以下几个过程：第一步，网守搜寻用于端点搜寻其归属网守，其后所有RAS消息均限定在端点和其归属网守之间的传送。网守搜寻有两种方式，人工方式和自动方式。人工方式经过终端配置完成，将其归属网守的运输层地址预置入配置文件或者初始化文件。自动方式允许端点和其归属网守的关系能够随时间改变，但又有网守出现故障时能够自动切换到替换网守上，提高了可靠性和灵活性，而且减少了管理工作量。第二步，端点登记用于端点向网守登记其自身信息，主要是别名和呼叫控制信道运输层地址，包括取出登记过程。必须在登一记后才能发起和接收呼叫，登记表明该端点加入了管理区。第三步，呼叫接纳起呼的第一步操作，询问网收是否允许该呼叫发起。第四步，呼叫退出呼叫结束后通知网守，该端点已经退出呼叫。第五步，带宽管理支持端点在呼叫过程中提出带宽改变要求，由网守作决定。2.3H.323视频会议过程一次完整的视频会议通信过程，包括以下五个阶段：第一阶段，呼叫建立参加会议的末端设备首先需要在网守处注册。以决定其对网络的访问权限及可使用的带宽，建立RAS信道，采用H.225.0定义的RAS信令，会议呼叫由终端或终端经过MCU发起。终端与终端建立连接或MCU逐个呼叫所有与会者终端，建立握手信号后，终端和MCU之间建立起一条会议控制的通道，经过网络的可靠传输协议来保证控制信令的正确性，这个过程建立呼叫信令信道，采用以Q.931为基础的H.225.0信令。第二阶段，通信初始化和终端性能协商终端之间交换通信模式或MCU选择会议通信模式，并根据事先指定或各终端的申请将其分为主席会场、会话会场和听众会场。终端性能协商是根据各终端的性能参数来选择视频和音频的编解码方式。第三阶段，视频、音频通信的建立终端根据H.245信道建立视频、音频信道或MCU为各终端分配视频流、音频流、数据流端口号，并获取相应终端对应端口，建立起两者之间的双向通信通道。对视频流和音频流将使用非可靠协议UDP而数据流则以可靠传输协议TCP来进行。第四阶段，会议服务实现H.245会议控制过程，即MCU和终端之间的视频切换过程、模式切换过程、信息流的广播过程和主席控制过程。这一过程利用已建立的呼叫控制信道，仍采用H.245信令。第五阶段，会议结束终端发起退出会议申请，终端关闭视音频通道，随后关闭控制通道，终止会议。2.4本章小结本章对一个完整的视频会议系统进行了介绍，主要讨论了H.323协议以及协议规定的各个组件的功能，而且给出了视频会议的过程。第3章视频会议系统使用的关键技术视频会议系统涉及计算机网络、多媒体通信、媒体信号处理等多方面的内容，是计算机网络中的一种多媒体通信的应用。系统采用了包括计算机网络技术，媒体信号编码压缩解压技术，多点传输技术以及保证系统QOS的多方面的技术。其中最为核心的技术是网络技术，媒体编解码技术和媒体信号传输技术。视频会议系统经过了由模拟向数字，由电信网向计算机网络，由无标准向有协议标准的发展.在Internet上实现视频会议系统，需要解决以下几个主要方面的关键技术：一是多媒体信息处理技术；二是网络技术；三是信息安全技术；四是流媒体传输技术。3.1多媒体信息处理技术3.1.1多媒体压缩技术压缩编码技术是视频会议系统的关键技术之一，多媒体信息，特别是连续媒体信息源将产生大量的实时数据，如果直接进行传输或存储，则会对网络带宽和存储空间带来很大的负担。因此，多媒体数据在传输前或存储前必须经过压缩处理，传送到目的地后再解压播放。这样能够节省大量的网络带宽。多媒体数据压缩是经过数学运算将原来较大的文件变为较小文件的数字处理技术，数据解压缩是把压缩数据还原成原始数据或与原始数据相近的数据的技术。数据压缩一般可分为无损压缩和有损压缩两种类型。无损压缩是指压缩后的数据经过重构还原后与原始数据完全相同，有损压缩是指压缩后的数据经过重构还原后与原始数据有所不同。衡量一种压缩技术的好坏主要综合考虑三个指标：一是压缩比要大；二是算法要简单，压缩解压缩速度要快，能够满足实时性要求；三是压缩损失要少，即解压缩的效果要好。数据压缩的技术核心是压缩算法，当前常见的压缩方法有两类：一是无损压缩(又称冗余压缩法或嫡编码法)，主要用于文本和数据压缩，典型的有Hamlin算法、游程编码；二是有损压缩(嫡压缩法)，主要用于图像和声音的压缩，常见的有模型编码、矢量量化、子带编码等。在具体应用中，常混合采用多种压缩算法，如用于静态图像压缩的JPEO，以及今年来发展起来的支持静态图像压缩的MPEG等。3.1.2音频编解码技术数字音频编码有许多成熟的算法和标准，它们大多采用基于差分脉冲编码调制(ADPCM，AdaptiveDifferentialpulseCodeModulation)、线形预测编码(LPC，LinearpredictiveCoding)、(CELP，CodeExitedUnbarPrediction)等方法，当前应用最广的音频压缩标准是G.7xx系列标准，主要包括G711，G721，G722，G723，G726，G728和G729，能够分为基于采样的编码和基于帧的编码。G711和G722属于基于采样的编码，特点是每个话音采样均用固定数目比特来表示。G711包含A律和U律PCM两种方式，编码器数据率为64kbps。G722全称是数据率为64kbPs的7kHz音频编码，也是由ITU-T制定的音频编解码标准。G723、G728和G729是基于帧的话音编码，本文采用的是G723语音编码，G723是一个双速率的语音编码器，G723.1语音编码是H.323协议首推的语音编码器，它不但具有两种低速率语音编码输出，而且具有很好的语音质量，因此，当前在IP的多媒体通信系统中应用特别普遍。它的两个编码速率分别为6.4k和5.3k。高速率(6.4k)采用多脉冲激励最大似然量化算法，低速率(5.3幻采用代数码本激励线形预测伍CELP)算法。这两种算法具有相同的理论基础，都是基于线形预测，都采用非周期性分量的激励源。不同之处在于对MP-MLQ采用多脉冲最大似然量化激励，而对ACELP采用的是代数码本激励。3.1.3视频编解码技术所谓编解码方式就是指经过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。当前视频编码技术主要有两种标准：一是国际电信联盟远程通信标准化的H.26x系列标准；二是国际标准化组织/国际电工委员会ISO/IEC)运动图象专家组的（MPEG(MotionPictureExpertGroup)系列标准。其中，H.26X系列标准能够在很低的码率下保证解码图象的质量，更加适合Internet上的实时视频业务。当前视频流传输中最为流行的编解码标准有ITU-T制定的H.261，H.262，H.263及由ITU-T视频编码专家组(VCEG)和MPEG联合组成的联合视频组提出的高度压缩数字视频编解码器标准H.264。H.264/AVC是ITU-TVCEG（ITU-TVideoCodingExpertsGroup，国际电信联盟视频编码专家组）和ISO/IECMPEG共同开发的视频处理标准，ITU-T作为标准建议H.264，ISO/IEC作为国际标准14496-10（MPEG-4第10部分）高级视频编码（AVC）。H.264不但比H.263和MPEG-4节约了50%的码率，而且对于网络传输具有更好的支持功能。它引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。3.2网络技术3.2.1RTP/RTCP协议多媒体技术是把文字、音频、视频、图形等多媒体信息经过计算机进行数字化采集、获取、压缩/解压缩、编辑和存储等加工处理的技术。一般说来，文本信息在网络上传送时不需要严格的实时控制，却要求可靠的服务。而声音、视频信息能够允许少量的信息流失，但对时间的延迟却非常敏感，要求网络能实时传送。在Internet上传输多媒体信息，对实时性要求很高，一般都是采用实时传送协议RTP(Real-TimeTransportProtocol)协议进行封装传输。IP网络的通信协议是基于TCP/IP协议的，当然，IP协议和TCP协议是核心协议。另外，为了保证视频会议的音频和视频码流的实时传输，需要使用实时传输协议RTP。以上几个通信协议是IP网的主要通信协议，是正网的通信基础，IP网的所有业务将都是在这些通信协议的基础上建立起来的。实时传输协议RTP[11](Real-timeTransportProtocol)是针对Internet上多媒体数据流的一个传输协议，有IETF(Internet工程任务组)作为RFC1889发布。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步，RTP的典型应用建立在UDP上，但也能够在TCP或ATM等其它协议之上工作。RTP本身只保证实时数据的传输，并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。实时传输控制协议RTCP(Real-TimeTransportControlProtocol)负责管理传输质量在当前应用程序之间交换控制信息。在RTP会话期间，各参与者周期性地传送RTCP包，包中含有己发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器能够利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，能以有效的反馈和最小的开销使传输速率最佳化，故特别适合传送网上的实时数据。利用RTP能够在一对一(单播)或者一对多(多播)的网络环境中实现流媒体数据的实时传输。RTP一般使用UDP来进行多媒体数据的传输，但如果需要的话能够使用TCP或者ATM等其它协议。RTP协议的设计目的是提高实时数据传输中的时间戮信息以及各数据流的同步功能。RTP协议提供序列号字段使接受方根据检测收到的分组序列号来判断是否有分组丢失，并可重新恢复发送时的分组序列;提供时间戳字段用于重新建立原始音频、视频的时序，帮助接受方确定数据到达时间的一致性或变化，提供同步源标识符(SSRC)字段，在接收端为包分组从而进行回放。RTP本身并不能为按序传输数据包提供可靠的保证，也不提供流量控制和拥塞控制，这些都由实时传输控制协议RTCP来负责完成，一般RTCP会采用与RTP相同的分发机制，向会话中的所有成员周期性地发送控制信息，应用程序经过接收这些数据，从中获取相关资料，从而能够对服务质量进行控制或者对网络情况进行诊断。当应用程序开始一个RTP会话时，各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器能够利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。3.2.2组播技术视频会议业务需要点对多点的通信。当前视频会议系统的通信有单播和组播两种方式。单播技术是一种点对点的数据传输模式，其优点是容易实现，其缺点是如果多个用户同时请求同一份数据，服务器必须经过网络给这多个用户依次发送多份拷贝，在视频会议系统中，如果采用单播方式需要占用大量的带宽资源，限制了视频会议的规模。组播技术是一种点对多点的数据传输模式，组播将IP数据包发送到共享相同IP地址的一个主机组中，一个点发送，多个点同时接收连续的数据流。组播技术能够避免数据的重复发送，不会造成网络带宽的浪费，非常适合视频会议业务，是视频会议系统的关键技术之一。3.2.3QOS保障技术QOS问题即服务质量问题，是针对IP网络带宽的管理策略，是评价系统性能的一个重要的问题。从我们要实现的视频会议系统所使用的网络环境来说，它是一个服务质量不能保证的通信网，而会议系统存在实时要求很高的媒体信号，因而必须在服务质量上采取措施，除了在媒体信号的编码中能够采取尺寸可变的编码方案，还需要使用RTCP实时控制协议测量网络的QOS，同时，采用资源预留管理。资源预约协议RSVP提供一种有效的资源预留方式，能够有效地描述应用程序对资源的需求。RSVP建立在IP协议之上，能够利用IP数据报传输RSVP消息。RSVP是一个单工协议，只在一个方向上预订资源。另外，RSVP是一个面向客户端协议，由接收端负责资源预订，能够满足点到多点群通信中客户端异构的需求，每个客户端能够预订不同数量的资源，接收不同的数据流。RSVP还提供了动态适应成员关系的变化，动态适应路由变化的能力。RSVP能够满足大型点到多点通信群的资源预订需求。为了建立并维护分组数据传输通道中各个交换机的状态，RSVP建立了一个信宿树。信宿树以接收端为根结点，以发送端为叶结点，发送端与接收端之间的通道作为树的分支。资源预订消息由接收端开始，沿信宿树传输到各个发送端结点。在视频会议中，能够采用RSVP协议来确保网络中能预留一定的带宽。建立一条从发送端到接收端的路径，使得IP网络能提供接近于电路交换质量的服务，即在面向无连接的网络上，增加了面向连接的特性。3.3信息安全视频会议系统是一个开放的系统，基本上没有考虑安全性的问题。解决信息安全问题刻不容缓。当前，用于视频会议系统的信息安全技术主要有两大类:第一类是加解扰技术:该类技术目的是防止信息被非法盗用，能够用于视音频数据的加密。该技术己经广泛用于数字电视的加密频道中。基本原理是在发送端对要发送的数据加扰，同时在授权的接收端(拥有相应的解密密钥)对接收的数据解扰。第二类是数字签名：该类技术的目的是解决信息的否认、伪造、篡改及冒充的问题。数字签名的发送者发送的报文签名，接收者不能伪造发送者的报签名，接收者不能对发送者的报文进行部分篡改，网络中的某一用户不能冒充另一用户作为发送者或接收者。数字签名的应用范围十分广泛，包括:加密信件、商务信函、定货购买系统、远程金融交易等等。3.4流媒体传输技术3.4.1流媒体的概念所谓流媒体技术（或称流式媒体技术）就是把连续的影像和声音信息经过压缩处理后存放到视频传送服务器上，由视频传送服务器把节目传送到网络，用户在客户端经过播放器可实时观看节目。在网络上传送的一系列相关的数据称为“流”[12]。流媒体(SteamingMedia)是一种新兴的网络传输技术，在互联网上实时顺序地传输和播放枷音频等多媒体内容的连续时基数据流，流媒体技术包括流媒体数据采集，枷音频编解码，存储，传输，播放等领域。一般来说，流包含两种含义，广义上的流是使音频和视频形成稳定和连续的传输流和回放流的一系列技术、方法和协议的总称，我们习惯上称之为流媒体系统；而狭义上的流是相对于传统的下载－回放(Download－Playback)方式而言的一种媒体格式，它能从Internet上获取音频和视频等连续的多媒体流，客户能够边接收边播放，使时延大大减少。流式传输时，声音、影像或动画等时基（基于时间连续的）媒体由音视频服务器向用户计算机连续、实时传送，用户不必等到整个文件全部下载完毕，而只需经过几秒或十数秒的启动延时缓存即可进行观看。当音频、视频的时基媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。流式传输不但是启动延时成十倍、百倍地缩短，而且不需要太大的缓存容量。流式传输避免了用户必须等待整个文件全部从Internet上下载后才能观看的缺陷。实现流式传输一般采用实时传输控制协议（RTCP）和实时传输协议（RTP）。3.4.2实时传输协议RTPRTP（Real-timeTransportProtocol）是IETF的音视频传输工作组建议的实时传输协议标准，它为音频、视频等实时数据提供端到端的网络传输服务。这些服务包括负载类型识别，序列编号，时间戳及传输监控[13]。RTP一般运行于UDP协议之上，利用下层协议提供的组播功能实现多点传输，可是它独立于下面的传输层和网络层。RTP本身并不提供资源预留，也不保证实施服务的QOS（Quality-of-Service），而是依赖于下层服务来实现，如RSVP（ResourceReservationProtocol）[14]。3.4.3实时传输控制协议RTCP一般来说，RTP的实现总是伴随着使用RTCP（Real-TimeControlProtocol），这一协议为大规模的多点通信提供通信量监控，最小会议控制和身份识别功能等。RTCP能够为传送的RTP数据的QOS提供反馈，这样通信中的第三方在收到反馈包时能够判断网络的状况。RTCP能够在会话中传送控制信息,而且会话中的每个参与者都能够知道会话的规模。RTCP能够实现以下的控制功能[15][16]：QOS监控和拥塞控制。发送音频(或视频)数据的发送者会产生一个SR包，包中含有所发送的包数和字节数统计等信息，接收者可据此估计出实际的数据率。会话成员向所有参与会话活动的音频、视频源发送RR包，包中含有所接收的最高包序列号，丢失的包数，包间隔抖动测量值以及计算源端和目的端之间RTT(RoundTripTime,来回时间)所需的时间戳。=1\*GB3①标志媒体间的同步。RTCP的SR包中含有实际时间和相应的RTP时间戳，可用于不同媒体间的同步。=2\*GB3②提供标志信息。RTP数据包只能经过随机产生的32bits的标志符来标志源，而RTCP的SEDS数据包为每一个对话成员提供了全局惟一的标志符信息，如Email等，能够满足复杂应用的需要。=3\*GB3③会话规模估计和规划。参与会话的每个成员周期性地发送RTCP包，各站点可据此估计或计算出参与会话的人数，及时调节实时控制的信息量，使得控制信息量和媒体业务量达到平衡。=4\*GB3④RTCP定义了多种包的类型，用于承载多种控制信息。每个RTCP包都和RTP数据包类似，都以一个固定的头部开始，后面跟着一个随包的类型的不同而不同的结构化元素。该元素可能是变长的，但总是在32比特边界上结束。3.5NAT穿越技术3.5.1NAT技术与NAT穿越NAT技术，即在一个网络内部的节点要与外部Internet网络进行通讯时，网络中的IP包从源地址在到达目的地址的过程中，NAT就修改该IP包的源、目的地址（IP）和源、目的端口（Port），经过这个修改将其内部自定义的IP地址转换为合法的公用IP地址并作好所有的转换记录；反之，NAT也会进行反向的修改，经过这两种可逆操作可实现内部网和外部Internet网的通讯[17]。NAT的作用是：客户机将能在全球Internet上与专用IP地址进行通讯，而应用程序或客户机却无需做任何额外的工作[18]。可是并非所有网络应用程序都使用能与NAT协同工作的协议，“NAT穿越”对于解决由NAT引起的连接问题是一种较为全面的解决方案。“NAT穿越”是这样一组功能：它允许网络应用程序能明确自己位于NAT设备的后面，获得外部IP地址，并将端口映射配置为将NAT外部端口的数据包转发给应用程序所用的内部端口，而所有这些都是自动完成的，因此用户不必手动配置端口映射或其它类似的方面[19]。3.5.2NAT穿越的主要技术为了解决NAT穿越问题，当前的主要技术有：应用层网关（ALG,ApplicationLevelGateways）方案，中间箱通信（MIDCOM,MiddleBoxCommunication）方案，SIP代理（SIPProxy）方案，中继穿越NATTURN,TraversalUsingRelayNAT）方案等。应用层网关方案：ALG是一种能识别特定协议（如SIP）的设备，它修改SIP消息里面的SIP地址和端口和SDP消息里面的RTP地址和端口，其中RTP地址和端口要向RTPProxy请求获得，RTPProxy分配自己的一个空闲的地址和端口，并和这个Call保持映射关系。并为分配给呼叫双方的地址和端口进行绑定，这样，呼叫双方的RTP连接地址都是RTPProxy，由RTPProxy经过中转，发至真正的目的地。应用层网关能够在特定协议系统完全不知晓的情况下实现透明的穿越，因此对现有的协议系统所做的更改是最小的，正因为这种透明性使得应用层网关得到了极大的普及[20]。中间箱通方案：此协议是由IETF的Mid小组提出的帮助复杂应用（如SIP）穿越Middlebox（如防火墙/NAT）的一种手段。经过这个协议，复杂应用能够和Middlebox信任的实体通信，然后由这个实体控制Middlebox（如控制防火墙打开/关闭端口等）达到穿越的目的。Mid更多的是一种穿越的技术，而不是一个完整的方案，可是能够和很多方案一起配合使用[21]。中继穿越方案：NATTURN的解决思路是使私网用户事先获得在TURN服务器上分配的地址并在SDP描述中直接填入该公网地址，即TURN服务器为客户端分配地址并对媒体流进行relay转发。其优点是能够穿越对称NAT及能够分配端口号连续的RTP/RTCP地址对。其问题在于除了要求中断支持TURNclient之外，TURN服务器对大部分实时媒体流的转发可能引起网络性能下降。隧道透明穿越技术方案：隧道透明穿越的方案是在要进行多媒体业务的局域网内放置一个代理，经过NAT设备与公网上的服务器建立连接。局域网终端的呼叫和控制信令经过代理传递到服务器。代理同时具有注册服务功能和代理功能。处于公众网中的服务器根据呼叫信令中的被叫信息查找注册表，确定被叫终端所在局域网的NAT网关。由于代理处于局域网内部，为了使服务器能穿透NAT将信令转发到代理，需要在NAT设备中配置一条静态的NAT路由。信令过程完成后，多媒体数据也由终端发送给服务器，由服务器进行转发。3.6本章小结这一章阐述了基于IP网络的视频会议系统所采用的关键技术。着重讲述了会议系统的多媒体处理技术以及视频会议系统中媒体信息传输所需要的TCP/UDP和实时传输所必须的RTP等网络媒体信号传输技术，还有保障系统服务质量(QOS)问题所采取的由RTCP监控系统质量以及流媒体传输技术。同时，介绍了视频会议系统中的流媒体传输，音/视频编解码，NAT穿越等关键技术。第4章视频会议系统的总体设计4.1局域网内的点对点视频会议系统结构点对点视频会议的基本数据流程为：用户A经麦克风和摄像头获取音视频流，然后对音视频流进行编码、压缩、打包处理。其中计算机对输入的不同类型的数据进行不同的处理，如果是音视频数据，采用无连接的UDP协议进行传输；如果是信令和数据则采用面向连接的TCP协议进行传输，然后经网络传输到用户B。用户B接收到数据以后，再进行一系列的反变换，解包、解压和解码，经音视频设备输出语音和图像。4.2视频会议系统软件结构打包音频编码器G.723.1麦克风打包音频编码器G.723.1麦克风摄像头摄像头IP网络视频编码器H.263IP网络视频编码器H.263信步解码器H.263用户信步解码器H.263用户界面解包同步音频编码器G.723.1听筒解包同步音频编码器G.723.1听筒 视频解码器H.263视频回放视频解码器H.263视频回放用户界面用户界面信令，控制消息回复信令，控制消息回复图4.1系统软件终端框图4.3软件体系结构设计软件体系结构是软件在设计构成上的基本、可供设计选择的形态和总体结构，定义了软件的局部和总体计算部件的构成，以及这些部件之间的相互作用关系。本视频会议系统采用的是客户用及务器模式的体系结构。“客户/服务器”模式将应用系统整体分为两个逻辑上分离的部分，一个“客户”和“服务器”，每一部分充当不同的角色，完成不同的功能。客户又称前端(front-end)，是协调应用问题内在逻辑与服务器关系的程序；服务器又称后端(back-end)，是使用网络作为通信机智而实现操作服务的程序系统。客户机/服务器模型工作时要求有一套为客户机和服务器所共识的管理来保证服务所能够被提供，这一套惯例包含了一套协议，它必须在通信的两头都被实现。根据不同的实际情况，协议可能是对称的或是非对称的。在对称的协议中，每一方都有可能扮演主从角色;在非对称协议中，一方被不可改变地认为是主机，而另一方是从机。无论具体的协议是对称的还是非对称的，当服务被提供时必然存在客户进程和服务进程。一个服务程序一般在一个众所周知的监听客户对服务的请求，也就是说，服务进程一直处于休眠状态，直到一个客户对这个服务的地址提出了连接请求。这时，服务程序被“惊醒”而且为客户提供服务，对客户的请求作适当的反映。4.4系统的模块设计在这个视频会议系统中主要包含3个模块，它们是：会议控制与管理模块，视音频系统模块，多媒体通信与控制模块。会议控制与管理模块：会议控制和管理用于建立和控制视频会议，包括会议建立、控制会议进程，并对系统各项性能参数进行设置和调整，提供方便易用的人机接口。视音频系统模块：本系统中的视音频模块又能够分为两部分。一部分是发送端视音频的采集和压缩；另一部分是接收端视音频的解压缩和回放。这个模块主要采用了Directshow编程技术，对音频采用G723.1编码，对视频采用H.263编码。多媒体通信与控制模块：这个模块的主要工作是完成视音频通信，包括协调多媒体信息流的同步工作，保障多媒体信息流的实时传输。4.5系统的工作流程系统的工作流程如图4.2所示：本系统采用的是基于IP地址的呼叫和会议创立方式，客户端和服务器端首先进行初始化，包括设置(获得)本地用户名，本地侦听端口，设置能力集等，在没有建立呼叫之前，双方处于均等的监听状态，而且双方的程序结构完全相同，如果一方经过对方的IP地址向另一方发出呼叫，首先发出呼叫的一方即作为点对点通信双方服务器一方。两终端呼叫建立起来之后，就开始H.245协议控制下握手协商