物联网3G互联设备传输实时响应优化方法研究.doc

1 物联网物联网 3g3g 互联设备传输实时互联设备传输实时 响应优化方法研究响应优化方法研究 目目 录录 摘要 1 关键词 1 abstractabstract 1 keykey wordswords .1 引言 2 1 项目背景 .3 11 课题研究意义 3 12 国内外研究现状 3 121 视频编码领域 .3 122 网络传输领域 .4 13 3g 网络上的多媒体通信解决方案 4 2 网络传输的相关技术 .5 21 流媒体传送方式 5 211 单播(unicast)与组播(multicast) .5 212 直播与点播 .6 22 qos 控制 .6 221 拥塞控制 .6 222 误码控制 .7 23 宽带压缩技术 7 3 实时视频传输中相关协议介绍 .7 31 系统网络通信协议 7 311 ip 协议 7 312 tcp 协议 .8 313 udp 协议 .9 32 基于 udp 协议的网络传输层协议选择.10 33 tcp 协议的局限及 udp 的优势 10 34 网络实时视频传送协议 .11 341 rtp 协议概述.11 342 rtp 协议特点 13 343 rtcp（实时传输控制协议） 13 344 视频数据发送和控制流程 16 345 系统传输流程 17 346 rsvp 协议 .18 1 347 rtsp 协议 .18 4 视频编码原理与 h.264 标准 .18 41 数字视频通信对编码器的要求 .18 42 h.264/avc 视频编码标准18 421 h.264 的高级技术背景 19 422 h.264 的特点和高级优势 19 423 h.264 编码器和解码器框图 20 424 h.264 编码核心技术 21 425 h.264 标准中的分层技术 23 426 h.264 视频压缩系统 23 427 应用情况 23 5 基于 rtp 的 h.264 视频数据的封装设计 24 51 基于 rtp 的数据封装的基本知识.24 511 nalu 24 512 rtp 负载格式 25 513 相关定义 26 52 基于 rtp 的 h.264 数据的封装 27 521 h.264 视频流的 rtp 封装规则 .27 522 h.264 的打包 27 523 h.264 视频流的 rtp 封装设计 .28 6 视频传输系统的设计 30 61 系统的开发平台和研制工具 .30 62 客户机端/服务器模型 31 621 视频数据发送和接收播放模块的设计 33 622 视频数据发送模块设计及其程序的简单说明 34 623 视频数据接收播放模块的设计及其程序的简单说明 35 7 结论 36 致谢 .38 参考文献 39 1 物联网 3g 互联设备传输实时响应优化方法研究 农业电气化与自动化专业学生 孙艳 指导教师 钱燕 摘要：近年来，由于 3g 无线网络的广泛普及和多媒体技术的飞速发展，基于网络的视频传输技术 得到了广泛的应用。为了在 3g 上有效、高质量地传输视频流，需要多种技术支持。本文在研究了 h.264 编码标准的内容和优势的基础上，选择 h.264 运动图像压缩编码标准作为网络视频流式传输 系统的视频压缩技术，并对各种网络传输协议进行比较，选用 rtp/rtcp/udp 作为系统传输协议。 通过对 h.264 中的 nal 概念和 rtp 负载格式进行分析后，引入了基于 rtp 的 h.264 视频数据流的封 装设计。在此分析和研究的基础上，用 vc 开发工具设计并实现一个基于 rtp/rtcp 协议的实时视频 流传输系统，分别对系统的服务器端和客户端设计并实现。在传输方式上，采用 winsock 网络编程 技术来完成 ip 的组播，从而实现了传输系统的高效性。面对通信网络上存在的各种丢包、延时、 抖动和终端异构等不利因素，如何保证网络实时视频传输的高效性并改善视频传输的 qos 成了一项 具有挑战性和实用价值的研究课题。 关键词：3g；视频传输；rtp；qos；h.264 the internet of things 3g internet equipment to transmit real-time response optimization methods student majoring in automation sun yan tutor qian yan abstract： in recent years, due to the wide spread of 3g wireless networks and multimedia technology, the rapid development of network-based video transmission technology has been widely used. in order to effe- cttively 3g, high-quality transmission of video stream, you need a variety of technical support. firstly, this paper introduced the content and the superiority of the h.264 code standard, and chose the h.264 as the vi- deo compression technology of video transmission system on the network. then this paper compared and analyzed the network transport protocols, and selected the udp/rtp/rtcp as this systems transport pro- tocols. after introducing the h.264 nal concept and the rtp load form, this paper proposed a h.264 vid- eo stream encapsulation strategy based on the rtp. based on the analysis and research on the technologies above, this paper designed a real-time video transmission system based on the rtp/rtcp with the c+,se- parately realized the systems server end and the client end. in the transmit mode, the system used the wi- nsock technology to accomplish the ip multicast which realized the transmission systems highly effective. facing the unfavorable factors, such as a variety of packets loss, delay, jitter and end-isomers existing in communication networks, how to guarantee the highly effective of the real-time video transmission on the network and how to improve the qos of the video transmission has become a challenging and valuable re- search subject. key words：3g；video transmission；rtp；qos；h.264 2 引言 目前信息技术领域最热门的词汇无疑是“3g”与“物联网”，在中国“物联网”概 念从一提出就与 3g 之间存在着一种不可分割的关系。“物联网(internet of things)” 概念于 1999 年被美国人首次提出，它是指通过射频识别(rfid)、红外感应器、全球定 位系统、激光扫描器等信息传感设备，按约定的协议,把物品与互联网连接起来,进行 信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的一种网络，也被称为 “传感网”。物联网在我国的应用也早已存在，比如商品条形码、rfid 等等,都是通过 射频技术,通过感应物体上置入的芯片来获知其具体信息。物联网具有全面感知、可靠 传送、智能处理三个主要特征。也可以说物体由三个主要部分构成。“全面感知”是 指利用无线射频识别(rfid)、传感器、定位器和二维码等手段随时随地对物体进行信 息采集和获取。“可靠传送”是指通过各种通信网络与互联网融合，对接收到的物体 信息进行实时远程传送，以进行各种有效的处理；“智能处理”则是指利用“云计算” 、模糊识别等各种智能计算技术，对随时接收到的海量数据和信息进行分析处理,从而 实现对各类物体的智能化的控制。 2009 年是中国的“3g 元年”。3g 将促进物联网有效发挥无缝通信的巨大威力。与 之相辅相成的是，物联网的出现将为 3g 迎来一个新的发展契机和机遇。3g 应用即将进 入物联网时代。 随着 3g 网络和多媒体技术的飞速发展，人们已不仅仅满足于传统网络上的文件传 输和浏览，开始要求物联网 3g 互联设备的传输，实现更直观、更丰富的多媒体信息的 实时交互，例如实现监控管理、智能化识别、定位和跟踪。这些业务有一个共同的特 征，就是其所包含的信息中数据量大、实时性强。由于多径衰减和内部干扰和噪声， 3g 无线信道的误码率通常会很高。信道的误码率随外部环境的变化而变化，无线网络 的有限带宽，网络拥塞，数据包延时等等，这都对多媒体信息传输产生破坏性影响。 要保证传输的实时性，首先，应该保证一定的带宽。这是因为视频信息的信息量大， 要传送视频，必须有足够的网络带宽。否则视频信号是无法通过网络的。其次，时延 应控制在一定值以下。这是因为视频信号是一种实时信号，是连续不断地在终端上显 示。再次，丢包率要低于某一阈值，否则人眼看起来十分不舒服。 选择 h.264 运动图像压缩编码标准作为网络视频流式传输系统的视频压缩技术，并 对各种网络传输协议进行比较，选用 rtp/rtcp/udp 作为系统传输协议。通过对 h.264 中的 nal 概念和 rtp 负载格式进行分析后，引入了基于 rtp 的 h.264 视频数据流的封 装设计。在此分析和研究的基础上，用 vc 开发工具设计并实现一个基于 rtp/rtcp 协 议的实时视频流传输系统，分别对系统的服务器端和客户端设计并实现。在传输方式 上，采用 winsock 网络编程技术来完成 ip 的组播，从而实现了传输系统的高效性。 本文的体系分为七章，各章内容的安排如下： 第一章：项目背景，国内外研究现状，3g 网络上多媒体通信解决方案； 第二章：网络传输的相关技术，包括流媒体传输方式，qos 控制，带宽的压缩技术； 第三章：实时传输中相关协议介绍，包括 ip 协议，udp 协议，tcp 协议，以及网络 实时传输协议； 第四章：视频编码 h.264 标准； 第五章：基于 rtp 的 h.264 视频数据封装设计； 第六章：视频传输系统设计； 第七章：总结。 3 1 项目背景 随着 3g 商用的来临，移动视频己经受到广泛关注。移动和固网融合的视频业务无 疑是未来市场发展的必然，它能更好的促进视频业务的发展，也能满足人们普遍沟通 的需求。 11 课题研究意义 在过去 20 年里，随着网络和多媒体技术的飞速发展，人们已不仅仅满足于传统网 络上的文件传输和浏览，开始向互联网提出更高的要求：在 3g 网络上实现更直观、更 丰富的多媒体信息的实时交互，例如：在线视频点播、视频会议、视频电话、远程教 育、远程医疗、数字图书馆等。这些业务有一个共同的特征，就是其所包含的视频信 息中数据量大、实时性强。 在视频传输的过程中，可能会由于 ip 数据流的突发性，当流量大时，网络会发 生拥塞，引起丢包、误码，看到的图像中带有不少方块，这样的视频质量时无法让人 们接受的。对视频编码技术的要求，不仅仅要压缩比高，而且应在恶劣的传输条件下 (包括移动网络的衰落)具有抗阻塞、抗误码的健壮性。传统的媒体传送方式和数据压 缩算法限制了多媒体业务的功能实现，很难满足信道带宽的波动性大、信道的误码率 高和视频实时传输的要求。如未经压缩的 pal 制式 cif 格式的真彩色视频，其 rgb 数据至少需要 58.01mbit/s。在远程视频传输系统中既要对视频图像进行存储和检索， 同时又要在网络上进行传输，对如此大的视频如果不进行压缩，无论是存储、检索还 是在网上传输都是不太可能的。涉及数字视频通信的技术包括视频压缩/解压、各种网 络传输协议，同时还包括视频服务器操作系统、应用层 qos、媒体同步机制等。 由上可知，对于具有连续性传输、数据量大、对实时性和可靠性要求高等特点的 3g 网络视频传输，网络的尽力而为服务并不保证数据传输的可靠性和实时性。因此， 如何改善网络视频传输的 qos 成了一项具有挑战性和实用价值的研究课题。 12 国内外研究现状 121 视频编码领域 为了在网络上有效的、高质量的传输视频流，需要多种技术的支持，其中，数字 视频的压缩编码技术是网络视频传输中的关键技术之一。通过高效的压缩技术将视频 进行大幅度的压缩，可以有效的降低对网络传输带宽的需求。 目前，internet 上使用广泛的主要流媒体格式是 rea1 networks 公司的 real sys- tem、microsoft 公司的 windows media technology 以及 apple 公司的 quicktime。这三种主流技术中采用的压缩标准都是厂商自行制定的，享有专利权。如 windows media 中的 wm8 压缩标准、real media 的 ra8 压缩标准以及 apple 公司的 quicktime 压缩标准。现有的视频压缩编码标准由于存在种种局限和不足，均难以满足 3g 网络和 ip 网络对视频传输提出的更高要求。因此，为了克服现有视频压缩算法的局 限和不足，适应更广的传输信道，提供更高的视频质量、更大的灵活性和更多的功能， 有必要制定新的视频压缩编码标准。在众多的标准中，h.264 代表了当前业界最先进的 视频压缩技术，能够在较低带宽(2m 以内)情况下提供高质量(类似 dvd 画质)的图像传 输。 h.264 作为 jvt 制定的新一代低比特率视频编码标准，与以往视频标准相比，具有 很多的优势，在同等的画质下，h.264 比上一代编码标准 mpeg-2 平均节约 64%的传输 码流，而比 mpeg-4 要平均节约 39%的传输码流。h.264 技术还具备容错能力强、网络 适应性强等优势，正好适应了目前国内运营商接入网带宽非常有限的状况，是目前视 频编码领域研究的热点。因此，在网络带宽不是很高的情况下，选用 h.264 编码技术 4 作为网络多媒体应用是非常明智的，对 h.264 标准，特别是对其编码技术和网络传输 技术进行研究具有十分重要的意义。国内对视频压缩技术的研究较早，但真正制定完 成属于自己的标准是在 2003 年底，即音视频编码标准 avs。avs(由数字音视频编解码 技术标准工作组开发)是中国自主制定的音视频编码技术标准。avs 工作组成立于 2002 年 6 月，经过 7 次 avs 正式工作会议和 3 次视频组附加会议，经历一年半的时间，审 议了 182 个提案，先后采纳了 41 项提案，于 2003 年 12 月 19 日 avs 视频部分终于定 稿 avs 视频当中具有特征性的核心技术包括：88 整数变换、量化、帧内预测、1/4 精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效应滤波等。avs 视频的 主要特点是高效，低复杂度，其系统级和 mpeg-2 兼容，许可费比较 2 低。avs 的编码 效率比 mpeg-2 高两倍，接近于 h.264 目前的 avs 视频技术可实现标准清晰度(ccir 601 或相当清晰度)、低清晰度(cif，sif)等不同格式视频的压缩。 122 网络传输领域 近年来，如何提高 3g 网络上实时多媒体信息传输质量的研究面临着许多挑战，主 要集中在解决以下几个问题： （1） 带宽:为了获得用户可接收的视频质量，网络视频流式传输需要一定的带宽。 但目前的网络并不给此类应用提供带宽预留，而且传统的路由器并不积极参与网络拥 塞控制，过高的通信量会导致拥塞，使得实时传输难以进行。 （2） 丢包:丢包使得接收视频质量下降，实时多媒体的传输可以允许一定的丢包 率，但必须进行严格的控制。网络不对丢包率提供保证，当网络拥塞时会造成丢包率 的上升，难以保证实时视频流式传输的质量。 （3） 延时:普通的数据传输没有严格的延时限制，但实时传输对端到端的延时是 有严格限制的，比如小于 1s，否则就谈不上实时传输了。为了保证视频的连续播放， 每个数据包必须及时到达服务请求端，供解码并播放，如果数据包在限制时间之后才 到达，那么就被认为是无用包，将被丢弃。网络不提供延时保证，其上的网络拥塞、 数据包传输的路径不同，都会造成延时，不能满足实时传输的需要。 13 3g 网络上的多媒体通信解决方案 在解决结构复杂的 3g 网络中的多媒体数据传输需要从两方面进行努力。一方面从 多媒体信息本身的表示方法上着手，研究具备高压缩率的多媒体数据的压缩编码方式； 另一方面从多媒体信息在网络中的传输实现机制着手，研究如何让网络满足多媒体传 输的需要。对后者而言，目前有两种解决的途径。其一是以网络本身为中心的方案， 其二是以发送接收终端为中心的方案。 方案一：以网络为中心 基于网络的方法是由网络中的路由器、交换机等提供 qos 支持，比如增加带宽、 根据优先级进行通路优先算法(diffserv)、资源预留服务(rsvp)等。其中，资源预留 是最直接的方法，但它要求沿途所有的路由器都支持该协议，否则 qos 得不到保障， 而目前大多数的路由器都没有此功能；此外，为了提供 qos 保障，rsvp 经常造成网 络资源的过度分配，不能充分利用网络资源。根据优先级进行通路优先算法则是对不 同的网络应用分配不同的优先级，优先保证优先级最高的应用所需要的网络资源。但 如何根据不同的网络应用设置不同的优先级，并将优先级映射到不同的路由器优先级， 以及该方法所带来的性能增益仍在研究之中1。 方案二：以终端为中心 本方案对中间网络设备没有任何附加要求，所有的工作都集中在发送和接收数据 包的终端设备。在传输网络不提供 qos 支持的情况下，通过在终端系统间采用一定的 传输策略来获得尽可能高的视频传输质量。由于这种方案不需要中间网络设备的参与， 5 具有更广的使用范围，不仅能在当前的网络上应用，还可以使用于将来的网络扩展， 因此有特别意义。 本论文的工作就是围绕方案二进行的，选择合适压缩标准和协议，使之有机结合。 基于终端系统的方法是在应用层对 qos 进行控制，由服务器和客户端采取 qos 控制措 施来提高视频质量，通过对网络状态的估测来获取网络状态信息，然后按某种策略调 节源端的输出业务流量与可用带宽匹配来防止拥塞的发生，减少丢包，降低时延，这 种方法的好处在于并不需要对当前的网络和路由器进行任何改造，只是由端系统的应 用程序来实现 qos 控制，因此可以适应于现有的和未来的网络。 2 网络传输的相关技术 3g 网的迅猛发展和普及为网络视频传送技术的发展提供了强大的市场动力，如多 媒体新闻发布、在线直播、网络广告、电子商务、视频点播、远程教育、远程医疗、 网络电台、实时视频会议都需要网络视频传送技术2来支撑。 首先，应该保证一定的带宽。这是因为视频信息的信息量大，要传送视频，必须 有足够的网络带宽。就像载重卡车由于体积庞大，必须有足够宽的马路宽度一样。否 则视频信号是无法通过网络的，即使是低码率的可视电话，一般也需要 28kbit/s 的带 宽，至于高清晰电视（hdtv），也需要 20mbit/s 的带宽，这与电路交换网不同。 其次，时延应控制在一定值以下。这是因为视频信号是一种实时信号，是连续不 断地在终端上显示，如果采用 pal 制式，每秒 25 帧，数据的丢失、不及时显示会引起 人视觉的极不舒适感。一句话，这种实时信号必须连续不断地被传送、显示，端到端 的时延（包括传送时延、节点缓存时延等）必须小于某一阈值。3g 网是一种尽力而为 的网络，无法保证这样的时延要求，特别是在遇到网络发生拥塞的情况下，更为严重。 再次，丢包率要低于某一阈值，否则人眼看起来十分不舒服。由于 3g 网是共享的， 当业务流量大时，会发生拥塞，这时丢包是不可避免的。 最后，还有一个异质性的处理。这里包括两种异质性：网络异质和接收机异质。 （1） 网络异质：因特网中往往包含异质的子网络，它们具有不同的处理能力、 不同的网络带宽、不同的存储容量及不同拥塞控制方法等，即具有不均匀的网络资源。 （2） 异质接收机：多个接收机具有不同的时延要求、不同的视频质量要求、不 同的信号处理能力等。而对这些异质性，在视频组播时就会遇到矛盾。例如，为了提 高传送效率，视频节目只有一个拷贝信号源发出，于是所有接收机只能接收同样质量 的节目，但是这样一来就不能满足各个接收机的不同要求。 从技术上解决以上问题，有两种方式：一种是依靠网络提供的 qos,以满足视频传 送所需的时延、抖动、丢包等要求，这里有综合服务和分级服务两种解决方法；一种 是由终端进行控制，使得在网络无任何 qos 支持下，获得最好的视频质量，这对 3g 网 络来说应该是更为重要的。基于终端的视频 qos 控制方法可分为两种：拥塞控制和误 码控。 21 流媒体传送方式 211 单播(unicast)与组播(multicast) 在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的 每个数据包只能传送给一个客户机,这种传送方式称为单播。每个用户必须分别对媒体 服务器发送单独的查询，unicast 将数据的一个独立拷贝从源机器通过网络发送到需要 他的一个特定用户，发给 n 个用户就要复制传输 n 次。这种巨大冗余势必造成服务器 沉重的负担,响应需要很长时间，甚至停止播放。 6 组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到多个通 道上。采用组播方式，单台服务器能够对几十万台客户机同时发送连续数据流而无延 时。媒体服务器只需要发送一个数据包，不会复制数据包的多个拷贝，也不会将数据 包发送不需要他的用户，所有发出请求的客户端共享同一数据包，保证了网络上多媒 体应用占用网络的最小带宽。采用组播技术后，原来的数据重复分发工作转到路由器 完成，这就需要相关接点处的路由器支持 multicast 协议，并处于运行 multicast 状 态。另外， multicast 只适合于实况直播环境，在视频点播系统 vod 中, multicast 并不适用。 组播通信有如下优点： （1） 提高网络效率，节省网络带宽，从而优化了网络性能； （2） 支持分布式应用，为下一代多媒体应用创造了条件； （3） 能有效保护带宽和网络设备的处理能力； （4） 在节点增加时可有效扩展，减轻服务器的负载； （5） 有利于增值业务的开展。 212 直播与点播 直播是电台或电视台实际播出节目的网上传输形式，主要用于对重大活动的即时 报道。用户可以在第一时间获取信息，时效性强。但用户对所收看的内容不能控制， 而且会占用带宽资源,造成网络拥挤堵塞。点播连接是客户端与服务器之间的主动连接。 将节目根据内容做成一个个片段，用户可以根据自己的实际需要选择所关心的片段收 听看。 点播连接提供了对流的最大控制，用户可以对播放的内容进行多种交互控制， 如开始、暂停、结束、快进和后退等，但这种方式由于每个客户端各自连接服务器， 要求网络有足够的带宽。点播是目前广泛采用的网上广播形式。目前各个网站都提供 了点播服务。unicast 技术适用于点播。 22 qos 控制 qos13,14(quality of service)即服务质量，反映用户质量要求。qos 的概念最先 出现在网络通信中，用于描述数据传输的技术特征。qos 表明了一个多媒体系统提供的 服务能有多大价值。为了测量此价值，有必要阐明一组参数以配合从用户角度看到的 “质量”的目标含义。典型的传输参数可以是包丢失率、带宽、平均延迟、时延抖动、 可靠性和最大传输单元(mtu)。网络通信的双方通过这些参数来进行协商，以保证服务 的质量，对通信的相关需求进行控制调节,为达到用户要求的质量，主要采用误码控制， 拥塞控制等技术。 221 拥塞控制 如果用户提供给网络的负载(load)大于网络资源容量和处理能力(overload)，网 络发生拥塞。发生拥塞的网络表现为数据包时延增加、丢包率增大、上层应用系统性 能下降等。拥塞控制是确保网络鲁棒性的关键因素，也是多媒体通信中进行 qos 控制 和区分服务的重要基础3。 产生拥塞主要有 3 方面的原因： （1） 带宽：信道带宽的最大值受香农定理的限制，所有信源发送的速率必须小 于或等于信道容量。否则，在网络的低速链路处就会形成带宽瓶颈，当信道不能满足 所有通过它的发送端带宽要求时，网络就会拥塞。 （2） 存储空间：当多个输入数据流需要公用同一个输出端口时，就会在这个端 进 行排队，如果没有足够的存储空间，数据包就会丢弃。 （3） 处理器处理能力：如果路由器的 cpu 在执行排队缓存，更新路由表等功能 时，处理速度跟不上高速链路，也会产生拥塞。众所周知，随即的突发的丢包和过大 7 的时延，对视频有极大的破坏性。而这些往往是网络拥塞造成的。拥塞控制有 3 种方 式：速率控制；速率自适应的视频编码；速率成型。 根据拥塞控制处理层次的不同，拥塞控制又可以分为基于路由器的策略和基于主 机的策略。前者在网络层处理拥塞，由路由器决定转发哪些报文、丢弃哪些报文、如 何通知主机有关拥塞情况、如何通知主机允许发送报文的限制等。基于主机的策略在 网络层或应用层处理拥塞问题，主机通过监测网络状况而调整发送行为。 根据具体控制方法的不同，基于主机的策略又可以进一步分为基于窗口的策略和 基于速率的策略：前者控制通过收发双方的缓冲区(如 tcp 的滑动窗口)；后者控制发 送者向网络发送数据的速率，特别适合于音视频的传输。 根据接收方对象的不同，基于速率的策略又分为 3 种，由于是从终端进行速率控 制的，而终端又可分成信源和信宿（接收机）两种，于是速率控制有三种：一种基于 信源的速率控制；一种基于接收机的速率控制；另一种是混合速率控制，即把以上两 种控制混合起来的控制方式。 根据服务类型的不同，拥塞控制可分为基于预留的策略和基于反馈的策略。在基 于预留的拥塞策略中，主机向网络提交资源请求，如果网络能够满足，则为主机预留 相应的资源，否则，网络拒绝主机的数据流请求；在基于反馈的拥塞策略中，网络允 许主机在不需预约资源的情况下发送数据，主机根据反馈动态调整其发送速率。 在本系统中，将采用基于 rtcp 反馈控制的拥塞控制机制，选用丢包率作为接收端 的反馈信息。根据 rtp/rtcp 标准，发送端发送 ns 个数据包后，发送一个 rtcp 控制报 文，接收端在收到 nr 个数据包或者每隔 5 秒以后发送一个 rtcp 反馈控制报文。反馈 的 rtcp 控制报文包含了一个自上一次发送反馈报文以来接收到的 nr 个数据包所产生 的丢包率。速率控制发生在编码器接收到一个反馈报文时，即速率控制发生的时间间 隔等于接收端相邻反馈报文的时间间隔。 222 误码控制 拥塞控制的目的是预防或阻止包的丢失，但在因特网中丢包是不可避免的，而且 对视频质量具有重大的影响，于是必须研究在出现包丢失的情况下，如何使视频质量 更好，这就叫误码控制。误码控制可分成 4 类：fec（正向误码纠正）；再传输；误码 恢复；误码掩盖。 23 宽带压缩技术 视频信号在网络中传输，码率的压缩是必要的，这是为了适应网络的带宽。最新 压缩标准 h.264 比 h.263 压缩比提高了 50%，或者说，码率下降了 50%，而且可操作性 强，是当前视频编码的一个热点。 3 实时视频传输中相关协议介绍 31 系统网络通信协议 近年来基于 ip 寻址的多媒体通信网异军突起，ip 寻址本来是在 internet 上使用 的，但由于 ip 寻址简单易用且容易实现，因而应用日益广泛。而 ip 寻址方式很容易 与智能布线和局域网技术结合起来，则很好地解决了宽带接入的问题。目前在 ip 网上 运行多媒体业务己经成为通信网中的主流业务之一。 311 ip 协议 ip 协议是一个简单的无连接服务，它不能提供重发功能，允许两台主机之间交换 通信数据而无须先进行呼叫建立。ip 数据报协议非常简单，它没有可靠性机制，不具 底层网络进行差错恢复的功能，也没有流量控制机制。因此，必须依靠一个上层协议 (如 tcp)来保证数据传输的可靠性。 8 tcp 协议是为包含多种物理网技术而设计的，这种包容性主要体现在 ip 层中。我 们知道，各种网络技术的帧格式、地址格式等上层协议可见的因素差别很大，设置 ip 层的重要思想之一就是通过 ip 数据报和 ip 地址将它们统一起来，达到屏蔽低层细节 提供一致性向上接口的目的。ip 协议向上层(tcp,udp 等)提供统一的 ip 数据报，使得 各种下层网络的物理帧的差异性对上层协议不复存在。 ip 协议主要涉及的内容是：ip 层的数据报传输机制和 ip 层的无连接服务。ip 数 据报传输是一种简洁而有效的分组交换方式，为了达到最高传输速率，它放弃了可以 放弃的任何为可靠性工作服务的任何机制(如检错、重传等)，以便尽快将数据报传往 信宿。ip 数据报传输的关键问题是分片和重组：分片是为了适应物理网的最大传输单 元(mtu)，重组则是为了将已分片的数据根据分片规则重新组合起来还原成数据报。数 据报传输的另一个关键问题是数据报的延时也具有随机性，由于某种原因数据报会进 入一条循环路径，无休止地在网中流动，这种情况应给予控制，ip 数据报采用“生存 时间法”来进行控制。 312 tcp 协议 传输控制协议 tcp4是面向连接的、可靠的传输协议，在传输数据前，必须在发 送方和接收方之间先建立通信通道。它通过确认与超时重传机制、流量控制、拥塞控 制等来提供可靠的服务。tcp 协议是为下层 ip 层无连接的通信提供可靠性的服务。 它的主要工作是：连接管理、流量控制和崩溃恢复等。其中连接管理要解决的主要问 题是由于确认和超时重传机制造成的延时和重复，运输层(tcp)用到了报文生存时间和 “三次握手”等机制。流程则采用滑动窗口机制。崩溃恢复的主要工作是恢复崩溃前 的连接状态，为此主机需向其它主机广播一个查询报文。 tcp 协议的另一项工作是提供复用(进程间通信)手段，它利用端口来控制传输端 口。为了要保证可靠性，tcp 协议相当复杂。 tcp 协议采用的最基本的可靠性技术是：确认与超时重传、流量控制和拥塞控制。 （1） 确认与超时重传 tcp 流的特点是无结构的字节流，流中数据是一个个字节构成的序列，而无任何可 供解释的结构，因而 tcp 的段是可变长度的。tcp 协议中的确认和重传机制是所谓的 “累计确认”，即 tcp 协议中的确认是针对流中的字节，而不是段。一般情况下，接 收方确认的是已正确收到的字节流，每一个确认指出下一个希望接收的字节，如图 3.1 所示。 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 1518 确认 7 确认 15 图 3.1 累计确认 累计确认的优点之一是在变长段传输方式下不会产生二义性；另一个优点是确认 丢失后不一定导致重传。 （2） tcp 的拥塞控制 在 ip 网中，拥塞是由于路由器中的数据超载而引起的，是网络能力不足的表现。 一旦发生拥塞，路由器将会抛弃一定量的数据报，从而导致重传，大量的重传又会进 一步加剧拥塞。这种恶性循环有可能导致整个网络无法正常工作。因此，采用确认超 时重传技术并不能完全解决可靠性传输问题。tcp 还必须提供适当机制来进行拥塞控制。 tcp 的拥塞控制也是基于滑动窗口协议的，通过限制发送端滑动窗口的尺寸而达到 控制拥塞的目的。具体地说，tcp 通过发送窗口的大小来控制拥塞。决定发送窗口大小 9 的因素有二个：第一是接收方约定的窗口大小，第二是发送端的拥塞窗口的限制。发 送窗口的大小是取二者之中的最小者。发送窗口在连接建立时由双方商定。但在通信 过程中，接收端可以根据自己的资源情况，动态的调整自己的接收窗口（增大或减小 皆可），然后通知对方，使对方的发送窗口和自己的接收窗口一致。 通知窗口（advertised window）:拥塞窗口是接收端根据其接收能力允诺的窗口 值，是接收端的流量控制。接收端将通知窗口的值放在 tcp 报文的首部中，传送给发 送端。 拥塞窗口（congestion window）:拥塞窗口是发送端根据网络拥塞情况得出的窗 口值，是来自发送端的流量控制。 发送窗口=min通知窗口,拥塞窗口 在非拥塞状态下，拥塞窗口和接收方通告窗口的大小相等。一旦发现拥塞，tcp 将 减小拥塞窗口。为了迅速抑制拥塞，拥塞窗口以几何级数减小；拥塞结束，则采用算 术级数来恢复窗口直到拥塞窗口等于接收方通告的窗口。 拥塞控制技术:慢启动（slow-start）是指每出现一次超时，拥塞窗口都降低到 1，使报文段慢慢注入到网络中。加速递减（multiplicative decrease）是指每出现 一次超时，就将门限窗口值减半。若超时频繁出现，则门限窗口减小的速率就会很快。 拥塞避免（congestion avoidance）是指当拥塞窗口增大到门限窗口值时，就将 拥塞窗口以指数增长速率降低为线性增长速率，避免网络再次出现拥塞。 313 udp 协议 用户数据报协议(udp)是 tcp/ip 标准，在 rfc768“用户数据报协议(udp)”中定 义。udp(user datagram protocol)是面向无连接的、不可靠的传输协议。udp 使用底 层的 ip 协议在各机器之间传输报文，提供和 ip 协议一样的不可靠的、无连接的数 据报交付服务。所以 udp 的报文传输可能出现丢失、重复、延迟以及乱序的错误。 udp 的主要特点是传输的高效率，但可靠性低。udp 提供的协议端口能够区分在一台 机器上运行的多个程序，即每个 udp 报文不仅传送用户数据，还包括传送发送方和接 收方的协议端口号，这使得接收方的 udp 软件能够把报文送到正确的接收进程，接收 进程也能回送应答报文。 每个 udp 报文称为一个用户数据报，在概念上分为两个部分：udp 首部和 udp 数据 区。如图 3.2 所示 udp 数据报格式。 0 16 32 源端口目的地端口 udp 长度udp 校验和 图 3.2 udp 数据报格式 源端口：该值标识了发送方应用进程的端口号。该字段为任选项，如果不使用该 字段，则将该字段的值设置为 0。 目的端口：该值标识了目的主机中的接收进程使用的端口号。 长度：该值表示了用户数据报(包括报头和数据)的长度。最小值为 8 个字节，即 不包含用户数据时报头的长度。 校验和：该字段是一个任选项，它的值是对伪 ip 报头、udp 报头及用户数据求补 码和，然后再对该补码和求 16 位补码。它也对所有的填充字求校验和(如果必须保证 报文长度为两个字节的整数倍的话)。 伪报头:保证 udp 数据单元到达正确的目的地址。 10 从概念上来说，udp 位于 internet 层之上，应用程序先访问 udp 层，然后访问 ip 层来传送数据报，在图 3.3 中表示了这种结构。 应用 用户数据报（udp） internet(ip) 网络接口 图 3.3udp 在概念性的层次结构结构中的位置 将 udp 层放到 ip 层之上意味着一个包括 udp 首部和数据完整 udp 报文，在互联网 络中传输时要封装到 ip 数据报中,示意如图 3.4： udp 首部udp 视频数据 ip 首部ip 数据区 帧首部帧数据区 图 3.4 udp 数据报封装过程 从图中，可以看出传送一个 udp 数据包，首先要给 udp 数据加上一个首部交给 ip 层，ip 层又给从 udp 层接收到的数据加上一个首部交给下一层，最后，网络接口把数 据报封装在一个帧内，再进行机器之间的传输。在接收端，最低层的网络软件接收到 一个分组后把它提交给上一层模块，每一层都在向上送交数据之前剥去本层的首部， 因此当最高层的协议软件把数据送到相应的接收进程的时候，所有附加的首部都被剥 去。在多层协议之间，ip 协议只负责在互联网络上的一对主机之间进行数据传输，而 udp 协议只负责对一台主机上的复用的多个源端口或目的端口进行区分。 32 基于 udp 协议的网络传输层协议选择 tcp/ip 协议最初是为提供非实时数据业务而设计的。ip 协议负责主机之间的数 据传输，不进行检错和纠错。因此，经常发生数据丢失或失序。为保证数据的可靠传 输，人们将 tcp 协议用于 ip 数据的传输，提高接收端的检错、纠错能力。 当检测到数据包丢失或错误时，要求发送端重新发送，但这样不可避免地引起传 输延时和耗用网络带宽。 传统的 tcp/ip 协议传输实时音频、视频数据的能力较差。当然在传输用于回放 的视频和音频数据时，tcp 也是一种选择。如果有足够的缓冲区，和充足的网络带宽， 在 tcp 协议上，接近实时的传输也是可能的，然而如果在丢包率较高、网络状况不好 的情况下，此时利用 tcp 协议进行视频或音频通信几乎是不可能的。tcp 不适合实时 音/视频的传输主要有以下几个原因：tcp 的重传机制；tcp 的拥塞控制机制；tcp 报 文头比 udp 的报文；tcp 的启动速度慢。 udp 是与 tcp 同层的协议，它是一个非常简单的协议。udp 启动速度要比 tcp 快， 传输之前不需要建立连接，没有确认机制来确保报文到达，也就没有重传机制。udp 使 用底层的互连网协议来传送报文，提供尽量传递的无连接数据报服务，尽管 udp 无法 保证任何数据报的传递或验证数据报的顺序，但正因如此，它的传输延迟小，在传输 效率上要优于 tcp，可以用它来传输那些对实时性要求高于其可靠性的实时性数据。 11 实时视频传输系统中，例如实时监控系统中，重点在于及时收到当前监控画面， 不一定要每次都保证视频数据传输的准确到位，而且 udp 的组播能力又可以降低网络 开销，因此对于实时视频监控来说 udp 比 tcp 更适合于实时视频数据的传输。 所以，对实时视频数据的传输我们采用 udp 协议。udp 提供较高的实时性，以牺 牲可靠性为代价的，可能产生报文丢失、重复、失序等问题。因此，为了尽量保证传 输的可靠性，在 udp 协议之上采用专门为实时音/视频传输所设计的 rtp/rtcp 协议对 视频数据进行封装和打包；对于本系统中，tcp 协议主要用于控制信息和用户信息的 可靠传输。 33 tcp 协议的局限及 udp 的优势 tcp 是面向连接的，提供可靠流服务，如提供确认与超时重传机制、滑动窗口机制 等以用于流量控制和拥塞处理。但是，tcp 这些机制却增加了网络开销，不适合传输突 发性的大量数据或实时性数据，如实时的多媒体数据(视频流和音频流)。 udp 是无连接的传输协议，不提供可靠性措施。不必在数据包丢失或出错时要求服 务器再重发，因此紧凑快速，特别适合用于实时性要求高的数据传输场合。由于音频 数据和视频图像数据的传输往往要求实时传输，同时又允许在性能要求范围内存在数 据错误率和数据丢失率，因此 udp 协议不进行数据的确认与重传，大大提高了传输速 率，适合视频和音频数据进行传输。udp 在实时流式传输方式中得到广泛应用。但由于 udp 存在不可靠性，因此基于 udp 的应用程序，必须自己解决诸如报文丢失、重复、失 序和流量控制等问题。 因此，在 udp 协议之上，ietf(internet engineering task force)的视频/音频 传输工作组制订了针对多媒体数据传输的实时传输协议(real-time transport protocol，rtp)和实时传输控制协议(real-time transport control protocol，rtcp)。 在 rfc1889 中详细得定义了实时数据传输和控制协议的基本内容。目前，rtp 己在因特 网上得到了广泛使用，尤其是需要传输大量、连续、实时数据的音视频流媒体服务和 视频会议。一些实时多媒体播放器上也采用了 rtp，如 rea1network 的 rea1player、apple 的 quick- time、microsoft 的 net meeting。 34 网络实时视频传送协议 良好的网络通信的设计和通信协议的选择对于网络视频数据传输的实时性以及控 制命令的准确性是至关重要的，因为网络层是通用的 ip 协议，所以我们主要从传输 层和应用层入手，常用的相关协议有传输控制协议 tcp、用户数据报协议 udp、实时传 输协议 rtp(real-time transport protocol)、实时传输控制协议 rtcp(real-time control protocol)、实时流协议 rtsp(real-time streamingprotocol)，资源预留协 议 rsvp 等。 这些协议在 tcp/ip 协议体系中的位置如图 3.5 所示。 rtsp 应用层 rtp/rtcp rsvp tcp udp 传输层 ip 网络层 硬件接口链路层 图 3.5 实时视频传送协议在 tcp/ip 协议体系中的位置 341 rtp 协议概述 rtp 协议是由 ietf 开发的，1996 年成为 rfc 正式文档，是用于 voip，视频等实 时媒体传送的协议。 12 rtp 为交互式音频、视频等具有实时特性的数据提供端到端的传送服务。在 ip 网 络上，一般是在 udp 之上运行 rtp 协议。如果支持它的网络能提供组播功能，则 rtp 也可用组播将数据送给多个目的用户。 rtp 包括两个关系十分密切的子协议： （1）实时传输协议（rtp）：用于传输实时数据。 （2）实时控制协议（rtcp）：用于监视网络的服务质量，并传递与会者会话中的 信息。 下面首先给出有关 rtp 的一些定义。