视频信息处理与传输课题研究报告

年4月19日视频信息处理与传输课题研究报告文档仅供参考，不当之处，请联系改正。西南科技大学课程研究报告课程名称：视频信息处理与传输班级：姓名：学号：指导老师：11月日课程学习目的：《视频信息处理与传输》是数字媒体技术方向中的一门专业必选课，学习的目的是让我们系统地理解和掌握视频信息的采集、压缩编码视频信息传输等数字视频技术,并灵活应用。为我们补充TCP/IP，UDP,RTP等视频信息在网络中传输所必须的协议。老师为我们讲解了视频信息处理与传输概述，视频信息采集技术，以及传输协议。我将分别叙述我从中学习到的知识。

第一部分视频信息处理与传输概述随着科学技术，视频信息处理与传输的技术也成了人们关注的一个热点。从采集到应用系统，每步都在提升。信息安全与信息垃圾就如人们的生活中的隐私与生活垃圾一样重要，如何维护信息的安全和如何处理信息垃圾已成为一个热点。信息安全是指信息网络硬件、软件及其系统中的数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露。系统连续可靠正常地运行，信息服务不中断。信息安全主要包括以下五方面：保证信息的保密性、真实性、完整性、未受权拷贝和所寄生系统的安全性。信息安全的根本目的就是使内部信息不受外部威胁，因此信息一般要加密。为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。信息垃圾就是那些混在大量有用信息中的无用信息、有害信息，以及对人类社会的各个方面带来危害的信息。它对信息安全应用和转播构成了威胁。这一部分就是老师讲的关于这个课程的一些概述，也没用从中获取太多的知识。第二部分视频信息采集技术从这一部分，我从中学到了视频是怎么样组成的，以及视频的采集技术。我们所看到的视频信息都是由一帧一帧的静态图像构成的，再加上每一帧图像的时间信息，经过连续播放而成.。视频分为模拟视频和数字视频，而数字视频是模拟视频的数字化。模拟信号对应于时间轴有连续的无穷多个值，它完全准确地表示信号电平，如话音、图像等均是模拟信号。以模拟信号传输或处理的电视称为模拟电视。模拟电视的讯号广播公司一般是使用NTSC、PAL或SECAM的模拟制式把它们的信号进行调频后，调节这些信号并放进VHF或者UHF的载波上。数字视频就是以数字形式记录的视频，和模拟视频相正确。数字视频有不同的产生方式，存储方式和播出方式。比如经过数字摄像机直接产生数字视频信号，存储在数字带，蓝光盘或者磁盘上，从而得到不同格式的数字视频。然后经过PC，特定的播放器等播放出来。为了存储视觉信息，模拟视频信号的山峰和山谷必须经过模拟/数字（A/D）转换器来转变为数字的“0”或“1”。这个转变过程就是我们所说的视频捕捉（或采集过程）。如果要在电视机上观看数字视频，则需要一个从数字到模拟的转换器将二进制信息解码成模拟信号，才能进行播放。模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。可见光是波长在380nm～780nm之间的电磁波，我们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。如果光源由单波长组成，就称为单色光源。该光源具有能量，也称强度。实际中，只有极少数光源是单色的，大多数光源是由不同波长组成，每个波长的光具有自身的强度。这称为光源的光谱分析。研究表明，人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞。红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同。自然界中的任何一种颜色都能够由R，G，B这3种颜色值之和来确定，以这三种颜色为基色构成一个RGB颜色空间，基色的波长分别为700nm(红色)、546.1nm(绿色)和435.8nm(蓝色)。颜色＝R(红色的百分比)＋G(绿色的百分比)＋B(蓝色的百分比)，只要其中一种不是由其它两种颜色生成，能够选择不同的三基色构造不同的颜色空间，即三基色原理。模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量，然后用三个模／数转换器对三个分量分别采样并进行数字化，最后再转换成RGB空间。对彩色电视图像进行采样时，能够采用两种采样方法。一种是使用相同的采样频率对图像的亮度信号（Y）和色差信号（Cr，Cb）进行采样，另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样。如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。由于人的视觉对亮度信号的敏感度高于对色差的敏感度，这样做利用人的视觉特性来节省信号的带宽和功率，经过选择合适的颜色模型，能够使两个色差信号所占的带宽明显低于Y的带宽，而又不明显影响重显彩色图像的观看。当前使用的子采样格式有如下几种：(1)4:4:4这种采样格式不是子采样格式，它是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、4个红色差Cr样本和4个蓝色差Cb样本，这就相当于每个像素用3个样本表示。(2)4:2:2这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样本，平均每个像素用2个样本表示。(3)4:1:1这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。(4)4:2:0这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。等间隔量化适合像素灰度值在黑白范围较均匀分布的图像。非等间隔量化（非均匀量化）——对图像中像素灰度值频繁出现的灰度值范围，量化间隔取小一些，而对那些像素灰度值极少出现的范围，则量化间隔取大一些。在数字图像处理技术上，亮度信号的取样频率为13.5MHz，理由如下：①按照奈奎斯特取样定理，取样频率至少应为信号上限频率的2倍，为获得满意的图像质量，在PAL制中亮度信号要求5.8--6MHz的带宽。因此，取样频率应大于12MHz。②为了取样后保证产生足够小的混叠噪声，要求取样频率是信号宽带的2.2-2.7倍。因此对PAL制信号，取样频率应大于13.2MHz。我们使用的图像传感器主要有CMOS与CCD两种。下面就是我学习到的知识。CCD图像传感器可直接将光学信号转换为模拟电流信号，电流信号经过放大和模数转换，实现图像的获取、存储、传输、处理和复现。其显著特点是，体积小重量轻，功耗小，工作电压低，抗冲击与震动，性能稳定，寿命长，灵敏度高，噪声低，动态范围大，响应速度快，有自扫描功能，图像畸变小，无残像，应用超大规模集成电路工艺技术生产，像素集成度高，尺寸精确，商品化生产成本低。因此，许多采用光学方法测量外径的仪器，把CCD器件作为光电接收器。CMOS图像传感器是一种典型的固体成像传感器，与CCD有着共同的历史渊源。CMOS图像传感器一般由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、AD转换器、数据总线输出接口、控制接口等几部分组成,这几部分一般都被集成在同一块硅片上。其工作过程一般可分为复位、光电转换、积分、读出几部分。CMOS图像传感器具有以下几个优点：随机窗口读取能力，抗辐射能力。，系统复杂程度和可靠性，非破坏性数据读出方式。第三部分视频信息压缩编码及标准视频信息压缩的必要性与可行性，必要性：以较少的数据来表示图像；节约储存器空间；节省传输信道带宽；加快处理速度。可行性：冗余越大，可压缩的程度就越高。①由于相邻像素之间存在关联而产生大量的空间冗余。②由于彩色元素间存在相互关联而产生大量频谱冗余。③由于人类视觉系统特点而引起的大量心理视觉冗余。视频信息压缩的评价指标，衡量一种数据压缩技术的重要性能指标有压缩比、压缩速度、压缩质量和计算量等。典型的视频信息压缩编码方法，常见的视频信息压缩编码方法有：K-L变换编码、DCT变换编码、子带编码、预测编码、小波变换编码、模型基编码、分形编码、基于对象的视频编码。一般变换编码的基本思想：先将空间域图像经过某种正交变换，获得一系列变换系数，在变换过程中，使图像变换系数能量相对集中，再对其变换系数进行区域量化等，按其所含能量大小，分配以不同的数据量去描述，从而达到压缩的目的。数字图像包含的冗余信息一般有以下几种：空问冗余、时间冗余、信息熵冗余、统计冗余、结构冗余、视觉冗余以及知识冗余等。图像压缩算法就是要在保证图像一定的熏建质量的同时，尽可能多的去除这些冗余信息．以达到对图像压缩的目的。随着科学技术的发展,图像压缩编码技术越来越引起人们的关注。所谓的图像压缩编码技术就是对要处理的图像数据按一定的规则进行变换和组合,从而达到以尽可能少的数据流来表示尽可能多的数据信息。DCT变换后具有绝正确去相关性，而且变换后的矩阵从左上角到右下角频率规律的渐高。有损压缩方法利用了人类视觉对图像中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息；虽然不能完全恢复原始数据，可是所损失的部分对理解原始图像的影响较小，却换来了大得多的压缩比。因此舍弃高频分量保留低频分量的做法对于图像压缩具有绝正确优势。只要损失的数据不太影响人眼主观接收的效果，就可采用。首先将输入图像颜色空间转换后分解为8×8大小的数据块，然后用正向二维DCT把每个块转变成64个DCT系数值，其中1个数值是直流(DC)系数，即8×8空域图像子块的平均值，其余的63个是交流(AC)系数，接下来对DCT系数进行量化，最后将变换得到的量化的DCT系数进行编码和传送，这样就完成了图像的压缩过程。压缩图像数据压缩图像数据游程译码反量化IDCT变换恢复图像数据码表DCT编码过程现在主要的视频信息压缩编码标准有MPEG-1、H.261、MPEG-2、H.262、H.263/H.263+/H.264、MPEG-4、MPEG-7、MPEG-21。这里介绍MPEG系列标准。1、MPEG-1标准MPEG-1标准于1993年8月公布，是针对1.5Mbps以下数据传输率的数字存储媒质运动图像及其伴音编码的国际标准。它提供的重要特性包括基于帧的视频随机访问，经过压缩比特流的快进/快退搜索，视频的倒放，以及压缩比特流的可编辑性。MPEG-1对色差分量采用4∶1∶1的二次采样率。MPEG1旨在达到VRC质量，其视频压缩率为26∶1。该标准包括五个部分：第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的C语言实现的编码和解码器。2、MPEG-2标准MPEG组织于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性。MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3兆比特～100兆比特，特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准。MPEG-2还专门规定了多路节目的复分接方式。MPEG-2的编码码流分为六个层次。为更好地表示编码数据，MPEG-2用句法规定了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组(GOP)、图像、宏块条、宏块、块。MPEG-2标准当前分为9个部分，统称为ISO/IEC13818国际标准。各部分的内容描述如下：一部分－ISO/IEC13818-1，System：系统，描述多个视频，音频和数据基本码流合成传输码流和节目码流的方式。二部分－ISO/IEC13818-2，Video：视频，描述视频编码方法。三部分－ISO/IEC13818-3，Audio：音频，描述与MPEG-1音频标准反向兼容的音频编码方法。四部分－ISO/IEC13818-4，Compliance：符合测试，描述测试一个编码码流是否符合MPEG-2码流的方法。五部分－ISO/IEC13818-5，Software：软件，描述了MPEG-2标准的第一、二、三部分的软件实现方法。六部分－ISO/IEC13818-6，DSM-CC：数字存储媒体-命令与控制，描述交互式多媒体网络中服务器与用户间的会话信令集。上六个部分均已获得经过，成为正式的国际标准。另外，MPEG-2标准还有三个部分：第七部分规定不与MPEG-1音频反向兼容的多通道音频编码；第八部分现已停止；第九部分规定了传送码流的实时接口。3、MPEG-4标准MPEG-4标准专家组成立于1993年，该标准的目标为：支持多种多媒体应用（主要侧重于对多媒体信息内容的访问），可根据应用的不同要求现场配置解码器。MPEG-4于年初正式成为国际标准。该标准旨在为视音频数据的通信、存取与管理提供一个灵活的框架与一套开放的编码工具。这些工具将支持大量的应用功能（新的和传统的）。尤为引人注目的是，MPEG-4提供的多种视音频（自然的与合成的）的编码模式使图象或视频中对象的存取大为便利。这种视频、音频对象的存取，常被称作基于内容的存取。基于内容的检索是它的一种特殊形式。它分为以下27个部分：第一部分（ISO/IEC14496-1）：系统：描述视讯和音频数据流的控制、同步以及混合方式（即混流Multiplexing，简写为MUX）。第二部分（ISO/IEC14496-2）：视讯：定义了一个对各种视觉讯息（包括自然视讯、静止纹理、计算机合成图形等等）的编译码器。（例如XviD编码就属于MPEG-4Part2）第三部分（ISO/IEC14496-3）：音讯：定义了一个对各种音频讯号进行编码的编译码器的集合。包括高阶音频编码（AdvancedAudioCoding，缩写为AAC）的若干变形和其它一些音频/语音编码工具。第四部分（ISO/IEC14496-4）：一致性：定义了对本标准其它的部分进行一致性测试的程序。第五部分（ISO/IEC14496-5）：参考软件：提供了用于演示功能和说明本标准其它部分功能的软件。第六部分（ISO/IEC14496-6）：多媒体传输整合框架（DMIFforDeliveryMultimediaIntegrationFramework）第七部分（ISO/IEC14496-7）：优化的参考软件：提供了对实作进行优化的例子（这里的实作指的是第五部分）。第八部分（ISO/IEC14496-8）：在IP网络上传输：定义了在IP网络上传输MPEG-4内容的方式。第九部分（ISO/IEC14496-9）：参考硬件：提供了用于演示怎样在硬件上实作本标准其它部分功能的硬件设计方案。第十部分（ISO/IEC14496-10）：进阶视讯编码或称高阶视讯编码（AdvancedVideoCoding，缩写为AVC）：定义了一个视讯编译码器（codec）。AVC和XviD都属于MPEG-4编码，但由于AVC属于MPEG-4Part10，在技术特性上比属于MPEG-4Part2的XviD要先进。另外，它和ITU-TH.264标准是一致的，故又称为H.264。第十二部分（ISO/IEC14496-12）：基于ISO的媒体文件格式：定义了一个储存媒体内容的文件格式。第十三部分（ISO/IEC14496-13）：知识产权管理和保护（IPMPforIntellectualPropertyManagementandProtection）拓展。第十四部分（ISO/IEC14496-14）：MPEG-4文件格式：定义了基于第十二部分的用于储存MPEG-4内容的视讯文件格式。第十五部分（ISO/IEC14496-15）：AVC文件格式：定义了基于第十二部分的用于储存第十部分的视讯内容的文件格式。第十六部分（ISO/IEC14496-16）：动画框架扩充功能（AFX:AnimationFrameworkeXtension）。第十七部分（ISO/IEC14496-17）：同步文字字幕格式。第十八部分（ISO/IEC14496-18）：字型压缩和串流传输（针对开放字型格式OpenFontFormat）。第十九部分（ISO/IEC14496-19）：合成材质流（SynthesizedTextureStream）。第二十部分（ISO/IEC14496-20）：简单场景表示（LASeRforLightweightSceneRepresentation。第二十一部分（ISO/IEC14496-21）：用于描绘（Rendering）的MPEG-J拓展。第二十二部分（ISO/IEC14496-22）：开放字型格式（OpenFontFormat）。第二十三部分（ISO/IEC14496-23）：符号化音乐表示（SymbolicMusicRepresentation）。第二十四部分（ISO/IEC14496-24）：音频与系统互动作用（Audioandsystemsinteraction）。第二十五部分（ISO/IEC14496-25）：3D图形压缩模型（3DGraphicsCompressionModel）。第二十六部分（ISO/IEC14496-26）：音讯一致性检查：定义了测试音频数据与ISO/IEC14496-3是否一致的方法（Audioconformance）。第二十七部分（ISO/IEC14496-27）：3D图形一致性检查：定义了测试3D图形数据与ISO/IEC14496-11:,ISO/IEC14496-16:,ISO/IEC14496-21:,和ISO/IEC14496-25:是否一致的方法（3DGraphicsconformance）。4．MPEG-7标准随着Internet的普及和网络带宽的增加，产生了大量的多媒体数据，如何在浩如烟海的信息中快速、准确地获得自己所需的内容则成为当前必须解决的问题。在此需求下，MPEG-7应运而生。规定一个用于描述各种不同类型多媒体信息的描述符的标准集合被称为“多媒体内容描述接口”。该标准于1998年10月提出，于最终完成并公布。MPEG-7的目标是支持多种音频和视觉的描述，包括自由文本、N维时空结构、统计信息、客观属性、主观属性、生产属性和组合信息；是根据信息的抽象层次，提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求；是支持数据管理的灵活性、数据资源的全球化和互操作性。最终的目的是把网上的多媒体内容变成文本内容，具有可搜索性。MPEG-7由以下几部分组成：（1）MPEG-7系统：它保证MPEG-7描述有效传输和存储所必须的工具，并确保内容与描述之间进行同步，这些工具有管理和保护的智能特性；（2）MPEG-7描述定义语言：用来定义新的描述结构（说明成员之间的结构和语义）的语言；（3）MPEG-7音频：只涉及音频描述的描述子（定义特征的语法和语义）和描述结构；（4）MPEG-7视频：只涉及视频描述的描述子和描述结构；（5）MPEG-7属性实体和多媒体描述结构；（6）MPEG-7参考软件：实现MPEG-7标准相关成分的软件；（7）MPEG-7一致性：测试MPEG-7执行一致性的指导方针和程序。5、MPEG-21标准MPEG-21的正式名称是多媒体框架，又称数字视听框架（DigitalAudio-VisualFramework）。它的目标就是理解如何将不同的技术和标准结合在一起，需要什么样的新标准以及完成不同标准的结合工作。简言之，制定MPEG-21标准的目的是：(1)将不同的协议、标准、技术等有机地融合在一起；(2)制定新的标准；(3)将这些不同的标准集成在一起。MPEG-21标准其实就是一些关键技术的集成，经过这种集成环境就对全球数字媒体资源进行透明和增强管理，实现内容描述、创立、发布、使用、识别、收费管理、产权保护、用户隐私权保护、终端和网络资源抽取、事件报告等功能。第四部分视频信息传输网络及协议这一部分我学到OSI7层模型标准（ISO7498），ip、tcp、udp、rtcp协议，电话系统等知识，下面的内容就是我就得这一部分最有用的内容OSI7层模型标准（ISO7498）网络通信系统主要有电话系统、N-ISDN、B-ISDN、ATM、移动电话系统、有线电视系统、通信卫星、无线网络。它的特点：基础通信平台，提供计算机网络的数据传输信道，但又独立于计算机通信；逐步吸收融合计算机网络的许多思想，越来越复杂。这里简单介绍一下电话系统PSTN：公共交换电话网络，一种常见旧式电话系统。即我们日常生活中常见的电话网。工作原理公共交换电话网络是一种全球语音通信电路交换网络，包括商业的和政府拥有的。所谓公用电话交换网（PSTN——PublicSwitchedTelephoneNetwork），即我们日常生活中常见的电话网。众所周知，PSTN是一种以模拟技术为基础的电路交换网络。在众多的广域网互连技术中，经过PSTN进行互连所要求的通信费用最低，但其数据传输质量及传输速度也最差，同时PSTN的网络资源利用率也比较低。统计时分复用(按需分配带宽)基本原理是把时间划分为不等长的时间片，长短不同的时间片就是传送不同长度分组所需要的时间，每路通信按需分配时间片，当通信需要传送的分组多时，所占用时间片的个数就多，反之，所占用时间片的个数就少，不传输信息时不分配带宽。由此可见，统计时分复用是按需分配带宽(动态分配带宽)的。标志化信道：在统计时分复用中，靠分组头中的标志来区分不同的通信分组。具有相同标志的分组属于同一个通信，也就构成了一个子信道，识别这个子信道的标志也叫做信道标志，该子信道被称为标志化信道。而同步时分复用靠时间位置来识别每路通信的分组，被称为位置化信道。信息传送有差错控制，分组交换是专门为数据通信网设计的交换方式，为保证数据信息的可靠性，在分组交换中设有CRC校验、重发等差错控制机制。信息传送不具有透明性。分组交换对所传送的数据信息要进行处理。视频信息传输协议IP协议是用于将多个包交换网络连接起来的，它在源地址和目的地址之间传送一种称之为数据包的东西，它还提供对数据大小的重新组装功能，以适应不同网络对包大小的要求。IP实现两个基本功能：寻址和分段。IP能够根据数据包包头中包括的目的地址将数据报传送到目的地址，在此过程中IP负责选择传送的道路，这种选择道路称为路由功能。如果有些网络内只能传送小数据报，IP能够将数据报重新组装并在报头域内注明。IP使用四个关键技术提供服务：服务类型，生存时间，选项和报头校验码。服务类型指希望得到的服务质量。服务类型是一个参数集，这些参数是Internet能够提供服务的代表。这种服务类型由网关使用，用于在特定的网络，或是用于下下一个要经过的网络，或是下一个要对这个数据报进行路由的网关上选择实际的传送参数。生存时间是数据报能够生存的时间上限。它由发送者设置，由经过路由的地方处理。如果未到达时生存时间为零，抛弃此数据报。对于控制函数来说选项是重要的，但对于一般的通信来说它没有存在的必要。选项包括时间戳，安全和特殊路由。报头校验码保证数据的正确传输。如果校验出错，抛弃整个数据报。IP不提供可靠的传输服务，它不提供端到端的或（路由）结点到（路由）结点的确认，对数据没有差错控制，它只使用报头的校验码，它不提供重发和流量控制。如果出错能够经过ICMP报告，ICMP在IP模块中实现。TCP、UDP协议UDP协议全称是用户数据报协议，在网络中它与TCP协议一样用于处理数据包，是一种无连接的协议。在OSI模型中，在第四层——传输层，处于IP协议的上一层。UDP有不提供数据包分组、组装和不能对数据包进行排序的缺点，也就是说，当报文发送之后，是无法得知其是否安全完整到达的。UDP用来支持那些需要在计算机之间传输数据的网络应用。包括网络视频会议系统在内的众多的客户/服务器模式的网络应用都需要使用UDP协议。UDP协议从问世至今已经被使用了很多年，虽然其最初的光彩已经被一些类似协议所掩盖，可是即使是在今天UDP依然不失为一项非常实用和可行的网络传输层协议。TCP是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC793定义。在简化的计算机网络OSI模型中，它完成第四层传输层所指定的功能，用户数据报协议（UDP）是同一层内另一个重要的传输协议。在因特网协议族中，TCP层是位于IP层之上，应用层之下的中间层。不同主机的应用层之间经常需要可靠的、像管道一样的连接，可是IP层不提供这样的流机制，而是提供不可靠的包交换。UDP报文格式Tcp报文格式RTP/RTCP/RSVP协议RTP全名是Real-timeTransportProtocol（实时传输协议）。它是IETF提出的一个标准，对应的RFC文档为RFC3550（RFC1889为其过期版本）。。RTP用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP为Internet上端到端的实时传输提供时间信息和流同步，但并不保证服务质量，服务质量由RTCP来提供。RTP报文格式012301234567890123456789012345678901+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|V=2|P|X|CC|M|PT|sequencenumber|+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|timestamp|+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|synchronizationsource(SSRC)identifier|+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+|contributingsource(CSRC)identifiers|||+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+上图引自rfc3550，由上图中可知道RTP报文由两个部分构成--RTP报头和RTP的负载：RTP报文由两部分组成：报头和有效载荷。RTP报头格式如图所示，其中：1.V：RTP协议的版本号，占2位，当前协议版本号为2。2.P：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分。3.X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头。4.CC：CSRC计数器，占4位，指示CSRC标识符的个数。5.M:标记，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。6.PT:有效载荷类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM音频、JPEM图像等,在流媒体中大部分是用来区分音频流和视频流的，这样便于客户端进行解析。7.序列号：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。这个字段当下层的承载协议用UDP的时候，网络状况不好的时候能够用来检查丢包。同时出现网络抖动的情况能够用来对数据进行重新排序，在helix服务器中这个字段是从0开始的，同时音频包和视频包的sequence是分别记数的。8.时戳(Timestamp)：占32位，时戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动，并进行同步控制。9.同步信源(SSRC)标识符：占32位，用于标识同步信源。该标识符是随机选择的，参加同一视频会议的两个同步信源不能有相同的SSRC。10.特约信源(CSRC)标识符：每个CSRC标识符占32位，能够有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。如果扩展标志被置位则说明紧跟在报头后面是一个头扩展，其格式如下：012