视频信息处理与传输课题研究应用报告

西南科技大学课程研究汇报课程名称：视频信息处理和传输班级：姓名：学号：指导老师：11月日课程学习目标：《视频信息处理和传输》是数字媒体技术方向中一门专业必选课，学习目标是让我们系统地了解和掌握视频信息采集、压缩编码视频信息传输等数字视频技术,并灵活应用。为我们补充TCP/IP，UDP,RTP等视频信息在网络中传输所必需协议。老师为我们讲解了视频信息处理和传输概述，视频信息采集技术，和传输协议。我将分别叙述我从中学习到知识。

第一部分视频信息处理和传输概述伴随科学技术，视频信息处理和传输技术也成了大家关注一个热点。从采集到应用系统，每步全部在提升。信息安全和信息垃圾就如大家生活中隐私和生活垃圾一样关键，怎样维护信息安全和怎样处理信息垃圾已成为一个热点。信息安全是指信息网络硬件、软件及其系统中数据受到保护，不受偶然或恶意原所以遭到破坏、更改、泄露。系统连续可靠正常地运行，信息服务不中止。信息安全关键包含以下五方面：确保信息保密性、真实性、完整性、未受权拷贝和所寄生系统安全性。信息安全根本目标就是使内部信息不受外部威胁，所以信息通常要加密。为保障信息安全，要求有信息源认证、访问控制，不能有非法软件驻留，不能有非法操作。信息垃圾就是那些混在大量有用信息中无用信息、有害信息，和对人类社会各个方面带来危害信息。它对信息安全应用和转播组成了威胁。这一部分就是老师讲相关这个课程部分概述，也没用从中获取太多知识。第二部分视频信息采集技术从这一部分，我从中学到了视频是怎么样组成，和视频采集技术。我们所看到视频信息全部是由一帧一帧静态图像组成，再加上每一帧图像时间信息，经过连续播放而成.。视频分为模拟视频和数字视频，而数字视频是模拟视频数字化。模拟信号对应于时间轴有连续无穷多个值，它完全正确地表示信号电平，如话音、图像等均是模拟信号。以模拟信号传输或处理电视称为模拟电视。模拟电视讯号广播企业通常是使用NTSC、PAL或SECAM模拟制式把它们信号进行调频后，调整这些信号并放进VHF或UHF载波上。数字视频就是以数字形式统计视频，和模拟视频相正确。数字视频有不一样产生方法，存放方法和播出方法。比如经过数字摄像机直接产生数字视频信号，存放在数字带，蓝光盘或磁盘上，从而得到不一样格式数字视频。然后经过PC，特定播放器等播放出来。为了存放视觉信息，模拟视频信号山峰和山谷必需经过模拟/数字（A/D）转换器来转变为数字“0”或“1”。这个转变过程就是我们所说视频捕捉（或采集过程）。假如要在电视机上观看数字视频，则需要一个从数字到模拟转换器将二进制信息解码成模拟信号，才能进行播放。模拟视频数字化包含不少技术问题，如电视信号含有不一样制式而且采取复合YUV信号方法，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像分辨率和显示器分辨率也不尽相相同等。所以，模拟视频数字化关键包含色彩空间转换、光栅扫描转换和分辨率统一。可见光是波长在380nm～780nm之间电磁波，我们看到大多数光不是一个波长光，而是由很多不一样波长光组合成。假如光源由单波长组成，就称为单色光源。该光源含有能量，也称强度。实际中，只有极少数光源是单色，大多数光源是由不一样波长组成，每个波长光含有本身强度。这称为光源光谱分析。研究表明，人视网膜有对红、绿、蓝颜色敏感程度不一样三种锥体细胞。红、绿和蓝三种锥体细胞对不一样频率光感知程度不一样，对不一样亮度感知程度也不一样。自然界中任何一个颜色全部能够由R，G，B这3种颜色值之和来确定，以这三种颜色为基色组成一个RGB颜色空间，基色波长分别为700nm(红色)、546.1nm(绿色)和435.8nm(蓝色)。颜色＝R(红色百分比)＋G(绿色百分比)＋B(蓝色百分比)，只要其中一个不是由其它两种颜色生成，能够选择不一样三基色结构不一样颜色空间，即三基色原理。模拟视频数字化包含不少技术问题，如电视信号含有不一样制式而且采取复合YUV信号方法，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像分辨率和显示器分辨率也不尽相相同等。所以，模拟视频数字化关键包含色彩空间转换、光栅扫描转换和分辨率统一。模拟视频通常采取分量数字化方法，先把复合视频信号中亮度和色度分离，得到YUV或YIQ分量，然后用三个模／数转换器对三个分量分别采样并进行数字化，最终再转换成RGB空间。对彩色电视图像进行采样时，能够采取两种采样方法。一个是使用相同采样频率对图像亮度信号（Y）和色差信号（Cr，Cb）进行采样，另一个是对亮度信号和色差信号分别采取不一样采样频率进行采样。假如对色差信号使用采样频率比对亮度信号使用采样频率低，这种采样就称为图像子采样(subsampling)。因为人视觉对亮度信号敏感度高于对色差敏感度，这么做利用人视觉特征来节省信号带宽和功率，经过选择适宜颜色模型，能够使两个色差信号所占带宽显著低于Y带宽，而又不显著影响重显彩色图像观看。现在使用子采样格式有以下多个：(1)4:4:4这种采样格式不是子采样格式，它是指在每条扫描线上每4个连续采样点取4个亮度Y样本、4个红色差Cr样本和4个蓝色差Cb样本，这就相当于每个像素用3个样本表示。(2)4:2:2这种子采样格式是指在每条扫描线上每4个连续采样点取4个亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样本，平均每个像素用2个样本表示。(3)4:1:1这种子采样格式是指在每条扫描线上每4个连续采样点取4个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。(4)4:2:0这种子采样格式是指在水平和垂直方向上每2个连续采样点上取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。等间隔量化适合像素灰度值在黑白范围较均匀分布图像。非等间隔量化（非均匀量化）——对图像中像素灰度值频繁出现灰度值范围，量化间隔取小部分，而对那些像素灰度值极少出现范围，则量化间隔取大部分。在数字图像处理技术上，亮度信号取样频率为13.5MHz，理由以下：①根据奈奎斯特取样定理，取样频率最少应为信号上限频率2倍，为取得满意图像质量，在PAL制中亮度信号要求5.8--6MHz带宽。所以，取样频率应大于12MHz。②为了取样后确保产生足够小混叠噪声，要求取样频率是信号宽带2.2-2.7倍。所以对PAL制信号，取样频率应大于13.2MHz。我们使用图像传感器关键有CMOS和CCD两种。下面就是我学习到知识。CCD图像传感器可直接将光学信号转换为模拟电流信号，电流信号经过放大和模数转换，实现图像获取、存放、传输、处理和复现。其显著特点是，体积小重量轻，功耗小，工作电压低，抗冲击和震动，性能稳定，寿命长，灵敏度高，噪声低，动态范围大，响应速度快，有自扫描功效，图像畸变小，无残像，应用超大规模集成电路工艺技术生产，像素集成度高，尺寸正确，商品化生产成本低。所以，很多采取光学方法测量外径仪器，把CCD器件作为光电接收器。CMOS图像传感器是一个经典固体成像传感器，和CCD有着共同历史渊源。CMOS图像传感器通常由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、AD转换器、数据总线输出接口、控制接口等几部分组成,这几部分通常全部被集成在同一块硅片上。其工作过程通常可分为复位、光电转换、积分、读出几部分。CMOS图像传感器含有以下多个优点：随机窗口读取能力，抗辐射能力。，系统复杂程度和可靠性，非破坏性数据读出方法。第三部分视频信息压缩编码及标准视频信息压缩必需性和可行性，必需性：以较少数据来表示图像；节省储存器空间；节省传输信道带宽；加紧处理速度。可行性：冗余越大，可压缩程度就越高。①因为相邻像素之间存在关联而产生大量空间冗余。②因为彩色元素间存在相互关联而产生大量频谱冗余。③因为人类视觉系统特点而引发大量心理视觉冗余。视频信息压缩评价指标，衡量一个数据压缩技术关键性能指标有压缩比、压缩速度、压缩质量和计算量等。经典视频信息压缩编码方法，常见视频信息压缩编码方法有：K-L变换编码、DCT变换编码、子带编码、估计编码、小波变换编码、模型基编码、分形编码、基于对象视频编码。通常变换编码基础思想：先将空间域图像经过某种正交变换，取得一系列变换系数，在变换过程中，使图像变换系数能量相对集中，再对其变换系数进行区域量化等，按其所含能量大小，分配以不一样数据量去描述，从而达成压缩目标。数字图像包含冗余信息通常有以下多个：空问冗余、时间冗余、信息熵冗余、统计冗余、结构冗余、视觉冗余和知识冗余等。图像压缩算法就是要在确保图像一定熏建质量同时，尽可能多去除这些冗余信息．以达成对图像压缩目标。伴随科学技术发展,图像压缩编码技术越来越引发大家关注。所谓图像压缩编码技术就是对要处理图像数据按一定规则进行变换和组合,从而达成以尽可能少数据流来表示尽可能多数据信息。DCT变换后含有绝正确去相关性，而且变换后矩阵从左上角到右下角频率规律渐高。有损压缩方法利用了人类视觉对图像中一些频率成份不敏感特征，许可压缩过程中损失一定信息；即使不能完全恢复原始数据，不过所损失部分对了解原始图像影响较小，却换来了大得多压缩比。所以舍弃高频分量保留低频分量做法对于图像压缩含有绝正确优势。只要损失数据不太影响人眼主观接收效果，就可采取。首先将输入图像颜色空间转换后分解为8×8大小数据块，然后用正向二维DCT把每个块转变成64个DCT系数值，其中1个数值是直流(DC)系数，即8×8空域图像子块平均值，其它63个是交流(AC)系数，接下来对DCT系数进行量化，最终将变换得到量化DCT系数进行编码和传送，这么就完成了图像压缩过程。压缩图像数据压缩图像数据游程译码反量化IDCT变换恢复图像数据码表DCT编码过程现在关键视频信息压缩编码标准有MPEG-1、H.261、MPEG-2、H.262、H.263/H.263+/H.264、MPEG-4、MPEG-7、MPEG-21。这里介绍MPEG系列标准。1、MPEG-1标准MPEG-1标准于1993年8月公布，是针对1.5Mbps以下数据传输率数字存放媒质运动图像及其伴音编码国际标准。它提供关键特征包含基于帧视频随机访问，经过压缩比特流快进/快退搜索，视频倒放，和压缩比特流可编辑性。MPEG-1对色差分量采取4∶1∶1二次采样率。MPEG1意在达成VRC质量，其视频压缩率为26∶1。该标准包含五个部分：第一部分说明了怎样依据第二部分（视频）和第三部分（音频）要求，对音频和视频进行复合编码。第四部分说明了检验解码器或编码器输出比特流符合前三部分要求过程。第五部分是一个用完整C语言实现编码和解码器。2、MPEG-2标准MPEG组织于1994年推出MPEG-2压缩标准，以实现视/音频服务和应用互操作可能性。MPEG-2标准是针对标准数字电视和高清楚度电视在多种应用下压缩方案和系统层具体要求，编码码率从每秒3兆比特～100兆比特，尤其适适用于广播级数字电视编码和传送，被认定为SDTV和HDTV编码标准。MPEG-2还专门要求了多路节目标复分接方法。MPEG-2编码码流分为六个层次。为愈加好地表示编码数据，MPEG-2用句法要求了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组(GOP)、图像、宏块条、宏块、块。MPEG-2标准现在分为9个部分，统称为ISO/IEC13818国际标准。各部分内容描述以下：一部分－ISO/IEC13818-1，System：系统，描述多个视频，音频和数据基础码流合成传输码流和节目码流方法。二部分－ISO/IEC13818-2，Video：视频，描述视频编码方法。三部分－ISO/IEC13818-3，Audio：音频，描述和MPEG-1音频标准反向兼容音频编码方法。四部分－ISO/IEC13818-4，Compliance：符合测试，描述测试一个编码码流是否符合MPEG-2码流方法。五部分－ISO/IEC13818-5，Software：软件，描述了MPEG-2标准第一、二、三部分软件实现方法。六部分－ISO/IEC13818-6，DSM-CC：数字存放媒体-命令和控制，描述交互式多媒体网络中服务器和用户间会话信令集。上六个部分均已取得经过，成为正式国际标准。另外，MPEG-2标准还有三个部分：第七部分要求不和MPEG-1音频反向兼容多通道音频编码；第八部分现已停止；第九部分要求了传送码流实时接口。3、MPEG-4标准MPEG-4标准教授组成立于1993年，该标准目标为：支持多个多媒体应用（关键侧重于对多媒体信息内容访问），可依据应用不一样要求现场配置解码器。MPEG-4于年初正式成为国际标准。该标准意在为视音频数据通信、存取和管理提供一个灵活框架和一套开放编码工具。这些工具将支持大量应用功效（新和传统）。尤为引人注目标是，MPEG-4提供多个视音频（自然和合成）编码模式使图象或视频中对象存取大为便利。这种视频、音频对象存取，常被称作基于内容存取。基于内容检索是它一个特殊形式。它分为以下27个部分：第一部分（ISO/IEC14496-1）：系统：描述视讯和音频数据流控制、同时和混合方法（即混流Multiplexing，简写为MUX）。第二部分（ISO/IEC14496-2）：视讯：定义了一个对多种视觉讯息（包含自然视讯、静止纹理、计算机合成图形等等）编译码器。（比如XviD编码就属于MPEG-4Part2）第三部分（ISO/IEC14496-3）：音讯：定义了一个对多种音频讯号进行编码编译码器集合。包含高阶音频编码（AdvancedAudioCoding，缩写为AAC）若干变形和其它部分音频/语音编码工具。第四部分（ISO/IEC14496-4）：一致性：定义了对本标准其它部分进行一致性测试程序。第五部分（ISO/IEC14496-5）：参考软件：提供了用于演示功效和说明本标准其它部分功效软件。第六部分（ISO/IEC14496-6）：多媒体传输整合框架（DMIFforDeliveryMultimediaIntegrationFramework）第七部分（ISO/IEC14496-7）：优化参考软件：提供了对实作进行优化例子（这里实作指是第五部分）。第八部分（ISO/IEC14496-8）：在IP网络上传输：定义了在IP网络上传输MPEG-4内容方法。第九部分（ISO/IEC14496-9）：参考硬件：提供了用于演示怎样在硬件上实作本标准其它部分功效硬件设计方案。第十部分（ISO/IEC14496-10）：进阶视讯编码或称高阶视讯编码（AdvancedVideoCoding，缩写为AVC）：定义了一个视讯编译码器（codec）。AVC和XviD全部属于MPEG-4编码，但因为AVC属于MPEG-4Part10，在技术特征上比属于MPEG-4Part2XviD要优异。另外，它和ITU-TH.264标准是一致，故又称为H.264。第十二部分（ISO/IEC14496-12）：基于ISO媒体文件格式：定义了一个储存媒体内容文件格式。第十三部分（ISO/IEC14496-13）：知识产权管理和保护（IPMPforIntellectualPropertyManagementandProtection）拓展。第十四部分（ISO/IEC14496-14）：MPEG-4文件格式：定义了基于第十二部分用于储存MPEG-4内容视讯文件格式。第十五部分（ISO/IEC14496-15）：AVC文件格式：定义了基于第十二部分用于储存第十部分视讯内容文件格式。第十六部分（ISO/IEC14496-16）：动画框架扩充功效（AFX:AnimationFrameworkeXtension）。第十七部分（ISO/IEC14496-17）：同时文字字幕格式。第十八部分（ISO/IEC14496-18）：字型压缩和串流传输（针对开放字型格式OpenFontFormat）。第十九部分（ISO/IEC14496-19）：合成材质流（SynthesizedTextureStream）。第二十部分（ISO/IEC14496-20）：简单场景表示（LASeRforLightweightSceneRepresentation。第二十一部分（ISO/IEC14496-21）：用于描绘（Rendering）MPEG-J拓展。第二十二部分（ISO/IEC14496-22）：开放字型格式（OpenFontFormat）。第二十三部分（ISO/IEC14496-23）：符号化音乐表示（SymbolicMusicRepresentation）。第二十四部分（ISO/IEC14496-24）：音频和系统互动作用（Audioandsystemsinteraction）。第二十五部分（ISO/IEC14496-25）：3D图形压缩模型（3DGraphicsCompressionModel）。第二十六部分（ISO/IEC14496-26）：音讯一致性检验：定义了测试音频数据和ISO/IEC14496-3是否一致方法（Audioconformance）。第二十七部分（ISO/IEC14496-27）：3D图形一致性检验：定义了测试3D图形数据和ISO/IEC14496-11:,ISO/IEC14496-16:,ISO/IEC14496-21:,和ISO/IEC14496-25:是否一致方法（3DGraphicsconformance）。4．MPEG-7标准伴随Internet普及和网络带宽增加，产生了大量多媒体数据，怎样在浩如烟海信息中快速、正确地取得自己所需内容则成为目前必需处理问题。在此需求下，MPEG-7应运而生。要求一个用于描述多种不一样类型多媒体信息描述符标准集合被称为“多媒体内容描述接口”。该标准于1998年10月提出，于最终完成并公布。MPEG-7目标是支持多个音频和视觉描述，包含自由文本、N维时空结构、统计信息、客观属性、主观属性、生产属性和组合信息；是依据信息抽象层次，提供一个描述多媒体材料方法方便表示不一样层次上用户对信息需求；是支持数据管理灵活性、数据资源全球化和互操作性。最终目标是把网上多媒体内容变成文本内容，含有可搜索性。MPEG-7由以下几部分组成：（1）MPEG-7系统：它确保MPEG-7描述有效传输和存放所必需工具，并确保内容和描述之间进行同时，这些工含有管理和保护智能特征；（2）MPEG-7描述定义语言：用来定义新描述结构（说明组员之间结构和语义）语言；（3）MPEG-7音频：只包含音频描述描述子（定义特征语法和语义）和描述结构；（4）MPEG-7视频：只包含视频描述描述子和描述结构；（5）MPEG-7属性实体和多媒体描述结构；（6）MPEG-7参考软件：实现MPEG-7标准相关成份软件；（7）MPEG-7一致性：测试MPEG-7实施一致性指导方针和程序。5、MPEG-21标准MPEG-21正式名称是多媒体框架，又称数字视听框架（DigitalAudio-VisualFramework）。它目标就是了解怎样将不一样技术和标准结合在一起，需要什么样新标准和完成不一样标准结合工作。简言之，制订MPEG-21标准目标是：(1)将不一样协议、标准、技术等有机地融合在一起；(2)制订新标准；(3)将这些不一样标准集成在一起。MPEG-21标准其实就是部分关键技术集成，经过这种集成环境就对全球数字媒体资源进行透明和增强管理，实现内容描述、创建、公布、使用、识别、收费管理、产权保护、用户隐私权保护、终端和网络资源抽取、事件汇报等功效。第四部分视频信息传输网络及协议这一部分我学到OSI7层模型标准（ISO7498），ip、tcp、udp、rtcp协议，电话系统等知识，下面内容就是我就得这一部分最有用内容OSI7层模型标准（ISO7498）网络通信系统关键有电话系统、N-ISDN、B-ISDN、ATM、移动电话系统、有线电视系统、通信卫星、无线网络。它特点：基础通信平台，提供计算机网络数据传输信道，但又独立于计算机通信；逐步吸收融累计算机网络很多思想，越来越复杂。这里简单介绍一下电话系统PSTN：公共交换电话网络，一个常见旧式电话系统。即我们日常生活中常见电话网。工作原理公共交换电话网络是一个全球语音通信电路交换网络，包含商业和政府拥有。所谓公用电话交换网（PSTN——PublicSwitchedTelephoneNetwork），即我们日常生活中常见电话网。众所周知，PSTN是一个以模拟技术为基础电路交换网络。在众多广域网互连技术中，经过PSTN进行互连所要求通信费用最低，但其数据传输质量及传输速度也最差，同时PSTN网络资源利用率也比较低。统计时分复用(按需分配带宽)基础原理是把时间划分为不等长时间片，长短不一样时间片就是传送不一样长度分组所需要时间，每路通信按需分配时间片，当通信需要传送分组多时，所占用时间片个数就多，反之，所占用时间片个数就少，不传输信息时不分配带宽。由此可见，统计时分复用是按需分配带宽(动态分配带宽)。标志化信道：在统计时分复用中，靠分组头中标志来区分不一样通信分组。含有相同标志分组属于同一个通信，也就组成了一个子信道，识别这个子信道标志也叫做信道标志，该子信道被称为标志化信道。而同时时分复用靠时间位置来识别每路通信分组，被称为位置化信道。信息传送有差错控制，分组交换是专门为数据通信网设计交换方法，为确保数据信息可靠性，在分组交换中设有CRC校验、重发等差错控制机制。信息传送不含有透明性。分组交换对所传送数据信息要进行处理。视频信息传输协议IP协议是用于将多个包交换网络连接起来，它在源地址和目标地址之间传送一个称之为数据包东西，它还提供对数据大小重新组装功效，以适应不一样网络对包大小要求。IP实现两个基础功效：寻址和分段。IP能够依据数据包包头中包含目标地址将数据报传送到目标地址，在此过程中IP负责选择传送道路，这种选择道路称为路由功效。假如有些网络内只能传送小数据报，IP能够将数据报重新组装并在报头域内注明。IP使用四个关键技术提供服务：服务类型，生存时间，选项和报头校验码。服务类型指期望得到服务质量。服务类型是一个参数集，这些参数是Internet能够提供服务代表。这种服务类型由网关使用，用于在特定网络，或是用于下下一个要经过网络，或是下一个要对这个数据报进行路由网关上选择实际传送参数。生存时间是数据报能够生存时间上限。它由发送者设置，由经过路由地方处理。假如未抵达时生存时间为零，抛弃此数据报。对于控制函数来说选项是关键，但对于通常通信来说它没有存在必需。选项包含时间戳，安全和特殊路由。报头校验码确保数据正确传输。假如校验犯错，抛弃整个数据报。IP不提供可靠传输服务，它不提供端到端或（路由）结点到（路由）结点确实定，对数据没有差错控制，它只使用报头校验码，它不提供重发和流量控制。假如犯错能够经过ICMP汇报，ICMP在IP模块中实现。TCP、UDP协议UDP协议全称是用户数据报协议，在网络中它和TCP协议一样用于处理数据包，是一个无连接协议。在OSI模型中，在第四层——传输层，处于IP协议上一层。UDP有不提供数据包分组、组装和不能对数据包进行排序缺点，也就是说，当报文发送以后，是无法得悉其是否安全完整抵达。UDP用来支持那些需要在计算机之间传输数据网络应用。包含网络视频会议系统在内众多用户/服务器模式网络应用全部需要使用UDP协议。UDP协议从问世至今已经被使用了很多年，即使其最初光彩已经被部分类似协议所掩盖，不过即使是在今天UDP仍然不失为一项很实用和可行网络传输层协议。TCP是一个面向连接、可靠、基于字节流传输层通信协议，由IETFRFC793定义。在简化计算机网络OSI模型中，它完成第四层传输层所指定功效，用户数据报协议（UDP）是同一层内另一个关键传输协议。在因特网协议族中，TCP层是在IP层之上，应用层之下中间层。不一样主机应用层之间常常需要可靠、像管道一样连接，不过IP层不提供这么流机制，而是提供不可靠包交换。UDP报文格式Tcp报文格式RTP/RTCP/RSVP协议RTP全名是Real-timeTransportProtocol（实时传输协议）。它是IETF提出一个标准，对应RFC文档为RFC3550（RFC1889为其过期版本）。。RTP用来为IP网上语音、图像、传真等多个需要实时传输多媒体数据提供端到端实时传输服务。RTP为Internet上端到端实时传输提供时间信息和流同时，但并不确保服务质量，服务质量由RTCP来提供。RTP报文格式012301234567890123456789012345678901+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|V=2|P|X|CC|M|PT|sequencenumber|+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|timestamp|+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|synchronizationsource(SSRC)identifier|+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+|contributingsource(CSRC)identifiers||....|+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+上图引自rfc3550，由上图中可知道RTP报文由两个部分组成--RTP报头和RTP负载：RTP报文由两部分组成：报头和有效载荷。RTP报头格式图所表示，其中：1.V：RTP协议版本号，占2位，目前协议版本号为2。2.P：填充标志，占1位，假如P=1，则在该报文尾部填充一个或多个额外八位组，它们不是有效载荷一部分。3.X：扩展标志，占1位，假如X=1，则在RTP报头后跟有一个扩展报头。4.CC：CSRC计数器，占4位，指示CSRC标识符个数。5.M:标识，占1位，不一样有效载荷有不一样含义，对于视频，标识一帧结束；对于音频，标识会话开始。6.PT:有效载荷类型，占7位，用于说明RTP报文中有效载荷类型，如GSM音频、JPEM图像等,在流媒体中大部分是用来区分音频流和视频流，这么便于用户端进行解析。7.序列号：占16位，用于标识发送者所发送RTP报文序列号，每发送一个报文，序列号增1。这个字段当下层承载协议用UDP时候，网络情况不好时候能够用来检验丢包。同时出现网络抖动情况能够用来对数据进行重新排序，在helix服务器中这个字段是从0开始，同时音频包和视频包sequence是分别记数。8.时戳(Timestamp)：占32位，时戳反应了该RTP报文第一个八位组采样时刻。接收者使用时戳来计算延迟和延迟抖动，并进行同时控制。9.同时信源(SSRC)标识符：占32位，用于标识同时信源。该标识符是随机选择，参与同一视频会议两个同时信源不能有相同SSRC。10.特约信源(CSRC)标识符：每个CSRC标识符占32位，能够有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中全部特约信源。假如扩展标志被置位则说明紧跟在报头后面是一个头扩展，其格式以下：0123101234