01.流媒体技术介绍.ppt

流媒体技术介绍,内容:编解码、传输、存储作者:何欣,压缩编码,视频编码,解码渲染,视频存储,视频技术体系,视频编解码,1,媒体传输技术,2,媒体存储,3,图像与视频,图像：是人对视觉感知的物质再现。三维自然场景：对象包括深度，纹理和亮度信息二维图像：纹理和亮度信息,图像与视频,图像：是人对视觉感知的物质再现。三维自然场景对象包括深度，纹理和亮度信息；二维图像包括纹理和亮度信息,视频：连续的图像。视频由多幅图像构成，包含对象的运动信息，又称为运动图像。,数字视频,数字视频：自然场景空间和时间的数字采样表示。空间采样解析度（Resolution）时间采样帧率：帧/秒,空间采样,人类视觉系统HVS,HVS：眼睛、神经、大脑,HVS特点：对高频信息不敏感对高对比度更敏感对亮度信息比色度信息更敏感对运动的信息更敏感,数字视频系统的设计应该考虑HVS的特点：丢弃高频信息，只编码低频信息提高边缘信息的主观质量降低色度的解析度对感兴趣区域（RegionofInteresting，ROI）进行特殊处理,色彩空间,RGB色彩空间三原色：红（R），绿（G），蓝（B）。任何颜色都可以通过按一定比例混合三原色产生。RGB色度空间由RGB三原色组成广泛用于BMP，TIFF，PPM等每个色度成分通常用8bit表示0,255,YUV色彩空间YUV色彩空间：Y：亮度分量UV：两个色度分量YUV更好的反映HVS特点,RGB转化到YUV空间,亮度分量Y与三原色有如下关系：,经过大量实验后ITU-R给出了，,YUV图像分量采样和图像格式,YUV图像分量采样YUV图像可以根据HVS的特点，对色度分量下采样，可以降低视频数据量。根据亮度和色度分量的采样比率，YUV图像通常有以下几种格式：,通用的YUV图像格式根据YUV图像的亮度分辨率定义图像格式,YUV444是完全未刪減最逼真的格式,即每4個Y,配4個U,4個VYUV422則是在UV上減半之格式,即每4個Y,配2個U,2個VYUV420則是在UV上減1/4之格式,即每4個Y,配1個U,1個V,帧和场图像,一帧图像包括两场顶场，底场,逐行与隔行图像,逐行图像：一帧图像的两场在同一时间得到，ttop=tbot。隔行图像：一帧图像的两场在不同时间得到，ttoptbot。,视频质量评价,视频质量评价有损视频压缩使编解码图像不同，需要一种手段来评价解码图像的质量。质量评价：客观质量评价主观质量评价,主观质量评价：用人的主观感知直接测量的方式。优点：符合人的主观感知缺点：不容易量化受不确定因素影响，测量结果一般不可重复测量代价高,客观质量评价：通过数学方法测量图像质量评价的方式。优点：可量化测量结果可重复测量简单缺点：不完全符合人的主观感知,为什么要进行视频压缩？,未经压缩的数字视频的数据量巨大存储困难:一张DVD只能存储几秒钟的未压缩数字视频。传输困难:1兆的带宽传输一秒的数字电视视频需要大约4分钟,一分钟的视频数据,为什么可以压缩？,去除冗余信息空间冗余：图像相邻像素之间有较强的相关性时间冗余：视频序列的相邻图像之间内容相似编码冗余：不同像素值出现的概率不同视觉冗余：人的视觉系统对某些细节不敏感知识冗余：规律性的结构可由先验知识和背景知识得到,数据压缩分类,无损压缩（Lossless）压缩前解压缩后图像完全一致X=X压缩比低(2:13:1)例如：Winzip，JPEG-LS有损压缩（Lossy）压缩前解压缩后图像不一致XX压缩比高(10:120:1)利用人的视觉系统的特性例如：MPEG-2，H.264/AVC，AVS,压缩系统的组成,编码器中的关键技术,编解码中的关键技术,编解码器实现,编解码器的实现平台：超大规模集成电路VLSIASIC，FPGA数字信号处理器DSP软件编解码器产品：机顶盒数字电视摄像机监控器,编解码器实现,编解码器的实现平台：超大规模集成电路VLSIASIC，FPGA数字信号处理器DSP软件编解码器产品：机顶盒数字电视摄像机监控器,视频编码标准,编码标准作用：兼容：不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码高效：标准编解码器可以进行批量生产，节约成本。主流的视频编码标准：MPEG-2MPEG-4SimpleProfileH.264/AVCH.265/HEVCAVSVC-1标准化组织：ITU：InternationalTelecommunicationsUnionVECG：VideoCodingExpertsGroupISO：InternationalStandardsOrganizationMPEG：MotionPictureExpertsGroup,视频编解码,1,媒体传输技术,2,媒体存储,3,视频传输,视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端传输系统：互联网，地面无线广播，卫星视频传输面临的问题传输系统不可靠：带宽限制、信号衰减、噪声干扰、传输延迟视频传输出现的问题：不能解码出正确的视频、视频播放延迟视频传输差错控制差错控制（ErrorControl）解决视频传输过程中由于数据丢失或延迟导致的问题差错控制技术：信道编码差错控制技术、编码器差错恢复、解码器差错隐藏视频传输的QoS数据包的端到端的延迟带宽：比特/秒数据包的流失率数据包的延迟时间的波动,流媒体传输协议RTSP,特点：具备媒体回话协商，结合RTP具备实时传送能力，集合RTCP具备媒体动态调整，QOS保证能力适用：适用于单向的实时直播和点播场景缺点：需要专业的播放器，协议在互联应用场景中不够广泛,流媒体传输协议RTMP,在PC时代伴随FlashPlayer几乎同时整个互联网在线播放场景，但移动互联网基本被抛弃。特点：利用flashplayer插件形式快速推广，具备实时传输能力。场景：PC浏览器兼容flashplayer播放场景缺点：浏览器插件形式所带来的安全问题逐步被浏览器厂商抛弃。HTML5重新定义media标签浏览器厂商解决视频播放问题。移动互联网时代以Apple为首的厂商抵制flashplayer,HTTP,流媒体传输协议HLS,Client,Server,获取播放文件段列表（M3U8）,返回播放文件段列表（M3U8）,播放ts文件短片,下载列表对应ts文件,返回ts文件流,更新播放文件段列表（M3U8）,返回播放文件段列表（M3U8）,分析播放文件段列表,视频被切分为TS短文件,以HTTP形式承载.优点：利用http协议传输具备很好的网络穿透能力结合CDN网络具备非常强的分发和网络加速优势更合适于点播场景。HTML5浏览器天然支持播放，无需插件分片技术更适合移动互联网的应用场景缺点：需要缓冲至少3个segment，直播应用延迟巨大，视频加载速度慢。,SIP/RTP协议,传统CT技术场景，广泛应用于视频通话、视频会议等场景。特点：具备用户回话协商能力和媒体协商能力，具备很强的实时传输、QOS保证等特点，整体技术完备。场景：视频通话、视频会议等需要双通的场景。缺点：协议形式较重，开发复杂；SIP协议在互联网下的传输表现出很多不适应性，如设备阻止，网络穿透性不强等。,流媒体分发技术（直播）,内存复制,缓存,流量控制,IO平滑,特点：对媒体数据内存复制分发保证数据的实时性和资源在分发通道间的合理分配技术难点：内存调度和合理分配防止单通道传输问题引起的连锁反应CPU（线程）随业务输入输出路数变化调度方案大并发的网络IO处理能力,流媒体分发技术（点播）,特点：媒体数据访问随机性大：开始时间、进度、片源播放终端形式多样技术难点：降低磁盘IO和CDN加速命中率技术终端适配,4G无线传输,智能重传ARQ,向前纠错FEC,多隧道冗余,动态编码,2,1,3,4,4,2,1,3,5,5,6,2,X,1,2,3,4,1,2,3,4,1,2,3,4,OR,OR,OR,OR,OR,OR,OR,UDP,TCP,UDP,UDP,1,2,3,4,视频编解码,1,媒体传输技术,2,媒体存储,3,视频存储,监控存储,点播存储,特点：循环写入，实时写入，写并发量大；读少，但是读取随机性大面临的问题：高并发的IO写访问对磁盘和文件系统的冲击循环写入删除带来的文件系统老化文件系统碎片IO碎片化后对磁盘的IO写惩罚加重解决方案：一般采用定制化文件系统和块设备直接写方案,特点：写入少，一般永久写入读并发量大；读取随机性大面临的问题：高并发的IO读访问对磁盘和文件系统的冲击磁盘速度很难支撑大并发的调拨要求解决方案：通过内存缓存和计算命中率提高访问效率通过CDN网络加速访问,监控视频存储技术,实时存储：1、存储服务节点，支持流量整形、监控分析和智能I