01.流媒体技术介绍

流媒体技术介绍内容编解码、传输、存储作者何欣压缩编码视频编码解码渲染视频存储视频技术体系视频编解码1媒体传输技术2媒体存储3图像与视频图像是人对视觉感知的物质再现。三维自然场景对象包括深度，纹理和亮度信息二维图像纹理和亮度信息图像与视频图像是人对视觉感知的物质再现。三维自然场景对象包括深度，纹理和亮度信息；二维图像包括纹理和亮度信息视频连续的图像。视频由多幅图像构成，包含对象的运动信息，又称为运动图像。数字视频数字视频自然场景空间和时间的数字采样表示。空间采样解析度（RESOLUTION）时间采样帧率帧/秒空间采样人类视觉系统HVSHVS眼睛、神经、大脑HVS特点对高频信息不敏感对高对比度更敏感对亮度信息比色度信息更敏感对运动的信息更敏感数字视频系统的设计应该考虑HVS的特点丢弃高频信息，只编码低频信息提高边缘信息的主观质量降低色度的解析度对感兴趣区域（REGIONOFINTERESTING，ROI）进行特殊处理色彩空间RGB色彩空间三原色红（R），绿（G），蓝（B）。任何颜色都可以通过按一定比例混合三原色产生。RGB色度空间由RGB三原色组成广泛用于BMP，TIFF，PPM等每个色度成分通常用8BIT表示0,255YUV色彩空间YUV色彩空间Y亮度分量UV两个色度分量YUV更好的反映HVS特点RGB转化到YUV空间亮度分量Y与三原色有如下关系经过大量实验后ITUR给出了，YUV图像分量采样和图像格式YUV图像分量采样YUV图像可以根据HVS的特点，对色度分量下采样，可以降低视频数据量。根据亮度和色度分量的采样比率，YUV图像通常有以下几种格式通用的YUV图像格式根据YUV图像的亮度分辨率定义图像格式YUV444是完全未刪減最逼真的格式,即每4個Y,配4個U,4個VYUV422則是在UV上減半之格式,即每4個Y,配2個U,2個VYUV420則是在UV上減1/4之格式,即每4個Y,配1個U,1個V帧和场图像一帧图像包括两场顶场，底场逐行与隔行图像逐行图像一帧图像的两场在同一时间得到，TTOPTBOT。隔行图像一帧图像的两场在不同时间得到，TTOPTBOT。视频质量评价视频质量评价有损视频压缩使编解码图像不同，需要一种手段来评价解码图像的质量。质量评价客观质量评价主观质量评价主观质量评价用人的主观感知直接测量的方式。优点符合人的主观感知缺点不容易量化受不确定因素影响，测量结果一般不可重复测量代价高客观质量评价通过数学方法测量图像质量评价的方式。优点可量化测量结果可重复测量简单缺点不完全符合人的主观感知为什么要进行视频压缩未经压缩的数字视频的数据量巨大存储困难一张DVD只能存储几秒钟的未压缩数字视频。传输困难1兆的带宽传输一秒的数字电视视频需要大约4分钟FRAMERATEFRAMESIZEBITS/PIXELBITRATEBPSFILESIZEBYTE30FPS176X144PIXELS129,123,84068428800一分钟的视频数据为什么可以压缩去除冗余信息空间冗余图像相邻像素之间有较强的相关性时间冗余视频序列的相邻图像之间内容相似编码冗余不同像素值出现的概率不同视觉冗余人的视觉系统对某些细节不敏感知识冗余规律性的结构可由先验知识和背景知识得到数据压缩分类无损压缩（LOSSLESS）压缩前解压缩后图像完全一致XX压缩比低2131例如WINZIP，JPEGLS有损压缩（LOSSY）压缩前解压缩后图像不一致XX压缩比高101201利用人的视觉系统的特性例如MPEG2，H264/AVC，AVS压缩系统的组成编码器中的关键技术编解码中的关键技术编解码器实现编解码器的实现平台超大规模集成电路VLSIASIC，FPGA数字信号处理器DSP软件编解码器产品机顶盒数字电视摄像机监控器编解码器实现编解码器的实现平台超大规模集成电路VLSIASIC，FPGA数字信号处理器DSP软件编解码器产品机顶盒数字电视摄像机监控器视频编码标准编码标准作用兼容不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码高效标准编解码器可以进行批量生产，节约成本。主流的视频编码标准MPEG2MPEG4SIMPLEPROFILEH264/AVCH265/HEVCAVSVC1标准化组织ITUINTERNATIONALTELECOMMUNICATIONSUNIONVECGVIDEOCODINGEXPERTSGROUPISOINTERNATIONALSTANDARDSORGANIZATIONMPEGMOTIONPICTUREEXPERTSGROUP视频编解码1媒体传输技术2媒体存储3视频传输视频传输通过传输系统将压缩的视频码流从编码端传输到解码端传输系统互联网，地面无线广播，卫星视频传输面临的问题传输系统不可靠带宽限制、信号衰减、噪声干扰、传输延迟视频传输出现的问题不能解码出正确的视频、视频播放延迟视频传输差错控制差错控制（ERRORCONTROL）解决视频传输过程中由于数据丢失或延迟导致的问题差错控制技术信道编码差错控制技术、编码器差错恢复、解码器差错隐藏视频传输的QOS数据包的端到端的延迟带宽比特/秒数据包的流失率数据包的延迟时间的波动流媒体传输协议RTSP方法方向对象要求含义DESCRIBECSP,S推荐检查演示或媒体对象的描述，也允许使用接收头指定用户理解的描述格式。DESCRIBE的答复响应组成媒体RTSP初始阶段ANNOUNCECSSCP,S可选当从用户发往服务器时，ANNOUNCE将请求URL识别的演示或媒体对象描述发送给服务器；反之，ANNOUNCE实时更新连接描述。如新媒体流加入演示，整个演示描述再次发送，而不仅仅是附加组件，使组件能被删除GET_PARAMETERCSSCP,S可选GET_PARAMETER请求检查RUL指定的演示与媒体的参数值。没有实体体时，GET_PARAMETER也许能用来测试用户与服务器的连通情况OPTIONSCSSCP,S要求可在任意时刻发出OPTIONS请求，如用户打算尝试非标准请求，并不影响服务器状态PAUSECSP,S推荐PAUSE请求引起流发送临时中断。如请求URL命名一个流，仅回放和记录被停止；如请求URL命名一个演示或流组，演示或组中所有当前活动的流发送都停止。恢复回放或记录后，必须维持同步。在SETUP消息中连接头超时参数所指定时段期间被暂停后，尽管服务器可能关闭连接并释放资源，但服务器资源会被预订PLAYCSP,S要求PLAY告诉服务器以SETUP指定的机制开始发送数据；直到一些SETUP请求被成功响应，客户端才可发布PLAY请求。PLAY请求将正常播放时间设置在所指定范围的起始处，发送流数据直到范围的结束处。PLAY请求可排成队列，服务器将PLAY请求排成队列，顺序执行RECORDCSP,S可选该方法根据演示描述初始化媒体数据记录范围，时标反映开始和结束时间；如没有给出时间范围，使用演示描述提供的开始和结束时间。如连接已经启动，立即开始记录，服务器数据请求URL或其他URL决定是否存储记录的数据；如服务器没有使用URL请求，响应应为201（创建），并包含描述请求状态和参考新资源的实体与位置头。支持现场演示记录的媒体服务器必须支持时钟范围格式，SMPTE格式没有意义REDIRECTSCP,S可选重定向请求通知客户端连接到另一服务器地址。它包含强制头地址，指示客户端发布URL请求；也可能包括参数范围，以指明重定向何时生效。若客户端要继续发送或接收URL媒体，客户端必须对当前连接发送TEARDOWN请求，而对指定主执新连接发送SETUP请求SETUPCSS要求对URL的SETUP请求指定用于流媒体的传输机制。客户端对正播放的流发布一个SETUP请求，以改变服务器允许的传输参数。如不允许这样做，响应错误为“455METHODNOTVALIDINTHISSTATE”。为了透过防火墙，客户端必须指明传输参数，即使对这些参数没有影响SET_PARAMETERCSSCP,S可选这个方法请求设置演示或URL指定流的参数值。请求仅应包含单个参数，允许客户端决定某个特殊请求为何失败。如请求包含多个参数，所有参数可成功设置，服务器必须只对该请求起作用。服务器必须允许参数可重复设置成同一值，但不让改变参数值。注意媒体流传输参数必须用SETUP命令设置。将设置传输参数限制为SETUP有利于防火墙。将参数划分成规则排列形式，结果有更多有意义的错误指示TEARDOWNCSP,S要求TEARDOWN请求停止给定URL流发送，释放相关资源。如URL是此演示URL，任何RTSP连接标识不再有效。除非全部传输参数是连接描述定义的，SETUP请求必须在连接可再次播放前发布特点具备媒体回话协商，结合RTP具备实时传送能力，集合RTCP具备媒体动态调整，QOS保证能力适用适用于单向的实时直播和点播场景缺点需要专业的播放器，协议在互联应用场景中不够广泛流媒体传输协议RTMP在PC时代伴随FLASHPLAYER几乎同时整个互联网在线播放场景，但移动互联网基本被抛弃。特点利用FLASHPLAYER插件形式快速推广，具备实时传输能力。场景PC浏览器兼容FLASHPLAYER播放场景缺点浏览器插件形式所带来的安全问题逐步被浏览器厂商抛弃。HTML5重新定义MEDIA标签浏览器厂商解决视频播放问题。移动互联网时代以APPLE为首的厂商抵制FLASHPLAYERHTTP流媒体传输协议HLSCLIENTSERVER获取播放文件段列表（M3U8）返回播放文件段列表（M3U8）播放TS文件短片下载列表对应TS文件返回TS文件流更新播放文件段列表（M3U8）返回播放文件段列表（M3U8）分析播放文件段列表视频被切分为TS短文件,以HTTP形式承载优点利用HTTP协议传输具备很好的网络穿透能力结合CDN网络具备非常强的分发和网络加速优势更合适于点播场景。HTML5浏览器天然支持播放，无需插件分片技术更适合移动互联网的应用场景缺点需要缓冲至少3个SEGMENT，直播应用延迟巨大，视频加载速度慢。SIP/RTP协议传统CT技术场景，广泛应用于视频通话、视频会议等场景。特点具备用户回话协商能力和媒体协商能力，具备很强的实时传输、QOS保证等特点，整体技术完备。场景视频通话、视频会议等需要双通的场景。缺点协议形式较重，开发复杂；SIP协议在互联网下的传输表现出很多不适应性，如设备阻止，网络穿透性不强等。流媒体分发技术（直播）内存复制缓存流量控制IO平滑特点对媒体数据内存复制分发保证数据的实时性和资源在分发通道间的合理分配技术难点内存调度和合理分配防止单通道传输问题引起的连锁反应CPU（线程）随业务输入输出路数变化调度方案大并发的网络IO处理能力流媒体分发技术（点播）RTP/RTSPRTP/XMPPHLSRTMP单机IO无法支撑点播访问CDN加速用户播放进度，开始时间，片源随机性大特点媒体数据访问随机性大开始时间、进度、片源播放终端形式多样技术难点降低磁盘IO和CDN加速命中率技术终端适配4G无线传输智能重传ARQ向前纠错FEC多隧道冗余动态编码213442135562X123412341234ORORORORORORORUDPTCPUDPUDP1234视频编解码1媒体传输技术2媒体存储3视频存储监控存储点播存储特点循环写入，实时写入，写并发量大；读少，但是读取随机性大面临的问题高并发的IO写访问对磁盘和文件系统的冲击循环写入删除带来的文件系统老化文件系统碎片IO碎片化后对磁盘的IO写惩罚加重解决方案一般采用定制化文件系统和块设备直接写方案特点写入少，一般永久写入读并发量大；读取随机性大面临的问题高并发的IO读访问对磁盘和文件系统的冲击磁盘速度很难支撑大