【移动应用开发技术】苏宁视频云直播客户端的优化方案

【移动应用开发技术】苏宁视频云直播客户端的优化方案

解析优化DNS过程，如下图：基于可控和容灾的需要，移动端代码一般不会hardcode推流、播放的服务器IP地址，而选用域名代替。在IP出现宕机或网络中断的情况下，还可以通过变更DNS来实现问题IP的剔除。而域名的解析时间需要几十毫秒至几秒不等，对于新生成热度不高的域名，一般的平均解析延迟在300ms，按上图的各个环节只要有一个通路网络产生波动或者是设备高负载，会增加至秒级。几十毫秒的情况是ISPNS这一层在热度足够高的情况下会对域名的解析进行缓存。按我们上面分析的情况，本地延迟大概是15ms左右，那么域名解析最低也可以做到15ms左右。但由于直播场景的特殊性，推流和播放使用的域名使用的热度较难达到ISPNS缓存的标准，所以经常需要走回RootNS进行查询的路径。那客户端解析优化的原理就出来了：本机缓存域名的解析结果，对域名进行预解析，每次需要直播推流和播放的时候不再需要再进行DNS过程。此处节省几十到几百毫秒的打开延迟。播放优化直播播放器的相关技术点有：直播延时、首屏时间（指从开始播放到第一次看到画面的时间）、音视频同步、软解码、硬解码。播放步骤描述以下路径：S1.根据协议类型（如RTMP、RTP、RTSP、HTTP等），与服务器建立连接并接收数据；S2.解析二进制数据，从中找到相关流信息；S3.根据不同的封装格式（如FLV、TS）解复用（demux）；S4.分别得到已编码的H.264视频数据和AAC音频数据；S5.使用硬解码（对应系统的API）或软解码（FFMpeg）来解压音视频数据；S6.经过解码后得到原始的视频数据（YUV）和音频数据（AAC）；因为音频和视频解码是分开的，所以我们得把它们同步起来，否则会出现音视频不同步的现象，比如别人说话会跟口型对不上；S7.最后把同步的音频数据送到耳机或外放，视频数据送到屏幕上显示。S1.根据协议类型（如RTMP、RTP、RTSP、HTTP等），与服务器建立连接并接收数据；S2.解析二进制数据，从中找到相关流信息；S3.根据不同的封装格式（如FLV、TS）解复用（demux）；S4.分别得到已编码的H.264视频数据和AAC音频数据；S5.使用硬解码（对应系统的API）或软解码（FFMpeg）来解压音视频数据；S6.经过解码后得到原始的视频数据（YUV）和音频数据（AAC）；因为音频和视频解码是分开的，所以我们得把它们同步起来，否则会出现音视频不同步的现象，比如别人说话会跟口型对不上；S7.最后把同步的音频数据送到耳机或外放，视频数据送到屏幕上显示。

了解了播放器的播放流程后，我们可以优化以下几点：首屏时间优化从步骤2入手，通过预设解码器类型，省去探测文件类型时间；从步骤5入手，缩小视频数据探测范围，同时也意味着减少了需要下载的数据量，特别是在网络不好的时候，减少下载的数据量能为启动播放节省大量的时间，当检测到I帧数据后就立马返回并进入解码环节。延时优化视频缓冲区或叫视频缓存策略，该策略原理是当网络卡顿时增加用户等待时间来缓存一定量的视频数据，达到后续平滑观看的效果，该技术能有效减少卡顿次数，但是会带来直播上的内容延时，所以该技术主要运用于点播，直播方面已去掉该策略，以此尽可能去掉或缩小内容从网络到屏幕展示过程中的时间；（有利于减少延时）。下载数据探测池技术，当用户下载速度不足发生了卡顿，然后网络突然又顺畅了，服务器上之前滞留的数据会加速发下来，这时为了减少之前卡顿造成的延时，播放器会加速播放探测池的视频数据并丢弃当前加速部分的音频数据，以此来保证当前观看内容延时稳定。推流优化推流步骤说明：很容易看出推流跟播放其实是逆向的，具体流程如下。

step1：验证身份信息把视频推到苏宁视频云账户，需要先通过AccessKey和SecretKey的身份认证step2：初始化推流SDK集成推流sdk，调用sdk的初始化方法初始化sdkstep3：获取苏宁视频云的直播推流地址调用苏宁视频云服务端sdk来获取推流地址step4：开始推流将获取到的推流地址设置到推流sdk中开始推流step5：完成推流调用推流sdk中的结束推流接口完成推流step1：验证身份信息把视频推到苏宁视频云账户，需要先通过AccessKey和SecretKey的身份认证step2：初始化推流SDK集成推流sdk，调用sdk的初始化方法初始化sdkstep3：获取苏宁视频云的直播推流地址调用苏宁视频云服务端sdk来获取推流地址step4：开始推流将获取到的推流地址设置到推流sdk中开始推流step5：完成推流调用推流sdk中的结束推流接口完成推流优化一：适当的Qos（QualityofService，服务质量）策略。推流端会根据当前上行网络情况控制音视频数据发包和编码，在网络较差的情况下，音视频数据发送不出去，造成数据滞留在本地，这时，会停掉编码器防止发送数据进一步滞留，同时会根据网络情况选择合适的策略控制音视频发送。比如网络很差的情况下，推流端会优先发送音频数据，保证用户能听到声音，并在一定间隔内发关键帧数据，保证用户在一定时间间隔之后能看到一些画面的变化。优化二：合理的关键帧配置。合理控制关键帧发送间隔（建议2秒或1秒一个），这样可以减少后端处理过程，为后端的缓冲区设置更小创造条件。苏宁旗下子品牌苏宁视频云已累计服务客户超过2000个；苏宁视频云凭借PPTV十年媒体技