HTTPLiveStreaming直播技术分析与实现

1、HTTPLiveStreaming直播技术分析与实现不经意间发现，大半年没写博客了，自觉汗颜。实则2012后半年，家中的事一样接着一样发生，实在是没有时间。快过年了，总算忙里偷闲，把最近的一些技术成果，总结成了文章，与大家分享。前些日子，也是项目需要，花了一些时间研究了HTTPLiveStreaming（HLS）技术，并实现了一个HLS编码器HLSLiveEncoder,当然，C+写的。其功能是采集摄像头与麦克风，实时进行H.264视频编码和AAC音频编码，并按照HLS的协议规范，生成分段的标准TS文件以及m3u8索引文件。通过我的HLSLiveEncoder和第三方Http服务器（例如：Ng

2、inx）,成功实现了HTTPLiveStreaming直播，并在iphone上测试通过。我就把这当中的一些收获写在这里。HTTPLiveStreaming（HLS）是苹果公司（AppleInc.）实现的基于HTTP的流媒体传输协议，可实现流媒体的直播和点播,主要应用在iOS系统，为iOS设备（如iPhone、iPad）提供音视频直播和点播方案。HLS点播，基本上就是常见的分段HTTP点播，不同在于，它的分段非常小。要实现HLS点播，重点在于对媒体文件分段，目前有不少开源工具可以使用，这里我就不再讨论，只谈HLS直播技术。相对于常见的流媒体直播协议，例如RTMP协议、RTSP协议、MMS协议等，

3、HLS直播最大的不同在于，直播客户端获取到的，并不是一个完整的数据流。HLS协议在服务器端将直播数据流存储为连续的、很短时长的媒体文件（MPEG-TS格式），而客户端则不断的下载并播放这些小文件，因为服务器端总是会将最新的直播数据生成新的小文件，这样客户端只要不停的按顺序播放从服务器获取到的文件，就实现了直播。由此可见，基本上可以认为，HLS是以点播的技术方式来实现直播。由于数据通过HTTP协议传输，所以完全不用考虑防火墙或者代理的问题，而且分段文件的时长很短，客户端可以很快的选择和切换码率，以适应不同带宽条件下的播放。不过HLS的这种技术特点，决定了它的延迟一般总是会高于普通的流媒体直播协议

4、。根据以上的了解要实现HTTPLiveStreaming直播，需要研究并实现以下技术关键点采集视频源和音频源的数据对原始数据进行H264编码和AAC编码视频和音频数据封装为MPEG-TS包HLS分段生成策略及m3u8索引文件HTTP传输协议其中第1点和第2点，我之前的文章中已经提到过了，而最后一点，我们可以借助现有的HTTP服务器，所以，实现第3点和第4点是关键所在。通过以上分析，实现HLSLiveEncoder直播编码器，其逻辑和流程基本上很清楚了：分别开启音频与视频编码线程，通过DirectShow（或其他）技术来实现音视频采集，随后分别调用libx264和libfaac进行视频和音频编码

5、。两个编码线程实时编码音视频数据后，根据自定义的分片策略，存储在某个MPEG-TS格式分段文件中，当完成一个分段文件的存储后，更新m3u8索引文件。如下图所示：上图中HLSLiveEncoder当收到视频和音频数据后，需要首先判断，当前分片是否应该结束，并创建新分片，以延续TS分片的不断生成。需要注意的是，新的分片，应当从关键帧开始，防止播放器解码失败。核心代码如下所示：TsMuxer的接口也是比较简单的。#EXT-X-TARGETDURATION#EXT-X-TARGETDURATION每个分片TS的最大的时长#EXT-X-MEDIA-SEQUENCE#EXT-X-MEDIA-SEQUENC

6、E第一个TS分片的序列号1010111213141516171吗19：!2Q21|22学2627j2829北3132(33343536373839#ineludel,mpe：gts/n;pe=gtsenr.hN7Sdefine_USE_TS_mXEFt_LaG_9一一一-：cIassTSMuxsrpublic:explicitTSMueer(constchar*filename);-TSMuxer();std:stnngFiL&name)returnfil_ename_;初始化创建叩阮-丁5音頻和视频第出流voidWnt&rMeader();/将内存中剩余憩据写入文件voidWriteEncK

7、);写入观窸臨voidWrite=Vide=oatacharwbuf,intbufLenFboolisKeyfrarue,unsignedint写人音痂碉voidWrite=AudioDatacharwbuf,intbufLenFunsignedinttinsestanp);一废弃._voidWriteVideaSeqheaderCGharbufLen);private;std;:stringfilename_;_int64tinae_tjegin_;FILE*fp_;boolis_YideQ_begin_;MpegTSWriteKnspegt3_write_;HLS分段生成策略和m3u81.

8、分段策略HLS的分段策略，基本上推荐是10秒一个分片，当然，具体时间还要根据分好后的分片的实际时长做标注通常来说，为了缓存等方面的原因，在索引文件中会保留最新的三个分片地址，以类似“滑动窗口”的形式，进行更新。2.m3u8文件简介m3u8，是HTTPLiveStreaming直播的索引文件。m3u8基本上可以认为就是.m3u格式文件，区别在于，m3u8文件使用UTF-8字符编码。#EXTM3Um3u文件头，必须放在第一行#EXT-X-ALLOW-CACHE是否允许cache#EXT-X-ENDLISTm3u8文件结束符#EXTINFextrainfo，分片TS的信息，如时长，带宽等一个简单的m

9、3u8索引文件|#EXTM3U#EXT-X-MZDIA-SEUZNCE;EXT-X-TARGETDUItATION:10#EXTINF:10Fliv亡_2010工272：1.咼2百今ts#EXriNF:10r#EXTINF:10rlive20130127214224.ts运行效果在Nginx工作目录下启动HLSLiveEncoder，并用VLC播放器连接播放#EXT-X-MEDIA-SEQUENCE#EXT-X-MEDIA-SEQUENCE第一个TS分片的序列号.50w.html_Frlmge.dI趙HLSEJveWncafIibx264-122x|jve-.m3u3Aliwfr_5013D2口fe2015020Klwe.2013020丄”httpr/L27,0.0Pl/1iye-rnSuS-VLCruedijplayer