网易视频云Qcon大会干货分享：音视频技术优化.docx

网易视频云Qcon大会干货分享:音视频技术优化4月21至23日，由InfoQ主办的全球顶级技术盛会QCon全球软件开发大会在北京开幕，本届大会吸引了100余位国内外技术专家参加分享，包括亚马逊、惠普、阿里巴巴、蚂蚁金服、腾讯、百度、华为等。其中在视频云领域崭露头角的网易也受到邀请。网易杭州研究院多媒体技术专家郭再荣在演讲中分享了移动化时代音视频技术的优化策略，提到眼下网易将杭州研究院技术实力转化为企业服务产品的云战略。手机音视频应用呈现井喷状态近两年，由于移动网络的不断升级和视频直播的流行，手机音视频方面的App应用呈现出井喷状态。在网易杭州研究院多媒体技术专家郭再荣看来，移动端的音视频直播、点播之所以能大量爆发，跟几个因素分不开：首先，音视频直播、点播的需求一直大量存在，包括各种行业应用，比如视频门户、娱乐直播、游戏直播、在线教育、远程医疗，远程监控，企业协作，社交应用等等。“以前之所以没有全面爆发，是因为硬件条件不满足，比如网络的带宽有限”，郭再荣认为，目前网速仍在不断提升，光纤普及到小区，有线网络的上下行带宽已经达到要求，“移动网络4G接入速度也很快，满足了基本的视频直播带宽要求。而且网络资费也比较低，变得大众可接受。”其次，智能硬件设备大量普及，特别是大屏智能手机、平板，基本是人手一台。同时这些设备的性能也越来越强劲。郭再荣介绍，“硬件性能的提升解决了视频编解码的性能瓶颈，可以拿手机、平板作为PC机器使用”。基于以上两点，随时随地的直播成为可能。“观众在流畅地观看着视频画面的同时，其实并不知道这背后我们曾解决过大量的技术难题。”郭再荣介绍，网易视频云凝聚了网易公司15年的技术积累，在音视频编解码上有着丰富技术底蕴和完整成熟的解决方案，给该领域的云服务市场带来了稳定的巨头级产品。移动音视频技术优化的七个方向大会资料显示，郭再荣2006年毕业于武汉大学通信与信息系统专业，一直从事视频编解码算法的研发，在音视频编解码器，视频点播和互动直播服务开发方面拥有十年的实战经验。针对移动端视频优化，郭再荣在演讲中提出了七个方向：第一，选择通用性好，性能良好，复杂度相对较低的编码器，主流的是H.264编码器，开源的主要是x264和openh264，其中openh264是思科开源项目，针对实时视频通话场景做了优化。第二，在选定一个编码标准之后，就要看是否采用硬件编码方式，如果采用软件编码，那么会比较耗费cpu资源，表现出来就是设备发烫，耗电快，但是设备兼容性好，几乎可以在任何设备上运行。如果采用硬件编码方式，那么编码性能好，完全可以支持1080p图像全高清的实时编码，而且也省电，但是设备的适配性比较差，特别Android设备的硬件编码模式支持的比较差。ios设备支持的适配性比较好，但是，没有开放更底层的编码接口，难做到按帧获取码流，进行实时直播。另外用硬件编码方式，也比较难做动态码率控制。针对网络直播和点播场景，在编码阶段要尽量做到码率波动的平滑，这个需要优化码率控制算法。第三，对于Gop的大小也要根据应用场景做适当的调整，如果关键帧之间的间隔小，那么码率会出现频繁的尖峰，发送数据的时候，会造成瞬间的拥塞。第四，可以通过设置buffer来解决码率波动问题，比如在推流端增加一个发送缓冲区，按照固定的码率发送数据，而不是根据每帧数据来发送。同样在播放器也可以设置一个接收buffer，解决网络波动对播放造成的频繁卡顿。但是这个设置过大的buffer会增加延时，不适合直播应用，比较适合点播应用。对于直播场景，要求端到端的延时尽量小，播放端能快速启动，看到画面。对于rtmp直播还要解决累计延时，可以采用在播放器主动清空buffer的方法。第五，不管是直播还是点播服务，都存在一个端到端的数据传输链路问题。在推流端先要连接到接流服务器，这时就要选择合适的节点，一种是根据客户端的DNS域名来选择就近的节点，当DNS配置有误的时候，可能会存在调度不准的问题。另外一种是根据客户端的出口IP来选择节点，这种调度方式会比较准确一些。同样对于播放器端也是采用类似的方式来选择流媒体服务器集群的边缘节点。第六，在整个直播或点播过程中，最好有实时统计数据，包括网络类型，机器信息，实时网络状况，帧率，码率，分别率等。这样可以分析遇到的各种问题，特别是对于直播场景，当网络波动，出现卡顿时，可以为动态调整qos提供依据。第七，对于直播场景，采用qos策略，动态调整编码参数，包括帧率，码率，分辨率，缓冲区。当直播出现卡顿，采用快降慢升的策略，当网络波动比较厉害，这样可以避免编码参数频