14 视频编码技术简介

视频编码技术介绍视频编码压缩技术大家都知道视频是由一张张静止的图像连续播放构成，在网络传输中，如果每帧都传输完整的原始图像，那么视频的体积会非常大，对网络传输和存储都是不可接受的，所以就诞生H.263/H.264/H.265这些视频压缩技术。帧内压缩帧内压缩类似于图片压缩，跟这一帧的前面（或后面）一帧（或几帧）无关，由当前帧中，已编码的部分来推测当前待编码的这一部分数据是什么。如上图，帧内压缩基于宏块进行编码，宏块就是把每一帧划分成一个个小块，块的大小可以不等，大片平坦无变化的内容划分成大块，运动多、细节多的内容划分成小块。帧内压缩根据帧内预测算法对宏块进行压缩。帧内预测算法很多我简单举个例子：比如上图先编好第一个宏块，第二个宏块就不存储完整的图像信息了，而是记录和第一个宏块的差异。帧间压缩帧间压缩就是以前一帧或后一帧作为参照物，本帧只存储和前后帧的变化量。比如上面两张图是一个视频中的前后两帧，这两帧的差别很小，可能比一张图片中的两个宏块差别还小，所以用帧间压缩显然要比帧内压缩效果好。一般来说，视频的第一帧是帧内预测帧（废话，它想参考其他帧的数据也没有的参考），场景切换时是帧内预测帧（比如视频里插了一段广告，这个广告跟视频里其他的内容都无关，用它来预测还不如我自己编自己省空间）。下面问题来了：为什么h264/h265的帧内压缩不直接使用现成的图片压缩技术比如jpeg？首先h264和h265所提出得帧内压缩方案要比JPEG的方案优秀很多，具体主要体现在预测机制的导入和符号化算法的优化。其次，从h264时代开始，视频压缩就不得不考虑到在流媒体应用方面的泛用性问题。而以JPEG为主的现有的图片压缩算法都是需要先已知整幅图片，而才对图片进行压缩。这使得这些技术几乎无法整体迁移至视频应用领域。而帧内压缩的预测推断计算使得一副图像可以做到边计算边传输，这对于流媒体影像服务来说非常“体贴舒适”。I帧I帧又称帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面。视频序列中的第一个帧始终都是I帧，因为它是关键帧。P帧P帧又称帧间预测编码帧，需要参考其前面的I帧或者P帧才能进行编码。表示的是当前帧画面与前一帧（前一帧可能是I帧也可能是P帧）的差别。解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。与I帧相比，P帧通常占用更少的数据位，但不足是，由于P帧对前面的P和I参考帧有着复杂的依耐性，因此对传输错误非常敏感。B帧B帧又称双向预测编码帧，也就是B帧记录的是本帧与前后帧的差别。也就是说要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是对解码性能要求较高。一个含I、B、P帧的视频如上图解码的时候先解出第一个I帧（图上的1帧）然后解出第一个P帧（图上的4帧），之后解出第一个B帧（图上的2帧）解这个B帧需要参照前面解出的I帧和P帧。之后解出第二个B帧（图上的3帧）解这个B帧需要参照前面解出的I帧和P帧。注意，B帧参照的前后帧是I帧和P帧，不会去参照前一个或后一个B帧。帧丢失对视频的影响I帧是重要帧，如果I帧丢了，在下一个I帧前都显示不出正常的图像，实际的效果是黑屏或者图像卡住不动。B帧丢了，只对这一帧有影响，由于帧数比较高，可能视频上感觉不出来。P帧丢了，P帧前面的B帧就无法正常生成了，P帧后面的P帧也失去参考，只能去参考丢失的P帧前面一个正常的P帧。体现出来的现象是花屏和马赛克。直到下一个I帧才会恢复。简单说一下H.263和H.265编码H.263编码只支持I帧和P帧，不支持B帧，属于上一代技术，，H.264和H.263相比有更好的压缩比和图像质量，所以现在H.263已经被H.264取代，基本上新的会议系统不会用H.263编码了。H.265在压缩算法上相对于H.264做了巨大的优化，同样的画质情况下，H.265比H.264可以节约一半的带宽。那么问题来了：如果客户问到云视讯为什么不支持H.265我们要怎么回答呢？可以参考以下解答：H.265的优势是传输带宽节约了一半，目前云视讯传输码流在2-