音视频技术基本知识二

音视频技术基本知识二音视频技术基本知识二 网易视频云网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术 为客户提供稳定流畅 低时延 高并发的视频直播 录制 存储 转码及点播等音视频的 PaaS 服务 在线教育 远程医疗 娱乐秀场 在线金融等各行业及企业用户只需经过简 单的开发即可打造在线音视频平台 现在 网易视频云总结网络上的知识 与大家分享一 下音视频技术基本知识 视频的分离与合成 编码和解码视频的分离与合成 编码和解码 对媒体流的处理分为两种 编码 encoding 和 解码 decoding 编码指的是通 过一定协议或规则把一段声音或图像转化成计算机数字文件的过程 而解码恰恰是编码的 反面 把编码过的媒体文件重新转化成声音或图像 用来执行编码工作的软件叫 编码器 Coder 或 Encoder 用来执行解码工作的软件叫 解码器 Decoder 编码器 与 解码器 合称 编解码器 Codec 声音与图像是两种不同的媒体 它们分别对应人的两种不同感官 作为不同的媒体 我们 只能用专门针对声音的软件或是专门针对视频的软件去分别分析处理音频流 Audio Stream 与视频流 Video Stream 用来编码音频流的软件叫作 音频编码器 Audio Encoder 用来编码视频流的软件叫作 视频编码器 Video Encoder 用来解码音频流的软件叫作 音频解码器 Audio Decoder 用来解码视频流的软件叫作 视频解码器 Video Decoder 音频流与视频流的处理必须分别进行 即 音频编码器 编码出单个音频文件 视频编码器 编码出单个视频文件 音频解码器 单独对音频文件进行解码还原 视频解码器 单独对视频文件进行解码还原 音视频处理的一般流程 音视频处理的一般流程 数据采集 数据编码 数据传输 流媒体服务器 解码数据 播放显示 1 数据采集 数据采集 摄像机及拾音器收集视频及音频数据 此时得到的为原始数据 涉及技术或协议 摄像机 CCD CMOS 拾音器 声电转换装置 咪头 音频放大电路 2 数据编码 数据编码 使用相关硬件或软件对音视频原始数据进行编码处理 数字化 及加工 如音视频混合 打包封装等 得到可用的音视频数据 涉及技术或协议 编码方式 CBR VBR 编码格式 视频 H 265 H 264 MPEG 4 等 封装容器有 TS MKV AVI MP4 等 音频 G 711 AAC Opus 等 封装有 MP3 OGG AAC 等 3 数据传输 数据传输 将编码完成后的音视频数据进行传输 早期的音视频通过同轴电缆之类的线缆进行传输 IP 网络发展后 使用 IP 网络优传输 涉及技术或协议 传输协议 RTP 与 RTCP RTSP RTMP HTTP HLS HTTP Live Streaming 等 控制信令 SIP 和 SDP SNMP 等 4 解码数据 解码数据 使用相关硬件或软件对接收到的编码后的音视频数据进行解码 得到可以直接显示的图像 声音 涉及技术或协议 一般对应的编码器都会带有相应的解码器 也有一些第三方解码插件等 5 播放显示 播放显示 在显示器 电视 监视屏等 或扬声器 耳机 喇叭等 里 显示相应的图像画面或声音 涉及技术或协议 显示器 扬声器 3D 眼镜等 常见的视频直播相关协议 常见的视频直播相关协议 1 RTMP Real Time Messaging Protocol 实时消息传送协议 RTMP 是 Adobe Systems 公司为 Flash 播放器和服务器之间音频 视频和数据传输开发的 开放协议 它有三种变种 1 工作在 TCP 之上的明文协议 使用端口 1935 2 RTMPT 封装在 HTTP 请求之中 可穿越防火墙 3 RTMPS 类似 RTMPT 但使用的是 HTTPS 连接 RTMP 协议是被 Flash 用于对象 视频 音频的传输 这个协议建立在 TCP 协议或者轮询 HTTP 协议之上 RTMP 协议就像一个用来装数据包的容器 这些数据既可以是 AMF 格 式的数据 也可以是 FLV 中的视音频数据 一个单一的连接可以通过不同的通道传输多路 网络流 这些通道中的包都是按照固定大小的包传输的 2 RTSP Real Time Streaming Protocol 实时流传输协议 RTSP 定义了一对多应用程序如何有效地通过 IP 网络传送多媒体数据 RTSP 提供了一个 可扩展框架 数据源可以包括实时数据与已有的存储的数据 该协议目的在于控制多个数 据发送连接 为选择发送通道如 UDP 组播 UDP 与 TCP 提供途径 并为选择基于 RTP 上发送机制提供方法 RTSP 语法和运作跟 HTTP 1 1 类似 但并不特别强调时间同步 所以比较能容忍网络延 迟 代理服务器的缓存功能也同样适用于 RTSP 并且因为 RTSP 具有重新导向功能 可 根据实际负载情况来切换提供服务的服务器 以避免过大的负载集中于同一服务器而造成 延迟 3 RTP Real time Transport Protocol 实时传输协议 RTP 是针对多媒体数据流的一种传输层协议 详细说明了在互联网上传递音频和视频的标 准数据包格式 RTP 协议常用于流媒体系统 配合 RTCP 协议 视频会议和一键通系统 配合 H 323 或 SIP 使它成为 IP 电话产业的技术基础 RTP 是建立在 UDP 协议上的 常与 RTCP 一起使用 其本身并没有提供按时发送机制或 其它服务质量 QoS 保证 它依赖于低层服务去实现这一过程 RTP 并不保证传送或防止无序传送 也不确定底层网络的可靠性 只管发送 不管传输是 否丢包 也不管接收方是否有收到包 RTP 实行有序传送 RTP 中的序列号允许接收方 重组发送方的包序列 同时序列号也能用于决定适当的包位置 如在视频解码中 就不需 要顺序解码 4 RTCP Real time Transport Control Protocol 实时传输控制协议 RTCP 是 RTP 的配套协议 为 RTP 媒体流提供信道外的控制 RTCP 和 RTP 一起协作将 多媒体数据打包和发送 定期在多媒体流会话参与者之间传输控制数据 R