多媒体技术及应用（第3版） 课件第8章 网络多媒体技术及其应用

多媒体技术与应用

第8章网络多媒体技术及其应用8.1.1网络多媒体基础8.1.2网络多媒体传输技术—流媒体8.1网络多媒体概述1．网络多媒体的发展互联网普及之前

通过广播电视节目获取音视频直播或者点播服务；

通过电话获取语音即时通信服务；

通过手机短信业务获取文字即时通信服务；互联网早期

提供新闻浏览、电子邮箱、电子公告板（BBS）等服务；

ICQ：互联网的即时消息软件，用于文字聊天的在线工具；互联网和数字化时代广播电视网、电话通讯网和互联网三网融合，促成了网络多媒体的快速发展网络电话（VoIP）网络视频会议2．网络多媒体的应用（1）点播（VOD）：根据观众要求播放指定节目的音频和视频点播系统，系统可以把用户所点击或选择的视频内容传输给所请求的用户，如爱课程的MOOC/SPOC在线学习视频、网易公开课、优酷影视点播等。（2）直播：服务端实时采集和上传音频和视频流，支持大量客户端同时从服务器下拉并播放这些实时的音视频流，如体育赛事直播、泛娱乐直播节目、在线销售直播、手术直播等。（3）实时交互：支持音视频的实时交互，常用于在线会议系统。允许多个用户通过互联网进行即时语音或视频交流，交流过程中可以发送文字和表情符号、共享桌面和文档等，如腾讯会议、ZOOM会议、远程医疗会诊等。3．网络多媒体系统架构4．网络多媒体的压缩编码方法（1）网络音频编码常见的网络音频编码器包括Opus、AAC、Vorbis、MP3、Speex、AMR，ILBC和G.7xx系列等，目前最常用是Opus和AAC，延迟小，压缩率高。①

AAC（Advanced

Audio

Coding）：基于MPEG-2和MPEG-4的音频编码格式，压缩比为18倍左右，音质佳，文件小，目前广泛应用于娱乐直播。②

Opus：是一个有损声音编码格式，由互联网工程任务组制定，适用于网络上低延迟的即时声音传输。大多数主流浏览器都支持，实时互动系统较多地使用Opus，如在线教育、视频会议系统等，其中WebRTC（网页即时通信）是一个支持网页浏览器进行实时语音对话或视频会议的API，使用的音频编码就是Opus。常见音频编码器4．网络多媒体的压缩编码方法（2）网络视频编解码标准

①

AVC（高级视频编码），用于高精度视频的录制、压缩和发布，这是一种面向块的基于运动补偿的编解码器标准，被广泛用于网络流媒体服务，如YouTube、iTunesStore、AdobeFlashPlayer、MicrosoftSilverlight以及各种高清晰度电视广播系统。

②

SVC（可伸缩视频编码），是传统H.264/MPEG-4AVC编码的改进，具有更大的编码弹性，具有时间可伸缩、空间可伸缩及信噪比可伸缩，使视频传输更适应不同的网络带宽。4．网络多媒体的压缩编码方法（2）网络视频编解码标准

③HEVC即H.265，是ITU-T继H.264之后所制定的高压缩率的视频压缩格式，最高分辨率可达8192×4320。HEVC面向下一代HDTV设计，使用帧扫描，采样分辨率支持4K高清视频，具有增强的动态范围调整和噪声抑制等功能。

④

VP8/VP9，都是Google发布的开放视频编解码标准，VP8与H.264一样采用混合编码框架，采用libvpx来进行编解码，VP9则支持更低的码率，VP9比H.265有更好的编码效率。4．网络多媒体的压缩编码方法●mp4格式：是一种标准的多媒体容器格式，保存了视频和音频数据流、海报、字幕和元数据等，MP4格式属于MPEG-4标准的第14部分，目前流行的AVC/H.264视频编码格式则定义在MPEG-4第10部分中。●mkv格式：是一种标准的多媒体容器格式，能够在一个文件中容纳无限数量的视频、音频、图片或字幕轨道，可以作为一种统一格式保存常见的电影和电视节目。●webm格式：由Google推出的一个开放、免费的多媒体文件格式，其实是以mkv容器格式为基础而开发的，支持用浏览器播放。4．网络多媒体的压缩编码方法●wmv格式：微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。●mov格式：苹果构思推出的一种流式视频格式，用QuickTime播放，为了适应网络多媒体应用，QuickTime为多个流行的浏览器提供了QuickTimeViewer插件，能够在浏览器中实现mov文件的实时回放。●flv、f4v格式：Adobe公司推出的一种视频格式，在网络上传输的流媒体数据存储容器格式，由于移动端浏览器大多不支持Flash播放器，已逐步被mp4和webm等格式所取代。4．网络多媒体的压缩编码方法●wmv格式：微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。●mov格式：苹果构思推出的一种流式视频格式，用QuickTime播放，为了适应网络多媒体应用，QuickTime为多个流行的浏览器提供了QuickTimeViewer插件，能够在浏览器中实现mov文件的实时回放。●flv、f4v格式：Adobe公司推出的一种视频格式，在网络上传输的流媒体数据存储容器格式，由于移动端浏览器大多不支持Flash播放器，已逐步被mp4和webm等格式所取代。8.1.1网络多媒体基础8.1.2网络多媒体传输技术—流媒体8.1网络多媒体概述1．流媒体简介流式传输技术：就是将多媒体数据压缩编码后，在网络上分段发送，实时传输数据，把数据包像流水一样源源不断地发送到用户端，用户无需等待整个影音文件全部下载到本地，可以一边下载一边播放。流式传输主要有两种方式

顺序流式传输（Progressivestreaming）

实时流式传输（Realtimestreaming）（1）顺序流式传输

用户在观看在线媒体的同时下载文件，只能观看已下载部分，不能观看未下载部分。

HTTP服务器就可以发送这种形式的文件，称为HTTP流式传输

顺序流式传输能够较好地保证节目播放的质量，比较适合供用户点播的高质量的短片段，如片头、片尾和广告，不适合有随机访问要求的视频，如讲座、演说与演示，也不支持现场广播。（2）实时流式传输

数据实时传送，用户可以实时观看，对网络带宽有较高的要求，在观看过程中用户可以任意快进或快退，如果网络传输状况不理想，则收到的图像质量就会比较差。

实时流式传输需要专用的流媒体服务器与流式传输协议

Nodejs是基于ChromeJavaScript的多媒体网络服务平台 SRS（SimpleRtmpServer）一个简单高效的实时视频服务器实时流式传输协议：RTSP（Real-timeStreaming

Protocol）实时流传输协议）HLS（HTTP

Live

Streaming）苹果制定的基于HTTP的流媒体传输协议TCP/IP协议层2．网络协议基础3．网络多媒体协议8.2.1

点播服务8.2.2直播服务8.2非交互式网络多媒体服务1.点播基础

点播的前提是音视频文件已经录制或制作完成且已上传到了网络服务器上，用户按照需求，向服务器发出请求，服务器一般通过流式传输方式响应用户的请求，教学中的录播即属于这样的应用场景。2.点播节目制作

制作点播或录播节目最常用的是用带有摄像头的设备进行视频录制，如手机、平板、电脑、照相机和摄像机等，也可以通过视频软件制作生成，如Premiere与AfterEffects等。

一般的直播软件和视频会议系统都同时提供了云录制或本地录制功能，可以将直播现场或视频会议直接录制为mp4或mkv格式的视频文件，方便用户后期点播观看。3.点播应用

在线教学音视频在线点播：优酷、芒果TV、YouTube8.2.1

点播服务8.2.2直播服务8.2非交互式网络多媒体服务1.网络直播概述

网络直播是通过互联网进行传输的，允许用户接收从世界上任何角落发送来的广播和电视节目。

有许多用户同时接收相同的实时音频、视频节目。

对数据包延迟和抖动的要求不像互联网电话和实时视频会议那样严格。从用户点击一个链接到音频/视频播放开始，几十秒的延迟是可以容忍的。

通过组播方式将实时音频/视频分配给许多接收者2．直播推流与拉流推流指的是把采集阶段封包好的内容传输到服务器的过程，其实就是将现场的视频信号传到网络的过程。推流对网络要求比较高，如果网络不稳定，直播效果就会很差，观看直播时就会发生卡顿等现象，观众体验会很糟糕。拉流是指服务器已有直播内容，根据协议类型（如RTMP、RTP、RTSP、HTTP等），与服务器建立连接、接收数据、进行拉取的过程。3．网络直播软件用来对直播内容进行管理OBS（OpenBroadcasterSoftware）是一个用于录制和网络直播的自由开源软件包8.3.1交互式网络多媒体基础8.3.2网络视频会议系统8.3交互式网络多媒体服务1．交互式网络多媒体概述交互式网络多媒体首先是通过网络实时传输多媒体信息，包括文字、图像、声音和视频等多种媒体信息，同时允许用户与用户之间进行实时的互动沟通。Skype、GoogleTalk、腾讯QQ远程办公远程教育电商直播远程医疗2．交互式网络多媒体服务的应用8.3.1交互式网络多媒体基础8.3.2网络视频会议系统8.3交互式网络多媒体服务1．网络视频会议系统的组成会议终端

通常以网页浏览器、计算机软件或移动应用程序的方式给用户提供服务。会议终端一般自带音视频采集功能，也可以外接采集设备。服务器

为会议各终端提供数据交换、音视频处理和转发、会议控制管理等服务传输网络

会议终端通过有线或者无线的方式接入网络，服务器一般通过有线方式接入网络，数据包通过网络在各终端与服务器之间传送。2．网络视频会议系统的性能指标（1）带宽：

参加一个视频会议常常要保证有1Mbps以上的接入带宽，更高的带宽带来更清晰的画面。（2）丢包：数据包无法到达目的地即丢包，出现丢包的原因是多方面的，包括网络中的信号衰减、通道阻塞、损坏的数据包被拒绝通过、有缺陷的网络硬件、网络驱动故障等。（3）延迟：用于衡量数据从一个端点传送到另一个端点所需的时间，端点的位置、数据包的大小以及流量大小都会对网络延迟造成影响。（4）抖动：接收端收到数据包序列的时序和发送端不同，比如间隔时长变化、顺序错位等都会引起抖动。（4）抖动接收端收到数据包序列的时序和发送端不同，比如间隔时长变化、顺序错位等都会引起抖动。3．服务质量

质量服务（QoS，QualityofService）策略的主要任务就是对抗各种因素对数据传输带来的影响。（1）自动重传请求（ARQ，AutomaticRepeat-reQuest）（2）前向纠错（FEC，ForwardErrorCorrection）（3）抖动缓冲（JitterBuffer）（4）拥塞控制（CongestionControl）8.4