流媒体技术第2章.ppt

回顾第一次课的内容 1多媒体与流媒体的区别与联系2流式传输包含哪两种 3四大主流流媒体公司是什么 他们的流媒体格式分别是什么 4流媒体技术的三个方面是什么 5简述流媒体的传输过程 第二章流媒体技术基础与制作 数字媒体教研室傅慧ftp 202 204 125 41 2121E mail fuhuir 流媒体技术不是一种单一的技术 它是网络技术及视音频技术的有机结合 在网络上实现流媒体技术 需要解决流媒体的制作 发布 传输及播放等方面的问题 主要内容 2 1流媒体关键技术2 2四大流媒体平台2 2 1WindowsMedia Microsoft公司 2 2 2RealSystem RealNetworks公司 2 2 3QuickTime Apple公司 2 2 4AdobeFlash Adobe公司 2 3流媒体的制作 2 1流媒体关键技术 1 流媒体制作技术方面解决的问题网络上进行流媒体传输所传文件必须制作成适合流式传输的格式文件 将文件格式压缩成流媒体格式文件 选用适当的压缩算法 需要向文件中添加流式信息 2 流媒体传输方面需要解决的问题TCP FTP 无法实时传输UDPRTP RTSP 实时传输为什么要在UDP协议而不在TCP协议上进行实时数据传输呢 3 流媒体传输中需要缓存的支持流媒体文件被压缩分割成很多数据包 由于网络传输的不稳定性 各个包选择的路由不同 所以到达客户端的时间次序可能发生改变 甚至出现丢包现象 必须利用缓存对到达的数据包进行正确排序 以便正确播放 缓存中的数据是动态的 不断更新的 4 流媒体播放方面需要解决的问题流媒体的播放需要浏览器的支持 浏览器采用MIME来识别各种不同的简单文件格式 MIME 用来标记在Internet上传输的任何文件类型 所有的浏览器都支持HTTP协议 在HTTP协议内部建有MIME 浏览器通过MIME来识别流媒体的类型 并调用相应的程序或插件来处理 如果浏览器不清楚调用哪种插件系统 它会告诉用户缺少某插件 或者直接选择某现有插件来试图读取接受到的文件 后者可能会导致系统的崩溃 MIME简介 MultipurposeInternetMailExtensions 多功能Internet邮件扩充服务 它是一种多用途网际邮件扩充协议 在1992年用于电子邮件系统 后来也应用到浏览器中 服务器会将它们发送的多媒体数据的类型告诉浏览器 而通知手段就是说明该多媒体数据的MIME类型 从而让浏览器知道接受到的信息哪些是mp3文件 哪些是shockwave文件等 Shockwave是由Macromedia 开发Flash技术的公司 开发的多媒体播放器系列 可以通过Shockwave播放和收看文件 并且效率更高 效果更好 同Flash一样 Shockwave也需要插件支持 AdobeShockwavePlayer是专门播放使用DirectorShockwaveStudio制作的网页的外挂软件 像是在网页上看到的互动游戏 电影短片等等 亦包括MacromediaFlashPlayer 也可以观看Flash所制作的网页 2 2四大流媒体平台 2 2 1WindowsMedia与RealMedia相抗衡WindowsMedia技术涵盖了一整套关于流媒体处理的组件和特性 其主要目的是在Internet和Intranet 企业内部网 上实现基于流技术的数字视音频的传输 并且WindowsMedia涉及到数字媒体的许多新领域 如数字版权管理 DRM 等 一 WindowsMedia组件 整个WindowsMedia技术平台的主要组件包括WindowsMediaTools WindowsMediaServer WindowsMediaPlayer1 WindowsMediaTools 用于帮助用户生成ASF格式的多媒体流 包括实时多媒体流 分为创建工具和编辑工具两种 创建工具 MediaEncoder MediaAuthor VidToASF MediaPresenter编辑工具 ASFIndexer与ASFChop ASFCheck 2 WindowsMediaServer对外提供ASF流媒体的网络发布服务 包扩两大基本服务模块 UnicastService 单播服务 StationService 电台服务 Unicast On DemandUnicast 点播BroadcastUnicast 广播 3 WindowsMediaPlayer提供强大的流信息播放功能 支持多种常见的数字媒体格式 既可以独立使用 也可以方便的以ActiveX控件形式嵌入到浏览器或其他应用程序中 既可以播放UnicastService提供的内容 也可以播放StationService提供的广播内容 二 WindowsMedia版权管理技术 通过Windows版权管理 内容所有者可以方便 快速的将他们的内容放到Internet上和大家分享 并且同时能够保护产品或作品的版权利益 媒体文件一经加密 没有许可证就无法进行播放 此外 许可证也不能被共享或成功复制 核心组件是WindowsMediaRightManager 软件开发者使用WindowsMedia版权管理SDK 可以制作用于加密和分发许可证的程序 1 数字版权管理 DRM 技术 DRM 本质上就是许可证管理 首先 数字内容提供者 如网校 信息网站 音乐网站 数字图书馆等 利用工具将原始的视音频文件或文本文件进行加密 添加文件头 加密的同时还可以添加版权信息 打包后的数字文件就放在站点的服务器上 也可压制光盘来发行 接下来 当合法用户点击网站或打开光盘内容时 相关的媒体播放器会自动地检查有没有相应的许可证 2 DRM基本工作方式 1 打包包括 编码 压缩 用密钥对媒体文件进行加密处理 用来自数字证书的密钥为它签名 生成的打包媒体文件以WMV WMA格式保存 2 发布打包的的媒体文件与播放它的许可证是分开的 可以用不同的方式发布 3 获取许可证要播放媒体文件 客户端必须获得许可证 其中包含密钥用于解锁打包的内容 3 WindowsMedia版权管理组件 WindowsMediaPackager 用于打包媒体WindowsMediaLicenseService 注册客户并颁发许可证SQL数据库 存储有关媒体文件 事物 许可证和注册信息WindowsMediaRightsManagerWeb站点 此站点的ASP网页包含了WindowsMediaRightsManager的全部功能 2 2 2RealSystem 20世纪90年代中期提出了流媒体技术 目前编码主要技术是RealMediaCodec9 具有很多先进的技术 ScalableVideoTechnology 可伸缩视频技术Two PassEncoding 两次通过编码技术SureStream 智慧流技术RealMedia音频部分采用的是Real Audio 该编码在低带宽环境下的传输性能非常突出 RealMedia通过基于SMIL并结合自己的RealPix和RealText技术来达到一定的交互能力和媒体控制能力 可伸缩视频技术ScalableVideoTechnology 可伸缩视频编码技术 ScalableVideoCodec传统的视频编码技术是在码率固定的情况下对视频序列进行处理 使其能够达到最大的压缩 但这样的编码系统提供的数据流无法根据用户需求和网络条件进行动态调整 因而不太适合当前的网络传输 可伸缩视频编码技术 SVC 是一种新技术 它所产生的数据流能够不经过重新编码而适应不同的需求 克服了传统编码系统中的缺点和不足 两次通过编码技术Two PassEncoding 是指在第一次通过时分析内容 然后在第二次通过时根据第一次通过时收集的数据进行编码 两次通过编码可以生成质量更好的内容 这是因为编码器有充足时间根据画面的组成找出最佳的比特率 帧速率 缓冲区大小和图像质量的组合 但是 由于编码器要两次处理全部内容 所以这种编码方式所需的时间更长 自适应流技术AdptiveStreaming SureStreaming IntelligentStreaming 智能流技术 自动检测网络状况 然后根据响应降低影像的码率 如果没有网络信号的时候 客户端甚至会不放视频 而只播放声音 因为音频流要求的码率更低 缺点 这些设计当然很好 但是他们都有天生的不足 他们都只能用于流控 就是说并不能渐进下载 而编码器也不要求影视节目严格的对齐 只是要求关键帧 key 对齐 这就导致了在同一视频不同码率的流之间作平滑切换变得很困难 媒体流出来的时候都是以固定的码率的 服务器不知道客户端的真实网络情况 要想准确地预测客户端的带宽就几乎不可能了 尤其是在要求实时播放的情况下就更难了 因为 差的网络带宽检测出来的时候就已经滞后了 这时客户端的播放器又不得不暂停下来 选择更合格的低码率的流重新进行缓冲 现在 基于HTTP协议的方式分发开始流行起来 过去几年流媒体发展的一个趋势就是希望能转为使用基于HTTP的方式进行内容分发 而不再使用传统的流媒体协议 RTSP MMS RTMP等等 目前已经有很多视频网站已经在使用基于HTTP的渐进式下载 ProgressiveDownload 技术进行媒体分发了 现今网络上的流媒体分发大致有三种方式 传统的流控渐进式下载自适应流 a 传统的流控技术 实时流控协议 RTSP 是传统流控协议最好的例子 RTSP是有状态的协议 从客户端从一开始连接到流控服务器直到最后和流控服务器断开连接 服务器要保持跟踪客户端的状态 客户端通过发送播放 暂停和断开命令向服务器传送自己的状态 一旦客户端和服务器的会话 Session 建立了 服务器就将媒体固定地传送成一个个小RTP RealTimePacket 包 这些包的格式是按RTP协议封装的 通常一个RTP包的大小是1452字节 这意味着视频会编成每秒钟1兆字节的流 每个包里大约有11毫秒的视频内容 在RTSP协议下 这些包会通过UDP或者TCP网络协议进行传送 当网络防火墙或者网络代理阻挡了UDP包的时候才会用TCP协议进行传送 因为TCP包传送的时候会不断重试 直到客户端收到为止 所以用TCP传很明显会增加网络的延迟 而网络延迟增大 就会影响影视的播放质量 像RTSP这种最传统的流控协议有如下特点 1 服务器向客户端发送数据包的时候只以某个实时的码率 就是媒体编码时候的码率 例如 一个视频编码成500kbps的视频要求的客户端的接收带宽大约也是500kbs 2 服务器只能提前发送足够多的数据让客户端进行缓冲 通常情况下客户端会缓冲1到5秒钟的影视流 也就是说 如果你把一个节目暂停了10分钟 你重新开始播放的时候还要等大约5秒钟影视流完全下载到了客户端的时候才能看 b 渐进式下载 ProgressiveDownload 如今另一种通过WEB服务器分发媒体的方式就是渐进式下载 渐近式下载其实也就是一种简单的从HTTPWEB服务器进行文件下载的普通方式 大多数媒体播放器和平台都支持渐进式下载 比如说ADOBEFALSH SILVERLIGHT以及Windows媒体播放机 渐进 这个术语源于播放器客户端允许媒体文件还正在下载的时候就开始播放 不用等到整个文件下载都完成写到磁盘上之后 通常情况下播放内容都是先直接放在浏览器的缓存里的 不像流媒体服务器 几乎都只传送差不多十秒钟的数据给客户端 HTTPWEB服务器会在媒体文件下载完成之前一直在传送数据流 如果一开始播放时你就暂停了一个渐进式下载的视频 然后在那等着 就会把整视频个文件都下载到浏览器的缓存里面 这样就可以不停顿 平滑地把整个视频都看完 码率节阀 BitRateThrottling 的技术 c 基于HTTP的自适应流控 自适应流控是一种杂交了流控技术和基于HTTP渐进式下载的分发技术 自适应流控是使用了HTTP而不是新协议的先进的概念 在典型的自适应流控实现中 视频和音频源被切分成很多短的片断 chunks 流控块 然后被编码成需要的分发格式 流控块通常有两到四秒长 在视频编码级别 这通常意识着每个流控块被切分成一个视频图像组 GOP GroupofPictures 边界 每个流控块都包含一个关键帧 于是就不用依赖过去或者将来的流控块的任何图像组的信息了 这样每个流控块之间就可以独立于其他流控进行解码 这些编码好的流控块放到HTTPWEB服务器上 客户端使用普通的HTTP渐进式下载的方式从WEB服务器上以线性的方式下载它们然后使用 一旦流控块下载到一客户端 客户端就可以顺序的方式对流控块进行播放 因为流控块很小心地进行编码 之间没有任何间隔和重叠 流控块播放起来就是平滑视频了 当视频源用N种码率进行编码 生成N个两到四秒的不同大小的流控块之后 自适应 部分的解决方案就有用了 客户端现在可以选择不同大小的流控块进行播放 因为WEB服务器只管按照网络带宽尽快地分发数据 客户端可以很容易地计算出用户端的带宽 就可以提前决定下载是大的还是小的流控块 播放和下载的缓冲的大小是完全由客户端定制的 一 RealSystem系统组成 1制作端产品RealProducer编码器 主要用于压缩制作多媒体内容文件 它提供两种编码格式选择 HTTP和SureStream 能充分利用服务器的服务功能 实时压缩技术还提供现场直播和实时广播的功能 RealProducer有初级版 Basic 和高级版 Plus 两个版本 2 服务器产品RealServer HelixServer RealServer是目前国际上最强有力的Internet Intranet上的流传播服务器引擎 Real公司对外开放自己的RealServer的内部结构 提供二次开发的接口 允许第三方厂商对RealServer作进一步的开发来增加客户自己的功能需求 根据应用方案的不同 RealServer分为 Basic Plus Intranet Professional几个版本 代理软件RealSystemProxy提供专用的安全的流媒体服务代理 能使ISP有效降低带宽需求 3 客户端产品RealPlayer 可独立运行 也可作为插件在浏览器中运行通过WebServer方式与服务器通信实现过程 客户通过网页上的超链接与RealServer通信 RealServer将产生一个很小的元文件 Metafile 发送至浏览器浏览器接受到这个元文件 扩展名为 RAM 包含了同RealServer通信的地址 RealPlayer由元文件中的地址找到RealServer RealServer直接以流的方式与RealPlayer进行通信 4 RealMedia文件格式 RealNetworks公司所制定的音频视频压缩规范称作RealMediaFileFormat文件格式 主要包括 RealAudioRealVideoRealFlashRealTextRealPix 2 2 3QuickTime QuickTime系列的流媒体技术 除了它的播放器QuickTimePlayer有Windows平台的版本外 其他的软件大都是基于MacOS平台的 QuickTime采用了一种称为QuickTimeVR技术的虚拟现实技术 用户通过鼠标或键盘的交互控制 可以观察某一地点360度的景象 或者从空间任何角度观察某一物体 一 QuickTime文件格式 将媒体描述和媒体数据分开存储 媒体描述 元数据 Meta Data 叫做电影 movie 包含轨道数目 视频压缩格式和时间信息 索引 媒体数据是所有的采样数据 如视频帧和音频采样 媒体数据可以与QuickTime电影存储在同一个文件中 也可以在一个单独的文件中或在多个文件中 二 QuickTime制作技术 QuickTimePro 可以将其他格式的媒体文件转换成QuickTime系列的流媒体文件 MOV QuickTimePro还可以制作SlideShow 类似于Real系列的RealPix文件 将一组图片文件根据一定的播放顺序 时间以及切换效果组合到一起 不同的是 它把所有的图片集和在一起生成一个MOV文件 QuickTimeVR 制作虚拟环境的工具软件 可以模拟真实的或虚拟的物体和环境 与其他的虚拟现实应用不同的是 进入QuickTimeVR不需要专用的手套和头盔 也不需要传统的3D插件 怎么实现VR 将一组经过横向和纵向校准拍摄而成的某个场所的照片 比如一个广场 通过QuickTimeVR排列和融合在一起 即生成QuickTimeVRPanorama电影文件 用媒体播放器播放时 只要上下左右拖拽鼠标 就会产生置身其中 360度环视以及120度仰视和俯视的效果 通过点击缩放按钮 还可以产生在该场所前进和后退的效果 这在网络教学 电子商务以及网上展示等方面都有较高的应用价值 QuickTimeVRObjectMovies 通过将一组照片组合在一起 可以使用户通过拖拽鼠标 感受到搬动 旋转该物体 或者从各个不同的角度观察该物体的感觉 三 QuickTime发布技术 QuickTimeStreamingServer 被包含在MacOS系列的服务器软件中 它所采用的数据发布方式也是三种 即点播 实时和非实时广播 与RealServer相比 它没有那么强大的流媒体发布功能 它不支持SureStream技术 四QuickTime播放技术 可以是独立的也可以作为浏览器插件结合在Web页面中 播放器支持的文件格式 MOV AVI MPEG WAV MP3 2 2 4AdobeFlash 第四中流媒体技术平台 一 Flash流媒体文件格式 SWF和FLV1 FLV文件格式FlashVideo 随着FlashMX的推出发展而来的视频格式 文件极小 加载速度极快 它的出现有效解决了视频文件导入Flash中 使导出的SWF文件体积过于庞大 不能在网络上很好使用等缺点 因此 FLV在国内外著名视频网站得到广泛应用 2 SWF文件格式 特点 在屏幕上即时显示 可扩展性 播放器能够兼容早期版本网络发布 二进制文件 位压缩 可选字段式结构等方法来减小文件尺寸 简易性文件独立 文件显示不依赖任何诸如字体之类的扩展资源可变性 在有限的硬件环境下很好的工作速度 快速和高质量播放支持脚本 支持一种叫ActionScript 动作脚本 的语言 SWF是FlashPlayer可以执行的唯一文件格式 其他任何文件资源如JPEG GIF MP3等 都必须内嵌于SWF文件 或通过其加载 SWF动画是基于矢量技术制作的 因此不管将画面放大多少倍 画面不会因此而有任何损害 通过一些特定工具 SWF和FLV之间可以相互转换 二 Flash创建工具 使用Macromedia发布的软件Flash来创建三 Flash播放器 AdobeFlashPlayer很多网上的各个版本和种类的swf文件格式播放器 其核心都是Adobe编写的SWF解码器 只要播放器包含该解码器即可播放swf文件 FlashPlayer10是与AdobeCS4套装融为一体的 Adobe向搜索引擎开放了Flash技术 使其可以索引内嵌在SWF文件中的信息 即用户今后可以轻松的通过搜索引擎查找Flash资源了 四 Flash服务器 FlashMediaServer FMS 交互服务器版权保护媒体流服务器编码服务器 新功能 让每台服务器流量数增加近一倍 在AdobeFlashPlayer9上支持业界标准的H 264视频及HE AAC音频 保护传输的视频内容 强化新闻 音乐会 体育赛事及社会媒体服务的实时视频支持 2 3流媒体的制作 QuickTime不提供免费版本的编码器 其编码软件包含在QuickTimePro中 我们可以从Apple的网站购买QuickTimePro RealNetworks提供免费的RealSystemProducer 并且也提供RealSystemProducerP1us 如果你计划做关于编码的上作 那么RealSystemProducerP1us可以提供方便的高级功能 Windows媒体编码器是免费产品 除了windows媒体编码器 还可以下载和安装Windows媒体资源工具包 编码windows媒体文件 一 使用windowsmediaencoder编码使用windows媒体编辑器编码windows媒体文件 第一次使用编码时使用向导设置 用Windows媒体编码器编码文件涉及到任务设置 可以指定输入 输出 并且选择编码配置文件 用于决定编码文件的比特率和品质设置 在指定了所有的设置后 点击start 开始 按钮编码你的文件 最新版windowsmediaencoder9中文版主要功能是将实况或者预先录制好的音频和视频转换为windowsmedia格式的流媒体文件 可以提供音频和视频内容的实时源包括CD播放器 话筒 VCR 摄像机或视频播放器 被保存的源是音频或视频文件 用户可以用windowsmediaplayer或任何使用windowsmediaformat9SDK开发的应用程序来查看基于windowsmedia编码的内容 Windowsmedia编码器支持的文件格式 Windowmediaencoder操作 1编码器界面2windowsmedia流媒体制作流程会话 一个完整的编码任务称为 会话 对于编码会话可以通过会话向导进行创建和修改 也可以通过自定义会话并保存 Windowsmediaencoder中创建并保存的会话可以以一个独立的文件保存在计算机中 该文件的扩展名是 wme 1 使用向导转换文件 例 将 文件转换成流媒体格式然翁御剑 mp3 使用向导创建自定义会话 源 一个会话中必须包含一个源 源有三种来源 并且有三种类型 脚本包括三种媒体 字幕 和自定义脚本命令 使用向导创建自定义会话 压缩选项卡选出一个预先设置好的配置文件即可 这些配置文件有单比特率的编码配置 也有多比特率的编码配置 多比特率的配置可以同时适应预先设定的不同的网络状况下传输文件 分别适应不同的网络带宽 使用向导创建自定义会话 输出选项卡右下角有 索引文件 选项 该选项的功能是使输出的流媒体文件在使用windowsmediaplayer播放的时候可以实现快进和快退 并且用户可以通过拖动播放滑块来控制媒体文件的播放 所以只有选中这个选项 生成的文件才能被添加索引 并实现上述功能 但在实况广播时