流媒体技术第三讲.ppt

复习：,1、浏览器采用什么来识别不同的媒体类型？2、QuickTimeVR是如何实现虚拟现实的？3、Flash流媒体文件格式有什么？4、什么是可伸缩的视频编码技术？5、什么是SureStream技术？,ScalableVideoCoding,SVC:把视频信号编码成分层的形式,当带宽不足时只对基本层的码流进行传输和解码,但这时解码的视频质量不高,当带宽慢慢变大时,可以传输和解码增强层的码流来提高视频的解码质量.直观体现是在码率上.视频数据的分层编码和选择传输是实现可伸缩的主要手段.,Two-PassEncoding,对原始数据扫描两次,第一次统计信息,第二次编码.,SureStream智能流技术,视频流瘦化:降低传输数据量而阻止再缓冲.带宽协调:根据不同的连接速率而创建多个文件.智能流技术:1确定一个编码框架,允许不同速率的多个流同时编码,合并到一个文件中.2采用一种复杂客户/服务器机制探测带宽变化.,第二章流媒体技术基础与制作,数字媒体教研室傅慧1:2121E-mail:fuhuir,）计算机实时屏幕捕捉编码,选择操作类型屏幕捕捉2设置媒体来源屏幕捕捉3设置屏幕捕获的属性整个屏幕4设置音频,（二）ASFTools流媒体编辑软件,1熟悉ASFTools操作界面2流媒体文件的剪裁3两个文件的拼接4修复不能拖放的asf或wmv文件5视频文件格式转化,安装asftools,熟悉界面,浏览窗口：类似于windows资源管理器，通过它可以迅速的找到需要处理的流媒体文件。当用鼠标双击该文件时，软件会调用mediaplayer来进行预览。功能菜单文件列表选项按钮快捷工具栏,功能菜单：基本，修复，转化和其它,基本功能：包括了文件裁剪、拼接等功能添加：用于添加文件到asftools,打开后的文件会出现在文件列表中。支持三种流媒体文件格式：.asf,.wmv,.wmaAsf的所有操作都是建立在打开文件的前提之上的，即所有操作和功能的实现都应该先用“添加”功能将文件添加到文件列表后才能进行,移除：移除已经添加到文件列表中的文件。当然并没有删除文件。拼接：将若干个流媒体文件拼接到一起。裁剪：实现流媒体文件的剪裁。清空列表：将文件列表中的内容清除,修复功能,主要针对破损的流媒体文件进行修复的选项集合基础修复：高级修复：可定位标记：使文件可搜索，或者激活丢失数据块：恢复文件中可用的数据并使文件可搜索缩减冗余帧：去除文件中的空白数据,转换功能,实现流媒体文件的格式转换，非常实用。转换为avi：将所选文件转换为avi格式转换为wav：能够提取文件中的音频流并且将其转化为wav格式重新编码：将选择的文件重新进行压缩。,其他功能,包括：基于所选择的文件生成asx文件关于本软件的说明退出,文件列表,下方的快捷工具栏，从左至右依次为：移至底部，下移，上移，移至顶部，排序，清空列表，播放所选文件，播放全部文件，移动或改名，复制，删除，显示/隐藏浏览窗口,针对源文件的,实例1：流媒体文件裁剪,1）添加需要裁剪的流媒体文件01.asf2）单击“裁剪”按钮3）设置裁剪的时间点4）设置输出文件的保存位置，文件名默认为原文件名后加.cut5）设置完成后，单击“裁剪”，软件将根据设置进行裁剪。,实例二：两个文件的拼接,把两个或两个以上的流媒体文件进行拼接，形成一个完整的文件注意：拼接后文件的先后顺序与拼接前文件位于文件列表中的顺序有直接的关系。应按照时间先后顺序将位于前端的文件放在列表的顶部。从上到下依次排列。,实例二：两个文件的拼接,用以拼接在一起的流媒体文件可能是使用不同码率进行压缩的，但对于视频文件而言，视频画面的尺寸应该是相同的才可以进行拼接。为了实现不同码率的文件之间的拼接还需要设置一个选项。单击选项按钮，合并选项下，必须选中“合并不兼容的比特率”。,实例二：两个文件的拼接,设置完成后，将文件添加进文件列表，开始拼接添加文件01.asf01.cut.asf,实例三：修复不能拖放的asf或wmv文件,实例四：视频格式转化,二、windowsmedia流媒体格式,windowsmedia文件格式1、Windowsvideo文件对应wmv格式2、Windowsaudio文件对应wma格式WindowsMediaAudio/Video由WindowsMediaformat演变而来。,什么是WindowsMediaFormat？WindowsMediaFormat是编码解码器、DRM、协议和容器格式的组合。最主要的区别是所有WindowsMedia文件都使用ASF，但使用ASF的文件不一定是WindowsMedia文件。WindowsMedia文件使用.wma和.wmv文件扩展名，而包含第三方编码解码器压缩数据的文件使用.asf文件扩展名。通过缩小WindowsMediaFormat定义的范围，应用程序开发人员可以确信他们的程序可以与WindowsMedia文件一起使用。,3.ASF文件ASF是（AdvancedStreamingFormat高级流格式）的缩写，是Microsoft为Windows操作系统所开发的串流多媒体文件格式。,利用ASF文件ASF流文件的数据速率可以在28.8Kbps到3Mbps之间变化。用户可以根据自己应用环境和网络条件选择一个合适的速率，实现VOD点播和直播。,4ASX文件asx是一种视频文件格式。我们要使用用户计算机上的RealPlayer和WindowsMedia播放器进行在线“流”播放时,应进行*.rm-*.ram,*.asf-*.asx的文件生成转换,而且在生成的文件中还要包含指定的URL*.rm和URL*.asf或URL*.smil的内容。,ASX文件是一个文本文件，他主要的目的是对流信息进行重定向，类似RPM（RM的中转文件）文件。在ASX中包含了媒体内容对应的URL，当我们在HTML中让一个HYPERLINK与ASX联系时，浏览器会直接将ASX的内容送给MEDIAPLAYER，MEDIAPLAYER会根据ASX文件的信息用相应的协议去打开指定位置上的多媒体信息流或多媒体文件,例如，创建一个asx文件,创建windows媒体的重定向文件Windows媒体的重定向文件也是小的文本文件。这种文件是与XML兼容的，所以它们稍微有点关系，主要体现在它们使用特定的包含在尖括号中的标签。这里，你应当在文本编辑器中键入下面的代码：,这个简单的代码可以分解成几个部分：1.重定向文件使用开始，使用结束，这些标签在每一个Widows媒体重定向文件中都是需要的。2.重定向文件拥有单一的入口在标签和之间。3.被播放的文件使用ref标签中的href属性指定。好了，我们使用后缀名.asx保存重定向文件。,流媒体文件在本地播放示例,利用ASX文件来重定向流信息的原因主要是：目前通用的浏览器通常均不能直接支持用于播放流信息的协议MMS，所以我们采用ASX文件。采用ASX文件以后，当浏览器发现一个连接与ASX有关时，它知道需要用MEDIAPLAYER来播放流信息，于是它就会启动MEIDAPLAYER，MEDIAPLAYER就可以用MMS协议来播放流信息了。,ASX文件的主要用途：1）将控件从http浏览器传送到windowsmediaplayer控件，以便直接将流传递到windowsmediaplayer2）提供一个通知文件，以便windowsmediaplayer访问windowsmedia广播站上的节目,3）提供流的参考说明和windowsmediaplayer用来处理协议翻转的规则4）提供一个播放列表，用来定义在windowsmediaplayer中多个流的播放顺序,1）windowsmedia服务的特点提供实况流内容或现有内容windowsmedia服务既可以提供实时的流内容，也可以交付目前已存在的媒体内容，例如,数字媒体文件等。,三、windowsmedia服务,如果用户打算以流媒体格式提供实况内容，就需要配置一个广播发布点，然后连接到编码软件，如:windowsmediaenconder，microsoftproducerforpowerpoint2002，windowsmoviemaker，windowsmediaplayer或者其他编码程序事先编码好的内容以流媒体的形式广播出去。,2）快速流快速流（FastStreaming）是WindowsMediaServices拥有的一组特性，能够极大改善流媒体的播发体验。快速流基于最新技术，能够通过各种网络交付引人入胜的音频和视频内容甚至在网络连接不可靠的情况下。快速流通过以下4个组件得以实现：,FastStart（快速启动）FastCache（快速缓存）FastRecovery（快速恢复）FastReconnect（快速重新连接）,FastStartFastStart（快速启动）提供了一种无缓冲延迟的即时播放体验无论是播放单块内容，还是在按需点播的视频片断或广播频道间切换。,FastCacheFastCache（快速缓存）通过以网络允许的最大速度在WindowsMediaPlayer的缓存中缓存流式内容，为用户提供了一种永远开启的播放体验，同时降低了因为网络问题而导致播放中断的可能性。,FastRecoveryFastRecovery（快速恢复）和ForwardErrorCorrection（前向纠错，FEC）一同工作，能够为使用无线连接的客户端提供信息的冗余数据包。提供冗余数据包保证了数据不会因为连接中断而丢失。借助于FEC，WindowsMediaPlayer一般可以恢复丢失或受损的数据，而无需请求WindowsMedia服务器重新发送这些数据。,FastReconnect如果在广播期间连接被断开，FastReconnect（快速重新连接）可以自动恢复播放器和服务器以及服务器和服务器之间的实况或按需点播连接。从而保证了不间断的媒体浏览体验。,FastReconnect可以被使用任何一种默认连接协议（MMS、HTTP和RTSP）进行连接的客户端所使用。广播和按需点播流均可以使用FastReconnect。,3）服务器端的播放列表WindowsMedia服务器端的播放列表建立在SynchronizedMultimediaIntegrationLanguage（SMIL）2.0标准的基础之上。对于为个人计算机和便携式设备上的媒体播放准备内容来说，它是一种强有力的机制。广播和按需点播发布点都可以通过服务器上的播放列表以流媒体形式播发内容。,服务器端的播放列表包含了实况或者预先制作完毕的内容，可以利用单播或多播传输交付给用户。,4）使用服务器端的播放列表以下是一些能够使用服务器端的播放列表完成的工作：1以流媒体形式发送无限制的内容序列，重复播发内容，或者设定内容的持续播发时间。2以流媒体形式将内容播发到诸如手持个人计算机或者机顶盒这样不支持客户端播放列表的设备上。3插入广告，或者将站点标识或者赞助商信息包括在内容之中。,4中断节目内容，播放广告或者紧急通知。5使用ASP或CGI脚本在播放列表每次发生循环时动态显示广告。6在实况和存储的流内容之间切换，而客户端感觉不到任何延迟。,7动态修改和保存播放列表，或者根据用户档案或喜好随时建立播放列表。8通过包括WindowsMediaEncoder或其它服务器在内的各种内容来源以流媒体形式发送内容。9实现播放列表的相互嵌套。10广告,以流媒体形式播放广告是通过Web站点获取收入的一种好方法。WindowsMediaServices通过和第三方广告服务器集成，能够允许您以如下方式播放广告：1.在播放列表的开始和结束处放置广告，或者在播放列表的任何位置放置广告。2.根据用户的国家、地区、区域或者其它地理信息动态改变广告内容。,3.根据来自cookies或者其它数据收集工具的信息实现广告的个性化。4.在广告上附加信息以满足转播方面的规定，例如AmericanFederationofTelevisionandRadioArtists（美国联邦电视及广播播放，AFTRA）中的规定。5.记录广告数据，例如特定广播中播放的广告数量，或者观看了整个广告的用户数量。,使用WindowsMedia大致有下面六个方面的内容1.WindowsMedia工具创建.asf文件2.WindowsMedia编码器创建.asf文件3.WindowsMedia编码器将实况流发布到WindowMedia中，用作单播或组播内容4.WindowsMedia服务器使用.asf文件作为单播或组播内容源5.WindowsMedia服务器通过单播方式把内容播放到客户端6.WindowsMedia服务器通过组播方式把内容播放到客户端,四、windowsmedia服务协议,1.mms（microsoftmediaserverprotocol）用来访问并进行流式接收windowsmedia服务器中asf文件的一种协议。mms协议用于访问windowsmedia发布点上的单播内容。,如果想从windowsmediaplayer连接到发布点，就必须指定URL。如果流媒体在主发布点点播发布，则URL由服务器名和.asf文件名组成。URL的基本形式为mms:/windows_media_server/sample.asf,其中windows_media_server是服务器名sample.asf是要访问的流媒体文件名。,2.MSBDMediaStreamBroadcastDistribution流媒体广播分发协议。用于在windowsmedia编码器和windowsmedia服务器组件之间分发流，并在服务器间传递流。Windowsmedia编码器最多可支持15个MSBD客户端，而一个windowsmedia服务器最多可支持5个MSBD客户端。,MSBD是应用于windowsmedia编码器和windowsmedia服务器之间的。MMS是应用于服务器和客户端之间的。在windowsmedia编码器7.0往后的版本，已经不支持MSBD协议，改用了HTTP协议。,3.HTTPhttp流可用来由windowsmedia编码器通过防火墙到windowsmedia服务器，并可用以连接被防火墙隔离的windowsmedia服务器。通过web服务器就可以访问并播放流媒体文件，为什么还要使用windowsmedia服务器呢？,2.3流媒体的制作,、Real流媒体制作RealMedia使用RealSystemProducer。必须创建编码任务，以完成文件编码。每一次任务，都要指定输入和输出，然后选择编码设置。在任务建立后，点击start按钮，编码过程开始。,1制作流程,Real流媒体的制作流程如下图,原始音频视频文件,音频视频采集,数字文件(.aiff,.avi,.mov,.mpeg,.wav),编码,Real流音频流视频,流媒体文件最初的形式常常是未压缩的数字多媒体格式。对于不同的操作系统，源文件的格式也是不一样的，Windows:.wav,.aviMacintosh:.mov，.aiff将这些源文件导入计算机之后，通常要使用一些音频视频的编码软件编辑一下，然后就可以使用Real的编码软件编码为Real格式的流媒体了。,Real公司最新的编码软件HelixProducer不仅可以保存编码后的Real流媒体文件，更可以直接连接HelixServer服务器进行直播。编码之后可以使用HelixRealMediaEditor进行编辑，也包括建立SMIL文件，利用SMIL语言对流媒体进行组合，布局，裁切等等。编码和编辑完成之后，就可以通过HelixServer在网络上广播流媒体了。,2、文件类型,Real的文件类型很多，他们的关系如下RM音频RealOnePlayerRM视频SMILRAMRPMRealPix嵌入Web浏览器RealText,RM文件编码之后，成为RM音频或视频文件。这些文件是Real流媒体的核心。RM文件被放置在HelixServer的内容目录下，等待网上广播。RealPix是图片演示文件。使用RealPix标记语言制作的RP(.rp)文件，可以将多张图象组织成为演示。RealPix不仅可以控制演示的时间链，还可以制作出复杂的布局和切换效果。在一些外国的新闻网站上，可以看到使用RealPix制作的新闻图片展示。,RealText是文字演示文件。使用RealText标记语言制作的RT(.rt)文件，可以有各种效果的文字演示效果。注意，很少有单独使用RealText文件的。它通常要和上面三种文件配合使用，例如配合RM视频，制作字幕效果等。SMILRM,RealPix,RealText都是单独的演示文件，他们都要通过SMIL组合在一起。SMIL的功能主要体现在：,1）组合Real流媒体文件；2）控制RealOne播放器播放时的布局；3）进行时间控制。SMIL（.smil）与RealPix，RealText一样，都是使用文本编辑软件制作的。,RAM通过RAM文件才能够连接到Real流媒体，不能直接连接。在网页上加入到RAM文件的连接，最大的作用是在单击的时候可以直接打开RealOne播放器播放RAM文件中设定的流媒体文件。如果要将流媒体嵌入在网页上播放就将RAM文件的结尾文件名改为.rpm.,3、RealProducer流媒体编码,从最初的源文件到最后用户播放器中的流媒体文件，其过程如下：1）引入文件或者是直接获取播放的音频或视频到编码软件中，Real流媒体使用的编码软件就是RealProducer2)编码软件使用编解码器(codecs)将源文件压缩打包,3）打包的文件通过Internet或者局域网传送给用户。Real流媒体通常使用RealServer传送文件4）在用户端，使用同样的编解码器解开文件包，然后播放。RealOne是标准的播放软件。思考：如果将一个MOV格式的文件使用RealProducer转化为Real流媒体，需要如何做？,（一）RealProducer界面布局,RealProducer使用步骤：首先新建任务，设置输入的视频或音频。在设置输出的视