流媒体技术PPT教程-第一章 流媒体综述.ppt

流媒体技术 streaming media technology,南京工程学院 计算机工程学院 徐梦溪,参 考 资 料,流媒体技术宝典steve mack 著，电子工业出版社 流媒体技术与应用完全手册肖磊 等 著，清华大学出版社 多媒体通信技术李小平 等 著，北京航空航天大学出版社 ,内 容 介 绍,1. 流媒体技术概述 2. 流媒体技术的主流产品 3. 适应流式应用的多媒体编码解码技术 4. 流式文本文件的制作 5. 同步多媒体集成语言 smil 6. 流媒体的网络传输与控制协议 7. 流媒体的平台搭建 8. 流媒体的制作和发布 9. 移动流媒体技术概述 10. 流媒体相关硬件与产品,实 验 内 容,1. 各种流媒体文件格式的熟悉 2. 流媒体节目的制作 3. 流媒体的转换 4. smil的编程 5. 流媒体服务器的安装和运行 6. 流媒体的嵌入,chapter 1 流媒体综述,1. 多媒体技术 利用计算机技术把文本、图形、图像、动画、音频及视频等多种媒体综合一体化， 使之建立起逻辑上的联系， 并能够对它们进行获取、编码、编辑、处理、存储、传输和再现。,1.1 流媒体的概念,1.1.1 多媒体,2. 多媒体技术的基本特征 信息载体的多样性（采集、传输、存储、处理、呈现） 集成性（如文本、图形、图像、视频、音频） 交互性 协同性和实时性,3. 多媒体关键技术： 视频/音频数据的压缩和解压缩技术 多媒体数据存储技术 多媒体数据库技术 超文本与超媒体技术 基于内容的多媒体信息检索 多媒体通信网络技术 虚拟现实技术（涉及三维实时图形显示、三维定位跟踪、触觉及传感技术、人工智能等） 多媒体计算机的软、硬平台,4. 多媒体传播途径 信息存储媒体 网络 5. 多媒体信息特征 数据量庞大： 码率可变、突发性强 复合性信息多，同步性、实时性要求高,1.1.2 流媒体概念,流媒体：指在internet/intranet网络中使用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。 简单来说，应用流技术在网络上传输的多媒体文件。 流媒体技术：一种可以使音频、视频和其他多媒体文件能在internet及intranet上以实时的、无需下载等待的方式进行播放的技术。,real player 播放器,1.1.3 流媒体的发展历史,windows media 媒体播放器,apple公司的 quick time 播放软件,1.2 流式传输的基础,主要指通过网络传送媒体（如音频、视频）的技术总称。 其特定含义为通过internet将影视节目传送到pc机。,1.2.1 流式传输的定义,1.2.2 支持流媒体传输的网络协议,实时传输协议rtp 实时传输控制协议rtcp 实时流协议rtsp 资源预留协议rsvp 多用途internet邮件扩展协议mime (multipurpose internet mail extensions)识别流媒体类型的途径,1.2.3 流式传输的方式,1. 顺序流式传输 顺序下载，并在下载文件的同时播放在线媒体；在给定时刻，用户只能播放已下载的部分，而不能跳到还未下载的部分 http流式传输 文件播放的部分是无损下载 点播技术 2. 实时流式传输 实时传送，特别适合现场事件；支持随机访问，用户可快进或后退，以观看前面或后面的内容 需要专用的流媒体服务器与传输协议 匹配连接宽带,实时流式传输： 视频为实时广播， 或使用流式传输媒体服务器， 或应用如rtsp的实时协议,顺序流式传输： 使用http服务器,1.3 流媒体实现,预处理 缓存（环形链表结构） 传输协议：http/tcp传输控制信息；rtp/udp传输实时声音数据 流式传输的基本原理,流式传输基本原理,1.4 流媒体的网络播放方式,单播 组播 点播 广播,客户端与服务器之间的点到点连接，在客户端与媒体服务器之间建立一个单独的数据通道。,通过启用组播网络传递内容流，网络中的所有客户端共享同一流。,用户被动接收流。,客户端与服务器之间的主动的连接。,1.4 流媒体的网络播放方式（contd）,点播单播 广播单播 广播组播,客户端连接到服务器以接收特定内容，该内容也只传往一个客户端。,客户端通过发布点上的别名访问流。,被动的用户通过监视特定的ip地址接收组播asf流。,1.5 流式技术的主要解决方案,组成：real producer, real server, client software 流媒体文件：real audio, real video, real presentation, real flash sure stream技术：自动地并持续地调整数据流的流量以适应实际应用中的各种不同网络带宽需求；在网上实现音频、视频和三维动画的回放,1.5.1 real system,1.5.2 windows media technology,asf是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。 组成：media tools, media server, media player,保证文件的保密性， 不被未授权下载， 使每个使用者都能以最佳的影片品质 浏览网页， 具有多种文件发布形式 和监控管理功能。,提供 流信息的 播放功能,1.5.3 quick time,组成：quick time streaming server, quick time player, quick time pro, picture viewer, quick time plug-in unit 支持流类型：实时流和快速启动流,rtp 传输数据,http/ftp 传输数据,macromedia的shockwave技术 在web页面中加入图像、动画以及交互式界面等操作 产品：flash, shockwave for authorware, shockwave for director meatacreation的meta stream技术 在网上创建、发布及浏览被缩放的3d图形 eg. 游戏开发厂商、页面设计者、电子商务,1.6 流媒体文件格式,1.6.1 压缩媒体文件格式,常用视频、音频压缩文件类型,文件压缩过程,1.6.2 流式文件格式,常用流式文件格式,流式文件编码过程,1.6.3 媒体发布格式,常用媒体发布格式,1.7 流媒体系统的构成,包括媒体采集与编码 转档 / 转码软件：可将普通格式的音频、视频或动画媒体文件通过压缩转换为流服务器进行流式传输的流格式文件。（real producer, windows media encoder） 流媒体编辑软件：对流媒体文件进行编辑，常与转档 / 转码软件捆绑在一起。 合成软件：可将各类图片、声音、文字、视频、幻灯片或网页同步，并合成为一个流媒体文件。（real slide show, real presenter, windows media author） 编程软件：可开发流式传输的新数据类型，创建客户端应用，自定义流媒体系统。（sdk）,1.7.1 媒体内容制作,1.7.2 媒体内容管理,包括流媒体文件的存储、查询及节目管理、创建和发布。 视频业务管理媒体发布系统：包括广播和点播的管理，节目管理，创建、发布及计费认证服务，提供定时按需录制、直播、传送节目的解决方案，管理用户访问及多服务器系统负载均衡调度的服务。 媒体存储系统：必须配备大容量的磁盘阵列，具有高性能的数据读写能力，访问共享数据，高速传输外界请求数据，并具有高度的可扩展性、兼容性，支持标准的接口。 媒体内容自动索引检索系统：对媒体源进行标记，捕捉音频、视频文件并建立索引，建立高分辨率媒体的低分辨率代理文件。,1.7.3 用户管理,涉及用户的登记、授权、计费和认证 用户身份验证：限制非法用户使用系统 计费系统：根据用户访问的内容或时间进行相应的费用统计 媒体数字版权加密系统（drm）：允许内容提供商在其发布的媒体或节目中对指定的时间段、观看次数及其内容进行加密和保护。,1.7.4 视频服务器,网络视频的核心 采用时间片调度算法 存储量大，数据率高，具备接纳控制、请求处理、数据检索、按流传送等功能 存储设备多采用scsi接口，以确保高速、并行、多重i/o总线能力 流媒体系统通常支持多服务器协同工作，服务器之间能自动进行负载均衡,1.7.5 客户端系统,支持实时音频、视频直播和点播 可嵌入到流行的浏览器中 可播放多种流行的媒体格式 支持流媒体中的多种媒体形式 带宽充裕时，可自动侦测视频服务器的连接状态，选用更适合的视频,点播型应用 在同一时间可多点点播相同或不同的节目 eg. 视频点播（vod），电子商务，网络广告，远程教育 直播型应用 用户只能观看播放的内容，无法进行控制 eg. internet的多媒体新闻发布，重大体育赛事，重大时事的视频直播 会议型应用 一般双方都要有包括媒体采集的硬件和软件，还有流传输技术 eg. 会议研讨，ip可视电话，实时视频会议,1.8 流媒体的应用,the end,超文本与超媒体技术,建立并使用信息之间的链接结构 非线性结构 以结点作为表达信息的一个单位 组织信息在结点之间通过表示它们之间关系的超链接加以连接，构成表达特定内容的信息网络,基于内容的多媒体信息检索,基于内容的检索：以媒体所包含的内容信息作为媒体的索引 利用图像处理、模式识别、计算机视觉、图像理解等领域的知识作为基础，还需从认知科学、人工智能、数据