基于WEB的流媒体视频系统的关键功能分析.doc

电 子 科 技 大 学 UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA 工程硕士学位论文 ENGINEERING MASTER DISSERTATION 论论 文文 题题 目 目 基于基于 WEBWEB 的流媒体视频系统的关键功能分析的流媒体视频系统的关键功能分析 工工 程程 领领 域 域 软软 件件 工工 程程 指指 导导 教教 师 师 王伟东王伟东 作作 者者 姓姓 名 名 冯里德冯里德 班班 学学 号 号 200892343013200892343013 分类号 密级 UDC 学 位 论 文 基于基于 WEBWEB 的流媒体视频系统的关键功能分析的流媒体视频系统的关键功能分析 指导教师姓名 王王 伟伟 东东 电子科技大学电子科技大学 职务 职称 学位 单位名称及地址 申请学位级别 硕士 专业名称 软件工程 论文提交日期 论文答辩日期 学位授予单位和日期 答辩委员会主席 评阅人 2011 年 月 日 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果 据我所知 除了文中特别加以标注和致谢的地方 外 论文中不包含其他人已经发表或撰写过的研究成果 也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料 与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意 签名 日期 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留 使用学位论文 的规定 有权保留并向国家有关部门或机构送交论文的复印件和磁盘 允许论文被查阅和借阅 本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索 可以采用影印 缩印或扫描 等复制手段保存 汇编学位论文 保密的学位论文在解密后应遵守此规定 签名 导师签名 日期 年 月 日 摘要 I 摘 要 随着 WEB2 0 时代的来临 宽带网的各种服务迅速普及 尤其是视频服务不 断成熟 互联网行业的这些发展为网站视频系统的建立提供了必要的先决条件 网站作为网上传递信息的平台 正处于从传统图片 文字 FLASH 等媒体传播形 式向音频 视频 富媒体等新颖的传播方式升级的阶段 通过视频服务系统的建立 网站从原来仅以图片 文字为用户提供信息的方 式 发展到以图文 音视频相结合的服务方式为广大用户提供服务 本文将流媒 体协议分析入手详细介绍什么是流媒体并运用实例简单分析流媒体协议 随后本 文从流媒体代理缓存技术开始详细分析流媒体缓存技术的实现和应用 详细分析 基于 P2P 协议的流媒体系统的设计和实现 最后介绍流媒体的视频编码技术 介 绍基于 H 264 的流媒体编码技术的算法和实现 关键词 关键词 流媒体 P2P H 264 编码系统 ABSTRACT II ABSRACT With the development of the WEB2 0 the services of broadband network are becoming more and more popular especially the maturing video service These developments in the Internet industry provide the necessary prerequisites of the establishment of the web video Website as a platform for online transmission of information is in from the traditional images text FLASH and other media forms of communication to the audio video rich media and other innovative forms of communication upgrade stage With the establishment of video service system the information provided by the website now is the combination of services for the graphics audio and video instead of the information of original pictures and text etc This thesis analyzed the stream media protocol in detail and introduced the meaning of stream media and then analyzed the stream media protocol by a simple example Then the thesis described the stream media proxy cache technology in detail and the implementation and application of P2P protocols based on detailed analysis of stream media systems design and implementation Finally the thesis introduced the stream video encoding technology introduced H 264 based stream media encoding technology algorithms and implementation Keywords Stream Media P2P H 264 Coding System 目录 III 目 录 第一章第一章 绪论绪论 1 1 1 应用背景 1 1 2 流媒体技术 1 1 2 1 流媒体的系统组成及网络环境 2 1 2 2 媒体服务器硬件平台 2 1 2 3 媒体服务器软件平台 3 1 2 4 流媒体的网络环境 3 1 3 国内外现状 3 1 3 1 国外流媒体现状分析 3 1 3 2 国内流媒体发展状况 5 1 4 论文所采用的关键技术 5 1 4 1 J2EE 体系结构 6 1 4 2 MVC 设计模式 6 1 4 3 流媒体技术 7 1 4 4 基于 H 264 的集群转码技术 7 1 5 论文内容和结构 9 1 6 本章小结 10 第二章第二章 流媒体代理缓存技术分析流媒体代理缓存技术分析 11 2 1 概述 11 2 2 几种典型的流媒体缓存算法 12 2 2 1 基于间隔的缓存算法 12 目录 IV 2 2 2 选择缓存算法 12 2 2 3 基于分段的缓存 13 2 2 4 结合编码转换的缓存算法 13 2 2 5 结合可扩展编码的缓存算法 14 2 3 各种缓存算法的分析比较 16 2 4 代理缓存技术的应用 20 2 5 本章小结 20 第三章第三章 基于基于 H 264 编码的流媒体视频分析编码的流媒体视频分析 21 3 1 H 264 特点分析 21 3 2 H 264 句法元素 23 3 3 H 264 编码分析 25 3 3 1 自适应可变长编码 25 3 3 2 二进制算术编码 26 3 3 3 哥伦布编码 30 3 4 H 264 系统在流媒体中的应用 33 3 5 本章小结 35 第四章第四章 P2P 流媒体系统的设计与实现流媒体系统的设计与实现 36 4 1 P2P 协议分析 36 4 2 系统设计 38 4 2 1 设计目的 38 4 2 2 设计思想 39 4 2 3 系统整体结构设计 39 4 3 系统的实现 40 4 3 1 索引服务器的实现 40 目录 V 4 3 2 PEER 端的实现 41 4 3 3 解码器的实现 43 4 4 代码实现 44 4 5 系统测试 49 4 5 1 上传测试 49 4 5 2 下载测试 50 4 6 本章小节 51 第五章第五章 流媒体系统实例分析流媒体系统实例分析 52 5 1 概述 52 5 2 客户端版本匹配 52 5 3 加密协议接收 53 5 4 网络质量和数据测试 55 5 5 端口和地址解析 56 5 6 流媒体播放 57 5 7 本章小结 58 第六章第六章 结束语结束语 59 6 1 总结 59 6 2 下一步打算 59 参考文献参考文献 60 致谢致谢 62 第一章 绪论 1 第一章 绪 论 1 1 应用背景 随着 WEB2 0 时代的来临 宽带网的各种服务迅速普及 尤其是视频服务不 断成熟 互联网行业的这些发展为网站视频系统的建立提供了必要的先决条件 网站作为网上传递信息的平台 正处于从传统图片 文字 FLASH 等媒体传播形 式向音频 视频 富媒体等新颖的传播方式升级的阶段 通过视频服务系统的建立 网站从原来仅以图片 文字为用户提供信息的方 式 发展到以图文 音视频相结合的服务方式为广大用户提供服务 视频服务以 其不可替代的优越性正逐渐成为互联网的主要服务 视频服务系统也正在被广大 政府网站 广电网站 新闻门户以及各个垂直门户所重视 互联网行业正迎来运营的热潮 网站地产广告 视频贴片广告的成熟给网站 赢利的渠道 风险投资的关注和大力投入也给了运营网站巨大的动力和支持 本 系统以先进的技术为出发点 充分考虑运营网站的需求 为网站运营打造坚实的 系统平台 1 2 流媒体技术概述 随着互联网特别是流媒体技术的发展 视频也越来越被各大网站重视 这时 候就需要能解决实时传送音频 视频 计算机动画等多媒体格式文件的技术 在 这种要求下 产生了互联网多媒体技术和流媒体技术 简单的将 用户在收看网 站提供的互联网视频服务时不需要下载视音频格式的文件只要打开能兼容视音频 文件格式的客户端就实时能边看变下文件 这种技术就是我们所说的流媒体技术 用户在观看视频的时候只要进行缓冲 有个 10 来秒的延时时间 计算机在后台 下载视频文件 当用户关闭客户端后 视频就终止下载 用户在等待节目播放时 时间或大大缩短 并且需要太多的磁盘空间 只要有临时缓存空间就能达到目的 电子科技大学硕士学位论文 2 流媒体技术指在互联网中采用流式媒体传送技术 如 多媒体 视频 音频 文件 他在播放前只需要部分的磁盘空间 通过互联网将视频数据存放在计算机 内存上 边下边放 只是在开始时有一些延迟 其他的数据流随时传送随时播放 流式传输就是其应用的关键方式 1 2 1 流媒体的系统网络环境及组成 流媒体系统主要由以下部分组成 流媒体播放器 供客户端浏览流媒体文件 流媒体服务器 存放和控制流媒体的数据 流媒体编码工具 主要用来剪辑 创建和分析流媒体文件数据 形成流媒 体格式 可以由非编软件等来实现 使用网络 适合多媒体传输协议或实时传输协议的网络 1 2 2 媒体服务器硬件平台 客户通过装在计算机上的视频播放软件来激发放在视频服务器中的流媒体文 件 服务器上安装了流媒体播放服务端 通过特殊的流媒体播放协议来响应客户 的交互请求 保持视频流实时不断的发送和播出 根据流媒体的特点 视频信息 一般具备实时性和同步性要求 视频流必须以固定的码流进行播放 如果码流不 一致会引起画面的抖动和不稳定 如 WMV 流媒体视频格式一般需要 300k 以上 码流才能保持视频图像的清晰度和稳定性 此外 流媒体视频具有数据量大的特 性 根据他在视频服务器上的存储方式 直接关系到视频节目的交互式功能和需 求 如视频的快进和快退等功能实现 因此流媒体视频服务端必须解决用户对流 媒体视频的各种控制功能需求 当用户打开流媒体播放客户端时 根据流媒体客户端的协议地址和接口自动 激发存放在流媒体服务端上的视频文件 通过流媒体视频客户端来收看流媒体节 目 如果在流媒体服务端带宽有限的情况下 当一个新的用户申请收看流媒体节 目时 服务端会自动根据具体情况来决定是否接受用户请求 其中 系统资源包 括网络带宽 内存大小 I O 的带宽和 CPU 的使用率等情况 1 2 3 媒体服务器软件平台 流媒体视软件系统主要包括用户管理模块 发行与管理模块 流媒体制作 第一章 绪论 3 流媒体视频服务器 主要涉及流媒体的发行 制作 编码等功能 内容管理主要 完成视频存储 查寻 发行模块负责将节目提交到网页 或将视频流地址邮寄给 用户 用户管理主要包括用户的登记和授权 当节目量大时 就必须编制数据库 管理系 节目不多时可使用文件系统 流媒体视频服务将内容通过直播或点播的 方式播放 如果流媒体应用范围广 用户量大 可在不同的区域中心建立流媒体 内容分发中心 1 3 现状分析 1 3 1 国外流媒体现状分析 目前国外流媒体系统主要是由 Real 公司 微软公司与苹果公司三分天下 REAL 和微软公司是比较早的流媒体市场解决方案提供者 亚洲 在亚洲 韩国是一个增长最快的市场 至 2002 年已经有 200 万的宽 带连接 IDC Japan 于 2002 年 6 月 13 日公布了日本影视及音乐流媒体信息内容 的市场调查结果 结果显示 2001 年日本流媒体市场的规模为 84 亿日元 到 2006 年将达到 1680 亿日元规模 增长约 20 倍 欧洲 英国调查机构 Analysys 于 2001 年 1 月 16 日公布了有关流媒体市场的 调查结果 该机构预测 2006 年西欧流媒体市场规模将从 2001 年的 2500 万美元 扩大为 2 亿美元 传输量将以年平均 90 的速度增长 营业额将以年平均 50 的速度增长 规模将扩大 10 倍 美国 国际收视率调查的权威机构 Nielsen 预测 美国的网络流媒体市场将 在 2004 年达到 210 亿美元的规模 目前流视频的使用率 新技术的开发速度以 及用户对流兴趣的增强表明 美国使用流视频的人数 2005 年将到达 8400 万 为 业务提供商创收 70 多亿美元 其中通过用户每月的预订费或每次观看付费获得 的收入只占总收入的 1 6 广告收入差不多占一半 其中大部分是传统的条幅广 告 但多媒体广告也占有一席之地 另外的部分来自公司的赞助和消费者电子商 务合同的佣金 在中国的互联网流媒体市场上 已经推出大量的流媒体编解码技术的产品如 REAL WMV H 264 MPEG 1 2 等 推动了流媒体技术的应用和发展 国内厂商没有国外厂商在产品线上的领先 但是在专业领域却有着很好的发 电子科技大学硕士学位论文 4 展 尤其国内厂商熟悉中国广播电视以及流媒体的实际应用状况 因此国内产品 的竞争力也是非同小可的 目前国内的供应商主要有 广电设备专业生产商 捷 成科技 视频产品专业供应商 影佳科技 深圳亿特研究院 思华科技 上海 汉唐等 1 4 论文所采用的关键技术 1 4 1 J2EE 体系结构 流媒体系统在开发时采用 J2EE 体系结构 具有以下优点 1 平台无关性 可以根据自身的情况选择合适的硬件 操作系统 数据库 保证系统的开放性 2 保护用户投资 当用户更换平台时 由于基于 J2EE 的系统能方便地移植 到其它平台上 而无须重新开发 有效地保护用户的投资 3 广泛的支持 J2EE 技术规范得到了从国际性大公司到自由软件开发者的 广泛支持 SUN IBM ORACLE NETSCAPE BEA 等纷纷推出基于 J2EE 的 软件产品 1 4 2 MVC 设计模式 根据系统设计魔术 当一个应用系统包括多层代码时 如果不采用比较健壮 的设计方法和设计模式 在这种设计模式下 系统会出现大量其他的一场情况或 者错误情况 应用程序很容易就成为这些代码的简单混合物 由于系统的各个部分互相依赖 各模块间的强偶合 使得系统的组件代码重 用会变得相当的困难及不可实现 这种情况下 当系统任何功能模块出现不稳定 状况都会影响整个系统的正常运行 如果要新增一个新的应用模块那么就要对原 先的应用模块部分进行重新拷贝和复制黏贴 需要花费大量的重复劳动时间 也 会造成系统代码的重复和效率低下 当这样的需求在系统的多个地方提出时 当 系统中多出出现此类需求时 这时候系统就会出现很多重复和类似代码 是系统 运行效率下降并可能出现这样那样的系统错误和不稳定性 这时候 运用 MVC 软件开发方法能合理的决绝上述提出的这样那样的问题 和困难 运用 MVC 来说合计系统 能真正实现系统的三层分离即模型层 视图 第一章 绪论 5 层 控制层的分里面 视图是对软件系统模型层的一些内容的表现和反应 通过视图可以维护模型 层的一致性 稳定性和安全性 视图通过业务逻辑层来反应模型层的内容并将它 们一一呈现在用户的眼前 在这种业务模式下视图通过对自身业务的扩展来监测 业务数据层的模式改变和结构改变 视图根据业务数据的改变能主动并即时的来 改变自身的运行状态和表现状态 他能够通过主动模式和被动模式来改变自身的 状态以达到适应新情况和新要求的变化和改变 在被动模式下 相应的方法会根 据需求的变化来调用当前最新数据时 1 4 3 流媒体技术 本系统的设计原则定位在流媒体设计的先进性 以 Windows Media Service 为 基本的流媒体开发平台 它们有充分的技术优势 约占全球最大的流媒体应用 WINDOWS 系统的技术优势为 1 快速缓冲技术 客户无须下载全部内容 可以边下载边收听 收看 2 视频播放增强过滤器 当接收到视频流时 Windows Media Player 使用智 能过滤功能以删除无用数据以提高整体视频质量 在低带宽时尤其如此 3 智能传输 在网络状况不稳定时 客户端和服务器现在可以智能地降低质 量以保证持续播放 4 支持高质量的视频服务 可以提供高清晰质量的流媒体服务 5 支持电信 运营级别的大并发流媒体服务 6 支持无人值守的自动录制 7 支持分布式应用 8 支持 DRM 数字版权技术 9 支持内容标注 在不改变原文件的情况下产生新的视频段落 以 Windows Media Service 为核心服务 能很好的完成客户对点播 直播 虚 拟直播 嘉宾访谈 内容标注 互动视频 自动录制等服务的需求 1 4 4 基于 H 264 的集群转码技术 H 264 实时转码技术采用先进的 MPEG 4 AVC H 264 编码算法 基于标清和 高清标准设计开发的网络转码技术 系统支持 1080i 720p Full D1 CIF 等多种 输出分辨率 码流可在 300kbps 至 1Mbps 之间调整 适应 WEB 网络的高清播放 电子科技大学硕士学位论文 6 和低码流需要 H 264 实时转码技术提供标准 MPEG 4 AVC H 264 和高清 MPEG 4 AVC H 264 两种编码格式 经过优化的 MPEG 4 AVC H 264 编码 不仅极大的提高 了编码效率 而且 信源在 H 264 编码过程中 采用了特殊的加密技术 从而更 为有效的保护数据传输和播出的安全性 H 264 实时转码技术尤其适合在互联网 等带宽有限条件下 提供安全 清晰 流畅的视频播出 1 5 论文内容和结构 本文将流媒体协议分析入手详细介绍什么事流媒体并运用实例简单分析流媒 体协议 接下来本文将从流媒体代理缓存技术开始详细分析流媒体缓存技术的实 现和应用 详细分析基于 P2P 协议的流媒体系统的设计和实现 最后介绍流媒体 的视频编码技术 介绍基于 H 264 的流媒体编码技术的算法和实现 本文组织结 构如下 第一章 背景知识的介绍 主要介绍系统的发展现状 系统的设计依据 第二章 通过分析流媒体协议 详细介绍流媒体代理缓存技术及流媒体缓存 技术的实现和应用 第三章 详细分析流媒体的视频编码技术 介绍基于 H 264 的流媒体编码技 术的算法和实现 第四章 详细分析基于 P2P 协议的流媒体系统的设计和实现 第五章 运用实例详细分析流媒体技术的协议 第六章 阐述论文最终的成果 提出进一步改进的设想 1 6 本章小结 本章首先介绍流媒体技术的应用背景 然后分析了流媒体技术的关键技术 最后介绍论文研究内容和组织结构及取得的成果 第二章 流媒体代理缓存技术分析 7 第二章 流媒体代理缓存技术分析 2 1 概述 随着互联网系统的不断普及以及互联网技术的不断发展 多媒体应用成为互 联网应用的主流 随之出现了随着多媒体应用的普遍发展 网络带宽也越来越紧 张 导致用户的接入和观看视频的质量也随之下降 代理缓存技术就成为了解决 这一矛盾的有效技术之一 所谓代理缓存是将视频数据通过分发的手段将内容发 布到离用户最近的服务器中 当用户观看视频时刻解决带宽不够的问题 由缓存 提供服务使后续的视频流媒体请求减骨干网络和服务器的负载问题 用于提高对 用户的服务质量 如下图 2 1 所示 媒体 服务器 骨干网 代理 服务器 骨干网 客户 客户 客户 缓存 图 2 1 部署代理缓存的网络体系结构 代理缓存技术作为一种网络技术最初是用在互联网内容的分发和发布啥我那 个上 在流媒体应用方面 因为流媒体应用不同于一般的网络应用 它具有以下 特点 第一 流媒体的分发需要在一段时间持续占用巨大的网络带宽和磁盘 I O 贷 款 降低网络的带宽消耗和硬件的资源消耗是流媒体应用的主要内容之一 第二 在流媒体的播放过程中 用户往往要参与到互动中来 网络带宽质量的不同会造 成参与效果的不同 对网络缓存的管理带来困难 第三 流媒体作为一种视频技 术 在分发时需要占用大量的网络空间 如果能实现流媒体缓存像网页缓存一样 那么将大大提高流媒体的使用效果 如果不能很好进行缓存那么视频流媒体将可 电子科技大学硕士学位论文 8 能消耗大量缓存空间和带乱 将大大用户的利用率和命中率 影响系统应用 第 四 流媒体不同于一般的网页浏览 需要更高的要求比如画面质量要求高 不能 老是缓冲 视频画面不能老是抖动 这需要对流媒体服务器上的服务端进行优化 和重新配置 2 2 几种典型的流媒体缓存算法 2 2 1 基于间隔的缓存算法 基于间隔的缓存 Interval Caching 3 指对同一个流媒体对象之间的时间间隔 做缓存处理 通过显著降低服务器的 I O 读写率和吞吐量来达到缓存的目的 通 过缓存连续请求的间隔部分 这种现象主要出现在对媒体视频对象相同部分的两 个连续请求时间 目前该算法已经有很多衍生版本和扩展 最典型的是 Tewari 提 出的基于视频资源的缓存算法 4 作为视频资源缓存的约束力条件 主要是缓存 空间和传输带宽作为首要条件 针对这种算法和研究 采用了一种启发式的算法 作为流媒体应用的缓存粒度进行处理和反应 其粒度可以是临近应用的间隔比如 一个片段 一个组合 一个活动的空间等一系列媒体和条件以上应用 称为游程 run 2 2 2 选择缓存算法 在考虑磁盘容量的约束条件下 保证流媒体的正常播放 分别针对骨干链路 有无 QoS 保证时的情形 提出了不同的两种流媒体媒体数据帧选取的缓存算法 1 当骨干链路无 QoS 保证时 帧选取的原则是使得代理缓存可以为客户端播放 缓存提供尽可能多的帧 当骨干链路有 QoS 保证时 以提高网络拥塞时媒体播放 的鲁棒性帧播放选取的原则是使得骨干链路的客户端播放缓存和带宽需求最小 选择缓存算法 Selective Caching 是根据带宽情况对影响媒体播放的关键数据 或者内容有选择地缓存 当用户接入带宽资源有限的时候 确保用户观看视频不 受影响保持视频的连续行和清晰度是媒体缓存算法的主要实现目标 以部分超速率数据为对象的速率分段缓存算法 Rate Staged Caching 2 同样以 降低和提高骨干链路带宽资源需求为目标 类比于时域上的前缀缓存 速率分 第二章 流媒体代理缓存技术分析 9 段缓存算法也存在如何选取截断速率的问题 有一种算法是不以媒体数据帧为缓 存对象 而该算法针对流媒体的流式传输 对高于指定数据传输阈值的媒体数据 进行缓存 研究表明 在网络带宽和磁盘容量两个约束下 确定优化的速率是一 个复杂问题 2 2 3 基于分段的缓存 研究人员开始考虑选取部分的媒体关键内容进行缓存 将媒体内容分成前缀 Prefix 和后缀 Suffix 两个片段部分 有效性依赖于用户请求在时域上的有效性就 是基于间隔的缓存算法的主要特点 其性能有可能退化到全对象缓存 当到来请 求的时间间隔较长时 前缀缓存可以有效地降低用户播放媒体对象时的启动时延 是目前应用较为广泛的流媒体缓存技术 其不足之处在于媒体前缀部分的长度不 容易确定 在等长划分算法中 片段长度的选择是关键 文献 7 提出基于媒体的受访特 性确定等分片段的长度 可以获得比指数分段缓存或者前缀缓存更低的网络带宽 占用 8 分段缓存算法可以提供较为精细更为普遍的方式是将媒体内容分为多个 片段 即基于分段的缓存 Segment based Caching 以下简称分段缓存 这类策略 设基本的存储单位为块 block 则第 i 个片段由第 2i 1 2i 1 1 2i 1 块 构成 片段长度为 2i 1 个块 缓存粒度 带来更多的灵活性 成为目前主流的代理服务器缓存算法之一 分段策略是分段缓存的主要研究热点 依据它可以将分段缓存算法分成等长划分 和变长划分两类 由于可以通过一次性丢弃较适应缓存流行度的变化 该算法 可以取得比普通的前缀缓存更低的平均启动时延大的后续片段 来和更高的字节 命中率 分段缓存将媒体内容沿着播放时间分成多个片段 Segment 并将片段作 为存储和置换的基本单元 变长划分算法的代表是 Wu 等人 6 提出的片段长度以 指数增长的缓存算法策略 2 2 4 结合编码转换的缓存算法 随着互联网环境的不断改善和发展 用户使用的客户端也越来越复杂和高级 对媒体要求也越来越高 结合编码转换技术 动态地改变缓存内容质量和传输速 率 根据用户的请求和带宽状况 适应接入网络带宽的不同需求 此类缓存算法 可以想不同用户提供不同版本的客户端服务来达到算法的实现具体的方式由以下 电子科技大学硕士学位论文 10 两种方案构成 1 将流媒体的完整文件进行缓存 根据用户的具体请求由处于后端的代理 服务器完成缓存 这种方法对服务器的要求非常高 特别是服务器的 cpu 和内存 资源 不能较好的满足用户的需求 2 这样的存储方式难以满足所有用户对流媒体质量的不同要求 编码转换 预先由媒体服务器完成而且会对网络带宽带来较大压力 仅缓存经过编码转换后 的流媒体 有人提出了一种自适应的缓存方式 9 来解决这两种方案之间的矛盾 该算法 依据是根据代理服务器 CPU 资源和网络带宽资源的状 该算法动态地决定是缓 存原始版本还是缓存编码转换后的版本 这种方法的缺点在于可能会对同一个视 频对象缓存多个版本 对缓存空间提出了较高的要求 由于代理缓存可向服务器申请不同质量的流媒体版本 媒体服务器仍然必须 为此承担编码的负载这种算法只在缓存空间受限的情况下对缓存效率改善明显 Masahirok 10 等人则建议只为每个媒体对象缓存所得到的最高质量的版本 等同申 请 按照用户请求的质量申请 最大申请 根据网络带宽 三种不同的策略向 媒体服务器请求所需内容 但是代理服务器可以灵活地采用平均申请 根据一段 时间内用户申请质量的最大值与网络带宽比较 取较小值 Bo Shen 等人 11 提出了一种可编码转换的缓存系统为了降低媒体服务器的编 码负担 采用降低降低比特速率 bit rate reduction 和空间分辨率 spatial resolution reduction 两种编码转换技术在网络边缘完成质量自适应 根据缓存命 中后的行为和缓存版本数量 文献提出了 TEC 12 TEC 11 TEC 2 三种缓存策 略 TEC 1l 和 TEC 12 都只会对同一个缓存对象存储一个版本 TE 11 总是缓存 最高质量的 而 TEC 2 则会为同一个缓存对象存储多个版本 不同的是 TEC 12 总是缓存最低质量的 编码转换技术几乎可以达到实时的效果 20 随着信号处理技术和编码理论的 发展 大大增加了此类技术的实用性 2 2 5 结合可扩展编码的缓存算法 结合视频编码技术算法和视频编码缓存算法 视频的算法 缓存一样可以满 足不同网络环境用户的不同需求 但是它利用是可扩展编码的缓存对象 采用分 层的比特流结构对媒体数据进行压缩 获得的数据层次越多 解码出来的质量越 第二章 流媒体代理缓存技术分析 11 高可扩展编码通常也称为分层编码 所占用的带宽也越大 12 结合可扩展编码的 缓存技术的主要思路是通过向不同的客户提供编码数据的不同层次子集来达到质 量白适应 第 l 层称为增强层 其解码依赖于基本层 其余层称为基本层 可以 被独立解码 Jussi Kangasharju 首先提出了以层为单位 Revenue 缓存算法 13 缓存层次采 用启发式算法来决定为每个视频选择什么数量的缓存层次 选择建模为一个随机 背包问题 一旦满足条件 视频对象的一层都将整体被缓存 该算法以总体缓存 受益为优化目标 以网络带宽和缓存空间为约束 是其以整层作为缓存空间的利 用率有待提高 粒度也不够精细 将层次作为基本粒度 该算法充分考虑了约束 条件对缓存效率的影响 当缓存内容的质量高于用户的请求 即所缓存的层数高于用户请求的层数 时 Reza Rejaie 等人则将每一层划分为等长片段 14 代理服务缓存只需要向媒体 服务器预取那些同层次或低层次缺失的片段数据 如果缓存内容的质量低于用户 的请求 则代理服务器缓存还需要对缺失的高层次数据进行预取 Stefan Podlipnig 等人 15 提出了一个新的性能评价指标用来衡量请求命中率与 缓存质量之间的平衡程度 在原有水平和垂直的置换策略的基础上 即质量权重 命中率 提出了改进的垂直与水平相结合的置换策略 M Zink 等人提出一种无窗口大小并对可扩展编码缓存算法中的预取算法进行 了研究 实验发现 垂直与水平相结合的置换策略可以在改善字节命中率 byte hit rate BHR 和提高质量命中率 quality hit rate QHIT 之间取得较好的平衡且有 良好的适应性 如下图 2 2 所示 图 2 2 置换策略 他们提出的 Polishing 16 限制预取算法 该算法通过预取消除同一层次的裂 缝来达到降低缓存内容层次波动的目的 从质量变化频率和幅度两个方面对缓存内容进行了描述 缓存算法的目标是 电子科技大学硕士学位论文 12 使谱函数值最小的情况下 将尽可能多的缓存片段传送给用户 随着可扩展编码 技术的发展 Jiangchun Liu 等人针对采用 MPEG 4 编码的媒体提出了 FGS 缓存算 法 17 该算法在粒度划分上进一步克服了原有算法不够精细的缺点 可以将视频 对象以任意速率进行传输 该算法以在骨干链路带宽消耗和媒体传输质量之间获 得最优折衷为目标 设计了一个良好的缓存管理框架 但预取和置换方案还有待 讨论和实现 2 3 各种缓存算法的分析比较 根据是否考虑代理服务器和客户端之间网络带宽的差异性 本文将目前的流 媒体缓存技术分为针对同构网络用户和异构网络用户两类代理缓存技术 下面我 们分别对其进行了比较和分析 由表 2 1 可见 这类算法普遍存在两方面的矛盾 对基于片段的缓存算法而 言 由于片段划分策略通常支持前缀缓存 因此在降低用户启动时延方面有明显 优势 片段缓存这两个性能之间也存在着明显的权衡关系 11 例如 基于间隔的 缓存算法和选择型缓存算法分别以两个性能之一作为各自主要的性能考量 却对 另一个性能的改进不明显 一方面 代理缓存算法性能在降低用户体验时延和节 省骨干链路带宽的两个性能之间存在着折衷 这类算法中 代理服务器所服务的用户终端一般具有相同或者类似的处理能 力和接入带宽 缓存算法的设计难点在于媒体数据缓存部分的选取 上文提到的 基于间隔的缓存算法 基于分段的缓存算法 选择缓存算法 均属于针对同构网 络用户的范畴 我们对其中具有代表性的算法从在时延和带宽方面 算法扩展性 实现复杂度 进行了比较 Framc Selected 缓存提出的在网络服务质量和缓存容量的约束条件下的帧选 取算法具有较高的扩展性 但其实现复杂度也相应提高 另一方面 代理缓存算 法存在低高扩展性和复杂度之间的矛盾 例如 如选择缓存中 Interval Caching 易于实现 但是其扩展性有限 无法对时间临近度较低的用户请求做出反应 基 于间隔的缓存中 RBC 提出的多种粒度的间隔缓存提高了算法的扩展性 但是实 现 复杂度也相应增加 比较而言 Rate Staged 缓存易于实现 但是其算法扩展 性受到阈值选取优化问题的困扰 基于片段的缓存算法的复杂度和扩展性适中 因此获得了广泛的研究者关注 第二章 流媒体代理缓存技术分析 13 表 2 1 针对同构网络用户的代理缓存技术比较 算算法法 类类别别 算算法法名名称称缓缓存存数数据据的的选选取取 算算法法 复复杂杂 度度 算算法法扩扩展展性性 时时延延 性性能能 改改进进 带带宽宽节节 省省改改进进 Frame Selected Caching 1 超出速率阈值的 数据 中等 中等 速率 阈值的选取 与场景有关 中等中等 选择 缓存 Rate Staged Caching 2 部分数据帧高高中等高 Interval Caching 3 滑动间隔 滑动 间隔的组合 整 个媒体 中等高高中等基于 间隔 的缓 存 Resource based Caching 4 滑动间隔低 低 在请求 到来时域稀 疏时性能低 高中等 Adaptive and Lazy Caching 7 长度指数增加的 媒体片段 中等高高中等 Prefix Caching 5 长度相等的媒体 片段 高高高高 基于 分段 的缓 存Exponential Segment Caching 6 媒体初始前缀数 据 低 中等 前缀 长度的选取 与场景有关 高中等 结合编码转换的缓存技术主要通过传送不同编码速率版本的视频内容来为不 同需求的用户服务 从而在网络带宽 缓存空间 CPU 资源之间取得良好的平衡 结合可扩展编码和编码转换的缓存技术均属于针对异构网络用户的范畴 其研 究内容集中在如何对不同版本进行缓存 具体分析如表 2 2 所示 电子科技大学硕士学位论文 14 表 2 2 结合编码转换技术的缓存方案比较 编编码码转转换换 的的位位置置 对对异异构构网网 络络的的支支持持 资资源源需需求求 算算法法名名称称策策略略名名称称 缓缓存存质质量量依依 据据 同同目目标标缓缓 存存版版本本 数数量量CPU 存存储储 空空间间 Adaptive Caching Adaptive Caching 9 CPU 资源和 S P 带宽共 同决定 多个 位于代理 缓存 中高中中高 QA avg S P 带宽 1 个最高 质量 原始服务 器 代理 缓存 中高低 QA same C P 带宽大 小 1 个最高 质量 原始服务 器 代理 缓存 中高低 Quality Adaptive Caching 10 QA max C P 和 S P 带宽大小 1 个最高 质量 原始服务 器 代理 缓存 中高低 TEC 12 C P 带宽大 小 多个代理缓存高中高 TEC 2 C P 带宽大 小 1 个最低 质量 代理缓存中低低 Transcodin g Enabled Caching 11 TEC 11 C P 带宽大 小 1 个最高 质量 代理缓存中高低 而结合可扩展编码的缓存技术则是通过向用户提供不同编码层次集合来满足 用户不同接人速率要求 我们对该缓存采用的典型技术方案从缓存换算法 粒度 预取 缓存目标 等方面来进行了比较和分析看 不同粒度下的置换方案和预取 是其主要的研究内容 结果如表 2 3 所示 第二章 流媒体代理缓存技术分析 15 表 2 3 可扩展编码缓存技术方案比较 算算法法名名称称缓缓存存粒粒度度预预取取方方案案置置换换顺顺序序目目标标 Revenue Cache 13 层 采用无窗 口 垂直顺序置换节省网络 S P 带宽 Segment grained layering Cache l4 片段式 采用窗口 式 水平顺序置换 用于提高缓存内容的完 整性和连续性 Combined replacement Cache 15 片段式 采用窗口 式 水平顺序与垂 直顺序相结合 在质量命中率间和字节 命中率取得最佳平衡 Polishing Cache 16 片段式 采用无窗 口式大小 限制 水平顺序置换 降低视频缓存内容质量 变化的频率和幅度 FGS Cache 17 采用任意 大小方式 采用无窗 口 无顺序置换 节省网络 S P 带宽 提 高视频发送质量 在网络环境因素较简单的情况下对异构平台的缓存编码技术进行比较但也具 备可扩展编码了较高的要求 该技术也具有对包丢失敏感 同等质量下比单一层 次编码需要更多带宽等缺点 只有采用分层编码的缓存技术在这三者当中取得了较好的平衡 由于结合 编码转换技术的可扩展编码的缓存技术和缓存技术都具有各自的优势 在不同网 络环境下的不同比较场景下的结果往往不同 它将结合编码转换技术的缓存策略 分为仅缓存高质量或仅缓存低质量两个策略 分层编码采用二层编码 仿真结果 表明 高质量版本缓存总是可以得到最好的视频质量 技术可以通过发送不同层次的子集来进行灵活的质量自适应 具有缓存空间 需求小等优点 编码转换技术则可以拥有良好的容错性 但是对于缓存系统 该 技术对缓存空间提出 但是需要付出较高的网络和时延代价 低质量版本缓存虽 然拥有较低的网络负载和播放时延 但是始终无法得到较好的视频质量 考虑 5 种质量版本 从代理服务器和骨干网带宽消耗计算效率两个方面对两种缓存技术 进行了深入比较 采用 MPDC 4 精细粒度编码作为可扩展编码技术 进一步验证 了结合可扩展编码缓存技术的优越性 由于分层编码技术要比单一缓存编码技术所需要的缓存空间更大 资源开销 电子科技大学硕士学位论文 16 更广 采用这种负载极大的编码技术会导致分层编码技术效率更低 工作时间更 长 针对该问题 提出只有采用可扩展编码 混合缓存策略 编码转换技术 才 能启动在额外负载对编码技术进行影响的情况下达到最大编码效率 结合编码转 换技术的缓存策略 在中等的骨干链路带宽足够和包丢失率一般的环境下 在一 个易丢包的环境下再次对上述两种技术进行比较是最佳选择 所以 在异构的网络环境下 用户选择用什么代理缓存技术 是要考虑不同 因素和不同环境进行选择和选定的 2 4 代理缓存技术的应用 代理缓存技术可以通过缓存有效的缓解用户缓存时间和网络带宽压力 本章 节根据流媒体不同算法 根据用户的异构网络和同构网络有效的缓解了网络带宽 压力 对目前流行的不同流媒体技术进行分析和比较 重点介绍了不同缓存策略 不同缓存算法下不同流媒体播放技术的不同点和优缺点 各类流媒体缓存技术的不同算法本身就是根据用户的不同和网络环境的不同 所开发出来的 本身就具有一定的适应性和缺点 首先 作为提高缓存系统扩展性方式的合作缓存技术得到了广泛关注 流媒 体对象通过设计好的方式在合作缓存中进行缓存和高效分布 对流媒体的缓存技 术提高具有重要一应 对流媒体缓存的扩展性具有强大的指导作用 其次 随着无线网络的不断发展 建立有效的缓存策略 针对无线信道传 输用户移动 误码率高 可靠性差等特点 使得部署在无线网络边缘的传统 Internet 为无线用户提供高效的流媒体服务和代理服务器是目前研究的一个热点 2 5 本章小结 本章主要介绍了流媒体代理缓存技术的应用 详细分析了各种代理缓存技术 的算法 比较了各种代理缓存算法的优缺点 并提出了应用范围 第三章 基于 H 264 编码的流媒体视频分析 17 第三章 基于 H 264 编码的流媒体视频分析 H 264 编码技术是根据国际电信联盟 ITU T 视频技术编码专家领导组 VCEG 和国际 ISO IEC 动态视频图像专家领导组 MPEG 联合根据视频技术提出 的联合视频编码技术是国际公认的高清编码技术标准 广泛运用于各种视频编码 中 包括网络视频和平面媒体视频 是一种低码流低带宽低成本高清高效率的视 频编码技术 于此同时 H 264 也是一种较高效率和性能的编码技术 国际上木棉 制定编码技术的组织一共有两个 一个是 国际标准化组织 ISO 它制定的标准有 MPEG 1 MPEG 2 MPEG 4 等 另一个是 国际电联 ITU T 它制定的标准有 H 261 H 263 H 263 等 H 264 作为新型编码技术是两个组联合认定和发布的 编码技术 所以它既是 ISO IEC 的 MPEG 4 高级视频编码 也是 ITU T 的高级编 码技术 并且它组成了 MPEG 4 视频标准的第十部分 因此 不论是 ISO IEC 14496 10 还是 MPEG 4 Part 10 MPEG 4 AVC 他们都是指 H 264 视频编码技 术 3 1 H 264 特点分析 H 264 视频编码技术主要实现一种比其他视频编码技术更高的的标准技术 通过编码技术将视频图像分割成区块和微粒进行二次编码和制作 利用变换技术 和空域预测去除视频数据的数据冗余 利用补偿技术和运动估计主要体现的功能 特色是良好的网络交互功能 精确的编码效果 高效的编码效率 为了达到以上 目的 H 264 通过两层编码技术结构来实现 采用具有典型意义的 DCT 技术 基 于离散余弦变换 和 MC 运动补偿 的混合编码技术其一为 VCL Video Coding Layer 视频编码层 主要实现对视频格式内容的高效率压缩编码 除去 流媒体视频数据冗余特别是时间冗余 对视频的区块和微粒进行量化和熵编码 进一步去除视频文件的冗余和质量不足 此外 网络抽象层 NAL 负责在不同网 络环境下对数据进行打包和压缩 另外 H 264 视频编码技术还引入了许多新的 具备新的特性的编码方法 一遍获得更高的压缩效率 包括 8 8 色度块的 4 种预 测模式 16 16 亮度块的 4 种预测模式和 4 4 亮度块的 9 种预测模式 电子科技大学硕士学位论文 18 在具体的应用中 H 264 编码技术能提供更精确和清晰的视频质量而且具备 更稳定的网络质量 编码层的容错机制和网络抽象层的封装使其具备优秀的网络 适应性 对网络和网站流媒体应用来说是一种非常优秀的视频编码解决方案 以 下是 H 264 在网络流没提应用中的主要优势和优点 首先 根据网络流媒体应用 协议专门定义了一个视频档次 称为 Extended Profile 扩展档次 该视频档次界定了除 B 帧小图像块 小于 8x8 和算术编码 CABAC 直接预测之外的一系列视频编码工具 来适应网络和网站流媒体的 不同需要和不同适应 特别是 SP SI 帧的引入 使数据流在不同视频编码通道 下同事输出和切换 便于视频流的错误恢复 便于视频流的随机接入和拼接 第二 具备优秀的网络适应性 首先 整个视频协议由 NAL 层和 VCL 层组 成 从视频编码框架结构分析 NAL 层则负责包装编码产生的视频流 VCL 层 主要实现视频数据的压缩来适应不同网络环境的传输要求 其次 从系统的容