视频云资源汇聚服务技术研究与应用1

1 视频云资源汇聚服务技术研究与应用视频云资源汇聚服务技术研究与应用 一 课题背景 一 课题背景 进入互联网时代 企事业单位 政府组织和个人生成的信息总量急剧膨胀 对于来源繁多的信息资料 专业人士根据信息的格式加以划分 将其分为结构 化信息和非结构化信息两大类 结构化信息是可以数字化的数据信息 可以方 便地通过计算机和数据库技术进行管理 无法完全数字化的信息称为非结构化 信息 如文档文件 图片 图纸资料 缩微胶片等 这些资源中拥有大量的有 价值的信息 1 现在这类非结构化信息正以成倍的速度增长 据统计 目前结 构化信息占信息资源总量 20 而包括文本 文档 电子邮件 网页 图像 图形 音频 视频等多媒体信息 非结构化信息占据总量 80 1 根据行业估计 结果 超过 85 的商业信息来源以非结构化形式表现 虽然许多企业都拥有数 据库管理系统 但只有不到 5 的非结构化数据进行了数字化管理 2 搜索和数 据库发展到了今天 人们早已达成一种共识 未来的信息将更多的由非结构化 信息构成 非结构化信息的处理存在着更多的成长空间 非结构化信息技术促 成的产业规模也将比数据库的产业规模更为庞大 3 如何整合 访问 分析 挖掘和利用这些海量信息资源 成为各行各业 包括航空航天 经济金融 电 信 工业控制 图书档案 科学研究 工程设计 因特网等 增强组织机构业 务核心能力的一个关键 二 课题介绍 二 课题介绍 1 资源汇聚服务介绍 随着网络信息与服务应用趋于海量 互联网上广泛的信息共享和信息应用逐 渐受到数据海量 分布异构 处理复杂 使用繁琐等问题的制约 针对这些问 题迫切需要新的解决方案和核心技术来管理整合以及处理海量分布的各种应用 信息 从而建立协同的工作环境实现更广泛的服务种类之间的聚合 满足日益 增长的用户体验需求 聚合 4 5 mashup 是在复杂异构的网络环境下整合内容 和服务的有效方式 通过把松散的互联网资源和服务集成起来 提供创新的增值 的应用服务 国内外已有很多对聚合技术的研究 聚合服务定义 是指利用运营商的技术和平台 聚集多领域的资源和能力 整合各种信息 内容和应用 将不同主题提供的业务与服务有机的结合在一起 一站式 地提供给客户 从而满足客户泛在化和一体化的需求 并为客户创 造额外价值的一种服务 2 视频播放服务质量 QOS 介绍 视频质量有三个要素 感觉和听觉 网络传输完整性 用户访问所需内容方便 性 下图显示了主要网络行为和相关性能指标 A QoE 体验质量 用户感观体验 数学模型 如 MOS 可以给予视频分析预测感观质量 其他重 要 QoE 因素包含图像冻结和黑屏 B QoS 服务质量 体现网络传输性能 规范 ETSI TR 101 290 提供了对 MPEG 丢失和服务类型参 数的详细描述 其他指标同样可以表示包延时和抖动 C 会话控制 分析用户视频趋势和网络响应 视频流协议分析可以诊断网络性能 同时 该分析可以进行商业智能 掌握视频点播趋势 三 资源汇聚服务研究内容 三 资源汇聚服务研究内容 2 1 1 P2PP2P 资源的搜索资源的搜索 对等网络 Peer to Peer 简称 P2P 是一种网络模型 在这种网络中所有 的节点都是对等点 各个节点具有相同的责任与能力并协同完成任务 P2P 网 络中用户在个人计算机之间直接进行资源和服务的共享 而不是像传统的客户 端 服务器 C S 结构那样需要经过服务器的介入和服务 在 P2P 网络中 每 台个人计算机同时充当服务器和客户端的角色 当需要其他计算机的文件或者 服务时 两台计算机直接建立联系 本机是客户端 而当响应其他计算机的资 源要求时 本机又成为提供资源与服务的服务器 通常这些资源和服务包括 文件的共享与交换 目前常用的 P2P 网络的分类方法根据其拓扑结构分为结构 化 P2P 网络 松散结构化 P2P 和非结构化 P2P 网络 结构化 P2P 网络是指网络 拓扑结构固定 典型代表是 Napster 这类网络提供了文件逻辑地址和文件存 储地址之间的映射关系 从而保证有效路由 并保证最终找到目标节点 而非 结构化 P2P 网络中 节点之间是任意连接的 资源的放置无任何规律 与结构 化 P2P 网络搜索相比 非结构化 P2P 网络搜索效率较低 资源确定性比较差 这也使得非结构化 P2P 网络的搜索算法一直是人们研究的重点 2 2 本地资源存储本地资源存储 存储的视频信息 要求以视频流的形式通过网络接口发送给客户端 响应客 户的交互请求 并保证视频流的连续输出 然而视频信息具有实时性要求 其 一 必须以恒定的速率播放 否则会引起画面的抖动 其二 在视频流中包含的 多种信号必须保持同步 如画面的配音必须与口型一致等 视频数据的存取方 式 将直接影响视频服务器提供的交互服务 如快进和快倒等功能的实现 此 外 视频具有数据量大的特点 一般的文件系统在处理实时多媒体文件时 已 无法满足视 频信息的高容量 高读写速率的需求 6 视频行业对存储系统的性能有明确的指标要求 除了磁盘读写速度 空间利 用率等量化指标外 还要求提供高效的索引机制 支持对视频数据的快速检索 和播放控制 具体地讲 视频存储的功能和性能需求包括以下几方面 7 8 l 可靠的视频索引和存储 CDN 数字视频系统通常包含多个相互独立的分发点 分布在各分发点处的设 备包含采集数据 由视频服务器对图像数据进行压缩编码存储在大容量存储设 备中 并通过 IP 网络传输到监控中心或远程终端 通过网络实时观看 实时操 控 由于存在多个视频源 存储设备必须具有实时接收和存储多路视频的能力 同时 还当具备处理并发访问的能力 能够同时为多个用户提供视频检索 下 载和在线浏览服务 高可靠性和高 FO 速率是视频对存储设备最基本的要求 检 索速度是衡量存储系统性能的关键指标之一 视频文件在存储设备上的高效布 局 失效恢复机制及磁盘优化调度 9 能够增加存储系统的可靠性和检索的速 度 另一方面 视频数据包含大量的结构信息及语义信息 视频监控的每个通 道在不同时间内可能设置不同的录像参数 如编码格式 分辨率 亮度 对比 度 色度等 根据触发方式 还会产生定时 手动 报警等不同类型的录像 录 像参数的改变往往与特定的操作或事件相联系 在视频数据存储过程中 对这 些信息加以注解 将对数据检索提供很大的帮助 2 分布式视频服务 CDN 数字视频系统为分发点或远程终端提供视频的浏览 检索 回放等功能 带宽是因特网上的有限资源 使用帧间压缩产生的视频编码形成连续的位流 3 网络视频信息是一种多媒体实时数据 在 Internet 上的传输有严格的时间限制 通常要求高带宽 低延时和低抖动 为实现灵活的播放控制 如开始 暂停 快进 快退等操作 至少要为视频数据建立帧一级的索引 随着网络的发展 分布式多媒体应用对网络的资源管理 差错控制 流量控制 速率控制以及服 务质量提出了新的挑战 基于 GO Back N 重传机制的 TCP 己经不适应新的需求 为解决 IP 网络环境中传输实时数据存在的延迟 抖动 失等问题 支持网络实 时传输服务需要采用新的网络协议如实时传输协议包丢 RTP 和实时传输控制协 议 RTCP 等 它们建立在这些传输方式的研究也十分必要 3 远程管理 网络化是 CDN 数字视频发展的必然趋势 所谓网络化 不仅包括数据采集的 网络化 也包括数据存储的网络化 不仅包括视频传输的网络化 也包括指令传 输的网络化 存储系统必须提供一组预定义的远程管理接口 分布式的网络成 为可能 4 智能存储与检索 使得构建大规模 智能存储与检索是 CDN 数字视频重要目标 智能化视频处 理技术就能弥补传统视频系统缺乏智能因素的缺陷 它有录像数据功能 而且 有效的分类存储 这样用户就可以通过关键词 示例图像等方式 快速检索到 感兴趣的视频片段或目标图像 信息网络技术发展迅速 芯片制作工艺日新月异 随着 CDN 视频系统应用 需求增长与日剧增 极大地促进了存储技术的发展 存储介质更加多样化 更 加可靠 稳定 存储架构日趋完善 优化存储性能的算法越来越成熟 四四 计算机存储系统体系结构计算机存储系统体系结构 存储器的层次结构一般分为五层 按访问速度从高往低分别是寄存器 高速 缓冲存储器 有的机器又把高速缓存分为二层 主存储器 磁盘存储器和脱机 外围设备 如磁带和光盘 10 由于目前的技术无法使存储器极为迅速 快于执行一条指令 这样 CPU 不会受 到存储器的限制 充分大 并且非常便宜 于是采用了不同的处理方式 存储 器系统以一种分层次的结构构造 11 在信息产业蓬勃发展的今天 存储作为一个独立的产业日趋明显 因而也被 称为第三次信息技术的浪潮 数据形式从单一的文本到复杂的多媒体信息 数 据量也经历了一个个数量级的跨越 这对存储系统的容量和速度提出了空前的 要求 对数据传输 管理 维护 存储体系结构等提出了全面的挑战 采用原 有的服务器架构 单个磁盘从容量和读写速度上已经成为一个性能瓶颈 高效 的信息共享也成为一个难点 11 12 1 1 存储技术的发展动态 存储技术的发展动态 上世纪 80 90 年代 以磁盘阵列为代表的外部存储的出现 逐渐催生了独立 存储产业 传统的以服务器为中心的 DAS Direct Attached Storage 方式 这 种方式 RAID 硬盘阵列直接安装到网络系统服务上 已不能满足用户的需求 越来越多的用户己从原来的 服务器中心 模式转换为以 数据为中心 的 NS 和 SAN 上 11 12 NAS 源于以太网的数据访问技术 并以网络文件服务器为模型 SAN 产品基于 SCSI 存储技术 并包括一系列用于 I O 路径的成熟产品 包括主 机 I O 控制器 存储设备和存储子系统 一些引人注目的 SAN 产品还使用交换 机和集线器来代替并行的 SCSI 总线 4 NAS 产品比 SAN 产品早若干年问世 因此 当 SAN 产品最终出现时 出现了 大量关于两种技术关系的争论 两种技术的支持者都试图说服对方 这种情况 逐渐演变为一个小小的争端 这导致了一些有趣的分析 包括试图将两种技术 区分为不同的体系结构 尽管两种技术在体系结构上不同 但总体而言它们之 间的相同点多于不同点 并且有可能被集成到一起 实际上 很有可能 NAS 和 SAN 技术会最终被集成到一起 并被视为未来存储网络产品的不同特点 13 l 附网存储 network attached storage 简称 NAS 在这种新的存储结构中 存储系统不再通过 I O 总线附属于某个特定的服务 器或客户机 而是直接通过网络接口与网络直接相连 由用户通过网络访问 14 与附属于服务器的存储系统相比 附网存储系统具有非常好的可扩展性 scalability 并且由于数据不再通过服务器内存转发 这会引起额外延迟和 阻塞 数据直接在客户机和存储设备间传送 即所谓第三方传送 服务器仅起 控制管理的作用 因而具有更快的响应速度和更高的数据带宽 另外 对服务 器的要求降低 可大大降低服务器成本 这样就有利于高性能存储系统在更广 的范围内普及应用 2 存储局域网 SAN 存储局域网是一种利用 Fibre Channel 等存储协议连接起来的可以在存储资 源和服务器之间建立直接的数据连接的高速计算机网络 15 特别要指出的是 存储局域网与附网存储不同 它是一个网络 是从体系结构方面去看的 而附 网存储实际上是挂接在网络上的存储设备 与 LAN 不同的是 SAN 针对存储进行 了优化 通常使用专用的存储协议 比如 SCSI 而不是 LAN 使用的诸如 TCP IP 之类的通信协议 光纤通道把多个存储设备和服务器连接在一起形成一个存储局域网 存储设 备可以共同构成一个存储池 存储设备和服务器都可以很方便的添加到网络中 去 具有较好的可扩展性 存储设备从服务器分离出来 与服务器形成一个多 对多的关系 存储设备上的数据容易被其它服务器共享 存储设备之间的数据 迁移也变得很容易 采用存储局域网 数据的备份 恢复 迁移都是通过存储 局域网本身来完成 而不需要借助于服务器和现有的 LAN WAN 大大减少了现 有服务器和网络的工作负载 由于采用的是具有高带宽的光纤通道 所以整个 存储网络具有较高的数传率 数据访问性能较好 另外存储设备都集中在一个 网络上 便于管理 节省了管理开销 存储局域网由于其较高的数传率 特别 适合于音频 视频这一类大容量数据的存储 另外由于它较好的数据可用性 数据易于备份 恢复 迁移等特点 使得它在众多企业网的构建中发挥了较大 的作用 早先的 SAN 采用的是光纤通道技术 所在以 iSCSI 出现以前 SAN 多半单指 FC 而言 一直到 iSCSI 问世 为了方便区分 业界才分别以 FC SAN 及 iSCSI SAN 的称呼加以分辨 16 2 2 视频存储研究主要内容及成果 视频存储研究主要内容及成果 数字视频是由帧序列组成的 由于视频流的大数据量和高速数据传输 尽管 采用不同的存储体系结构 大多数视频存储服务器仍建立在大容量磁盘存储设 备之上 视频文件在磁盘上的高效布局 磁盘控制器的优化调度以及统计准入 控制策略 失效恢复策略这些关键技术对于视频数据的高效 可靠存储 检索 与传输都具有重要的作用 是视频存储研究所要关注的内容 5 为了高效利用磁盘阵列 多媒体服务器都将这些媒体流交错存放在阵列的各 磁盘中 文献 17 通过建立分析模型来确定条纹单元和条纹度 自从移动磁头磁 盘发明以来 己经出现了许多算法通过磁盘访问的智能调度改善 I O 性能 如 best effort 服务请求的优化磁盘调度算法 实时期限服务请求优化磁盘调度 算法等 18 在为一个新客户提供服务前 多媒体服务器必须使用准入控制算法来决定一 个新客户的加入是否与正在服务的客户连续播放请求相冲突 文献 17 提出基于 观察的准入控制算法和自适应准入控制算法 弹性丢失 JPEG 和 MPEG 算法 18 利用人类的感觉容忍性和视频流的空间和时 间冗余来近似地重构失效存储在磁盘上的资料 基于校验的失效恢复算法 17 使用视频流的顺序特性来减少 RAID 数组的联机恢复开销 集成多媒体文件系统 19 的提出旨在支持多种数据类型的存储和检索 将不同 的技术集成到文件系统是一个挑战 极大地加大了文件系统的复杂性 五 技术方案 五 技术方案 非结构化数据管理系统 视频存储结构 建立非结构化数据管理系统 视频存储结构 支持非结构化数据的视频统 一建模 信息抽取 查询处理 实现体系结构可扩展性 实现多种存储方式 支持网络分布式环境下海量非结构化数据中视频的处理 支持管理功能 六六 课题计划课题计划 1 2012 年 09 月 2012 年 11 月 查阅有关文献资料 明确课题的目标 确定到 底是做资源存储还是 QOS 视频质量 还是都写进来 2 2012 年 12 月 2013 年 02 月 参阅所需各种资料 熟悉存储各种方法 提出 新的 高效的可用算法 3 2013 年 03 月 2013 年 06 月 将所提出的新型算法编写成程序 为未来的测 试做下基础 同时准备所需要测试的准备工作 比如服务器 以及随机大量视 频资源用于测试 4 2013 年 06 月 2013 年 09 月 将程序在机器中测试 总结经验 对算法的优 缺点进行总结 5 2013 年 09 月 2013 年 11 月 进一步完善所作的工作 完成毕业论文 参考文献参考文献 1 拓尔思 300229 研究报告 a3fe8b314390 html 2 王东临 3 韦升阳 ECM 在系统中提炼信息 http www e 4 Miah S J Gammack J A mashup architecture for web end user application designs C 2nd IEEE International Conference on Digital Ecosystems and Technologies Phitsanulok Thailand IEEE Computer Society 2008 532 537 5 Benslimane D Dustdar S Sheth A Services mashups the new generation of web application J IEEE Internet Computing 2008 12 5 13 15 6 6 视频监控系统中的视频存储系统的设计与实现 江南大学学报 自然科学版 2003 2 2 115 l18 123 7 李立群 嵌入式视频存储和检索系统的设计与实现 中国人民解放军信息工程 大学硕士学位论文 2006 8 刘富强 数字视频监控系统开发及应用 机械工业出版社 2003 9 PrashantJ Shenoy PawanGoyal SriramS Rao HarriekM Vin SymPhony An Integrated Multimedia File System In Proceedings of the ACM SPIE Multimedia Computing and Networking ACM NewYork 1998 124 138 10 陆正武 面向流媒体应用存储系统的研究与实现 华中科技大学硕士学位论 文 2004 11 Anderew5 Tanenbaum 著 陈向群 马洪兵译 现代操作系统 机械工业出版社 2005 12 邓伟 存储的前世今生 存储设备对比及应用 中国交通信息产业 2007 7 101 102 13 张雪明 基于嵌入式 Linux 的网络存储的实现和研究 北京邮电大学硕士学 位论文 2005 14 谭志虎 附网存储一种新的网络存储方案 电子计算机与外部设备 1999 l 3 4