视频云资源汇聚服务技术研究与应用1

..PAGE2.v.视频云资源会聚效劳技术研究与应用〔一〕课题背景进入互联网时代，企事业单位、政府组织和个人生成的信息总量急剧膨胀。对于来源繁多的信息资料，专业人士根据信息的格式加以划分，将其分为构造化信息和非构造化信息两大类。构造化信息是可以数字化的数据信息，可以方便地通过计算机和数据库技术进展管理。无法完全数字化的信息称为非构造化信息，如文档文件、图片、图纸资料、缩微胶片等。这些资源中拥有大量的有价值的信息[1]。现在这类非构造化信息正以成倍的速度增长，据统计，目前构造化信息占信息资源总量20%，而包括文本、文档、电子、网页、图像、图形、音频、视频等多媒体信息，非构造化信息占据总量80%[1]，根据行业估计结果，超过85%的商业信息来源以非构造化形式表现，虽然许多企业都拥有数据库管理系统，但只有不到5%的非构造化数据进展了数字化管理[2]。"搜索和数据库开展到了今天，人们早已达成一种共识，未来的信息将更多的由非构造化信息构成，非构造化信息的处理存在着更多的成长空间，非构造化信息技术促成的产业规模也将比数据库的产业规模更为庞大[3]"。如何整合、访问、分析、挖掘和利用这些海量信息资源，成为各行各业〔包括航空航天、经济金融、电信、工业控制、图书档案、科学研究、工程设计、因特网等〕增强组织机构业务核心能力的一个关键。〔二〕课题介绍1、资源会聚效劳介绍随着网络信息与效劳应用趋于海量，互联网上广泛的信息共享和信息应用逐渐受到数据海量、分布异构、处理复杂、使用繁琐等问题的制约。针对这些问题迫切需要新的解决方案和核心技术来管理整合以及处理海量分布的各种应用信息，从而建立协同的工作环境实现更广泛的效劳种类之间的聚合。满足日益增长的用户体验需求。聚合[4-5](mashup)是在复杂异构的网络环境下整合内容和效劳的有效方式。通过把松散的互联网资源和效劳集成起来提供创新的增值的应用效劳，国内外已有很多对聚合技术的研究。聚合效劳定义，是指利用运营商的技术和平台，聚集多领域的资源和能力，整合各种信息、内容和应用，将不同主题提供的业务与效劳有机的结合在一起，“一站式〞地提供应客户，从而满足客户泛在化和一体化的需求，并为客户创造额外价值的一种效劳。2、视频播放效劳质量〔QOS〕介绍视频质量有三个要素：感觉和听觉、网络传输完整性、用户访问所需内容方便性。下列图显示了主要网络行为和相关性能指标。A〕QoE体验质量用户感观体验；数学模型(如MOS)可以给予视频分析预测感观质量；其他重要QoE因素包含图像冻结和黑屏B〕QoS效劳质量表达网络传输性能；标准ETSITR101290提供了对MPEG丧失和效劳类型参数的详细描述；其他指标同样可以表示包延时和抖动C〕会话控制分析用户视频趋势和网络响应；视频流协议分析可以诊断网络性能；同时，该分析可以进展商业智能，掌握视频点播趋势。〔三〕资源会聚效劳研究内容1、P2P资源的搜索对等网络〔Peer-to-Peer，简称P2P〕是一种网络模型，在这种网络中所有的节点都是对等点，各个节点具有一样的责任与能力并协同完成任务。P2P网络中用户在个人计算机之间直接进展资源和效劳的共享，而不是像传统的客户端/效劳器〔C/S〕构造那样需要经过效劳器的介入和效劳。在P2P网络中，每台个人计算机同时充当效劳器和客户端的角色，当需要其他计算机的文件或者效劳时，两台计算机直接建立联系，本机是客户端。而当响应其他计算机的资源要求时，本机又成为提供资源与效劳的效劳器。通常这些资源和效劳包括：文件的共享与交换。目前常用的P2P网络的分类方法根据其拓扑构造分为构造化P2P网络、松散构造化P2P和非构造化P2P网络。构造化P2P网络是指网络拓扑构造固定，典型代表是Napster，这类网络提供了文件逻辑地址和文件存储地址之间的映射关系，从而保证有效路由，并保证最终找到目标节点，而非构造化P2P网络中，节点之间是任意连接的，资源的放置无任何规律。与构造化P2P网络搜索相比，非构造化P2P网络搜索效率较低，资源确定性比拟差，这也使得非构造化P2P网络的搜索算法一直是人们研究的重点。本地资源存储存储的视频信息，要求以视频流的形式通过网络接口发送给客户端，响应客户的交互请求，并保证视频流的连续输出。然而视频信息具有实时性要求，其一、必须以恒定的速率播放，否那么会引起画面的抖动;其二、在视频流中包含的多种信号必须保持同步，如画面的配音必须与口型一致等。视频数据的存取方式，将直接影响视频效劳器提供的交互效劳，如快进和快倒等功能的实现。此外，视频具有数据量大的特点，一般的文件系统在处理实时多媒体文件时，已无法满足视频信息的高容量、高读写速率的需求[6]。视频行业对存储系统的性能有明确的指标要求，除了磁盘读写速度、空间利用率等量化指标外，还要求提供高效的索引机制，支持对视频数据的快速检索和播放控制。具体地讲，视频存储的功能和性能需求包括以下几方面[7-8]:(l)可靠的视频索引和存储CDN数字视频系统通常包含多个相互独立的分发点，分布在各分发点处的设备包含采集数据，由视频效劳器对图像数据进展压缩编码存储在大容量存储设备中，并通过IP网络传输到监控中心或远程终端，通过网络实时观看、实时操控。由于存在多个视频源，存储设备必须具有实时接收和存储多路视频的能力;同时，还当具备处理并发访问的能力，能够同时为多个用户提供视频检索、下载和在线浏览效劳。高可靠性和高FO速率是视频对存储设备最根本的要求。检索速度是衡量存储系统性能的关键指标之一。视频文件在存储设备上的高效布局、失效恢复机制及磁盘优化调度[9]，能够增加存储系统的可靠性和检索的速度。另一方面，视频数据包含大量的构造信息及语义信息，视频监控的每个通道在不同时间内可能设置不同的录像参数，如编码格式、分辨率、亮度、比照度、色度等;根据触发方式，还会产生定时、手动、报警等不同类型的录像，录像参数的改变往往与特定的操作或事件相联系。在视频数据存储过程中，对这些信息加以注解，将对数据检索提供很大的帮助。(2)分布式视频效劳CDN数字视频系统为分发点或远程终端提供视频的浏览、检索、回放等功能。带宽是因特网上的有限资源，使用帧间压缩产生的视频编码形成连续的位流，网络视频信息是一种多媒体实时数据，在Internet上的传输有严格的时间限制，通常要求高带宽、低延时和低抖动。为实现灵活的播放控制，如开场、暂停、快进、快退等操作，至少要为视频数据建立帧一级的索引。随着网络的开展，分布式多媒体应用对网络的资源管理、过失控制、流量控制、速率控制以及效劳质量提出了新的挑战，基于GO-Back-N重传机制的TCP己经不适应新的需求。为解决IP网络环境中传输实时数据存在的延迟、抖动、失等问题，支持网络实时传输效劳需要采用新的网络协议如实时传输协议包丢RTP和实时传输控制协议RTCP等，它们建立在这些传输方式的研究也十分必要。(3)远程管理网络化是CDN数字视频开展的必然趋势。所谓网络化，不仅包括数据采集的网络化，也包括数据存储的网络化;不仅包括视频传输的网络化，也包括指令传输的网络化。存储系统必须提供一组预定义的远程管理接口，分布式的网络成为可能。(4)智能存储与检索使得构建大规模、智能存储与检索是CDN数字视频重要目标。智能化视频处理技术就能弥补传统视频系统缺乏智能因素的缺陷，它有录像数据功能，而且有效的分类存储，这样用户就可以通过关键词、例如图像等方式，快速检索到感兴趣的视频片段或目标图像。信息网络技术开展迅速，芯片制作工艺日新月异。随着CDN视频系统应用，需求增长与日剧增，极大地促进了存储技术的开展。存储介质更加多样化，更加可靠，稳定;存储架构日趋完善;优化存储性能的算法越来越成熟。(四)计算机存储系统体系构造存储器的层次构造一般分为五层，按访问速度从高往低分别是存放器、高速缓冲存储器(有的机器又把高速缓存分为二层)、主存储器、磁盘存储器和脱机外围设备(如磁带和光盘)[10]。由于目前的技术无法使存储器极为迅速(快于执行一条指令，这样CPU不会受到存储器的限制)、充分大，并且非常廉价，于是采用了不同的处理方式。存储器系统以一种分层次的构造构造[11]。在信息产业蓬勃开展的今天，存储作为一个独立的产业日趋明显，因而也被称为第三次信息技术的浪潮。数据形式从单一的文本到复杂的多媒体信息，数据量也经历了一个个数量级的跨越。这对存储系统的容量和速度提出了空前的要求，对数据传输、管理、维护，存储体系构造等提出了全面的挑战。采用原有的效劳器架构，单个磁盘沉着量和读写速度上已经成为一个性能瓶颈，高效的信息共享也成为一个难点[11-12]。1、存储技术的开展动态上世纪80-90年代，以磁盘阵列为代表的外部存储的出现，逐渐催生了独立存储产业。传统的以效劳器为中心的DAS(DirectAttachedStorage)方式(这种方式RAID硬盘阵列直接安装到网络系统效劳上)。已不能满足用户的需求，越来越多的用户己从原来的‘效劳器中心’模式转换为以‘数据为中心’的NS和SAN上[11-12]。NAS源于以太网的数据访问技术，并以网络文件效劳器为模型。SAN产品基于SCSI存储技术，并包括一系列用于I/O路径的成熟产品，包括主机I/O控制器、存储设备和存储子系统。一些引人注目的SAN产品还使用交换机和集线器来代替并行的SCSI总线。NAS产品比SAN产品早假设干年问世。因此，当SAN产品最终出现时，出现了大量关于两种技术关系的争论。两种技术的支持者都试图说服对方，这种情况逐渐演变为一个小小的争端。这导致了一些有趣的分析，包括试图将两种技术区分为不同的体系构造。尽管两种技术在体系构造上不同，但总体而言它们之间的一样点多于不同点，并且有可能被集成到一起。实际上，很有可能NAS和SAN技术会最终被集成到一起，并被视为未来存储网络产品的不同特点[13]。(l)附网存储(networkattachedstorage)简称NAS在这种新的存储构造中，存储系统不再通过I/O总线附属于某个特定的效劳器或客户机，而是直接通过网络接口与网络直接相连，由用户通过网络访问[14]。与附属于效劳器的存储系统相比，附网存储系统具有非常好的可扩展性(scalability)，并且由于数据不再通过效劳器内存转发(这会引起额外延迟和阻塞)，数据直接在客户机和存储设备间传送(即所谓第三方传送)，效劳器仅起控制管理的作用，因而具有更快的响应速度和更高的数据带宽。另外，对效劳器的要求降低，可大大降低效劳器本钱，这样就有利于高性能存储系统在更广的范围内普及应用。(2)存储局域网(SAN)存储局域网是一种利用FibreChannel等存储协议连接起来的可以在存储资源和效劳器之间建立直接的数据连接的高速计算机网络[15]。特别要指出的是，存储局域网与附网存储不同，它是一个网络，是从体系构造方面去看的，而附网存储实际上是挂接在网络上的存储设备。与LAN不同的是SAN针对存储进展了优化，通常使用专用的存储协议，比方SCSI，而不是LAN使用的诸如TCP/IP之类的通信协议。光纤通道把多个存储设备和效劳器连接在一起形成一个存储局域网，存储设备可以共同构成一个存储池，存储设备和效劳器都可以很方便的添加到网络中去，具有较好的可扩展性。存储设备从效劳器别离出来，与效劳器形成一个多对多的关系，存储设备上的数据容易被其它效劳器共享，存储设备之间的数据迁移也变得很容易。采用存储局域网，数据的备份、恢复、迁移都是通过存储局域网本身来完成，而不需要借助于效劳器和现有的LAN/WAN，大大减少了现有效劳器和网络的工作负载。由于采用的是具有高带宽的光纤通道，所以整个存储网络具有较高的数传率，数据访问性能较好，另外存储设备都集中在一个网络上，便于管理，节省了管理开销。存储局域网由于其较高的数传率，特别适合于音频、视频这一类大容量数据的存储。另外由于它较好的数据可用性，数据易于备份、恢复、迁移等特点，使得它在众多企业网的构建中发挥了较大的作用。早先的SAN采用的是光纤通道技术，所在以iSCSI出现以前，SAN多半单指FC而言。一直到iSCSI问世，为了方便区分，业界才分别以FC-SAN及iSCSI-SAN的称呼加以分辨[16]。2、视频存储研究主要内容及成果数字视频是由帧序列组成的，由于视频流的大数据量和高速数据传输，尽管采用不同的存储体系构造，大多数视频存储效劳器仍建立在大容量磁盘存储设备之上。视频文件在磁盘上的高效布局、磁盘控制器的优化调度以及统计准入控制策略、失效恢复策略这些关键技术对于视频数据的高效、可靠存储、检索与传输都具有重要的作用，是视频存储研究所要关注的内容。为了高效利用磁盘阵列，多媒体效劳器都将这些媒体流交织存放在阵列的各磁盘中。文献[17]通过建立分析模型来确定条纹单元和条纹度。自从移动磁头磁盘创造以来，己经出现了许多算法通过磁盘访问的智能调度改善I/O性能。如best-effort效劳请求的优化磁盘调度算法，实时期限效劳请求优化磁盘调度算法等[18]。在为一个新客户提供效劳前，多媒体效劳器必须使用准入控制算法来决定一个新客户的参加是否与正在效劳的客户连续播放请求相冲突。文献[17]提出基于观察的准入控制算法和自适应准入控制算法。弹性丧失JPEG和MPEG算法[18]，利用人类的感觉容忍性和视频流的空间和时间冗余来近似地重构失效存储在磁盘上的资料。基于校验的失效恢复算法[17]，使用视频流的顺序特性来减少RAID数组的联机恢复开销。集成多媒体文件系统[19]的提出旨在支持多种数据类型的存储和检索，将不同的技术集成到文件系统是一个挑战，极大地加大了文件系统的复杂性。〔五〕技术方案

非构造化数据管理系统——视频存储构造

建立非构造化数据管理系统——视频存储构造，支持非构造化数据的视频统一建模、信息抽取、查询处理，实现体系构造可扩展性，实现多种存储方式，支持网络分布式环境下海量非构造化数据中视频的处理、支持管理功能。(六)课题方案1、2012年09月-2012年11月，查阅有关文献资料，明确课题的目标。确定到底是做资源存储还是QOS视频质量，还是都写进来。2、2012年12月-2013年02月，参阅所需各种资料，熟悉存储各种方法，提出新的、高效的可用算法。3、2013年03月-2013年06月，将所提出的新型算法编写成程序，为未来的测试做下根底。同时准备所需要测试的准备工作，比方效劳器，以及随机大量视频资源用于测试。4、2013年06月-2013年09月，将程序在机器中测试，总结经历，对算法的优缺点进展总结。5、2013年09月-2013年11月，进一步完善所作的工作，完成毕业论文。参考文献[1]拓尔思(300229)研究报告data.eastmoney./report/20110629/41fad6c1-b410-5664-b974-a3fe8b314390.html[2]王东临,.sciencetimes../co138/co197/article.html?id=67517[4]MiahSJ,GammackJ，Amashuparchitectureforwebend-userapplicationdesigns[C]//2ndIEEEInternationalConferenceonDigitalEcosystemsandTechnologies.Phitsanulok,Thailand:IEEEputerSociety,2008:532-537.[5]BenslimaneD,DustdarS,ShethA.Servicesmashups:thenewgenerationofwebapplication[J].IEEEInternetputing,2008,12(5):13-15.[6]wiki.mbalib./zh-tw/非构造化信息[6]蔡明，任绮年，易剑光.视频监控系统中的视频存储系统的设计与实现.江南大学学报(自然科学版),2003,2(2):115-l18,123[7]李立群.嵌入式视频存储和检索系统的设计与实现.中国人民解放军信息工程大学硕士学位论文,2006[8]X富强.数字视频监控系统开发及应用.机械工业,2003[9]PrashantJ.Shenoy,PawanGoyal,SriramS.Rao,HarriekM.Vin.SymPhony:AnIntegratedMultimediaFileSystem.InProceedingsoftheACM/SPIEMultimediaputingandNetworking.ACM,NewYork,1998:124-138[10]陆正武.面向流媒体应用存储系统的研究与实现.华中科技大学硕士学位论文,2004[11]Anderew5.Tanenbaum著,陈向群,马洪兵译.现代操作系统.机械工业,2005[12]邓伟.存储的前世今生—存储设备比照及应用.中国交通信息产业,2007(7):101-102[13]X雪明.基于嵌入式Linux的网络存储的实现和研究.邮电大学硕士学位论文，2005[14]谭志虎.附网存储一种新的网络存储方案.电子计算机与外部设备,1999(l):3,4[1