刘奇论文答辩后最终修改版

分类号： 单位代码： 10033 密 级： 学 号： 133520085211001 硕士学位论文中文论文题目：基于素材价值评估模型的电台分级存储系统数据迁移技术的研究英文论文题目：Study on Data Migration Technology in Radio HSM System Based on Material Value Evaluation Model申请人姓名： 刘奇 指导教师： 王永滨 专业名称： 计算机技术 研究方向： 网络多媒体 所在学院： 计算机学院 论文提交日期 2015年5月 中国传媒大学研究生学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 中国传媒大学 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名： 签字日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解 中国传媒大学 有权保留并向国家有关部门或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权中国传媒大学可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位， 年 月 日中国传媒大学硕士学位论文 致谢致谢时光飞逝，一转眼已经到了研究生阶段的尾声，我也即将结束自己的学生生活。尽管在广院只待了短短两年的时间，我已被这里的气息所深深地感染了。这两年的研究生生活让我掌握了许多专业的知识，并且对生活和工作都有了更加深入的领悟和体会。在离开校园的最后的日子里，我想对身边陪我走过最后一个学生时期的所有老师和同学们表达我深深地感谢。首先，十分感谢我的导师王永滨老师。王老师对待科研态度严谨、对待工作严肃认真，对待学生关怀备至，是一个令人敬佩的好导师。我的毕业论文的撰写也一直得到王老师的帮助和支持。感谢王老师平时在学习和生活上对我的关心和帮助，同时感谢您在工作上给予我的鼓励，让我对自己更有信心。感谢您两年来对我的关怀和帮助，能成为您的学生，我觉得非常的幸运。感谢我的另一位导师王琦老师。王琦老师一直非常平易近人，对待我也非常有耐心。不管是找工作、写毕业论文还是平时的学习和生活，当我遇到困难和问题的时候，王琦老师都会十分耐心的帮我分析问题，解决问题。王琦老师在工作和科研上也非常的认真和细心，真的让我受益匪浅。是您带领我进入存储领域，学到了很多专业知识，并且为我指明了研究方向。从毕业论文的选题到完成，王琦老师给予了我非常大的帮助，百忙之中仍然抽出时间认真审阅论文，为我的论文提出了非常宝贵的意见。感谢您一直以来对我的关心和帮助，也要感谢您对我的宽容和信任。此外，还要感谢实验室的曹轶臻老师、伏文龙老师、杨丽芳老师和孙书涛老师的帮助和指导，以及项目组的臧艳娇、刘龙、徐丽红等各位同学在项目和论文上对我的帮助。感谢我的室友，谢谢你们在论文写作的过程中给予我的支持。谢谢我的父母对我的关怀和学业上的支持。感谢学院的各位老师两年来对我的帮助与栽培。谢谢母校为我提供了舒适、自由的学习和生活的环境。最后感谢参与评审和答辩的各位老师，谢谢你们抽出宝贵的时间对我的论文进行评阅。V中国传媒大学硕士学位论文 摘要基于素材价值评估模型的电台分级存储系统数据迁移技术的研究摘要如今，各地广播台数字化改造正如火如荼地进行，电台业务规模不断扩大，其中存储技术贯穿了电台节目的制作、播出及素材保存的整个流程。用户对节目的制作、播出、音频素材的存储管理都提出了更高的要求。为了顺应行业的发展，各大广播电台陆续开始研究并设计适应新需求的节目存储管理系统。而电台节目制作系统中的节目素材等音视频文件往往具备高码率、大数据量且对安全性需求较高等特点，出于安全、效率、经济等多方面考虑，设计开发广播电台分级存储管理系统是非常必要的。系统主要用于对广播电台节目制作系统中的节目素材等文件进行统一的存储管理，将节目素材、制作成品、播出成品和系统备份等数据按访问热度和逻辑归属的不同存储于不同的存储区域中，在最大化存储利用率的同时也保证了数据的安全。因此，对于广播电台的存储管理而言，研究分级数据迁移算法并且设计基于此算法的存储管理系统具有很重要的研究价值。课题对广播电台分级存储管理系统进行研究与设计，并对系统结构中的数据迁移技术展开深入研究，提出了基于素材价值评估模型的电台分级存储管理系统。首先，概述了当前比较流行的网络存储技术，包括基本存储介质和主流网络存储技术的介绍和比较。对比了各存储介质当前的性能；介绍了分级存储和数据迁移的相关技术；对数据迁移策略进行了分析，包括对基于存储容量的高低水位阀值法和基于数据访问率的缓存替换迁移算法进行分析。其次，围绕电台节目制作存储的业务流程，分析电台分级存储管理的主要功能，结合电台的实际需要进行全面深入的研究。系统在研究和设计时，考虑了一些电台对于存储管理的特殊要求，在保证存储管理系统能够为节目制作系统提供存储管理服务的同时，对存储管理方案进行改进和扩充，并对分级存储设备间的数据迁移算法进行了深入地研究。最后，重点详细介绍本文的最核心的研究点，即基于信息生命周期管理的思想，设计了电台素材价值评估模型，并采用手动迁移和自动迁移相结合，素材数据价值评估模型和迁移控制策略相结合等手段，使得在尽可能不影响系统运行的状况下进一步提高命中高性能在线存储设备的机率。并且对算法进行了测试，对比LFU、LRU、LFU-Aging等算法，验证该迁移算法的优势。关键字：分级存储，数据迁移，价值评估，生命周期管理；中国传媒大学硕士学位论文 ABSTRACT Study on Data Migration Technology in Radio HSM System Based on Material Value Evaluation ModelABSTRACTCurrently, the digital transformation of radio stations in various regions is in full swing, the business scale of broadcasting station continuing to expand, in which the storage technology has run through the entire process of production, broadcast and material saving of radio programs. Users have put forward higher requirements for storage management of the programming broadcasting and its material. In order to conform to the development of the industry, all major radio stations have begun to study and design program storage management system able to meet the new requirements. And the audio and video files of materials of radio program producing system tend to be featured by high rate, large data volume and high demand for security and others, thus for the sake of considerations in all aspects such as safety, efficiency, economy and others, hierarchical storage management system of broadcasting station is designed and developed. The system is mainly used to perform unified storage management of program documents, etc. in program producing system of broadcasting station, and to divide data of program materials, production of finished products, finished products and system backups into different storage areas by their differences in heat of access and logical attribution, which has also ensured security of data while maximizing space utilization. Therefore, in terms of the storage management in broadcasting station, the study of ranked data migration algorithm and the design of storage management system based on the algorithm have considerable substantial research value.This paper has studied and designed the hierarchical storage management system of radio, an in-depth study of data migration technology in hierarchical storage system architecture, and has proposed the hierarchical storage system of radio based on material valuation model.Firstly, it has made an overview of the current mainstream network storage technology, including the introduction of basic storage medium and mainstream network storage technology and the comparison between the two. Also, it has compared the current performance of each storage medium, introducing related technology of tiered storage and data migration, and has analyzed data migration strategies, including the analysis of high-low water level method based on storage space and Cache replacement migration algorithm based on data access rate.Secondly, centering on the business processes of radio programming, this paper has made analysis of the main features of hierarchical storage management of broadcasting station, conducting a comprehensive in-depth study combined with the actual needs of the station. In the research and design of the system, taking into account the special requirements of some stations for storage management, it has improved and expanded storage management scheme while ensuring that storage management system can provide storage management services for program production system, and conducted an in-depth research of data migration algorithm between hierarchical storage devices. Finally, focusing on detailed introduction of the core research point of this article, namely, based on the idea of information lifecycle management, this paper has designed valuation model of radio material, by means of combinations between manual migration and automatic migration, and between valuation model of material data and migration control strategy, so as to further improve the hit probability of high-performance online storage devices without affecting the systematic operation as much as possible. Furthermore, it has tested the algorithm and has made compassion among algorithms of LFU, LRU, LFU-Aging and so forth to verify the superiority of this migration algorithm.Keywords: Hierarchical Storage, Data Migration, Data Value, ILM中国传媒大学硕士学位论文目录目录致谢I摘要IIABSTRACTIV目录VI第1章 绪论11.1 课题研究背景及意义11.2 课题研究现状21.2.1 电台存储管理现状21.2.2 分级存储技术国内外现状31.3 主要研究工作41.4 论文结构5第2章 电台存储技术分析62.1电台主要存储介质62.1.1 磁带库62.1.2 光盘库62.1.3 磁盘72.1.4 磁盘阵列（RAID）82.2电台主要存储技术概述82.2.1存储架构内嵌式存储直接附加存储网络附属存储 存储区域网络存储架构分析比较112.3分级存储技术122.3.1分级存储概述在线存储（On-line）近线存储（Near-line）离线存储（Off-line）132.3.2分级存储的必要性142.3.3分级存储数据迁移算法和策略分析基于存储容量的高低水位阀值法基于数据访问率的缓存替换法基于信息生命周期管理的数据价值评定法迁移算法比较162.4本章小结18第3章 电台分级存储管理系统分析与设计193.1系统概述193.2节目制作系统子模块划分和交互概述193.3分级存储管理系统模块划分223.4电台存储管理核心业务设计233.4.1系统分析与设计233.4.2核心功能设计数据库备份和还原手动迁移管理2制作部门设置2回收站删除303.5分级存储数据迁移技术323.6系统层次划分353.7 本章小结37第4章 基于素材价值评估模型的数据迁移技术384.1信息价值评价384.1.1信息生命周期管理过程384.2信息生命周期管理实施架构与步骤404.3信息价值评价424.2元数据设计424.3素材价值评估模型454.3.1素材价值评估模型设计454.3.2素材价值评估模型的实现454.4素材数据迁移控制484.5基于素材价值评估模型的迁移策略的实现494.5.1降级迁移504.5.2升级迁移524.6本章小结56第5章 系统运行结果与迁移算法性能测试575.1 测试方式575.2 系统运行结果595.3 本章小结62第6章 结束语63参考文献64IX中国传媒大学硕士学位论文电台存储技术分析第1章 绪论1.1 课题研究背景及意义如今，音视频的数据量快速增长，数字技术渗透到了各个领域之中，数字化多媒体信息在制作和播出系统中得到了广泛的运用，因此如何有效合理地存储这些多媒体文件变得越来越重要。各大广播电台对于存储需求的痛点正是如何去高效合理的存储和保护数据，以此来提高数据的利用率，并能够以较为合理的费用代价去实施数字化存储改造1。如何高效地存储广播电台内音频素材等文件，是对广播电台存储管理系统的设计和运行的巨大挑战。在实际的电台存储管理系统中，多种多样的存储设备（如：磁盘、光盘、磁带库等）无论在性能上还是在可靠性和安全性上面都存有比较大的差异性。并且，广播电台实际业务对于素材节目等文件的存取是不均匀的，某些访问频率较高的数据可能只占总数据量的一半不到，大多数数据是不常用的数据2。将数据全部存储在高性能的在线存储设备上会造成严重的资源浪费，显然很不合理，所以合理并且自动化地将不同访问价值的节目素材等文件存储于不同存储性能的设备上，成为了广播电台去解决实际问题的关键之处。分级存储管理概念的提出非常有效地解决了这种问题，它能根据负载和应用需求，对数据读写负载实施进行有效监控，并能够按照不同存储区域介质特性进行智能地自动化优化配置3。为了应对电台音频数据这些特点，全国各电台陆续开始对原有传统广播系统进行系统化改造，逐步采用制播分离模式，并对相应的存储管理系统进行分级存储化改造，与世界先进制作播出和存储管理技术接轨4。电台的素材节目文件是具备生命周期属性的，在其存在的不同的时期有着不同的价值，访问频率最高时期一般来说是在素材刚产生的一段时间内或者某些特定时期。随着时间的推移访问频率会逐渐降低，高访问频率的素材节目文件数量是远远低于较低访问率的素材节目文件，因此，如果全部数据都用企业级高性能存储产品来存储，实际上是没有必要的，因为这样性价比太低，会造成资源浪费。于是，数据存储的位置应随着素材被使用的频率逐渐下降而随之变化，以降低存储成本，提高存储设备的使用率。因此，进行分级存储是有必要的。在存储数据价值较大的素材时，采用昂贵的存储介质和技术，因为这些数据往往是访问率比较高的，以此来确保数据快速可用。随着时间或其他因素的影响，素材被访问的机率下降到一定程度的时候，可以将这些素材迁移到较经济的近线存储设备中。为了保证在线存储设备和近线存储设备上数据的安全性，还应该再增设离线存储设备，作为容灾备份用途，在系统高效可靠的同时保证其安全性。电台分级存储管理系统的核心技术是数据迁移技术，近线存储设备作为磁盘设备的下一级设备，将低成本、高容量的、不经常访问的数据按特定的策略和算法，自动迁移到次级存储设备上。当用户有访问存在于近线存储设备上的这些不常用温数据的需求时，那么数据迁移管理系统就会在合适的时间、合适的地点以合理的方式智能的将需要回调的温数据从近线存储设备上迁移到到工作级存储设备上来，也就是说，分级存储管理系统主要的用途在于解决数据在各个存储层级之间调度的问题。从而实现把适当的素材在适当的时间以合理的代价存储在合理的设备上5。由此我们可以看出，一个功能完善、运行稳定、具备分级存储特点的节目存储管理系统对广播电台素材存储管理具有很大帮助。针对电台素材等文件存储的特点，深入研究电台分级存储管理系统中的数据迁移技术，对广播电台的发展有着极其重要的实际意义。 1.2 课题研究现状1.2.1 电台存储管理现状随着广播事业的不断发展，电台规模不断增大，频道、节目播出形式日益增多，数据存储规模急剧增长。现有的硬盘存储管理系统虽然能够满足节目制作业务的存储管理需求，但仍存在问题6。（1） 目前国内专业的广播电台节目制作软件提供商，如北京英夫美迪数字技术有限公司等，虽然其节目制作管理软件的存储管理子系统功能完善，且具有较高的稳定性和安全性，但由于这些供应商提供的业务是依照电台常规的制作流程，将节目素材等文件通过FTP或共享路径等方式直接存于文件服务器中，对于某些对存储管理有更高要求的电台并不能很好满足。比如，某电台的存储素材中有一大部分是并不常用的数据，对于这样的数据，大量的存储在成本较高的在线存储介质中会造成存储资源的严重浪费。（2） 另外，由于电台节目播出等业务的特殊性和系统不间断运行的特点，对数据的安全性有着极高的要求。因此，需要对数据进行相应的备份管理。对于诸如此类的特殊情况，面向对节目制作系统提供存储管理的存储管理系统而言，未分级存储的管理并不能很好的解决电台大容量存储的问题。1.2.2 分级存储技术国内外现状电台数据分级存储系统的实现，需要用到大量的理论技术和硬件的支撑。包括：存储虚拟化、基于素材节目文件访问频率的缓存替换迁移算法、基于存储容量的高低水位阀值法、数据增量扫描、信息生命周期管理、基于多项指标的数据分级策略、数据自动迁移等。目前，主要由各大存储厂商主导这些技术的研究。EMC的Celerra File Mover由四个方面组成，包括采用的是NAS结构的主文件存储平台、可实现Celerra和辅助存储平台之间无人值守和用户透明的数据迁移的策略迁移软件、辅助存储平台和项目管理服务7。惠普公司在2005年发布了信息生命周期管理解决方案和服务，致力与实现在适当的位置上存储的数据是在适当的时间存储的，创造了很高的商业价值。经历了几年的研究与开发，各大厂商各自提出了自己的分级存储解决方案，包括存储管理软件和硬件设备平台。目前，主要有三种类型分级存储管理系统，有基于逻辑卷的分级存储系统、基于块的分级存储系统和基于文件的分级存储系统，三种类型的系统都有着各自的优势，但是也都存在着一定的不足之处8。目前使用最广泛的分级存储系统是基于文件的分级存储系统，这种分级存储方式被很多公司实现并采用。He等人所提出的分级存储系统是一种基于面向对象概念所设计的文件系统9。SanBoost系统使用固态硬盘设备和磁盘构成二级存储系统，并且引入一个迁移阈值来减少数据迁移量，进行迁移条件为用户访问达到一定次数10。一般来讲，客户端和逻辑卷是一对多的关系，所对应的逻辑卷的数目是一般来说是个位数的，同时它的访问热度信息是以访问量来去表示的，并且每个逻辑卷也可能会有不一样的大小11。而且，由于一般逻辑卷都是很大的，那么有部分热度很高的文件也可能会存在于一个逻辑卷中，还会存在大量的访问量较低的温数据文件，在这样的情况下，如果每次迁移的单位是整个逻辑卷的话，迁移粒度明显过大，这是不符合电台存储特点的。基于块的分级存储系统，目前只有Compellent 这一家公司实现了，由于其复杂性和自身所存在的局限性，目前还没得到广泛应用12。1.3 主要研究工作针对课题研究现状中提到的问题，本课题的主要研究任务如下：1) 研究目前存在的几种分级存储策略，并对基于存储容量的高低水位阀值法和基于数据访问率的缓存替换迁移算法进行深入研究，综合以上算法结合信息生命周期相关理论知识，设计出符合电台特点的数据迁移策略和数据估值模型对数据进行迁移管理。2) 从存储管理业务功能和分级自动迁移技术两个角度出发，在保证系统业务功能需求的基础上对存储管理系统进行扩充和完善。3) 研究设计数据在迁移过程中的控制策略，为了实现数据的精确和快速迁移并且是在尽量不影响系统的访问性能的基础上来实现，采用了信息反馈控制机制。通过为每个素材文件建立元数据，以此来实现高效的自动迁移策略，深入研究了从上到下和自下而上的迁移策略和方式。由于广播电台的特殊性，除完成以上列举的研究任务外，在研究课题、设计系统时，还要注意以下几个方面：1) 标准化。数据库中的数据、软件接口必须采用统一的技术标准，以便于电台各单位之间交换信息。2) 扩展性。随着事业的发展，计算机的应用将会越来越多，层次越来越高，处理的信息量也将越来越大，所以系统不仅要满足目前的需求，而且必须要兼顾未来的需求。3) 稳定性。系统要具有较高的稳定性，以保证制作过程不会因系统错误而中断，影响工作效率。4) 安全性。系统需要具备较高的安全性，通过合理的系统架构设计和系统流程控制，保证系统数据的安全。1.4 论文结构本文的组织结构如下：第一章 主要介绍电台分级存储管理的背景、现状，以及论文的主要研究工作。第二章 概述并分析了分级存储技术和当前电台主流的网络存储技术，包括电台基本存储介质和主流网络存储技术的介绍和比较。介绍了分级存储的相关技术，并且对数据迁移策略和算法进行了分析，包括对基于存储容量的高低水位阀值法和基于数据访问率的缓存替换迁移算法所进行的研究。第三章 按照节目制作存储的业务流程和存储管理系统与节目制作系统的交互，分析并设计了系统的主要业务功能。第四章 详细介绍系统涉及的核心技术电台素材价值评估模型的设计，以及基于此模型的迁移过程相关的技术。第五章 对系统中的迁移算法进行了性能的测试，并对测试结果进行分析，最后演示了系统实现效果的部分截图。第六章 主要是对全文的总结和展望，并提出接下来需要去进一步进行的工作77第2章 电台存储技术分析2.1电台主要存储介质随着传统的IT技术在专业广电行业内的不断渗透，节目素材的制作和播出及素材的存储技术均发生了根本性的变化，在这之中，起到了关键性作用的是存储技术的发展，存储介质作为存储技术发展的硬件基础，作用更是不容忽视的。下面就各存储介质的对比和应用做了简单的介绍和总结。2.1.1 磁带库磁带库的优势在于具备数据存储量大的特性13，并且在人为占用方面和备份的效率上也拥有着无与伦比的优势。在网络系统中，磁带库通过存储区域网络SAN（Storage Area Network）系统可以无缝接入网络从而形成网络存储系统，因此可以给企业的数据存储提供非常有力保障。相对来说，会更容易实现通过磁带镜像技术的多磁带库备份功能，磁带库是数据仓库和ERP等大型网络应用中非常合适的对应存储设备，能够较轻易地完成远程数据访问和数据存储备份的工作。另外，磁带介质存储代价比较低，但是数据寿命保存时间却非常长久，性价比高，已广泛应用于各行各业。包括：医疗行业、金融行业、广播电视媒体业、各大校企档案馆、卫星检测资源以及航洋大数据等。2.1.2 光盘库光盘即高密度光盘，是近些年发展起来的一种完全不同于磁性载体的光学存储介质14。光盘的原理是利用激光的技术进行读和写，可以存放各种各样类型的数据，包括文字数据、图形图像数据、音频数据和视频数据等多媒体数字信息数据，它是快速发展的一种辅助类型的存储器。与磁带介质相比较而言，光盘介质是现代多媒体信息化存储更为理想的载体。其优点包括：对保存环境的要求较低，不会增加过多企业成本；访问速度较快；采用非接触式的方式来读取和写入信息，因此读取过程中不会损坏光盘，所以使用寿命相对磁带介质较长；对保存环境要求较低，相对而言也容易保存，因此存储代价较低；光盘比磁带复制速度更快，并且更为重要的是，光盘信息丢失率很低；数据安全性比较高，在线、近线和离线存储的管理也更为方便。表2.1 磁带库和光盘库之间的性能比较比较项光盘库磁带库素材存储的安全性较高较低介质工作寿命50-100年3-8年读写速度较高较低价格较低较高拓展性成本低，易拓展不易拓展介质保存环境的要求较低较高格式兼容性较好较差设备容量TB级TB级故障数据损失率较低较高成本较低较高主要应用备份和归档备份2.1.3 磁盘磁盘是一种圆盘形存储载体，是带着磁性物质的存储数字化信息的设备15。磁盘的类型有两种，分别是盘体内是单张盘片的单碟盘和盘体内有多张盘片的多碟盘。每张盘片设有两个磁头用来读写，这样设计的原因在于盘片的两面都是可以用来读写数据的16。需要特别指出的是，磁盘两个磁头并不是同时进行读写的，单一时刻只有一个磁头在读写数据。因此，磁盘的I/O性能和吞吐量是不能采取加多磁头和盘片的方式的，这样做唯一能带来的好处是容量会提升。当然，现在已经有了越来越多的人努力去解决这个问题，致力于实现盘内的磁头并发读写，一旦这样做可行的话，那么等同于盘片之间相互形成磁盘阵列结构，因此会大幅地提高磁盘性能，但是目前为止还没有出现可以应用到市场的产品17。目前，硬盘提供的物理接口包括：l 用于ATA指令系统的IDE接口l 用于ATA指令系统的SATA接口l 用于SCSI指令系统的并行SCSI接口l 用于SCSI指令系统的串行SCSI接口l 用于SCSI指令系统的IBM专用串行SCSI接口l 用于SCSI指令系统的并且承载与FC协议的串行FC接口2.1.4 磁盘阵列（RAID）独立冗余磁盘阵列技术，英文简称RAID，是Redundant Arrays of Independent Disks 的缩写。RAID是由很多个容量较小、价格相对便宜、速度相对较慢、稳定性较高的磁盘所组成的磁盘阵列组，从而可以提供比单个磁盘更高的存储性能，还可以提供数据备份技术以保证数据的安全性。表2.2是常用的几种RIAD级别的比较。表2.2 RAID级别比较级别RAID0RAID1RAID3 RAID5名称条带镜像专用奇偶位条带分布奇偶位条带容错性无有 有有冗余类型无复制奇偶校验奇偶校验热备盘选项无有有有需要的磁盘数一至多个偶数个3个以上3个以上可用容量总容量总容量一半N-1/NN-1/N2.2电台主要存储技术概述2.2.1存储架构广播电台多媒体信息存储的规模以及未来对扩展能力的需求直接决定了存储构架的选择18。目前，大体上存在这四种存储方式：内嵌式存储（Embedded Storage，ES）、直接附加存储（Direct Attached Storage ，DAS）、网络附属存储（NetworkAttachedSystem， NAS）和存储区域网络（StorageAreaNetwork，SAN）。内嵌式存储内嵌式存储（Embedded Storage，ES）就是服务器中内嵌着的存储，例如：PC、笔记本电脑、手机、平板电脑等设备都是应用的这种模式。从某种意义来说，内嵌式存储是直连式存储的一个子集，是直连式存储的一种特别的形式。内嵌式存储的优点是显而易见的：它非常简便、容易使用并且集成度高。但是服务器的拓展能力受限，也就是说单个设备只能容纳非常有限的存储器，并且设备容量和存取性能也受服务器性能制约。而且ES这种架构下，只要服务器和存储器两者之一发生故障，就会导致整个系统的崩溃不可用。这两个缺点，对于像广播电台这样对系统安全性、稳定性要求极高的企业而言，是致命且不可接受的。直接附加存储直接附加存储（Direct Attached Storage，DAS）是一种采用独立的外接式存储设备，并通过接口技术将外置存储设备通过连接电缆直接链接到服务器上。DAS将服务器和存储器进行分离，这样就可以把存储设和多个应用服务器相连接，不但分担了应用服务器的负载，而且安全性和稳定性也得到了保证，因为如果其中一个服务器发生了故障，那么数据仍然可以通过其他服务器获取。另外，通过高速接口等技术手段，可以提升存取的时间。当存储数据量有限且对存储性能需求没有那么高的时候，直连式存储可以满足大部分系统的存储需求。但是，当系统中数据量日益增长需要不断地加入新的存储设备的时候，如何对直连式存储设备进行有效的管理就变成了令系统管理员感到非常棘手一个问题，并且这种结构也决定了对每个存储设备的存取访问的服务器数量是受到限制的19。特别是在广播电台存储的应用环境中，当很多用户同时进行I/O访问时，服务器处于访问高峰期，此时相应服务器的性能和数据吞吐能力是有限的，这就会很容易性能上的瓶颈。DAS结构图如图2.1所示。图2.1 DAS结构图网络附属存储 网络附属存储（Network Attached Storage，NAS）是指带有集中式文件系统功能的盘阵，它是存储技术与网络技术结合到一起的存储结构。NAS 作为一种瘦服务器系统，易于安装和部署，管理使用也很方便。同时由于可以允许客户机不通过服务器直接在NAS中存取数据，因此对服务器来说可以减少系统开销。NAS 为异构平台使用统一存储系统提供了解决方案。由于NAS只需要在一个基本的磁盘阵列柜外增加一套瘦服务器系统，对硬件要求很低，软件成本也不高，甚至可以使用免费的LINUX解决方案，成本只比直接附加存储略高。NAS存在的主要问题是：（1） 由于存储数据通过普通数据网络传输，因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能；（2） 由于存储数据通过普通数据网络传输，因此容易产生数据泄漏等安全问题；（3） 存储只能以文件方式访问，而不能像普通文件系统一样直接访问物理数据块，因此会在某些情况下严重影响系统效率，比如大型数据库就不能使用NAS。NAS结构如图2.2所示。图2.2 NAS结构图 存储区域网络根据存储区域网络（Storage Area Network，SAN）的定义，SAN其实就是一个网络而已，只不过这个网络包含着各种各样的元素，比如主机、适配器、网络交换机、磁盘阵列前端、盘阵后端、磁盘等。在FC技术已经成功地将传统上的磁盘阵列改造成为了彻底网络化传输的FC磁盘阵列之后，无论从盘阵到主机的通路还是链接盘阵后端控制器都被彻底地网化了。尤其对盘阵后端的改革更是一个惊人的创举20。目前一般的SAN提供2Gb/S到4Gb/S的传输数率，同时SAN网络独立于数据网络存在，因此存取速度很快，另外SAN一般采用高端的RAID阵列，使SAN的性能在几种专业存储方案中傲视群雄。SAN由于其基础是一个专用网络，因此扩展性很强，不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过SAN接口的磁带机，SAN系统可以方便高效的实现数据的集中备份。SAN作为一种新兴的存储方式，是未来存储技术的发展方向，但是，它也存在一些缺点：1) 价格昂贵。光纤通道交换机价格是十分昂贵的，就连服务器上使用的光通道卡的价格也是不容易被小型商业企业所接受的；2) 需要单独建立光纤网络，异地扩展比较困难。SAN结构如图2.3所示。图2.3 SAN结构图存储架构分析比较通过以上比较研究，四种方案各有优劣。对于小型且服务较为集中的商业企业，可采用简单的DAS方案。对于中小型商业企业，服务器数量比较少，有一定的数据集中管理要求，且没有大型数据库需求的可采用NAS方案。对于大中型商业企业，SAN是较好的选择。电台使用存储的服务器相对比较集中，且对系统性能要求极高，因此可考虑采用SAN方案。下图为各结构对比图。图2.4存储结构对比图2.3分级存储技术2.3.1分级存储概述基于数据访问的局部性特征是分级存储管理（HSM）的工作原理21，通过将不经常访问的数据自动移到存储层次中较低的层次，大大减少非重要性数据在一级磁盘所占用的空间，释放出较高成本的存储空间给更频繁访问的数据，从而加快整个系统的存储性能，获得更好的总体性价比。根据数据不同的重要性、可用性、访问频次、存储成本等指标，分别存放在相应的存储设备上22。在分级存储系统中，一般分为在线存储、近线存储和离线存储三级存储方式。在分级数据存储结构中，目前光盘库、磁带库等成本较低的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。最常见分级为：在线、近线和离线。在线数据存放在磁盘阵列上；近线数据指被移动到与磁盘相比一般不太贵的介质上，这些数据可以快速地被回迁；脱线数据则指再次被移动到更便宜的介质上，即存放在光盘、磁带等脱机载体而且一般不能自动地被回访的数据。在线存储（On-line）在线存储是指将数据文件存放在相对来说比较快速的磁盘系统等高性能存储设备上，适合存储那些需要经常和快速访问的程序和文件，具备存性能卓越、存取速度快的优点，相应的价格也相对昂贵23。在线存储一般来说是作为工作级的存储来使用的，也就是说需要让在线存储区中的数据和在线存储设备时刻保持在线的状态，可以随时访问和修改数据，以此来满足应用服务器或数据库对数据快速访问的实时性需求。一般来说，在线存储往往采用的是高速FC磁盘阵列或SSD等高性能的存储设备，这些设备存取速度非常快，性能优秀，但是价格昂贵，存储代价较大24。近线存储（Near-line）随着不同用户需求的变化和细分，人们逐渐地发现二级模式也就是在线与离线的存储方式，已经变得不能非常好地满足某些用户对存储更进一步的需求了，那么，在这两个存储区域之间变有了大量的空白的需求，近线存储的概念正是在这样的需求驱动下产生了。近线存储是指将一些不常用的数据存放在相对在线存储设备而言较为低速的存储设备上，一般是指一些性能和价格介于高速FC磁盘阵列与磁带之间的磁盘设备25。近线存储在应用上的外延相对来说是比较广泛的，其主要定位于客户在线存储和离线存储之间的一些应用。近线存储管理将那些访问量并不大的数据存放在性能较低的存储设备上，这类存储设备是具备传输率高、寻址快速特性的那一类存储设备 26。一般来说，按着二八原则，不常用的温数据占总数据量的比重比热数据大的多,因此需要近线存储设备在需要容量上相对在线存储设备来说更大。离线存储（Off-line）离线存储（Off-line）指将数据备份到磁带或磁带库等离线设备上。其用途在大多数情况下是用来对在线存储区和近线存储区中的热数据和温数据进行备份,作为容灾备份区域，因此又称备份级存储。当然，也存在一种使用场景是将离线存储区作为三级存储，也就是近线存储区的“近线存储”，用来对数据热度进一步的细分。离线存储通常采用磁带作为存储介质,其访问速度相对来说较低，不过费用较低。2.3.2分级存储的必要性1、改善目前多媒体电子文件的管理现状。使用分级存储，可以改善前面所述的多媒体电子文件管理的现状，如可实现统一管理、自动归档(迁移也可以认为是归档的一种方式)、自动回唤等。 2、不断扩充多媒体电子文件的存储空间。随着时间的流逝，多媒体电子文件的容量将不断增多，利用增加近在线或离线存储载体，可不断扩大存储空间。 3、降低多媒体电子文件的存储成本。多媒体电子文件如果全用磁盘阵列来存储的话，其存储成本是非常之大，而且须不断购买。如果不能实现有效的信息存储成本控制，会使各单位的多媒体电子文件管理处于进退两难状态。 4、实现多媒体电子文件的自动归档。信息量的增多，会造成管理的复杂程度。利用分级存储除了配备相应的硬件外，可使用分级存储软件来设定优化的数据迁移规则，从而实现多媒体电子文件的自动归档。 5、便于对多媒体电子利用、多媒体电子文件实现分级存储后，对于在线和近在线的文件可方便地直接访问，而用户来不必知道其具体的存储位置和存储层次。2.3.3分级存储数据迁移算法和策略分析现有的迁移算法主要包括基于存储空间阀值的高低水位法、基于信息生命周期管理的价值评定法、基于访问频率的缓存替换法（FIFO，LRU，Size-only， Space-time和File-aging27等），其中space-time算法根据文件上次使用间隔和文件大小乘积来分级28。