存储体系管理技术.doc

全台网调研报告-存储体系管理技术 电视技术部录制一部 付 伟关键词：在线 近线 离线 分级管理 数据迁移一、概述在广播电视行业，信息是重要的资源，无论是电视台还是广播电台，都会对存储设备提出大容量的网络化的信息存储、查询、共享、交流以及信息保护的需求。现在，广播电视行业的信息资源存储往往会有以下压力：信息量急剧增加，硬盘已经根本不能满足需求；大部分数据只是存放，长时期内不会被人访问或者非常少量的访问。 对于这种情况，如果单纯采用磁盘阵列作为单一存储设备，一方面成本非常高，容量固定且有限，不利于资金合理配置；另一方面，又易于受到病毒等等的攻击。(1) 虚拟存储技术 所谓虚拟存储，就是把多个存储介质模块（如硬盘、RAID、带库等）通过一定的手段集中管理起来，所有的存储模块在一个存储池（Storage Pool）中得到统一管理；从主机和工作站的角度，看到的就不是多个物理硬盘，而是一个分区或者卷，就好像是一个具有超大容量（如1TB以上）的硬盘。这种可以将多种、多个存储设备统一管理起来，为使用者提供大容量、高数据传输性能的存储系统，就称之为虚拟存储；这种存储技术也被称之为第四代存储技术。 虚拟存储控制系统目前比较典型的是美国DataDirect公司的SDD和以色列StoreAge公司的SVM两种系统。SDD是典型的所谓带内（In Band）虚拟存储控制，而SVM是典型的所谓带外（Out-of-Band）虚拟存储控制。此外，2Gb FC技术的出现大大提高了存储带宽。(2) 分级存储技术分级存储管理（Hierarchical Storage Management，HSM）就是要将用户拥有的所有存储资源统一管理，提高每种存储设备的利用率，节约了成本。在分级存储中，存储的分级是十分明显的，仅从设备上说，就有磁带机、磁带库、NAS、中低端盘阵、高端存储系统等等。而且在线、近线与离线存储存放的数据价值不同，如何根据用户数据的不同价值合理利用好每种存储资源是一个不小的挑战。 分级存储管理起源于1978年，首先使用于IBM的大型机系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。其中最关键的技术就是近线存储和数据迁移技术。 分级存储管理是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。通俗地讲，数据迁移是一种可以把大量不经常访问的数据存放在磁带库、光盘库等离线介质上，只在磁盘阵列上保存少量访问频率高的数据的技术。当那些磁带等介质上数据被访问时，系统自动地把这些数据回迁到磁盘阵列中；同样，磁盘阵列中很久未访问的数据被自动迁移到磁带介质上，从而大大降低投入和管理成本。 HSM应用也具备监测磁盘容量并在关键容量情况下做出反应的能力。这种软件经过配置后可以为某个卷设定一个最小的剩余空间，当达到这个极限后自动向用户发出警告，提示用户或自动进行数据迁移。这样便可以立即释放空间，管理员也可以在今后有空闲时再来解决空间的问题。 由此可见，分级存储管理更多从降低成本、不影响数据应用效果的角度解决数据的存储问题。事实上，降低成本、提高效率已成为IT厂商追逐技术进步的一个目标。近线存储就是这种进步的产物。伴随单盘成本的下降，近线存储市场渐热，有业内专家预测，不久的将来，近线存储技术将取代数据迁移技术，用户将以模拟海量空间的、更为安全可靠的磁盘介质保存历史数据。而成熟完善的数据迁移软件技术将更为恰到好处的融入到近线存储设备中，为近线存储技术的发展起到推波助澜的作用。二、存储方式详述所谓分级存储，就是根据数据不同的重要性、访问频次等指标分别存储在不同性能的存储设备上，采取不同的存储方式。这样一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。在这里就涉及到几种不同性能的存储设备和不同的存储形式了。目前常用于数据存储的存储设备主要有磁盘（包括磁盘阵列）、磁带（包括磁带机和磁带库）和光盘（包括一切CD-R、CD-RW、DVD-R、DVD-RW等光盘塔和光盘库设备）。从性能上来说，磁盘当然是最好的，光盘次之，最差的是磁带。而从价格上来说，单位容量成本上升磁盘最贵、光盘次之，磁带最低。这就为我们不同的应用追求最佳性价比提供了条件，因为这些不同的存储媒介可应用于不同的存储方式中。这不同的存储形式包括在线存储（OnStore）、近线存储（NearStore）和离线存储（OffStore）。(1) 在线存储 在线存储又称工作级的存储，存储设备和所存储的数据时刻保持“在线”状态，是可随意读取的，可满足计算平台对数据访问的速度要求。如我们PC机中常用的磁盘基本上都是采用这种存储形式的。一般在线存储设备为磁盘和磁盘阵列等磁盘设备，价格相对昂贵，但性能最好。(2) 离线存储 离线存储主要是用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级的存储。离线海量存储的典型产品就是磁带或磁带库，价格相对低廉。离线存储介质上的数据在读写时是顺序进行的。当需要读取数据时，需要把带子卷到头，再进行定位。当需要对已写入的数据进行修改时，所有的数据都需要全部进行改写。因此，离线海量存储的访问是慢速度、低效率的。(3) 近线存储 近线存储介于在线存储和离线存储之间，它可以将数据的访问量不大的数据存放到性能较低的备份设备上。比起磁带备份，近线存储设备寻址更迅速、传输率更高，同时又具有与磁带备份一样的海量存储容量。近线存储设备一般采用自动化的数据流磁带或者光盘塔。近线存储设备用于存储和在线设备发生频繁读写交换的数据，包括近段时间采集的视音频素材或近段时间制作的新闻片、专题片、纪录片、资料片等。关于近线存储主要有三种。1）无服务器备份 不透过备份执行服务器，直接让备份数据从磁盘阵列通往磁带库，节省一道“过境”程序，此称为“Serverless Backup”。 2）平行分拆备份 由备份软件同时驱动多个磁带内的读写臂，将备份数据进行多份的平行分拆，然后快速写入多个离散位置的磁带中，尽快让在线存储设备将备份数据释放，及早恢复正常服务。而磁带库在大量接受分离存放的数据后，直到处于读写低峰时，才会逐一将零散放置的数据重组成完整、连续存放的数据。 3）用磁盘虚拟磁带 从用户端（备份服务器/网络端）看，虚拟磁带库与传统的磁带库无异，只是使用磁盘阵列作为存储介质而非磁带。从备份的角度看，虚拟磁带库与传统磁带库相比，一方面是备份和恢复的速度提高了，另一方面维护更容易，可靠性进一步提高。在多种近线存储技术中，以“Tape Buffer/Cache”最为直接有效。它不将备份数据直接送入磁带库，而是先送到以“ATA或SATA接口硬盘”组成的磁盘阵列内，之后才转移至磁带库。Tape Buffer/Cache的作法是：让近线存储设备将备份数据送至磁盘阵列后，即算完成备份作业，可以及早恢复正常服务工作，之后再由磁盘阵列将数据转拷至磁带库中，完成最终、真正的低成本保存。可见，磁盘阵列如同磁带库备份的前置缓冲存储区。 至于Tape Cache，则是近线存储设备的真正角色。由于它内部存放的仅是可能、经常频繁查询的数据，而非全部的被保存数据，因此称为Cache（快取）。若真的遇到需要查询的数据又未放在近线存储设备上，也是由近线存储设备向磁带库发出调用需求，待取得数据并复制到近线存储设备内部后，再传送给需要查询的使用者中。 此外，磁盘本身就是可读可写的，只要在近线存储设备内进行机制设计，也可以模拟成只读型的查询系统。它的优势是能够提高数据归档与查询等应用的效率。选择近线存储设备要特别关注近线存储设备的可管理性、可扩展性及可用性等特点，同时注意高性能、高容量等指标，以真正实现零停机的数据保护。近线存储设备的可管理性一定要好，要能够利用各种不同的手段获取数据拷贝，实现各种级别的数据安全和高可用性，并在不同的存储设备中迁移数据、管理数据。为减少人工操作，在线存储设备需要具备自动备份功能，用户只须简单的设置，备份即可自动完成。 用户采用近线存储设备最主要的目的是快速备份，需要尽量短的备份和恢复时间。应根据自己的备份量和备份时间的要求，计算出单位时间内需要的备份量，以此为依据，选择具有相应处理能力的近线存储设备。除此之外，还要关注近线存储设备的扩展性，此扩展性是指所用存储系统所容纳的存储量有多大，应该能够根据应用的变化动态地调整。 由于近线存储成本较低，一定要考虑部件的质量和稳定性，比如Cache可否做镜像；Cache有无断电后的电池保护，若有，能保护多长时间；所有部件是否冗余；SATA磁盘是否采用了特殊技术手段做到故障预防、提前报警以及通过自处理方式排除故障；如果磁盘出现问题，能否保持系统的不间断运行等等。 当然，性能也很重要，它表现了对历史数据的访问速度、IOPS（每秒输入输出次数）以及系统吞吐量。另外，还要搞清楚要选择的设备类型，是选择单纯的近线存储设备，还是既支持近线存储又支持关键业务访问的高性能存储设备。如果选用两种特点都具备的存储，就需要看磁盘阵列是否能同时支持光纤磁盘和SATA磁盘，是否能对两种不同磁盘进行分区等等。同时，还一定要了解近线存储设备是否支持用户特定的业务功能。目前，存储虚拟化功能就是一种提升近线存储解决方案价值的重要手段。它能够不断提升近线存储的空间，还可以对其数据进行管理，包括快照、远程复制和容灾、数据迁移、数据生命周期管理等等。 一般来说，用户选择近线存储是因为数据量大、备份/恢复频繁、备份/恢复时间要求高、可靠性要求高等诸因素。目前存储方式基本达成共识为以近线存储为主，再按具体情况选择在线、离线的量 在分级数据存储结构中，磁带库等成本较低的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的总体性价比。近线存储系统通常有磁带库或光盘库和存储管理软件构成。(1) 磁带与磁带库磁带作为一种传统的存储介质，具有技术成熟、开放、容量大、价格低等优点，一直受到广大用户的青睐。1. 磁带种类、格式及技术指标按照磁带机记录数据的方式，磁带的种类可以分为线性(数据流)扫描和螺旋扫描。数据流技术通过单个或多个静态磁头与高速运动的磁带接触来记录数据，其缺点是对磁带的张力要求很高、耐用性较差。与之相反，螺旋扫描技术是将磁带绕在磁鼓上，磁带缓慢移动，而磁鼓高速转动，在磁鼓两侧的磁头高速扫描磁带进行记录。磁带格式从传统的DAT 4mm、8mm、QIC、AIT、3480/3490、DLT发展到现今的高速磁带格式DTF、Supper DLT和LTO。从近线存储对存储介质的容量、性能、使用寿命等要求来看，必须采用高速磁带格式。a. LTO(Linear Tape-Open)格式由IBM联合Seagate和HP推出的LTO是一种线性、多通道、双向磁带存储新技术，其特点是集服务系统、数据压缩、优化磁道面、高效纠错技术和提高磁带容量性能等一体。目前，产品规格有Ultrium和Accelis两种；其磁带驱动器接口有LVD SCSI、HVD SCSI和FC。Ultrium是单卷轴规格，专为超高容量备份、恢复及存档应用而设计，自然容量可达100GB，数据传输率为10 20MB/s。Accelis采用双卷轴式卡盒，专为特快存取数据应用而设计，具有即时数据查询和搜索功能。b. Supper DLT(Supper Digital Linear Tape)格式Supper DLT由DLT格式发展而来，采用线性记录技术。由于磁带体积庞大，Supper DLT磁带机全部是5.25全高规格，其接口有LVD SCSI、 Ultra 2 SCSI、 HVD SCSI和Ultra SCSI。磁带单盘容量高达110GB，数据传输速率达11MB/s。c. DTF(Digital Tape Format)格式DTF是由Sony开发的专用磁带格式，采用螺旋记录技术。其第二代DTF-2磁带的单盘存储容量高达200GB，数据传输速率达24MB/s。它可以配合使用Sony的Ultra SCSI接口磁带驱动器GY-8240UWD和Fibre Channel接口磁带驱动器GY-8240FC。2. 磁带库磁带库由数台磁带机、机械手和数盒磁带构成，可实现磁带自动拆卸和装填，也可以在存储备份管理软件的控制下实现智能恢复、实时监控和统计等。下面结合IBM LTO(LTO格式)和Sony PetaSite(DTF格式)两种业界领先的磁带库产品进行介绍。a. 磁带库的技术指标磁带库的技术指标包括存储容量、驱动器数量、单盘磁带容量、驱动器存取速率、连接方式和支持的管理软件等。通常，磁带库按照容量大小可分成初级、中级和高级三档。其中，初级磁带库的容量为几百GB至几TB，中级磁带库为几TB至几十TB，高级磁带库为几十TB至几百TB甚至更高。IBM的Ultrium 3584和Sony的PetaSite 8400都属于高级磁带库，为近线存储系统提供了很大的存储空间。表2列出两者的关键技术指标。另外，磁带库的可靠性也不容忽视。Ultrium 3584和PetaSite 8400的MTBF 500,000h，MTTR为30min，磁带使用寿命为30年。b. 磁带库的扩展在近线存储系统中，磁带库的扩展可分为网络扩展和系统扩展两种方式。网络扩展是指磁带库在网络应用环境中，通过增加磁带库数量而扩展，其特点是与网络结构紧密相关，且可以使用不同厂家、不同型号的磁带库。系统扩展是指磁带库自身的扩展，其特点是与磁带库的设计密切相关，不同厂家的磁带库具有不同的扩展方式。这里着重介绍磁带库的系统扩展方式。磁带库的系统扩展又分为容量扩展和速率扩展。速率扩展主要是通过增加驱动器数量，并通过存储管理软件将数据分流到多个驱动器中，从而提高数据访问的速率；另外，选择Fibre Channel接口，速率将更高。容量扩展因各厂家不同的产品设计而有所不同，下面以IBM Ultrium和Sony PetaSite磁带库的容量扩展方式为例。IBM Ultrium 3584的容量扩展采用基本框架叠加扩展框架的方式，最大容量是14248.1TB(自然)/28496.2TB(压缩)，配置为一个基本框加上5个扩展框，最大特点是能够同时使用LTO和DLT磁带。Sony PetaSite 8400的容量扩展采用基本模块叠加驱动器和磁带、连接模块叠加驱动器等方式，支持DTF-2磁带格式，最大容量是26TB11.2PB(自然)/1.729PB(压缩)，配置包括828个磁带驱动器和13056158盒磁带。c. 磁带库的典型应用磁带库的应用十分广泛，通常应用于对数据备份和存储容量要求较高的场合。下面以一个企业级近线存储磁带库与SAN和NAS相结合的应用架构为例进行介绍。此架构采用2个Sony磁带库系列：8400和B210S。8400磁带库作为SAN的磁带存储子系统，向一个分级存储网络提供数据备份服务，容量达170TB(自然)/440TB(压缩)，共有4个GY-8240 UWD SCSI接口的磁带驱动器提供高达345GB/h(自然)/547GB/h(压缩)的数据吞吐量。B210S磁带库作为NAS存储的核心，最大容量10.9TB(28.2TB，压缩时)，包含6个驱动器，其中3个是GY-8240 UWD SCSI接口磁带驱动器，用于以太网LAN的数据备份服务；另外3个是GY-8240FC光纤接口磁带驱动器，可与SAN设备直接连接(磁盘到磁带)，提供LAN-free(也称LAN-less)和SERVERless的数据移植增强功能，从而增强服务器和网络的效能。(2) 光盘与光盘库1. 光盘格式及技术指标通常应用于为满足大容量、高性能的存储需求，目前适用于近线存储系统的光盘存储介质有DVD-R、DVD-RW和DVD-RAM。其中，DVD-R只能写入数据一次，然后用于只读操作；DVD-RW可以多次写入数据，但每次写入时必须是连续的写入操作；DVD-RAM采用随即访问存储方式，可以多次写入数据，且不要求是连续的写入操作。2. 光盘库光盘库是一种可存放几十到几百张光盘、带有机械手和光盘驱动器的光盘柜。它利用机械手从光盘柜中选出光盘并送到驱动器以进行数据读写操作。下面结合JVC的MC7600光盘库予以介绍。a. 光盘库的技术指标光盘库的技术指标包括存储容量、驱动器类型、驱动器数量、单盘光盘容量、光盘装载时间、光盘存取时间、接口方式和支持的管理软件等。另外，光盘库的可靠性也是一项重要的技术指标。JVC MC7600的MTBF 1,000,000h，光盘使用寿命为20年(DVD-RAM)。b. 光盘库的扩展光盘库的扩展分为网络扩展和系统扩展两种方式。网络扩展方式与磁带库一样，这里不再重复。系统扩展分为容量扩展和速度扩展。光盘库容量的扩展主要靠增加光盘数量而实现。光盘库速度的扩展主要通过增加驱动器数量，并通过存储管理软件将数据分流到多个驱动器中，从而提高访问数据的速率。c. 光盘库的典型应用光盘库主要应用于对数据储存和检索有较高要求的场合，如电视台、广告机构、多媒体摄影工作室、多媒体电子图书馆和视频点播(VOD)等。此架构采用SAN存储区域网络结构，光纤网作为数据传输的主干以支持高带宽的网络流量，存储服务器挂接一个磁盘阵列和光盘库以构成近线存储系统，两个LAN对应不同的应用系统，应用系统中的数据可以存取到LAN服务器，也可以向SAN中的光盘库存取。三、 分级存储的必要性和主要优点今天企业的数据中心非常复杂，数据保护是其关键。但是，并非所有的数据都具有同样的价值，也并非所有的企业都具有同样的需求。的确如此，通常认为企业中的关键和非关键数据量也符合“二八原则”，就是只有20%的关键数据，而80%都是非关键的。系统中60%至80%的数据经常在一个月，甚至一年中都不会被访问。而在经常访问的数据中，重要性差别也十分突出，有的数据与用户的业务联系紧密，可靠性、可用性及性能要求都很高，有的尽管经常使用但是与业务联系不是特别紧密。一般来说，重用数据的概率自数据创建3天之后就会下降50%，当数据创建30天后，重用的概率通常会降至很低，而高达90%的数据超过90天后就不会或很少被读取。为了提供良好的数据保护，IT部门通常都保留巨大的空余空间，用以防止出现容量不足的现象。 IT企业总是要面对增长起来无休无止的数据量。各种应用都在创建越来越大的文件，用户也很少删除数据和存档，这就导致要访问旧一些的文件已经变得非常困难。之所以要采取分组存储，是因为它既能最大限度地满足用户随时访问所有需要经常使用的数据，又可使存储成本最小化。综合起来，可以得出分级存储的优点主要体现在以下两个方面：1、降低了存储系统的单位存储成本 由于多级存储模式采用硬盘、磁带、光盘相结合的存储介质，相对于仅使用硬盘存储数据来说，存储成本要大大地降低。2、大容量、平滑的存储容量扩展 目前，随着电视台业务的不断增加，需要存储的媒体数据量爆炸性增长，数据总量呈指数上升，媒体资产管理系统必须具有足够的容量以适应不断增长的数据量。多级存储模式采用近线存储，无论是磁带库，还是光盘库，容量都可以达到PB级，采用离线存储，更是可以获得无限制的存储容量。多级存储模式不仅能提供大容量，还具有平滑的存储容量扩展的特点，存储网络上添加存储设备的过程对用户透明，而且任何工作站都不需停机。在进行应用扩展、系统测试、数据迁移、应用恢复的时候，不必增加物理容量，而是以逻辑复制的方式满足存储需求；当用户请求新的存储需求或要求访问权限调整时，不会中断其他用户的数据访问。3、高性能的数据访问 对于电视台的非线性制作网、硬盘自动播出系统、视频点播系统来说，较高的访问速度是至关重要的。在多级存储模式中，网络中的各个编辑工作站、配音工作站、审片工作站，浏览工作站任何时候都可以无阻碍的实时获得所需要的各种数据。 4、高可用性 对于媒体资产管理系统来说，必须保证媒体数据始终是安全可用的。在任何情况下，例如系统产生错误或遇到意外灾难，数据都不能丢失。系统应具有快速故障恢复能力，保证应用系统永不停机（724小时不间断工作），数据始终保持完整性和一致性。 多级存储模式中的在线存储采用磁盘阵列作为存储设备，而磁盘阵列是一种最基本的高可用存储技术。多级存储模式中的近线存储子系统中，分布在各个层次中的数据，在软件的支持下可自动迁移或备份。硬盘或阵列盘中大量积压的过时文件或数据能自动迁移到近线存储设备中，使硬盘或阵列盘中永远保持足够的空间；对已迁移出硬盘或阵列盘的文件，系统提供透明检索，当用户要访问已被迁移走的文件时，它又能从近线存储设备中恢复，映象到在线文件系统。还能根据用户定义自动备份数据，遇到灾难时可迅速恢复数据，使整个系统很快投入正常运行。除了恢复迁移文件会导致延时之外，迁移、备份和恢复对用户都是透明的。 5、实现集中管理 多级存储模式中将处理过程集中到一个中心管理站上，依靠存储管理软件来对存储设备和素材进管理，在存储管理软件上可以设定素材迁移的管理软件对在线设备、近线设备和离线设备进行统一管理。同时管理软件对数据资源、存储设备和空间的使用权限和日志有严格完备的定义。四、数据迁移技术实现电视台的在线存储设备永久连接在非线性编辑系统、硬盘播出系统等计算机系统中，并随时保持可实时快速访问的状态。在线存储设备通常具有很高的访问速度和良好的反应能力，适合访问要求频繁，并且对反应和数据传输都要求较高的应用。在电视台实际应用中在线存储设备一般采用SCSI 磁盘阵列、光纤磁盘阵列等，用于存储即将用于制作、编辑、播出的视音频素材。电视台的离线存储设备或存储介质平时没有装在线性编辑系统、硬盘播出系统等计算机系统中，在存取数据时需要将存储设备或存储介质临时性地装载或连接到线性编辑系统、硬盘播出系统等计算机系统中，当数据访问完成时可以脱开连接。一旦断开之后，就可以更换存储介质。离线存储通常价格比较低廉，如磁带、磁带库、或光盘库等，可以将总的存储做得很大。但是由于离线到在线的存储介质的装载过程很长，所以离线存储一般用来存储不常用的冷数据包括制作年代较远的新闻片、专题片、纪录片、资料片等。近线存储介于在线存储和离线存储之间，既可以做到较大的存储容量，又可以获得较快的存取速度。近线存储设备一般采用自动化的数据流磁带或者光盘塔。近线存储设备用于存储和在线设备发生频繁读写交换的数据包括近段时间采集的视音频素材或近段时间制作的新闻片、专题片、纪录片、资料片等。在线、近线、离线三种存储体相互配合，在电视台媒体资产管理系统的管理软件定义的迁移策略控制下，既可保证资料的访问速度，又可扩充系统的存储容量。 数据迁移对系统切换乃至新系统的运行有着十分重要的意义。数据迁移的质量不光是新系统成功上线的重要前提，同时也是新系统今后稳定运行的有力保障。如果数据迁移失败，新系统将不能正常启用；如果数据迁移的质量较差，没能屏蔽全部的垃圾数据，对新系统将会造成很大的隐患，新系统一旦访问这些垃圾数据，可能会由这些垃圾数据产生新的错误数据，严重时还会导致系统异常。下图是SobeyArchive归档存储管理软件的架构示意图。从图中可以看出SobeyArchive归档存储管理软件是一个面向系统全局应用的分布式归档存储管理软件，能够统一管理应用系统中各级存储设备的存储资源，提供面向应用级粒度的数据迁移策略制定，并且以开放式数据迁移架构实现各级存储中的任意源和目的之间的数据迁移调度、操作、控制和管理。五、存储管理软件选择标准近线存储系统中非常关键的是用于存储管理的分级存储管理软件（HSM）。所谓分级是指将使用频率较高的数据存放在硬盘中，而将使用频率较低的数据存放在磁带库和光盘库中，数据在不同的层次之间流动，且这一过程完全由分级存储管理软件自动完成，管理员要做的只是规定一个规则。 对于一个好的分级存储管理软件来说，数据迁移功能的设计尤为重要。管理员能方便的通过各种设定的迁移策略将离线存储、近线存储和在线存储设备联系起来。对用户而言，整个分级存储系统类似于一个无限大的硬盘，数据的存储和迁移均在后台进行。系统的迁移可以考虑充分利用空闲时段，集中处理数据迁移，以提高系统网络带宽的利用效率。目前市场上比较流行的分级存储管理软件有SONY公司Petaserve、HP公司的HP OpenView OmniStorage、CA公司的ARCServer2000、UERITAS公司的BackupExec。首先用户在选择存储管理软件之前，应明确自己的需求，了解需要进行备份和恢复的数据的重要性以及今后一、两年内所要面临的问题，其次就是需要关注产品的以下几个方面。 1.能够支持各种存储设备、操作系统和应用软件。一个企业的网络环境往往是涉及到多种存储设备，包括了各种操作平台，如Windows NT/2000、Unix、Netware等，并安装了数据库及各种应用软件，如群件系统、ERP系统等，用户选择的存储管理软件应该能够兼容各种存储设备，支持各种操作系统、数据库和典型应用，并提供通用的API。 2.功能强大的备份软件。备份软件作为存储管理的核心，其好坏关系到整个存储方案能否成功。存储管理软件应该根据用户的实际需求，定义需要备份的数据，然后以图形界面方式根据需要设置备份时间表，支持各种备份方式。 3.快捷的恢复过程。一个好的存储管理方案应该能够使用户恢复信息象备份一样简单，针对恢复过程中每一步为用户提供指导，保证丢失的文件通过最近期的备份正确地替换。对于比较复杂的灾难恢复来说软件应具有足够的智能化特性，能够快速且准确无误地恢复服务器的本来状态。 4.归档管理。存储管理软件中的归档模块应使用户可以按项目定期对所有数据进行有效的归档处理，保证数据的永久可利用性。在归档过程中，用户不但可以对所归档的文件设置口令，而且可以进行加密处理，从而保证数据的安全性。 5.安全保障。对存储备份的数据具有很高的安全保障，如防病毒能力、加密功能和恢复能力。 6.集中管理。存储管理软件应该使用户能够对其进行集中式管理，从而避免数据分散，管理繁乱。而且存储设备可集中在主机上，不必为每台应用服务器配备存储设备。 7.操作简单。实施存储方案的企业应用水平差异很大，进行存储管理的人员处于不同的层次，这就需要直观、操作简单的图形化用户界面。同时，存储管理软件最好有向导来提示用户完成特定任务所需要的信息，支持通过远程控制进行管理。 8.可扩展性。Internet的发展使得企业数据增长速度不可预测，而且随时可能会增加新的数据类型和新型应用，所以存储管理软件必须具有良好的可扩展性，支持企业信息系统的快速发展。六、部分存储管理技术应用案例1. 中央电视台新闻共享系统在业内引起很大反响的 中央电视台新闻共享系统采用了StorageTek公司的近线存储解决方案，下面就以StorageTek公司的VSM (虚拟存储管理系统)为例，来介绍虚拟存储技术在HSM中的应用。传统的存储环境下，客户选择磁带和自动磁带库主要用于备份，但是越来越多的客户考虑到价格因素，开始用磁带代替磁盘用于某些应用，然而，服务器本身的设计造成磁带介质的使用率低下，当将数据存入磁带盒时，只能存入一组数据。根据数据量的大小，没被使用起来的磁带盒容量可高达99%。所以，即便客户使用自动磁带库，他们也只能将20%50%的并经常使用的磁带盒放入磁带库自动操作，其他的仍放在手工操作的架子上。StorageTek公司的VSM (虚拟存储管理系统) 是为有效和充分地使用磁带介质和磁带机驱动器资源而设计的虚拟存储解决方案。其利用磁盘缓存仿真成虚拟的磁带机和磁带介质。也就是说，一个物理磁带机可以被虚拟仿真成多台磁带机的镜像。多个虚拟磁带卷经叠加后才写入物理磁带介质上，这样就有效地并充分地使用磁带介质和磁带机。VSM由一系列硬件和智能软件产品组成。VSM 的硬件主要是VTSS-虚拟磁带子系统和自动磁带库产品，VSM的软件主要包括VTCS(虚拟磁带控制系统)、ExPR(专业性能报告 系统) 和控制自动磁带库的 HSC(主机软件部件) 软件。下图是虚拟磁带子系统的示意图，物理磁带机或磁带库被放置在磁盘缓存的后面。VSM将存储在磁盘缓存中的虚拟磁带卷迁移到真正的物理磁带上，这个过程不占用服务器资源。被迁移出去的虚拟磁带卷可以从磁盘缓存中删除，释放的磁盘空间用以存放新的虚拟磁带。被迁移出去的虚拟磁带卷也可以保留一段时间再删除，以便需要用它进行恢复。当需要从虚拟磁带卷上恢复数据时，如果该虚拟磁带仍存放在磁盘缓存中，那么可以直接从磁盘缓存恢复到服务器磁盘上；如果该虚拟磁带已被迁移并且已从磁盘缓存中删除，那么可以从存放该虚拟磁带卷的物理磁带上将数据恢复。多个虚拟磁带卷(VTV)可以合并叠加后写到一盘物理磁带介质(MVC)上。这样做，一方面可以确保备份数据的安全，另一方面可以充分利用大容量磁带介质的容量。VTCS软件是HSC软件的扩充，它们配合起来工作，决定哪些作业备份数据写入虚拟磁带子系统，哪些直接写到物理磁带上。对于要被写入虚拟磁带系统的数据，VTCS负责分配虚拟磁带驱动(VTD)和虚拟磁带卷(VTV)，并完成虚拟的装带/卸带工作。下图所示是VSM的工作原理，首先我们可以看出VSM是通过ESCON通道与主机相连接。VSM 将磁盘系统仿真成虚拟的3490E磁带机驱动器和3490E磁带介质，以磁盘作为缓存。也就是说，一个物理磁带机可以被虚拟仿真成多台磁带机的镜像，多个虚拟磁带卷（VTV）经叠加后才写进物理磁带卷（MVC）上。大部分磁带操作都直接面对磁盘缓存的、虚拟磁带的装带。装带/卸带都是在瞬间完成的（仅需20秒），提高了素材从近线设备迁移到在线设备的效率。2. 中央电视台高标清兼容后期制作系统系统支持工艺流程化的媒体资产管理，可实施节目半成品素材的离线迁移备份至数据流磁带，含对应每一期节目的故事版/时间线以及对应的素材、中间过程的生成素材、原数据、文本等。当需要的时候，可通过媒体管理工具在带库快速检索到素材，并拷贝到前台中央存贮器，在系统中的各台非线编工作站的时间线上恢复原有的故事版结构。对原来编的整个节目进行修改。后台近线存贮器也可以作为重要共享素材的资料库。可以将成品节目简单编目为数据文件并迁移数据流磁带。系统具有4级编目功能，可指定策略或人工进行数据迁移备份。总之，Xsan上的Windows客户端通过光纤可以与媒资系统进行数据的交流，直接通过光纤从媒体资产分系统中调取素材，或将成片直接保存到媒资系统的大型磁带库中，保证制作系统和媒资系统的数据交流。 由于苹果制作网属于类UNIX操作系统，媒资系统建立在Windows平台基础上，因此，两网间的接口要解决不同操作系统间的文件迁移。 为了方便使用，苹果系统要能够查询检索到媒资系统内节目和元数据。 根据需求，苹果系统能够把要存储的节目迁移到媒资系统的数据流带库中。苹果系统要能够回迁存储到媒资系统数据流磁带库中的数据。在苹果系统中，能够实现对节目数据的简单编目著录。 下面以节目素材归档为例进行流程说明，步骤如图。苹果制作网编辑制作节目素材； 编辑制作的素材都存储在苹果的X-RAID盘阵上； 通过安装在苹果工作站上的素材管理软件，用于非编制作的素材和制作完成后的节目均可以拖拽到素材管理器中，实现节目的绑定和一次编目的入库； 编目著录完成的节目素材由迁移服务器进行文件从磁盘阵列到数据流磁带库的数据迁移，后台处理程序； 数据迁移完成后，归档流程完成。 网络内的需要管理的媒体对象可以分为个人素材、故事板、共享素材（组或栏目素材）和成片几种类型。其中，共享素材和成片以媒体资产的管理流程来进行管理，即进行编目、审核、入库、检索、迁移等过程，用户主要基于编目信息来检索使用素材；个人素材（包括中间素材等）和故事板则主要以文件的方式来组织和管理，但可以输入名称、备注等简单信息来辅助文件的查找，其数据迁移主要以备份/恢复的方式来进行。 共享素材通过上载工作站上载后，由上载人员或编目员通过编目软件进行编目，再审核入库（入库时可选择保留或删除在线素材等模式），这样，素材归档工作就结束了，成品节目的归档与此类似。归档后的节目可通过编辑终端的检索软件进行检索，若检索的素材在线，则可直接拖拽到时间线进行编辑，