分级存储管理中数据迁移的触发条件

1、分级存储管理中数据迁移的触发条件    论文导读：采用分级存储的方式管理海量数据已经获得了存储业界的广泛共识。数据迁移模块在分级存储管理系统中起关键作用，而明确触发数据迁移的主要条件则是成功实施数据迁移的首要问题。 关键词：分级存储，数据迁移，触发条件    1 引言 近年来，计算机数据信息呈爆炸性的增长，越来越多的行业如气象、图书、电信等累积存储了海量历史数据。如何存储和管理这些海量数据一直是存储领域研究的热点问题。论文格式。采用分级存储的方式管理海量数据已经获得了存储业界的广泛共识。 2 分级存储的意义和方式

2、分级存储是指根据数据不同的重要性、可用性、访问频次、存储成本等指标，分别存放在相应的存储设备上。其工作原理是基于数据访问的局部性，通过将不经常访问的数据自动移到存储层次中较低的层次，大大减少非重要性数据在一级磁盘所占用的空间，释放出较高成本的存储空间给更频繁访问的数据，从而加快整个系统的存储性能，获得更好的总体性价比。在分级存储系统中，一般分为在线存储、近线存储和离线存储三级存储方式。 21 在线存储 在线存储又称工作级的存储，是指将数据存放在高速的磁盘存储设备上（如FC磁盘或SCSI磁盘阵列），其最大特征是存储设备和所存储的数据时刻保持“在线”状态，可随时读取和修改，以满足前端应用服务器或数

3、据库对数据访问的速度要求。在线存储适合存储那些需要经常和快速访问的程序和文件，其存取速度快，性能好，存储价格相对昂贵。 22 近线存储 近线存储是指将那些并不是经常用到或者访问量并不大的数据存放在性能较低的存储设备上。近线存储外延比较广泛，定位于用户在线存储和离线存储之间的应用，包括一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备，如SATA磁盘阵列、DVD-RAM光盘塔和光盘库等。论文格式。近线存储对性能总体要求相对不高，但要求能确保数据可靠、传输稳定、适应一般的数据访问负荷。论文格式。 23 离线存储 离线存储主要是用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份

4、级的存储。离线海量存储的典型产品就是磁带或磁带库，价格相对低廉,但是访问速度慢、效率低。离线存储主要用于对在线存储或近线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级存储。 3分级存储管理 对数据进行分级存储，有必要对分级存储进行有效的管理，让数据在各个存储层次间不断的流动才能实现其最大价值。 4数据迁移的触发条件 数据迁移模块在分级存储管理系统中起关键作用，而明确触发数据迁移的主要条件则是成功实施数据迁移的首要问题。 41磁盘剩余空间 足够的磁盘剩余空间是数据迁入的先决条件。在分级存储管理中，需要重点考虑在线存储的磁盘剩余空间：一方面是由于其性能高，价格昂贵，扩展存储空间有限度

5、；另一方面是由于新产生的数据一般采用在线存储的方式，要预留足够的存储空间来应对新数据存储和访问的正常运行。 在线存储必须在磁盘剩余空间足够时，才允许数据迁入，当在线存储容量不足时，不仅不能迁入数据，还得强制迁出一部分数据，释放存储空间。当次级存储空间不足时，可有计划、逐步地进行扩容，在增加存储系统总体容量的同时也降低了数据管理的复杂性。 分级存储管理系统需要实时监控在线存储的磁盘剩余空间，根据剩余空间占磁盘总空间大小比例的变化，设定的迁移阀值，参照阀值对数据进行相应的迁入、迁出操作。例如，设定剩余空间的阀值范围是30%10%，数据迁入、迁出的情况如下表：    &

6、#160; 磁盘空间饱和度    剩余空间    数据迁入    数据迁出     低    >30%    允许    允许     中    30%10%    暂停  

7、  允许     高    <10%    禁止    强制     在磁盘空间饱和度为低水位的前提下，按照一定的规则策略迁入数据，一般情况下从价值级别高、利用率高的数据开始迁入，磁盘空间的饱和度达到中等水位时停止迁入。对于强制迁出的数据则相反，应从数据价值级别低、利用率低的数据开始迁出在线存储直至磁盘空间饱和度由高水位降至低水位。 42数据的价值级别 数据并非生而平等，

8、某一些数据可能更为重要，其访问的性能要求、安全保护级别比其他数据要求高。即使是同一数据，通常它的价值也会随着时间的推移而逐渐降低。除非对数据的价值级别进行适当的存储控制，否则对数据的搜索将会导致存储管理效率的不断降低。 判定数据价值级别的一个有效方法是对数据进行信息生命周期管理（InformationLifecycle Management，ILM）。ILM理念认为信息像生物一样具有生命以及生命周期，会随着在生命周期中所处的阶段不同而起起落落，信息的生命周期可以划分为6个阶段：创建、保护、存取、访问、归档和回收2。信息处于不同的周期阶段对用户会有不同的价值。随着信息价值所发生的变化，有必要将信

9、息转移到不同的存储介质上。ILM根据应用的要求、数据提供的时间及数据的等级，提供相适应的数据产生、存储和管理等服务，目的是在数据整个生命周期中以尽可能低的成本实现一种与其价值级别相应的管理。 系统在数据创建时就应当获得数据的类型、数据产生时间、数据有效期限、数据对业务的重要性、数据访问的性能要求、数据安全保护级别等相关信息。对数据进行分类，划分价值级别，依照数据价值级别设定数据的存储级别，分配最优化、最具成本效益的存储资源。 分级存储管理系统对数据价值级别进行定期的扫描监测，在时间点、数据价值级别、存储层次三者之间建立对应关系。一但经过某个时间点数据的价值级别发生变化，即可触发数据的迁移，自动

10、将数据转移到合适的存储平台之上。 43数据的利用率 在实际应用中，判定为同等价值级别的各数据利用率却并不一定相同，数据本身的利用率会由于各种因素而不断变化。数据的利用率变化的两种基本形式： 1、数据刚产生时，利用率最高，随着时间的推移，利用率不断下降，最后极少或不再被利用。数据存储迁移方向为：在线?近线?离线。 2、数据产生后，利用率逐步上升，达到一个峰值阶段后，再逐步下降，直到很少或不再被利用。由于数据的利用率是先上升后下降，只需要保证数据访问到达高峰的时段处于在线存储的位置，则数据存储迁移方向为：近线?在线离线。 统计数据的利用率可采用增量扫描技术，通过周期性增量扫描获取本周期内数据的最近

11、访问时间，累加为总访问次数，从而判断出数据在该周期利用率的高低。 44人为制定的条件 为了更好地辅助数据的管理，通常有人为制定的规章制度对数据存储以及服务提出相应的要求。其中最常见一类是根据数据的时间特性来制定的规则，例如，移动公司一般向客户提供最近5个月话费详单的网上查询服务。针对这种服务规定，可以对于超过这个时间段的话费详单数据设定相应的策略，自动从在线存储迁移到次级存储。 除了制度化的规则外，人为预测也可能成为触发迁移的条件。例如通过有计划地宣传推广，可以事先预见相关数据将成为关注度高的热点数据，访问率即将快速地增长，那么按照人为制定的策略，应主动对这类数据提前进行迁移，保证数据之后的访问速度。 由于人为设定的迁移条件往往优先于系统判断的条件，数据迁移模块应提供可供选择的各