蓝光光盘库存储系统技术白皮书V1.2_第1页
蓝光光盘库存储系统技术白皮书V1.2_第2页
蓝光光盘库存储系统技术白皮书V1.2_第3页
蓝光光盘库存储系统技术白皮书V1.2_第4页
蓝光光盘库存储系统技术白皮书V1.2_第5页
已阅读5页,还剩26页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、福州新华时代信息技术有限公司蓝光光盘库存储系统技术白皮书福州新华时代信息技术有限公司目录一、电子数据归档介绍31.1电子数据归档概述31.2电子数据归档的意义31.3电子数据存档常用介质41.4常用归档方案51.4.1 磁盘阵列+磁带库51.4.2磁盘阵列+光盘库61.5 经济性测算8二、光盘库产品介绍102.1产品概述102.2蓝光近线存储系列112.3光离线存储系列132.4 近线+离线”存储142.5蓝光光盘15三、光盘库建设架构153.1光盘库数据归档管理系统163.2光盘库管理软件与档案管理系统的接口设计173.3光盘库管理软件173.5镜像管理233.6光盘匣更换管理243.7 存

2、储能力24四、应用案例以及解决方案254.1部分行业应用场景254.1.1检察院/法院254.1.2金融行业(银行/证券/保险)274.1.3 病案归档/PACS影像归档284.1.4 档案归档行业294.1.5 国土资源部门294.1.6 高校档案归档304.1.7 军队涉密存储31一、电子数据归档介绍1.1电子数据归档概述 将经过鉴定且具有保存和利用价值的归档的电子文件集中存放在可脱机保存的载体上,其归档的目的是实现历史数据和信息被系统、科学、长期的保存,以确保决策管理、上级或第三方机构监管,同时可以保证业务的连续性,或者当业务受到损坏中断时能够以最短的时间得到恢复。1.2电子数据归档的意

3、义 数据存储量爆炸性地增长 数据总量在持续增长,仅2015年比2011年的存储容量扩大16倍,IDC预测至2020年数据存储总量将会达到40ZB。因此,海量数据的低成本和超长期的保存将会成为目前互联网信息产业领域的重大需求。 数据管理的成本与风险近年来,信息安全越来越得以重视,政府和社会对数据资料的保存也提出了更为严苛的要求。现如今,存储数据中有75%90%是非结构化的数据,如文档、邮件、报表、网页、XML、声音、图像、视频、扫描文件、工程图以及演示文稿等,这些数据大量产生于社会行业的生产和活动中,对存储容量与存储安全性也提出了更高的要求,在线存储投资成本将会越来越高,而进行数据归档是有效管理

4、应用数据资料、降低成本的重要手段。 法规的遵从性国家档案法规定,对于具有重要价值的电子文件,必须保存在耐久性好、脱机、一次擦写的载体中,并且一式3套,一套封存保管,一套供查阅使用,一套异地保存。电子文件归档与电子档案管理细则第三条中第5点“物理归档”,是指把电子文件集中下载到可脱机保存的载体上,向档案部门移交的过程。脱机保存载体按优先顺序依次为:一次写光盘、磁带、可擦写光盘、硬磁盘。推荐使用档案级可记录光盘。 数据安全存储的“3-2-1”策略企业档案工作规范DA/T 42-2009中指出“电子档案应存储到脱机载体上”。其存储载体DA/T32的附录C,保管要求见GB/T 18894的9.4明确提

5、到“3-2-1策略”:对于需要长期存储的电子数据档案应一式三套,一套封存保管,一套异地保管,一套提供使用。它们需被存放在2种不同的物理介质上,其中1份必须是可移动的、离线的永久拷贝。1.3电子数据存档常用介质(1)磁盘/磁盘阵列:具有读写速度上的优势,不过安全系数低、使用寿命短,适用于数据的在线存储与查询。(2)磁带/磁带库:与磁盘具有同样可读写的功能,数据可修改。容量成本比高,使用寿命优于磁盘,但长期保存安全系数低,查询速度慢,适用于数据的中短期存储(10年内)。(3)光盘/光盘库:单盘容量小,但存档安全系数高、使用寿命长,符合法规遵从性,更适用于数据的长期存储。不同存储介质的详细比较表比较

6、项目磁盘阵列磁带/磁带库光盘/光盘库数据安全性低(可修改或删除)低(可修改或删除)高(不可修改删除)数据保存安全性Google 公司最新发表数据:在大量数据应用环境下,磁盘阵列的硬盘损坏率相当高, 6 块硬盘同时工作 2 年存活率为 54%、 3 年存活率为 30%; 12 块硬盘同时工作 5 年存活率率只有 1%。易脱磁、受潮,接触性读取,读写186次后有断带的危险,划伤后无法修复耐高低温、不怕受潮,抗摔、抗振、抗压、防尘。不接触式读写对蓝光光盘不会造成磨损。信息保存期短(5-10年)短(10年内)长(大于50年)总体拥有成本高高低数据查询速度快(随机读取)慢(顺序读取)中等(随机读取)保存

7、环境要求高(恒温、恒湿、防磁、防水、防震)高(恒温、恒湿、防尘、防水、防磁等)低(正常室温)强磁影响大大无兼容性差(磁盘接口跨代不兼容)差(磁带规格跨代不兼容)好(光驱支持向下兼容)数据迁移成本高(需定期进行数据迁移)高(需定期进行数据迁移)低(无需进行数据迁移)介质的交换性差好好归档法规遵从性否否是能 耗很高低低1.4常用归档方案目前常用归档方案主要有磁盘阵列+磁带库和磁盘阵列+光盘库两种。这两种方案的主要原理是通过磁盘阵列为在线业务提供较高的读写查询性能,保证业务系统的高速运行,再将长期闲置并需保存的业务数据从磁盘阵列中转移至磁带库或光盘库中进行近线和离线归档,实现了一种分级存储管理模式,

8、既保证了磁盘空间的高效利用,又大大降低了总体存储成本和管理成本。1.4.1 磁盘阵列+磁带库这种组合方式在目前市场中最为常见,主要原因在于早期磁带技术目更为成熟,且磁带具有较高的容量价格比。但磁带库有着以下问题: 数据可篡改与磁盘一样磁带数据可篡改(可删除、可修改),无法满足归档数据法规遵从性要求;磁带上的数据信号会随时间推移变弱,需要定期检查和刷新,每隔2-3年倒带或重新复录,一般每翻录一次都会使数字、图像信号受损或失真。 使用寿命短多年的实践证明,磁带数据的安全存储时间远远达不到宣称的存储年限,主要原因一是磁带需要高标准的存放环境,要求恒温恒湿、防磁、防尘,达不到标准的环境严重影响磁带数据

9、的寿命,而高标准的环境,需要较高的成本;二是磁带易受电磁辐射而损坏;三是磁带是接触式读写,磁带与磁头高速摩擦引起磁粉脱落,磁带磨损,使使用寿命缩短。 较高的总体拥有成本磁带库/磁带的一次性采购成本并不高,但如果用作数据归档 ,其使用磁带库/磁带的环境建设成本、环境运行成本及维护成本,还有每隔2-3年倒带或重新复录的成本将非常高,使利用磁带库/磁带做数据归档的总体拥有成本较高。 设备换代风险由于磁带机/磁带库不兼容,每个使用过的磁带机/磁带库都需要完好无损,才能够保证磁带数据有效、完整的读出,我们能否确保磁带机连续运行十年以上,虽然理论上是可行的,而实际上能否做到?磁带机厂家能否对一个型号的磁带

10、机提供十年、十五年、二十年的技术支持和服务,存在很大的风险。同时,磁带的数据无法直接读取,必须恢复到磁盘中才可使用。近年使用磁带备份数据出现大量丢失的实际案例非常之多,典型的是2014年国内一家大型银行在银监会例行检查中就发现磁带母带和备份带因保存管理及其他原因同时损坏,使得大量的客户数据丢失,不但受到了银监部门的处罚,也使自己的公众信誉、服务工作遭到了极大损失。因此,信息化建设的飞速发展导致数据信息在急剧增长,且大部分数据根据重要程度的不同,需要进行不同年限的归档,使用磁盘、磁带的保存方式,在增加使用成本的同时,并没有从根本上解决数据的长期安全存储问题,磁盘、磁带不适用于数据归档(长期存储)

11、,磁盘只适合数据的在线短期存储,磁带只适合数据短期备份(短期存储)。1.4.2磁盘阵列+光盘库随着光盘技术和生产工艺的不断发展,单盘容量 100GB的蓝光光盘技术已经成熟并普及,蓝光光盘具有以下特点: 数据安全性高常用的WORM光盘,数据一次性写入,不可篡改,不可删除,满足法规要求。特别是蓝光光盘,由于采用了超硬涂层,可以有效保护由潮湿、刮碰、指印、灰尘引起的损伤。光盘防电磁干扰,可有效保护数据安全。光盘数据可方便移动、运输,实现离线数据的异地存储,保证数据的安全。由于蓝光光盘的生命周期长,光盘数据可实现免维护,避免因数据迁移带来的安全隐患。 数据安全存储时间长 在三种存储介质中,光盘的有效生

12、命周期最长,企业归档级蓝光光盘在一定的环境下安全存放时间可以超过五十年。加上妥善的保管,将光盘放在光盘库或离线库中,可以避免光照射与机械损伤。 长期的通用性光盘产生至今几十年的时间里,从CD、DVD发展到蓝光光盘、企业归档级蓝光光盘,存储容量也从小到大,发展到50GB、100GB、,但光盘的物理尺寸未发生变化,一直保持12CM的尺寸,重要的是光盘驱动器一直保持向下兼容,蓝光驱动器可以读取CD、DVD的数据,使得光盘数据在存储数十年后仍然可以顺利读取。 企业归档级蓝光光盘可检测使用寿命高端的专业光驱具有独特的对企业归档级蓝光光盘使用寿命进行检测的功能。企业归档级蓝光光盘经过长时间存放归档数据后,

13、可以利用高端的专业光驱对企业归档级蓝光光盘进行检测,确定企业归档级蓝光光盘的剩余寿命,对于接近完成使命的企业归档级蓝光光盘,及时进行复制,确保归档数据的安全性、可靠性。 总体拥有成本(TCO)低首先,光盘库对运行环境的要求不高,不需要高标准的机房环境就可以满足要求,光盘也不需要高标准的环境存放,节省了建设成本,同时也节省了高标准机房的运行成本。其次,光盘库的能耗比较低,放在离线库中的光盘基本没有能耗。第三,企业归档级蓝光光盘妥善地存放和管理,可以使长期存储数据存放时间超过五十年,满足大部分长期存储数据存放的年限要求,在长期存储数据生命周期内,不需要更换介质,即不需要倒盘,节省了介质倒换带来的成

14、本,也避免了介质倒换带来的风险。第四,光盘库升级换代的周期比较长,离线库基本不需要升级换代,更新换代的成本较低。总之,与磁盘阵列、磁带/磁带库相比,由于光盘/光盘库后期使用成本(维护成本、使用成本、升级成本)较低,因此,光盘库的总体拥有成本低。 通过以上的分析对比,磁盘阵列适用于在线数据的快速存取,即经常调用和编辑的数据;磁带适用于数据的短期存储;光盘/光盘库在数据长期存储(数据归档)领域,面对数据安全性、法规遵从性、经济性的要求,占有明显优势,特别是在法规遵从性方面,磁盘阵列、磁带无法满足要求,只有光盘/光盘库满足法规遵从性要求,因此,光盘/光盘库是数据长期存储(数据归档)领域唯一理想的载体

15、,特别是企业归档级蓝光光盘、专业光驱的出现,为解决数据归档领域的难题,即存储介质的选择,带来了解决方案。清华大学光盘国家工程研究中心依据研究指出:离线的永久的拷贝,采用高品质标准化的光盘进行数据存储,才是解决现代化社会信息存储安全的最佳解决方案。1.5 经济性测算对于系统长期运营,消耗的费用包括采购成本、维护费用、运营费用、迁移费用等。总体运营成本具体包括有:1、 采购、建设成本:包括初期建设及后续系统升级的费用。由于设备普遍采用五年的折旧周期,因此,该费用以五年为一个周期进行分摊。2、 维护费用:设备损坏维修的服务费用,每年的维护费用一般以设备总采购价格的百分之十五计算。3、 运营费用:即系

16、统运行过程中所实际消耗的其它费用,包括设备运行耗电(含空调耗电)、机房环境的损耗等。目前,设备耗电加上空调等耗电为主要消耗,空调具备能耗比参数,以设备耗电的百分之三十计算比较合理。4、 数据转储费用:由于系统的兼容性、机房搬迁等非设备本身的原因而需采取的数据转储的活动所消耗的费用。对于磁带库来说,由于设备更新换代而不兼容必将导致数据转储,至少十年就必然要实施一次数据转储。数据转储必需把在/近线及离线的所有数据都迚行兼容性转换,消耗巨大。5、 介质保管费用: 磁带介质需防磁的安全保管,相比于光盘介质需要更多的介质保管费。系统长期运营消耗的年总费用的计算公式如下:年费用 = 建设成本年折旧 + 年

17、维护费用 + 年运营费用+ 迁移费用年分摊 + 介质保管费用介质部分保持在线/近线的设备中,部分保持在离线独立保存状态;因此,又可分为在线/近线设备使用、离线介质两大块费用:Ø 在线/近线的设备使用费用在线/近线的设备使用费用包括有建设成本年折旧、 年维护费用、 年运营费用、数据转储费用的年分摊等全部内容; 在线及近线的存储需要保持设备健壮稳定的运行状态,消耗自然不小。n 数据保留在磁盘阵列存储的在线状态,每年每 TB 的分摊费用在6420 元左右(以 EMC CX4-240 / 1 T*15 为例,五年使用期)。n 数据保留在磁带库的近线状态,则每年每 TB 的分摊费用在 4060

18、元左右(以 HP MSL2024 为例,五年使用期)。n 数据保留在光盘库的近线状态,则每年每 TB 的分摊费用在 5200元左右(以 Netzon HMS 3560 为例,五年使用期)。Ø 离线介质的费用离线介质费用包括转储费用及介质的保管等各种费用,磁带介质的保管等各种费用比光盘要大很多。计算离线费用对于每 TB 的消耗:Ø 如果数据长期保留在磁带中,每十年就需转储一次,虽具体迁移的方式可能不同,但转储的实际费用不小。 加上保管等费用后,每年每 TB 的消耗费用约在500元左右。Ø 数据保留在光盘的离线状态, 光盘兼容性强,无数据兼容性的换代而需迁移,可长期保

19、存,且保管无特别的环境要求。计每年每 TB 的消耗费用近于 20 元左右(包括盘匣等耗材的损耗)可计算对于 10PB(1PB=1000TB)总数据量(包括在线/近线、离线数据量)的年消耗费用。根据离线比率, 计算在线/近线设备使用、离线介质费用。 每 TB 平均消耗的理论结果为:数据历史 项目 磁盘阵列 (应用) 存储 磁带库 (备份) 磁带库 (归档) 光盘库 (归档)5 年数据 离线率 0.00% 80.00% 94.12% 94.12%年费用 6,420 万 812 万 739 万 326 万10 年数据 离线率 0.00% 80.00% 97.30% 97.30%年费用 6,420 万

20、 812 万 610 万 160 万15 年数据 离线率 0.00% 80.00% 98.25% 98.25%年费用 6,420 万 812 万 571 万 111 万20 年数据 离线率 0.00% 80.00% 98.70% 98.70%年费用 6,420 万 812 万 553 万 88 万30 年数据 离线率 0.00% 80.00% 99.15% 99.15%年费用 6,420 万 812 万 535 万 64 万50 年数据 离线率 0.00% 80.00% 99.49% 99.49%年费用 6,420 万 812 万 521 万 47 万由于高离线率带来了低消耗,采用归档后,数据

21、存储所发生的费用随历史跨度而大幅度地下降。十年以上的数据存储于光盘库中进行归档,相对于 磁盘阵列存储的在线存储,年消费仅为其百分之二;相对于磁带库的备份,年消费仅为其百分之二(五十年归档)到百分之十一(十年归档)。二、光盘库产品介绍2.1产品概述 产品主要是基于蓝光光盘的相关产品,海量数据存储产品包括两个系列:蓝光近线存储系列、蓝光离线存储系列,每个产品系列都包含很多不同规格和参数的机型2.2蓝光近线存储系列 光盘库是一种以光盘作为存储载体的具有高可靠性的海量近线存储设备,其主要有机械手、光驱和光盘匣三部分组成,经实践检验,产品稳定可靠,主要用于数据的近线存储、归档及光盘自动刻录。目前,光盘库

22、主要型号包括:HMS1035、HMS2105、HMS3350、HMS3560。>>> HMS 1035 参数1 个可替换的标准光盘匣可容纳 35 张光盘存储容量:3.5TB (100GB BD 光盘)可配置 2 光驱 (CD/DVD/BD)可选配服务器级主板经实践检验的高可靠性机械臂、光盘匣的自动校准高速数据交互中的高可靠性机械手用于联机模式中更换光盘的弹出屉>>> HMS 2105 参数3 个可替换的标准光盘匣可容纳 105 张光盘存储容量:10.5TB (100GB BD 光盘)可配置 4 光驱 (CD/DVD/BD)可选配服务器级主板可选配冗余电源经实

23、践检验的高可靠性机械臂、光盘匣的自动校准高速数据交互中的高可靠性机械手用于联机模式中更换光盘的弹出屉>>> HMS 3350 参数10 个可替换的标准光盘匣可容纳 350 张光盘存储容量:35TB (100GB BD 光盘)可配置 6 光驱 (CD/DVD/BD)光盘匣具有唯一的 RFID 标识可选配服务器级主板可选配冗余电源可选配盘片打印机经实践检验的高可靠性机械臂、光盘匣的自动校准高速数据交互中的高可靠性机械手用于联机模式中更换光盘的弹出屉>>> HMS 3560 参数特点:16 个可替换的标准光盘匣可容纳 560 张光盘存储容量:56TB (100GB

24、 BD 光盘)可配置 8 光驱 (CD/DVD/BD)光盘匣具有唯一的 RFID 标识可选配服务器级主板可选配冗余电源可选配盘片打印机经实践检验的高可靠性机械臂、光盘匣的自动校准高速数据交互中的高可靠性机械手用于联机模式中更换光盘的弹出屉2.3光离线存储系列NENZON HMS 8-off 是世界上的第一台智能离线库,属于离线存储设备,用于管理 NETZON 标准的光盘匣,实现了离线光盘的全方位查询管理。与 NETZON 光盘库配合使用,可以灵活搭建成“近线+离线”的海量存储系统。将那些不经常访问又需要长久保存的数据,转存到离线存储设备中,能够大大缓解用户近线存储的需求,不仅可以减少总体存储成

25、本和提高系统性能,而且可以很容易的在异地保存一份拷贝数据。离线库主要包括:HMS 8off-10,HMS 8off-12,HMS Offline CUBE;HMS 8off-10 参数特性:标配一:10 个抽屉存储方式:离线片匣容量:80 个光盘容量:2800 张存储容量:140TB/280TB (50GB/100GB BD 光盘)整机耗电: <30 瓦标配二:2 台 HMS1035 + 6 个抽屉存储方式:近线+离线片匣容量:50 个(2 个近线+48 个离线)光盘容量:1750 张存储容量:87.5TB/175TB (50GB/100GB BD 光盘)整机耗电: <400 瓦标

26、配三: 2 台 HMS2105 + 5 个抽屉存储方式:近线+离线片匣容量:46 个(6 个近线+40 个离线)光盘容量:1610 张存储容量:80.5TB/161TB (50GB/100GB BD 光盘)整机耗电: <400 瓦2.4 “近线+离线”存储光盘匣是 NETZON 光盘存储的最基本单元,是连接近线和离线存储的桥梁,完全兼容 NETZON 的光盘库、离线库。具有以下特点:每个光盘匣可容纳 35 片光盘包含多项自主专利技术双重锁定,确保光盘安全双重 RFID 保证光盘匣唯一的 ID近线存储设备(光盘库),通过内部高精度、高可靠性的机械手,可以自动的将光盘移动到光盘匣、光驱、弹出

27、屉、打印机等位置。光盘库会自动完成一系列操作,无需人工干预,操作简单。当用户存储数据时,机械手会自动将光盘匣中的空白光盘放入光驱,并完成光盘的刻录过程。当用户读取数据时,机械手根据数据库中的信息自动将需要的数据光盘放到光驱中,将需要的数据提供给用户。当光盘库中的数据存满以后,可以将不需要经常访问的数据转移到离线存储设备(离线库)中,将数据离线存储。近线到离线的操作十分简单,只需要将相应的光盘匣放到离线库中,离线柜就可以自动完成光盘匣信息的登录。当用户需要查找的数据存放在离线库中,管理软件会提示用户将光盘匣回迁到光盘库中,离线库的显示屏、指示灯也会有相应的提示,用户只需要将相应的光盘匣放回光盘库

28、就可以读出离线存储的数据。2.5蓝光光盘数据能否长期安全存储并且在需要时被方便使用,这与数据存储载体有直接关系。现今最好的数据信息长期存储载体非光盘莫属,并且光盘具有只读性,能满足数据信息长期存储的法规要求。如今单张容量100GB的蓝光光盘技术已经成熟并开始大量投入应用,并且随着蓝光光盘技术研究深入,预计2017年底,单张300GB的蓝光光盘也将正式上市,未来蓝光光盘的存储容量也将逐渐增加,其成本低、体积小的优点愈发明显。更重要的是蓝光光盘存储技术消除了红光光盘存储的容量瓶颈和安全隐患,蓝光光盘数据层采用无机材料制造,并且具有超硬涂层,不受环境与划痕影响,所以蓝光光盘拥有极长的保存寿命,用户几

29、乎不必担心数据的丢失,在数据存储的安全性上超越了磁盘与磁带存储介质,经过国际权威机构的TUV认证,档案级蓝光光盘可将其存储的数据信息保存时间可以达到50以上。三、光盘库建设架构遵循系统建设的原则,根据数据归档的需求,数据归档解决方案的系统结构如下图所示: 系统结构分为两个区域:一部分是档案管理系统;第二部分是光盘库数据归档管理系统,是对档案管理系统的补充和完善,其核心功能是对归档数据的存储和管理。两部分通过局域网实现连接,通过接口软件实现业务处理及数据交换。3.1光盘库数据归档管理系统光盘库数据归档管理系统区域内由三层设备组成,第一层是局域网交换机,负责与档案管理系统的网络连接;第二层是光盘库

30、管理服务器,为光盘库管理软件提供运行环境;第三层是光盘库,用于归档数据的存储。光盘库数据归档管理系统将实现以下功能:1、将归档数据按照有关策略分类刻录保存,按照有关要求,实现一份或多分刻录。刻录完成时对数据进行检测,以确保数据的完整性。可查询检索所需要的归档数据,提供多关键字的分类查询方式。文书类数据可通过档案管理系统中如文件名、时间、责任人、年度、期限、分类号、部门、档案号等条件进行检索,直接从光盘库中查询;户籍类数据可通过档案号、姓名、行业、身份证号等条件进行检索查询。在光盘库内直接提取已存在光盘库数据归档管理系统中的所需要的数据资料。发现数据资料不在光盘库中,将提示有关管理人员从离线库或

31、其他位置交换光盘匣(每匣含片蓝光光盘)到光盘库,进而可提取所需要的数据资料,并记录交换后的位置。实现对设备、光盘介质、使用者的统一管理,记录使用状况,跟踪介质存放位置,保障系统的稳定运行。3.2光盘库管理软件与档案管理系统的接口设计作为档案管理系统的补充,光盘库管理软件提供采用光盘库进行长期数据保存及管理的功能。为实现归档数据最终能灵活安全地保存到光盘库的蓝光介质中,档案管理系统与光盘库管理软件需实现整合,形成一体化的档案管理系统。为实现两个系统的整合,需对两个系统进行详细的分析,并对接口部分进行仔细的研究和设计。该设计方案将尽可能的对原系统作最少的改动,如果可能,甚至可对原系统不做软件方面的

32、改动。然后,在此设计的基础上改造软件的相关部分,最终实现两个系统的整合。基本的开发路线是:先按照档案管理系统的功能设计光盘库管理软件所需要提供的对应接口。然后,将光盘库管理软件的接口做一定的定制开发,提供对应的API。最后,档案管理系统也作一定的修改以适应新的功能(如果原系统的架构设计先进,需改动的部分将很少,甚至可能仅需作配置上的修正)。从而使档案管理系统能连接使用光盘库管理软件,实现光盘库的归档功能。通过以上分析、设计、开发等过程,档案管理系统与光盘库管理软件将实现整合,形成一体化的档案管理系统。3.3光盘库管理软件数据归档存储到光盘库系统需要完善的管理软件,该软件需满足数据归档的需要,方

33、便地实现归档刻录及日常管理的任务。以下简述了该软件必需的技术结构和功能:3.3.1归档应用结构为满足数据长期存储的需要,确保数据长期存储的安全、可靠、完整,本系统需采用硬件+底层驱动软件+管理平台的体系结构。(1)WEB层-管理平台该平台的核心是光盘库管理软件,具有数据归档功能。该软件首先必需是一个应用平台,对应用数据提供了方便接入、容错保护、安全访问等多方面的能力。从而使客户的资料及海量数据的归档具有更长远的价值。该软件可按照用户的需求进行二次开发,满足客户的个性化需求。(2)服务层-光盘库底层驱动软件 ocean Archiver 光盘库底层管理软件负责在网络环境中查询、访问媒体盘标;对B

34、D/DVD-ROM、BD-R、BD DL和BD XL等介质进行归档管理;无需人工干预的BD/DVD盘片复制;通过类似硬盘的光盘库文件系统建立近线离线存储系统。3.4光盘库管理软件功能3.4.1用户信息及登陆实现用户信息记录及登陆安全的管理。3.4.2组织机构及权限管理实现机构及部门信息的管理和对用户及机构的操作权限管理。如:3.4.3日志及通知管理:实现对用户操作信息及任务执行信息的记录,当任务执行状态发生变化通知用户。通知方式可为邮件及短信、站内信等。如:3.4.4光盘库信息配置:配置系统管理光盘库信息(型号,配置等),盘库所属盘匣及光盘信息登记。如:3.4.5视频数据归档配置配置视频数据归

35、档任务信息(访问数据库信息,归档周期,归档要求等)。如:3.4.6非视频归档配置配置非视频数据的归档任务信息(访问协议及数据路径,数据目录规则,归档周期,其他归档要求)如:3.4.7任务调度管理为本软件的核心,负责根据归档任务的配置信息进行任务调度定时连接需要进行归档的数据进行抽取数据,存入刻录数据服务器(使用批处理根据配置存储文件大小限定进行存储,形成不超过蓝光容量的存储文件且该文件可单独恢复)定时向服务层发布单盘刻录任务,查询空闲光驱,多光驱并行进行刻录任务,刻录归档数据根据非视频数据读取信息及规则,读取数据至刻录服务器(例如通过访问固定的FTP服务器路径,根据目录下是否有复合规则的文件夹

36、如以当前日期2012-6-14命名的文件夹,读入刻录服务器)进行非视频数据刻录,要求单文件大小不超过单盘,如超过单盘进行文件拆分。对刻录光盘进行验证及根据规则进行镜像任务处理。记录反馈任务信息。发布读取任务,返回读取数据的路径。3.4.8视频数据处理根据任务调度管理发布的任务,读取配置信息,进行数据归档。3.4.9归档档案信息与服务层进行同步信息,记录刻录任务执行完毕形成的任务执行信息及归档数据信息。如3.4.10文件签出用户通过此模块查看归档信息,用户需要查看光盘内容是,提交给调度管理,调度管理查询该数据是否近线,如在光盘库中,从光驱读入,返回给客户。如离线,通过短信或邮件通知光盘库管理人员

37、加入盘匣,最终读取数据。 3.4.11对文件的刻录与访问在文件刻录及访问过程中,光盘库管理软件平台实现透明访问的刻录和读取,下图描述了实现透明访问的过程:3.4.12光盘库实现透明访问的刻录过程说明:(1)源数据准备将源数据存放到指定目录,该目录在数据管理平台的服务器中,数据源在策略控制下决定何时开始刻录过程,或手动刻录。(2)复制到缓存光盘库管理软件根据源数据的定义,复制源数据到指定的缓存内。(3)刻录光盘库管理软件操作光盘库硬件系统刻录缓存目录内的数据。缓存的数据实现刻录保存。(4)刻录完成/检查结果刻录完成后,光盘库管理软件检查刻录结果,比较数据源与刻录完成的文件数据。(5)准备链接、建

38、立链接建立虚链接,使应用可以在原位置读取原文件,而不需要应用对光盘库进行任何操作,实现应用的透明访问。应用对该数据文件或目录的访问从虚链接进入,而各个虚链接分别映射到光盘内的实际数据目录或文件。采用虚链接的主要作用在于:客户系统访问归档文件不需要额外的软件以及相关的操作。相比于在客户端软件(或WEB+游览器)操作方式,其具体优势在于:具备文件访问的透明性:基本文件操作可基于文件系统的操作,在底层直接把应用或用户需要创建或读取的文件进行缓存、刻录、读取等操作。除对光盘库的管理性操作外,不需要客户端软件,或使用游览器。同时,减少了掌握操作的学习过程。(注:WORM介质可实现一次性写入,但不能改写文

39、件,因此虚链接方式不容许修改刻录好的文件)不需要单独的API:基于文件操作的应用可无缝的应用到光盘库中来,已有的某些应用可直接在新的存储介质上创建和读取文件。提高文件访问的性能:减少上层应用的参与,也就减少了层次。层次越少,层次越处于底层,性能就越高。3.5镜像管理为了增强数据的安全性,软件提供自动和透明的媒介(即光盘)镜像功能。镜像是基于动态映像刻录技术,即文件写入到动态映像被同步到两个同样的媒介。原媒介和镜像媒介可以位于相同的光盘库中,也可位于两个光盘库中,第二台光盘库可用于镜像复制。当镜像任务开始执行时,软件首先为这个媒介建立一个动态映像,然后它自动地定位一张空白光盘作为镜像光盘。当定位

40、镜像光盘时,软件自动寻找指定范围内的空盘。当向格式化成镜像的媒介写数据时,数据首先被写入相应的动态映像。 软件然后将动态映像与原盘和镜像盘相同步。当媒介还没有被终结之前,软件对“原盘”和“镜像盘”作区分。媒介类型“镜像”也被显示在管理工具的片槽列表中。在媒介被终结后并且原盘和镜像盘已经同步了,动态映像将被删除,镜像媒介被标为“拷贝”。 这表明两个媒介之间已经没有自动的关系了。事实上拷贝与原盘完全相同。 只有原媒介才能在文件系统中可见,而镜像盘只是一个原盘的相同拷贝,它没有被激活也没有相应系统的请求。如果原盘坏了,则与镜像盘相互交换。根据需要及软件设置,可在刻录过程中,同时进行光盘的镜像复制,即

41、同时拷贝一份相同数据作为存储。当更换光盘匣的时候,在一定的人工干预下,可实现整匣的复制。3.6光盘匣更换管理在光盘不足的情况下,系统将自动报警,以提示更换盘匣。如果需提前更换盘匣(如希望每季度使用一个盘匣),则可手动完成以上操作,但需操作取出多余空盘,以免浪费。光盘匣的更换主要有以下两种情况:1、当光盘匣中的数据量接近支持的最大容量时,软件会自动报警进行提示,由管理员按照操作规程更换光盘匣或更新部分光盘。更换光盘匣需对光盘匣进行标识、保管,纳入离线管理,并更换新的光盘匣投入使用。2、按照一定时间如每季度,或用户特定需求,需要对光盘匣进行离线时,由管理员对光盘匣进行离线操作,并更换新的光盘匣投入

42、使用。光盘匣离线前首先要确认是否有未完成的刻录或查询任务,确认后即可对光盘匣进行离线。管理软件不仅允许对光盘库里当前的媒介进行操作,还允许管理光盘库中存储的所有的媒介名称和目录结构,甚至管理光盘库中已经删除了的媒介。这样再次输入某个媒介时,就没必要对它重新设置了。有了这个功能就可以在非当前媒介,光盘匣中搜索文件。离线媒介存放在用户界面的一个特殊的离线文件夹里,离线包也可以存放在这个文件夹里。 光盘匣的ID是唯一的,那么当光盘匣从光盘库里移出时,软件将把它完整地保存在离线文件夹里。当它再次被调入时,管理软件不需要再次扫描,就可以识别并显示它里面的媒介。如果您想把离线光盘匣从数据库里删除,与离线媒

43、介的操作一样,在关联菜单里选择相应的命令即可。使用这种方法删除后,软件会在数据库里删除光盘匣的相关数据,并把原来光盘匣里的媒介存储到离线文件夹。 3.7 存储能力为了能够更加直观的体现出光盘库和离线柜的存储能力,此处选择目前主流的 100GB 蓝光光盘作为数据存储介质,进行如下一系列换算:一个 A4 纸扫描文·件=100KB(以黑白和彩色平均值计算)一个文件夹(8cm)=500 页 A4 纸一个标准文件柜(80cm×5 层)=50 个文件夹一张蓝光光盘(100GB)=2000 个文件夹=40 个标准文件柜一台 DAM003 型光盘库可以存放 105 张光盘,其存储容量是:1

44、00GB X 105 张 = 10.5TB=4,200 个标准文件柜一台 DAS096 型离线柜可以存放 3360 张光盘,其存储容量是:100GB X 3360 张 = 336TB=134,400 个标准文件柜通过上述换算,可以较为清晰的体现出光盘库和离线柜所具有的海量数据存储能力。四、应用案例以及解决方案目前光盘库数据归档系列产品主要应用领域有:l 银行、保险、证券公司票据和文档管理l 政府部门(工商、税务局等)档案管理l 公安、检察院、法院等司法部门卷宗管理l 设计院、工厂、科研机构图纸档案管理l 医学影像(PACS)及电子病历档案管理l 电台、电规台、报社、出版社的媒体资料管理l 视频

45、监控数据管理不规频点播(VOD)l 考试阅卷系统、多媒体教学、电子课件的存储管理l 数字图书馆、档案馆癿电子图书、文献档案管理l 石油、地质、气象数据管理4.1部分行业应用场景4.1.1检察院/法院省院机关建立集中管理平台,可统一管理和调度全省的同步录音录像系统,具备对系统运行状况等信息的实时远程监控和录像远程调阅功能,必要时可开展远程侦查指挥和办案协同。 市县两级院添置循环刻录及同步备份系统,达到50年归档光盘级别,具备自动换盘刻录、高速刻录和盘面打印等功能,系统接入上级院集中管理平台,运行状况自动反馈给上级院,并提供上级院远程联网随机自动调取的功能。市级院和县级院循环刻录及同步备份系统容量

46、应分别不小于100片和50片DVD/BD光盘,同时市院系统应具备RFID离线管理功能,以便光盘规范存档、在线备查和后期扩展离线管理装置。在使用24小时循环刻录备份系统以前形成的光盘,也可以使用24小时循环刻录备份系统管理起来。对于已刻录的历史数据光盘,可批量放入光盘匣中,分批插入24小时循环刻录备份系统。可对所有光盘进行全面检索,检索的同时管理软件自动生成卷标。根据卷标在光盘匣上做好对应的标签,实现在线或离线管理。系统建设方案系统架构图系统拓扑图4.1.2金融行业(银行/证券/保险) 电子影像归档应用电子影像平台是金融行业重要的支撑平台,负责金融行业在业务办理过程产生的非结构数据,例如凭证影像

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论