银行、证券、档案馆存储管理光盘库应用方案建议书.docx

银行、证券、档案馆存储管理光盘库应用方案建议书21世纪档案信息储存最佳解决方案关于海量数据的长期安全存储符合法规的海量数据安全存储是关系到企业命脉的大事，仅把它视为存储技术问题是不够的，更多的是要从企业的发展战略、经济参数和法规方面来综合考虑。数字化内容管理是现代企业的大脑在企业保存的数据中，固定内容信息可以占到80%，这个比例还在提高。与此相关的信息管理系统从不同的角度提升着企业的记忆力，诸如数字档案管理系统dms（document management system），企业内容管理 ecm （enterprise content management），电子邮件管理e-mail management， 信息生命周期管理ilm（information lifecycle management），商务过程管理bpm（business process management）等。可以说具有长久记忆的海量信息管理是现代企业的大脑，是企业赖以生存的核心竞争力。数字化档案管理有效地弥补了传统的纸质档案管理方法有诸多的缺点。这些缺点主要表现在以下方面：1. 可查找性：查找时间长；2. 可提供性：要找的文件数据不一定马上能提供；3. 流通效率：资料流通的管理效率低；4. 保管费用：大量资料的管理费用很高；5. 可共享性：资料无法同时供多人使用；6. 版本更新：无法确保资料的实效性；7. 资料完整性：文档资源可能与登记不符；8. 专题检索：查找分散在各处的文档非常耗时；9. 多媒体数据：无法即时剪辑和处理。法规遵从性在数字化档案管理系统中，海量数据的长期存储(归档)占有关键的地位。在现代磁介质存储技术单位存储价格不断下降的今天，人们往往会忽略一个重要的因素，即数据存储（data storage）和备份（backup）不等于归档（archive）。因此，国际先进工业国家都纷纷专门立法（见下图），以保证归档数据的法规遵从性（compliance）。归档数据的法规遵从性主要体现在数据的不可更改性和不可删除性。为此归档数据必须存储在worm（write once read many，一次可写）媒体上，并能安全地长期保持。随着我国的信息管理水平与国际逐渐接轨，由法规遵从性和数据长期安全存储所产生的存储需求将会急剧增长。根据idc的统计分析，在当今的整体数据中，有20%与法规遵从性规则和标准有关，并有约30%涉及到数据安全。数据海啸的到来据idc预测，存储市场今后几年会有持续的高增长。其中电子邮件的归档将由2006年的4.71亿美元增长到2010年的10亿美元；数据生命周期管理（ilm）软件到2010年将翻一番至17亿美元；有关法规遵从性的软硬件及服务到2010年将翻至214亿美元。有关信息安全的软件将从2006年的每年400亿增长到2010年的每年650亿美元。根据idc最新的市场分析报告，全国世界2006年的数据存储量为161 exabyte（1个exabyte等于10亿gb）。平均到全世界每人为24gb。这其中图像和视频数据占了很大比例：2006年数码相机产生了1500亿张照片。idc预测到2010年将再产生5000亿照片。该机构预测，数字信息量将每年增长57%，到2010年翻6倍，达到988exabyte。虽然这其中70%的数据由个人产生，企业、政府和各类协会将对总体85%的数据的安全性，私密性，可靠性和法规遵从性负责。由此正产生着巨大的专业存储需求。这种爆炸性的增长，外电将之称为数据海啸，它将对现有计算机系统结构产生巨大的革新压力并推动其向以信息为中心的体系结构发展。磁盘阵列 + 磁带备份 数据保险箱在过去的20多年中，磁盘和磁带在技术上一直高速发展。特别是磁盘，容量在不断增大，价格也在降低。这使得人们可以用较低的单位存储成本来搭建具有一定容错功能的磁盘阵列（raid）。在专业存储中，以磁盘阵列为主体，磁带做备份的存储结构被广泛应用。然而对于大量数据的长期存储，这种体系结构是不安全的。google公司在大数据量应用环境下所做的统计研究表明，磁盘阵列中的硬盘损坏率是相当高的：如6块硬盘同时工作两年的存活率为54%，3年存活率30%。12块硬盘5年的存活率只有1%！这势必影响到数据安全和运营维护成本。ibm苏黎世实验室的研究指出，在使用企业级scsi硬盘和raid 5存储100 tb数据的情况下，前5年丢失数据的几率是24%！现代化企业不能够承受大量数据丢失所带来的损失。数据长期安全存储的3-2-1策略在社会信息化的发展进程中，人们一直在寻找对数据长期保存和防护的更好办法。许多专家已经意识到传统的备份和复制方法并不能够提供有效的数据保护策略。把需要长期保存的数据存在永远高速旋转的磁盘上并不断对它实施备份的做法只能增加不必要的复杂性、费用和风险。gartner group的存储资深副总裁carolyn dicenzo提出了一种所谓“3-2-1”的数据存储策略。3-2-1存储策略可以简单归纳为：“对于要长期存储的数据，至少要有3份拷贝，它们被存在两种不同的物理介质上，其中一份必须是可移动的，离线的永久拷贝”。标准化的光盘，如目前的bd光盘和磁盘相结合，可以实现符合上述3-2-1策略的数据永久性安全存储。数字化的档案管理系统可以从整体上提高企业的记忆力。基于光盘的归档存储具有下列优点：1. 数据安全性：dvd光盘可保存数据 50年以上，异地存放可防止自然或人为破坏；2. 法规遵从性：dvd光盘从物理介质上保证所存储的内容不可被修改；3. 经济性: 低运行成本,低管理费用,耗电省，极大节省办公室面积，配置更新容易，设备寿命长。总体上具有最优的tco（total cost of ownership），它客观地描述了用户在一定时间内拥有一个产品或服务要付出的代价；4. 提高效率：全方位拥有数据， 检索快，信息提取能力强。光盘是数字化档案唯一理想的数据最终载体光盘是数字化档案唯一理想的数据最终载体，它有以下显著的优点：1. 适合长期保存。妥善的保管，如放在光盘片匣中，数据的保存期将大于50年。磁盘和磁带都远达不到这样的数据保存寿命；2. 尺寸的标准化。尽管单张光盘的存储容量成倍地逐年向上增长，其120mm直径的物理尺寸将永远保持不变。这样利用永久保存;3. 设备的兼容性。新一代光驱总是保留之向下的兼容性，不会出现像磁带那样，过若干年，带子尚完好，但能读它的磁带机早已不生产了；4. 随机存储的速度快。由于光盘的读写是2维的，所以找到任何历史数据的时间都几乎相同;5. 不怕电磁干扰。由于是塑料，所以对任何电磁干扰都不敏感。由于放在片匣内，所以也没有光照射和机械损伤；6. 无须保养。放入片匣就一劳永逸，无须任何更新和维护；7. 便于复制和发放。 可方便地复制所需的数据并即时按需发放；8. 媒体便于交换。光盘播放设备到处都能找到。9. 成本极低。随着产量的增加，盘片价格总是迅速下降；10. 充满发展的活力。单片蓝光bd光盘的单层容量为25gb，双层为50gb。根据bd光盘联盟的发展路线图，bd光盘每两年速度提高一倍，容量翻一倍，最终将达到8层200gb。blu-ray（bd）新一代蓝光光盘存储媒介蓝光光存储技术是新一代数据存储的核心。由于市场巨大，跨国公司分为两个阵营，在技术标准和产业化方面展开了数年的激烈争夺。这种争夺一方面刺激着技术的竞争性发展，另一方面也开始严重影响着蓝光光盘存储的产业进程。由于零售业巨头沃尔玛和好莱坞电影发行商的倒戈，以东芝为首的hd-dvd阵营宣布停止这方面的业务，以索尼为首的blu-ray（bd）阵营胜出。标准的统一将大力推动蓝光光盘的普及应用。bd蓝光光盘主具有以下特点：1. bd光盘格式用于高密度数据存储和高清视频2. 物理尺寸和操作方式与cd/dvd光盘一致3. 超硬涂层保护由潮湿、刮碰、指印和灰尘引起的损伤4. blu-ray使用pc光驱5. 读/写兼容cd/dvd技术6. 高读写速度7. 格式：bd-r（一次可写），bd-re（多次可擦写），bd-rom（只读）8. 标准化的，与操作系统平台无关的udf文件系统9. 损伤管理和先进的纠错技术10. 通过主流硬件厂商的长期技术支持bd与普通红光dvd的技术参数比较见下表参数blu-ray （bd）dvd存储容量 25gb (single-layer)50gb (dual-layer)4.7gb (single-layer)8.5gb (dual-layer)激光波长 405nm (blue laser) 650nm (red laser) 数值孔径(na) 0.85 0.60 光盘直径光盘厚度120mm1.2mm120mm1.2mm保护层超硬涂层0.1mmyes0.6mmno光轨0.32m0.74m数据传输率 (data)数据传输率(video/audio)36.0mbps (1x)54.0mbps (1.5x)11.08mbps (1x)10.08mbps (1x)视频分辨率 (max)视频码流 (max)19201080 (1080p)40.0mbps720480/720576 (480i/576i)9.8mbps视频编码 mpeg-2mpeg-4 avcsmpte vc-1mpeg-2-音频编码 linear pcmdolby digitaldolby digital plusdolby truehddts digital surrounddts-hdlinear pcmdolby digitaldts digital surround-交互性bd-jdvd-videobd蓝光光盘将成为今后若干年数据长期归档存储的主流媒介。bd的容量可逐步发展到8层 200gb。速度最终达到288mbit/s。蓝光光盘的产业化推动力来自于pc工业和高清节目源的普及。根据blu-ray disc association给出的预测，bd光盘最终的生产费用不会明显高于现在dvd光盘。在价格走向方面，随着生产数量的增加，bd的生产成本会逐渐接近dvd。一张光盘能存多少纸质文件？这里有一个计算例子：一个扫描文件 = 50kb （通常为10到50kb）；1个文件夹（8cm) = 500 页 a4 纸；1个标准文件柜（80cm x 5层）= 50个文件夹；1张普通4.7gb的dvd-r = 188 个文件夹 = 94.000 a4 纸 = 约4个标准文件柜；1个35张的片匣= 6300个文件夹 = 约126个标准文件柜；1台迪卡 gms3560 光盘库（16个片匣） = 113，400个文件夹 = 2268个标准文件柜；采用蓝光bd光盘，数字档案的存放容量将在上述计算例子的基础上扩大5到10倍（分别采用25和50gb的bd光盘）。如此，一台容量为560张光盘的光盘库将可存放2万多个标准文件柜的文件！磁光混合存储可以大幅度地节能减排除了上述关于bd蓝光光盘作为数据存储媒介的诸多优点外，也对日渐突出的全球性能源和二氧化碳排放问题提供一个有效的途径。目前通行的数据存储方法是将数据存在磁盘阵列上，然后用磁带或另一套磁盘阵列通过复杂的备份软件对存储的数据不断地实施备份。这意味着所有的数据都将永久性地被置于高速转动的磁盘上。为这些磁盘阵列提供驱动和冷却每年要耗费大量的电力。这种趋势还在继续。由于大量的存储数据随着时间的推移已经很少被用到，所以这样做很不经济。光盘库对使用频度低的数据提供了理想的居所。平常数据光盘处于静止状态，只有在用到时才通过光盘库的机械手自动加载到读取设备中。与磁盘阵列的能耗相比，光盘库的耗电量极低，可以忽略不计。最近日本总务省提出鼓励使用bd蓝光光盘与磁盘混合使用的方法，用以达到节能减排40%的目标（见下图）。欧美工业国家也把所谓绿色it提高的很重要的位置。磁盘介质光盘介质软归档(迁移归档)硬归档(物理归档)机械驱动(平均故障率)固态介质 (无)寿命短(迁移, 驱动器更新)长寿命(无需迁移)通电 (24小时/365天)（耗电/co2 归档）不通电（无能耗 归档）需空调(排放co2)无需空调(无排放 co2)高tco低tco数据长期安全存储的代价用磁盘阵列实现数据的长期归档存储要付出很高的代价。事实上磁盘的寿命是3到5年，而且每隔5到7年整个存储系统就会因技术陈旧而需要重新采购（见下图）。这是一个永无休止的费用支出过程。从总拥有成本tco（total cost of ownership）角度来看，光盘是明显低于磁盘和磁带的（见下图）。存储系统的tco通常要考虑下列因素： 硬件采购价格； 软件采购价格； 硬件维护和升级成本； 软件维护和升级成本； 培训费用； 室内空间需求； 耗电量（电费）； 系统管理开销。蓝光光盘库对于大量的光盘，最有效的管理方式是使用光盘库。光盘库通常由机械手、片匣、光驱组、弹出屉和伺服部分组成。数据和控制信号通过高速scsi或局网接口与计算机系统相连接。通过光盘库管理软件，光盘库可对光盘进行读写，复制等操作，并且是多个进程同时进行的。通过光盘库可对大量光盘数据资源进行高效率、高可靠性的管理和操作。为了便于专业化的光盘复制与发表，有些光盘库还配有内置的盘片打印机，可以打出各种色彩逼真的盘标。现代化的光盘库早已不是一种简单的盘片自动切换装置了。通过高智能的光电一体化设备和现代化的管理软件，光盘库系统已成为高度虚拟化的海量存储子系统。它与半导体和磁盘存储器相互弥补，构成了高效率，高可靠性的现代数据存储体系。市场上现有的光盘库产品，通常容量为几十到数百片光盘。“迪卡”光盘库已经发表了支持bd光驱的产品，使得产品的容量增加到原来的5到10倍。同时其可靠性和数据安全性得到大幅度的提高。蓝光光盘库单位tb的价格已经明显低于dvd光盘库。光盘库可广泛应用于：电子票据的保存与管理金融保险行业的票据管理商税务部门的票据管理石油、电力等大型企业数据资源的存储通讯行业的数据存储政府机关、公共机构以及科研院校的信息化管理“迪卡” hms 光盘库和离线柜系列数字图书馆公、检、法机关档案及音、视频资料管理历史资料的数字化存储与管理数字化资料的远程查询与浏览医疗信息化管理医疗记录存储与管理诊断报告存储与管理医疗影像数据的存储、归档及共享媒体资源管理音、视频节目的数字化管理重要历史资料的备份与管理节目资源的查询及交流其他vod视频点播系统中、小批量cd生产和加工即时信息发布与出版“迪卡”光盘库的35张光盘标准片匣。总的说来，迪卡光盘库的最大特点是以其优越的tco，最大程度地实现了对用户长期投资保护。tco（total cost of ownership）- 整体拥有成本，客观地描述了用户在一定时间内拥有一个产品或服务要付出的代价。在日常生活中，人们往往注重于商品的采购成本，而忽略了拥有它要付出的额外代价。汽车就是一个例子。光盘库的另一个优点是非常省电，因为系统平时处于静止状态，只有在需要调用光盘时才会动作。这里是一个有关耗电量的计算实例：磁盘阵列每套耗电量 4.8kwh，双机每年电费（按每度电0.61元算）：5万元，尚须外加空调冷却费5万元共10万元！一台迪卡hms3560光盘库的电费约：500元。如果用它们保存同样的数据 20年，费用的差别是1，990，000元。光盘库是对数据生命周期管理（ilm）的长期投资。光盘库应该是所有it产品中使用寿命最长的设备，因为它存的信息都是要保存至少几十年的。由于120mm光盘的工业标准，光盘库本身的基本机电结构是成熟的，不会改变。世界上的知名光盘库厂家，都能生产出性能优良的光盘库产品, 其价格在于产品质量和性能。 作为用户，在采购光盘库产品之前，首先要了解这类产品的特点。迪卡品牌的光盘库是国际主流产品，近年来已成功应用于许多重大项目中。由于光盘存储技术日新月异的发展，光盘库中的光驱将被不断更新。更快，容量更大和更便宜的光驱不断被推向市场。加之光驱本身的使用寿命有限，所以光盘库中的多个光驱都有被更换的可能。可以说，光驱是光盘库中的 “耗材”。由于数据存储的飞速增长，一个好的存储设计方案必须考虑到几年以后的扩容问题。另一方面，光存储本身在今后几年内将以每两年单片容量翻一倍的速度发展。所以单位光盘库的容量和性能价格比会越来越好。当系统存储容量的需求超出当前光盘库的存储容量时，可以考虑以下一种扩容方案：逐步引入蓝光光盘，第一代的蓝光光盘单片容量为15到25gb，第二代50gb。迪卡光盘库和point支持蓝光光驱。迪卡光盘库的特点是升级容易且成本低。只需加入蓝光光驱即可.迪卡光盘库支持各种dvd混装运行。所以可以用低成本平滑过渡到新媒介。这样不仅可以保护投资，而且还能提高数据安全性。另外，蓝光驱动器的存取速度也会有很到提高。在数据使用频度低时，采用近线和离线综合管理也是一个好方法。即当数据存满后，将一部分片匣抽出，加入新片匣。抽出的片匣放入文件柜保存。需要时再将相应片匣插入光盘库。迪卡是目前唯一能够提供智能离线柜产品的厂商，其hms 8x离线柜可以管理3360张光盘。在一些情况下，如系统数据量大规模增加，也可考虑增加光盘库。光盘库可以并行运行。这种情况往往发生在信息系统本身发生结构大变化时。与世界上其他光盘库产品相比较，迪卡光盘库可为客户提供更好的数据安全性和更经济的可扩容性。并在设备长期拥有总成本（tco）方面有着明显的优势。存储技术比较磁带库与光盘库的存储性能比较磁带是传统的数据存储媒质，具有存储容量大的特点，目前广泛应用于数据备份。但是随着对数据管理的即时性要求和数据安全性的要求，磁带已经不能再适应对海量信息数据的存储和管理。磁带系统目前仍是合适的日常备份设备。磁带系统不适合长期存储数据，因为： 磁存储媒介易受电磁辐射而损怀； 磁带上的数据信号会随时间推移变弱，需要定期检查和刷新； 磁带会磨损，受潮发霉，寿命有限； 磁带规格众多，互不兼容，如果老的磁带机坏了，磁带上的数据将无法读取。 随着新一代蓝光bd技术的成熟，磁带在价格和速度方面的优势正在迅速消失，被光存储取代只是时间的问题。例子：vhs录像带/dvd。光盘库与磁带库性能比较表比较项目光 盘 库磁 带 库单个介质存储容量4.750gb/片5200gb盘设备存储容量可达tb级可达tb级存储容量的扩展性成本低，易扩展不易扩展数据查询速度较高低存储设备的价格低高存储介质的寿命50100年38年数据长期存储的安全性高低介质的通用性和互换性好差信息管理的复杂程度低高设备故障造成数据损失低高数据恢复所需时间短长系统管理成本低高存储介质成本较低低2）磁盘与光盘库的存储性能比较磁盘阵列非常适合于在线数据，即日常要调用和编辑的数据。虽然硬盘在过去的几年里存储容量增加很快同时成本也降低了很多，但把所有数据都存硬盘上是不合理而且不现实的。在使用硬盘时要考虑下列因素：数据在线存