数字化图书馆解决专项方案V

数字化图书馆处理方案1图书馆信息化概述现在在Internet和信息技术不停发展时代，对高等院校教学和管理带来了深远影响，网络远程教学、多媒体应用、数据查阅、信息管理等应用已经成为高校教学和科研关键一环，并逐步和学校教学、服务和科研融为一体。高校校园网建设、网络中心规模和数字图书馆已经成为全方面衡量高等学校信息化水平三项关键指标。图书馆除向全校师生提供教学、科研和数字化信息服务外，还面向社会为众多单位提供培训及咨询服务。伴随计算机应用发展，图书馆服务器和数据量急速增加，管理复杂程度越来越大。数字化图书馆是一个运行在高速宽带网络上、可跨库检索海量数字化信息资源库群，对有价值图像、文本、语音、影像、影视、软件和科学数据等多媒体信息进行搜集，进行数字化加工、存放和管理，实施知识增值，并提供基于网络电子存取服务。数字图书馆在本质上就是一个集数据库应用平台、信息资源电子商务平台和资源数字化加工服务平台于一体巨大数据仓库，以互联网为平台，面向高校内部广大师生和外部互联网用户提供基于内容服务。作为图书馆发展方向，数字图书馆应以统一标准和规范为基础、以数字化多种信息为底层、以分布式海量资源库群为支撑、以智能检索技术为手段、以电子商务为管理方法，以宽带高速网络为传输通道，将丰富多彩多媒体信息立即传输给用户。2图书馆系统概述数字图书馆系统是一个基于Internet/Intranet分布式环境、能够针对用户需要提供信息服务分布式海量信息系统，其基础功效包含：提供用户交互式信息浏览、查询，含有基于内容和知识检索引擎。支持连续媒体网络传输，数字化图书馆所支持数据类型包含含有时间基连续媒体信息；支持多媒体信息流同时和集成，建立优异同时模型和同时机制确保静态信息流空间同时和动态信息流间时间同时。建立通用、标准和规范数字化图书馆系统结构模型，提供数字化图书馆系统有效资源管理和控制功效。支持动态服务质量（QoS）管理机制，系统能够依据用户请求、系统检测和资源均衡需求，动态地调整用户端QoS参数。数字化图书馆系统中心服务器和媒体服务器应该含有可伸缩体系结构，依据资源使用情况，采取合适负载平衡策略，把信息存取和网络传输负载均衡到对应机群中，同时，系统含有信息存放和网络带宽可扩展性。

系统含有透明性，信息重组在一定条件下是可见，不过对用户是透明。系统含有可移植性，含有可运行特征媒体信息在不一样运行环境下全部能够再现图书馆关键组成部分：图书馆管理系统数据库电子期刊库电子图书库硕博论文库自建数据库：论文、期刊、图书、声像、教参等等音视频资源管理系统网络接入认证系统门户网站博客服务论坛服务FTP系统等等所以，能够说建设数字图书馆关键技术在于存放系统，一个良好存放系统处理方案应能适应图书数据海量存放和不停增加，同时能够满足当今网络环境复杂性和扩展性不停提升。这么目标无疑对存放系统要求很高，既要求高可用性、高可靠度和大容量，还需要低成本和易安装管理。

3图书馆信息系统需求分析数字化图书馆就是将图书馆文件信息数字化，并利用计算机技术储存、查询和公布，以满足当地或远程读者对文本、图像、声音等不一样种类信息需求。数字图书馆显著特点就是：多种信息（文件，期刊，图书，报纸，论文，音乐，视频等）数字化；海量数据存放和管理；对数据有效访问和查询；数字化资料在网上公布和传输。数字化图书馆开发和建立是计算机、通信和网络技术、海量存放技术和多媒体技术有机结合产物，而且还引进了大量数据库技术及概念。图书馆存放系统需要存放以下内容数据信息：数据库：通常采取MSSQL和Oracle数据库，数据量不大，通常在几GB以内，且数据增量不大。电子图书：以文本文件存放和读取为主，文件大小通常为32KB--64MB视频资料信息：包含电影资料VCD/DVD形式，MPEG2/4形式，以大文件形式存放，流媒体读取为主.文件大小通常为80MB--5GB电子期刊：以文本文件存放和读取为主，文件大小通常为32KB--64MB其它电子信息资料：包含音频资料，硕博论文，自建资源库，教参等等，以文件方法存放，以流媒体或文件方法读取，文件大小通常为32KB--40MB在图书馆中，数据库管理和操作是最关键问题，全部电子图书、期刊和多媒体数据全部存放在大容量存放系统中，存放系统是整个数字图书馆支撑点。依据图书馆中数据特点来分析数字图书馆数据应用特点，数字图书馆大致可划分为以下两种类型数据：数据库类型数据：图书馆管理系统和外购商用软件系统和自建系统数据库。需要提供高速数据检索和查询服务，数据访问速度要求高。需要提供7*二十四小时高可靠运行文件型数据：包含电子图书，期刊，论文，自建数据资源，影视频资料文件等等。需要提供大容量数据存放空间。大量数据处于静止状态，少部分数据在对应时间内处于活跃状态。数据访问速度通常没有严格要求。伴随图书馆数字化进程逐步深入，图书馆应用系统越来越多，环境也变得越来越复杂，这无形中增加了图书馆管理人员管理系统难度。同时，伴随应用系统不停增加，数据也对应大量增加，这就给原有存放系统提出了更高要求。平滑提供更大存放空间提供愈加快响应速度提供更大数据吞吐能力总体来讲，图书馆信息化关注点在于：怎样满足业务连续性要求关键系统高性能关键服务不停顿关键数据不丢失怎样处理数据容量快速增加带来成本、管理等问题

3图书馆信息系统推荐方案3.1设备选型标准存放系统是数字图书馆关键基础，其性能优劣，质量好坏，对全局影响关系重大。在存放系统平台选型上应充足考虑系统应用水平和数据处理数据量大小，综合总体系统设计方针，给予慎重选择。在选择存放平台时，要考虑原因很多，需要依据实际情况决定，通常来讲，以下特征是必需要考虑：存放系统IO性能系统未来可扩展性存放系统高可用性存放系统对多种服务器操作系统兼容性和标准系统管理员可维护性3.2方案综述数字图书馆中需要存放数字资源大致分为以下几类：图书馆管理系统数据库图书馆购置各类商业软件数据库图书馆购置各类电子化图书和期刊数据图书馆自建资源库依据对图书馆信息化系统需求分析，能够总结出图书馆关键应用特点以下：数据库：是整个图书馆业务系统关键数据类型：数据库(SQL,Oracle等）性能要求：同时访问人数较多，并发性能要求较高可用性要求：不能停机数据量：几百MB到多个GB图书馆应用系统数据：数据类型：文件（文本，图像，音视频）性能要求：同时访问人数较少，但传输数据量大，带宽要求高可用性要求：不能停机数据量：很大且增加很快，从几TB到几十TB依据性能和可用性分析，能够得出对应推荐存放系统架构以下：应用数据类型性能容量数据保护经典存放架构FCSANiSCSI数字化图书馆管理系统（采、编、流）数据库高低高优选自建资源系统数据库/文件中高高推荐可选硕博论文文件中高高推荐可选期刊文件中高低推荐可选电子图书文件中高低推荐可选影视频资料文件中高低推荐可选以下我们分别叙述DCN面向高校数字化图书馆信息基础架构：数据集中存放方案备份和恢复处理方案3.2.1数据集中存放方案针对高校图书馆信息化应用系统存放需求，提议采取FCSAN+IPSAN存放架构：将图书馆图书馆管理系统数据库、各类外购商业软件数据库系统和自建资源数据库等关键数据库应用经过FCSAN进行连接，实现高性能、高可用存放；同时将部分应用如门户网站、FTP等经过IPSAN进行连接，实现低成本、高效率存放。整体架构从以下几方面综合设计，以满足业务连续性要求：存放系统高可用性：经过用户验证达成5个9可用存放系统DCNCS4系列存放网络SAN高可用性：采取双光纤交换机组成冗余SAN网络，配合主机上双HBA卡和多路径管理软件（DCNPowerPath），实现数据访问通道高可用；图书馆信息化系统集中存放结构图：此次系统建设最终目标是为高校图书馆提供一套含有国际优异水平电子化图书馆信息平台，提供含有全球最新科技水平SAN存放区域网络存放平台--DCNCS4，为高校图书馆未来高速发展提供坚实技术保障平台。为确保服务器到SAN网络全冗余性连接，每台服务器均配置2块8GbpsFC光纤通道卡，分别连接到SAN网络中2台光纤通道交换机上，即使其中一条链路发生故障，服务器仍然能够经过冗余光纤链路访问磁盘阵列上数据，从而达成系统7*二十四小时不间断运行。此次存放系统建设采取OpenSAN体系结构搭建高校图书馆数据存放网络，在整个SAN网络中，全部设备之间网络链接均采取全冗余链接，确保整个存放系统系统含有良好链路冗余能力，为高校图书馆信息系统提供不间断运行存放网络交换平台。因为电子化图书馆中数据绝大部分全部是文本文件和图片及音视频资料文件，少部分数据是数据库数据，则在进行图书馆存放体统磁盘计划时，应充足考虑磁盘分级存放管理，提升了磁盘利用率，同时也为图书馆节省了大量资金投入。将访问性能要求高数据库文件保留在FC磁盘上将访问性能要求不高文件类型数据保留在SATA磁盘上本方案含有以下特点：DCNCS499.999%高可用性DCNCS4结构提供最高可用性。全部组件全部实现全方面冗余并可热交换。全光纤通道技术许可用户随时随地扩展其存放容量,能够在不关闭应用或现有存放能力情况下，添加其它驱动器或驱动器架（DAE，磁盘阵列机箱）。DCNCS4系统拥有多种优异数据保护功效－全局热备用、全方面冗余组件、通向光纤通道磁盘驱动器双重冗余路径、磁盘扇区嗅探校错技术（Sniffer）、断电高速缓存数据写入硬盘、端-端数据奇偶校验和一致性操作环境所提供其它独特功效，全部这一切全部是DCNCS4享受盛名原因所在。这种层次数据保护应该是全部用户要求，也是任何其它供给商所无法满足。中端存放配置发展很快，且变得日益复杂，这是因为较大系统含有更多驱动器，而且磁盘驱动器密度越来越大。UltraPoint是新一代DCNCS4技术，伴随用户将系统向新等级扩展，它可确保CLARiiON继续提供最高等级可靠性和可用性。UltraPoint技术将新点对点光纤通道DAE设计和FLARE操作环境中新故障检测和隔离功效结合在一起。UltraPoint将后端故障探测和隔离正确度具体到了单个驱动器等级。这一技术将使DCNCS4系列能够：在单个磁盘驱动器等级实施故障检测和隔离操作，所以能够采取纠错方法。在驱动器进入联机状态之前检验驱动器—在加电时，在更换驱动器时，和在增加容量时。一体式分层存放使用DCNCS4存放系统，高校图书馆能够整合大量不一样类型和业务价值等级数据，经过选择满足特定需要驱动器选项，实现在一个系统中提供多个性能/成本等级灵活性。存放层次驱动器类型适用环境第1层146GB、300GB、450GB15kRPM光纤磁盘并发访问量大图书馆管理系统第2层400GB10kRPM光纤磁盘检索系统、常常访问文件类型数据（如近期电子期刊等）第3层1TB7200RPMSATA磁盘图书馆文件类型数据文件（不常常访问）第4层1TB5400RPMSATA磁盘图书馆文件类型数据文件（长久保留，归档）DCNPowerPath软件DCNCS4网络存放提供PowerPath软件，它提供了连续数据可用性，并针对主机环境实现性能优化。PowerPath是一个常驻服务器、性能和信息可用性增强路径管了处理方案。PowerPath面向开放式服务器平台集成了自动故障切换、动态负载均衡和信息存取优化能力。PowerPath采取后台工作方法，确保多种应用保持连续可用。PowerPath自动故障切换和动态恢复特征许可在服务器和存放间数据路径发生故障时，将数据存取分散至备用数据路径中。这么应用程序就绝对不会因为适配器、电缆或通道控制器单点故障而出现中止。PowerPath利用自动负载均衡特征，对多条I/O流开展智能化管理，并经过在多条路径之间自动调整工作负荷方法实现性能优化。这种特征确保不会出现某条路径负载过重，而其它路径带宽又没有得到充足利用情形，避免I/O瓶颈出现。PowerPath确保图书馆关键业务数应用随时处于运行状态，给予它们以最高可用性和最高性能，确保它们取得业界领先性能存放系统DCNCS4全部优势。3.2.2备份和恢复方案作为数据访问量巨大图书馆系统，不管是现在还是未来，数据和应用安全和可靠对于它来说全部是第一关键。为此，在图书馆需求中把这些应用系统在提供服务方面分为三个等级：第一级：要求靠近零停机时间，如书目数据库和多校使用网络数据库，应采取热备方法确保。第二级：出现故障，恢复期可在1天服务，如部分自建数据库和使用量较小数据库，数据备份应尽可能采取在线方法，最少要近线存放。第三级：可忍受较长恢复期应用，该类数据备份可采取近线或离线方法备份。引发数据丢失原因很多，备份系统处理问题关键在：硬件故障造成数据丢失应用程序/数据库损坏造成数据丢失人为错误造成数据丢失黑客攻击/病毒感染造成数据丢失软硬件系统升级和维护前数据备份为避免以上问题造成数据丢失，提议对图书馆关键应用系统进行定时备份，并定时进行数据恢复验证测试，确保备份数据可恢复性。需要备份系统以下：数字化图书馆管理系统自建资源系统数据库及自建数据资源提议采取DCNNetworker集中备份管理软件，实现关键应用系统在线备份；采取基于磁盘介质备份设备，如利旧原有磁盘阵列、新增一台S