存储区域网系统在青岛港数据管理中的应用资料.doc

存储区域网系统在青岛港数据管理中的应用杜明 徐坤三 张华( 青岛港（集团）有限公司信息中心，青岛)摘 要：基于存储区域网的港口数据管理系统是为提高青岛港的数据管理水平特别是数据安全管理水平和重要港口应用的可靠性而建设的，它改造了青岛港沿用多年的存储模式，实现了数据的集中存储和虚拟化管理。本文介绍了基于存储区域网的港口数据管理系统的概念、功能、系统结构，关键技术，着重介绍了一系列在建设过程中遇到的问题，并提出了适合港口业务特点的解决办法。 关键词 ： SAN、存储虚拟化，逻辑卷管理（LVM），数据移植、卷组镜像、多应用远程灾难恢复、增强性远程镜像（ERM）一、前 言当前，越来越多的企业已经有了这样一个共识：安全有效的数据存储和管理，信息的快速访问和有效利用，二者的有力结合是企业持续发展的基本因素。许多成功的企业和商业机构也已经认识到，统一访问、共享和管理数据可以转化为一个有利的竞争优势，实现网络化客户支持可提高客户满意度并降低成本。今天，存储体系结构已经变得与网络体系结构同等重要。青岛港很早就提出了信息化要服务和拉动港口生产，实现打造数字化港口的目标。根据这一目标的要求，青岛港已经建设了包括电子报文传输、生产管理、引航管理等多达几十个的应用系统，这些系统每时每刻都在处理和产生大量的宝贵数据，为船公司、货主、场站、一关三检、码头公司等港内外用户提供了7*24小时不间断服务。随着港口信息化程度不断提高，这些大型重要的应用系统和其产生的大量数据已经成为确保整个港口正常运转和发展的关键因素，片刻的应用停止或数据丢失都会给港口生产和声誉带来重大的影响。因此，在保护现有投资的情况下，如何建立具有高可靠性、高可用性、高可扩展性等高性能的全面存储系统，提高港口的数据管理水平特别是数据安全管理水平和应用的可靠性已成为决定青岛港今后生存和发展的大事。二、具体目标通过对青岛港原有存储系统、网络系统和各应用系统的情况的综合分析，我们认为改造港口现有的存储系统，建设一套先进高效的适合港口生产实际情况的数据存储平台和应用容灾系统是港口发展的迫切需求，具体目标如下：保障港口数据安全，港口的各项综合业务处理系统作为数据高度集中的系统，数据的安全是第一位的。必须从存储、网络、数据库、应用等多方面建立起一套可靠的数据平台和完善的保障措施，保证企业、用户和业务数据的100%可用保证重要应用系统的高可靠性与高可用性计算机系统灾难的发生是多方面的，保持业务的持续性是当今用户进行数据存储需要考虑的一个重要方面。采取远程的数据灾难恢复手段，能够真正提高系统的高可靠性，真正保护业务持续性，对保障客户的权利和维护良好的港口形象起到重要的作用。提高数据存储和读写效率，提高存储系统的读写效率是提高应用系统运行速度的有效保证，确保港口各业务系统的安全、高效的运行，将进一步提高了操作人员的工作效率，带动整个港口的生产效率的提升。 降低今后存储系统管理和建设成本实现数据集中化、虚拟化管理，提高企业资源的利用效率，优化管理模式，减轻管理人员负担，并降低今后系统的建设和维护成本。三、系统结构青岛港作为一个以装卸生产为主业的国有大型企业，在生产和管理上都有着港航企业所固有的特点，比如生产7*24小时运行、应用系统多样复杂等。这些特点也在很大程度上左右了整个系统的设计、建设和实施方案。系统主要由存储系统和异地容灾系统两大部分组成：1、存储系统存储系统涉及到新存储系统硬件建设和数据移植两部分内容。硬件建设青岛港由青岛、黄岛两个港区组成，分居胶州湾的两端，港口的存储区域网系统作为一个整体主要包括青岛港区存储系统、黄岛港区存储系统和连接二者的跨海光纤系统。青岛港区存储系统采用光纤存储区域网（SAN）的方案，各应用和数据库服务器通过以太网卡连接到以太网上，每台服务器同时另外配置两块光纤通道卡，每块光纤通道卡分别连接到两台光纤交换机上。IBM的光纤交换机作为SAN的核心部件，也采用双配置，作为高可靠的冗余配置。选用两台核心磁盘阵列系统（一台IBM DS4800和一台DS4300），DS4300为原有设备，为提高其性，我们更换了其系统控制器，增加Turbo Feature以及增加一个硬盘扩展柜（增加8块72GB硬盘）。两台磁盘阵列都采用双光纤通道与光纤交换机分别相连，任一台服务器、服务器上的通道卡、交换机出现故障，都不会影响对存储设备的访问。由于使用多端口光纤通道交换机，故可充分利用存储区域网络（SAN）的优势，提供出色的连接性，同时又增加了网络的有效带宽。光纤通道主机连接为每条路径提供高达4Gbps的带宽。每个控制器有2个光纤通道主机端口（两个互为冗余的控制器可提供4个端口，可用来连接两个光纤交换机形成冗余链路），确保为要求最严格的应用提供良好的带宽。另外随着整个系统的发展，需要增加服务器、磁盘阵列或磁带库的时候，只需要将新增加系统连接到光纤交换机上即可，而不需要修改整个系统的结构。为保护港口原有资产，将原有的三台IBM 7133磁盘阵列串联在一起外接一台服务器作为文件服务器使用。黄岛港区存储系统相对青岛港区存储系统要简单一些，结构与青岛一致，但只有一台DS4800，连接两台服务器。 两个港区通过跨海光纤连接,建设两条不同路径和路由的物理光纤，通过两套华为的波分复用传输设备，连接青岛港区和黄岛港区的主干交换机和IBM的光纤交换机。在传输速率上每条物理光纤都能达到双千兆，两条物理光纤能复用出4个千兆链路，而且根据实际需要，还可以复用出多达16个百兆或者十兆的以太网口。跨海光纤设备不仅能满足目前存储区域网的需求，对于以后的业务发展也做了足够的预留。存储区域网系统的建设不但解决了青岛港各应用系统的数据存储性能，提高了应用的响应时间，也为容灾系统的建设打下了基础。 整个存储网络拓扑图如下： 数据移植将过去分散在多个存储上的数据移植到新的存储上实现数据集中是工程建设中风险最高的一个环节，整个过程既要确保数据的安全，又要将对应用造成的风险降到最小。我们并没有采用磁带备份恢复、软件导入导出、磁盘备份恢复等传统的数据移植方法，这些办法虽然可靠性高、操作简单，但对于青岛港来说都是不适用的，原因就是青岛港的生产大都是24小时不间断的。以EDI（电子报文传输）系统为例，EDI系统是港口的重要生产系统，负责将船图、舱单等重要生产信息在码头公司、信息中心和一关三检等部门传递，随时都会产生大量的报文数据，需要24小时不间断运行，EDI系统的报文文件系统已经达到了近100个G的大小，要把100个G的报文移植到新存储上，用传统拷贝方式，如果不停应用而拷贝数据就会丢失报文、而如果停应用拷贝数据需要时间近6个小时，意味着EDI系统将停止6个小时，这显然是港口生产所不能接受的。经过研究和测试，我们发现通过卷组镜像的方法可以解决这一问题。再以EDI系统为例，首先将EDI服务器接入到新的存储系统上，让服务器可以同时看到新旧两套存储，在新存储上为EDI服务器划分一个卷组，通过卷组镜像的功能将报文文件系统从旧存储向新存储上做镜像，数据镜像期间对服务器性能影响较小，而且数据镜像速度很快。等镜像完成后将该镜像模式拆开，将旧存储上的卷组删除，就实现了数据的移植。项目实施证明该方法安全、可靠，整个过程不需要停应用，对于一些7*24小时运行且数据量大的应用的数据移植是一种很好的方法。2、异地容灾系统在黄岛数据中心建设一套容灾系统，实现对青岛数据中心重要应用的容灾。要实现一套完整的应用容灾，既要包含本地系统的安全机制、远程的数据复制机制，还应具有广域网范围的远程故障切换能力和故障诊断能力,也就是要包括数据恢复、应用恢复、网络恢复的三大功能。数据恢复数据恢复采用基于存储系统的数据复制技术，通过基于青岛和黄岛的两台DS4800盘柜进行异地的数据镜像，采用的是基于IBM DS4000磁盘系统的增强性远程镜像方案（Enhanced Remote Mirror,简称ERM）。该方案实现了在跨两个远程站点的存储设备之间进行实时的数据复制的能力，在主站点灾难或不可恢复的错误发生时，可以手工将备份站点的存储系统提升为主系统，从而正常地接管IO操作。在青岛和黄岛的存储设备上均设置主数据分区和镜象数据分区，以便实现青岛和黄岛之间的异地数据镜象功能。通过专业测试软件的测试结果，IBM ERM设置为异步复制模式以保障在数据复制过程中的存储性能的最大化。跨海网络恢复为保障数据传输的可靠性，跨海网络系统采用两条不同路径和路由的物理光纤，通过两套华为的波分复用传输设备，连接青岛港区和黄岛港区的交换机设备。两条线路相互独立，互相监听，任意的一条光缆或者一套设备出现故障，系统会在10秒内切换到另一条线路和设备上，这种设计完全做到了设备、链路的全部冗余备份，任何单一故障都不影响存储系统的数据传输。应用恢复数据和网络的恢复只是实现了数据的传输，更重要的是需要应用的恢复。在黄岛数据中心为各重要应用系统建立相对应的容灾服务器系统，当生产服务器发生硬件或软件故障导致服务器无法提供正常服务时，容灾系统可将相应的生产服务器的数据库服务、应用软件、通过手工方式切换到容灾服务器，整个恢复时间视应用的复杂程度而不同，一般能够保证在20分钟以内，基本不会影响业务的正常运转。生产服务器系统恢复正常后，整个系统可以实现手动回迁。这种一对一的应用容灾模式可以最大程度的确保生产的可靠性和高效性。但却并不适合青岛港。青岛港的在用系统多达几十个，需要7*24小时不间断运行的有六、七个，采用的都是相对独立的小型机服务器，为这六七套应用建立一对一的容灾服务器显然是巨大的投资。通过对这些服务器系统的分析，我们发现可以将其分为两类，一类是数据库服务器（都为ORACLE数据库），另一类是应用服务器（例如中间件应用），可以分别根据这两类情况在黄岛数据中心建立两台容灾服务器系统，分别作为青岛数据中心各服务器的数据库容灾服务器和应用容灾服务器。（见下图）数据库服务器容灾：在一台容灾服务器上安装ORACLE 环境，并根据各应用的数据库服务器的情况分别在其上创建相对应的数据库实例，各实例都设置为手动运行，平时不启动所以不会占用服务器资源，当有容灾需要时首先实现存储的切换，再手工将相对应的数据库实例打开，完成数据库的容灾。应用服务器容灾：类似于数据库服务器容灾，在一台容灾服务器上安装多套应用系统，根据需要启动相应的应用。网卡地址的切换可以采用在一块网卡上建虚拟IP的方式实现网络的快速切换。该方式实现了一台容灾服务器同时为多台生产服务器容灾的模式，以相对经济的投入获得最佳的效果、确保港口数据的安全和业务的连续。但因为容灾服务器性能的问题可能无法同时为多套服务器系统进行容灾，这也是一对多容灾模式固有的问题。四、关键技术1、 网络存储技术今天的存储解决方案主要为：直连式存储（DAS）、存储区域网络（SAN）、网络接入存储（NAS）。直连式存储：青岛港一直采用的就是这种存储模式，就是将外置存储设备通过连接电缆直接连接到一台或多台服务器上。直连式存储在性能、安 全性上都有很多的问题无法解决，也不能提供跨平台的数据共享，存储系统在今后的扩展和灵活应用上也都有问题，随着港口的生产和存储技术的发展，直连式存储系统的这些问题也越来越明显。网络附加存储：网络附加存储采用网络（TCP/IP、ATM、FDDI）技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。作为一种特殊的专用数据存储服务器，它内嵌系统软件，可提供跨平台文件共享功能。NAS设备完全以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而有效释放带宽，提高了网络整体性能，也可有效降低总拥有成本，保护用户投资。且可以实现很多先进的存储附加功能。但因为该存储模式采用的网络传输模式的限制，在数据处理能力和效率上还不高，一般作为企业的文件服务器使用。存储区域网：目前，在大容量的存储解决方案中，存储区域网络（SAN）技术是最成熟，应用最普遍的一种方式。存储区域网络(SAN, Storage Area Network)是一种类似于普通局域网的高速存储网络，它通过专用的集线器、交换机和网关建立起与服务器和磁盘阵列及其他存储设备之间的直接连接。 它不是一种单一的产品而是网络化存储的一种方案。这种网络技术支持远距离通信，并允许存储设备真正与服务器隔离，使存储成为可由所有服务器共享的资源。它采用光纤通道（Fibre Channel）技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准（但各个厂商的光纤交换技术不完全相同，其服务器和SAN存储有兼容性的要求）。相对于DAS(直接连接存储)和NAS,SAN具有很多优势：主要的优势有：1、 高效率：SAN存储因为采用了先进的光纤技术，其带宽可以达到4GB/S，远远高于现在的基于SCSI技术的存储设备，大大提高了数据的存储和读写效率。 2、 高可靠性：构建SAN存储局域网后，通过其高效稳定的存储设备和网络系统可以实现多个存储设备的本地或远程数据备份和容灾，大大提高整个存储系统的可靠性。3、 管理成本低：存储的整合简化了管理，降低了今后在存储系统上的投入，而且在SAN环境中，原有的应用服务器和故障冗余服务器之间一对一的关系转变为多对一的关系，即多台应用服务器可共享一台故障冗余服务器，减少了所需设备，进而大大节省了成本。 4、 可用性高：通过创建一个或多个磁盘或存储系统池，并根据需要从存储池中分配给主机，可以在不停机的情况下扩展存储设备和服务器，从而确保高可用性。使容量管理的复杂性降至最低，也使存储的可用性提升到最高。 5、 开放的连接：SAN可以将多操作系统和多厂商存储设备作为统一的存储池进行管理，客户可以继续使用其原有设备，避免更换现有的所有存储设备，节约成本。可以看出，SAN 的特点就在于将存储装置作为网络上的一个 区域 (Area) ，另行独立出来。设立使用光纤通道的数据专用网络区域，利用它来实现大容量外存装置和服务器间的数据交换，一方面实现了大容量的集中存储，另一方面不受到网络环境的制约，因为存储设备的网络是独立于局域网而独立存在的。2、 容灾技术容灾是一个很泛泛的概念，备份也是容灾的一种低端的应用，但还不是真正意义上的容灾，备份在系统恢复时间、数据的零丢失和解决硬件故障造成的应用瘫痪等方面都无法满足应用的需求。容灾就是要求灾备中心可以替代生产中心支持业务的运行，生产中心和灾备中心之间有传输链路连接。数据自生产中心实时复制传送到灾备中心。在此基础上，可以在应用层进行集群管理，当生产中心遭受灾难、出现故障时，可由灾备中心自动接管并继续提供服务。应用层的管理一般由专门的软件来实现，可以代替管理员实现自动管理。由上面分析可见，在选择容灾系统的构造时，首先要考虑的就是选择采用合理的异地数据复制技术 。数据的远程复制技术是容灾系统的核心技术，它对于数据系统的一致性和可靠性以及系统的应变能力具有举足轻重的作用，通过有效的数据复制，远程的业务数据中心与本地的业务数据实现同步，确保一旦本地系统故障，远程的容灾中心迅速进行完整的接管。实现在线容灾的关键是数据的复制。数据的复制有多种实现方式，各有利弊。基于服务器层的数据复制在生产中心和灾备中心的服务器上安装专用的数据复制软件，以实现远程复制功能。两中心间必须有网络连接作为数据通道。可以在服务器层增加应用远程切换功能软件，从而构成完整的应用级容灾方案。这种数据复制方式相对投入较少，主要是软件的采购成本；兼容性较好，可以兼容不同品牌的服务器和存储设备，较适合硬件组成复杂的用户。但这种方式要在服务器上运行软件，不可避免地对服务器性能产生影响，对两点间网络带宽也有较大要求。这种做法可以对硬盘上的所有数据进行镜像复