数据库中心设施架构设计方案 某公安厅资源整合方案.doc

1 某公安厅某公安厅itit设施资源整合设施资源整合 数据库中心设施架构设计方案数据库中心设施架构设计方案 键入文字 目目 录录 1.前言前言7 1.1编写目的 7 1.2目标读者 7 1.3参考文档 7 2.项目概述项目概述8 2.1建设目的 8 2.2项目目标 8 2.3建设需求分析 8 2.4建设思路 9 3.基础设施目标架构概述基础设施目标架构概述10 3.1总体架构概述 10 3.1.1警务综合平台架构描述10 3.1.2oa应用平台架构概述.12 3.1.3分区、分层设计思想介绍13 3.2网络架构 13 3.3服务器架构 14 3.3.1服务器架构描述14 3.3.2建构设计与各分层说明15 3.4存储架构 16 3.4.1存储架构描述16 3.4.2分级存储设计简述17 3.4.3存储网络设计19 4.目标架构管理策略目标架构管理策略20 4.1服务器分层部署策略 20 4.2存储分级部署策略 20 4.3主机备份策略 21 4.4数据保护策略 21 4.5数据备份策略 22 4.5.1数据备份方式22 4.5.2备份策略考虑23 5.方案概述方案概述24 5.1服务器方案 24 5.1.1需求分析24 5.1.2方案描述26 5.1.3产品简介27 5.2存储方案 37 5.2.1在线存储系统方案37 5.2.2近线存储系统方案52 5.2.3离线存储系统方案58 5.2.4存储网路方案67 键入文字 5.2.5备份方案方案68 5.3数据库防御方案 76 5.3.1数据库保护76 5.3.2方案描述76 5.4硬盘消磁防御方案 78 5.4.1方案描述78 6.二期容灾方案概述二期容灾方案概述80 6.1建设目的 80 6.2建设目标 80 6.3建设思路 80 6.4技术解决方案分析 81 6.5架构概述 83 6.5.1容灾项目制定步骤83 6.5.2容灾项目实施步骤86 7.项目实施规范建议项目实施规范建议89 7.1操作系统规范 89 7.1.1主机命名规范89 7.1.2用户、用户组规范90 7.1.3文件系统划分的规范91 7.1.4服务端口使用的规范93 7.1.5应用安装路径的规范93 7.2数据库规范 94 7.2.1数据库命名的规范94 7.3网络规范 95 7.3.1网络命名规范95 7.4存储规范 96 7.4.1存储设备命名规范96 7.4.2光纤交换机规范97 7.5其他 98 键入文字 图图 表表 图表 1：警务综合架构逻辑图.11 图表 2：多层架构拓扑结构 11 图表 3：oa应用架构逻辑图 .12 图表 4：存储架构逻辑图16 图表 5：存储的备份架构18 图表 6：san网络结构19 图表 7：j2ee架构主机备份方式21 图表 8：lan-free和lan备份架构策略22 图表 9：服务器区域备份级别.23 图表 10：服务器tpc-c表.26 图表 11：hacmp双机演示图27 图表 12：ibm p5+ 595一览表30 图表 13：hp superdome 一览表32 图表 14：sun m9000 一览表.34 图表 15：fujitsu primepower 2500一览表.36 图表 16：ibm xiv 磁盘存储系统46 图表 17：emc dmx-4磁盘柜48 图表 18：hds usp v磁盘柜.50 图表 19：fujitsu eternus8000磁盘柜.52 图表 20：ibm n7000系列nas规格表 55 图表 21：emc ns-960系列nas规格表 58 图表 22：lto与gen匹配关系图.60 图表 23：ibm ts 3500磁带库一览表 62 图表 24：stk（sun）sl 3000磁带库一览表.64 图表 25：ibm ts7500系列虚拟带库66 图表 26：stk（sun）vsm虚拟磁带库一览表、 67 图表 27：nrs形式nas备份拓扑.71 图表 28：commvault中文界面.72 图表 29：commvault通知报警机制.73 图表 30：commvault中文报表管理.73 图表 31：hedgehog应用拓扑.77 键入文字 图表 32：容灾组织架构图85 图表 33：区域名称规则表96 图表 34：网络设备命名规则表 .96 键入文字 1. 前言前言 1.1 编写目的编写目的 某省公安厅数据库中心资源整合建设旨在完成警务综合信息应用平台、oa应用平台 系统、警用地理信息系统、公安内网门户网站、经侦系统、信访系统、国资系统、人事 信息系统、移动警务、以及金盾一期应用系统和公安部部署的二期工程应用系统等业务 应用的主机、存储、集群和备份等的基础设施架构建设，以达到某省公安厅信息中心基 础设施架构统一、集中管理、节约成本、支持灾备的目的。 本文档以现有it技术及其发展趋势为参考，借鉴当下最新的it信息中心设计思想， 在对公安厅数据中心需求现状进行分析的基础上，详细阐述了某省公安厅信息中心建设 的目标架构以及各个组件的推荐使用产品、部署管理策略和建设实施方法，并总结了应 用整合的方法论，以期能帮助某省公安厅更好的完成it基础设施资源整合项目的建设。 1.2 目标读者目标读者 本文的主要读者为某省公安厅it资源整合建设项目组管理者及技术成员，各系统、 存储、网络管理和维护人员，以及应用开发人员。 1.3 参考文档参考文档 某省公安厅信息中心应用运行平台初步设计方案 公安厅信息中心存储系统配置预测(初稿）存储需求分析 应用运行平台-需求分析 7 2. 项目概述项目概述 2.1 建设目的建设目的 某省公安厅公安应用运行平台作为信息中心应用核心，是某省公安未来的数据中心、 运行中心、容灾备份中心、开发测试中心，是一切某省公安系统应用的基础；信息中心 应用运行平台主要是为了实现：整合各业务系统数据，建立综合业务系统，实现跨业务 部门的协同运作，开展面向基层、面向实战、面向各级领导提供跨地区、跨部门的联机 事物处理、综合智能化信息查询、关联交叉信息比对、无线移动数据查询、智能化辅助 决策支持等功能在内的多途径、多角度实时便捷的应用服务支撑平台；也是整合各业务 部门的主机、存储设备，实现集群和互相备份，充分发挥数据的综合共享、复用，打破 信息孤岛；并实现数据备份、数据分析、数据质量分析、深层次数据挖掘等功能的综合 信息平台。 该平台建设为某省公安厅信息资源综合利用以及以后的情报信息决策支持打下基础， 其功能要求主要有：运行各类业务应用系统和综合应用系统；大容量数据存储；信息数 据资源综合；数据容灾备份；应用系统上线测试；资源数据综合分析、数据质量分析及 数据挖掘；该平台建成后,以后新业务系统建设时,业务部门只需考虑应用软件,无须考虑 硬件环境. 2.2 项目目标项目目标 为适应 it 集中管理工作和某省警用综合业务平台发展的需要，借鉴最新 it 信息中 心项目建设经验，在信息中心的建设过程中，达到易于维护、快速部署、节约成本、支 持灾备的目的。 2.3 建设需求分析建设需求分析 为全省公安系统应用系统提供统一的运行环境：按照统一规划来建设基于多层体系 结构的应用系统运行平台，能发挥集中使用资金的优势，从数据存储、高性能数据访问、 高可靠性和可扩展性等多方面更灵活、更合理地满足应用系统的资源配置需求；实现 键入文字 “随需应变”的动态扩展需求； （1）在统一运行平台上运行的主要应用系统： （2）应用的方式及功能定位 信息资源库：基于共享数据库提供多种形式的信息服务，其特点是信息共享性强、 应用面广、查询频度高。应用方式：在有关业务数据库基础上，通过抽取有关联的、共 享程度高的数据建库；功能：提供跨地区、跨部门的关联查询，跨部门、跨系统的数据 复用、比对报警，也可以在此基础上开展数据仓库应用。 业务应用系统：基于结构化信息的数据库应用，维护数据来源于下一级相应业务应 用系统。 应用方式：接收、汇集下属各单位上报的数据，建立业务数据库；数据库功能：数 据入库、查询比对、维护更新、统计分析、用户管理、系统维护、数据下载等；应用系 统功能：提供信息查询查证、本级业务管理、向上报送统计数据等。 门户网站：是向外提供信息服务的窗口，具有信息发布、信息交流，提供本级信息 资源库和业务应用系统的链接功能，单点登陆的功能。 数据仓库：建立在业务应用数据库和信息资源库基础上的数据分析决策应用，从不 同角度、不同层面为业务部门、综合部门和领导提供联机综合信息分析。 2、为应用系互联互通提供支撑环境：在网上建立较为完善的信息安全机制，实现用 户和应用对数据的透明操作，提供信息系统开发和互联规范，降低业务应用开发的复杂 程度，提高应用的可靠性。 3、为应用系统上线提供测试环境：为使应用系统顺利上线运行，并保证应用系统上 线后的运行效率，避免相互干扰，信息中心应考虑搭建测试和演示环境，并建立与之配 套的测试流程。 测试内容：性能测试，用于确定应用系统对资源的配置需求； 兼容性测试：用于确认不同应用系统对运行平台的适应性； 2.4 建设思路建设思路 明确某省公安厅基础设施架构，确定必要的技术标准和使用规范，分析各应用系统 键入文字 的结构特点及业务价值，以应用系统为主线逐步实现基础设施的改造和应用系统的整合； 由某省公安厅负责总体架构设计、产品（技术）标准和使用规范的制定、总推分应 用系统的改造迁移、指导和监督各业务应用的项目实施； 本项目涉及 it 环境的多个层次，在基础设施建设方面既要考虑通用的建设原则，如 可伸缩性、高可靠性、安全性等，又要充分考虑本项目的迁移改造特点，除基础设施建 设的一些通用原则外，还必须遵循以下原则： 易于维护易于维护架构设计时尽可能做到集中部署、集中监控、集中备份；对各应用 系统进行基础设施整合，保证基础设施架构的一致性；减少设备的数量和种 类；保持软件版本的一致性；完善各种技术规范、流程和制度，尽量减少集中 和整合带来的系统间的影响和运维的风险； 快速部署快速部署基础设施建设人员与应用开发人员充分交流；保持软硬件产品、版 本的统一性；制定详细的技术规范、管理制度和工作流程；减少机房数量，健 全机房建设计划，完善机房管理制度； 节约成本节约成本逐步取消二级机房；合理配置技术支持人员；保持软硬件产品、版 本的统一性；选择业界主流产品等。 3. 基础设施目标架构基础设施目标架构概述概述 3.1 总体架构总体架构概述概述 某省公安厅建议采用模块化的数据中心架构设计方法，将基础设施架构中各个服务 器划分为不同的逻辑功能区域（zone），根据应用系统的主要功能分成不同的类别部署 在不同的逻辑功能区域中，每个逻辑功能区域根据访问控制和网络管理的需要又划分为 多个子区（vlan），服务器的部署将根据应用类型和用户访问特性放入到相应的子区 （vlan）中。在主要的逻辑功能区域内，又根据应用的技术特性分为 web 层（或信息发 布层）、应用服务层、数据库服务层，这种设计方法既考虑了应用类型和用户访问特性， 又考虑了应用系统的技术架构，具备较好的可伸缩性、灵活性和高可用性。 键入文字 3.1.1 警务综合平台架构描述警务综合平台架构描述 某省公安厅警务应用平台是全省信息发布接受的核心，为各级公安机关和全体民警 通过公安专有网络访问，提供统一门户登陆、录入和查询等功能。 图表 1：警务综合架构逻辑图 lan 综查应用服务器 http服务器集群 膝上型 独立服务器 独立服务器 综合应用服务器集群 八大资源库及其他应用数据库 sql数据库服务器oracle数据库 服务器 1 2 3 4 5 6 7 8 91011 12 a b 12x 6x 8x 2x 9x 3x 10x 4x 11x 5x 7x 1x ethernet a 12x 6x 8x 2x 9x 3x 10x 4x 11x 5x 7x 1x c 1 2 3 4 5 6 7 8 91011 12 a b 12x 6x 8x 2x 9x 3x 10x 4x 11x 5x 7x 1x ethernet a 12x 6x 8x 2x 9x 3x 10x 4x 11x 5x 7x 1x c 磁盘阵列磁盘阵列 san(存储网络) 光纤交换机光纤交换机 备份服务器 磁带库 备份系统 图表 2：多层架构拓扑结构 采用模块化的警务综合平台架构： 1、客户层：浏览器、客户端软件等电脑等客户终端。 2、信息发布层：由负载均衡器和 web 服务器组成。负载均衡器以虚拟主机名称的形 键入文字 式来表示单个系统映像，并跨越多个 web 服务器分配客户机请求，为 web 服务器阵列提 供了卓越的可用性、可伸缩性和管理性。 3、应用服务器层：提供应用的业务逻辑处理。通过采用中间件技术可实现应用逻辑 服务器的高可用性及可伸缩性。 4、数据层：由数据库服务器、数据库系统和存储系统组成。提供包括关系型数据库 系统（如 oracle，sql server，db2 数据库等）服务和数据仓库（如多维数据库等）服务 等。 3.1.2 oaoa 应用平台架构概述应用平台架构概述 某省公安厅办公自动化系统是基于 oa 应用为基础开发建设的应用系统，是实现全省 的公文流转及管理，同时作为系统内各层级之间，各条线之间进行信息上传下达的一个 重要渠道。oa 作为一个全省的管理信息系统，将成为全省内部管理信息交流的重要平台， 是全省公安人员日常办公的重要工具。 oa 系统我们也推荐采用 b/s 模式，服务器端为数据库软件和 oa 版应用软件，客户 端为最终用户通过 ie 浏览器访问 oa 系统。 图表 3：oa应用架构逻辑图 采用模块化的oa应用平台架构： 1、web 表现层：web 浏览器、手机、掌上电脑等客户终端。 键入文字 2、web 服务器：由负载均衡器和 web 服务器组成。负载均衡器以虚拟主机名称的 形式来表示单个系统映像，并跨越多个 web 服务器分配客户机请求，为 web 服务器阵列 提供了卓越的可用性、可伸缩性和管理性。 3、应用业务层： 提供 oa 应用软件的业务逻辑处理。 4、应用服务层： 提供共享信息平台处理，如警务综合业务、综合应用、勘察等系 统应用、domino 应用等 5、数据层：由数据库服务器、数据库系统和存储系统组成。提供包括关系型数据库 系统（如 oracle，sql server，db2 数据库等）服务和数据仓库（如多维数据库等）服务 等。 3.1.3 分区、分层设计思想介绍分区、分层设计思想介绍 使用模块化的设计方案，是基于业界企业级网络参考架构和安全架构进行的，包括 cisco safe 和 ibm ebusiness reference model 模型，并通过快速架构设计方法而进行 的，此方案已经在设计中考虑到了扩展性、可用性、安全性、管理性和高性能等因素。 采用这种分区的架构设计从安全上考虑有两个优点：首先，允许在架构设计中明确 不同网络区域之间的安全关系；其次，其允许设计者可以对每一个区域进行安全的评估 和实施，不必考虑对其他区域的影响。这样保障了网络的高扩展性、可管理性和弹性。 在各分区内，根据应用的结构特性将系统分成三层，即：web 层（或信息发布层）、 ap 层和 db 层。显然，web、ap 和 db 的层次划分最适合于 b/s 架构的应用系统部署，而 对于 c/s 架构及分布式架构的应用系统则一般采用两层物理架构，即 ap 层和 db 层。这 样分层的好处是数据备份统一，利于应急容灾，系统运维管理也相对简单，但是也存在 分险点增加，投资相对增大等不足。考虑应用访问控制和网络管理需要，又根据应用的 功能和用户的类型将其划分为若干个子区（vlan）。在三层架构中，web 服务器或接入端 服务器在前端与用户进行通信，应用服务器在中间用于实际的数据处理和分析，数据库 服务器位于后端用于数据的存储。这种三层的应用程序架构不但提供了架构的可伸缩性、 灵活性，而且有助于在数据中心中构建更高级别的可靠性和安全性。位于不同子区的服 务器可以接入到不同的网络中，部署不同级别的安全机制，从网络访问上提供了更可靠 的安全性等。 键入文字 3.2 网络架构网络架构 某省公安厅已经有自己健全健壮的网络架构，我们这里只是简单介绍下网络上常见的 几个功能区，分别为核心交换区、服务器区、客户端接入区、广域网接入区、外联平台 接入区、互联网平台接入区和测试区。 核心交换区 (core zone) 核心交换区块的主要功能是：作为整个某省公安厅网络的核心，连接不同的功 能区域，实现数据的高速转发。 服务器区 (server zone) 服务器区主要负责各种业务系统的服务器接入。在服务器区内根据业务功能特 点分为多个逻辑区域，以满足服务器的部署。 客户端接入区 (client zone) 客户端区主要负责本地客户终端接入，包括省厅所在办公大楼客户端以及同城 城域网接入的客户。 广域网接入区 (rtp zone) 广域网接入区（reginal touch point zone）又分为上联区、下联区、汇聚交换 区。 外联平台接入区 (externet access zone) 外联区主要是实现业务的外联，包括同行业的往来业务、重点客户的业务、中 间代理业务等的互连平台，需要通过电信、联通等服务提供商提供的线路与外 联伙伴互联。 互联网平台接入区 (internet access zone) 互联网平台接入区是一级分行访问internet的出口，需要通过isp与internet连 接。 测试区 (test zone) 键入文字 测试区用于部署省厅测试、开发所需要的服务器、开发平台等。测试区与其他 区域即生产网络实行物理隔离。 3.3 服务器架构服务器架构 3.3.1 服务器架构描述服务器架构描述 按应用系统的架构特点，应用系统的类型可分为 b/s 架构应用系统和 c/s 架构应用 系统两类。对于 b/s 架构的应用系统一般采用三层物理架构，即 web 层、ap 层和 db 层各 自部署独立的服务器，根据应用类型、用户类型等信息确定每个层具体部署在业务服务 区或者是办公系统服务区。对于 c/s 架构及分布式架构的应用系统一般采用两层物理架 构，即 ap 和 db 层各自部署独立的服务器，其接入端前置服务器，放在接入层。对于应 用和数据库不分离的系统，将服务器统一部署在 ap 层。 对于某省公安厅数据库中心的建设，我们建议推荐使用 c/s 架构来搭建数据库信息 中心平台，优点是便于管理、更好的部署安全策略。 3.3.2 建构设计与各分层说明建构设计与各分层说明 某公安厅服务器部署分三层架构： 第一层 web 服务器接受来自各级公安机关和全体民警通过公安专有网络以浏览器为 工具访问，主要信息请求为查询和资源库处理。 第二层应用服务器接受来自 web 服务器的资源库处理、查询结果返回给 web 服务器； 应用服务器通过应用程序将资源库处理与查询请求转换成数据库请求发送给数据库服务 器，并接受来自数据库结果。 第三层数据库服务器接受来自应用服务器的请求，通过数据库管理系统操作存储设 备上的数据库数据，将结果返回给应用服务器。 以下为我们的建议推荐： 对于 web 层，可以通过多台 web 服务器（或接入服务器）组成基于前端负载均衡设 备的横向群集，在提高对 http 请求（或接入请求）处理能力的同时，也提供了良好的应 急机制，保证了高可用性和高可靠性。 对于应用层，应用服务器需要较高的计算能力和网络通讯处理能力，应用服务器将 键入文字 安装在物理服务器或逻辑分区上，并可以通过和另一台物理服务器或不同物理服务器上 其他的分区建立集群（clustering）或 ha 关系，实现负载均衡和容错的目的，提高整体 性能和可靠性。 对于数据库服务层，也是本方案建设目标层。数据库服务器需要非常强的磁盘 i/o 处理能力，应该具有高磁盘 i/o 和高容量存储，数据库服务器与外部磁盘存储系统应该 通过基于光纤的存储网络（san）进行连接，以获得较高的 i/o 的性能。数据库服务器可 以通过使用冗余的小型机实现高可用性，如：在 aix 环境上，可以通过 2 台 ibm 服务器 和 hacmp 软件；而在 hp-ux 环境下，可以通过 2 台 hp 服务器和 mc/serviceguard 软件实 现高可靠性、高可用性。 3.4 存储架构存储架构 3.4.1 存储架构描述存储架构描述 通过建立统一、集中的存储平台，某省公安厅信息中心的存储系统将具有架构清晰、 部署灵活、设备标准、网络可靠、数据分级、备份集中、易于扩充等特点。 如下图所示： 键入文字 图表 4：存储架构逻辑图 另外我们也建议用户对存储架构进行分期建设如下： 1、第一期：建设信息中心存储基础设施架构，满足信息中心所有建项目的存储需求 和扩展。 建立高速、统一的存储网络； 建立集中备份系统； 初步建立分级存储架构。 2、第二期：进一步完善信息中心存储基础设施架构。 建立较为完善的分级存储架构，初步实现数据生命周期管理； 完善数据保护架构； 进行异地灾备的建设； 实现统一的存储资源管理及监控。 以上方案优势在成本控制、部署灵活和易于扩展等。 存存 储储资资 源源管管 理理及及 监监控控 服务器1 高高端端 磁磁盘盘阵阵列列 中中端端 磁磁盘盘阵阵列列 磁磁盘盘阵阵列列类类 近近线线存存储储 光光盘盘库库物物理理礠礠带带库库虚虚拟拟礠礠带带库库 在在线线存存储储 on-line 近近线线存存储储 near-line 离离线线存存储储 off-line 存存储储网网络络 冗冗余余光光纤纤交交换换机机 服务器2服务器3服务器4 存存 储储资资 源源管管 理理及及 监监控控 服务器1 高高端端 磁磁盘盘阵阵列列 中中端端 磁磁盘盘阵阵列列 磁磁盘盘阵阵列列类类 近近线线存存储储 光光盘盘库库物物理理礠礠带带库库虚虚拟拟礠礠带带库库 在在线线存存储储 on-line 近近线线存存储储 near-line 离离线线存存储储 off-line 存存储储网网络络 冗冗余余光光纤纤交交换换机机 服务器2服务器3服务器4 键入文字 3.4.2 分级存储设计分级存储设计简述简述 为了更优化存储的使用，我们建议信息中心的存储架构分为三级，分别为在线数据 存储（on-line）、近线数据存储（near-line）、离线数据存储（off-line）。每个级 别的功能简要描述如下： 在线数据存储（在线数据存储（on-lineon-line） 在线存储(on-line)是工作级的存储，在线存储的最大特征是存储设备和所存储的数 据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数 据访问的速度要求，其中最主要的在线存储是磁盘存储。在线存储的性能是最高的，但 成本也是最高的。 近线数据存储（近线数据存储（near-linenear-line） 近线存储就是在原有的在线存储及离线存储之间引入的第二层存储，是在线和离线 存储的中间点，是近似在线的存储。其特点是数据访问的速度接近在线存储，但在价格 上却接近离线海量存储，因此，在有效降低存储产品成本的同时，也保证了数据能够被 及时访问。由于存放的数据容量大、访问频度低，用近线存储设备来存储，比使用磁带 库灵活，同时也避免了在线存储的昂贵投资。传统定义的近线存储设备主要为cas归档系 统、nas系统与光盘库设备。 离线数据存储（离线数据存储（off-lineoff-line） 离线数据是对在线数据的备份，以防范可能发生的数据灾难，离线数据不常被调 用，一般也远离系统应用。离线存储的典型产品是磁带库，价格相对低廉，但离线存储 介质上的数据在读写时是顺序进行的，当需要读取数据时，需要把磁带卷到头，再进行 定位。因此，离线存储的访问速度慢、效率低。我们建议用户设计建立统一的备份系 统，包括中端磁带库、独立的存储网络、集中备份软件。 考虑到备份系统稳定性、i/o吞吐量等方面的要求，使用小型机作为备份服务器，并 通过fc卡联入san网络环境。在san交换机设置独立的备份区，与数据区严格分离。 另外我们建议公安厅设计建立统一的备份系统，包括持续数据备份技术、虚拟磁带 库、中端磁带库、独立的存储网络、集中备份软件。 键入文字 考虑到备份系统稳定性、备份数据的可恢复性能力、备份数据的即时可用性等方面 的要求，建议采用持续数据保护技术作为数据备份技术来建设备份系统，选择一台备份 磁盘阵列通过fc卡联入san网络环境，通过持续数据保护软件实现数据的快速备份、快速 恢复、恢复数据即时可用以及基于任意一个时间点的恢复等不同于传统备份模式的更多 的优势。 采用磁带库做为二级备份系统，将数据备份至磁带库作为备份归档系统。持续数据 保护作为一级备份系统、磁带库作为二级备份系统，从而形成多层次的数据备份体系。 备份结构如下图所示： 图表 5：存储的备份架构 3.4.3 存储网络设计存储网络设计 在参考了现有主流san架构及今后警务平台新业务部署情况后，我们建议用户采用双 交换机san的设计。如下图： 备份网络 服服务务器器1服服务务器器2服服务务器器3 备备份份服服务务器器 san交交换换机机san交交换换机机 磁磁带带库库 磁磁盘盘阵阵列列磁磁盘盘阵阵列列 备 份 区 备 份 区 数 据 区 数 据 区 备份网络 服服务务器器1服服务务器器2服服务务器器3 备备份份服服务务器器 san交交换换机机san交交换换机机 磁磁带带库库 磁磁盘盘阵阵列列磁磁盘盘阵阵列列 备 份 区 备 份 区 数 据 区 数 据 区 键入文字 服务器1服务器2 光纤交换机光纤交换机 存储1存储2 图表 6：san网络结构 针对san的高可用性：省厅信息中心san结构如要达到较高级别的可用性，在架 构中应包括超过两个(包含2个)独立fabric，这样在连接层、交换机层、fabric层 发生故障的时候都不会停止应用的io，同时可以实现在线升级维护； 针对san的高性能：从端口数量考虑，考虑到信息中心内服务器的数量和光纤交 换机的端口数量，建议采用高端光纤导向器； 针对san的可扩展性： 根据省厅信息中心服务数量，我们建议配置的高端光纤 导向器端口数量为24-128口，可满足省厅信息中心今后几年的应用需求，如果 128个端口不能满足省厅信息中心今后的发展，可通过扩容提高端口数量（高端 光纤导向器均可达到300口以上）。 20 4. 目标架构管理策略目标架构管理策略 4.1 服务器分层部署策略服务器分层部署策略 在服务器的部署策略方面，我们这里就不详细介绍web层（或信息发布层）、应用服 务层内容。只以数据库层为重点详细介绍。 某省公安厅数据库层：提供公安系统信息资源库及业务系统信息资源和数据运算处 理服务。数据库分三个库进行建设，一库是业务系统库，主要是集中一些业务系统，统 一到一个平台上来；一个库是资源库，根据实际情况建设包括八大资源库在内的信息资 源中心，数据项根据需求采用全项或简项信息。一个库作为综合库建设，实现综合业务 的应用和查询，也可以直接将现有的综合查询系统移植过来。 在这种环境中，我们建议使用高稳定性的系统与高可靠性的数据库。 如：ibm aix hacmp 系统与 oracle rac 数据库 4.2 存储分级部署策略存储分级部署策略 根据应用系统的主要功能、业务类型、对数据访问要求等因素，将其数据部署在各级 存储上，既能最大限度满足应用需求，又可使存储成本最小化。各应用系统的存储部署 策略如下： 一般应用系统数据只需要部署在线存储和离线存储这两级存储上。在线存储划分为 高端 raid 阵列和中端 raid 阵列，按照应用重要性分别部署应用系统，如针对不同的业 务应用做到分层部署。对于性能要求较高的业务系统，应采用 10k 或 15k 的全光纤硬盘， 对于性能要求特别苛刻的系统如警务综合平台，综合查询应考虑部分采用 ssd 固态硬盘 来满足性能要求，对于文件系统的应用和业务相对较小的应用则采用大容量的 sata 硬盘 即可。这样设计在线存储采用“高低搭配”的原则，即满足了对性能要求较高的业务系 统，也满足了对性能要求特别苛刻的系统如警务综合平台等，同时也能对一般性存储有 很好的支持。 oa 应用平台系统包括 oa 业务、警务综合业务、综合应用、勘察等系统等，因其数 据量大，信息录入性强但使用不频繁其中包括视屏影像等资料。可考虑使用 nas 系统来 键入文字 完成。 内容管理和日志归档类应用系统，由于数据量庞大且大部分数据访问频率不高，因 此除了在线存储和离线存储外，我们建议将历史数据和较少访问的数据部署到近线存储 上，如 nas 系统或者数据归档系统（cas）系统。 而一些历史数据应用系统，由于并不是经常用到或是作为历史备份，我们建议使用 物理磁带库或者虚拟磁带库设备进行备份。 4.3 主机备份策略主机备份策略 根据应用系统的结构特点，主机系统的备份策略我们建议如下方式： j2ee 架构的主机备份方式 web服务器采用负载均衡设备实现主机的横向扩展和应急备份； 应用服务器采用中间件产品的cluster功能实现横向扩展和应急备份； 数据库服务器采用双机热备软件实现应急备份，或采用冷备的方式。 图表 7：j2ee架构主机备份方式 4.4 数据保护策略数据保护策略 存储网络采用双光纤交换机及双光纤通道实现failover/load-balanced功能，提 高数据可用性及访问性能； 磁盘阵列均采取raid保护机制（目前主要是raid0+1、raid5）提高数据的可 靠性； 键入文字 通过数据备份软件提供数据灾难恢复手段。 通过持续数据备份软件提供基于数据的快速备份、快速数据恢复手段。 因公安厅数据属于国家保密性质，当主机或存储更换硬盘后，应对替换下硬盘 数据做消磁或粉碎工作。 4.5 数据备份策略数据备份策略 4.5.1 数据备份方式数据备份方式 目前备份系统中常用的备份方式有三种： 持续数据备份：备份时生产磁盘阵列和备份系统之间通过软件实现数据同步并 记录任意一变化io，备份数据即时可用且可基于任意一个时间点的恢复。 lan方式备份：备份时的控制信息和数据信息均通过管理网传至备份服务器，备 份服务器接收控制信息并将备份数据写入带库。 lan-free方式备份：在san网络环境用于数据备份，备份时仅控制信息通过管 理网传递至备份服务器用于数据的管理，而备份的真实数据则通过fc卡和san 交换机直接写入带库。 三种备份所面向的对象如下表所示，信息中心可根据实际情况适当调整： 备份方式所面向的server备份内容备份特点 cdp持续数据备份所以需要备份的数据，无数 据量的限制 备份数据可即时恢复； 备份数据即时可用； 可恢复至任意一个时间点； lan-free备份实时业务系统：20gb以上 非实时业务系统：50gb以上 适合大量数据的块传递，备份速度快 lan的备份生产数据库的逻辑日志备份 实时业务系统：20gb以下 非实时业务系统：50gb以下 一般系统逻辑日志保留一天，备份到备 份服务器上的磁盘空间，如有特殊需 求，按照应用系统的恢复需求制定逻辑 日志的备份策略。 图表 8：lan-free和lan备份架构策略 键入文字 4.5.2 备份策略考虑备份策略考虑 为了减少备份时间窗口、减轻网络压力、缩短恢复时间，在制定备份策略时，应该 考虑优先备份系统配置及应用数据，例如注册码表和服务器上的所有数据，其次考虑对 数据库日志、交易日志文件等的备份。对于操作系统的备份，可以使用系统所自带的备 份工具（如aix平台的mksysb等）进行安装及升级（补丁）前后的备份； 下表概述了各网络区域的备份级别： 基础设施/应用服务器区域 服务器逻辑层 (中间层) 应用服务器、目录服务器以及阶段服务器备份需求。 优先级：高 数据库区域 数据库服务器 对系统动态信息以及所有的数据库进行备份。 优先级 ：高非常高 图表 9：服务器区域备份级别 24 5. 方案概述方案概述 5.1 服务器方案服务器方案 5.1.1 需求分析需求分析 访问量分析访问量分析 （一）根据用户数推算。 目前全省公安系统大约56000余人，其中厅机关800人，市州局1.4万人，县分局4.2 万人，根据目前的发展趋势，未来3年内，总数将超过8万人，信息终端拥有率将达到 80%，则联网计算机终端设备将达到64000台。 即6400060%3840；按高峰期的并发数估计大约是10%，则每秒并发用户数为 3840010%3840个。 全国其他省按每地市平均每天访问查询300次，以全国367个地市计算访问查询计 算，全国每天查询数为110100次。按每天1.5小时高峰时间算，则每分钟访问量为 1101001.560=1223次，每秒约20次。 平台预计每秒并发量大约是2860次。 （二）根据业务量推算。 该平台承载全省主要应用系统的运行环境，因此平台业务主要来源于四个方面。 年业务高峰期按100天计算，每天集中在1.5小时左右，则年高峰工作小时 数：1001.5150。 根据以上数据，推算出本平台的业务处理能力应达到如下指标： 1、每分钟业务操作次数：38400/（15060）4.266万 2、每分钟比对业务次数：9000/（15060）=1万 3、每分钟业务查询次数：20000/（15060）=2.23万 4、每分钟数据维护次数：4000/（15060）=0.44万 键入文字 数据库服务器数据库服务器 tpc-ctpc-c 值估算值估算 从用户使用量估算。 由于高峰期每秒并发用户数为3860个，则每分钟需要处理的数据库操作 为：386060=231600笔。整个应用系统复杂度系统按1：10计算，即一个用户的实际交 易逻辑复杂度相当于tpc-c测试交易的10倍，该系统要求的tpc-c值 为：23160010=2316000tpm。按30%系统冗余量计算，则数据库服务器的tpc-c要求 为：2316000/（1-0.3)3300000tpm。 从业务发生量估算。平台承担的四类应用中，日常业务办理和比对是典型的oltp 联机事务处理交易, 查询、统计分析和维护业务是典型的olap 联机分析处理应用。通常 将这两类应用部署在不同的服务器或者不同的分区上。 对于oltp数据库服务器处理能力要考虑到oltp类业务集中时的峰值要求，这类业务 要求服务器的能力应能够满足业务高峰时每分钟28890次的业务操作、1万次的比对处理 量，我们按一次业务操作由5个业务逻辑处理构成，平均一个业务逻辑处理需要10个tpc- c的测试值，比对按平均处理一次需要5个tpc-c的测试值计算，同时考虑到服务器还要处 理其他的系统应用，以及保留一定的处理能力余量，处理能力在满足前述要求的前提 下，还须有30%的处理能力余量。则oltp数据库服务器需要的处理能力为： （38400510+100005）/（30%）2810000 tpmc。 如果将查询、维护也部署在oltp数据库服务器上，则该数据库服务器需要的处理能 力还需要满足每分钟2.23万次的查询和0.44万次的数据维护需要，查询、维护按平均处 理一次需要2个和5个tpc-c的测试值计算，则oltp数据库服务器处理能力为： （38400510+100005+223002+44005）/（30%）2910000 tpmc。 综上所述，oltp数据库服务器要求tpc-c值约为300万tpmc。考虑到综合应用业务受 数据质量、知识来源、建模等制约，进展相对滞后于传统业务处理的信息化进程，同 时，由于数据分析的模型千差万别，无法评估olap数据库服务器的处理能力。只有在确 定数据分析的模型后，通过实际的测试后，才能根据业务量推算所需的服务器的处理能 力。在本次建设中，数据库服务器的处理能力应在满足oltp类业务的要求下，兼顾到 olap类应用的处理能力要求，即数据库服务器需要的处理能力约为300330万tpmc。 键入文字 5.1.2 方案描述方案描述 基于某省公安厅核心数据库中心处理能力需求，我们建议使用两台高端小型机服务 器做为数据库核心服务器。对每台服务器进行硬分区，分别执行警务综合平台和oa应用 平台。 因对每台服务器做硬分区，两套业务分别运行在独立分区工作，每套业务平台相互 独立可自己运行独立的应用互不干涉。 而在两台服务器之间，可利用ibm hacmp、hp-ux mc/serviceguard或sun cluster等 双机热备份技术提高系统的可用性。 按照前述警务综合平台和oa应用平台tpc-c值的估算，业务应用总计tpc-c值估算在 330万tpmc左右。综合市场性价比，我们推荐如下符合需求服务器产品： 图表 10：服务器tpc-c表 tpc-c 测试配置 64-core ibm p5+ 595 4.033.378 p5+/2.3ghz 64内核 128-core hp integrity superdome 4,092,799 itanium2/1.6ghz, 128 内核 256-core sun sparc enterprise m9000 no benchmark 注：该款机并未做tpc-c值测试，但满配应能完 成并达到tpc-c 360万数值以上， 键入文字 注：以上数据均引用独立的权威测试机构tpc组织网站上所发布信息，详情可参阅 。 我们以ibm p5+ 595为例；我们推荐每台数据库服务器做到64颗cpu满配，内存配置 256g。按现在服务器单颗cpu 6万tpmc处理能力推算，大概使用54颗cpu就能满足综合警 务平台使用，而剩余10颗cpu我们可做为动态扩展cpu单位使用，一旦生产cpu负责过高或 有问题时，我们可通过ibm powervm虚拟技术在不从启系统和应用的前提下，将动态cpu 扩展单元中的cpu加入到生产中，提高应用系统的安全性和高处理能力。同时，若以后业 务发展处理能力提高时，也可将动态扩展cpu永久加入生产中，为以后业务系统发展提供 可靠安全的升级能力。 在两台服务器之间，我们可通过双机工作，互为热备，这样两台设备同时工作时， 负载不同应用，其处理能力完全满足业务的峰值需要，一台设备出问题时，另一台自动 接管起应用，保障综合与业务都不中断。 图表 11：hacmp双机演示图 每节点分为 2个独立分 区 a节点1分区 运行警务综 合平台 a节点2分区 做为b节点2 分区oa应用 平台备份 每节点分为 2个独立分 区 b节点1分区 做为a节点1 分区警务综 合平台备份 b节点2分区 运行oa应用 平台 键入文字 5.1.3 产品简介产品简介 ibmibm p5+p5+ 595595 简述简述 ibm system p5+ 595 服务器旨在帮助企业战胜挑战，取得竞争性优势。作为最强大 的 ibm system p5 服务器，p5+ 595 具备非凡的性能、可靠性、可扩展性和灵活性；使 企业能够通过可靠地将应用程序负载整合到单个系统上来控制其 it 基础架构。采用多 达 64 路对称多处理（smp）配置的先进 64 位 ibm power5+处理器内核，该服务器能够 应对具有苛刻处理需求的各种复杂的关键任务型应用程序，包括商业智能（bi）、企业 资源规划（erp）、事务处理和超高性能计算（hpc）。 p5+ 595 服务器利用先进的 system p 虚拟化技术 （如高级 power 虚拟化和容量随需应变（cod）选项）， 可以快速而平稳地扩展以解决随需应变环境不断变化的需 求。它可以同时运行 ibm aix 5l和 linux 操作系统，从 而具备了为企业实现其目标而运行所需应用程序的灵活 性。并且，大量秉承大型机技术的可靠性、可用性和可维 护性特性有助于确保系统时刻准备为企业提供服务（每周 7 天，每天 24 小时）。 一般特性： 24“ 机架式 16 路、24 路、32 路、40 路、48 路、56 路或 64 路 mcm（多芯片模块）smp 设计64位 power5 技术 秉承大型机技术的 ras 功能，其中包括可选的动态固件更新和冗余服务处理器 高级 power 虚拟化2标准 ibm micro-partitioning（高达 254 个微分区） 享处理器池 虚拟 i/o 服务器 键入文字 分区负载管理器（仅适用于 aix 5l） 多达 12 个 i/o 扩展抽屉（11 个可选） 带有备用电池（选件）的冗余电源子系统 处理器和内存具备随需应变功能 永久性、开关、预留（仅用于处理器）和试用 激活 容量备份配置（可选） 支持近乎不间断操作的 hacmp 支持 aix 5l（v5.2 或更高版本）以及来自 red hat（rhel as 4 或更高版本）和 suse linux（sles 9 或更高版本）的 linux 版本这些操作系统 system cluster 1600 支持，带有集群系统管理软件 ibm eserver pseries 高性能交换机和 12x infiniband 交换机支持 技术规格： ibm system p5-595 一览 处理器内核16 个 power5+ 2.1 或 2.3 ghz（两个 8 路 mcm） l2 高速缓存 7.6mb / mcm l3 高速缓存 144mb / mcm ram（内存）： 8gb 处理器到内存的带宽（峰 值） 811.0 gbps l2 到 l3 高速缓存带宽（峰 值） 1177.6 gbps gx+ i/o 子系统带宽（峰 值） 196.2 gbps i/o 扩展抽屉1个 scsi 磁盘支架16 个（73.4/146.8gb 15000 转/分钟磁盘）（通过 一个 i/o 扩展抽屉） 内部磁盘存储器2.3tb（通过 i/o 扩展抽屉） 适配器插槽20 个 pci-x（64 位/133 mhz）（通过一个 i/o 扩 展抽屉） 标准功能（部件）标准功能（部件） i/o 端口 两个集成的双 ultra3 scsi 控制器 键入文字 两个硬件管理控制台端口 power 管理程序lpar 动态 lpar 虚拟 lan 微分区 共享处理器池 虚拟 i/o 服务器 高级 power 虚拟化 分区负载管理器（仅适用于 aix 5l） 系统扩展系统扩展 cod 配置16 到 64 个处理器内核，增量为一个处理器内核 （通过 1 到 8 个 mcm）；2.1 或 2.3 ghz power5+ 处理器内核 ram 高达 2tb 的 400mhz ddr2 sdram，或高达 1tb 的 533 mhz ddr2 sdram i/o 扩展最多可额外添加 11 个 i/o 扩展抽屉，每个提供 20 个 6