oracle备份方案.doc

新华人寿客户管理平台一期客户分析系统技术方案书吉贝克信息技术（北京）有限公司2012年11月r 修订历史版本生成时间修订人修订内容审阅人目录1概述71.1背景71.2系统实现原则71.3目标读者及用途81.4名词解释82项目理解及需求分析92.1客户关系管理体系建设总体目标92.2ACRM系统定位和边界92.3ACRM系统建设路线图规划122.4ACRM业务用户132.5一期需求分析132.5.1客户数据标准142.5.2客户分层需求162.5.3客户分析需求182.5.4技术需求分析203系统架构设计213.1功能架构213.1.1架构概述213.1.2架构设计213.2逻辑架构233.2.1架构概述233.2.2架构设计233.3技术架构273.3.1客户分层模型设计273.3.2ETL架构293.3.3接口设计343.4数据架构（左家维、王建波）373.4.1数据架构层次规划373.4.2数据模型说明383.4.3数据存储规划413.5物理架构423.5.1存储分析423.5.2性能分析433.5.3物理架构图444系统安全性设计464.1概述464.2网络安全管理464.3系统安全管理464.4数据安全管理474.5用户权限管理484.6防病毒管理484.7对安全产品的技术要求484.8备份软件数据管理495系统备份恢复策略495.1备份与恢复的范围495.2备份和恢复策略505.2.1数据库备份和恢复策略505.2.2操作系统备份和恢复555.2.3Portal备份555.2.4Microstrategy备份555.2.5Informatica备份566项目实施过程566.1项目启动576.2需求分析586.3系统设计596.4系统开发616.5上线与维护627项目管理过程637.1范围管理637.1.1目标设定647.1.2工作范围647.1.3WBS（工作分解结构）647.1.4资源分配657.1.5范围变更控制管理657.2组织结构657.2.1项目实施团队组织架构657.2.2项目实施团队人员667.2.3项目实施中角色描述677.3团队组成687.3.1主要实施人员697.3.2参与项目核心人员简历及项目经验697.4进度管理747.5质量管理757.5.1系统交付品质量管理757.5.2重点工作质量管理757.6风险管理767.6.1风险识别777.6.2风险分析787.6.3风险应对787.6.4风险监控797.7问题管理797.7.1问题/风险管理流程807.7.2问题/风险列表837.8变更管理837.8.1提出变更申请847.8.2分析评估847.8.3审批变更857.8.4执行变更857.8.5变更的跟踪867.8.6变更的结束867.8.7变更申请表和变更申请跟踪表867.9沟通管理887.10交付物管理917.10.1项目交付物管理917.10.2交付物清单928培训和售后服务要求938.1培训要求938.1.1培训内容938.1.2知识转移对象948.2总体服务说明958.2.1现场技术支持服务958.2.2GBICC技术支持中心支持服务（工作时间外紧急服务）958.3岗位和人员安排969附录-数据模型设计979.1前期准备979.2项目组交流研讨989.3分析数据源999.4统一业务定义1009.5模型与客户化1009.6模型验证1019.7模型交付1011 系统备份恢复策略1.1 备份与恢复的范围按备份的内容分，备份的范围主要包括：l 操作系统l 应用程序与配置l 数据按备份的系统分，备份的范围主要包括：l 客户管理系统数据库l 应用程序与配置l Web服务器l 应用中间层服务器等恢复的范围主要包括：l 对给定时间点能对客户管理系统数据库进行完整的数据恢复l 将应用程序恢复到最新状态l 将 Web 服务器恢复到最新状态l 对给定时间点能对应用中间层服务器进行完整的数据恢复并将程序恢复到最新状态等1.2 备份和恢复策略1.2.1 数据库备份和恢复策略 数据库备份和恢复策略考虑 （一）新华人寿客户管理系统备份考虑数据库的备份和恢复是客户分析系统设计的一个重要方面，不同应用环境可能会采用不同备份策略，备份策略和如下因素有关：l 批处理或数据维护时间窗口及特点l 实时数据装载特点l 系统及系统组件的可用性要求l 系统恢复时间要求l 系统备份性能和系统可用性数据库系统备份是为了保护：l 数据逻辑损坏（比如：用户或系统管理员通过 insert/delete/update 造成数据意外损坏）l 系统硬件故障造成数据物理损坏，存储系统硬件冗余设计将提供这类潜在问题的最佳保护l 已删除数据库对象恢复数据库系统的备份和恢复设计需要考虑这些事件发生的频率、造成的影响及其业务优先级，在整体设计时需要考虑这些因素。（二）数据库全备份还是表空间级备份数据库备份的目的是为了保护数据库或数据库对象损坏。备份策略的设计是为了保护而不是阻止或延迟任何应用程序或前端应用程序对数据库的访问。另外，备份的设计需要同时考虑恢复（故障点恢复）的性能和数据库完整恢复或灾难恢复。数据库全备份可能会阻止或延迟数据库装载的执行，因为数据库备份和装载操作会存在数据库锁的争用。数据库全备份将备份数据库分区类的所有对象，包括：l 缓冲区临时表相关数据库对象（Staging Tables）l 存放 ETL、应用处理等过程中存放临时数据的临时表，这些表每次处理前需要清空l 索引这些对象的备份是不值的，会浪费大量的存储，数据库全备份因为备份了额外的数据造成备份和恢复的成本的增加。表空间级备份策略提供了更细粒度的数据库备份和恢复方案。表空间级的备份策略的目标是能够恢复丢失或损坏的数据，降低没有损坏数据的恢复量。增量备份将备份改变过的数据页，不管是该页中其中一行或是多行数据发生了改变。使用增量备份的策略取决于不同表空间数据页的预期改变量。增量备份在仅仅数据库一个子集发生变化的情况下是个不错的选择。如果所有的表发生改变、表的大部分数据发生改变，或是数据库是动态的、数据量更新非常频繁，则不太适合采用增量备份的方式。（三）数据库备份设计考虑和方法典型的客户管理系统备份方法是定期对数据库做全备份（比如生产系统新增加表空间或表空间数据发生更新），每周两次在线对数据表、表空间和大的索引表空间进行备份。备份速度是影响别的工作负荷执行的唯一问题，因为锁争用，数据库全备份会阻止或延迟装载操作的执行。恢复速度总是一个问题，尽管在线备份没有时间限制，但是恢复必须尽快完成，因为所有对待恢复数据库对象的访问都将被阻止，直到恢复操作结束。好的备份策略将恢复操作定位到可以在故障发生时将系统尽快恢复到故障点，并且备份不会阻止其他进程或请求者对数据库的访问。因此速度和关注焦点应该集中到恢复上面：修补丢失或毁坏的数据页，将需求恢复的数据减少到最少。一般情况下数据库恢复在应用清理时候会用到，一年一到两次恢复操作是合理的；这些恢复中灾难恢复更少，往往可能好几年才能碰到一次。因此，设计最细粒度的恢复策略，将系统定位到在出现问题时，最有可能地执行Restore 命令以恢复故障。在灾难恢复中，这种细粒度的备份与恢复策略仍然有效，但是比起数据库全备份来讲需要更长的时间。这种设计适用于大部分场合，同时保证在灾难发生时系统的可用性。 OracleACRM备份方案分析方案一：DataGuardDataGuard是性价比最高的备份和容灾方案，但是当归档超过一定规模之后，DG的恢复就成为了瓶颈，每天产生的归档无法及时恢复完，恢复的瓶颈不在存储的吞吐量，而在于standby的恢复方式，因为恢复的过程就是应用归档文件，RAC各个节点产生的归档必须在一个节点恢复，这个过程必须是遵循一定顺序的，大大限制了恢复的并发速度。方案二：传统RMAN备份采用传统RMAN备份，采用大吞吐量的虚拟带库设备，一周全备一次，每天备归档日志。很多时候，我们在做备份方案时，只考虑了备份，却没有考虑恢复。这个方案最大的问题就在于：对于每日归档数据量特别巨大（达到T级）的时候恢复的代价非常高，一旦数据库出现问题，恢复可能需要数天之久，这是无法接受的；但是，对于每天归档比较小的情况，可以考虑使用此方案。方案三：存储镜像数据库采用noarchivelog模式，采用ASM镜像两套存储。这个方案并不是备份方案，只是为了解决存储的单点问题而提出的，相当于对不同的存储做RAID 1。这个方案最大的问题是无法解决数据库逻辑错误，比如误删除数据。因为主库和备库通过存储镜像来实现，无法实现异地备份和容灾。方案四：存储级别复制采用存储级别的复制，各存储厂家都有解决方案，比如EMC SRDF等。Veritas也有类似的解决方案，比如卷复制(VERITAS Volume Replicator)。这种方案的基本原理都是通过捕获底层存储的IO，并通过网络同步到备份系统上。如果采用存储厂商的方案，那么主备库就必须使用同一家公司的产品，而且，能否承受每天4.5T的数据变化量，我们并没有验证过。另外，软件license费用不菲。 数据库备份和恢复策略.1 NBU备份软件简介及特点NetBackup(以下简称NBU)是世界上最好的备份软件之一，是Symantec公司在存储管理领域重要的一款针对于异构平台的企业级备份和恢复软件。NBU平台能够提供基于磁盘和磁带的统一数据备份和恢复管理，保护范围包括UNIX、Windows、Linux和NetWare等环境。从远程办公室到数据中心，从台式机到服务器，从文件到数据库甚至操作系统，NBU可以提供全面保护，同时所有功能都是通过一个控制台来管理和实现，简单方便。VERTAS NetBackup产品的特性与优点特性优点多路备份和恢复能够从一个或多个客户/服务器端并行执行到一个或多个磁带的读和写可扩展的映象和介质目录分布式记录方式记录备份、恢复和复制。索引记录访问迅捷，分段式索引空间占用很小非专用磁带格式能够创建TAR兼容的格式真正的映象恢复根据布局智能重建数据，而不是重恢复所有数据Bare Meta Restore快速灾难恢复，最少人工干预，自动智能执行Vault功能同时备份到多份磁带保存，或离线进行磁带复制，弹出后放入远程保险柜保存数据加密选项备份时可对数据进行加密远端GUI管理能够从任何位置包括拨号线进行备份和恢复客户端的安装灵活快速简便地通过网络进行客户端软件分布式的安装用户启动的备份和恢复为最终用户提供容易使用的接口，减少外界对系统管理员的干扰图形策略设定界面定义策略简便，能设置备份窗口，可用有意义的名称定义备份网络带宽控制提供选项控制NetBackup网络优先级控制能够对重要的备份设置优先级独一无二的多级结构同类产品的第一个，可以建立主服务器、介质服务器、客户端等多级结构遍布世界的客户支持中心24小时热线技术支持介质服务器热备份介质服务器故障时，客户端备份自动调整到其他服务器上磁带库共享多服务器共享磁带库，减少机械手开销完整的磁带管理管理整个磁带设备的运行支持广泛的磁带库类型支持所有领先的磁带机械手设备支持广泛的磁带驱动器设备支持所有领先的磁带技术备份进度显示条备份将结束和持续时间显示，便于决策优先备份的图形界面便于抉择进行何种备份磁带卷、驱动器和磁带库情况显示报告磁带利用情况和驱动器配置等详细的日志信息便于诊断问题历史报告日志浏览进行深入的方案前分析UNIX支持支持所有主要的UNIX平台WINDOWSNT支持支持Inter和AlphaNovell NetWare支持支持NetWare环境EMC 磁盘阵列备份支持支持EMC BCV Third Mirror Breakoff 备份HP XP256磁盘阵列备份支持支持HP XP256 BC Third Mirror Breakoff 备份支持NDMP支持NAS的数据备份数据库和应用选项支持所有领先的数据库和应用：ORACLE, Microsoft SQL Server，Sybase，Informix, Microsoft Exchange和SAP R3等.2 客户管理平台备份恢复方案数据库备份主要保障数据库系统稳定可靠，但由于ACRM存储海量数据库，数据库非常庞大。如果按照传统的备份恢复方法，需要备份恢复时间比较长，不能满足生产系统的要求，而且管理不方便。基于以上情况，我们建议新华人寿客户管理平台数据库采用专业备份软件NBU，管理备份，辅以关键表数据和数据库对象的单独备份的混合备份恢复方案，方案物理架构图如下：如图所示，我们使用NBU备份软件管理备份和恢复的文件，备份时NBU软件通过备份策略调用oracle备份脚本把数据库归档日志备份到磁带库；恢复时NBU软件把归档文件从磁带库恢复数据库：l 新华人寿客户管理系统数据库备份采用NBU调用oracle脚本的方式，脚本采用oracle的备份工具RMAN来实现l 每一个月进行一次全量备份，每一星期进行一次累计增量备份，每天进行增量备份l 对于大数据量表每天进行单独备份l 对关键维表，数据库创建对象、创建用户脚本等，使用oracle数据泵，每天进行逻辑备份.3 快速恢复机制恢复分为单表恢复和数据库崩溃恢复1单表恢复： 如果是单表恢复，可以通过从NBU恢复备份，然后再把数据库导入的方式来实现2数据库崩溃恢复： 如果数据库崩溃，可以有两种方法来恢复数据库第一种，借助RMAN：l 创建数据库l 使用NBU备份的RMAN备份来恢复数据库第二种，使用其它方式：l 创建数据库l 用导出的脚本来创建用户、表空间等l 用创建对象脚本来创建数据库对象l 使用导出的维表数据库恢复维表等小表l 使用NBU的备份恢复大表数据1.2.2 操作系统备份和恢复AIX 全名为Advanced Interactive Executive，它是IBM 公司的UNIX操作系统，整个系统设计从网络、主机硬件系统，到操作系统完全遵守开放系统的原则。它是目前操作系统界最成功，应用领域最广，最开放的第二代的UNIX系统，特别适合于做关键数据处理。 镜像备份是独立文件（数据文件、归档日志、控制文件）的备份。它很类似操作系统级的文件备份。它不是备份集或备份片，也没有被压缩。在新华人寿客户管理系统中使用AIX操作系统，考虑到安全因素，需要对操作系统进行备份：采用对rootvg进行镜像备份的方式进行，达到快速恢复操作系统的目的。1.2.3 Portal备份Portal是集成的、可自定义的、使用多种语言的，在线OLAP解决方案基于.net的三层Web应用程序。以下将是最好的过程： 1. 备份整个 Portal 安装目录结构 2. 备份 oracle中的 Portal 数据库3. 备份用户目录存储器1.2.4 Microstrategy备份Microstrategy 一直是GartnerMagicQuadrant评鉴中列为领先的前五大BI工具和服务厂家。主要在以下各方面获得客户高度的肯定：a) 企业级BI : 适合企业级的BI运用, 基于ACRM理论的概念而设计，拥有很高的运行效能，能支持大的客户数据量。美国最大的ACRM公司也选择MSTR做为其战略伙伴，可见其处理大数据量的能力。b) 年度最佳移动BI ：支持移动终端如Ipad 和Iphone. 可以让客户灵活的自己设计需要的仪表盘，轻松做好管理驾驶舱的项目，是这个领域的最佳BI厂家。c) 重视用户的体验 ：能保证开发人员的效率和生产力, 主要是因为参数化的报表开发范例和面向对象的