数据库云的构建、管理与注意事项v3资料

1、数据库云的构建与管理 八大注意事项Frank Zhang （张军华）Junhua.zhang企业管理与云解决方案部2014.05云，不仅仅是经典云经典定义按需自助服务访问的网络访问资源共享快速可伸缩可度量的服务如果想实现数据库云（DBaaS）怎样才能减少数据库数量？怎样保证不同的服务质量要求？怎样防止某个消费者使用过量资源？怎样实现自动化数据库运维？怎样实现数据库高可用？怎样实现数据库云与其他云的集成？怎样从数据库角度计费？ 数据库云生命周期管理策略 1. 规划、配置云资产发现与架构供应容量与整合规划资源池设置策略与治理的设置2. 使能自服务定义服务目录使能服务治理通过API集成3. 管理与监

2、控数据库监控数据库服务配置管理自动化性能管理全堆栈周期管理4. 计量、计费与优化测量资源使用计费与收费优化性能、容量、服务质量构建数据库云的八大注意事项资产评估服务目录整合密度供应方式资源管控管理模式计费标准集成接口数据库资产注意事项（1）资产评估：现在与未来应用评估业务关键性/服务等级上下游业务关系/业务约束企业合规应用存在时长软件开发生命周期集成迁移窗口新增应用频率/应用上线时长技术评估版本、平台、数量资源容量与利用率增长特性负载类型RTO/RPO维护时间窗数据中心位置技术约束生产/非生产版本/软件维护期结束运营评估监控、诊断、分析、优化补丁与升级备份与恢复灾难恢复自动化周边系统集成角色与

3、职责注意事项（1）资产评估：示例注意事项（2）服务目录：定义服务订单业务服务业务服务业务服务业务服务目录技术服务技术服务关键业务数据库IaaS业务服务关键业务应用服务器技术服务技术服务技术服务技术服务目录服务定义PaaSSaaS计算即服务 Core & RAM Size Isolation Virtualization Uptime Availability Elasticity Network Quality of Service Security I/O RTO / RPO存储即服务 CapacitySATA Flash SSD I/O Backup / Recovery Virtuali

4、zation Tiered Storage RTO / RPO数据库即服务 Block Size Uptime Workload Info Security Privacy Regulatory Compliance Isolation Availability Elasticity User Concurrency IOPS Access Control Data Retention Data Archive RPO / RTO中间件即服务 Java SOA BI BPEL Workflow Content Scalability Uptime Elasticity Availability

5、 Security Quality of Service User Concurrency RTO / RTO企业软件即服务 ERP MRP CRM / CXM HCM Financials Social Network Email Collaboration注意事项（2）服务目录：服务定义概要可用性各种数据库失败的支持RTO（恢复时间的要求）RPO（恢复点要求）合规性治理行业内部操作性帮助台知识库维护窗数据保护备份与恢复归档安全服务质量资源管理性能优先级成本资源利用率附加客户化构建接口自服务入口OEMAPIs 从DBaaS消费者角度，服务定义是关于服务能力、服务策略、服务流程的正式契约。注意

6、事项（2）服务目录： 目录设计过程服务定义技术服务描述服务供应模型云部署模型定义服务层，简化供应对每一个服务层，构建技术支撑一个一个地确定需要供应的服务根据部署模型分配服务铜银金小大中超大 RAC Data Guard Golden GatePDB Database SchemaPrivatePublicProviderHybrid注意事项（2）服务目录：客户案例研究铜银金白金可用性 RTO 15 min (最大努力) 24 hr 6 hr 30 minRPO= 24 hr= 24 hr 30 min0从备份中恢复 72 hr 24 hr 8 hr 30 min性能基于调度实现扩展基于触发的快

7、速扩展其他服务要求负载类型开发测试UAT生产呼叫联机决策混合附加安全复制压缩资源分配CPUCPU+内存存储 - - - - - - - - -弹性；服务裁剪某大型金融服务公司铜银金白金数据库HA单实例MAARAC + DR数据库复制本地无无DG/ADG (同步)远程DG/ADG (异步)备份/恢复每周全备份每天日志每周全备每天增量备银 + 闪回日志金 +当天截至到当前的日志 +RMAN 介入注意事项（2）服务目录：客户案例研究（续）提供逐步深入的备份恢复级别某大型金融服务公司注意事项（3）整合密度：整合模型虚拟机共享服务器专有Schema共享服务器、操作系统与数据库不断增加的整合度专有数据库共

8、享服务器与操作系统可插拔DB共享服务器、操作系统与数据库注意事项（3）整合密度： 各整合模型对比虚拟机专有数据库专有Schema可插拔DB整合密度低高最高最高可维护性很复杂（等同于物理机，且易造成混乱）容易容易，或有复杂度（基于要求的资源隔离）容易投资回报率低（只是服务器与存储级）高（服务器、存储、操作系统）最高 (服务器，存储，操作系统，数据库）最高 (服务器，存储，操作系统，数据库）隔离度很好好不好好实现容易容易不容易容易适合的应用类型个别 （开发、测试）所有可能需要验证所有，但应用需要适应DB12c注意事项（3）整合密度：整合规划工作流获取源服务器的信息选择要分析哪些资源定义约束指定目标

9、服务器检查整合规划的结果收集资源利用率等信息CPU，内存，存储，磁盘IO，网络IO业务约束与技术约束物理或虚拟或XD，现存或规划中整合率，目标服务器利用率注意事项（4）供应方式：多种级别用户需要一个全新的数据库服务（基于种子数据或不需要种子数据）2. 用户需要一个现有数据库的克隆（为测试用）a. 虚拟机上的数据库b. 专有数据库 DBCA/RMAN/ExpImp/Clonec. 专有Schema或PDBa. 为高强度测试的全克隆b. 为功能测试的快照克隆注意事项（4）供应方式：智能、透明的服务位置当前负载当前数量位置策略与约束自动发现合适的位置：为单实例数据库查询合适的主机为多实例的RAC查询

10、合适的节点为Schema查询合适的数据库Host NHost1DBDB数据库与Schema的请求最佳匹配数据库池获取每个Oracle Home的数据库实例数目，或每个数据库的DB Services数据获取当前CPU的使用与内存分配（存储情况只针对Schema as a service）验证在CPU、内存和实例/服务数目上的约束限制注意事项（4）供应方式：自动化、自助请求 通过web页面从目录选择最终使用者填写表单、设置口令数据库自动创建请求 IT部门IT采购、供应硬件、操作系统与网络等DBA 安装 Oracle 11gR2 + Grid Infrastructure + RACDBA 然后创建

11、数据库传统方法数据库云（DBaaS）供应时间 =小时到天、周供应时间 = 分钟注意事项（5）资源管控：整合与资源管理/控制服务器整合（专有数据库模式）管理 CPU管理 I/O管理内存（SGA+PGA）管理存储（表空间）数据库整合（Schema模式）管理 CPU管理 I/O管理失控查询管理存储（表空间）注意事项（5）资源管控：基于策略基于预定义策略动态分配资源DBRM/IORM，RAC扩缩基于调度基于调度而行动，例如，在周末静默虚拟机基于性能按需管理计算能力，例如扩展CPU或回收CPUDept App 2Shared ServiceOracle Enterprise ManagerWeblogi

12、c ClusterCoherence GridOracle RACPerformance Policy violationCapacity fulfillment on demandWebLogic Cloud ZoneOracle Database Cloud Zone注意事项（5）资源管控： CPU控制效果图 4 CPU 的服务器 运行Oracle Financials，包括OLTP交易、并行查询、DML等混合业务注意事项（5）资源管控：从EM看例CPU调配注意事项（5）资源管控： Exadata I/O 管理怎样配置 I/O Resource Manager?Exadata Storag

13、e销售数据库财务数据库客服数据仓库分配: 60%分配: 10%分配: 30%配置IORM资源计划，设置每个数据库的配比 注意事项（5）资源管控：创建资源管理计划按比率分配CPU的计划联机业务60%报表业务30%其他业务10%优先级1: 联机业务优先级2: 报表业务优先级3: 其他业务 级别 1 级别 2 封顶值联机业务 80% 报表业务 60% 75%其他业务 40% 50%按优先级分配CPU的计划带有封顶CPU限制的混合计划注意事项（5）资源管控：管理失控的查询对“关键查询交易”，失控意味着：30+ sec对“其他随机查询”，失控意味着：24+ hour 的预估执行时长行动：根本就不执行！行

14、动：切换到“低优先级”组!对“报表类交易”，失控意味着：32GB+ I/Os行动：放弃查询！应用数据库分布EM企业管理平台活动会话历史（ASH）+ 自动负载库（AWR）+ 自动数据库诊断（ADDM） TopSQL度量/阀值告警/规则/规则集/行动监控模版/分组IO问题软硬解析配置问题内存问题XXXXXXXXXXXXXXXXXXXXRAC相关监控层扩展功能（接口等）诊断层数据采集汇总层代理与插件注意事项（6）管理模式：数据库运维理念SQL自动优化引擎 + SQL监视 + 数据库基础层优化执行计划索引建议分区建议统计信息执行路径SQLProfile优化层数据库层报告/报表热块锁/栓竞争等待事件重组

15、对象STS实时SQL监控验证层SQL性能整体负载ScriptJOB数据传输与存储实施层数据库生命周期管理层升级配置合规补丁清单供应变更Database-as-a-Service关联注意事项（6）管理模式：共性管理与个性化管理生产非生产A类B类C类A类B类C类所有目标生产-A类系统的监控设置： 集成生产模版的监控设置，同时应用A类模版的监控设置（如果冲突，覆盖生产）关联关联A类监控模版集合生产监控模版集合非生产监控模版集合注意事项（6）管理模式：真正实现自动化运维管理员管理组根据数据库属性自动变化 模版集合 (监控设置) 故障规则集 (通知与行动)将规则应用到组（1）新增数据库，并设置属性组上的

16、特权关联数据库云平台（2）加入云平台（3）自动开始运维管理 合规管理 （规则、标准与框架）关联注意事项（7）计量计费： 计费度量虚拟机数据库实例数据库服务(Schema)可插拔Database固定费率Base ChargeBase ChargeBase ChargeBase Charge按配置费率Allocated MemoryAllocated StorageHAIP AddressSizevCPU CountEditionMemory UsageOptionRAC Node CountReleaseStorage UsageVersionEditionOptionRAC Node Coun

17、tReleaseTablespace AllocationEditionOptionReleaseRAC Node CountTablespace AllocationVersion按使用费率CPU TimeCPU Utilization (%)Disk Space Utilization (%)Disk UsageMemory UsedMemory Utilization (%)Network IOCPU TimeCPU Utilization (%)DB TimeDisk Read (Physical) OperationsDisk Write (Physical) OperationsN

18、etwork IOSQL ExecutesUser TransactionsCPU TimeCPU Utilization (%)DB TimeDisk Read (Physical) OperationsDisk Write (Physical) OperationsSQL ExecutesUser TransactionsCPU TimeCPU Utilization (%)DB TimeDisk Read (Physical) OperationsDisk Write (Physical) OperationsSQL ExecutesUser Transactions注意事项（7）计量计费：成本中心组织 A组织 BA-1A-2A-3B-1B-2A-3-1A-3-2A-3-3注意事项（8）集成接口：云管理 API从“自构建的自服务控制台”中部署数据库集成到一个更大的业务流中，例如批准工作流之后开始供应从“服务台”部署数据库注意事项（8）集成接口：示例数据库云的概念架构与实现模型 DBaaS/SCHEMAaaSEMDB/XDUser RegistrySecurity Audit审计日志合规管理