华东电网有限公司财务管控系统优化方案

1、华东电网有限公司财务管控系统平台架构优化方案远光软件股份有限公司二零一六年三月目 录1项目背景32财务管控系统软硬件平台现状42.1系统硬件配置43财务管控系统软硬件平台架构优化方案53.1数据库平台架构硬件拓扑图63.2数据库平台及存储层优化说明64加速方案与原有生产环境对比84.1架构对比84.2高可用85数据库监控软件116配置参考151 项目背景华东电网有限公司财务管控系统始建于2009年，作为公司关键业务的系统平台，运行已有7年，系统设备已过质保期，服务器老化，运行期间出现过多次的设备故障问题，造成了数据无法提取。为此华东电网有限公司财务管控系统已于近期更换了系统的应用服务器,但是系

2、统反应慢、存储故障等问题未得到全面的解决。同时，系统缺少了一套有效的对数据库进行监控的平台，无法及时有效地获得数据库异常的信息，并且运维人员的工作量大。虽然华东电网有限公司财务管控系统建设至今进行了多次的系统硬件的升级，但是仍存在系统数据安全性差，并发IO性能不高，数据库响应时间慢等问题，如果仅仅是对现有的架构进行升级，进行简单的硬件的堆叠很难从根本上解决现有的问题。因此，需建设采用新的服务器架构数据库解决方案，通过高可用架构确保系统的稳定，利用新技术确保数据的安全。远光公司YGDATA数据库解决方案使用多台PC服务器组成计算节点和存储节点，所有的数据至少会在两个存储节点中进行镜像，所以存储节

3、点中的任一节点出现问题，对数据库的整体访问不会带来影响，确保数据不会丢失。同时，存储节点配置高速存储设备，将数据通过高速链路传给计算节点，彻底解决大并发I/O与大数据量读写的性能瓶颈；在处理OracleRAC的节点间缓存同步可达毫秒级，几乎是对内存原数据端到端复制，消除脑裂导致宕机的威胁。且成本低廉、可扩展性与成本投入成真正的线性增长。突出的一点是，越是大数据量读取，访问用户越多，其效率提升对比传统架构服务器就越明显。为了满足华东电网有限公司日益增长的业务量对系统平台的要求，为后续各类业务的开展提供有效的支撑，依据现有华东电网有限公司财务管控系统硬件配置情况，推荐对财务管控的软硬件平台进行架构

4、优化。2 财务管控系统软硬件平台现状2.1 系统硬件配置华东电网有限公司财务管控系统软硬件平台现状，进行详细说明。（图1：华东电网有限公司财务管控系统拓扑图）目前，财务管控系统生产环境由两台应用服务器、两台数据库服务器、两台光纤交换机、一台高端存储，一台智能化磁带库组成，主要硬件配置信息如下表所示:序号设备名称数量型号及主要配置1应用服务器11HP dl 380、16G2应用服务器21HP dl 380、16G4数据库服务器11IBM x3850 、32G5数据库服务器21IBM x3850 、32G6光纤交换机2brocade 51007存储1hds uspv 、320G8备份设备1昆腾 S

5、calar i6000 9备份软件1netbackup10数据库1oracle 11gR211中间件1weblogic 10.3.6系统已经进行了多次硬件的升级，但是系统存在着各种隐患，虽然近期更换了应用服务器，但在2016年1月还是出现了因存储磁盘坏道而造成数据无法抽取的情况。同时随着系统应用范围和人员的增加，系统大并发I/O与大数据量读写的性能要求也不断提升。系统已经建设了7年虽然期间更新了部分设备，但系统设备也日益老化，性能降低，出现故障的风险也大大增加了，为此需要建设一套新的系统来测底解决现有问题。3 财务管控系统软硬件平台架构优化方案财务信息系统属于复合业务系统，介于OLTP和OLA

6、P两种应用场景之间，针对财务信息系统特有的业务模式，使用行业标准硬件和智能存储管理软件构建，可将数据库负载性能提升至极限，包括联机事务处理（OLTP），数据仓库（DW）和混合工作负载，速度通常提升数倍。数据库加速解决方案通过将PC服务器、数据库、Flash技术、InfiniBand技术整合在一起，提供高可用、高性能、可扩展的数据库加速方案，来达到提升业务系统整体运行速度的目的。3.1 数据库平台架构硬件拓扑图数据库平台解决方案采用三台X86服务器作为平台存储层，配置Flash卡和SAS磁盘，为数据库服务器提供数据存储服务。配置两台高性能X86服务器作为平台计算层，与存储服务器之间用Infini

7、band交换机（简称IB）以40Gb的IB线路互联。应用服务器仍采用的现有的2台PC Server组成weblogic应用集群，与数据库服务器之间用千兆交换机互联。系统拓扑图如下：3.2 数据库平台及存储层优化说明1、两台高配置PC服务器，作为高速数据库存储层的管控平台计算节点，安装Oracle database 11g企业版数据库管理软件，使用Oracle的Clusterware集群件管理，实现节点间的负载均衡；2、3台中等配置PC服务器，安装存储管理软件，配置Flash卡和SAS磁盘，作为高速数据库存储层的存储节点。每个存储节点成为一个独立的存储单元，多个存储节点组合在一起，形成一个存储池

8、，性能和容量可按需线形扩展。使用RDMA技术降低延迟、提升性能，实现数据库加速。3、2台Infiniband交换机，利用其40Gb全线速的高带宽，实现Oracle数据库节点间的交互及计算机点与存储节点间的数据高速交互，用于将存储节点的Flash和磁盘资源输出到计算节点，消除系统I/O瓶颈。4、现有的两台HP dl 380为今年新配置的设备，已经能满足现有系统的需要，本次将建设将沿用现有应用服务器，安装中间件集群，部署财务管控应用程序及相关接口程序；5、采用应用负载均衡器，使服务器与应用系统及时反应，并清除无负载平衡响应的服务器应用系统，确保应用系统的可用性和可靠性。6、在新增的计算节点服务器上

9、配置HBA卡，接入原有的存储区域网络，仍采用原有的备份环境进行财务管控系统的数据备份，保证业务的高可用和连续性。4 加速方案与原有生产环境对比4.1 架构对比传统架构数据库性能加速架构计算节点: 最上层两台服务器，作为该架构中的计算节点，安装Oracle实例存储节点: 最下层一台服务器为磁盘矩阵，作为存储节点（使用SAS磁盘，此为传统机械盘）互联: 架构中间层，由FC SAN完成计算节点和存储节点的互联计算节点：最上层两台服务器为高性能PC Server，作为的计算节点，安装Oracle实例存储节点：最下层两台服务器为中端PC Server，作为存储节点，配置Flash卡，提供超高的读写能力互

10、联：架构中间层，由Infiniband完成计算节点和存储节点的互联4.2 高可用高可用是数据库架构的重中之重，以下我们分为计算节点和存储节点两个层面去阐述该问题： 传统架构数据库性能加速架构计算节点的高可用需要由Oracle的Clusterware集群件+第三方基于UNIX环境的集群软件共同实现。问题：Oracle的集群环境本身就非常复杂，再加上第三方的集群组件，会让整个环境更加复杂，为之后的运维带来极大的难度。计算节点的高可用使用Oracle的Clusterware集群件管理。使环境的部署和运维相比传统架构简单不少。存储节点的高可用完全由单一的磁盘阵列保证。现在的做法，可以简单的总结为以下两

11、点：1. 通过raid技术做到数据的冗余，保证不会因为磁盘的损坏造成数据的2. 通过例如电源的冗余，控制器的冗余等，提高硬件本身的可用性。存储节点的高可用数据库性能加速架构使用两台PC Server整合成一个大的存储池。通过以下两点实现存储层的高可用：1. 对数据做mirror，做到数据的冗余2. 保证所有的数据至少会在两个存储节点中进行镜像，所以存储节点中的任一节点出现问题，对数据库的整体访问不会带来影响4.3 PCIe Flash存储卡介绍1、 高端存储 vs Flash技术存储设备SAS磁盘SSDPCIe FlashIOPS1502006,000100,000Throughput150M

12、B/s250MB/s1.5GB/sLatency10ms100us30us2、 性能说明l 可用性 类似Raid5+hotspare MLC 10000次擦写 320G 可写 4PB 受PC服务器影响l 扩展性 容量单卡超过3TB 受限于PCIe插槽数量l TCO 服务器数量缩减8：1 省机架、省电 管理方便，运维成本降低5 数据库监控软件本软件是一款针对 Oracle的专业数据库监控平台软件。根据用户设置及时有效地将数据库的异常进行报警,方便用户查看各种实时状态曲线指标,并且对监控、性能数据进行统计分析,并根据 Oracle AWR 报告及 MySQL 的慢日志生成 TOP SQL。5.1

13、数据库运维支撑中面临的问题l 重复工作：每天都要做一些重复机械的工作l 实时监控：无法知道数据库实时运行情况l 异常预警：总是在故障发生后才想办法处理l 故障追溯：故障后登录到服务时，问题已经不存在了l 扩展评估：拍脑袋的方式决定数据库扩展性l 环境复杂：Oracle/MySQL/AIX/Linux等多种异构系统的运维5.2 数据库监控功能需求分析l 使用简便：使用方便，监控系统的使用不能成为运维负担l 指标丰富：监控指标满足关键需求，能解决日常运维的问题l 运行安全：零侵入，监控轻量级l 实时监控：实时扫描，健康巡检及时发送监控目标运行情况l 故障追溯：周期记录重要历史数据，让问题有据可查5

14、.3 系统架构5.4 监控范围1、主机2、Oracle5.5 数据库性能监控软件的服务内容 类目名目细项说明运维支撑日常响应巡检与健康检查执行完善的数据库巡检步骤，收集客户系统信息，分析客户系统现状，发现潜在问题并给出相关调整建议远程支持7*24小时服务团队电话/邮件/IM支持一般问题现场处理对于不影响客户系统正常运行的一般问题，并不具备远程支持条件下提供的到达现场服务现场值守保障为配合用户重大业务上线、业务变更、配置变更、在线迁移等，提供现场保障，现场值守等现场服务系统变更不定期的系统调整或者配置变更，为保障用户系统变更过程的稳定安全应急响应数据库紧急救援紧急救援响应支持，4小时到达现场专项

15、服务性能优化数据库优化操作系统/文件系统优化；数据库参数优化/SQL优化应用优化表结构、字段属性、慢查询日志、索引等；中间件优化容灾备份与恢复方案设计实施提供数据库备份的方案设计及有效性验证；在备份可用的情况下保障数据库可恢复数据迁移数据库迁移升级在线迁移、离线迁移、割接，切换保证，平滑性过渡测试数据库相关测试为用户提供定制化的测试服务，包含：产品选型测试，系统性能测试咨询培训数据库基础/专业培训提供用户现场培训和沃趣总部培训，并每年至少一次封闭式课程培训架构规划设计数据库基础架构硬件架构、高可用架构、两地三中心架构等最佳实践咨询顾问开发项目与实施项目安装实施过程、步骤、操作高级故障排查定位、

16、解决调优提供数据库监控，实时告警、故障定位、数据库优化深度巡检支持多个数据库报警项，根据用户设置及时有效地将数据库的异常进行报警，通过短信和邮件方式报警数据库分析数据库监控无盲点，提高故障发现率5.6 优势总结数据库性能监控软件传统监控监控独立性ü被监控目标上无需安装任何Agent，对监控目标零侵入重要监控数据库存放在被监控数据库内部性能影响ü零客户端，性能影响极小对目标库有侵入，会影响性能安装和升级ü一键式安装部署，无需花费额外人力精力安装部署较为繁琐可扩展性ü水平可扩展扩展困难（随着监控实例的增加，可通过水平扩展的方式提升监控能力）低学习成本

17、2;即学即用，快速掌握一般需要花时间精力专业上手功能简单实用ü功能设计是多年运维经验的结晶，一线数据库运维和优化经验总结从商业产品角度设计可定制化ü为客户开放特定功能模块，根据用户需要增加个性化功能 难于定制服务一体化ü产品与服务打包服务，有多年运维经验的支撑团队提供专业服务往往不提供数据库服务运维自动化ü自动巡检、性能异常自动捕获，极大降低人力成本运维自动化功能薄弱成本ü一次购买，永久使用，按照数目计算license按照CPU计费6 配置参考系统集成项目总表备注序号设备名称详细配置单位数量备注1高速数据库存储层管控平台计算节点PC服务器，四颗十核CPU，内存:128GB，硬盘:600G*5 RAID5，PCIE:2.0x8*4，Redhat linux 6.6台2由用户自行采购或利旧2HCA:dual-port块43存储节点PC服务器，2颗六核CPU，内存:64G，硬盘:600G*5 RAID5（RAID卡带至少1G cache，有电池保护），PCIE:2.0x8*4，Redhat linux 6.6台3由用户自行采购或利旧4HCA:dual-port块35PCIE flash卡:3.2TB，5年原厂保修块36IB交换机infiniband交换机Mellanox，18口infiniband交换机，每口40Gb全线