QDataOracle数据库一体机在某运营商测试报告V.ppt

QDataOracle数据库一体机在某运营商测试报告V1 0 2012年10月 致谢 参测方案 QDATA QData是什么 高性能数据库一体机产品 通过将Oracle数据库 PCServer Flash技术整合在一起 提供高可用 高性能 可扩展的数据库服务 适用于OLTP和OLAP各种应用场景 高性能最低配置采用5台PCServer 性能上可达到14万以上的IOPS和4GB的吞吐能力高可用任何组件的切换 对数据库的影响都控制在15秒以内可扩展整个系统的处理能力和存储空间 都可以通过增加节点的方式在线线性扩展 参测设备 Fusion IO存储卡 FUSION IOIOMEMORYPLATFORM MLC 365 785 1205 3000GBSLC 400 600GB MLC 2 410GBSLC 1 200GB MLC 5 10TB MLC 320 640GBSLC 160 320GB MLC 640 1280GBSLC 320 640GB MLC 600GB MLC 420GB HPMezzCiscoMezz 参测设备 InfiniBand网络 Mellanox公司是宽高速互联网络的领导者 其InfiniBand交换机可为用户提供云计算和下一代数据中心最为全面的解决方案 Mellanox高速InfiniBand交换机为云计算和大型数据中心提供高带宽速率 高扩展性 高性能 低延迟 低功耗解决方案 同时可以提供高性能 高密度 低成本 构架简单的数据中心解决方案 采用X86的惠普服务器配套Mellanox的产品可以按照客户需求搭建性价高的OracleRAC集群系统 Oracle11g使用InfiniBand连接 充分发挥OracleRDS特性 性能可以获得大幅度提升 参测设备 HPDL585G7 特性 最大64核体现最佳虚拟化性能最大11个PCI E2 0插槽10Gb网卡升级选件SSD和IO加速卡选件 参测服务器配置 DL585G74 O62722 1GHz16core16M128GB16 8GB2 300G10KSAS512MBFBWCRAIDcache2 320GSLCIO加速卡双口QDR卡双口8GbHBA 参测设备 IBMSystemx3850X5 Systemx旗舰平台 提供领先的可扩展性能和容量 通用的4插槽4U机架优化式可扩展的企业级服务器 作为灵活的平台能够给计算和内存密集型工作负载提供最大的利用率 可靠性和性能 使用Intel7500系列CPU本机64个线程和1TB容量 数据库和虚拟化性能分别是2插槽x86 IntelXeon5500系列 系统的3 3倍和3 6倍MAX5内存扩展技术 可以多支持50 的虚拟机 并且提供领先的数据库性能 测试概要 本测试旨在评估一种新Oracle数据库架构QDATA在某运营商业务模型中的性能和HA表现 同时通过一套基于传统架构的Oracle数据库系统作为对比在性能测试中 我们主要通过2种方式进行 ORION测试工具在Oracle数据库中实际运行某具体业务的性能测试模型在HA容灾测试中 我们主要通过拔线 强行停止进程等方式 随后记录业务中断的时间从性能测试结果看 基于QDATA架构的Oracle数据库的IOPS最高可达12 98万 每秒SQL语句的执行数超过11万 在同等环境下 其IOPS和SQL执行数分别为传统架构的9 7倍和4 1倍HA测试显示 在测试中涉及的灾难情形中 QDATA均能在秒级时间内完成容灾切换 整体架构 QDATA 整体架构 基于NetAPP统一存储 硬件配置 每台存储节点插一块320GSLCFusionIODUO卡 虚拟成2块160G磁盘fioa fiob 另外存储节点本地也有SAS磁盘 一并输出给计算节点计算节点通过Infiniband和QLink接口与存储节点相连 识别存储节点输出的FusionIO卡及SAS磁盘 软件和存储系统配置 操作系统 RedhatEnterpriseLinuxServer5 8Linux核心 2 6 18 308 el5数据库 OracleDatabase11 2 0 3RAC ASMOracleGrid11 2 0 3Clusterware存储资源配置 Fusion IO LUN ASM DATA DG 控制文件 数据文件 临时文件SAS RAID0 LUN ASM OCR VOTING REDO日志Fusion IO存储的条带化 QDATA CONCAT或STRIPE ORION测试 ORION是Oracle公司提供的一款用于测试存储系统在Oracle数据库读写模型中的性能表现的测试工具 测试结果以IOPS和IO时延的形式提供 本测试中分 纯读 80 读 20 写 两种情形测试QDATA的性能表现 单节点加压在计算节点2上进行 双节点加压时则在2个计算节点中同时进行测试时采用的ORION指令如下 orion runadvanced testnameread num disks100 write0 size small8 size large8 matrixrow num large0 typerand orion runadvanced testnamereadwrite num disks100 write20 size small8 size large8 matrixrow num large0 typerand IOPSVS 并发度 ORION测试的主要结论 IOPS 开始时 IOPS随着并发度的上升而上升 当压力达到一定程度时 其值不再呈现出明显的上升态势QDATA方案的最高IOPS为12 98万 在双机 80 读 20 写 的场景下测得 此时平均IO延时为7 71ms 单节点环境的最高IOPS为9 23万 在 80 读 20 写 情形下测得 此时平均IO延时为5 41ms在纯读和 80 读 20 写 的环境下 IOPS的数值非常接近 在不少时段 80 读 20 写 的IOPS性能甚至超过纯读 IO延时VS 并发度 ORION测试的几点结论 IO时延 随着压力和并发度的上升 IO时延基本上呈线性增长 但最高时未超过8ms上图中 X轴上半段和下半段的单位长度所表示的并发度的变化量不相同在纯读和 80 读 20 写 的环境下 IO延时非常接近 在不少时段 80 读 20 写 的IOPS性能甚至超过纯读在单机测试环境下 QDATA方案的最高平均IO时延为5 8ms 在双机测试环境下 QDATA方案最高平均IO时延为7 71ms 基于某业务模型的Oracle测试 该测试模拟某业务主库的二大主要业务模型 订购和票务订购模型 随机的取一个手机号码 根据该号码查询 SELECT 订购关系 或者增加 INSERT 订购关系 其中INSERT的占比为17 2 票务模型 随机的取一个手机号码 根据该号码查询 SELECT JOIN 订票情况 或者更新 UPDATE 订票状态 其中UPDATE语句的占比为4 76 订购模型和票务模型的总体比率约为30 11测试方法 在计算节点中运行上述测试模型 一段时间后取AWR报告进行分析和读数关注的主要性能指标包括 总物理IOPS 每秒SQL语句执行数等 涉及的主要SQL语句 订购模型selectmax ChapterID max productId max sendmsisdn fromus subscribeinfo XXwheremsisdn var1andticketid var2 insertintous subscribeinfo XXvalues 票务模型selectmax u RECORDID fromus markinfou con auditticketinfocwhereu ticketid c ticketidandc ticketstatusin andu msisdn v msisdnandu marktype 1andc tickettypein orderbyu createtimedesc updateus markinfosetchapterid chapterid 1whererecordid v RECORDID 涉及的主要数据表及其数据量 订购关系表 共分为20张表 总记录数 1 11亿 数据量 247G票务表记录数 9664万 数据量 124G评审表记录数 40 4万 数据量 368M 对比架构 基于NETAPP统一存储 为了评估本测试项目的新数据库架构与现有数据库架构之间的性能差异 我们特别安排了一个基于NETAPP存储的对比架构 以下简称NETAPP架构 采用完全相同的测试模型进行对比测试对比架构的硬件配置为 两节点OracleRAC单节点CPU配置为 4路 8Core 2 内存为128G通过FCSAN连接NETAPP存储FC网络带宽为4Gbps Oracle单实例性能测试结果 单实例测试结果分析与说明 从测试结果看 在Oracle单实例环境中 QDATA架构在性能上均领先于FCSAN NETAPP的传统数据库架构单QDATA计算节点运行Oracle时的平均IOPS和SQL执行数分别可达到6 78万和5 63万 而性能最低的传统架构则只有0 7万和1 37万与传统架构相比 采用QDATA时 Oracle的在IOPS和SQL执行数方面的性能提升可分别达到9 7倍和4 1倍 性能提升相当明显从平均读延时来看 传统架构的时延接近10ms 而QDATA仅为0 61ms Oracle QDATA的测试结果 单实例VS RAC 由此可见 在QDATA环境下 当ORACLE由单实例模式变为RAC模式后 其各项性能指标 除平均读延迟后 均大幅度提高 特别是SQL执行数 提升幅度高达96 39 接近2倍RAC模式下的SQL执行数超过11万平均读延迟虽然也相应提高 但总体上仍然相当低 不超过1ms Oracle QDATA的测试结果 GC 节点间通信 测试时2个计算节点之间采用LoadBalance的业务分摊模式从AWR报告中显示的信息来看 本次测试中2个节点的GC流量均为32 2MB 两个发生各类GC拥塞的比率均不超过1 5 从GC包的时延上来看 基本保持在0 1 0 2ms之间 即便在发生拥塞时 也能维持在3ms左右 QDATAHA测试结果 HA所有测试均在双RAC高并发压力下进行1 拔掉一个存储节点的HCA卡连线 RAC双节点IOhang15秒2 kill 9存储节点QLink进程 RAC双节点IOhang4秒3 存储节点强行断电电 RAC双节点IOhang15秒4 存储节点命令reboot RAC双节点IOhang4秒5 强行重启一个RAC节点 CacheFusion导致系统hang3秒6 启动单个RAC 加入到Cluster中 CacheFusion导致系统hang2