Exdata与DDN存储性能测试方案

1、高性能数据库存储性能测试方案DDN与Exadata性能测试对比目录 TOC o 1-3 h z u HYPERLINK l _Toc487398076 一、测试目的 PAGEREF _Toc487398076 h 5 HYPERLINK l _Toc487398077 二、测试环境 PAGEREF _Toc487398077 h 5 HYPERLINK l _Toc487398078 三、测试场景设计原则 PAGEREF _Toc487398078 h 7 HYPERLINK l _Toc487398082 3.1数据装载测试对比，信令系统数据装载主要采用sql*ldr，所以测试指标为装载时间

2、与性能消耗对比。 PAGEREF _Toc487398082 h 7 HYPERLINK l _Toc487398083 3.2压缩测试对比，主要测试Exadata压缩表的比例和时间，然后与DDN非压缩表查询速度对比（DDN暂定采用oracle普通压缩，具体压缩方式由DDN决定）。 PAGEREF _Toc487398083 h 7 HYPERLINK l _Toc487398084 3.3单条查询测试对比，即返回结果很少的查询，一般即时查询，测试查询Exadata与DDN查询速度对比。（Exadata没有建立索引，DDN是否要采用索引？） PAGEREF _Toc487398084 h 7

3、HYPERLINK l _Toc487398085 3.4并行查询测试对比，一般为报表类统计查询，返回大量的结果集，由于开启了并发，测试指标包括查询速度及CPU消耗。 PAGEREF _Toc487398085 h 7 HYPERLINK l _Toc487398086 3.5数据汇聚测试对比，指的是数据库中insert操作，对CPU和IO响应速度要求较高，测试指标包括执行速度及性能消耗。 PAGEREF _Toc487398086 h 7 HYPERLINK l _Toc487398087 四、测试内容 PAGEREF _Toc487398087 h 7 HYPERLINK l _Toc48

4、7398089 4.1数据装载测试对比 PAGEREF _Toc487398089 h 8 HYPERLINK l _Toc487398100 4.1.1测试描述 PAGEREF _Toc487398100 h 8 HYPERLINK l _Toc487398101 4.1.2测试指标 PAGEREF _Toc487398101 h 8 HYPERLINK l _Toc487398102 4.1.3测试步骤 PAGEREF _Toc487398102 h 8 HYPERLINK l _Toc487398103 4.1.4测试结果 PAGEREF _Toc487398103 h 9 HYPERL

5、INK l _Toc487398104 4.2压缩测试对比 PAGEREF _Toc487398104 h 10 HYPERLINK l _Toc487398106 4.2.1测试描述 PAGEREF _Toc487398106 h 10 HYPERLINK l _Toc487398107 4.2.2测试指标 PAGEREF _Toc487398107 h 10 HYPERLINK l _Toc487398108 4.2.3测试步骤 PAGEREF _Toc487398108 h 10 HYPERLINK l _Toc487398109 4.2.4测试结果 PAGEREF _Toc487398

6、109 h 11 HYPERLINK l _Toc487398110 4.3单条查询测试对比 PAGEREF _Toc487398110 h 11 HYPERLINK l _Toc487398112 4.3.1测试描述 PAGEREF _Toc487398112 h 11 HYPERLINK l _Toc487398113 4.3.2测试指标 PAGEREF _Toc487398113 h 11 HYPERLINK l _Toc487398114 4.3.3测试步骤 PAGEREF _Toc487398114 h 12 HYPERLINK l _Toc487398115 4.3.4测试结果 P

7、AGEREF _Toc487398115 h 12 HYPERLINK l _Toc487398116 4.4并行查询测试对比 PAGEREF _Toc487398116 h 13 HYPERLINK l _Toc487398118 4.4.1测试描述 PAGEREF _Toc487398118 h 13 HYPERLINK l _Toc487398119 4.4.2测试指标 PAGEREF _Toc487398119 h 13 HYPERLINK l _Toc487398120 4.4.3测试步骤 PAGEREF _Toc487398120 h 13 HYPERLINK l _Toc4873

8、98121 4.4.4测试结果 PAGEREF _Toc487398121 h 14 HYPERLINK l _Toc487398122 4.5数据汇聚测试对比 PAGEREF _Toc487398122 h 14 HYPERLINK l _Toc487398124 4.5.1测试描述 PAGEREF _Toc487398124 h 14 HYPERLINK l _Toc487398125 4.5.2测试指标 PAGEREF _Toc487398125 h 15 HYPERLINK l _Toc487398126 4.5.3测试步骤 PAGEREF _Toc487398126 h 15 HYP

9、ERLINK l _Toc487398127 4.5.4测试结果 PAGEREF _Toc487398127 h 16 HYPERLINK l _Toc487398128 五、存储性能测试 PAGEREF _Toc487398128 h 16 HYPERLINK l _Toc487398130 5.1测试工具：orion PAGEREF _Toc487398130 h 16 HYPERLINK l _Toc487398133 5.1.1测试描述 PAGEREF _Toc487398133 h 16 HYPERLINK l _Toc487398134 5.1.2测试指标 PAGEREF _Toc

10、487398134 h 17 HYPERLINK l _Toc487398135 5.1.3测试步骤 PAGEREF _Toc487398135 h 17 HYPERLINK l _Toc487398136 5.1.4测试结果 PAGEREF _Toc487398136 h 18 HYPERLINK l _Toc487398137 5.2测试工具：calibrate_io PAGEREF _Toc487398137 h 18 HYPERLINK l _Toc487398139 5.2.1测试描述 PAGEREF _Toc487398139 h 19 HYPERLINK l _Toc487398

11、140 5.2.2测试指标 PAGEREF _Toc487398140 h 19 HYPERLINK l _Toc487398141 5.2.3测试步骤 PAGEREF _Toc487398141 h 19 HYPERLINK l _Toc487398142 5.2.4测试结果 PAGEREF _Toc487398142 h 21 HYPERLINK l _Toc487398143 5.3测试工具：xdd PAGEREF _Toc487398143 h 21 HYPERLINK l _Toc487398145 5.3.1测试描述 PAGEREF _Toc487398145 h 21 HYPER

12、LINK l _Toc487398146 5.3.2测试指标 PAGEREF _Toc487398146 h 22 HYPERLINK l _Toc487398147 5.3.3测试步骤 PAGEREF _Toc487398147 h 22 HYPERLINK l _Toc487398148 5.3.4测试结果 PAGEREF _Toc487398148 h 23测试目的本次测试主要以信令系统的业务场景进行测试，主要目的是验证ddn存储构建高性能数据库的优势与劣势，为今后广东移动系统建设规划提供指导性的建议，为了客观对比现网生产环境的基准处理性能，测试环境基于1/4配置的Exadata数据库一

13、体机，具体测试的内容主要包括：数据装载测试对比压缩测试对比单条查询测试对比并行查询测试对比数据汇聚测试对比测试环境Exadata：按ORACLE EXADATA X4 (第五代)的四分之一配来评估。计算节点的配置 (共2台)处理器2 个 Intel Xeon E5-2697 v2 十二核处理器 (2.7GHz) 内存256 GB（16 个 16GB） 可扩展至 512GB （16 个 32GB）本地磁盘4 个 600GB 10K RPM SAS 磁盘（可热交换）磁盘控制器磁盘控制器 HBA（带 512MB 缓存）网络2 个 InfiniBand 4X QDR (40Gb/s) 端口 (PCIe

14、 3.0) 两个端口均处于活动状态4 个 1GbE/10GbE Base-T 以太网端口2 个 10GbE 以太网 SFP+ 端口存储节点的配置 (共3台)处理器2 个 Intel Xeon E5-2630 v2 六核处理器 (2.6 GHz) 内存96 GB （4 个 8GB + 4 个 16GB）磁盘12 个 1.2 TB 10K RPM 高性能 SAS（可热交换） 2.5” 磁盘大小或者12 个 4 TB 7.2K RPM 大容量 SAS（可热交换） 3.5” 磁盘大小闪存4 个 800 GB Sun Flash Accelerator F80 PCIe 卡 磁盘控制器磁盘控制器 HBA

15、（带 512MB 缓存）网络2 个 InfiniBand 4X QDR (40Gb/s) 端口 (PCIe 3.0) 两个端口均处于活动状态嵌入式千兆以太网端口用于管理连接DDN存储构建高性能数据库（文档中全部简称DDN）由DDN从以下配置中挑选，不超过Exadata 1/4硬件配置。X86服务器扩容（27台）4路高端应用服务器，配置不低于ibm 3950 X5 2.67GHz主频的CPU，256GB内存；4*300GB SAS磁盘，RAID0/1/5,2块4口千兆以太网电口网卡，2块8Gb双口HBA卡,1*光驱，2个以太网与FC融合10Gb接口卡，2个10G SFP光模块，冗余电源X86服务

16、器扩容（11台）2路机架X86服务器，配置不低于2路八核处理器，2.3GHZ主频的CPU,64GB内存,12*2TB SATA硬盘，2*450GSAS硬盘,4*GE网口；支持RAID0/1/5，光驱，冗余电源测试场景设计原则数据装载测试对比，信令系统数据装载主要采用sql*ldr，所以测试指标为装载时间与性能消耗对比。压缩测试对比，主要测试Exadata压缩表的比例和时间，然后与DDN非压缩表查询速度对比（DDN暂定采用oracle普通压缩，具体压缩方式由DDN决定）。单条查询测试对比，即返回结果很少的查询，一般即时查询，测试查询Exadata与DDN查询速度对比。（Exadata没有建立索引

17、，DDN是否要采用索引？）并行查询测试对比，一般为报表类统计查询，返回大量的结果集，由于开启了并发，测试指标包括查询速度及CPU消耗。数据汇聚测试对比，指的是数据库中insert操作，对CPU和IO响应速度要求较高，测试指标包括执行速度及性能消耗。测试内容存储需求：至少2T文件系统和6T共享存储。DDN需要根据这项需求合理安排配置。数据装载测试对比测试描述测试文本数据加载效率：用户提供性能数据文本文件，通过Load方式加载到数据库，测试数据加载效率，并测试当数据量线性增长时，数据加载效率变化情况。分别记录Exadata与DDN加载时间、IO、CPU占用等测试指标。测试指标序号参数指标1Cpu记

18、录在数据装载期间内的DB和Storage Cell 的Cpu占用率。在数据装载开始后作为基准点，以后每隔1分钟采集一次数据装载期间内的Cpu占用率。2时间记录总数据加载时间3总大小记录装载的表总大小，单位：G。4平均装载速度测试数据装载期间的装载速度，单位条/秒.5平均每秒数据吞吐量测试数据装载期间的装载吞吐量，单位MB/秒，即表的总大小/总时间。6并行度查询开启并行度。测试步骤使用sql*ldr将文本文件加载到数据库中。记录CPU利用作为率和磁盘IO速度，评估整体效率、时间、IO、CPU等关键指标。采用生产业务表I_USER_TRACE_STAT_D（用户漫入漫出表）作为源数据装载数据量从4

19、0亿、80亿、120亿、160亿条逐步递增。并行度从1个，2个，3个，4个逐步递增，一个并行度对应一个文件，一个文件大约400G，40亿条数据左右，所以装载文件由1个,2个逐步递增到4个。I_USER_TRACE_STAT_D表结构如下：测试语句如下：测试结果关键指标SQL1（Exadata）SQL2（Exadata）SQL1（DDN）SQL2（DDN）CPU总时间并行度表的总大小（G）平均装载速度平均每秒数据吞吐量压缩测试对比测试描述对大表采用Exadata HCC压缩方式（信令目前有两种压缩方式）对其进行压缩，记录压缩比率，与压缩时间。DDN暂定采用oracle普通压缩，实际情况由DDN方

20、面决定。测试指标序号参数指标1总大小记录装载的表总大小，单位：G。2压缩比测试数据压缩前大小与压缩后大小比值，单位：压缩前大小/压缩后大小。 3表记录数表的总记录数测试步骤创建不同压缩方式的表，然后从dba_segments查询其大小，并与原始table比较得到压缩率。采用生产业务表I_USER_TRACE_STAT_D（用户漫入漫出表）作为源数据压缩表数据量从40亿、80亿、120亿、160亿条逐步递增测试语句如下：测试结果关键指标压缩方式1（Exadata）压缩方式2（Exadata）DDN表的总大小（G）表的记录数压缩比单条查询测试对比测试描述信令系统中存在较多的即时查询，即返回记录数很

21、少，所以要求响应速度也非常高。从大表中查询几条数据，记录执行时间。测试指标序号参数指标1表大小测试数据表大小。2表记录测试数据表记录。3返回结果数测试返回记录数。4查询时间查询所需时间，单位：秒。5压缩选项是否对表进行压缩，Y或者N测试步骤从大表中查询几条数据，以信令系统中挑选部分即时查询场景，记录Exadata与DDN执行时间。表数据量由原始数据逐步翻倍递增，例如100%、200%、400%。采用生产业务表I_USER_TRACE_STAT_D、F_LTE_SOC_QOE_USER_01_H、F_LTE_SOC_HTTP_CAUSE_H、F_LTE_SOC_QOE_VIP_H作为源数据分别对

22、表压缩和不压缩进行测试测试语句如下：测试结果关键指标sql1（Exadata）sql2（Exadata）sql1（DDN）sql2（DDN）表的总大小（G）表的记录数返回结果数查询时间是否压缩并行查询测试对比测试描述对于报表类的查询，或者取数类查询，通常非常耗时，一般都会开启并行提供查询速度。测试并行查询速度，记录执行时间和CPU消耗情况。测试指标序号参数指标1Cpu记录在数据装载期间内的DB和Storage Cell 的Cpu占用率。在数据装载开始后作为基准点，以后每隔1分钟采集一次数据装载期间内的Cpu占用率。2并行度查询开启并行度。3表大小测试数据表大小。4返回结果数测试返回记录数。5执

23、行时间查询所需时间，单位：秒。6压缩选项是否对表进行压缩，Y或者N测试步骤以信令系统中挑选部分取数查询场景，记录Exadata与DDN执行时间。采用生产业务表I_USER_TRACE_STAT_D、F_LTE_SOC_HTTP_CAUSE_H、F_LTE_SOC_QOE_VIP_H、F_LTE_SOC_QOE_USER_01_H作为源数据表数据量由原始数据逐步翻倍递增，例如100%、200%、400%。并行度分别从4个、8个、16个逐步递增分别对表压缩和不压缩进行测试测试语句如下：测试结果关键指标sql1（Exadata）sql2（Exadata）sql1（DDN）sql2（DDN）Cpu并行

24、度表大小返回结果数执行时间是否压缩数据汇聚测试对比测试描述数据汇聚主要指的是根据条件从表筛选出数据插入其他表中，测试数据库insert操作性能，一般也会开启并行。测试指标序号参数指标1Cpu记录在数据装载期间内的DB和Storage Cell 的Cpu占用率。在数据装载开始后作为基准点，以后每隔1分钟采集一次数据装载期间内的Cpu占用率。2执行时间查询所需时间，单位：秒。3并行度查询开启并行度。4表大小测试数据表大小。5插入结果数测试插入记录数。6压缩选项是否对表进行压缩，Y或者N测试步骤主要以信令系统中I表到F表的数据汇聚场景，F表一般为空表或者空分区，记录执行时间与性能消耗。采用生产业务表

25、I_USER_TRACE_STAT_D、I_LTE_SOC_HTTP_CAUSE_H作为源数据表数据量由原始数据逐步翻倍递增，例如100%、200%、400%。并行度分别从4个、8个、16个逐步递增分别对表压缩和不压缩进行测试测试语句如下：测试结果关键指标sql1（Exadata）sql2（Exadata）sql1（DDN）sql2（DDN）Cpu执行时间并行度表大小插入结果数是否压缩存储性能测试测试工具：orion此次存储性能测试主要采用oracle官方推出的软件orion工具，ORION (Oracle I/O Calibration Tool) 是校准用于 Oracle 数据库的存储系统

26、 I/O 性能的独立工具，对于了解存储系统的性能有很大帮助。测试描述测试目标是为了检测磁盘极限性能，此次测试随机抽取用作数据文件的磁盘，通过运行工具orion得到关键指标，并对比Exadata与DDN存储的性能。测试指标序号输出文件指标1*_mbps.csvPerformanceresults of large IOs in MBPS(吞吐量)2*_iops.csvPerformanceresults of small IOs in IOPS（每秒IO次数）3*_lat.csvLatency of smallIOs（响应时间）测试步骤解压缩ORION用root用户解压软件：unzip orio

27、n_linux_x86-64.gz解压完成后，生成ORION软件：orion_linux_x86-64配置.lun 文件，即将需要测试的磁盘写入该文件，例如：/dev/sdc1执行orion命令：orion_linux_x86-64 -run simple -testname *(lun文件名) -num_disks 1 -注意这里的testname 参数，只需要写文件名就可以了，orion 会自动补上扩展名，如果写上扩展名，反而会报错。重复执行步骤2,3，测试其他磁盘，保证结果的准确性。测试结果关键指标ExadataDisk1ExadataDisk2DDNDsik1DDNDisk2Maxim

28、um Large MBPSMaximum Small IOPSMinimum Small Latency注：可以定制一些特殊的压力测试，如：测试32K和1MB随机读的组合测试1MB连续写流，仿真1MB的raid-0条带化假定IO类型全部是8K随机操作，压力类型，自动加压，从小到大，一直到存储压力极限测试工具：calibrate_ioDBMS_RESOURCE_MANAGER.CALIBRATE_IO是11g引入的一个I/O校准的函数。测试描述calibrate_io的特点：1.能自动感知RAC架构，并非是从单个节点测试得到的结果；2.测试以数据库的数据文件为基准，是与数据库贴合最紧密的一种测试

29、方式；3.测试的结果只有整体的性能数据，看不到单个物理磁盘的信息。测试指标序号参数含义1max_iops最大IOPS， 即每秒所能获得的最大的I/O请求数。其测试的I/O请求为基于随机分布，数据库块大小的读操作；2max_mbps最大MBPS， 即每秒所能获取的最大吞吐量，单位为MB。其测试的请求I/O请求基于随机分布1M大小的读操作；3actual_latency实际延迟，在最大IOPS的时候，基于数据库块大小的I/O请求的平均延迟，单位为毫秒。测试步骤1.timed_statistics必须设置为TRUE；2.异步I/O已经启用；如果使用文件系统，则FILESYSTEMIO_OPTIONS

30、需要设置为SETALL。3.可以通过以下命令来查询数据文件的异步I/O是否已经启用：COL NAME FORMAT A50SELECT NAME,ASYNCH_IO FROM V$DATAFILE F,V$IOSTAT_FILE IWHERE F.FILE#=I.FILE_NOAND FILETYPE_NAME=DATA FILE;4. DBMS_RESOURCE_MANAGER.CALIBRATE_IO这个函数需要提供2个参数作为输入;num_physical_disks（物理磁盘的数量，默认为1）以及max_latency（物理磁盘的最大延迟，默认为20ms）, 测试完成以后生成3个结果;5.测试语句：SET SERVEROUTPUT ONDECLARElat INTEGER;iops INTEGER;mbps INTEGER;BEGINDBMS_RESOURCE_MANAGER.CALIBRATE_IO (1, 10,iops, mbps, lat);DBMS_OUTPUT.PUT_LINE (max_iops = | iops