大数据性能测试方案-V1.0

大数据性能测试方案-V1.0大数据性能测试方案-V1.0大数据性能测试方案-V1.0大数据性能测试方案-V1.0编制仅供参考审核批准生效日期地址：电话：传真:邮编:编号：密级：XXX大数据平台性能测试方案[]拟制人：审核人：批准人：[2016年01月08日]文件变更记录*A-增加M-修订D-删除版本号日期变更类型

（A*M*D）修改人摘要审核人备注2016-01-08A新建性能测试方案目录TOC\o"1-3"\h\u目录 I1引言 1 编写目的 1 测试目标 1 读者对象 1术语定义 12环境搭建 1测试硬件环境 1软件环境 23测试范围 2测试功能点 2测试类型 2性能需求 3准备工作 3测试流程 34.业务模型 4基准测试 4Hadoop/Spark读取算法的基准测试 4Hadoop/Spark写入算法的基准测试 5Hadoop/Spark导入算法的基准测试 6Hadoop/Spark导出算法的基准测试 7负载测试 8Hadoop/Spark并行读取/写入算法的负载测试 8Hadoop/Spark并行导入/导出算法的负载测试 9稳定性测试 10Hadoop/Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试 105测试交付项 126测试执行准则 12测试启动 12测试执行 12测试完成 137角色和职责 138时间及任务安排 139风险和应急 14影响方案的潜在风险 14应急措施 141引言编写目的本测试方案将对XXX大数据平台的测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。测试目标本次性能测试的目标是检测《XXX大数据平台》在服务器上运行时，了解该服务器的各项性能情况。读者对象本方案的预期读者是：项目负责人、测试人员、运维人员和其他相关人员。术语定义术语定义性能测试通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试场景用于根据性能要求定义在每一个测试会话进行期间发生的事件事务表示要度量的最终指定的某个特定业务2环境搭建测试硬件环境服务器名数量期望到位阶段备注服务器1开发提测前软件环境资源名称配置3测试范围测试功能点编号测试点对应算法备注1Hadoop读取2Hadoop写入3Hadoop导入4Hadoop导出5Spark读取6Spark写入7Spark导入8Spark导出测试类型类型定义备注基准测试单事物单用户测试，目的是对选择的单用户在无压力情况下（无额外进程运行并占用系统资源）情况下，获取系统处理单请求的情况负载测试通过逐步增加系统负载，测试系统性能的变化稳定性测试通过给系统加载一定业务压力，运行7*24小时，以此检测系统是否稳定运行。性能需求名称指标备注CPU使用率不高于80%内存使用率不高于80%I/O使用率不高于80%响应时间Network使用率不高于80%准备工作测试功能点全部通过功能测试，确保功能上没有问题；测试环境服务器已搭建，被测项目已部署；准备测试客户机；准备好测试数据；创建测试场景，并配置好每个场景的设置；测试过程中保存好测试数据和分析结果，并规范对执行结果进行命名测试流程4.测试策略基准测试Hadoop/Spark读取算法的基准测试场景1：数据容量100G时，进行读取算法的基准测试用例名称数据量100G，读取功能的基准测试算法读取验证功能Hadoop/Spark的读取测试测试目的对比Hadoop/Spark的读取算法，进行数据容量100G读取操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，进行读取算法的基准测试用例名称数据量500G，读取功能的基准测试算法读取验证功能Hadoop/Spark的读取测试测试目的对比Hadoop/Spark的读取算法，进行数据容量500G读取操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行读取算法的基准测试用例名称数据量1T，读取功能的基准测试算法读取验证功能Hadoop/Spark的读取测试测试目的对比Hadoop/Spark的读取算法，进行数据容量1T读取操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSparkHadoop/Spark写入算法的基准测试场景1：数据容量100G时，进行写入算法的基准测试用例名称数据量100G，写入功能的基准测试算法写入验证功能Hadoop/Spark的写入测试测试目的对比Hadoop/Spark的写入算法，进行数据容量100G写入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，进行写入算法的基准测试用例名称数据量500G，写入功能的基准测试算法写入验证功能Hadoop/Spark的写入测试测试目的对比Hadoop/Spark的写入算法，进行数据容量500G写入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行写入算法的基准测试用例名称数据量1T，写入功能的基准测试算法写入验证功能Hadoop/Spark的写入测试测试目的对比Hadoop/Spark的写入算法，进行数据容量1T写入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSparkHadoop/Spark导入算法的基准测试场景1：数据容量100G时，进行导入算法，查看服务器的相关性能指标用例名称数据量100G，导入功能的基准测试算法导入验证功能Hadoop/Spark的导入测试测试目的对比Hadoop/Spark的导入算法，进行数据容量100G导入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，进行导入算法，查看服务器的相关性能指标用例名称数据量500G，导入功能的基准测试算法导入验证功能Hadoop/Spark的导入测试测试目的对比Hadoop/Spark的导入算法，进行数据容量500G导入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行导入算法，查看服务器的相关性能指标用例名称数据量1T，导入功能的基准测试算法导入验证功能Hadoop/Spark的导入测试测试目的对比Hadoop/Spark的导入算法，进行数据容量1T导入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSparkHadoop/Spark导出算法的基准测试场景1：数据容量100G时，进行导出算法，查看服务器的相关性能指标用例名称数据量100G，导出功能的基准测试算法导出验证功能Hadoop/Spark的导出测试测试目的对比Hadoop/Spark的导出算法，进行数据容量100G导出操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，进行导出算法，查看服务器的相关性能指标用例名称数据量500G，导出功能的基准测试算法导出算法验证功能Hadoop/Spark的导出测试测试目的对比Hadoop/Spark的导出算法，进行数据容量500G导出操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行导出算法，查看服务器的相关性能指标用例名称数据量1T，导出功能的基准测试算法导出验证功能Hadoop/Spark的导出测试测试目的对比Hadoop/Spark的导出算法，进行数据容量1T导出操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2.对redpower服务器进行资源监控3.客户端执行Hadoop/Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark负载测试Hadoop/Spark并行读取/写入算法的负载测试场景1：数据容量100G时，并行读取/写入算法的混合测试场景用例名称数据量100G，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/Spark并行读取/写入测试测试目的对比Hadoop/Spark的并行读取/写入，进行数据容量100G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，并行读取/写入算法的混合测试场景用例名称数据量500G，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/Spark并行读取/写入测试测试目的对比Hadoop/Spark的并行读取/写入，进行数据容量500G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，并行读取/写入算法的混合测试场景用例名称数据量1T，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/Spark并行读取/写入测试测试目的对比Hadoop/Spark的并行读取/写入，进行数据容量1T操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSparkHadoop/Spark并行导入/导出算法的负载测试场景1：数据容量100G时，并行导入/导出算法的混合场景测试用例名称数据量100G，并行导入/导出的负载测试算法导入/导出验证功能Hadoop/Spark并行导入/导出测试测试目的对比Hadoop/Spark的并行导入/导出，进行数据容量100G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，并行读取/写入算法的混合场景测试用例名称数据量500G，并行导入/导出的负载测试算法导入/导出验证功能Hadoop/Spark并行导入/导出测试测试目的对比Hadoop/Spark的并行导入/导出，进行数据容量500G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，并行读取/写入算法的混合场景测试用例名称数据量1T，并行导入/导出的负载测试算法导入/导出验证功能Hadoop/Spark并行导入/导出测试测试目的对比Hadoop/Spark的并行导入/导出，进行数据容量1T操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark稳定性测试Hadoop/Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试场景1：数据容量100G时，并行读取/写入/导入/导出稳定性测试用例名称数据量100G，并行读取/写入/导入/导出稳定性测试算法读取/写入/导入/导出验证功能Hadoop/Spark并行读取/写入/导入/导出稳定性测试测试目的对比Hadoop/Spark的并行读取/写入/导入/导出，进行数据容量100G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法，运行时长7*24小时运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，并行读取/写入/导入/导出稳定性测试用例名称数据量500G，并行读取/写入/导入/导出稳定性测试算法读取/写入/导入/导出验证功能Hadoop/Spark并行读取/写入/导入/导出稳定性测试测试目的对比Hadoop/Spark的并行读取/写入/导入/导出，进行数据容量500G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法，运行时长7*24小时运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，并行读取/写入/导入/导出稳定性测试用例名称数据量1T，并行读取/写入/导入/导出稳定性测试算法读取/写入/导入/导出验证功能Hadoop/Spark并行读取/写入/导入/导出稳定性测试测试目的对比Hadoop/Spark的并行读取/写入/导入/导出，进行数据容量1T操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2.对redpower服务器进行资源监控3.客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法，运行时长7*24小时运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark5测试交付项测试阶段提交文档文档要求测试方案《XXX大数据平台-性能测试方案》1、测试经理制定项目的测试计划测试设计及实现《XXX大数据平台-性能测试用例》1、测试人员编写项目所有测试用例2、评审通过后导入到禅道中，并上传至SVN服务器测试报告《XXX大数据平台-性能测试报告》1、主导测试完成测试报告2、包括性能指标分析图6测试执行准则测试启动在开始进行测试时必需满足的条件。这些条件涉及：《开发提测checklist》内容符合要求，已提交至测试部门。系统功能测试已通过。性能测试方案、测试流程、测试进度的制订已完成，并经过严格评审。性能测试所需的资源已经到位。测试组人员配置合理，测试人员的工作技能符合测试要求。性能测试所需的软、硬件和操作系统等测试环境准备完毕。测试执行根据测试方案相关测试环境的内容，检查测试环境（包括硬件及软件），确保测试环境符合要求。对于测试用