大数据离线计算性能POC测试报告 (2).docx

1、大数据离线计算POC性能测试报告第一章概述1.1编写目的本测试报告为spark离线计算hbase性能测试报告，目的在于总结及分析性能测试结果。1.2背景中心适配器的Hbase中存储着海量的电子健康档案数据，当数据量达到一定程度时，对离线计算时的效率产生影响，因此计划使用不同数据量测试Spark的离线计算时间，便于对系统环境进行正确的分析以及评价。第二章测试环境2.1测试网组MapReduce.HBase,zookeeperHadoopHDFS.Spark,amuriCPU8核.L6G内存、600Gfflfi.centOS741083121CPU8核、16G内存、600G硬点、centOS741

2、083122CPU8核.16G内CPU8核、L6G内存、600G硬乱centOS741083124序.600GSS.centOS741083L23CPU曝、16G内序、600G®fi.centOS7410831242.2软件配置类别名称说明操作系统Centos7.4操作系统版本Ambari2.6.0大数据安装平台Hadoop2.6.3分布式系统基础框架Spark2.2.0分布式离线计算框架Mariadb10.2.8计算结果存储数据库2.3硬件配置序号设备名称数量CPU内存硬盘说明1ambari服务器18核16G600G2Hbase节点38核16G600G3Spark节点38核16G6

3、00G与HBASE使用相同服务器第三章测试用例和结果2.1测试内容测试方案采用spark的多线程模型方案，在提交任务时，参数化配置源表、线程数、进程数。在任务提交到yarn集群后，由yarn集群的集群管理器统一分配资源。任务完成后，在yarn集群监控页面获取任务执行时间，记录并对比不同配置下，任务所消耗的时间。本测试目标主要由以下几点：1. 统计离线计算1000万数据量在分配不同服务器资源下的性能。2. 对比不同服务器资源下，计算相同数据量的数据所花费的时间。3. 对比在分配相同服务器资源的前提下，离线计算不同数据量所花费的时间。概念说明1. Executor:并发执行的任务进程数。2. Ex

4、ecutorCore:单个进程下同时执行的线程数。3. ExecutorMemory:单个进程分配的内存空间大小。2.2测试结果集群配置Executor:1Executor:3Executor:3ExecutorMemory:2GExecutorMemory:2GExecutorMemory:2GExecutorCore:3ExecutorCore:3ExecutorCore:6数据量14W14W14W第一次88s57s59s第二次58s66s69s第三次82s61s56s平均lml6sImOlsImOls集群配置Executor:1Executor:3Executor:3ExecutorMe

5、mory:2GExecutorMemory:2GExecutorMemory:2GExecutorCore:3ExecutorCore:3ExecutorCore:6数据量187W187W187W第一次267s123s107s第二次220s128s137s第三次259s183s169s平均4m08s2m242ml7集群配置Executor:1Executor:3Executor:3ExecutorMemory:2GExecutorMemory:2GExecutorMemory:2GExecutorCore:3ExecutorCore:3ExecutorCore:6数据量1000W1000W1000W第一次9m44s3ml2s4m2s第二次8m40s4m49s3m42s第三次8m42s4m50s3m37s平均9m02s4ml73m47第四章测试结论3.1测试结论1. 在相同数据量下，分配的服务器资源越多，计算时间越少。2. 在大数据量下，分配更多的服务器资源，能有效减少计算时间。3. 在分配的资源足够的条件下，分配更多的服务器资源并不会显著减少计算时间。4. 浙江省卫生厅每天上传