煤矿大数据项目测试报告

煤矿大数据项目测试报告XX科技股份有限公司编制

目录1. 系统功能测试概述 31.1. 测试方法和步骤 31.2. 测试部署及环境 41.2.1. 测试数据准备 41.2.2. 测试结果测试数据 42. 性能测试报告 72.1. 测试目标 72.2. 测试内容 72.3. 测试环境 72.4. 测试过程和结果 10

系统功能测试概述系统测试为了监测系统开发完成之后的功能指标、性能指标、以及系统缺陷检验它是否有不符合系统说明书的地方。这种测试可以发现系统分析和设计中的错误。如安全测试是测试安全措施是否完善，能不能保证系统不受非法侵入。再例如，压力测试是测试系统在正常数据量以及超负荷量(如多个同时存取)等情况下是否还能正常地工作。测试方法和步骤表1库存情况测试方法表测试项编号X001测试项名称库存情况查询测试方法和步骤序号测试操作预期结果备注01进入库存情况可视化页面展示与库存情况相关的信息表2全国销售情况测试方法表测试项编号X002测试项名称全国销售情况测试方法和步骤序号测试操作预期结果备注01进入全国销售可视化页面展示与全国销售情况相关的信息测试部署及环境测试数据准备XX库存情况数据全国销售数据测试结果测试数据表6库存情况测试结果表测试项编号X001测试项名称库存情况查询测试时间2020-09-23测试人员XXX测试地点测试方法和步骤序号测试操作预期结果实际结果备注01进入库存情况可视化页面展示与库存情况相关的可视化信息页面显示与库存情况相关的可视化信息测试人员（签字）：XXX表7全国销售情况测试结果表测试项编号X002测试项名称全国销售测试时间2020-09-23测试人员XXX测试地点测试方法和步骤序号测试操作预期结果实际结果备注01进入全国夏松可视化页面展示与全国销售相关的可视化信息页面显示与全国销售相关的可视化信息测试人员（签字）：XXX性能测试报告测试目标以煤矿大数据系统为例，日均访问记录数近万条，每月数据量近1TB，移动互联网快速增加，智能终端迅速普及、户均流量显著增长，记录数据将进一步猛增，每6个月，流量翻一番，如此大的数据量已经超越了传统关系型数据库可管理的容量上限，关系型数据库上对大规模数据进行操作会造成系统性能严重下降。通过本测试，验证煤矿大数据平台，是否可以有效解决数据采集、加载、存储、查询、分析等问题。测试内容1）存储节点数和存储量验证；2）并发加载数据的效率验证；3）分别选取简单查询（仓库情况查询），单表统计（全国销售信息查询），大表关联统计（统计指定地区的库存情况）三个应用场景验证产品性能。测试环境软硬件环境配置如下：表11服务器配置服务器推荐配置及说明节点数量5台服务器CPU两路6核处理器2*E5-2620内存64GBECCDDR3硬盘2个600G的SAS硬盘，15000RPM，RAID1，作为系统盘12个2TB的SATA硬盘，7200RPM，不做RAID1网络双电口万兆（10Gbps）以太网卡部署环境如下：表12集群配置PC服务器5台NameNode节点2台DataNode节点5台Zookeeper节点3台集群监控节点1台入库服务节点5台Web查询应用服务节点1台网络拓扑情况如下：图1拓扑结构图测试过程和结果1）现有HDFS集群已被占用10.5TB，3个副本，压缩率在1/3左右，因此实际HBase表数据也已经有3.5TB左右。目前数据存放6个月，每天导入日志数据在21GB左右，每月导入新增日志数据量为630GB，近一个月为常用热数据，数据量增长较快。2）并发加载数据的效率煤矿大数据集群每秒平均达到150万记录/秒，峰值时达到500万/秒，集群导入性能没有问题。3）支持并发查询数目：远高于1000请求/秒记录查询速度：不高于1秒（含访问查询页面的时间）场景一：库存情况数据查询表13XX库存情况表测试相关表数据量表名条数TB_stock31144测试语句SELECT*FROMtb_stockWHERENAME=?;场景说明使用程序查询库存情况SQL性能并发:5000单SQL平均执行时间:12msAPI性能并发：>30W单SQL平均执行时间：3ms场景二：全国销售信息查询：表14全国销售情况信息表测试相关表数据量表名条数TB_sell33346测试语句SELECTVIP_GRADE,COUNT(VIP_GRADE)FROMTB_sellGROUPBYVIP_GRADE;场景说明统计全国销售情况数据SQL性能并发:2000单SQL平均执行时间:130msAPI性能并发：>10W单SQL平均执行时间：90ms场景三：关联统计相关测试，统计指定地区的销售情况表15记录表测试相关表数据量表名条数TB_stock，TB_sell31144,33346测试语句SELECTCOUNT(*)FROMTB_stockT1,TB_sellT2WHERE