Hadoop企业级大数据平台-测试报告

1、第 页Hadoop企业级大数据平台测试报告 目 录 TOC o 1-3 h z u HYPERLINK l _Toc484846385 1.测试目的 PAGEREF _Toc484846385 h 3 HYPERLINK l _Toc484846386 2.测试环境 PAGEREF _Toc484846386 h 3 HYPERLINK l _Toc484846387 2.1.硬件环境 PAGEREF _Toc484846387 h 3 HYPERLINK l _Toc484846388 2.2.软件环境 PAGEREF _Toc484846388 h 4 HYPERLINK l _Toc48

2、4846389 3.测试内容 PAGEREF _Toc484846389 h 4 HYPERLINK l _Toc484846390 3.1.基本功能 PAGEREF _Toc484846390 h 4 HYPERLINK l _Toc484846391 3.1.1.HDFS功能验证 PAGEREF _Toc484846391 h 4 HYPERLINK l _Toc484846392 3.1.2.YARN功能验证 PAGEREF _Toc484846392 h 6 HYPERLINK l _Toc484846393 3.1.3.扩容测试 PAGEREF _Toc484846393 h 8 H

3、YPERLINK l _Toc484846394 3.2.性能 PAGEREF _Toc484846394 h 9 HYPERLINK l _Toc484846395 3.2.1.HDFS性能测试 PAGEREF _Toc484846395 h 9 HYPERLINK l _Toc484846396 3.2.2.YARN性能测试 PAGEREF _Toc484846396 h 12 HYPERLINK l _Toc484846397 3.3.高可用 PAGEREF _Toc484846397 h 16 HYPERLINK l _Toc484846398 3.3.1.HDFS高可用测试 PAGE

4、REF _Toc484846398 h 16 HYPERLINK l _Toc484846399 3.3.2.YARN高可用测试 PAGEREF _Toc484846399 h 18 HYPERLINK l _Toc484846400 3.3.3.Kerberos高可用测试 PAGEREF _Toc484846400 h 21测试目的通过功能、性能、高可用测试，验证Hadoop是否满足在大数据基础架构平台对精细化营销和客流分析应用的需求。测试环境硬件环境硬件位置信息： 硬件配置清单：序号设备名称设备数量设备用途说明操作系统设备类型设备配置备注CPU内存硬盘1分布式内存服务节点20部署分布式内存

5、服务Redhat7.0X86机架服务器（华为 RH5885V3）32C512GB6*600GB SAS 部署docker、Redis cluster分布式内存数据库、SQLFire分布式内存数据库等服务2分布式协调及资源调度节点3实现分布式协调服务、资源调度服务Redhat6.5虚拟机16C40GB80GB部署zookeeper、yarn等服务硬件配置表：设备类型/型号单台配置数量X86机架式服务器（华为 RH5885V3）单台4路八核E7-4820V2 2.0GHz CPU/512GB 内存/6*600GB SAS 硬盘/4*10GE 光/4*GE 电20软件环境软件名称版本用途Red Ha

6、tRed Hat Enterprise Linux Server release 7.0服务器操作系统RedisRedis 3.0分布式内存数据库测试内容基本功能HDFS功能验证用例名称创建目录/查询/删除/下载/上传测试目的创建目录/查询/删除/下载/上传预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证。创建文件夹，执行语句：hdfs dfs -mkdir /tmp/mydir查看文件夹，执行语句：hdfs dfs -ls /tmp删除文件夹，执行语句：hdfs dfs -rm -r /tmp/mydir查看文件夹，执行语句：hdfs

7、 dfs -ls /tmp上传本地文件(指定本地存在的文件)，执行语句：hdfs dfs -put /tmp/testAccess.txt /tmp/，再执行查看指令检查文件是否存在hdfs dfs -ls /tmp下载文件到本地，执行语句：hdfs dfs -get /tmp/testAccess.txt /opt/删除文件，执行语句：hdfs dfs -rm /tmp/testAccess.txt，再执行查看指令检查文件是否存在hdfs dfs -ls /tmp测试结果通过部分操作需要超级用户hdfs完成。mkdir, ls, rm, put, get 等操作均可执行成功。备注建议: Ke

8、rbeross expire time is bigger then the renew time.需修改Kerberos配置完成。expire time = renew time如不修改，可能在任务执行周期过长（expire time）时导致认证失败，任务执行不成功。测试截图：YARN功能验证用例名称提交/删除/查询Yarn任务测试目的验证支持提交/删除/查询Yarn任务预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证执行hadoop自带的测试程序TestDFSIO，提交一个MR任务hadoop jar /usr/hdp/cu

9、rrent/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件个数，Size指文件大小等待任务运行结束，显示执行结果使用TestDFSIO重新提交一个MR任务。使用yarn application -list查看正在运行的TestDFSIO任务的Application ID。使用yarn application kill 命令，kill正在运行的任务。1、各个操作验证成功。测试结果通过任务执行成功任务停止成功备注测

10、试截图：扩容测试用例名称扩容测试测试目的测试扩容功能预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果打开集群管理页面 HYPERLINK http:/host:8080/ http:/host:8080/，输入用户名密码（默认admin/admin）点击Hosts-Actions-Add New Hosts根据提示输入主机名、选择主机在安装HDFS、YARN组件等确认后，等待集群后台扩容。1、集群扩容成功。测试结果未测试备注性能HDFS性能测试用例名称HDFS读写性能测试测试目的使用hadoop提供的TestDFSIO工具，对集群进行写性能测试预置条件系统运行正常系统中存在

11、运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证。进行hdfs写性能测试hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件个数，Size指文件大小进行hdfs读性能测试hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclie

12、nt-tests.jar TestDFSIO -read -nrFiles N -fileSize Size其中N指文件个数，Size指文件大小进行hdfs同时读、写性能测试5 启动多个MR进行读写性能测试记录读写的性能测试结果测试结果完成通过MR任务读取2.8GB数据，时间为32.446秒通过MR任务写入128*3GB数据，时间为697秒备注读测试截图：写测试截图：YARN性能测试用例名称YARN性能测试测试目的测试YARN的性能。预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果采用开源的程序randomtextwriter生成wordcount数据hadoop jar /usr

13、/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar randomtextwriter /tmp/test.txt执行开源的wordcount程序hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount -Dmapreduce.job.reduces=15 /tmp/testword.txt /tmp/testresult.txt记录MR任务执行的总时长测试结果测试MR任务并发执行性能，同时

14、执行5个MR任务；Wordcount任务读取数据量：2.8GB备注测试截图：高可用HDFS高可用测试用例名称HDFS高可用测试测试目的当HDFS个别进程异常的时候，不影响集群的正常使用预置条件系统运行正常测试过程预期结果执行kinit test输入密码，完成用户认证。往HDFS上put一个大文件停止一个NameNode，观察对写文件的影响停止一个DataNode，观察对写文件的影响文件可以正常put到HDFS上测试结果通过停止一个NameNode，读写HDFS文件正常；停止一个DataNode，读写HDFS文件正常。备注测试截图：YARN高可用测试用例名称YARN进程高可用测试测试目的当YAR

15、N个别进程异常的时候，不影响集群的正常使用预置条件系统运行正常测试过程预期结果执行kinit test输入密码，完成用户认证。执行hadoop自带的测试程序TestDFSIO，提交一个长MR任务hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件个数，Size指文件大小停止一个ResourceManager，观察对MR任务的影响停止一个NodeManager，观察MR任务的影响MR任务可以正常执行测试结果通过停止一个ResourceManager，MR任务正常运行；停止一个NodeManager，MR任务正常运行。备注测试截图：Kerberos高可用测试用例名称Kerberos高可用测试测试目的当一个Kerberos server停止时，不影响集群的正常使用预置条件系统运行正常，Kerberos主备均正常运行。测试过程