Redis企业级大数据平台-集成测试报告

1、第 页Redis企业级大数据平台集成测试报告目 录 TOC o 1-3 h z u HYPERLINK l _Toc436324905 1.测试目的 PAGEREF _Toc436324905 h 5 HYPERLINK l _Toc436324906 2.测试环境 PAGEREF _Toc436324906 h 5 HYPERLINK l _Toc436324907 2.1.硬件环境 PAGEREF _Toc436324907 h 5 HYPERLINK l _Toc436324908 2.2.软件环境 PAGEREF _Toc436324908 h 6 HYPERLINK l _Toc43

2、6324909 3.测试内容 PAGEREF _Toc436324909 h 6 HYPERLINK l _Toc436324910 3.1.基本功能 PAGEREF _Toc436324910 h 6 HYPERLINK l _Toc436324911 3.1.1.String类型的输入输出测试 PAGEREF _Toc436324911 h 6 HYPERLINK l _Toc436324912 3.1.2.Set类型的输入输出测试 PAGEREF _Toc436324912 h 7 HYPERLINK l _Toc436324913 3.1.3.Hash类型的输入输出测试 PAGEREF

3、 _Toc436324913 h 7 HYPERLINK l _Toc436324914 3.1.4.List类型的输入输出测试 PAGEREF _Toc436324914 h 8 HYPERLINK l _Toc436324915 3.1.5.SortedSet类型的输入输出测试 PAGEREF _Toc436324915 h 9 HYPERLINK l _Toc436324916 3.1.6.基本功能测试截图 PAGEREF _Toc436324916 h 10 HYPERLINK l _Toc436324917 3.1.7.java客户端测试 PAGEREF _Toc436324917

4、h 10 HYPERLINK l _Toc436324918 测试截图 PAGEREF _Toc436324918 h 12 HYPERLINK l _Toc436324919 3.1.8.扩容测试 PAGEREF _Toc436324919 h 12 HYPERLINK l _Toc436324920 测试截图 PAGEREF _Toc436324920 h 13 HYPERLINK l _Toc436324921 3.1.9.移除节点测试 PAGEREF _Toc436324921 h 14 HYPERLINK l _Toc436324922 测试截图 PAGEREF _Toc436324

5、922 h 15 HYPERLINK l _Toc436324923 3.1.10.主从同时停止测试 PAGEREF _Toc436324923 h 15 HYPERLINK l _Toc436324924 测试截图 PAGEREF _Toc436324924 h 16 HYPERLINK l _Toc436324925 3.1.11.数据导入导出测试 PAGEREF _Toc436324925 h 16 HYPERLINK l _Toc436324926 3.1.12.Redis疲劳测试 PAGEREF _Toc436324926 h 17 HYPERLINK l _Toc436324927

6、 测试截图 PAGEREF _Toc436324927 h 18 HYPERLINK l _Toc436324928 3.1.13.主从复制测试 PAGEREF _Toc436324928 h 20 HYPERLINK l _Toc436324929 测试截图 PAGEREF _Toc436324929 h 21 HYPERLINK l _Toc436324930 3.2.性能 PAGEREF _Toc436324930 h 21 HYPERLINK l _Toc436324931 3.2.1.加载性能 PAGEREF _Toc436324931 h 21 HYPERLINK l _Toc43

7、6324932 3.2.2.数据恢复性能 PAGEREF _Toc436324932 h 22 HYPERLINK l _Toc436324933 3.2.3.并发性能 PAGEREF _Toc436324933 h 23 HYPERLINK l _Toc436324934 测试截图 PAGEREF _Toc436324934 h 23 HYPERLINK l _Toc436324935 3.3.高可用 PAGEREF _Toc436324935 h 25 HYPERLINK l _Toc436324936 3.3.1.REDIS节点进程高可用测试 PAGEREF _Toc436324936

8、h 25 HYPERLINK l _Toc436324937 测试截图 PAGEREF _Toc436324937 h 25 HYPERLINK l _Toc436324938 3.3.2.REDIS节点断网断电高可用测试 PAGEREF _Toc436324938 h 26测试目的通过功能、性能、高可用测试，验证Redis是否满足在大数据基础架构平台对精细化营销和客流分析应用的需求。测试环境硬件环境硬件位置信息： 硬件配置清单：序号设备名称设备数量设备用途说明操作系统设备类型设备配置备注CPU内存硬盘1分布式内存服务节点20部署分布式内存服务Redhat7.0X86机架服务器（华为 RH58

9、85V3）32C512GB6*600GB SAS 部署docker、Redis cluster分布式内存数据库、SQLFire分布式内存数据库等服务2分布式协调及资源调度节点3实现分布式协调服务、资源调度服务Redhat6.5虚拟机16C40GB80GB部署zookeeper、yarn等服务硬件配置表：设备类型/型号单台配置数量X86机架式服务器（华为 RH5885V3）单台4路八核E7-4820V2 2.0GHz CPU/512GB 内存/6*600GB SAS 硬盘/4*10GE 光/4*GE 电20软件环境软件名称版本用途Red HatRed Hat Enterprise Linux S

10、erver release 7.0服务器操作系统RedisRedis 3.0分布式内存数据库测试内容基本功能String类型的输入输出测试用例名称String类型的输入输出测试测试目的验证String的输入输出的功能预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果正常连接上集群插入数据 set key1 value1查询数据 get key1删除数据 del key1 get key1返回值为空1、登录成功。2、各个标准操作验证成功测试结果通过 备注截图查看3.1.6Set类型的输入输出测试用例名称Set类型的输入输出测试测试目的验证Set类型的输入输出的功能预置条件系统运行正常系

11、统中存在运行状态的主机测试过程预期结果正常连接上集群插入数据 sadd key1 value1 sadd key1 value1 sadd key2 value2查询数据 smembers key1只有一条记录1、各个操作验证成功。测试结果通过备注截图查看3.1.6Hash类型的输入输出测试用例名称Hash类型的输入输出测试测试目的验证Hash类型的输入输出的功能预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果正常连接上集群插入数据 HSET key1 redis 查询数据 HGET key1 redis返回1、各个操作验证成功。测试结果通过备注截图查看3.1.6List类型的输入

12、输出测试用例名称List类型的输入输出测试测试目的验证List类型的输入输出的功能预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果正常连接上集群插入数据 LPUSH key1 a b c查询数据 LRANGE key1 0 -1返回值为cba1、各个操作验证成功。测试结果通过备注截图查看3.1.6SortedSet类型的输入输出测试用例名称Sorted类型的输入输出测试测试目的验证Sorted类型的输入输出的功能预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果正常连接上集群插入数据/将一个member或多个member元素及其score加入有序集key1中。 ZADD

13、key1 10 ZADD key1 9 8 查询数据/将key1中的有序集成员和及score全部返回 ZRANGE key1 0 -1 WITHSCORES返回值为89101、各个操作验证成功。测试结果通过备注截图查看3.1.6基本功能测试截图java客户端测试用例名称java客户端测试测试目的测试对java客户端的支持预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果jdbcSet jedisClusterNodes = new HashSet(); jedisClusterNodes.add(new HostAndPort(xx.xx.xx.xx, 6380); jedisClu

14、sterNodes.add(new HostAndPort(xx.xx.xx.xx, 6381);BinaryJedisCluster jc = new BinaryJedisCluster(jedisClusterNodes); jc.setex(key, 60 * 60, (bytes)1);.1、成功插入数据。测试结果通过 备注用mr读hdfs数据插入redis，数据量是1000万测试截图扩容测试用例名称扩容测试测试目的测试Redis的扩容功能预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果启动一个新的Redis Serverredis-trib.rb的add-node子命令

15、将一个新的redis server添加到已有的集群中$ redis-trib.rbadd-node4:63843:6381使用redis-trib.rb的reshard子命令为新节点分配slot$ redis-trib.rb reshard 4:6386数据能够正常查询测试结果扩容成功，但有警告备注测试截图移除节点测试用例名称移除节点测试测试目的测试Redis的移动节点功能预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果使用redis-trib.rb的reshard子命令为新节点分配slot$ redis-trib.rb reshard 4:6386redis-trib.rb的de

16、l-node命令将一个redis server从集群移除$ redis-trib.rbdel-node4:7386c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378节点删除，数据能够正常查询测试结果移除成功，但有警告备注测试截图主从同时停止测试用例名称主从同时停止测试测试目的主从节点同时停止，测试集群运行预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果停止一个主和从节点查询数据重新插入丢失的数据（更新内容）启动停止的主和从节点查询数据主从节点同时停止，集群能正常运行，部分数据无法查询 测试结果与预期结果一致备注测试截图数据导入导出测试用例名称数据导入导

17、出测试测试目的测试Redis的数据导入导出功能 预置条件系统运行正常测试过程预期结果使用redis-dump功能导出数据redis-dump -u ip:port test.json清空redis中的数据导入数据 test.json redis-load4、检查导入数据导出、导入数据一致测试结果未测试备注环境不具备，未安装dump工具Redis疲劳测试用例名称Redis疲劳测试测试目的测试Redis在多并发下，长时间持续运行的稳定性。预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果1. 准备数据量1000w2. 客户端多并发向Redis写入数据。3. 一直持续12个小时，连续不断的

18、写入1、插入无异常测试结果通过: 备注Jedis api 1000 并发写 qps是10万条左右每秒Jedis api 10000并发读 qps是16万条左右每秒测试截图主从复制测试用例名称主从复制测试测试目的测试Redis的主从复制功能 预置条件系统运行正常，存在master，slaver节点测试过程预期结果使用客户端往Redis集群中插入数据观察master、slaver节点的数据同步情况数据保持同步。测试结果通过备注测试截图性能加载性能用例名称加载性能测试目的模拟200GB数据，启动8个server。并测试在在多少时间窗口内可以完成所有加载。预置条件系统运行正常系统中存在运行状态的主机测

19、试过程预期结果使用Redis客户端并发进行数据加载记录数据的加载时间测试结果未测试备注加载数据未准备好。加载方法未确定。 数据恢复性能用例名称数据恢复性能测试目的测试Redis数据恢复性能。预置条件系统运行正常测试过程预期结果停止一台Redis服务；恢复此台Redis服务器；记录启动数据恢复数据时间测试结果数据量：5729361314=5.34G加载完成时间：1035秒备注并发性能用例名称并发性能测试目的测试Redis能承载的并发能力。预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果准备测试表模型和数据量（千万级别）编写java测试程序通过命令行启动测试程序，通过参数指定不同的并发数来模拟输出Redis集群在不同压力下的性能指标（CPU的使用率，响应延时，QPS等）登录docker节点用Redis-benchmark测试 redis-b