中国邮政大数据-TDH+TRINITY集成验证测试方案

中国邮政大数据 TDH TRINITY 集成验证测试方案 VersionAuthorDate 0 5Yuanbo2016 05 26 1 0Yuanbo HeYuhui2016 05 26 2016 5 26 1 目录 1 概述 2 2 测试软 硬件环境 2 3 测试场景 2 4 测试数据 3 5 测试用例 3 5 1 ETL 工具对 HDFS 的操作测试 3 5 1 1 Trinity 对 hdfs 的操作测试 3 5 2 ETL 工具对 Inceptor 的操作测试 4 5 2 1 Trinity 对 Inceptor 的普通操作测试 4 5 2 2 Trinity 对 Inceptor 的调度操作测试 4 5 3 ETL 工具对 Inceptor 的导入 出测试 5 5 3 1 Trinity 对 Incetpor 的导入 出测试 5 5 4 ETL 特色功能展示 6 2 1 1 概述概述 本方案重点规定了 TDH 4 5 Trinity 4 1 0 6 集成平台的测试环境和测试方法 通 过功能 性能 可靠性等测试项目 了解 TDH Trinity 集成平台提供的相关服务 注 以 下测试方案均是在 TDH 集群开启安全模式下进行的测试 包括 1 Trinity 对 HDFS 的操作 2 Trinity 对 Inceptor 的操作 3 Trinity 对 Inceptor 并发 串行 依赖作业的调度 4 Trinity 对 Inceptor 与 Oracle TD 数据交互的支持 2 2 测试软测试软 硬件环境硬件环境 2 1 1 TDH4 5 环境 ID 配置角色 OS 时区 IPHostname 1HP580G9 256G 300G 2namenode 红旗 4 4东八区 192 168 100 101cpnn01 2HP580G9 256G 300G 2standby namenode 红旗 4 4东八区 192 168 100 102cpnn02 3HP580G7 64G 300G 8datanode 红旗 4 4东八区 192 168 100 103cpdn01 4HP580G7 64G 300G 8datanode 红旗 4 4东八区 192 168 100 104cpdn02 5HP580G7 64G 300G 8datanode 红旗 4 4东八区 192 168 100 105cpdn03 6HP580G7 64G 300G 8datanode 红旗 4 4东八区 192 168 100 106cpdn04 2 1 2 Trinity4 1 0 6 环境 服务器 Trinity cpnn01Primary server cpnn02Standby server cpdn01Agent1 cpdn02Agent2 cpdn03 cpdn04 3 3 测试场景测试场景 1 ETL1 ETL 工具对工具对 HDFSHDFS 的操作 的操作 2 ETL2 ETL 工具对工具对 InceptorInceptor 的操作 的操作 3 3 ETL3 ETL 调度工具对调度工具对 InceptorInceptor 并发 串行 依赖作业的配置 调度与监控 并发 串行 依赖作业的配置 调度与监控 4 ETL4 ETL 工具对工具对 InceptorInceptor 与与 OracleOracle TeradataTeradata 数据交互的支持 数据交互的支持 4 4 测试数据测试数据 邮政测试数据 5 5 测试用例测试用例 5 1 ETL 工具对 HDFS 的操作测试 5 1 1 Trinity 对 hdfs 的操作测试 用例名称用例名称Trinity 对 hdfs 的操作用例编号用例编号 测试内容测试内容Trinity 对 hdfs 的操作 包括创建文件夹 上传 下载文件 修改目录权 限 修改 owner 测试目的测试目的Trinity 对 hdfs 操作的功能测试 预置条件预置条件TDH 集群完成配置并启动安全模式 测试步骤测试步骤1 在 Trinity 中创建 hdfs 文件夹 2 在 Trinity 中上传 下载 hdfs 里的文件 3 在 Trinity 中修改目录 hdfs 目录权限 修改 hdfs 的 owner group 预期结果预期结果操作方便 各功能正常 测试结果测试结果 检查点结果 备注备注 测试人员测试人员 4 5 2 ETL 工具对 Inceptor 的操作测试 5 2 1 Trinity 对 Inceptor 的普通操作测试 用例名称用例名称Trinity 对 Inceptor 的操作用例编号用例编号 测试内容测试内容Trinity 对 Inceptor 的操作 包括创建数据库 内表 外表 测试目的测试目的Trinity 对 Inceptor 操作的功能测试 预置条件预置条件TDH 集群完成配置并启动安全模式 测试步骤测试步骤1 在 Trinity 中创建 Inceptor 数据库 2 在 Trinity 中创建 Inceptor 内表 3 在 Trinity 中创建 Inceptor 外表 预期结果预期结果操作方便 各功能正常 测试结果测试结果 检查点结果 备注备注 测试人员测试人员 5 2 2 Trinity 对 Inceptor 的调度操作测试 用例名称用例名称Trinity 对 Inceptor 的调度 操作 用例编号用例编号 测试内容测试内容Trinity 对 Inceptor 的调度操作 包括 并行 串行 依赖 测试目的测试目的Trinity 对 Inceptor 的调度操作的功能测试 预置条件预置条件TDH 集群完成配置并启动安全模式 测试步骤测试步骤1 在 Trinity 中并行调度 Inceptor sql 作业 2 在 Trinity 中串行调度 Inceptor sql 作业 3 在 Trinity 中依赖调度 Inceptor sql 外表 预期结果预期结果操作方便 各功能正常 测试结果测试结果 检查点结果 检查作业的调度结果 包括开始时间 结束时间 持 续时间 5 是否能查看当前任务运行的任务总数 失败总数 成 功总数等统计信息 是否能查看任务列表 显示任务状态 是否能查看单个任务运行情况 显示具体的日志及报 错信息 是否支持任务运行历史情况查询 备注备注 测试人员测试人员 5 3 ETL 工具对 Inceptor 的导入 出测试 5 3 1 Trinity 对 Incetpor 的导入 出测试 用例名称用例名称inceptor 导入 出到 oracle TD用例编号用例编号 测试内容测试内容以固定的条件将数据导入 出到 oracle TD 测试目的测试目的测试 Trinity 平台对导入 出功能的支持 预置条件预置条件ETL 完成 测试步骤测试步骤1 缓存清理 2 执行加工 3 抽查结果 4 通过 Trinity 控制 inceptor 数据导入 出到 oracle TD SQLSQL 语句语句参加邮政试数据 预期结果预期结果结果正确 将计算结果导出后与已知结果比较 实现方式实现方式 测试结果测试结果1 查询结果 结果行数正确数正确率 2 查询效率 开始时间结束时间耗时 3 资源使用情况 资源类型峰值