中国电信余额管理平台入网检测-性能分册

中国电信股份有限公司 余额管理平台 入网检测 性能 分册 i 余额管理平台入网检测 性能 分册 中国电信集团公司 二八年三月 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 前 言 本测试规范描述中国电信集团对 余额 平台 （ 性能测试所需的测试环境、测试内容、测试过程和测试结果的要求。 本测试规范根据 中国电信 余额管理 平台 技术 方案 制定，各项测试条目和测试结果以上述技术文件的要求为依据。 测试内容涵盖了中国电信 余额管理 平台 的压力测试、 疲劳 测试，并对测试结果的要求作了详细的规定。 本规范由中国电信集团公司提出并归口。 本方案起草单位： 中国电信股份有限公司 广州研究院 本方案主要起草人： 张新胜 周琴芳 池炜成 邓俊韬 本方案解释单位： 中国电信集团企业信息化部 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 目录 目录 . 测试环境 . 4 试组网 . 4 试工具要求 . 4 拟器监视机 . 4 机资源监控工具 . 4 2 业务模型 . 6 3 数据准备方案 . 7 户数据准备要求 . 7 作日志数据准备要求 . 7 4 性能测试用例 . 8 力测试 . 8 业务压力测试 . 8 合业务压力测试 . 12 劳测试 . 13 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 4 1 测试环境 试组网 所有设备搭建在一个受控的以太局域网内， 所有主机 要 具备 百兆 实际网络带宽 ，盘阵通过光纤与 机直接连接。 试工具要求 测试工具的性能应超过系统性能指标。 测试工具能够实时检测系统的 有率、内存占有率、处理时延等资源利用情况。 测试工具可以保存检测到的数据并随时查看。 测试工具可以模拟大量用户的操作，以达到增加平台负载的测试目的。 拟器监视机 负责监视所有模拟器的工作状态。满足以下要求： 1) 模拟 所有模拟器 每 15 秒钟 发出 一个 请求； 2) 记录 下所有请求 的响应时间 ； 机资源监控工具 主机资源监控工具用于监控被测试系统的 主机资源状况。以下是对资源监控工具 的基本要求： 1. 可以获取被测试系统宿主机 的 资源信息 ； 2. 支持进程级的监控，即资源的消耗能定位到具体的进程； 3. 支持自定义负载，即通过一定的规则将一组进程作为一个监控对象，收集其对资源的占用情况； 4. 能够获取关键资源的动态使用信息，如使用率、吞吐率等；关键资源包括但不限于： 存、网络接口； 5. 能够获取主机静态信息，静态信息包括但不限于：主机型号信息、操中国电信股份有限公司 余额管理平台 入网检测 性能 分册 5 作系统版本信息、主要配置信息，如： 频、内存大小、网卡及磁盘的型号和相关参数等； 6. 监控工具本身对被监控主机的资源消耗不能超过 5 （任 一 指标） 。 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 6 2 业务 模型 业务百分比 ： 在线呼叫 40，准实时信控 50%,销帐 10； 其中： 在线呼叫 ：包含开始、中间、终止请求，有 中间更新的 会话 请求占 20% 准实时信控： 包含账本准实时扣费 销帐： 包含 资料查询 、 余额查询 、 帐本扣费 ，比例为 1:1:1。 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 7 3 数据准备方案 户数据准备要求 参测厂家 根据 评测方要求准备以下数据： 1. 模拟数据为 600 万预付费用户数据、 1200 万后付费用户 2. 每个模拟用户准备 3 个账本。其中余额不足帐本占 5，非金额帐本 30。 3. 上述帐本中有共享规则的帐本，专款专用帐本和单一帐本的比例为 1： 1： 3。 作日志数 据准备要求 参测厂家 根据 评测方要求准备以下数据： 系统在线保留 15 天的 操作日志数据数据 ，大致估算的日志量每天为 ： 后付费用户数 30预付费用户数 40 1200 30 600 40 6 亿 ； 15 天共 80 亿条。 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 8 4 性能测试用例 力测 试 业务 压力测试 务 压力测试 测试编号 目 受来自 务 的压力测试 测试目的 测试 统 针对 务的最大处理能力。 预置条件 1. 统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负 载均衡）； 2. 所有模拟器已经就绪； 3. 统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置； 4. 务模拟压力测试脚本已经开发完成，并且通过了预测试； 5. 测试数据已经恢复到预测试前状态； 测试过程 1、 控制 拟器 ，使得它 产生的组合压力符合 话务模型给出的务构成比例； 2、 从 M（根据测试情况届时需要调整起始虚拟用户数）开始，每隔 15 分钟增加 N 个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件； 退出条件 1. 直至系统的失败率达到 2. 最繁忙的一个主机的 用率达到 80%； 预期结果 1. 系统不出现宕机； 2. 系统各项业务最大吞吐率大于话务模型中系统忙时吞吐率； 3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象； 4. 在相同的虚拟用户数情况下，系统各项指标基本一致； 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 9 5. 响应时间分布满足规范要求。 考察指标 1. 整个测试过程系统是否出现宕机 ； 2. 最大吞吐率； 3. 响应时间； 4. 失败率； 备注 1. 所有指标的统计粒度是 15 分钟； 2. 最大吞吐率取达到退出条件之前 满足以下要求 的吞吐率的峰值； a) 对 务 请求 的 响应时间要求： 95% 100 98% 200 300 1000 . 失败率统计一切失败情况，如业务失败、超时、 ； 4. 务请求 失败 超时时间为 1 秒 B 业务压力测试 测试编号 目 受来自 压力测试 测试目的 测试 统 针对 务的最大处理能力。 预置条件 1. 统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪； 3. 统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置； 4. 务模拟压力测试脚本已经开发完成，并且通过了预测试； 5. 测试数据已经恢复到预测试前状态； 测试过程 1. 控制 拟器 ，使得它 产生的组合压力符合 话务模型给出的中国电信股份有限公司 余额管理平台 入网检测 性能 分册 10 务构成比例； 2. 从 M（根据测试情况届时需要调整起始虚拟用户数）开始，每隔 15 分钟增加 N 个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件； 退出条件 1. 直至系统的失败率达到 2. 最繁忙的一个主机的 用率达到 80%； 预期结果 1. 系统不出现宕机 ； 2. 系统各项业务最大吞吐率大于话务模型中系统忙时吞吐率； 3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象； 4. 在相同的虚拟用户数情况下，系统各项指标基本一致； 5. 响应时间分布满足规范要求 。 考察指标 1) 整个测试过程系统是否出现宕机 ； 2) 最大吞吐率； 3) 响应时间； 4) 失败率； 备注 1) 所有指标的统计粒度是 15 分钟； 2) 最大吞吐率取达到退出条件之前 满足以下要求 的吞吐率的峰值； a) 对 实时信控业务 请求 的响应时间要求： 95% 100 98% 200 300 1000 ) 失败率统计一切失败情况，如业务失败、超时、 4) 帐中的 余额查询 请求 失败 超时时间为 2 秒， 它业务请求 失败 超时时间为 1 秒 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 11 帐 业务 压力测试 测试编号 目 受来自 帐业务 的压力测试 测试目的 测试 统 针对 帐 业务的最大处理能力。 预置条件 1. 统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪； 3. 统上业务和用户数据已经按照“数据存储要求” 的最大数据量进行配置； 4. 帐 业务模拟压力测试脚本已经开发完成，并且通过了预测试； 5. 测试数据已经恢复到预测试前状态； 测试过程 1. 控制 帐业务 模拟器 ，使得它 产生的 压力符合 话务模型给出的 帐 业务构成比例； 2. 从 M（根据测试情况届时需要调整起始虚拟用户数）开始，每隔 15 分钟增加 N 个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件； 退出条件 1. 直至系统的失败率达到 2. 最繁忙的一个主机的 用率达到 80%； 预期结果 1. 系统不出现宕机； 2. 系统各项业务最大吞吐率大于话 务模型中系统忙时吞吐率； 3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象； 4. 在相同的虚拟用户数情况下，系统各项指标基本一致； 考察指标 1. 整个测试过程系统是否出现宕机 ； 2. 最大吞吐率； 3. 响应时间； 4. 失败率； 备注 1. 所有指标的统计粒度是 15 分钟； 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 12 2. 最大吞吐率取达到退出条件之前的吞吐率的峰值； 3. 失败率统计一切失败情况，如业务失败、超时、 ； 4. 帐中的余额扣费业务请求 失败 超时时间为 500它业务请求 失败 超时时间为 1 秒 合 业务 压力测试 测试编号 目 受来自 压力测试 测试目的 测试 统 针对 务的最大处理能力。 预置条件 1. 统已经按照厂家的部署说明文档部署妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 2. 所有模拟器已经就绪； 3. 统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置； 4. 务模拟压力测试脚本已经开发完成，并且通过了预测试； 5. 测试数据已经恢复到预测试前状态； 测试过程 1. 控制 拟器 ，使得它 产生的组合压力符合 话务模型给出的 务 、 务 构成比 例； 2. 从 M（根据测试情况届时需要调整起始虚拟用户数）开始，每隔 15 分钟增加 N 个（根据测试情况届时需要调整递增虚拟用户数）虚拟用户；直至满足任意退出条件； 退出条件 1. 直至系统的失败率达到 2. 最繁忙的一个主机的 用率达到 80%； 预期结果 1. 系统不出现宕机； 2. 系统各项业务最大吞吐率大于话务模型中系统忙时吞吐率； 3. 系统吞吐率不出现随着虚拟用户数增加而降低的现象； 4. 在相同的虚拟用户数情况下，系统各项指标基本一致； 中国电信股份有限公司 余额管理平台 入网检测 性能 分册 13 5. 响应时间分布满足规范要求 。 考察指标 1. 整个测试过程系统是否出现宕机 ； 2. 最大吞吐 率； 3. 响应时间； 4. 失败率； 备注 1. 所有指标的统计粒度是 15 分钟； 2. 最大吞吐率取达到退出条件之前 满足以下要求 的吞吐率的峰值； i. 对 务 请求 的 响应时间要求： 95% 100 98% 200 300 1000 ms 对 实时信控业务 请求 的响应时间要求： 95% 100 98% 200 300 1000 . 失败率统计一切失败情况，如业务失败、超时、 4. 务 请求 失败 超时时间为 1 秒 5. 帐中的 余额查询 请求 失败 超时时间为 2 秒 ， 它业务请求 失败 超时时间为 1 秒 劳 测试 测试内容： 选取最常用的操作和流程，通过专门的性能测试工具模拟大量用户操作使得平台系统达到一定负载强度，进行长时间性能测试。 测试结果可以体现系统是否有资源累积导致性能下降，并验证平台系统运行中国电信股份有限公司 余额管理平台 入网检测 性能 分册 14 稳定度和故障率。 测试编号 目 台业务的 疲劳 测试 测试目的 测试 统 长时间处理 前台业务 过程中的 健壮性。 预置条件 统已经按照厂家的部署说明文档部署 妥当（厂家应该按最终生产环境的标准进行部署，包括可能的负载均衡）； 统上业务和用户数据已经按照“数据存储要求”的最大数据量进行配置； 括来自 统 的压力，测试脚本已经开发完成，并且通过了前台业务组合场景的预测试； 测试前 状态。 测试过程 1. 同时控制 拟器、 拟器，使得它们产生的组合压力符合话务模型给出的前台业务构成比例 ，同时使得它们产生的吞吐率 达到系统最大吞吐率的 80%； 2. 持续上述压力 16 个小时 ； 1. 预期结果 2. 系统不出 现宕机； 3. 系统各项 指标基本保持一致 ，不随时间发生明显的变化 ； 4. 失败率不超过 5. 对 务 请求 的 响应时间满足 ： a) 95% 100 ms b) 98% 200 ms c) 300 ms d) 1000 . 对 实时信控业务 请求 的响应时间满足 ： a) 95% 10