测试与测试管理

1、应用测试与测试管理议 程 应用测试的发展 应用测试的规划 测试部门还能做什么 应用测试与测试工具 自动化压力测试解决方案 自动化功能测试解决方案 Mercury Interactive公司简介 成功案例 宏昌英杰科技有限公司简介应用测试的发展 应用测试体系的建立大规模应用的发展系统复杂程度增加问题定位 应用测试服务 - 新的增长点应用测试的规划 测试的组织管理 测试计划 测试的执行 测试结果分析与测试报告 降低测试的成本测试的组织和管理 常见的测试类型 开发性测试 维护性测试测试的组织管理领导委员会项目经理开发组测试组系统维护专家组系统顾问数据库顾问工具顾问小组成员小组成员小组成员项目主管测试

2、的组织管理 领导委员会 高层决策 项目主管 管理决策 项目监管 项目经理 政策实施 资源管理 制订计划 文档管理 控制项目时间表 需求管理 风险管理 定期项目审查 项目变化控制 配置管理 直接客户关系测试的组织管理 测试组 (狭义)执行测试计划提交测试报告 系统维护组系统安装测试环境维护协助分析结果与系统调试 线上支持组问题反馈 专家组培训/安装提供顾问意见解决疑难问题解释测试结果 开发组协助制订计划协助分析测试结果修复程序问题应用版本控制人员组成是可以重叠的测试计划 测试目标 测试范围(需求) 进度表(里程碑) 阶段资源调配人员硬件环境软件环境 测试过程描述 测试案例列表 测试数据 测试结果

3、样例 测试报告格式 测试维护计划测试的执行 按照计划执行 项目变化控制 文档管理 (测试服务必须)阶段测试报告问题清单工作计划项目变化 (项目范围等)风险评估 例会测试结果分析与测试报告 真实性 与实际情况匹配 真实的数据 客观性 工具 专家 资料 测试报告 不是项目报告 技术性 阶段性 测试报告内容 测试范围 测试环境 测试案例 原始数据 问题清单 其他资料降低测试成本 合作硬件软件专家 收取服务费 人员重叠使用 项目变化 开发新的项目测试部门还能做什么? 开发测试 维护测试 测试服务 系统选型 应用验收 实时监测 项目管理服务 系统分析服务测试部门应该是一个能够盈利的部门!应用测试与测试工

4、具 应用测试与测试工具的关系不用工具可以进行测试工具不可以完成所有的事情不是什么测试都必须使用工具 应用测试的种类黑盒测试白盒测试 应用测试工具的用途自动测试环境的建立自动化压力测试解决方案 自动化压力测试方案 自动化压力测试流程 自动化压力测试工具组件 自动化压力测试原理 虚拟用户的类型 足够的测试资源（人员足够的测试资源（人员/机器）机器） 如何调度和同步多个测试用户？如何调度和同步多个测试用户？ 如何收集并分析测试结果？如何收集并分析测试结果？ 如何做到精确地重复测试？如何做到精确地重复测试？ 自动化压力测试方案自动化压力测试方案VuserVuserVuserVuserVuserVuse

5、rVuserVuserController使用虚拟用户替代实际用户使用虚拟用户替代实际用户 ( (Vusers) Vusers) 在一台机器上运行多个虚拟用户在一台机器上运行多个虚拟用户通过中心控制点管理虚拟用户通过中心控制点管理虚拟用户 ( (Controller)Controller)使用自动生成的图表和报表分析测试结果使用自动生成的图表和报表分析测试结果自动化压力测试方案自动化压力测试方案LoadRunnerControllerVusersHost 1Host 2VusersDatabaseServer 自动化压力测试方案自动化压力测试方案 建立虚拟用户脚本脚本编辑 设置运行环境 建立并

6、运行压力测试方案 分析测试结果 自动化压力测试流程自动化压力测试流程 优优 化化 调调 整整自动化压力测试工具的组件自动化压力测试工具的组件LoadRunner Virtual User Generator IPspoofer Controller Transaction Monitor Server Monitor Network Delay Monitor Transaction Breakdown Monitor SNMP Monitor TUXEDO Monitor Analysis Remote Command Launcher VuGen Client自动化压力测试原理Server

7、Database API CallsDB API callsLRD StatementRecordresult values Column 1value 1value 2Column 2result setcodeDatabase API CallsLRD StatementAPI callsresultscodecodeAPI callsPlaybackresult valuesAPI callsresultServer VuGen.LRD Statement.LRD Statement.Column 2value 2 Column 1value 1result set自动化压力测试原理在主

8、机上启动在主机上启动Remote Command LauncherControllerMachine AMachine BRemoteCommandLauncherRCL启动启动 Agent 并且将虚拟用户初始化并且将虚拟用户初始化INITIALIZEAgentVusers控制台通过控制台通过 Agent并发所有虚拟用户并发所有虚拟用户RUN 自动化压力测试原理自动化压力测试原理 中心控制点对虚拟用户的控制中心控制点对虚拟用户的控制lrd_stmt (Csr3, “INSERT INTO Customers (customer_name, customer_no) VALUES (, )”,

9、-1, 1, 0, 0); VuGen自动化压力测试原理B - 内置的参数内置的参数- Vuser ID- Host Name- Group Name- Unique number- Iteration number- Date/Time- Random numberA - 文件文件:顺序选取数据任意选取顺序且唯一依赖其它参数自动化压力测试原理Logonvuser_initBusiness ProcessActionsLogoff vuser_endThink timeslIterationsIterations Iterations日志进程、线程错误处理 E_Business Web COR

10、BA_Java General_Java Java(GUI) LDAP POP3 FTP Middleware DCOM Jolt Tuxedo ERP SAP Baan Oracle NCA PeopleSoft(Tuxedo,Web) Client/Server Informix MSSQL Server ODBC Oracle Sybase(Ctlib,Dblib) WinSocket DB2虚拟用户类型虚拟用户类型(6.5)(6.5) Legacy APPC RTE General C-Template Java-Template WinSocket CORBA WAP自动化功能测试解

11、决方案 自动化功能测试流程 自动化功能测试原理 同步点 检查点 数据驱动测试 查看测试结果自动记录业务自动记录业务操作生成测试操作生成测试脚本脚本优化测试脚优化测试脚本本生成可生成可反复执反复执行的行的测试程序测试程序修改应用之后修改应用之后再进行测试再进行测试执行数据驱动执行数据驱动的测试的测试报告报告测试结果测试结果自动化功能测试流程WinRunner 自动化功能测试原理win_activate (3270Demo);set_window(FR03 Flights);obj_type (Emulator_Field,12/12/99);obj_type (Emulator_Field,”P

12、ortland);Flights Reservation - Create OrderDepart Date: _/_/_From City. . : _To City. . . . .: _Flight. . . . . . : _FLIGHT INFORMATIONTICKET ORDER INFORMATIONOrder Number. . . .: _Customer. . . . . . . .: _Billing Date. . . . . . : Order 1234 Created. obj_type (Emulator_Field,”Los Angeles);12/12 /9

13、9PortlandLos Angelesobj_type (Emulator_Field”,“2203 );220312/13/99obj_type (Emulator_Field”, “John Smith);obj_type (Emulator_Field”, );1234John Smith自动化功能测试原理Flights Reservation - Create OrderDepart Date: _/_/_From City. . : _To City. . . . .: _Flight. . . . . . : _FLIGHT INFORMATIONTICKET ORDER INF

14、ORMATIONOrder Number. . . .: _Customer. . . . . . . .: _Billing Date. . . . . . : win_activate (3270Demo);set_window(FR03 Flights);obj_type (Emulator_Field,12/12/99);obj_type (Emulator_Field,”Portland);Order 1235 Created. obj_type (Emulator_Field,”Los Angeles);12/12 /99PortlandLos Angelesobj_type (E

15、mulator_Field”,“2203 );220312/13/99obj_type (Emulator_Field”, “John Smith);obj_type (Emulator_Field”, );1235John Smith同步点Wait for a windowWINDOWNo visual cue;just wait forset time toelapseELAPSEDTIMEWait for a bitmap to refreshBITMAPWait for an object stateOBJECT STATE检查点invoke_application(“flight1a

16、.exe,C:,SW_SHOW);set_window (Login, 10);edit_set (userid, “Josephine”);edit_set (password, Mercury);button_press (OK);set_window (Flight Reservation, 10);win_check_gui(Flight Reservation, list1.ckl, gui1, 1);menu_select_item (File;Exit);Test Script 数 据 驱 动 测 试 修 改 测 试 脚 本table = getvar (testname)&am

17、p;”default.xls”;ddt_open ( table );doinvoke_application(“flight1a.exe,C:,SW_SHOW);set_window (Login, 10);edit_set (userid, ddt_val (table, “UserID);edit_set (password, ddt_val (table “Password”);button_press (OK);set_window (Flight Reservation, 10);win_check_gui(Flight Reservation, list1.ckl, gui1,

18、1);menu_select_item (File;Exit);while (ddt_next_row(table)=E_OK);ddt_close (table);Test Script执行并查看测试结果BP Verification PassesBP Verification FailsValue of mismatch error 成 立 于 1989 年 8 月 1993 年 在 美 国 上 市 - NASDAQ: MERQ 总 部 在 硅 谷， 世 界 各 地 有 27 个 分 支 机 构 雇 员 总 数 在 510+, 180 人 从 事 研 究 与 开 发http:/www.me

19、rc-Mercury Interactive 公司简介Me rc u ry In te ra c tive4 5 %R a tio n a l 2 1 %S e g u e1 2 %O th e r9 %Au to te s te r7 %C o m p u w a re6 %S o u rc e : th e Y a n k e e G ro u p , 1 9 9 8 系统测试领域的强者 IDC Gartner Group Giga Meta Group Yankee Group Forrester 国外成功案例简介BankingNatWest BankPrice WaterhouseChemical BankANZ BankSta