《软件测试技术》final_图文.doc

华北科技学院计算机学院综合性实验报告华北科技学院计算机学院综合性实验实 验 报 告 课程名称 软件测试技术 实验学期 2015 至 2016 学年 第 1 学期学生所在院部 计算机学院 年级 B12 专业班级 信管B121 学生姓名 王东东 学号 201207034112 任课教师 白磊 实验成绩 计算机学院制实验报告须知1、 学生上交实验报告时，必须为打印稿（A4纸）。页面空间不够，可以顺延。2、 学生应该填写的内容包括：封面相关栏目、实验地点、时间、目的、设备环境、内容、结果及分析等。3、 教师应该填写的内容包括：实验成绩、教师评价等。4、 教师根据本课程的综合性实验指导单中实验内容的要求，评定学生的综合性实验成绩；要求在该课程期末考试前将实验报告交给任课教师。综合性实验中，所涉及的程序，文档等在交实验报告前，拷贝给任课教师。任课教师统一刻录成光盘，与该课程的期末考试成绩一同上交到学院里存档。5、 未尽事宜，请参考该课程的实验大纲和教学大纲。软件测试技术课程综合性实验报告开课实验室：基础四 2015年 12月 08日实验题目1引言1.1编写目的本测试报告为飞机订票系统项目的测试报告，目的在于总结测试阶段的测试以及分析测试结果，描述系统是否符合需求。预期参考人员包括用户、测试人员、开发人员、项目管理者、其他质量管理人员和需要阅读本报告的高层经理。 1.2项目背景此飞机订票系统为网友提供的一个相互交流，学习的平台可以正常使用，实现数据的共享和网友的互动交流。1.3参考资料资料名称作者软件测试技术范勇 兰金森 李慧卓QTP自动化测试最佳实践陈能吉需求规格说明书公司概要设计说明书公司表一1.4术语和缩略语缩略语全意BITDDBuild Integration Test Design Document (建立集成测试方案)BITPBulid Integration Test Plan （建立集成测试计划）CITC Complete Integration Test Case（完成测试用例编写）CITRe Complete Integration Test Report （完成集成测试报告）CITRu Complete Integration Test Rules （完成集成测试规程编写）CSTC Complete System Test Case （完成系统测试用例编写）CSTDD Complete System Test Design Document （完成系统测试设计文档）CSTR Complete System Test Rule （完成系统测试规程编写）BSTP Build System Test Plan （建立系统测试计划）表二2测试概要2.1测试计划2.1.1测试策略首先明确测试需求，创建测试需求，根据测试需求运用单元测试、集成测试技术编写测试用例。软件测试贯穿于软件定义与开发的整个周期，软件的需求规格说明书，结构设计及程序编码，都属于软件测试的对象。该飞机订票系统主要分为个人飞机订票空间，个人飞机订票管理和飞机订票后台管理三个系统模块。运用单元测试对三个模块的运行效果进行测试。2.1.2测试人员王东东2.1.3测试项目对评分管理系统进行界面的、功能的和性能方面的测试，具体测试包括：界面测试：主要测试系统的登录界面是否合理、美观，各功能按钮、超级链接、输入框等页面的可用性，易用性。功能测试：主要测试系统提供的功能是否正确运行，是否按照产品需求规格说明书完成用户需求，保证系统功能正确、完善、实用。性能测试：通过查看多个用户同时登录系统及多个事物同时运行时，系统的响应时间及反应情况，测试系统性能。2.2测试环境与配置2.2.1测试环境(1)硬件设备：惠普G系列PC(2)软件环境。操作系统：WINDOW7WEB服务器：Tomcat数据库：MYSQL相关软件：PHP,PHPWIND,DREAMWEAVER(3)网络环境：学校内部的以太网，与服务器的连接速率为100M，与客户端的连接速度为10/100M自适应。2.2.2测试方法和工具测试内容测试方法测试工具备注功能黑盒、手工、回归QTP、LoadRunner、Junit性能黑盒、手工、回归、工具自动QTP、LoadRunner、Junit可靠性黑盒、手工、回归QTP、LoadRunner、Junit安全性黑盒、手工、回归QTP、LoadRunner、Junit可使用性黑盒、手工、回归QTP、LoadRunner、Junit兼容性黑盒、手工、回归QTP、LoadRunner、Junit安装和手册黑盒、手工、回归QTP、LoadRunner、Junit表三3测试内容和执行情况3.1项目测试内容和执行情况对飞机订票系统的功能、性能、可靠性、安全性、可使用性、兼容性、安装和手册等方面进行了全面的测试。3.2飞机订票系统功能测试3.2.1总体KPI功能模块基本要求测试情况测试通过是否1登录输入正确的用户名和密码可以登录系统。输入错误的用户名和密码系统给出明确提示。功能实现。2插入订票输入当前日期以后的任何一天，并填上起飞地和目的地，选择任意航班，系统能自动给出航班号、出发时间、到底时间、航线号，你可以自由选择机票的数量和等级，然后系统会给出总计的价格，你还得填上自己的姓名，之后就点击”insert order”,就完成了一次订票。输入当前日期以前的任何时候，系统会提示日期错误；起飞地、目的地、姓名都是必填项。订票完成后，可以删除、更新、查看订单；任何时候都可以查看通告。功能实现3查询订单已经订票的用户只输入自己订票时输入的姓名或者只输入自己订票的日期，或者两者同时输入，或者单独输入正确的订单号，都可以查询自己的订单。如果输入的数据和订票时输入的数据不一致，提示错误。功能实现4删除订单查询订单后可以删除此订单功能实现表四3.2.2模块一的功能测试测试用例的设计根据登录操作的特点，采用等价类和边界值方法设计测试用例。登录飞机订票系统的测试用例如表所示项目名称登录飞机订票系统的测试项目编号开发人员XXX模块名称登录飞机订票系统用例作者王东东参考信息需求规格说明书、设计说明书测试类型功能测试设计日期测试人员测试方法手工测试和自动化测试相结合（黑盒测试）测试日期测试对象测试用户能否正常登录前置条件存在正确的用户名和密码；登录页面正常装载；（用户名为任意四个字节长度以上的字符串，密码为mercury）用例编号操作输入数据预期结果实际结果测试状态（P/F）01输入四个字符以上长度的任意用户名和正确的密码，点击OK按钮用户名：mercury密码：mercury正常登录正常登录P02输入四个字符以上长度的任意用户名和正确的密码，点击Enter按钮用户名：mercury密码：mercury正常登录正常登录P03用户名正确，但密码输入时未区分大小写用户名：mercury密码：Mercury不能正常登录，显示“密码错误”的提示正常登录F04用户名输入三个字符长度的字符串，密码正确用户名：bbb密码：mercury不能正常登录，提示“用户名至少四个字符长度”不能正常登录，提示“用户名至少四个字符长度”P05用户名正确，密码第一次错误或为空，点击OK用户名：mercury密码：mercur不能正常登录，提示“密码错误，您可以尝试3次”不能正常登录，只是提示“密码错误”并未提示“您可以尝试3次”F06用户名正确，密码第二次错误或为空，点击OK用户名：mercury密码：mercur不能正常登录，提示“密码错误，你可以尝试2次”不能正常登录，只是提示“密码错误”并未提示“您可以尝试2次”F07用户名正确，密码第三次错误或为空，点击OK用户名：mercury密码：a不能正常登录，提示“密码错误，你可以尝试1次”不能正常登录，只是提示“密码错误”并未提示“您可以尝试1次”F08用户名正确，密码第四次错误或为空，点击OK用户名：mercury密码：a不能正常登录，提示“密码错误，请稍后重试”不能正常登录，提示“密码错误，请稍后重试”P09用户名和密码均错误时，点击OK用户名：mer密码：mercur不能登录，提示“用户名错误”，并清空输入框不能登录，提示“用户名错误”，并清空输入框P10用户名为空，密码正确，点击OK按钮用户名：密码：mercury提示“请输入用户名”提示“请输入用户名”P11用户名正确，密码为空，点击OK按钮用户名：mercury密码：提示“请输入密码”提示“请输入密码”P12用户名和密码均为空用户名：密码：提示“用户名为空”提示“用户名为空”P13用户名正确但是后面有一个到多个空格，密码正确用户名：aaa+1个空格密码：mercury正常登录正常登录P14用户名正确但是密码后面有一个到多个空格，点击OK按钮用户名：mercury密码：mercury+1个空格提示“密码错误，您还可以尝试3次”提示“密码错误”，但并未提示还可以尝试的次数F15使用Tab键光标在用户名框内，按Tab键四次光标可依次移动到密码输入框和OK按钮、Cancel按钮、Help按钮。Tab键功能正常使用P16在文本输入框中按BackSpace键在用户名框输入：mercury，光标在字符串末尾，按4次BackSpace键用户名框中显示：merBackSpace键能正常使用P17在文本框中使用左右箭头在用户名输入框中使用左右箭头光标必须能跟踪到相应位置左右箭头能正常使用P18在文本框中使用delete键在用户名输入框中使用delete键能正常删除Delete键能正常使用P19在文本框中单击鼠标在用户名输入框中单击鼠标光标必须能跟踪到相应位置正常P20在文本框中双击鼠标在用户名输入框中双击鼠标输入框内文本被选中输入框内文本被选中P21输入用户名，等待较长时间才输入密码吗用户名:mercury等待3分钟输入密码：mercury正常登录正常登录P22输入用户名，马上切换到其他程序，过一段时间又切换回来用户名：mercury切换到window，word，过1分钟再切换回来光标仍停在原处光标仍停在原处P表五准备测试脚本1）录制测试脚本启动QuickTest工具，打开automation-record and run Settings-record and run only on下选择第三个选项，然后添加系统自带的文件，然后选择主菜单的run开始录制。录制生成的脚本如下：Dialog(Login).WinEdit(Agent Name:).Set DataTable(name, dtGlobalSheet)Dialog(Login).WinEdit(Agent Name:).Type micTabDialog(Login).WinEdit(Password:).SetSecure DataTable(password, dtGlobalSheet)Dialog(Login).WinButton(OK).Clickrem Window(Flight Reservation).Check CheckPoint(Flight Reservation)If dialog(Login).Dialog(Flight Reservations).Exist Thendialog(Login).Dialog(Flight Reservations).WinButton(确定).Clickdialog(Login).Closeelsewindow(Flight Reservation).WinMenu(Menu).Select File;Exit End Ifwait(1)录制的脚本用关键字视图为2）增强脚本录制好脚本后，就需要增强脚本了用户名文本框和密码文本框参数化界面如图所示执行测试一次性运行测试脚本，获得测试结果进行参数化后，运行脚本的循环次数由用户名和密码的数据对的个数决定，每执行一次，QuickTest就会在数据表中读入对应的一组数据。在参数化脚本中，设计了14组测试数据，在执行脚本时，就循环了18次。运行结束后，QuickTest将自动弹出测试执行页面，显示每次运行的测试结果。由于用户名和密码有些是不正确的，因此不能正常登录。对于不能正常登录的页面，系统都将弹出提示页面，QuickTest在迭代多次执行过程中，将自动关闭弹出的提示页面和系统的登录首页。测试结果通过手动测试和自动化测试，发现（1） 有些用例不能插入检查点（2） 密码未区分大小写（3） 密码错误时，未提示还可以尝试的次数3.2.3模块二的功能测试测试用例的设计根据页面中各组件的特点，选择合适的测试方法和测试策略，分别设计测试用例。项目名称插入订票系统的测试项目编号开发人员XXX模块名称插入订票系统用例作者王东东参考信息需求规格说明书、设计说明书测试类型功能测试设计日期测试人员测试方法手工测试和自动化测试相结合（黑盒测试）测试日期测试对象测试用户能否正常插入订票前置条件用户正常登录，正确填写该页面的各项内容，最后点击“insert order”用例编号操作输入数据预期结果实际结果测试状态（P/F）01输入日期在今天以前112713提示“输入的日期需在2013/11/27以后提示“输入的日期需在2013/11/27以后P02输入日期正确112813没有提示错误没有提示错误P03输入日期正确，然后点击下拉框在02的基础上，点击下拉框显示一系列的选项显示很多选项P04输入正确的日期，分别选择起飞地和目的提，点击Flights图片112813 Denver Los Angeles，点击Flights图片能够选择航班了点击flights，出现一系列的航班P05在04的基础上，任选一个航班在04的基础上，选择第二个航班自动显示航班号，出发时间和抵达时间，还有航线和机票单价自动显示航班号，出发时间和抵达时间，还有航线和机票单价F06在05的基础上，填上任意的姓名在05的基础上，姓名框中填上tao可以进行插入订单操作了右下角的订单插入操作的空间生效F07在06的基础上，进行插入订单的操作在06的基础上，点击Insert Order插入成功，显示订单号插入成功，显示订单号F表六录制测试脚本启动QuickTest工具，打开automation-record and run Settings-record and run only on下选择第三个选项，然后添加系统自带的文件，然后选择主菜单的run开始录制。录制生成的脚本如下：Window(Flight Reservation).WinObject(Date of Flight:).Type DataTable(Date_of_Flight, dtGlobalSheet)Window(Flight Reservation).WinComboBox(Fly From:).Select DataTable(FlyFrom, dtGlobalSheet)Window(Flight Reservation).WinComboBox(Fly To:).Select DataTable(FlyTo, dtGlobalSheet)Window(Flight Reservation).WinButton(FLIGHT).ClickWindow(Flight Reservation).Dialog(Flights Table).WinList(From).Select 14686 DEN 08:09 AM FRA 08:53 AM AA $179.47Window(Flight Reservation).Dialog(Flights Table).WinButton(OK).ClickWindow(Flight Reservation).WinEdit(Tickets:).SetSelection 0,1Window(Flight Reservation).WinEdit(Tickets:).Set 3Window(Flight Reservation).WinEdit(Name:).Set taoWindow(Flight Reservation).WinRadioButton(Business).SetWindow(Flight Reservation).WinButton(Insert Order).Click录制的脚本用关键字视图为图七执行测试查看订单模块的测试采用手动测试和自动化测试相结合的方式。对单个组件的测试采用手动测试，对插入订单页面中的各组件进行组合测试，采用自动化测试方法。手动测试时要求依次执行各测试用例，并记录测试结果。采用自动化测试时，首先需要录制脚本，然后采用参数化和插入检查点的方法增强脚本，随后执行测试脚本，分析测试结果。测试结果很完美，数据库中已经插入了刚刚生成的订单，可以通过订单号、用户名、订票日期查看。3.3性能（效率）3.3.1组合模块测试用例用例名称组合业务测试用例功能在线用户达到高峰时，用户可以正常使用系统，保证200个以内的用户可以同时在线使用系统目的测试系统100个以内的用户同时在线能否使用常用模块方法采用LoadRunner录制工具录制综合业务并发用户数与事务执行情况并发用户数事物平均响应时间事物最大响应时间事物成功率每秒点击率平均流量（字节/秒）5102050100表八3.3.2测试脚本开发性能测试脚本是描述单个浏览器像Web服务器发送HTTP请求序列的。将业务流程转化为测试脚本，通常指的就是虚拟用户脚本或虚拟用户。虚拟用户通过驱动一个真正的客户程序来模拟真实用户。在这个步骤里，要将各类被测业务流程从头到尾进行确认和记录，弄清楚这些过程可以帮助分析到每步操作的细节和时间，并能精确地转化为脚本。此过程类似制造一个能够模仿人的行为和动作的机器人过程，其实质是将现实世界中的单个用户行为比较精确地转化为计算机程序语言。本次性能测试采用HP公司的LoadRunner工具，脚本编辑和编译工作在virtual user generator中进行。ugen通过录制对客户端应用程序执行的操作来创建虚拟用户脚本。运行录制的脚本时，生成的虚拟用户将模拟客户端与服务器之间的交互活动。创建的每个虚拟用户脚本至少包含三部分：vuser_init、一个或多个Actions及vuser_end。通常情况下，可以将登录到服务器的活动陆指导vuser_init部分中、将客户端活动录制到Actions部分中，并将注销过程录制到vuser_end部分中。下表显示了要在每一部分录制的内容以及执行每一部分的时间。脚本部分录制内容执行时间vuser_init登录到服务器初始化vuserAction客户端活动Vuser处于运行状态Vuser_end注销过程Vuser完成或停止表九运行多次迭代的Vuser脚本时，只有脚本的Actions部分重复，而vuser_init和vuser_end部分将不重复。业务组合的脚本如下vuser_init()return 0;Action()web_url(“WebTours”, “URL=:1080/WebTours/”, “Resource=0”, “RecContentType=text/html”, “Referer=”, “Snapshot=t1.inf”, “Mode=HTML”, LAST);lr_think_time(4);web_submit_form(“login.pl”, “Snapshot=t2.inf”, ITEMDATA, “Name=username”, “Value=taoxiaoyu”, ENDITEM, “Name=password”, “Value=taoxiaoyu”, ENDITEM, “Name=login.x”, “Value=43”, ENDITEM, “Name=login.y”, “Value=12”, ENDITEM, LAST);web_image(“Search Flights Button”, “Alt=Search Flights Button”, “Snapshot=t3.inf”, LAST);lr_think_time(5);web_submit_form(“reservations.pl”, “Snapshot=t4.inf”, ITEMDATA, “Name=depart”, “Value=Denver”, ENDITEM, “Name=departDate”, “Value=12/03/2013”, ENDITEM, “Name=arrive”, “Value=London”, ENDITEM, “Name=returnDate”, “Value=12/04/2013”, ENDITEM, “Name=numPassengers”, “Value=1”, ENDITEM, “Name=roundtrip”, “Value=”, ENDITEM, “Name=seatPref”, “Value=None”, ENDITEM, “Name=seatType”, “Value=Coach”, ENDITEM, “Name=findFlights.x”, “Value=77”, ENDITEM, “Name=findFlights.y”, “Value=11”, ENDITEM, LAST);web_submit_form(“reservations.pl_2”, “Snapshot=t5.inf”, ITEMDATA, “Name=outboundFlight”, “Value=020;338;12/03/2013”, ENDITEM, “Name=reserveFlights.x”, “Value=33”, ENDITEM, “Name=reserveFlights.y”, “Value=2”, ENDITEM, LAST);lr_think_time(8);web_submit_form(“reservations.pl_3”, “Snapshot=t6.inf”, ITEMDATA, “Name=firstName”, “Value=tao”, ENDITEM, “Name=lastName”, “Value=xiaoyu”, ENDITEM, “Name=address1”, “Value=hubei”, ENDITEM, “Name=address2”, “Value=eijing/china”, ENDITEM, “Name=pass1”, “Value=tao xiaoyu”, ENDITEM, “Name=creditCard”, “Value=1234567”, ENDITEM, “Name=expDate”, “Value=12/14”, ENDITEM, “Name=saveCC”, “Value=”, ENDITEM, “Name=buyFlights.x”, “Value=75”, ENDITEM, “Name=buyFlights.y”, “Value=5”, ENDITEM, LAST);web_image(“SignOff Button”, “Alt=SignOff Button”, “Snapshot=t7.inf”, LAST);return 0;vuser_end()return 0;3.3.3测试执行先设置性能测试场景，如下图：图十然后设置虚拟的IP，最后监控各性能指标。3.3.4性能测试实施场景1：模拟5个用户在同一时刻登录系统，持续时间为1分钟；场景2：模拟10个用户在同一时刻登录系统，持续时间为2分钟；场景3：模拟20个用户在同一时刻登录系统，持续时间为2分钟；场景4：模拟50个用户在同一时刻登录系统，持续时间为2分钟；场景5：模拟100个用户在同一时刻登录系统，持续时间为2分钟；设置完成后，控制器将脚本分发到负载生成器向被测系统发起服务请求，同时通过服务器上的性能监控器收集性能数据。性能信息采样频率会对服务器的性能产生影响，选取重要的性能计数器并使用低的采样率，降低干扰。执行测试场景的界面模拟如下图所示：图十一分别执行以上五个测试场景，并记录测试数据。测试数据如下表所示：并发用户数事物平均响应时间事物最大响应时间事物成功率每秒点击率平均流量（字节/秒）55.4076.863100%5.6257640106.5789.991100%13.217929209.88614.55100%16.5224115034.77347.82396.3%18.52827166100116.766132.3535%16.72624483表十二3.3.5测试结果分析测试结果分析就是结合测试结果数据，分析出系统性能行为表现的规律，并准确定位系统的性能瓶颈所在。在这个步骤里，可以利用数学手段对大批量数据进行计算和统计，是结果更加具有客观性。用LoadRunner的Controller执行完测试后，运行结果数据将从各负载生成器进行汇总，产生性能分析图表。如下图：图十三下面分析各个结果：从测试结果看，当有510个并发用户的时候，各事物的最大响应时间均在10s以内，事务成功率为100%，满足系统的要求，虽然20个用户的事务成功率也为100%，但是它的最大响应时间超过了10s，而在20个用户以上的测试结果表明，此系统的并发用户很可能不支持50以上的人数。3.4可靠性测试内容基本要求测试情况测试通过是否掉电客户机掉电或强行