软件产品度量与评估探讨040418.ppt

软件产品度量与评估探讨Echo_chen,Page2,定义,产品度量：定义产品特性定量分析的标准，并按照此标准对测试结果进行量化。,产品评估：根据产品度量的结果，对整个软件产品进行评价。,通用标准（行业、系统平台、开发结构.),具体项目的度量标准,粗略分级（优、良、中.),精细量化（95，80.),单纯对某个方面的评估是不全面的,根据具体项目，确定各个特性的权重,Page3,内容,1、引入软件度量与评估的优点2、度量与评估的流程3、效率的度量,1、引入软件度量与评估的优点,软件整体评价有利于找到测试分析的重点测试结果的分析从思路上指导测试工作,Page5,1.1软件整体评价,测试结束了，软件质量究竟如何？这是用户常问的问题。,用户对测试过程的了解、参与比较少。沟通！,测试结果的分析、整理、量化需要提高。量化！,对测试需求的定义是否全面，让用户心中有数。目标！,Page6,1.1软件整体评价（续）,策略1保护自己：告诉用户测试的目的是尽可能多的发现问题，但并不保证软件的质量。,策略2提高服务：在测试开始前，就与用户就软件质量评估的标准达成共识。（目标问题、沟通问题）测试过程是为质量评估服务。（沟通问题）质量评估是测试结果量化的开始。（量化问题）,Page7,1.2有利于找到测试分析的重点,每个系统的特征不同（大数据量？实时系统？大并发量？交易系统？查询系统？可靠性要求高？）度量则必须定义特性优先级可依此定义测试分析重点（系统结构？数据库设计？并发交易处理？资源泄露？系统软件构架？）任何测试分析都要与功能紧密结合（对业务有何影响，这是用户最关心的）,Page8,1.3测试结果的分析,单个结果汇总分析定性定量,测试结果是为评价服务的,对单个测试结果的分析应尽可能深入,最优服务用户提升测试的价值提高测试队伍的水平,Page9,1.3从思路上指导测试工作,测试只是第一步测试是服务，要不断提升用户满意度测试应该为评价服务测试应该有整体观念测试有和开发类似的过程（需求概要设计详细设计实施评价）,2、度量与评估的过程,相关国际、国家标准度量与评估模型度量与评估流程评测方要做的准备工作,Page11,2.1相关国际、国家标准,GB/T16260-1996信息技术软件产品评价质量特性及使用指南（idtISO/IEC9126:1991）,GB/T17544-1998信息技术软件包质量要求和测试（idtISO/IEC12119-1994）,GB/T18905-2002软件工程产品评价（idtISO/IEC14598：1998）,GB/T16680-1996软件文档管理指南（neqISO/IECTR9294:1990）,Page12,2.1相关国际、国家标准（续1）,GB/T16260-1996定义,Page13,2.2相关国际、国家标准（续2）,理想与现实的差距：,特性、子特性定义完备，度量元定义缺乏,度量与测试的有效结合问题,Page14,2.2度量与评估模型,分级度量与评估,Page15,2.3度量与评估流程,测试工具,测试方法,度量与评价规范,评测方输入,软件评测过程模型,Page16,2.4评测方要做的准备工作,定义企业度量与评价规范测试方法、测试理论、测试技术的积累熟练掌握测试工具测试队伍建设（角色划分.）,Page17,企业必须有自己的度量与评价标准（积累与提高）,度量与评价标准的制订有一定难度（考虑可操作性和易用性）,度量与评价标准的完善需要过程（“与时俱进”）,度量与评价标准最好先粗（评级），再细（评分）,2.4评测方要做的准备工作（续1）,定义企业度量与评价规范,Page18,2.4评测方要做的准备工作（续2）,测试方法、测试理论、测试技术的积累,知识库的建立（体系化）,操作规程的建立（专业化）,理论与实践结合（实用化）,Page19,2.4评测方要做的准备工作（续3）,熟练掌握测试工具,测试价值的体现（能发现系统级的错误）,。,3、效率的度量,性能测试过程时间特性的度量资源利用率的度量,Page21,3.1性能测试过程,设计审核,阶段,验证要求,验证内容,各系统组件的性能目标是否进行了量化设计,网络性能中间件性能操作系统性能数据库性能数据调用方式数据统计方式数据展现方式,早期验证,各系统组件的性能目标是否分别满足设计,最终测试,系统整体性能是否满足用户需求,系统性能需求,回归,Page22,3.2时间特性的度量,系统平均响应时间,系统最大响应时间,系统最大错误处理时间,系统平均传输时间,系统最大传输时间,系统平均交易处理时间,系统最大交易处理时间,Page23,3.3资源利用率的度量,主要针对UNIX系统度量,网络带宽（最大值，平均值