北大测试全套课件和教案_软件测试依据和规范(课件15)+3次上机实训

1、全程软件测试全程软件测试 - 软件测试依据和规范软件测试依据和规范 软件测试依据和规范软件测试依据和规范 1 软件质量标准软件质量标准2 软件测试相关规范软件测试相关规范3 CMM思想和结构体系思想和结构体系4 建立软件测试管理和评判体系建立软件测试管理和评判体系ISO9000ISO9000是什么是什么? ? ISO 9000 的由来的由来 ISO 9000 总休思想总休思想 ISO 9000体系结构体系结构ISO 软件质量标准软件质量标准ISO (International Standardization Organization, 国际标准化组织) TC/176技术委员会制定的所有国际 标

2、准p 质量保证标准（ISO9001/2/3）p 质量管理标准（ISO9004)TC176即ISO中第176个技术委员会，成立于1980年，全称是“质量保证技术委员会”，1987年又更名为“质量管理和质量保证技术委员会”。TC176专门负责制定质量管理和质量保证技术的标准 ISO 软件质量标准思想软件质量标准思想p 控制思想控制思想，即对产品形成的全过程进行控制。任何事物都是由一个或多个过程活动的结果，只要对产品形成的全过程进行控制并达到过程质量要求，最终产品的质量就有了保证p 预防的思想预防的思想。通过对产品形成的全过程进行控制以及建立并有效运行自我完善机制达到预防不合格，从根本上减少或消除不

3、合格品ISO 软件质量标准结构软件质量标准结构 ISO9001：设计/开发、生产、安装和服务中质量保证模式； ISO9002：生产和安装中的质量保证模式； ISO9003：最终检验和测试中的质量保证模式； ISO9004：质量管理和质量体系要素导则。ISO9000系列标准的主体部分分为两组：系列标准的主体部分分为两组：p“需方对供方要求质量保证”的标准ISO90019003p“供方建立质量保证体系”的标准ISO9004 ISO 软件质量标准结构软件质量标准结构Zhu.KISO9000与与GB/T19000的关系的关系 GB/T(GB/T(国标推荐国标推荐) )IdtIdt( (等同于等同于)

4、) ISOISO标准标准GB/T 6583-1994idtISO 8402:1994 GB/T 19000.1-1994idtISO 9000-1:1994 GB/T 19000.2-1994idtISO 9000-2:1994 GB/T 19000.3-1994idtISO 9000-3:1994 GB/T 19001-1994idtISO 9001:1994 GB/T 19002-1994idtISO 9002:1994 GB/T 19003-1994idtISO 9003:1994 GB/T 19004.1-1994idtISO 9004-1:1994 GB/T 19004.2-1994

5、idtISO 9004-2:1991 GB/T 19004.3-1994idtISO 9004-3:1993 GB/T 19004.4-1994idtISO 9004-4:1993 GB/T 19021.1-1993idtISO 10011-1:1990 GB/T 19021.2-1993idtISO 10011-2:1991 GB/T 19021.3-1993idtISO 10011-3:1993 GB/T 19022.1-1994idtISO 10012-1:1994 Zhu.KISO9000-3 是什么是什么ISO9000-3其实是ISO质量管理和质量保证标准在软件开发、供应和维护中的使

6、用指南，并不作为质量体系注册/认证时的评估准则，主要考虑软件行业的特殊性制定。参照ISO9001质量体系 设计、开发、生产、安装和服务的质量保证模式，并引用ISO 8402质量管理和质量保证术语，使得ISO9000系列标准应用范围得以拓展 ISO9000-3标准标准n软件开发、供应、维护中应用ISO9001的指南n是指南，不是标准n依然困惑：依然强调的是供应商和顾客的关系，不是工程师该如何做ISO 9000-3 体系结构体系结构合同评审需方需求规格说明开发计划质量计划设计和实现测试和确认验收复制、交付和安装维护软件测试规范软件测试规范 软件测试规范就是对软件测试的流程过软件测试规范就是对软件测

7、试的流程过程化并对每一个过程元素进行明确的界程化并对每一个过程元素进行明确的界定，形成完整的规范体系。定，形成完整的规范体系。 完整的软件测试规范是怎样的完整的软件测试规范是怎样的规范本身的详细说明规范本身的详细说明,比如规范目的、范围、文档结构、比如规范目的、范围、文档结构、词汇表、参考信息、可追溯性、方针、过程词汇表、参考信息、可追溯性、方针、过程/规范、指规范、指南、模板、检查表、培训、工具、参考资料等等。南、模板、检查表、培训、工具、参考资料等等。制定测试规范需要考虑的内容制定测试规范需要考虑的内容 角色的确定角色的确定 进入的准则进入的准则 输入项输入项 活动过程活动过程 输出项输出

8、项 验证与确认验证与确认 退出的准则退出的准则 度量度量Zhu.KStartGet data to definethe testingpopulationERISABP via Mainframe DumpMM/SK via Excel DBCore via ERISA Lotus Notes DBGenerate ahardcopy censusCreate year-endpackagescustomized bymarketERISA - BPERISAReview censusERISANoNote source ofproblem on coversheet or checkshee

9、tERISAImage the censusand log imagenumbers on theExcel spreadsheetERISAAData enter census,send an electroniccopy via e-mail, andreturn the hardcopyto BP - ERISALog the hardcopycensus anddistribute them tothe ERISASpecialists fortestingBExtract data fromthe ERISAWorkstationERISA - BPBP - Account Mana

10、gement TeamCR - Case ManagersMM/SK - ERISA SpecialistsBP - ERISAReview and scrubdata in ASCADP/ACP Testing - As Is ProcessBP - ERISA SpecialistsData Entry Vendor118124153Mail year-endpackagesERISA/Marketing/VendorBP via VendorCR/MM/SK via in-houseWait forinformationfrom planInformationreceived byfol

11、low-up date?Executefollow-upletter processERISAMarketingNoLog receipt ofinformationYesERISAMissing orunreadableinformation?YesResolvable by aphone call?Call client forinformationYesReturn originalinformation to clientwith request foradditionalinformation orclarificationsNoBP - Account Management Tea

12、mCR - Case ManagersMM/SK - ERISA SpecialistsInformationobtained?Image and sendthe hardcopycensus to thevendor for dataentryBP - ERISAYesNoNoBRequest the OMNIdata on the ERISAWorkstationBP/MM/SK - ERISA SpecialistsCR - Case ManagersImport data toExcel, review andscrubBP/MM/SK - ERISA SpecialistsCR -

13、Case ManagersMM/SK - ERISA SpecialistsCR - Case ManagersImport data toASCBP/MM/SK - ERISA SpecialistsCR - Case ManagersThrough13 Through 1727Through2022Through254821264028 Through 36283738394352Through5455565760Through436570Through42647174Through64727461627579Through808182Load P-Census tothe AS400 w

14、hichautomaticallypopulates theAS400, OMNI andERISA WorkstationIT Operations83848592Through9394Data completeand accurate?YesACNoCToPage 2CMM思想和结构体系思想和结构体系 CMM即软件能力成熟度模型即软件能力成熟度模型（Capability Maturity Model）是向软件组织提供如何增加对其开发和维护软件过程的控制能力。设计并实施CMM是为了指导软件组织：通过确定当前过程的成熟度等级和识别出对软件质量和过程改进至关重要的问题，来选择其过程改进策略。通过

15、关注一组有限的活动，并为实现它们而积极工作，组织能稳步地改善其软件过程，使其软件过程能力持续不断地增长。CMM的历史的历史CMMCMM分阶段的体系结构源于己有60多年历史的产品质量原理。ITTITT的Philip CrosbyPhilip Crosby在其书“Quality is FreeQuality is Free”（Crosby 79Crosby 79）中首先提出将质量原理改编为成熟度框架的思想。HumphreyHumphrey的成熟度框架早期版本发表在SEI技术报告（HumphreyHumphrey 87a，HumphreyHumphrey 87b）、文章（HumphreyHumphr

16、ey 88）和书“Managing the software Process”Managing the software Process”（Humphrey 89Humphrey 89）中。基于基于CMM模型的过程改进模型的过程改进n软件过程改进的方法论-IDEAL 修 改 组 织 的 方 法 记 录 和 分 析 教 训 定 义 过 程 和 度 量 计 划 及 执 行 试 行 方 案 计 划 ， 执 行 和 跟 踪 改 进 方 案 建 立 过 程 行 动 组 做 行 动 计 划 设 定 战 略 和 优 先 级 提 出 建 议 并 记 录 阶 段 成 果 评 估 当 前 实 践 情 况 改 进

17、动 机 确 定 改 进 范 围 以 及 获 取 支 持 建 立 改 进 机 制 诊诊 断断 建建 立立 行行 动动 学习学习 初初 始始 化化 InitiatingDiagnosingEstablishingActingLearningSix Sigma DMAIC Model1. IDENTIFY OPPORTUNITIESProcess Flow AnalysisSURVEYYES NOABCDBenchmarkingPareto Analysis2. FORM TEAM & SCOPE PROJECTIdentify Customersand RequirementsTree Diagr

18、amEstablish ProcessBoundaries3. ANALYZE CURRENT PROCESSAnalyze AvailableDataProcess Flow AnalysisCheck SheetHISTORYCHECK SHEETREPORT4. DEFINE DESIRED OUTCOMES FOR IMPROVED PROCESSDefine Performance MeasuresAgree on GoalsGOAL5. IDENTIFY ROOT CAUSES & PROPOSED SOLUTIONSWhy-Why DiagramBrainstormingProc

19、ess RedesignEFFECTCause & EffectDiagramNominal Group Technique6. PRIORITIZE, PLAN AND TEST PROPOSED SOLUTIONSDesign ofExperimentsC-C-C+C+90.0083.6777.3371.0064.6758.3352.00A-A+Level LoadingPRODUCTION DAYSABCD1 2 3 30Pull SystemPRIOROPERATIONNEXTOPERATION7. REFINE AND IMPLEMENT SOLUTIONSForce Field A

20、nalysisGANTT Chart9. ACKNOWLEDGE TEAM ANDCOMMUNICATE RESULTSTraining & ProceduresBrainstormingRECYCLE IF NECESSARY8. MEASURE PROGRESS & HOLDGAINSTrend ChartSPCREPORTTEAM RESULTSPhaseStep(s)Define 1 & 2Measure 3 & 4Analyze 5Improve 6 & 7Control 8 & 9流程改进模型流程改进模型PDCA CyclePlan: What you want to accomp

21、lish over a period of time; What you might do, or need to do to get the goalsDo: What you planned on doingStart on small scaleCheck: The results of what you did to see if the objective was achievedAct: On the informationIf the result is successful, standardize the planIf not successful, continue in

22、the cycle to plan for further improvementEvaluationNo perfect plan, do FirstDoing is not enough, how about its results?If has problem, how to correct it?Then new & improved planCMM的五个等级的五个等级Adapted from SEI-93-TR-24DisciplinedProcessRepeatable(2)Project Mgmt system in place, performance repeatableSt

23、andard,consistentprocessDefined(3)SW Engr & Mgmt processes defined & integratedPredictableprocessManaged(4)Product & processes quantitatively controlledContinuouslyimprovingprocessOptimizing(5)Process improvement institutionalizedInitial(1)Process is informal and unpredictableCMM的五个等级及关键过程域的五个等级及关键过

24、程域 (二二)22不同成熟度的项目结果不同成熟度的项目结果ProbabilityTime / $ / .4Based on quantitative understanding of process and product, performance continues to improveTargetProbabilityTime / $ / .3With well-defined processes, performance improvesTargetProbabilityTime / $ / .2Plans based on past performance are more reali

25、sticTargetAdapted from SEI-93-TR-24ProbabilityTime / $ / .1Schedules and cost targets are typically overrunTargetProbabilityTime / $ / .5TargetPerformance continuously improvesDistribution of actual outcomesTarget is the initial estimated objective for a critical project parameter (e.g., cost, deliv

26、ery date, defect counts)关键过程域关键过程域(Key Areas)过程更改管理过程更改管理* *技术更改管理技术更改管理* *错误预防错误预防*质量管理质量管理* *过程量化管理过程量化管理*同级评审同级评审* *组间协作组间协作软件产品工程软件产品工程* *软件集成管理软件集成管理* *培训计划培训计划软件过程定义软件过程定义* *软件过程要点软件过程要点* *软件配置管理软件配置管理软件质量保证软件质量保证软件子合同管理软件子合同管理软件项目追踪与监控软件项目追踪与监控* *软件项目规划软件项目规划* *需求管理需求管理II-可重复级可重复级III-已定义级已定义级

27、IV-已管理级已管理级V-优化级优化级CMM的五个等级及关键过程域的五个等级及关键过程域 (三三)个体软件过程个体软件过程PSP的演化的演化个体管理基线个体管理基线PSP0并行过程并行过程工作时间记录工作时间记录程序差错记录程序差错记录程序差错类型标准程序差错类型标准个体过程循环个体过程循环PSP3循环开发循环开发个体规划过程个体规划过程PSP1程序规模估计程序规模估计测试报告测试报告个体质量管理个体质量管理PSP2编码评审编码评审设计评审设计评审PSP1.1任务规划任务规划进度安排进度安排PSP2.1设计模板设计模板PSP0.1编码标准编码标准软件规模度量软件规模度量过程改善建议过程改善建议

28、PSP 流程流程TSP流程流程PSP-TSPPSP-TSP-CMMCMM、PSP和和TSP组成的软件过程框架组成的软件过程框架CMMPSPTSP原则原则技能技能费用费用期限期限组织级能力组织级能力高质量的产品高质量的产品个人的技能个人的技能建立建立生产并交付生产并交付建立建立ISO9000与与CMM的关系的关系nISO9000相当于CMM二级和三级的一部分内容(有人称为2.5级)nCMM和ISO9000认证本身没有优劣之分nCMM是一个动态的过程n对于预算、项目周期管理等ISO9000涉及不够的内容，CMM有所覆盖ISO9000与与CMM的区别的区别nISO9001是通用的国际标准,适用于各类组织。nCMM是美国军方为评价软件供应商的质量水平,委托SEI开发的一个评价模型,只用于软件业。nCMM更详细,更专业。