软件项目质量管理课件_第1页
软件项目质量管理课件_第2页
软件项目质量管理课件_第3页
软件项目质量管理课件_第4页
软件项目质量管理课件_第5页
已阅读5页,还剩107页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第1/53页软件质量概述1软件质量度量2软件质量管理3软件质量体系4第12章软件项目质量管理5第1/53页软件质量概述1软件质量度量2软件质量管理3软件质第2页学习目标理解质量、项目质量管理的概念了解软件质量度量的概念和过程掌握软件质量的标准与质量计划的内容掌握软件质量的控制过程与活动熟悉软件质量体系第11章软件项目风险管理第2页学习目标第11章软件项目风险管理第3页HotTip质量是指一组固有特性满足要求的程度,指产品或服务满足规定或潜在需要的特征和特性的总和。软件质量体现在开发过程的质量和它所拥有的特征上,是各种特性的复杂组合。12.1软件质量概述第3页HotTip质量是指一组固有特性满第4页HotTip质量的基本概念质量是反映实体(产品、过程或活动等)满足明确和隐含的需要能力和特性总和。所谓“实体”是指承载质量属性的具体事物。反映质量的实体包括产品、过程(服务)和活动(工作)3种质量本身的含义是指“实体”能够满足用户需求的能力和特性的总和。“明确的需求”一般是在具体产品交易合同中标明的,“隐含的需求”一般是需要通过市场或用户调查获得的。对于不同“实体”,质量的实质内容不同,即“实体”满足用户明确和隐含的需求在实质内容上也不同。12.1软件质量概述第4页HotTip质量的基本概念12.1软件质量概述第5页HotTip质量特性是指产品或服务满足人们明确或隐含需求的能力、内在质量特性:主要是指产品的性能、特性、强度、精度等方面的质量特性。外在质量特性:主要是指产品外形、包装、装潢、色泽、味道等方面的特性。经济质量特性:主要是指产品的寿命、成本、价格、运营维护费用等方面的特性。商业质量特性:主要是指产品的保质期、保修期、售后服务水平等方面的特性。环保质量特性:主要是指产品或服务对于环境保护的贡献或对于环境造成的污染等方面的特性。12.1软件质量概述第5页HotTip12.1软件质量概述第6页HotTip二.软件质量1.软件质量定义与软件产品满足规定的和隐含的需要的能力有关的特征或特性的组合。软件质量的特性是多方面的,但必须包括:与明确确定的功能和性能需求的一致性,能满足给定需要的特性之全体。与明确成文的开发标准的一致性。与所有专业开发的软件所期望的隐含的特性的一致性。顾客或用户认为能满足其综合期望的程度,软件的组合特性,它确定软件在使用中将满足顾客预期要求的程度。12.1软件质量概述第6页HotTip12.1软件质量概述第7页HotTip2.软件质量的要素正确性:系统满足规格说明和用户的程度,即在预定环境下能正确地完成预期功能的程度。健壮性:在硬件发生故障、输入的数据无效或操作等意外环境下,系统能做出适当响应的程度。效率:为了完成预定的功能,系统需要的计算资源的多少。完整性Integrity:对未经授权的人使用软件或数据的企图,系统能够控制的程度。可用性:系统在完成预定应该完成的功能时令人满意的概率。?风险性:按预定的成本和进度把系统开发出来,并且使用户感到满意。12.1软件质量概述第7页HotTip2.软件质量的要素12.1软件质量概述第8页HotTip可理解性:理解和使用该系统的容易程度。可维修性:诊断和改正错误所需要的概率。灵活性:修改或改正在运行的系统需要的工作量的多少。可测试性:软件容易测试的程度。可移植性:可重用性:在其他应用中该程序可以被再次使用的程度。(可)互运行性interoperationality:把该系统和另一个系统结合起来工作量的多少12.1软件质量概述第8页HotTip可理解性:理解和使用该系统的容易程度。1图12-1McCall软件质量模型9图12-1McCall软件质量模型9图12-1McCall软件质量模型图12-2

p23910图12-1McCall软件质量模型10第11页HotTip三.项目质量管理的概念

项目质量管理的基本概念也包括:项目质量方针的确定、项目质量目标和质量责任的制定,项目质量体系的建设,以及为实现项目质量目标所开展的项目质量计划、项目质量控制和项目质量保障等一系列的项目质量管理工作。

1.使顾客满意是质量管理的目的2.质量是干出来的不是检验出来的3.质量管理的责任是全体员工的4.质量管理的关键是不断地改进和提高(本段可忽略)12.1软件质量概述第11页HotTip12.1软件质量概述3.4.2质量体系、质量手册和质量计划

质量体系、质量手册和质量计划之间的关系质量体系好比一个国家的法制机构,质量手册就如同宪法,是质量体系的文档化的体现。而为每个项目制定的质量计划类似地方法规,它在符合质量手册的前提下,根据自身的要求与特殊性,通过适当的裁减修正而来。

关系图12.4软件质量体系3.4.2质量体系、质量手册和质量计划关系图1第13/53页HotTip一.软件度量(softwaremetric=ameasureofsomepropertyofapieceofsoftwareoritsspecifications.=尺度)

软件度量是对软件开发项目、过程及其产品进行数据定义、收集以及分析的持续性定量化过程,目的在于对此加以理解、预测、评估、控制和改善。度量取向是软件开发诸多事项的横断面p240=多样性=表12-1,包括顾客满意度度量、质量度量、项目度量、以及品牌资产度量、知识产权价值度量等。度量取向要依靠事实、数据、原理、法则;其方法是测试、审核、调查;其工具是统计、图表、数字、模型;其(理想)标准是量化的指标。12.2软件(质量)的度量第13/53页HotTip12.2软件(质量)的度量第14页HotTip表12-1软件开发主体及其度量内容

12.2软件质量的度量角

色度

容经营者开发组织(1)顾客满意度;(2)收益;(3)风险;(4)绩效;(5)发布的缺陷的级别;(6)产品开发周期;(7)日程与作业量估算精度;(8)复用有效性;(9)计划与实际的成本管理者项目组(1)不同阶段的成本;(2)不同开发小组成员的生产率;(3)产品规模;(4)工作量分配;(5)需求状况;(6)测试用例合格率;(7)主要里程碑之间的估算期间与实际期间;(8)估算与实际的员工水平;(9)结合测试和系统测试检出的缺陷数目;(10)审查发现的缺陷数目;(11)缺陷状况;(12)需求稳定性;(13)计划和完成的任务数目作业者软件开发人员(1)工作量分配;(2)估算与实际的任务期间与工作量;(3)单体测试覆盖代码;(4)单体测试检出缺陷数目;(5)代码和设计的复杂性第14页HotTip12.2软件质量的度量角色度第15页HotTip软件度量的效用有如下几个方面:理解:获取对项目、产品、过程和资源等要素的理解,选择和确定进行评估、预测、控制和改进的基线。预测:通过理解项目、产品、过程、资源等各要素之间的关系建立模型,由已知推算未知,预测未来发展的趋势,以合理地配置资源。评估:对软件开发的项目、产品和过程的实际状况进行评估,使软件开发的标准和结果都得到切实的评价,确认各要素对软件开发的影响程度。控制:分析软件开发的实绩和计划之间的偏差,发现问题点之所在,并根据调整后的计划实施控制。改善:根据量化信息和问题之所在,探讨提升软件项目、产品和过程的有效方式,实现高质量、高效率的软件开发。12.2软件质量的度量第15页HotTip软件度量的效用有如下几个方面:12.2第16页HotTip二.软件度量的分类12.2软件质量的度量度量维度侧

点具

容项目度量过程理解和控制当前项目的情况和状态;项目度量具有战术性意义,针对具体的项目进行。规模、成本、工作量、进度、生产力、风险、顾客满意度等产品度量侧重理解和控制当前产品的质量状况,用于对产品质量的预测和控制。以质量度量为中心,包括功能性、可靠性、易用性、效率性、可维护性、可移植性等过程度量理解和控制当前情况和状态,还包含了对过程的改善和未来过程的能力预测;过程度量具有战略性意义,在整个组织范围内进行。如成熟度、管理、生命周期、生产率、缺陷植入率等第16页HotTip12.2软件质量的度量度量维度侧IEEE982NineClassesofMeasuresProductMeasureserrors,faults,failuresmean-time-to-failurerealibilitygrowthandprojectionremainingproductsfaultscompletenessandconsistencycomplexityProcessMeasuresmanagementcontrolcoveragerisk,benefit,costevaluationIEEE982IEEE982NineClassesofMeasur第18页HotTip三.软件度量过程开发一个度量过程并使其成为企业组织中标准软件过程的一部分;通过定制与整合各种过程资产来对项目及相关(手续=procedure=程序/步骤)拟定过程计划;执行拟定的计划和相关手续来对项目进行过程的实施;当项目进一步成熟且度量需求发生改变时,对相关计划及手续进行改进以改善该过程。12.2软件质量的度量第18页HotTip12.2软件质量的度量第19页HotTip1.过程计划的制定确认范围:该活动的根据是要明确度量需求的大小,以限定一个适合于企业本身需求的度量过程。因为在整个度量过程中是需要花费人力、物力等有限资源的,不切实际的大而全或不足以反映实际结果的需求都会影响度量过程的可靠性以及企业的发展能力。定义程序步骤:在确认了范围后,就需要定义操作及度量过程的步骤,在构造的同时应该成文立案。主要工作包括定义完整、一致、可操作的度量;定义数据采集方法以及如何进行数据记录与保存;定义可以对度量数据进行分析的相关技术,以使用户能根据度量数据得到这些数据背后的结果。12.2软件质量的度量第19页HotTip12.2软件质量的度量第20页2.过程的实施数据的采集:该活动根据已定义的度量操作进行数据的采集,记录及存储。此外,数据还应经过适当的校验以确认有效性。在进行该项活动时应具有一定的针对性,对于不同的项目或活动所需要的实际数据量是有差别的,而且对活动状态的跟踪也是非常重要的。数据的分析:该项活动包括分析数据及准备报告,并提交报告,当然进行评审以确保报告足够的确实性是有必要的。这些程序步骤可能会需要更新,因为报告可能没有为使用者提供有益的帮助或使用者对报告中的内容不理解,在这两种情况下,都应回馈并更新度量过程以再进行数据分析。12.2软件质量的度量第20页12.2软件质量的度量第21页3.过程的改善确认目标对当前能力的理解及评价设计度量过程过程原型过程文档过程实施程序扩展/修改完善12.2软件(质量)的度量第21页12.2软件(质量)的度量第22/53页质量管理是在质量方面指挥和控制组织的协调的活动,指对确定和达到质量所必须的全总职能和活动的管理,包括制定质量方针和质量目标以及质量策划,通过质量计划的编制、质量控制、质量保证和质量提高等活动提高质量的活动。软件项目的质量计划

软件项目质量计划就是要将与项目有关的质量标准标识出来,提出如何达到这些质量标准和要求的设想。项目质量保证计划的编写就是为了确定与项目相关的质量标准并决定达到标准的一种有效方法。

12.3软件质量管理第22/53页质量管理是在质量方面指挥和控第23页

1.软件质量标准技术标准包含两个方面:一是作为软件开发企业的软件行业技术标准,包括知识体系指南、过程标准、建模标准、质量管理标准、程序语言标准、数据库标准;二是软件开发服务对象所在的行业技术标准,例如,安全保密标准、技术性能标准。业务标准指的是软件开发服务对象所在的组织或行业制定的业务流程标准和业务数据标准等。12.3软件质量管理第23页1.软件质量标准12.3软件质量第24页软件开发常用技术标准包括:知识体系:软件工程知识体系指南SWEBOK2004(IEEE)、项目管理知识体系指南PMBOK2000(最新的是PMBOK2004)、组织管理标准等等;过程标准:RUP、软件工程规范国家标准;CMMI、PSP&TSP=PersonalSoftwareProcess&TeamSoftwareProcess(SEI)建模标准:UML、软件工程规范国家标准;质量管理标准:ISO9001:2000、TQC=TotalQualityControl、6σ;程序语言标准:Java、C++、PowerBuilder编程规范;数据库标准:SQL、Oracle数据库后台规范。12.3软件质量管理第24页软件开发常用技术标准包括:12.3软件质量管理第25页2.质量计划的要求确定应达到的质量目标和所有特性的要求。确定质量活动和质量控制程序。确定项目不同阶段中的职责、权限、交流方式以及资源分配。确定采用控制的手段、合适的验证手段和方法。确定和准备质量记录。12.3软件质量管理第25页2.质量计划的要求12.3软件质量管理第26页3.质量计划的编写在编制项目质量计划时,主要的依据如下:质量方针。质量方针是由高层管理者对项目的整个质量目标和方向制定的一个指导性的文件。但在项目实施的过程中,可以根据实际情况对质量方针进行适当的修正。范围描述。范围描述是质量计划的重要依据。产品描述。产品描述包含了更多的技术细节和性能标准,是制定质量计划必不可少的部分。标准和规则。项目质量计划的制定必须参考相关领域的各项标准和特殊规定。12.3软件质量管理第26页3.质量计划的编写12.3软件质量管理第27页在制定质量计划时,主要采取的方法和技术有:效益/成本分析法。质量计划必须考虑效益与成本的关系。满足质量需求的主要效益时减少了重复性工作,即高产出、低成本、高用户满意度。基准法。主要是通过比较项目的实施与其他同类项目的实施过程,为改进项目的实施过程提供借鉴和思路,并作为一个实施的参考标准。流程图。可以包括原因结果图、系统流程图、处理流程图等。因此,流程图经常用于项目质量控制过程中,其主要目的是确定以及分析问题产生的原因。试验设计。试验设计对于分析整个项目输出结果是最有影响的因素,也是十分有效的。对于软件开发、设计原型解决核心技术问题和主要需求也是可行和有效的。12.3软件质量管理第27页在制定质量计划时,主要采取的方法和技术有:12.3第28页软件项目质量保证

软件质量保证(Softwarequalityassurance,SQA)是指确定、达到和维护所需要的软件质量而进行的所有有计划、有组织的管理活动。软件质量保证的目标是以独立审查方式,从第三方的角度监控软件开发任务的执行,就软件项目是否遵循已制定的计划、标准和规程,给开发人员和管理层提供反映产品和过程质量的信息和数据,提高项目透明度,同时辅助软件项目组取得高质量的软件产品。

12.3软件质量管理第28页软件项目质量保证12.3软件质量管理第29页1.质量保证策略质量方针的制定和开展;质量保证方针和质量保证标准的制定;质量保证体系的建立和管理;明确各个阶段的质量保证工作;各个阶段的质量评审;确保设计质量;重要质量问题的提出与分析;总结实现阶段的质量保证活动;整理面向用户的文档、说明书等;产品质量鉴定、质量保证系统鉴定;质量信息的收集、分析和使用。12.3软件质量管理第29页1.质量保证策略12.3软件质量管理第30页1.质量保证策略质量保证的策略主要分为3个阶段/方面:以检测为重:产品制成之后进行检测,只能判断产品质量,不能提高产品质量。以过程管理为重:把质量的保证工作重点放在过程管理上,对开发过程中的每一道工序都要进行质量控制。以产品开发为重:在产品的开发设计阶段,采取强有力的措施来消灭由于设计原因而产生的质量隐患。12.3软件质量管理第30页1.质量保证策略12.3软件质量管理第31页2.质量保证的内容(1)与SQA计划直接相关的工作(2)参与项目的阶段性评审和审计(3)对项目日常活动与规程的符合性进行检查(4)对配置管理工作的检查和审计(5)跟踪问题的解决情况(6)收集新方法,提供过程改进的依据12.3软件质量管理第31页2.质量保证的内容12.3软件质量管理第32页3.软件质量保证措施影响产品质量的因素,这些因素包括:使用的方法和工具;在开发和维护过程中应用的标准;对开发和维护过程所进行的组织管理;软件生产环境;软件开发中人员的组织和管理;工作人员的熟练程度;对工作人员的奖励和工作条件的改善情况;对外部项目转包商交付的产品的质量控制。12.3软件质量管理第32页3.软件质量保证措施12.3软件质量管理第33页3.软件质量保证措施基于非执行的测试(也称为复审或评审),基于执行的测试(即软件测试)和程序正确性证明。复审主要用来保证在编码之前各个阶段产生的文档的质量;基于执行的测试需要在程序编写出来之后进行,它是保证软件质量的最后一道防线;程序正确性证明使用数学方法严格验证程序是否对它的说明完全一致。12.3软件质量管理第33页3.软件质量保证措施12.3软件质量管理第34页三.质量控制质量控制(QualityControl,QC)是确定项目结果是否与质量标准相符,同时确定消除不符合的原因和方法,控制产品的质量,及时纠正缺陷的过程。1.常见的质量问题违背IT项目规律。如未经可行性论证,不做调查分析就启动项目;任意修改设计;不按技术要求实施,不经过必要的测试、检验和验收就交付使用等蛮干现象。技术方案本身的缺陷。基本部件不合格。选购的软件组件、中间件、硬件设备等不稳定、不合格,造成整个系统不能正常运行。实施中的管理问题。12.3软件质量管理第34页三.质量控制12.3软件质量管理第35页2.质量控制过程(1)事前质量控制:指项目在正式实施前进行的质量控制,其具体工作内容有以下几类:审查开发组织的技术资源,选择合适的项目承包组织。对所需资源质量进行检查与控制。审查技术方案,保证项目质量具有可靠的技术措施。协助开发组织完善质量保证体系和质量管理制度。(2)事中质量控制:指在项目实施过程中进行的质量控制,其具体工作内容有以下几类:协助开发组织完善实施控制。把影响产品质量的因素都纳入管理状态。建立质量管理点,及时检查和审核开发组织提交的质量统计分析资料和质量控制图表。12.3软件质量管理第35页2.质量控制过程12.3软件质量管理第36页严格交接检查。关键阶段和里程碑应有合适的验收。对完成的分项应按相应的质量评定标准和方法进行检查、验收并按合同或需求规格说明书行使质量监督权。组织定期或不定期的评审会议,及时分析、通报项目质量状况,并协调有关组织间的业务活动等。(3)事后质量控制:指在完成项目过程形成产品后的质量控制,具体工作内容如下:按规定的质量评价标准和办法,组织单元测试和功能测试,并进行可能的检查验收。组织系统测试和集成测试。审核开发组织的质量检验报告及有关技术性文件。整理有关的项目质量的技术文件,并编号、建档。12.3软件质量管理第36页严格交接检查。关键阶段和里程碑应有合适的验收。12.第37页3.软件质量控制质量控制一般由开发人员实施,属于检查职能。质量控制的要点是:监控对象主要是项目工作结果;进行跟踪检查的依据是相关质量标准;对于质量问题,需要分析其产生原因,并确定采取何种措施来消除这些问题。为了控制项目全过程中的质量,也应该遵循以下一些基本原则:控制项目所有过程的质量。过程控制的出发点是预防不合格。质量管理的中心任务是建立并实施文档管理的质量体系。持续的质量改进。定期评价质量体系。12.3软件质量管理第37页3.软件质量控制12.3软件质量管理第38页4.软件项目质量控制活动(1)技术评审主要评审的对象有:软件需求规格说明书、软件设计方案、测试计划、用户手册、维护手册、系统开发规程、产品发布说明等。技术评审应该采取一定的流程,这在企业质量体系或者项目计划中都有相应的规定,例如,下面是一个技术评审的建议流程:召开评审会议:一般应有3~5个相关领域的人员参加,会前每个参加者做好准备,评审会每次一般不超过2小时。在评审会上,由开发小组对提交的评审对象进行讲解。评审组可以对开发小组进行提问,提出建议和要求。评审报告与记录

12.3软件质量管理第38页4.软件项目质量控制活动12.3软件质量管理第39页4.软件项目质量控制活动(2)代码走查。代码走查也是一种非常有效的方法,它可以检查到其他测试方法无法监测到的错误,好多逻辑错误是无法通过测试手段发现的,代码走查是一种很好的质量控制方法。(3)代码会审是由一组人通过阅读、讨论和争议对程序进行静态分析的过程。(4)软件测试。(5)缺陷追踪。12.3软件质量管理第39页4.软件项目质量控制活动12.3软件质量管理第40/53页ISO9000:2000标准体系ISO9000是国际标准化组织提出的企业质量体系标准,它由5个部分组成,着眼于质量管理和质量保证。这是一个通用的质量标准,适合各类制造业和服务业,要求认证的企业有文档记录并实现符合标准规定的20个质量要素,证明有提供满足客户要求的产品和服务的能力。该标准只是为企业建立良好的质量体系提供指导原则,但本身并不涉及相关的实现技术。12.4软件质量体系第40/53页ISO9000:2000标准体系12.4软件第41/53页

质量体系、质量手册和质量计划之间的关系质量体系好比一个国家的法制机构,质量手册就如同宪法,是质量体系的文档化的体现。而为每个项目制定的质量计划类似地方法规,它在符合质量手册的前提下,根据自身的要求与特殊性,通过适当的裁减修正而来。

12.4软件质量体系第41/53页12.4软件质量体系第42页二.CMM标准体系1.CMM的结构(美国国防部出面,美国卡内基·梅隆大学软件工程研究所CMU/SEI于2001年12月发布CMMISM1.1版本)12.3软件质量管理第42页二.CMM标准体系12.3软件质量管理第12章__软件项目质量管理第12章__软件项目质量管理第45页公共特性:用于在阶段式表示法中对公共实践进行分类,有如下5类:

简写

全拼/中文名称

说明

CO CommitmenttoPerform/执行承诺

与方针和领导承诺相关内容

ABAbilitytoPerform/执行能力

资源保证内容 AP ActivitiesPerformed/执行活动

MAMeasurementandAnalysis/度量分析 (DIDirectingImplementation/定向实现)

=CMMI管理人员、过程、产品内容 VEVerifyingImplementation/验证执行高层管理者评审和正确性验证

12.4软件质量体系第45页公共特性:用于在阶段式表示法中对公共实践进行分类,有第46页二.CMM标准体系2.软件过程能力成熟度等级初始级可重复级已定义级已管理级优化级12.4软件质量体系第46页二.CMM标准体系12.4软件质量体系1初始级2可重复级3已定义级4已管理级5优化级无序、混乱的软件过程。依赖个别人的努力和机遇。建立基本的项目管理过程。相似项目,重复以往成果。文档化、标准化和标准的软件过程。软件过程和产品质量有详细的度量标准。持续的对过程进行改进。图CMM分级标准1初始级2可重复级3已定义级4已管理级5优化级无序48

关键过程域分类5优化级过程变更管理4可管理级需求管理软件项目策划软件项目跟踪与监控软件子合同管理软件质量保证软件配置管理过程类别机构/组织过程管理过程缺陷预防软件质量管理整体化软件管理组间协调组织过程关注组织过程定义培训规划无序过程定量过程管理3可定义级2可重复级1初始级工程过程软件产品工程同行评审技术变更管理3.CMM关键过程区域48关键过程域分类5优化级过程变更管理4可管理级需求管CMM中的18个KPACMM中的18个KPA第50页四.CMM关键实践Eachkeyprocessareaisdescribedintermsofkeypracticesthat,whenimplemented,helptosatisfythegoalsofthatkeyprocessarea.Thekeypracticesdescribetheinfrastructureandactivitiesthatcontributemosttotheeffectiveimplementationandinstitutionalizationofthekeyprocessarea.Forexample,oneofthepracticesfromtheSoftwareProjectPlanningkeyprocessareais"Theproject'ssoftwaredevelopmentplanisdevelopedaccordingtoadocumentedprocedure."(kpPP.AC.6)AnexampleofagoalfromtheSoftwareProjectPlanningkeyprocessarea(atlevel2repeatable)is"Softwareestimatesaredocumentedforuseinplanningandtrackingthesoftwareproject."12.4软件质量体系第50页四.CMM关键实践12.4软件质量体系第51页CL2和CL3的公共实践名称公共特性

GP2.1建立组织政策(CO1)

GP3.1建立已定义的过程(AB1)

GP2.2计划过程(AB2)

GP2.3提供资源(AB3)

GP2.4分配任务(AB4)

GP2.5培训人员(AB5)

GP2.6管理配置(DI1)

GP2.7标示和包含项目相关人员(DI2)

GP2.8监督和控制过程(DI3)

GP3.2收集过程改进信息(DI4)

GP2.9客观的评价依赖性(VE1)

GP2.10高层管理评价状态(VE2)第51页CL2和CL3的公共实践名称公共特性

GP2.CMM中所有的22个KPAREQMRequirementManagement需求管理PPProjectPlanning项目策划PMCProjectMonitoringandControlPlanning项目监督和控制SAMSupplierAgreementManagement供方协定管理MAMeasurementandAnalysis测量和分析PPQAProcessandProductQualityAssurance过程和产品质量保证CMConfigurationManagement配置管理RDRequirementDevelopment需求开发TSTechnicalSolution技术解决PIProductIntegration产品集成VERVerification验证VALValidation确认OPFOrganizationProcessFocus组织过程聚焦OTOrganizationTraining组织培训IPMIntegrationProjectManagement集成项目管理RSKMRiskManagement风险管理DARDecisionAnalysisandResolution决策分析和决定QPMQuantitativeProjectManagement项目定量管理OPPOrganizationalProcessPerformance组织过程效能OIDOrganizationalInnovationandDeployment组织革新和实施CARCausalAnalysisandResolution原因分析和解决CMM中所有的22个KPAREQMRequirementM第53页三.ISO9000:2000与CMM比较ISO9001和CMM既有区别又相互联系,两者不可简单地互相替代。取得ISO9001认证并不意味着完全满足CMM某个等级的要求。取得CMM第2级(或第3级)不能笼统地认为可以满足ISO9001的要求12.4软件质量体系第53页三.ISO9000:2000与CMM比较12.43思考题下述哪项不属于质量计划编制的内容?A.质量管理计划。B.过程调整。C.核查清单。D.衡量指标。3思考题思考题在下述哪种情况下,质量即已满足?A.满足要求。B.超出了客户预期。C.客户表示接受产品或服务。D.客户不再要求额外的特征。项目经理正在确定与项目相关的质量标准,及如何满足这些标准;这项活动属于:A.质量管理。B.质量保证。C.质量计划编制。D.质量控制。思考题在下述哪种情况下,质量即已满足?Clicktoeditcompanyslogan.谢谢!ThankYou!Clicktoeditcompanyslogan.第57/53页软件质量概述1软件质量度量2软件质量管理3软件质量体系4第12章软件项目质量管理5第1/53页软件质量概述1软件质量度量2软件质量管理3软件质第58页学习目标理解质量、项目质量管理的概念了解软件质量度量的概念和过程掌握软件质量的标准与质量计划的内容掌握软件质量的控制过程与活动熟悉软件质量体系第11章软件项目风险管理第2页学习目标第11章软件项目风险管理第59页HotTip质量是指一组固有特性满足要求的程度,指产品或服务满足规定或潜在需要的特征和特性的总和。软件质量体现在开发过程的质量和它所拥有的特征上,是各种特性的复杂组合。12.1软件质量概述第3页HotTip质量是指一组固有特性满第60页HotTip质量的基本概念质量是反映实体(产品、过程或活动等)满足明确和隐含的需要能力和特性总和。所谓“实体”是指承载质量属性的具体事物。反映质量的实体包括产品、过程(服务)和活动(工作)3种质量本身的含义是指“实体”能够满足用户需求的能力和特性的总和。“明确的需求”一般是在具体产品交易合同中标明的,“隐含的需求”一般是需要通过市场或用户调查获得的。对于不同“实体”,质量的实质内容不同,即“实体”满足用户明确和隐含的需求在实质内容上也不同。12.1软件质量概述第4页HotTip质量的基本概念12.1软件质量概述第61页HotTip质量特性是指产品或服务满足人们明确或隐含需求的能力、内在质量特性:主要是指产品的性能、特性、强度、精度等方面的质量特性。外在质量特性:主要是指产品外形、包装、装潢、色泽、味道等方面的特性。经济质量特性:主要是指产品的寿命、成本、价格、运营维护费用等方面的特性。商业质量特性:主要是指产品的保质期、保修期、售后服务水平等方面的特性。环保质量特性:主要是指产品或服务对于环境保护的贡献或对于环境造成的污染等方面的特性。12.1软件质量概述第5页HotTip12.1软件质量概述第62页HotTip二.软件质量1.软件质量定义与软件产品满足规定的和隐含的需要的能力有关的特征或特性的组合。软件质量的特性是多方面的,但必须包括:与明确确定的功能和性能需求的一致性,能满足给定需要的特性之全体。与明确成文的开发标准的一致性。与所有专业开发的软件所期望的隐含的特性的一致性。顾客或用户认为能满足其综合期望的程度,软件的组合特性,它确定软件在使用中将满足顾客预期要求的程度。12.1软件质量概述第6页HotTip12.1软件质量概述第63页HotTip2.软件质量的要素正确性:系统满足规格说明和用户的程度,即在预定环境下能正确地完成预期功能的程度。健壮性:在硬件发生故障、输入的数据无效或操作等意外环境下,系统能做出适当响应的程度。效率:为了完成预定的功能,系统需要的计算资源的多少。完整性Integrity:对未经授权的人使用软件或数据的企图,系统能够控制的程度。可用性:系统在完成预定应该完成的功能时令人满意的概率。?风险性:按预定的成本和进度把系统开发出来,并且使用户感到满意。12.1软件质量概述第7页HotTip2.软件质量的要素12.1软件质量概述第64页HotTip可理解性:理解和使用该系统的容易程度。可维修性:诊断和改正错误所需要的概率。灵活性:修改或改正在运行的系统需要的工作量的多少。可测试性:软件容易测试的程度。可移植性:可重用性:在其他应用中该程序可以被再次使用的程度。(可)互运行性interoperationality:把该系统和另一个系统结合起来工作量的多少12.1软件质量概述第8页HotTip可理解性:理解和使用该系统的容易程度。1图12-1McCall软件质量模型65图12-1McCall软件质量模型9图12-1McCall软件质量模型图12-2

p23966图12-1McCall软件质量模型10第67页HotTip三.项目质量管理的概念

项目质量管理的基本概念也包括:项目质量方针的确定、项目质量目标和质量责任的制定,项目质量体系的建设,以及为实现项目质量目标所开展的项目质量计划、项目质量控制和项目质量保障等一系列的项目质量管理工作。

1.使顾客满意是质量管理的目的2.质量是干出来的不是检验出来的3.质量管理的责任是全体员工的4.质量管理的关键是不断地改进和提高(本段可忽略)12.1软件质量概述第11页HotTip12.1软件质量概述3.4.2质量体系、质量手册和质量计划

质量体系、质量手册和质量计划之间的关系质量体系好比一个国家的法制机构,质量手册就如同宪法,是质量体系的文档化的体现。而为每个项目制定的质量计划类似地方法规,它在符合质量手册的前提下,根据自身的要求与特殊性,通过适当的裁减修正而来。

关系图12.4软件质量体系3.4.2质量体系、质量手册和质量计划关系图1第69/53页HotTip一.软件度量(softwaremetric=ameasureofsomepropertyofapieceofsoftwareoritsspecifications.=尺度)

软件度量是对软件开发项目、过程及其产品进行数据定义、收集以及分析的持续性定量化过程,目的在于对此加以理解、预测、评估、控制和改善。度量取向是软件开发诸多事项的横断面p240=多样性=表12-1,包括顾客满意度度量、质量度量、项目度量、以及品牌资产度量、知识产权价值度量等。度量取向要依靠事实、数据、原理、法则;其方法是测试、审核、调查;其工具是统计、图表、数字、模型;其(理想)标准是量化的指标。12.2软件(质量)的度量第13/53页HotTip12.2软件(质量)的度量第70页HotTip表12-1软件开发主体及其度量内容

12.2软件质量的度量角

色度

容经营者开发组织(1)顾客满意度;(2)收益;(3)风险;(4)绩效;(5)发布的缺陷的级别;(6)产品开发周期;(7)日程与作业量估算精度;(8)复用有效性;(9)计划与实际的成本管理者项目组(1)不同阶段的成本;(2)不同开发小组成员的生产率;(3)产品规模;(4)工作量分配;(5)需求状况;(6)测试用例合格率;(7)主要里程碑之间的估算期间与实际期间;(8)估算与实际的员工水平;(9)结合测试和系统测试检出的缺陷数目;(10)审查发现的缺陷数目;(11)缺陷状况;(12)需求稳定性;(13)计划和完成的任务数目作业者软件开发人员(1)工作量分配;(2)估算与实际的任务期间与工作量;(3)单体测试覆盖代码;(4)单体测试检出缺陷数目;(5)代码和设计的复杂性第14页HotTip12.2软件质量的度量角色度第71页HotTip软件度量的效用有如下几个方面:理解:获取对项目、产品、过程和资源等要素的理解,选择和确定进行评估、预测、控制和改进的基线。预测:通过理解项目、产品、过程、资源等各要素之间的关系建立模型,由已知推算未知,预测未来发展的趋势,以合理地配置资源。评估:对软件开发的项目、产品和过程的实际状况进行评估,使软件开发的标准和结果都得到切实的评价,确认各要素对软件开发的影响程度。控制:分析软件开发的实绩和计划之间的偏差,发现问题点之所在,并根据调整后的计划实施控制。改善:根据量化信息和问题之所在,探讨提升软件项目、产品和过程的有效方式,实现高质量、高效率的软件开发。12.2软件质量的度量第15页HotTip软件度量的效用有如下几个方面:12.2第72页HotTip二.软件度量的分类12.2软件质量的度量度量维度侧

点具

容项目度量过程理解和控制当前项目的情况和状态;项目度量具有战术性意义,针对具体的项目进行。规模、成本、工作量、进度、生产力、风险、顾客满意度等产品度量侧重理解和控制当前产品的质量状况,用于对产品质量的预测和控制。以质量度量为中心,包括功能性、可靠性、易用性、效率性、可维护性、可移植性等过程度量理解和控制当前情况和状态,还包含了对过程的改善和未来过程的能力预测;过程度量具有战略性意义,在整个组织范围内进行。如成熟度、管理、生命周期、生产率、缺陷植入率等第16页HotTip12.2软件质量的度量度量维度侧IEEE982NineClassesofMeasuresProductMeasureserrors,faults,failuresmean-time-to-failurerealibilitygrowthandprojectionremainingproductsfaultscompletenessandconsistencycomplexityProcessMeasuresmanagementcontrolcoveragerisk,benefit,costevaluationIEEE982IEEE982NineClassesofMeasur第74页HotTip三.软件度量过程开发一个度量过程并使其成为企业组织中标准软件过程的一部分;通过定制与整合各种过程资产来对项目及相关(手续=procedure=程序/步骤)拟定过程计划;执行拟定的计划和相关手续来对项目进行过程的实施;当项目进一步成熟且度量需求发生改变时,对相关计划及手续进行改进以改善该过程。12.2软件质量的度量第18页HotTip12.2软件质量的度量第75页HotTip1.过程计划的制定确认范围:该活动的根据是要明确度量需求的大小,以限定一个适合于企业本身需求的度量过程。因为在整个度量过程中是需要花费人力、物力等有限资源的,不切实际的大而全或不足以反映实际结果的需求都会影响度量过程的可靠性以及企业的发展能力。定义程序步骤:在确认了范围后,就需要定义操作及度量过程的步骤,在构造的同时应该成文立案。主要工作包括定义完整、一致、可操作的度量;定义数据采集方法以及如何进行数据记录与保存;定义可以对度量数据进行分析的相关技术,以使用户能根据度量数据得到这些数据背后的结果。12.2软件质量的度量第19页HotTip12.2软件质量的度量第76页2.过程的实施数据的采集:该活动根据已定义的度量操作进行数据的采集,记录及存储。此外,数据还应经过适当的校验以确认有效性。在进行该项活动时应具有一定的针对性,对于不同的项目或活动所需要的实际数据量是有差别的,而且对活动状态的跟踪也是非常重要的。数据的分析:该项活动包括分析数据及准备报告,并提交报告,当然进行评审以确保报告足够的确实性是有必要的。这些程序步骤可能会需要更新,因为报告可能没有为使用者提供有益的帮助或使用者对报告中的内容不理解,在这两种情况下,都应回馈并更新度量过程以再进行数据分析。12.2软件质量的度量第20页12.2软件质量的度量第77页3.过程的改善确认目标对当前能力的理解及评价设计度量过程过程原型过程文档过程实施程序扩展/修改完善12.2软件(质量)的度量第21页12.2软件(质量)的度量第78/53页质量管理是在质量方面指挥和控制组织的协调的活动,指对确定和达到质量所必须的全总职能和活动的管理,包括制定质量方针和质量目标以及质量策划,通过质量计划的编制、质量控制、质量保证和质量提高等活动提高质量的活动。软件项目的质量计划

软件项目质量计划就是要将与项目有关的质量标准标识出来,提出如何达到这些质量标准和要求的设想。项目质量保证计划的编写就是为了确定与项目相关的质量标准并决定达到标准的一种有效方法。

12.3软件质量管理第22/53页质量管理是在质量方面指挥和控第79页

1.软件质量标准技术标准包含两个方面:一是作为软件开发企业的软件行业技术标准,包括知识体系指南、过程标准、建模标准、质量管理标准、程序语言标准、数据库标准;二是软件开发服务对象所在的行业技术标准,例如,安全保密标准、技术性能标准。业务标准指的是软件开发服务对象所在的组织或行业制定的业务流程标准和业务数据标准等。12.3软件质量管理第23页1.软件质量标准12.3软件质量第80页软件开发常用技术标准包括:知识体系:软件工程知识体系指南SWEBOK2004(IEEE)、项目管理知识体系指南PMBOK2000(最新的是PMBOK2004)、组织管理标准等等;过程标准:RUP、软件工程规范国家标准;CMMI、PSP&TSP=PersonalSoftwareProcess&TeamSoftwareProcess(SEI)建模标准:UML、软件工程规范国家标准;质量管理标准:ISO9001:2000、TQC=TotalQualityControl、6σ;程序语言标准:Java、C++、PowerBuilder编程规范;数据库标准:SQL、Oracle数据库后台规范。12.3软件质量管理第24页软件开发常用技术标准包括:12.3软件质量管理第81页2.质量计划的要求确定应达到的质量目标和所有特性的要求。确定质量活动和质量控制程序。确定项目不同阶段中的职责、权限、交流方式以及资源分配。确定采用控制的手段、合适的验证手段和方法。确定和准备质量记录。12.3软件质量管理第25页2.质量计划的要求12.3软件质量管理第82页3.质量计划的编写在编制项目质量计划时,主要的依据如下:质量方针。质量方针是由高层管理者对项目的整个质量目标和方向制定的一个指导性的文件。但在项目实施的过程中,可以根据实际情况对质量方针进行适当的修正。范围描述。范围描述是质量计划的重要依据。产品描述。产品描述包含了更多的技术细节和性能标准,是制定质量计划必不可少的部分。标准和规则。项目质量计划的制定必须参考相关领域的各项标准和特殊规定。12.3软件质量管理第26页3.质量计划的编写12.3软件质量管理第83页在制定质量计划时,主要采取的方法和技术有:效益/成本分析法。质量计划必须考虑效益与成本的关系。满足质量需求的主要效益时减少了重复性工作,即高产出、低成本、高用户满意度。基准法。主要是通过比较项目的实施与其他同类项目的实施过程,为改进项目的实施过程提供借鉴和思路,并作为一个实施的参考标准。流程图。可以包括原因结果图、系统流程图、处理流程图等。因此,流程图经常用于项目质量控制过程中,其主要目的是确定以及分析问题产生的原因。试验设计。试验设计对于分析整个项目输出结果是最有影响的因素,也是十分有效的。对于软件开发、设计原型解决核心技术问题和主要需求也是可行和有效的。12.3软件质量管理第27页在制定质量计划时,主要采取的方法和技术有:12.3第84页软件项目质量保证

软件质量保证(Softwarequalityassurance,SQA)是指确定、达到和维护所需要的软件质量而进行的所有有计划、有组织的管理活动。软件质量保证的目标是以独立审查方式,从第三方的角度监控软件开发任务的执行,就软件项目是否遵循已制定的计划、标准和规程,给开发人员和管理层提供反映产品和过程质量的信息和数据,提高项目透明度,同时辅助软件项目组取得高质量的软件产品。

12.3软件质量管理第28页软件项目质量保证12.3软件质量管理第85页1.质量保证策略质量方针的制定和开展;质量保证方针和质量保证标准的制定;质量保证体系的建立和管理;明确各个阶段的质量保证工作;各个阶段的质量评审;确保设计质量;重要质量问题的提出与分析;总结实现阶段的质量保证活动;整理面向用户的文档、说明书等;产品质量鉴定、质量保证系统鉴定;质量信息的收集、分析和使用。12.3软件质量管理第29页1.质量保证策略12.3软件质量管理第86页1.质量保证策略质量保证的策略主要分为3个阶段/方面:以检测为重:产品制成之后进行检测,只能判断产品质量,不能提高产品质量。以过程管理为重:把质量的保证工作重点放在过程管理上,对开发过程中的每一道工序都要进行质量控制。以产品开发为重:在产品的开发设计阶段,采取强有力的措施来消灭由于设计原因而产生的质量隐患。12.3软件质量管理第30页1.质量保证策略12.3软件质量管理第87页2.质量保证的内容(1)与SQA计划直接相关的工作(2)参与项目的阶段性评审和审计(3)对项目日常活动与规程的符合性进行检查(4)对配置管理工作的检查和审计(5)跟踪问题的解决情况(6)收集新方法,提供过程改进的依据12.3软件质量管理第31页2.质量保证的内容12.3软件质量管理第88页3.软件质量保证措施影响产品质量的因素,这些因素包括:使用的方法和工具;在开发和维护过程中应用的标准;对开发和维护过程所进行的组织管理;软件生产环境;软件开发中人员的组织和管理;工作人员的熟练程度;对工作人员的奖励和工作条件的改善情况;对外部项目转包商交付的产品的质量控制。12.3软件质量管理第32页3.软件质量保证措施12.3软件质量管理第89页3.软件质量保证措施基于非执行的测试(也称为复审或评审),基于执行的测试(即软件测试)和程序正确性证明。复审主要用来保证在编码之前各个阶段产生的文档的质量;基于执行的测试需要在程序编写出来之后进行,它是保证软件质量的最后一道防线;程序正确性证明使用数学方法严格验证程序是否对它的说明完全一致。12.3软件质量管理第33页3.软件质量保证措施12.3软件质量管理第90页三.质量控制质量控制(QualityControl,QC)是确定项目结果是否与质量标准相符,同时确定消除不符合的原因和方法,控制产品的质量,及时纠正缺陷的过程。1.常见的质量问题违背IT项目规律。如未经可行性论证,不做调查分析就启动项目;任意修改设计;不按技术要求实施,不经过必要的测试、检验和验收就交付使用等蛮干现象。技术方案本身的缺陷。基本部件不合格。选购的软件组件、中间件、硬件设备等不稳定、不合格,造成整个系统不能正常运行。实施中的管理问题。12.3软件质量管理第34页三.质量控制12.3软件质量管理第91页2.质量控制过程(1)事前质量控制:指项目在正式实施前进行的质量控制,其具体工作内容有以下几类:审查开发组织的技术资源,选择合适的项目承包组织。对所需资源质量进行检查与控制。审查技术方案,保证项目质量具有可靠的技术措施。协助开发组织完善质量保证体系和质量管理制度。(2)事中质量控制:指在项目实施过程中进行的质量控制,其具体工作内容有以下几类:协助开发组织完善实施控制。把影响产品质量的因素都纳入管理状态。建立质量管理点,及时检查和审核开发组织提交的质量统计分析资料和质量控制图表。12.3软件质量管理第35页2.质量控制过程12.3软件质量管理第92页严格交接检查。关键阶段和里程碑应有合适的验收。对完成的分项应按相应的质量评定标准和方法进行检查、验收并按合同或需求规格说明书行使质量监督权。组织定期或不定期的评审会议,及时分析、通报项目质量状况,并协调有关组织间的业务活动等。(3)事后质量控制:指在完成项目过程形成产品后的质量控制,具体工作内容如下:按规定的质量评价标准和办法,组织单元测试和功能测试,并进行可能的检查验收。组织系统测试和集成测试。审核开发组织的质量检验报告及有关技术性文件。整理有关的项目质量的技术文件,并编号、建档。12.3软件质量管理第36页严格交接检查。关键阶段和里程碑应有合适的验收。12.第93页3.软件质量控制质量控制一般由开发人员实施,属于检查职能。质量控制的要点是:监控对象主要是项目工作结果;进行跟踪检查的依据是相关质量标准;对于质量问题,需要分析其产生原因,并确定采取何种措施来消除这些问题。为了控制项目全过程中的质量,也应该遵循以下一些基本原则:控制项目所有过程的质量。过程控制的出发点是预防不合格。质量管理的中心任务是建立并实施文档管理的质量体系。持续的质量改进。定期评价质量体系。12.3软件质量管理第37页3.软件质量控制12.3软件质量管理第94页4.软件项目质量控制活动(1)技术评审主要评审的对象有:软件需求规格说明书、软件设计方案、测试计划、用户手册、维护手册、系统开发规程、产品发布说明等。技术评审应该采取一定的流程,这在企业质量体系或者项目计划中都有相应的规定,例如,下面是一个技术评审的建议流程:召开评审会议:一般应有3~5个相关领域的人员参加,会前每个参加者做好准备,评审会每次一般不超过2小时。在评审会上,由开发小组对提交的评审对象进行讲解。评审组可以对开发小组进行提问,提出建议和要求。评审报告与记录

12.3软件质量管理第38页4.软件项目质量控制活动12.3软件质量管理第95页4.软件项目质量控制活动(2)代码走查。代码走查也是一种非常有效的方法,它可以检查到其他测试方法无法监测到的错误,好多逻辑错误是无法通过测试手段发现的,代码走查是一种很好的质量控制方法。(3)代码会审是由一组人通过阅读、讨论和争议对程序进行静态分析的过程。(4)软件测试。(5)缺陷追踪。12.3软件质量管理第39页4.软件项目质量控制活动12.3软件质量管理第96/53页ISO9000:2000标准体系ISO9000是国际标准化组织提出的企业质量体系标准,它由5个部分组成,着眼于质量管理和质量保证。这是一个通用的质量标准,适合各类制造业和服务业,要求认证的企业有文档记录并实现符合标准规定的20个质量要素,证明有提供满足客户要求的产品和服务的能力。该标准只是为企业建立良好的质量体系提供指导原则,但本身并不涉及相关的实现技术。12.4软件质量体系第40/53页ISO9000:2000标准体系12.4软件第97/53页

质量体系、质量手册和质量计划之间的关系质量体系好比一个国家的法制机构,质量手册就如同宪法,是质量体系的文档化的体现。而为每个项目制定的质量计划类似地方法规,它在符合质量手册的前提下,根据自身的要求与特殊性,通过适当的裁减修正而来。

12.4软件质量体系第41/53页12.4软件质量体系第98页二.CMM标准体系1.CMM的结构(美国国防部出面,美国卡内基·梅隆大学软件工程研究所CMU/SEI于2001年12月发布CMMISM1.1版本)12.3软件质量管理第42页二.CMM标准体系12.3软件质量管理第12章__软件项目质量管理第12章__软件项目质量管理第101页公共特性:用于在阶段式表示法中对公共实践进行分类,有如下5类:

简写

全拼/中文名称

说明

CO CommitmenttoPerform/执行承诺

与方针和领导承诺相关内容

ABAbilitytoPerform/执行能力

资源保证内容 AP ActivitiesPerformed/执行活动

MAMeasurementandAnalysis/度量分析 (DIDirectingImplementation/定向实现)

=CMMI管理人员、过程、产品内容 VEVerifyingImplementation/验证执行高层管理者评审和正确性验证

12.4软件质量体系第45页公共特性:用于在阶段式表示法中对公共实践进行分类,有第102页二.CMM标准体系2.软件过程能力成熟度等级初始级可重复级已定义级已管理级优化级12.4软件质量体系第46页二.CMM标准体系12.4软件质量体系1初始级2可重复级3已定义级4已管理级5优化级无序、混乱的软件过程。依赖个别人的努力和机遇。建立基本的项目管理过程。相似项目,重复以往成果。文档化、标准化和标准的软件过程。软件过程和产品质量有详细的度量标准。持续的对过程进行改进。图CMM分级标准1初始级2可重复级3已定义级4

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论