统计质量管理的基础是什么 基于过程性能模型的软件质量管理过程的研究与应用

1、统计质量管理的基础是什么 基于过程性能模型的软件质量管理过程的研究与应用 摘要:软件产品的质量在很大程度上受到软件开发过程的影响。为了提高竞争力、改进质量以及提高效率,软件企业就需要将更多的注意力放在过程上,通过过程控制其结果。本文对软件质量管理过程进行了研究,通过过程性能基线和过程性能模型分析和管理质量,提出了一个基于过程性能模型的软件质量管理过程模型,并在研究的基础上,构建了软件质量管理系统的体系结构。 关键词:软件质量管理过程性能基线过程性能模型 中图分类号: 文献标识码:a文章编号:1007-9416(x)01-0000-00 1 引言 随着软件产业的飞速发展,软件的核心竞争力主要集中

2、体现在质量、成本和交付工期上,而质量是最显著影响其它两方面的因素。对软件企业来说,质量不再只是争夺市场的一个有利因素,而变成了公司在竞争中成功的必要条件。然而,随着软件规模和复杂度的增加,软件开发过程越来越难以控制,导致开发过程中的产品质量和过程质量处于失控状态。 过去存在着一些片面的观点,认为先进的工具和方法可以神奇地解决软件开发中的质量问题。目前的现实并不尽如人意。有的企业由于缺乏对开发过程的控制,往往很难平衡客户和公司在质量、成本和交付工期的要求,成功的项目比例很小。 面对如前所述的现状,软件质量管理一定要面向预测式管理。一个软件产品的质量主要是由它的开发、采购和维护过程决定的,为了改进

3、软件产品的质量进而提高竞争力,就要把焦点放在能够稳定地开发优质产品所需的过程上1,通过过程数据预测和控制结果。 过程性能模型重点强调过程和产品度量对结果的重要性,分析和建立过程和产品度量与结果的关系。其通过过程性能基线控制过程的关键因子,分析过程的性能偏差,进而预测并控制最终结果。由此可以看出,过程性能模型是解决上述问题的有效方法,本文将关注基于过程性能模型的软件质量管理过程。 本文首先归纳了软件质量和软件质量管理的研究现状,并指出了现有软件质量管理过程所存在的问题;随后引入了过程性能基线和过程性能模型,提出了基于过程性能模型的软件质量管理过程模型,阐述了过程性能基线和模型在质量计划、质量活动

4、、质量度量和分析、质量预测和控制、质量评价和改进等五个质量管理子过程中的应用;最后在研究的基础上,构建了软件质量管理系统的体系结构,包括组织过程资产库,过程支持和软件质量管理三个子系统。 2 软件质量及管理 当前业界已将交付软件的缺陷密度作为软件产品的质量的衡量关键标准。即,已交付软件中每个单位规模的缺陷数,简称为交付缺陷密度。因此,软件质量管理通常围绕缺陷而展开,软件项目的目标是使交付的软件存在尽可能少的缺陷2。 质量管理的任务是计划恰当的质量活动,然后正确执行和控制这些活动,以便可以在软件开发过程中(即在软件交付以前)检测到大多数缺陷2。 质量管理包括确定软件的质量目标,制定实现这些目标的

5、计划,并监控和调整软件计划、软件工作产品、活动和质量目标,以满足客户和最终用户对高质量产品的需求和愿望。 质量管理基于机构、客户和最终用户的需求建立软件产品的质量目标。为实现这些目标,机构制定相应的策略和计划,项目则为实现这些质量目标对其定义的软件过程进行具体调整3。 在软件质量管理过程和方法上,传统的包括:全面质量管理(total quality management, tqm)是一套能控制质量、提高质量的方法;在pmbok4中,软件项目的质量管理是指保证项目满足其目标要求所需要的过程,包括质量计划、质量保证和质量控制三个过程域;著名的“juran三部曲”5tqm的理论基础和基本方法的主要基

6、石包含质量计划、质量控制和质量改进三个步骤,突出了对过程改进的支持。最有成效的要属六西格玛质量管理方法,其理念是通过排除和预防缺陷来提高客户满意度,进而提高企业的收益率,包括过程性能度量集、多种改进框架和分析工具,尤以dmaic框架(定义-度量-分析-改进-控制)最常用6。将六西格玛与cmmi实施相结合将是更有效的过程改进途径。 在软件质量管理工具方面,ishikawa提出了质量控制的七种基本统计工具7,包括因果图8、pareto图、直方图、控制图、散布图、运行图、检查单。目前也有许多有关预测模型的论著,如:rayleigh模型。 现有的软件质量管理过程和方法提供了质量管理的高层指导,主要关注

7、于实施步骤以及最终结果,质量管理工具也着力于解决质量管理中的具体的某“点”的质量问题和控制,但在如何通过过程控制其结果,业界正在寻求有效的途径,是亟待解决的问题。例如:如何制定低风险且切实可行的质量计划、如何在开发过程不同的影响因素下确保项目质量目标得以实现等。这些正是本文致力于研究的主题。 3 基于过程性能模型的软件质量管理过程 过程性能模型是解决通过过程控制其结果的有效方法,具体定义如下。 过程性能基线(process performance baseline, ppb)是对遵循过程所达到的实际结果的xx化刻画,用于比较实际过程性能和预期过程性能的基准9。 过程性能模型(process p

8、erformance model, ppm)是对过程属性和过程工作产品之间关系的描述,基于历史过程性能数据而建立,并使用项目中收集的过程度量和产品度量进行校准,最终用于预测遵循过程将能达到的结果9。 过程性能基线可用于组织内任何独立的项目,通过分析所收集的度量,建立结果的分布和极差,其刻画了所选过程的预期性能10。过程性能模型基于其他过程和产品的度量来估算或者预测某一过程性能的度量,刻画了过去的和当前的过程性能,对过程将来的性能进行预测。过程性能基线控制子过程的能力;过程性能模型预测过程的中间目标和最终目标,通过过程控制结果,在子过程结束时进行调整和预测,确保最终目标的实现。 基于六西格玛质量

9、管理的方法及其dmaic框架(定义-度量-分析-改进-控制),以及过程管理的四个核心职责(定义过程、度量过程、控制过程、改进过程),并结合过程性能基线和模型的原理,本文提出了一种基于过程性能模型的软件质量管理过程模型,该模型在质量管理过程中增加了过程性能基线和模型的指导、统计管理以及预测和控制,提供了软件开发过程中进行质量控制和持续改进的框架,如图1所示。模型主要包括:质量计划、质量活动、质量度量和分析、质量预测和控制、质量评价和改进。接下来将详细阐述过程性能基线和模型在上述五个质量管理子过程中的应用。 图1 基于过程性能模型的软件质量管理过程模型 3.1 质量计划 要生产出高质量的产品,首先

10、必须制定质量计划。质量计划作为基于过程性能模型的软件质量管理过程模型的一个核心环节,简言之,就是怎样以及何时将质量活动和质量材料应用到一个项目中。质量计划中必须明确定义在软件开发的各个阶段应如何进行质量活动。制定质量计划的前提是项目已完成任务计划、进度计划和规模估算,故在制定质量计划之前必须进行入口准则的验证。 基于过程性能模型的软件质量管理过程要充分发挥过程性能基线和模型在质量计划制定时的指导作用。团队软件过程(team software process, tsp)质量计划是一个最佳范例,本节将介绍如何使用过程性能基线和模型指导质量计划的制定。 本文为全文原貌 未安装pdf浏览器用户请先下载

11、安装 原版全文 3.1.1 tsp质量计划 团队软件过程(tsp)制定的质量计划包括以下几个方面11:系统无缺陷比率、各阶段排除缺陷密度、质检过失比、阶段收益、过程收益、缺陷引入率和缺陷排除率,可划分为过程质量度量和产品质量度量两大类。 为了提高客户满意度,首要解决的就是降低交付缺陷密度,即验收测试过程中发现的缺陷密度。团队在制定质量计划时,首先估算可能会引入的缺陷数,其中估算每个过程阶段所引入的缺陷数的方法有许多种,tsp质量计划使用的是缺陷引入率;然后就是估算排除的缺陷数,这里tsp质量计划使用了阶段收益。一旦团队按阶段估算了引入和排除的缺陷,那么结合项目的规模估算与任务和进度计划,就可以

12、估算出每个阶段将会排除的缺陷密度,然后检查所估算的交付缺陷密度是否满足项目的质量目标,进而通过局部调整以完成质量计划。 3.1.2 使用过程性能基线和模型指导质量计划制定 在使用缺陷引入率和阶段收益估算缺陷的引入与排除时,传统的做法是“拍脑袋”或者基于业界数据,有经验的组织会基于历史数据,但是实际实施表明:上述情况中绝大多数的估算都是徒劳的。原因如下:一是因为对阶段缺陷引入率和阶段收益的估计值没有准确地反映缺陷引入与排除过程的能力,不应只是单个值,而应该是一个区间,包括均值和上下限;二是因为没有对缺陷引入与排除的过程进行计划,尤其是某些关键度量,例如评审速度、测试覆盖度、人员技能、经验等级、检

13、查单条目数等,从而无法通过缺陷引入与排除的过程控制过程的执行结果(缺陷引入率和阶段收益),使得项目质量目标的实现变得不可预测和控制。 为解决上述问题,这里使用过程性能基线和模型从四个环节提供支持: (1)建立项目的质量目标,制定交付缺陷密度的计划值。 (2)基于组织的历史数据,建立阶段缺陷引入率和阶段收益的过程性能基线,参照过程性能基线计划阶段缺陷引入率和阶段收益,以“上限,均值,下限”的三元组形式。 (3)基于组织的历史数据,构建缺陷引入过程和缺陷排除过程内部的过程性能模型,建立子过程结果(也即中间目标)与子过程因子(包括可控的和不可控的)之间的关系,以及子过程可控因子的过程性能基线,参考所

14、建立的过程性能基线和模型制定子过程的质量计划。同时在质量预测和控制时,需要对这些子过程进行统计管理。例如设计评审,代码评审,单元测试。 (4)在分别计划好项目的质量目标、缺陷引入和排除过程的中间目标、缺陷引入和排除过程因子之后,使用统计方法(例如蒙特卡洛模拟)对项目质量目标达成情况进行预测12,通过置信度与置信区间评估目标达成情况的风险,必要时调整计划。 若软件组织处于起步阶段,没有足够的历史数据,质量计划的制定可参考tsp质量准则13。 3.2 质量活动 质量活动作为软件开发过程中的一项必要且非常重要的活动,负责排除开发过程中所引入的缺陷。其作为软件质量管理过程中不可缺少的环节,通常分为两大

15、类:评审和测试。评审不但可以识别存在于可执行系统中的缺陷,而且可用于xx。评审有许多种类型,其中主要的类型有审查、走查和个人评审。审查和走查是同行评审14。测试则旨在发现尽可能多的缺陷。测试有七种类型,分别是单元测试、集成测试、外部功能测试、回归测试、系统测试、验收测试以及安装测试15。常用的有单元测试、集成测试以及系统测试等项。 以tsp为例,其任务计划中所涉及的质量活动按执行的先后顺序排列有需求审查、高层测试审查、详细设计评审、详细设计审查、代码评审、编译、代码审查、单元测试、集成测试、系统测试、验收测试。 项目的质量经理根据进度计划,按期组织任务计划中所安排的质量活动,基于既定的质量计划

16、,具体由质量保证人员按计划实施。 3.3 质量度量和分析 在质量活动实施的过程中,软件质量保证人员应收集质量度量的实际数据,包括基本度量和派生度量。以软件审查为例,基本度量包括规模、评审准备时间、评审会时间、参与审查人数以及所发现的不同类型的缺陷数;派生度量包括总的审查时间、准备速度、审查速度、总的审查速度、缺陷密度、每小时发现缺陷数、评审准备时间与评审会时间之比、审查有效性。个体软件过程(personal software process, psp)14提供了非常有价值的度量和分析。 与此同时,质量人员可对收集的质量度量数据进行一些初步的探索性分析,为进一步的质量预测和控制打下基础。数据分析

17、的切入点可以为缺陷的引入、排除以及泄漏,与评审有关的准备速度、评审速度、缺陷密度、审查有效性等,以及与测试有关的测试用例密度、测试覆盖度、测试用例有效性等。数据分析的方法包括如下: (1)推测,支持工具有pareto图、运行图、直方图、箱线图、多变异图等; (2)提出原因的假设,支持工具有因果图和关系图等; (3)证实或排除原因,这主要是由能提供假设检验、方差分析和多元分析等方法的高级分析工具所支持。 3.4 质量预测和控制 为了有效地跟踪并控制质量活动的实施,实现质量计划中对各质量活动所设定的预期目标,进而确保项目质量目标的达成,基于过程性能模型的软件质量管理过程模型所包含的另一个核心环节就

18、是质量预测和控制,主要涉及到统计管理子过程性能和预测项目质量目标达成两方面。具体而言就是使用过程性能基线和模型对质量计划中标注的关键子过程实施统计管理,在每一个子过程结束时使用过程性能模型预测项目质量目标达成的置信度,必要时对质量计划进行调整。 3.4.1 统计管理子过程性能 统计管理的过程9(statistically managed process)即使用基于统计的方法进行管理的过程,其中,对该过程进行了分析,过程偏差的特殊原因得以识别,过程性能也被控制在已定义的范围内。对子过程实施统计管理,可以使子过程的性能得到很好的控制,从而确保实现子过程的预期质量目标。适于统计管理的度量必须是可控的

19、,对子过程来说是关键的,可以为人员属性、环境因子、技术因子、工具或硬件条件、过程因子、客户以及供应商等利益相关者,例如人员经验等级、人员可用性、同行评审相关度量、测试覆盖度、编程语言等16。 根据对相关材料的研究,本文归纳并提炼出了一个统计管理子过程性能的流程,大体将统计管理子过程划分为过程稳定性评估和过程能力评估两部分,如图2所示。 图2 统计管理子过程性能 (1)过程稳定性评估 过程稳定性评估17需要用到统计过程控制方法(statistical process control, spc)。spc主要用来测量一个过程的稳定性并识别过程的各个执行情况是否超出所预期的变化范围和控制界限。控制图是

20、实现统计过程控制强有力的工具,常用的为xmr图和u图。通常情况下,适于统计管理的度量其取值都是服从正态分布的,对于不服从正态分布的情况,可以使用箱线图。 对于不稳定的过程(子过程中出现了性能偏差),需要识别偏差的特殊原因,集中分析并采取矫正措施排除特殊原因。检测不稳定性除了western electric提出的4种有效测试 17 外,还可参考minitab等统计软件中提供的其他测试规则。必要时可采用分组的方法。 (2)过程能力评估 在子过程执行即将结束时,需要分析子过程的能力,进行过程能力评估。过程能力17评估的前提是过程是稳定的或统计受控的。有能力的过程首先是稳定的,且其能力的上下限必须在规

21、格界限之内。过程能力可以通过过程能力指数cp和cpk来衡量,使用控制图或直方图进行图形化展示。 本文为全文原貌 未安装pdf浏览器用户请先下载安装 原版全文 过程能力指数cp是我们描述过程能力的最重要指标,但由于cp的计算与过程输出的均值无关,它是假定过程输出的均值与规格中值m重合时的过程能力。因此,cp指数只是反映了过程的潜在能力。为此引入了过程能力指数cpk,其被称为实际过程能力指数18。 合理考虑cp和cpk两个指数,对整个过程的状况就有了较为全面的了解。不应单独使用这两个之中的一个。 当cp和cpk都较小且二者差别不大时,说明过程的主要问题是太大,改进过程应首先着眼于降低过程的波动。

22、若cp较大,而cpk很小,二者差别较大,说明过程的主要问题是偏离m太多,改进过程应首先着眼于移动值,使之更接近m。 如果cp本身不够好,cpk更小,二者差别较大时,说明过程的和都有问题,通常改进过程应首先移动值,使之更接近m,然后设法降低过程的波动,减小。 需要特别强调的是,cp和cpk是由处于统计受控状态下的过程波动的大小和均值偏离决定的。因此首先要判断过程是否处于统计受控状态。 3.4.2 预测项目质量目标达成 在每一个子过程结束时,应使用子过程中间目标与项目质量目标之间的过程性能模型预测项目质量目标达成的置信度。当达到项目预期质量目标所面临的风险超出可以接受的范围时,本文结合过程稳定性和

23、过程能力评估的结果以及进度计划给出相关决策如表1所示: 表1 预测项目质量目标无法达成的决策 过程 进度 过程不稳定 过程稳定,非有能力的过程 过程稳定且为有能力的过程 进度允许 识别过程偏差的特殊原因,返工 从过程的关键因子着手,提高过程能力,返工 增加过程执行次数 进度不允许 调整项目质量目标,或者调整项目下游过程的目标 调整项目质量目标,或者调整项目下游过程的目标 调整项目质量目标,或者调整项目下游过程的目标 3.5 质量评价和改进 项目到达结项阶段时,软件质量管理也进入了最后一个环节:质量评价和改进。基于过程性能模型的软件质量管理过程中的质量评价和改进除了进行传统的质量总结报告之外,还

24、包括基于正交缺陷分类19(orthogonal defect classification, odc)的pareto缺陷类型分析、过程性能基线和过程性能模型的分析评价。 质量总结报告提供了项目质量目标达成情况,质量活动的过程度量和结果度量实际数据,以及缺陷的引入排除情况汇总等。 考虑到odc的缺陷类型与特定的软件开发阶段相联系,将pareto缺陷类型分析与odc结合起来,有利于识别最普遍的缺陷类型。而且通过pareto分析找出缺陷数最多的缺陷类型,然后找出与该缺陷类型相关的开发阶段,从而对该阶段采取相应的改进措施。 质量评价和改进环节最重要的一步就是要对整个质量管理过程中所使用的过程性能基线和

25、过程性能模型进行分析和评价,包括过程性能基线是否需要更新、过程性能模型的评价以及过程性能模型是否需要更新等。 3.5.1 过程性能基线更新决策 过程性能基线的建立过程是增量或迭代的,在获得新项目的实际度量数据后,要评估数据质量,然后将数据纳入已有基线的分析,确定是建立一个新基线还是使用已有基线。 判断将新的项目数据纳入已有过程性能基线是否合适的一个方法是:执行假设检验来判断新数据与已有基线是否存在显著的统计差异。如果存在显著的统计差异,我们需要使用新的项目数据建立新基线;如果假设检验的结果表明没有显著差异,则继续使用已有基线。 此外,在综合考虑项目和项目组之间的内在区别及组织业务变更的基础上,

26、应定期评审组织过程性能基线集,以确定是否需要建立新的基线,或者是否需要合并、修订或放弃已有基线。组织过程性能基线需要合并、修订或放弃的情况如下: (1)当子过程改变时; (2)当组织的结果改变时(例如,由于过程偏移); (3)当组织的需要改变时。 3.5.2 过程性能模型评价与更新决策 基于过程性能模型的软件质量管理过程是否能真正奏效,过程性能模型自身的好坏至关重要,其是否能有效且准确地对目标进行预测和控制、其可理解程度及其可用性等都需要进行严格的评价。 通过对可靠性增长模型、质量管理模型等模型的评价标准进行调研20,本文归纳了四条过程性能模型的评价标准,如下所示: (1)预测有效性。预测结果

27、与实际结果偏差大不大,直接关系到模型的好坏。 (2)及时性。模型能够越早地发现问题或提高的征兆,就有越多的时间提前进行计划。 (3)开发过程的覆盖程度。开发过程的所有阶段的模型覆盖度是很重要的。每个开发阶段必须得到管理,并且应当实施适当的措施。往往需要建立模型集。 (4)简单性。数据采集简单并且代价不高;概念简单,用户不需要很多的数学基础就能理解。 过程性能模型的更新包括对模型的校准(calibration)和修订(revision)。 量化管理项目时,从统计管理选择的子过程中获取关键属性度量,通过使用所获得的这些实际性能数据,校准有关过程的过程性能模型,判断项目是否能够实现其目标,包括中期和

28、最终目标(此时这些目标在项目生命周期的后面阶段才可以度量)。 需要修订过程性能模型的情况总结如下: (1)当子过程改变时; (2)当组织的结果改变时; (3)当组织的需要改变时。 4 质量管理系统体系结构 在对基于过程性能模型的软件质量管理过程的研究的基础上,研发了质量管理系统,其体系结构如图3所示。该系统建立了组织过程资产库,并提供两大功能:过程支持和软件质量管理。 图3 质量管理系统体系结构 4.1 组织过程资产库 一个组织应该拥有自己的过程资产库,包括组织的标准过程集、度量库、过程性能基线库以及过程性能模型库,分别为过程、度量、ppb和ppm建立了相应的数据字典。其中,标准过程集支持过程

29、定义和裁剪,度量库包括过程度量和产品度量,过程性能基线库以“上限、均值、下限”的方式存储,过程性能模型库中涵盖基本的统计预测模型和高级预测模型。 4.2 过程支持 过程支持提供了从软件度量到过程性能基线直至过程性能模型的建立与维护功能。随着度量数据的不断积累,过程性能基线的控制限在建立的过程中需要不断地修订。开发过程性能模型也是一个迭代的过程,不断的选择一个或多个适当的统计建模方法,并用过去的性能数据对模型进行评估,直到得到适当的模型预测值。 过程性能基线建立的统计方法为控制图理论,支持过程性能模型建立的统计方法包括回归、方差分析、虚拟变量回归、卡方检验、逻辑斯蒂回归,以及蒙特卡洛模拟,贝叶斯

30、信念网络(bayesian belief networks, bbn)。 4.3 软件质量管理 (1)质量计划模块支持入口准则验证、质量计划概要、项目质量目标的建立、各阶段质量活动其质量目标的建立、各阶段质量活动的属性及其度量的详细计划、项目质量目标达成情况预测及结果报告。 (2)质量活动模块支持评审过程、测试过程的实施。前者包括评审计划、评审会、缺陷修复、评审总结,后者包含测试用例管理、测试报告、缺陷管理。 (3)质量度量和分析模块负责从过程中进行质量度量数据(特别是缺陷数据)的收集、分析、评价并生成质量状态报告,质量数据分析包括按阶段和项目划分的缺陷引入和排除情况分析等。 (4)质量预测和

31、控制支持统计管理子过程性能和目标达成情况预测,为质量活动反馈偏差原因和建议的矫正措施,必要时提供质量计划调整的相关决策。 本文为全文原貌 未安装pdf浏览器用户请先下载安装 原版全文 (5)质量评价和改进模块基于项目质量目标实际达成情况和软件开发过程中的质量数据,生成质量总结报告,并支持基于odc的pareto缺陷类型分析,重点提供过程性能基线和过程性能模型更新的决策和相关评价。 5 结语 本文对软件质量管理过程进行了研究,提出了一种基于过程性能模型的软件质量管理过程模型,包括如何使用过程性能基线和模型指导质量计划的制定、进行质量预测和控制等,解决了质量目标无法有效预测和控制的问题。基于研究,

32、构建了软件质量管理系统的体系结构,下一步将深入研究通过开发过程控制缺陷的引入,从而全方位地实现软件质量管理。 参考文献 1 humphrey w. s. the team software process. cmusei著, 刘孟仁译. 能力成熟度模型(cmm):软件过程改进指南. 北京: 电子工业出版社, 2001. 4 pmi. a guide to the project management body of knowledge, pmbok 2000 edition. 5 juran j. m., gryna f. m. jr. quality planning and analysi

33、s: from product development through use. new york: mcgraw-hill, 1970: 127-178. 6 jeannine m. siviy, m. lynn penn, robert w. stoddard. cmmi and six sigma. massachusetts: addison wesley, x. 7 ishikawa k. guide to quality control, white plains. new york: quality resource, 1989: 35-57. 8 kume h. statistical methods for quality improvement. tokyo: the association for overseas technical scholarship, 1989. 9 cmmi product team. cmmi for development, version 1.2. carnegie mellon university, x. 10 robert w. stod