TCQAE112024信息技术众包测试众测服务质量评价

ICS35.080

CCSL77

T/CQAE

团体标准

T/CQAE11XXX—XXXX

信息技术众包测试众测服务质量评价

Informationtechnology—Crowdsourcedtesting—Servicequalityevaluationof

crowdsourcedtesting

(报批稿)

XXXX-XX-XX发布XXXX-XX-XX实施

中国电子质量管理协会发布

T/CQAE/ST11XXX—XXXX

目次

前言......................................................................................................................................................................II

1范围..................................................................................................................................................................1

2规范性引用文件..............................................................................................................................................1

3术语和定义......................................................................................................................................................1

4众包测试参与角色、服务流程......................................................................................................................2

4.1众包测试参与角色...................................................................................................................................2

4.2众包测试服务流程...................................................................................................................................2

5众包测试任务设计评价指标..........................................................................................................................3

5.1任务分解质量...........................................................................................................................................3

5.2任务预算...................................................................................................................................................4

6众包测试任务分配评价指标..........................................................................................................................4

6.1分配方案...................................................................................................................................................4

6.2预期时间...................................................................................................................................................4

6.3测试人员参与情况...................................................................................................................................4

7众包测试任务执行评价指标..........................................................................................................................4

7.1众包测试机构参与情况...........................................................................................................................4

7.2任务执行时间...........................................................................................................................................5

7.3任务难度...................................................................................................................................................5

7.4任务执行率...............................................................................................................................................5

7.5任务完成度...............................................................................................................................................5

8众包测试结果整合评价指标..........................................................................................................................5

8.1报告有效性...............................................................................................................................................5

8.2报告重复性...............................................................................................................................................5

8.3缺陷价值...................................................................................................................................................5

8.4缺陷分布...................................................................................................................................................5

8.5测试报告质量...........................................................................................................................................5

8.6支付与激励效能.......................................................................................................................................6

9众包测试服务质量评价程序..........................................................................................................................6

9.1概述...........................................................................................................................................................6

9.2评价模型构建...........................................................................................................................................6

9.3评价步骤...................................................................................................................................................7

9.4评价人员与机构要求...............................................................................................................................8

9.5评价报告...................................................................................................................................................8

（规范性）众包测试评价指标测量方法...................................................................................9

附录B（资料性）众包测试指标分级、必要性及权重......................................................................15

I

T/CQAE/ST11XXX—XXXX

信息技术众包测试众测服务质量评价

1范围

本文件确立了基于流程的众包测试服务质量评价指标，构建面向全生存周期的众包测试服务质量

判定和综合评价模型。

本文件的预期用户和使用场景包括：

a)众包测试发包方、平台方、接包方，当：

1)参与或期望参与众包测试活动时；

2)评价、检验、认证、评定其能力满足众包测试要求时。

b)期望以众包测试的方式检验系统或软件产品质量的开发者或产品经理。

c)开展众包测试服务评估、资质认证的第三方组织。

d)监管众包测试活动的机构。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T36733-2018服务质量评价通则

T/CQAE11017-2021信息技术众包测试服务质量保障要求

T/CQAE11018-2021信息技术众包测试接包方机构评价

T/CQAE11020-2022信息技术众包测试众测产品质量评价

3术语和定义

GB/T36733-2018、T/CQAE11017-2021、T/CQAE11018-2021、T/CQAE11020-2022界定的术语和

定义适用于本文件。

3.1

众包测试服务serviceofcrowdsourcedtesting

一种以分布式、群体协作方式开展软件测试的服务模式，通过聚合多个测试人员，利用网络平台和

特定的任务管理机制，在质量保障要求下完成软件测试任务。

3.2

众包测试服务质量servicequalityofcrowdsourcedtesting

1

T/CQAE/ST11XXX—XXXX

在众包测试服务模式中，通过组织和管理众包测试参与角色，针对软件、产品或系统进行众包测试

活动的综合评价，涵盖众包测试的任务设计、任务分配、任务执行和结果整合等全过程，旨在通过测试

覆盖范围、测试过程管理、参与角色配合与协作、问题发现能力、反馈与持续改进、测试结果可信度和

测试活动合规性等方面综合考量众包测试服务的有效性。

4众包测试参与角色、服务流程

4.1众包测试参与角色

众包测试的主要参与角色如下：

a)发包方：向平台方发出众包测试需求申请，获取众包测试服务的企业、机构或个人；

b)接包方：负责执行众包测试任务并提交众包测试结果的企业、机构或个人；

c)平台方：为发包方、接包方提供在线众包测试平台，以支持众包测试活动的第三方，通常不由

发包方、接包方直接担任；

d)项目管理方：安排众包测试项目的测试活动、分配众包测试任务、协调测试相关资源、审核测

试结果等，对众包测试项目的质量负责，一般由具有专业测试资质的机构或者具有专业测试证

书的个人担任。

注：众包测试项目无专业测试资质的机构或者具有专业测试证书的个人担任其项目管理方时，由其委托的平台方兼

任项目管理方，基于此，本文件将项目管理方作为众包测试参与角色独立出来。

4.2众包测试服务流程

图1给出了众包测试服务流程，分为众包测试任务设计、众包测试任务分配、众包测试任务执行和

众包测试结果整合四个阶段。

众包测试服务流程

发包方平台方项目管理方接包方

开始

需求提交需求发布需求确认

任务设计

众包测试任务设计

任务发布

任务分配任务接收

众包测试任务分配

任务执行

完成度评估结果提交

众包测试任务执行

结果审核

报告验收报告交付报告汇总

结束

众包测试结果整合

图1众包测试服务流程图

2

T/CQAE/ST11XXX—XXXX

4.2.1众包测试任务设计

项目管理方收到发包方的测试需求和被测件后开展众包测试任务设计，主要步骤如下：

a)发包方将测试需求和已固化版本的被测件提供给平台方，并明确测试交付时间与测试预算；

b)平台方依据测试环境、测试类型、测试交付时间以及测试预算等因素，挑选测试领域和项目经

验相匹配的项目管理方；

c)项目管理方根据测试需求及被测件的具体特性，设计适宜众包测试人员执行测试的任务，发包

方和平台方可根据需要参与，共同确定测试任务的细节。每个众包测试任务应涵盖待测的具体

功能和模块、测试环境配置说明、报告提交的截止时间、前置操作和活动指南、测试工具、对

众包测试人员的专业技能要求、预算及预期工作量估计等内容。

4.2.2众包测试任务分配

众包测试项目管理方完成众包测试任务设计后，协助众包测试人员选择任务，主要步骤如下：

a)众包测试项目管理方将众包测试任务发布于众包测试平台上，或依据众包测试人员的擅长领

域、历史测试记录、拥有的软硬件测试资源、地理位置等情况，制定分配方案，将任务推送至

特定众包测试人员或机构；

b)众包测试人员或机构在众包测试平台上选择合适的众包测试任务，或确认接收由众包测试项

目管理方推送的任务；

c)当众包测试平台上某任务长时间无众包测试人员或机构承接，或由众包测试项目管理方推送

的任务均遭拒绝，该众测任务设计失败，需返回至众包测试任务设计阶段，对该任务重新设计。

4.2.3众包测试任务执行

众包测试人员通过在众包测试平台接收众包测试任务，或由项目管理方推送具体任务后，依据任务

描述开展测试活动，完成后向平台方提交测试结果，主要步骤如下：

a)众包测试人员或机构根据已接收的众包测试任务展开测试活动；

b)众包测试人员或机构向平台方提交测试结果；

c)项目管理方根据提交的测试结果实时评估任务完成度。

4.2.4众包测试结果整合

众包测试结果整合是在测试活动截止后，众包测试项目管理方收集众包测试人员提交的测试结果，

对其进行分析、查重与检错，整合形成最终报告，交付众包测试客户，完成确认、反馈并支付酬劳，主

要步骤如下：

a)众包测试项目管理方收集上一阶段交付的测试结果，并对其进行分析、查重与检错；

b)众包测试项目管理方汇总所有测试结果，形成最终测试报告并提交给平台方；

c)平台方将测试报告交付发包方；

d)发包方验收最终测试报告并支付佣金。

5众包测试任务设计评价指标

5.1任务分解质量

5.1.1需求覆盖情况

3

T/CQAE/ST11XXX—XXXX

从软件需求以及测试需求的角度出发，评价众包测试任务对需求的覆盖情况，保证所有需求中的测

试项都有与之对应的众包测试任务。

5.1.2操作流程覆盖情况

从被测件的角度出发，对众包测试任务被测件操作流程的一致性进行评价，用于引导非专业的众包

测试人员开展测试，保证众包测试任务的设计与被测件使用流程一致。

5.1.3任务复杂度

对众包测试任务的复杂度进行评价，根据复杂程度归一化赋值，以便于开展后续评价。

5.2任务预算

5.2.1任务预算金额

对众包测试任务的任务预算金额进行评价，包括任务预算金额是否依据任务难度、任务复杂度以及

任务规模进行分配，任务总金额是否在合同规定范围内等。

5.2.2任务工作量

对众包测试任务需要的工作量估算进行评价，衡量在任务总金额和总周期的约束下，该项目能否完

成。

6众包测试任务分配评价指标

6.1分配方案

对众包测试任务的分配方案进行评价，包括评估任务难度、类型与众包测试人员能力是否匹配，任

务估算的工作量能否得以满足等。

6.2预期时间

对众包测试任务分配方案的测试完成时间进行预估，结合单一任务的预期完成时长与分配方案的

完成时长，估算整个众包测试项目的总时长。

6.3测试人员参与情况

为保证众包测试的多样性和分布，对众包测试任务分配方案的测试人员参与情况进行评价，包括：

a)测试人员地理分布；

b)测试人员测试设备；

c)测试人员测试工具；

d)测试人员测试能力分布。

7众包测试任务执行评价指标

7.1众包测试机构参与情况

对众包测试执行中的测试机构参与情况进行评价，包括有无专业的测试机构参与、专业测试机构的

角色、能否出具专业报告等。专业的测试机构是指具有软件测试资质的机构，资质要求参照T/CQAE

11017-2021和T/CQAE11018-2021执行。

4

T/CQAE/ST11XXX—XXXX

7.2任务执行时间占比

对众包测试任务执行时间所占众包测试总时长的比例进行评价，以推算任务实际执行情况。

7.3任务难度

对众包测试执行中的任务难度进行评价，用于衡量众包测试方案中，任务和众包测试人员能力的匹

配程度。主要依据参与众包测试任务的人员数量及其测试能力、任务复杂度，任务执行时间。

7.4任务执行率

对众包测试执行中的众包测试任务执行率进行评价，便于后期评价众包测试任务分配方案的调整。

7.5任务完成度

对众包测试执行中的任务完成度进行评价，以决定是否可以提前进入下一个阶段；如果提前达到既

定要求，则可以提前结束测试活动，以节省测试时间和成本。主要依据参与测试人员的工作情况、历史

表现及实时提交的测试报告。

8众包测试结果整合评价指标

8.1报告有效性

对众包测试结果整合阶段中的测试报告有效性进行评价，主要依据有效测试报告占总报告比例。

8.2报告重复性

对众包测试结果整合阶段中的测试报告重复性进行评价，主要依据重复测试报告占有效报告比例。

8.3缺陷价值

8.3.1缺陷严重程度

对众包测试结果整合阶段中的缺陷严重程度进行评价，缺陷严重程度划分为致命、严重、一般和建

议修改（较轻）。

8.3.2缺陷罕见程度

对众包测试结果整合阶段中的缺陷罕见程度进行评价，主要依据发现该缺陷的测试人员数量占实

际执行该任务的测试人员总数的比例。

8.4缺陷分布

8.4.1缺陷分布广度

对缺陷在众包测试任务中的分布范围进行评价，用以反映众包测试的全面性。

8.4.2缺陷密度

对缺陷在众包测试任务中的密度进行评价，比较不同众包测试任务的缺陷分布情况。

8.5测试报告质量

8.5.1缺陷查全率

5

T/CQAE/ST11XXX—XXXX

评价正确检测出所有存在缺陷的能力。

8.5.2缺陷查准率

评价所检测出的有效缺陷为真的能力。

8.5.3报告聚合质量

在众包测试结果整合时，会对该轮次所有测试报告进行汇总聚合，评价报告的聚合质量。

8.6支付与激励效能

8.6.1酬金合理性

依据众包测试人员提交的测试报告、任务难度、缺陷严重程度、缺陷罕见程度、任务预算金额执行

率等，对支付众包测试人员的酬金合理性进行评价。

8.6.2激励机制有效性

依据众包测试项目的组织过程中测试人员的积极性、参与度、留存率、贡献度等方面，评估激励机

制的有效性。

9众包测试服务质量评价程序

9.1概述

众包测试服务质量评价按照众包测试服务的各个阶段展开，依据评价指标细化，基于采集的数据，

对各级评价指标进行定量评分，以支持开展全过程众包测试评价。评价模型给出了指标确认、定性评估

和判定的参考规则。

众包测试服务质量评价程序旨在为众包测试服务质量评价提供一套系统化的流程。本章首先介绍

了评价模型构建原则和步骤，随后详细阐述了评价方法，明确了评价的具体过程，规定了评价人员与机

构的要求以及评价报告的编制要求。

9.2评价模型构建

9.2.1构建原则

评价模型构建的原则包括：

a)评价模型通常设三级指标，其中一级指标对应于众包测试服务的四个阶段，二级指标原则上与

附录A保持一致，三级指标依据测试环境、测试类型、被测件相关特点和测试需求进行适度

裁剪和补充；

b)在评价数据收集时，依据附录B优先收集必要性等级高、权重大的评价指标，一般情况下，不

得裁剪必要性等级为一级的评价指标；

c)一般情况下，为提高可操作性，各行业最终确定并用于实际测评的评价模型应在满足应用需求

的前提下尽量简化。

9.2.2构建步骤

评价模型构建采用如下步骤：

a)按照测试环境、测试类型、被测件相关特点和测试需求，基于构建原则，参考附录A选择、调

整、修订和补充各级评价指标，设置权重，构建模型；

6

T/CQAE/ST11XXX—XXXX

b)结合测试需求与专家知识经验，自顶向下调整各级评价指标，并挖掘补充缺失评价指标；

c)自底向上优化各级评价指标，横向校验同级评价指标，删除重复评价指标，确保评价指标准确

反映内涵；

d)在必要情况下，重复上述步骤，从而构建完成评价模型。

9.2.3权重设置

评价模型中各级指标的权重设置应遵循如下方面：

a)针对众包测试阶段的一级、二级指标权重与附录B的指标权重原则上需保持一致，三级指标

的权重设置按照测试环境、测试类型、被测件相关特点进行设置与调整；

示例：权重设置方法包括但不限于：专家估测法、Delphi方法、层次分析法、模糊综合评价法、灰色聚类综合

评价、网络分析法等。

b)存在补充的评价指标情况下，在众包测试服务的单一阶段内，补充指标权重总和不得超过该阶

段权重的25%；

c)权重设置在同一测试项目内应保持一致。

9.2.4测量方法

评价指标评分应基于评价数据，按照一定规则将具有不同计量单位和方式的定量或定性评价数据

转化为能够进行加权计算的分值，并将其限定在某一区间范围内，应遵循：

a)定量数据评分参考在一定时期内保持相对稳定的行业最优、最劣值，采用德尔菲法等辅助决策，

计算公式为计算指标分值：

푋푖−푋푚푖푛

푍푖=×(푏−푎)+푎(1)

푋푚푎푥−푋푚푖푛

其中，푋푖为指标评价数据实际取值，푋푚푖푛为最小阈值，푋푚푎푥为最大阈值，最终分值限定在[푎,푏]

区间内；

注：行业最优和最劣值应由具备相关领域专业知识和丰富实践经验的专家团队来确定，通常基于大型众包测

试服务平台定期收集和分析的历史数据及行业报告，并通过行业专家小组定期评审，确保其符合行业发展和

技术进步的需求，并适时进行调整。

b)定性数据评分由专家将定性评价数据取值范围划分为若干层次，由专家确定各层次的分值，或

将定性评价数据枚举为若干独立选项，由专家确定各选项的分值。

9.3评价步骤

9.3.1评价准备

由项目管理根据评价任务的性质、规模和复杂度确定评价人员，一般建议至少由3名成员组成，确

保成员之间具备的专业背景和技能全面评价众包测试服务质量，并进行评价策划，包括确定评价指标、

确定评价模型、了解评价对象的基本情况等。

9.3.2评价执行

由评价人员介入众包测试服务过程，依据已确定的评价指标数据，在众包测试过程完成后，按既定

评价模型开展评价工作。

9.3.3评价审核

7

T/CQAE/ST11XXX—XXXX

由项目管理或发包方指定评审专家，评审专家应具备与评价人员相似的专业背景，通常拥有更高的

资历和经验，在相关领域内享有较高声誉。评审专家通过评审会的形式对评价报告进行审核，并确定最

终的评价结果。评审专家应确保评价报告的公正性和准确性，并对审核结果承担责任。

9.4评价人员与机构要求

9.4.1评价人员

评价人员应具备下列条件：

a)不得为众包测试项目的参与者或利益相关方，也不能与测试人员属于同一机构；

b)具有国家或行业承认的软件测试技术专业高级以上资质或计算机软件相关专业的高级工程师，

具备与软件测试任务相适应的被测试软件背景知识和软件测试技术；

c)熟悉众包测试项目中被测件所属行业特点；

d)在形成评价意见时，应行使专业的判断并保持独立性和客观性；

e)不受任何可能干扰其技术判断因素的影响，确保过程、结果的真实、客观、准确；

f)应独立于其出具评价结果所涉及的利益相关方；

g)恪守职业道德，保守评价对象技术和商业秘密；

h)对其出具的评价结果负责，并承担相应法律责任。

9.4.2评价机构

评价机构应具备下列条件：

a)不得为众包测试项目的参与者或利益相关方；

b)具备开展评价工作相适应的评价人员；

c)遵循客观独立、公平公正、诚实信用原则，恪守职业道德，承担社会责任；

d)承担相应法律责任；

e)开展第三方评价的机构，具备相应的专业资质参照标准T/CQAE11017-2021和T/CQAE11018-

2021执行，包括但不限于CMA资质、CNAS资质、信息安全服务资质等。

9.5评价报告

众包测试服务评价报告应具有公正性、独立性，至少应包含以下内容：

a)评价人员的身份、资格以及签名；

b)评价目的；

c)被评价对象的界定；

d)报告使用者和读者；

e)采用的途径和方法；

f)评价报告的日期；

g)评价基准日；

h)评价结果；

i)使用数据的来源；

j)评价过程的概述；

k)使用限制说明。

8

T/CQAE/ST11XXX—XXXX

（规范性）

众包测试评价指标测量方法

A.1概述

为增强众包测试服务质量评价在不同测试环境和被测件下的适用性和易用性，方便获取适合其需

要的细化指标，本附录对评价中的各项要求均进行了较详实的分解细化。在实际众测服务质量评价时，

针对不同测试环境、测试对象、测试平台，依据被测件领域特征和需求规范，选择、完善本附录中的各

项细化内容。

A.2众包测试任务设计阶段

A.2.1任务分解质量

A.2.1.1需求覆盖情况

对需求覆盖情况进行评价，计算公式为：

푋

S=푐표푣(A-1)

푋푠푢푚

其中，푋푐표푣是众包测试任务已覆盖的测试需求数，푋푠푢푚为总测试需求数。

A.2.1.2操作流程覆盖情况

对操作流程覆盖情况进行评价，计算公式为：

푋

S=푐표푣(A-2)

푋푠푢푚

其中，푋푐표푣是众包测试任务已覆盖的被测件使用流程，푋푠푢푚为总被测件使用流程。

A.2.1.3任务复杂度

采用IFPUG、McCabe等软件功能点度量方法计算众包测试任务复杂度，按照复杂度等级进行评价，

见表A.1。

表A.1任务复杂度评分表

复杂性等级任务复杂度评分

低10

中8

高4

其中，满分为10分。

A.2.2任务预算

A.2.2.1任务预算金额

对众包测试的任务预算金额进行评价，依赖有无领域专家参与开展。

9

T/CQAE/ST11XXX—XXXX

a)采用领域专家人工审查的方法对众包测试任务预算金额的分配是否依据任务难度、任务复杂

度以及任务规模进行评价；

b)不依赖领域专家，直接对预算金额在合同总金额中的占比评价任务预算金额，见表A.2：

表A.2任务预算金额评分表

预算金额在合同总金额中的占比任务预算评分

0-60%4

60%-70%6

70%-80%8

80%-90%10

90%-95%8

95%-100%6

100%以上0

其中，满分为10分。

A.2.2.2任务工作量

对单个众包测试任务需要花费的任务工作量进行评价，计算公式为：

s푖=ρ푖휇푖푥푖+휀(A-3)

其中，푥푖为该任务的复杂度，휇푖为该任务对应的测试类型调整系数，ρ푖为该任务对应的难度系数，

휀为固定值。

A.3众包测试任务分配阶段

A.3.1任务分配方案

A.3.1.1分配方案

采用领域专家对众包测试任务的分配方案进行人工审查，评价任务难度、类型与众包测试人员能力

是否匹配，任务估算的工作量能否得以满足等。

A.3.1.2预期时间

对众包测试任务的分配方案的时间进行预估，根据单一任务的完成时长与分配方案完成时长相结

合，进行总时长的估算，总时长小于测试交付时间，且留有空余。

A.3.2测试人员参与情况

A.3.2.1测试人员的地理分布

对参与众包测试的众包测试人员地理分布进行评价，计算公式为：

퐷

S=푢푠푒푑(A-4)

퐷푠푢푚

一般情况下，퐷푢푠푒푑是参与众包测试的众包测试人员所处省份数量，퐷푠푢푚是国内省份数量，当测试

需求局限于省内或者某些特定的区域时，根据实际情况对퐷푢푠푒푑和퐷푠푢푚进行定义并做调整。

A.3.2.2测试人员的测试设备

对参与众包测试的众包测试人员测试设备进行评价，计算公式为：

10

T/CQAE/ST11XXX—XXXX

퐸

S=푢푠푒푑(A-5)

퐸푠푢푚

其中，퐸푢푠푒푑是参与众包测试的众包测试人员拥有的设备种类数量，퐸푠푢푚是针对该项测试的现有主

流设备种类数量，根据实际情况对퐸푢푠푒푑和퐸푠푢푚进行定义并做调整。

A.3.2.3测试人员的测试工具

对参与众包测试的众包测试人员测试工具进行评价，计算公式为：

푇

S=푢푠푒푑(A-6)

푇푠푢푚

其中，푇푢푠푒푑是参与众包测试的众包测试人员拥有的工具种类数量，푇푠푢푚是该项测试的环境下现有

主流测试工具种类数量，根据实际情况对푇푢푠푒푑和푇푠푢푚进行定义并做调整。

A.3.2.4测试人员的测试能力分布

对参与众包测试的众包测试人员测试能力分布进行评价，保证参与众包测试的众包测试人员中，既

有熟练掌握测试要求的人员，也有对测试不熟悉的新手。

A.4众包测试任务执行阶段

A.4.1众包测试机构参与情况

对众包测试机构的参与情况进行评价，为以下独立选项分别进行评价：

a)测试机构参与众包测试任务的占比；

b)测试机构是否参担任众包测试项目管理方；

c)测试机构是否能给出专业的测试报告。

A.4.2任务执行时间占比

对任务执行时间通过度量众包测试任务的时间所占众包测试总时长的比例进行评价，计算公式为：

푇

S=푒푥푒(A-7)

푇푎푙푙

其中，푇푒푥푒是任务的执行时间，即从众包测试人员确认接收众包测试任务开始，到众包测试任务关

闭结束，푇푎푙푙是这次众包测试的总时间。

A.4.3任务难度

对众包测试任务难度进行评，计算公式为：

∑푐

S=휂∗푡(A-8)

∑푐

其中，푐푡为正确完成该项众包测试任务的众包测试人员能力值，푐为参与该任务的众包测试人员能

力值，依照标准T/CQAE11017-2021执行，휂为调整系数，与任务复杂度、参与众包测试任务的人员数量

及其测试能力、任务执行时间等相关，调整系数由领域专家确定。

A.4.4任务执行率

对众包测试任务执行率进行评价，采用以下公式：

11

T/CQAE/ST11XXX—XXXX

푇

S=푝푎푠푠(A-9)

푇푎푙푙

其中，푇푝푎푠푠为已经完成执行的测试任务数，푇푎푙푙为总测试任务数。

A.4.5任务完成度

对单个任务的众包测试完成度进行评价，采用以下公式：

∑푛푐

S=1푖(A-10)

푛

随机对所有众包测试任务中的n个众包测试任务抽样，由测试专家人工对其中每个任务完成度评价，

评价值为푐푖。

A.5众包测试结果整合阶段

A.5.1报告有效性

对报告有效情况进行评价，计算公式为：

푅

S=푝푎푠푠(A-11)

푅푎푙푙

其中，푅푝푎푠푠是众包测试人员提交的有效测试报告数量，푅푎푙푙是众包测试报告提交的总报告数量。

A.5.2报告重复性

对报告重复情况进行评价，计算公式为：

푅

S=푑푒푑(A-12)

푅푝푎푠푠

其中，푅푑푒푑是众包测试人员提交的有效测试报告中，去掉重复报告后的数量，푅푝푎푠푠是众包测试人员

提交的有效测试报告数量。

A.5.3缺陷价值

A.5.3.1缺陷严重程度

对众包测试报告的缺陷严重程度进行评价，将众包测试人员提交报告中的缺陷严重等级分为致命、

严重、一般、建议修改（较轻），见表A.3：

表A.3缺陷严重等级评分表

缺陷严重等级缺陷严重等级评分

致命10

严重5

一般2.5

建议修改（较轻）1.25

A.5.3.2缺陷罕见程度

对众包测试报告的某一缺陷罕见程度进行评价，计算公式为：

푁

푠=푏푢푔푖(A-13)

푖푁

푡푒푠푡푖

12

T/CQAE/ST11XXX—XXXX

其中，是测试报告中报出某缺陷的众包测试人员数量，在该缺陷对应的测试任务在实际

푁푏푢푔푖푁푡푒푠푡푖

执行过程中，参与该众包测试任务的人员数量。

A.5.4缺陷分布

A.5.4.1缺陷分布广度

对众包测试报告的缺陷分布广度进行评价，计算公式为：

푇

S=퐵푢푔(A-14)

푇푎푙푙

其中，푇퐵푢푔是报出缺陷的任务数，푇푎푙푙是总任务数。

A.5.4.2缺陷密度

对众包测试报告的缺陷密度进行评价，当采用对缺陷严重程度进行加权时，计算公式为：

휂∑푙

S=푏푢푔(A-15)

푇푏푢푔

其中，푙푏푢푔是缺陷的严重等级评分，参考表A.3，푇푏푢푔是报出缺陷的任务数，휂是调整系数，通常取

0.2，如果不对缺陷严重程度进行加权，取푙푏푢푔=1，휂=1。

A.5.5测试报告质量

A.5.5.1缺陷查全率

对众包测试报告的缺陷查全率进行评价，采用以下方法进行：

a)对众包测试任务进行抽样，即随机选少量的众包测试任务，交由专业测试人员进行测试，所报

出的缺陷与众包测试的测试报告报出的缺陷进行对比，得到缺陷的查全率；

b)使用缺陷预测的方法对测试项目的缺陷数量进行预测，采用以下公式：

푁

S=퐵푢푔(A-16)

푃퐵푢푔

其中，푁퐵푢푔为众包测试实际报出的正确并去重后缺陷数量，푃퐵푢푔为缺陷预测得到的缺陷数量；

c)在众包测试开始之前即在被测件中预埋部分缺陷，最后在众包测试报告中查找预埋缺陷的比

例，使用该方法进行评价前需征求发布方的同意，并由领域专家评价预埋缺陷对被测件的影响。

A.5.5.2缺陷查准率

对众包测试报告的缺陷查准率进行评价，采用抽样的方法进行，随机选取部分缺陷，将这些缺陷对

应的众包测试任务交由专业测试人员进行测试，所报出的缺陷与众包测试的测试报告报出的缺陷进行

对比，得到缺陷的查准率。

A.5.5.3报告聚合质量

对众包测试报告聚合质量进行评价，对众包测试人员提交的测试报告进行随机采样，交由专家进行

分析评价，并与最终聚合后的众包测试报告进行对比，从以下两个方面评价测试报告聚合的质量：

a)众包测试人员误报的缺陷不得在聚合报告中出现；

b)众包测试人员提交的有效缺陷不得在聚合报告中缺失。

13

T/CQAE/ST11XXX—XXXX

A.5.6支付与激励效能

A.5.6.1酬金合理性

对众包测试的酬金合理性进行评价，分为以下独立选项分别进行评价：

a)酬金与众包测试人员提交的测试报告质量、众包测试任务难度、缺陷严重程度、缺陷罕见程度

的关联程度；

b)任务预算金额执行率和酬金在合同总金额中的占比。

A.5.6.2激励机制有效性

对众包测试的激励机制进行评价，分为以下独立选项分别进行评价：

a)收集有关众包测试人员的参与度、留存率、贡献度等的统计数据；

b)通过调查问卷、访谈等方式收集众包测试人员的意见和建议。

14

T/CQAE/ST11XXX—XXXX

附录B

（资料性）

众包测试指标名称、必要性及权重

众包测试指标共分为三级，众包测试指标的必要性程度随级别增加而逐级递减。需特别说明的是，

必要性与指标权重之间无关联关系。众包测试指标名称、必要性及权重的相关内容见表B.1。

表B.1指标名称、必要性、权重表

一级指标二级指标三级指标必要性指标权重阶段权重

众包测试任务分解质量需求覆盖情况一级0.20.15

任务设计操作流程覆盖情况一级0.2