模糊数学综合评价法在认证人员能力评价中的应用研究

1、模糊数学综合评价法在认证人员能力评价中的应用研究中国质量认证中心 周玉林 中国合格评定国家认可委员会 郑 军摘 要：利用模糊数学综合评价法建立一套数学模型，并采用适合现代化企业管理运作模式的模块化评价手段，定性与定量相结合综合评价认证人员能力，为认证机构选择合适人员、发现人员能力不足并定向实施培训、提高认证人员能力及实施管理决策提供依据具有重要意义。文章以审核员/检查员为例，依据模糊综合评价法和层次分析法（简称AHP）理论，建立结构模型、构造判断矩阵、计算权重和一致性检验，建成审核员/检查员能力评价模型。利用模型对认证机构的审核员/检查员能力实施评价有很强的实用性。同时研究发现常用的几种认证人

2、员能力评价方法（渠道）对同一名审核员的能力评价结果不完全一致，部分方法之间存在很强的正相关关系，这为认证机构设计人员能力评价方案，节约管理成本等提供了借鉴。关键词：认证人员能力 模糊数学 HYPERLINK /Search.aspx?q=%E6%A8%A1%E7%B3%8A%E8%AF%84%E5%88%A4 t _blank 模糊评判 HYPERLINK /Search.aspx?q=%E9%9A%B6%E5%B1%9E%E5%87%BD%E6%95%B0 t _blank 相关性分析0 前言对认证事业而言，认证人员的素质和能力，是认证工作质量、信誉和服务水平的保证，是认证机构的核心竞争力。

3、在认证市场竞争日趋激烈的今天，各认证机构如何建立和保持竞争优势，打造和培养一支素质高、能力强、业务精的认证人员队伍是每个认证机构必须面对和亟待解决的问题。培养和建设人才队伍，提升其能力，前提是机构有能力、有方法能够准确、客观、方便地识别和评判人员能力大小，这就需要建立一套科学的评价管理体系和采用适合现代化企业管理运作模式的模块化评价手段，方便机构发现已聘用认证人员能力不足的短板，提出改进方向和培训需求，提高个体及整体的素质和能力，为认证机构制订合理的“量才定岗”、“奖优罚劣”等管理政策提供支持。1 认证人员能力评价的现状及探讨认证人员一般包括：检查/审核人员、技术专家、认证决定人员、产品特定认

4、证实施规则制定人员、报告评审人员、审核项目管理人员、培训指导与管理人员、试验或检验人员、专业能力评定人员、现场见证人员、内审员等。不同的认证人员在认证过程中承担的职责不同，发挥的作用也不尽相同。其中审核员/检查员因工作在认证服务的第一线，直接面对认证客户，代表着认证机构的形象，其素质高低、能力大小对整个认证活动的规范性、适宜性、有效性至关重要，是认证人员管理的重点。现阶段国内外各认证机构为满足认证有关国际、国内法律法规、认可准则认可规范、导则等要求，大都对认证业务地域分布、人员组成特点、审核方案管理以及认证机构发展规划等因素进行了综合考虑，确定了适合中国质量认证中心运作模式和未来业务发展需求的

5、审核员/检查员评价和管理模式。利用了包括教育经历、培训经历、审核经历、工作经历和专业经历、技能等多方面的信息对审核员/检查员进行评价，不同机构又根据机构自身的管理模式及网络管理技术成熟程度，选择了记录审查、意见反馈、面谈、考试、模拟审核及现场见证等方法或多个方法组合的方式对审核员/检查员进行全方位的评价，评价结果对审核员/检查员的聘用、任务选派、工作绩效及持续评价各方面提供依据。王东玉1还建立了评价模型对认证审核员进行综合评价，部分机构还尝试将审核员/检查员评价与人力资源管理相结合的方式对人员进行管理。国家认证主管部门对认证人员管理工作也十分重视，国家质检总局及中国合格评定国家认可委员会还专门

6、成立课题组对认证人员管理理论进行研究，并获得了很多基础数据和成果。但认证人员能力评价中，不同评价方法（渠道）的信息来源不同，适用评价对象不同，对评价结果的影响程度也不同，能力评价中不宜简单相加。如何确定不同评价方法对认证人员能力评价的贡献率，目前尚无报道。同时，评价认证人员能力的工作量很大，对所有认证人员的各方面能力都组织专家组集中评价，这种方式操作起来难度很大。目前在建立数学模型评价认证人员能力时，如何结合认证机构的职能分工，模块化管理和评价认证人员能力方面也无相关报道。本研究将以审核员/检查员评价为例，结合机构多年审核员/检查员的评价实施情况，依据认证机构审核员/检查员管理的特点和方法，立

7、足于认证人员能力胜任与否进行评价。从审核员/检查员日常认证服务流程出发，评价其在各环节中表现出来的素质和能力，用模糊数学综合评价法结合层次分析法建立能力评价模型，并对模型的应用进行介绍和分析。2 能力评价指标体系的建立2.1 评价方法介绍模糊综合评价法是一种基于模糊数学的综合评价方法。它根据模糊数学的隶属度理论，把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。它具有结果清晰，系统性强的特点，能较好地解决模糊的、难以量化的问题，很适合如人员素质及能力评价这样的非确定性问题的解决。层次分析法（Analytic Hierarchy Process简称AHP）是

8、将决策有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法，是一种层次权重决策分析方法。它将决策者对复杂系统的决策思维过程模型化、数量化。应用这种方法，决策者通过将复杂问题分解为若干层次和若干因素，在各因素之间进行简单的比较和计算，就可以得出不同方案的权重，为最佳方案的选择提供依据。将模糊综合评价法及层次分析法作为一种工具，应用到一些实际问题的评价与决策的文章已有报道2 3。2.2 建立层次结构模型本研究将审核员/检查员的基本素质、审核能力、专业能力、审核绩效4个方面定为一级指标（因素），并在深入分析实际问题的基础上，将有关的各个因素按照不同属性 HYPERLINK

9、 /view/2382875.htm t _blank 自上而下地分解成若干层次（二级指标甚至三级指标）。同一层的诸因素从属于上一层的因素，同时又支配下一层的因素。最上层为目标层，即审核员/检查员综合能力，最下层为方案或对象层，中间为准则或指标层（表1）。表1参照中国合格评定国家认可委员会4CNAS-CC01：2011 管理体系认证机构要求附录A中对审核员/检查员的素质和能力要求，及附录B评价方法要求建立结构模型。有关审核员的能力知识要求及评价方法，CNAS-CC01:2011附录A、B中已有明确描述，此处不再赘述。表1 审核员/检查员素质和能力评价指标体系一级指标（4）二级指标（19）三级指

10、标（可进一步细化）评价方法（或渠道）记录审查观察考试客户反馈面谈合格评定意见A1基本素质A11语言表达及体质A12工作的态度一级指标（4）二级指标（19）三级指标（可进一步细化）评价方法（或渠道）记录审查观察考试客户反馈面谈合格评定意见A13 沟通协调及服务态度A14学习新知识的主动性及能力A15行为规范的遵守情况A2 审核能力A21审核前的准备情况A22抽样合理性A23 审核进度的把握情况A24审核原则的掌握及审核证据收集方法的运用能力A25 核查记录情况A26不符合报告及审核报告描述情况A3专业能力A31对特定标准和（或）规范性文件的熟悉程度A32对客户的产品、过程和组织的知识 掌握情况A

11、33对工艺/服务规范的熟悉程度A34关键过程关键控制点辨识及其控制方法的掌握程度A4审核绩效A41审核效果A42受审方满意程度A43为受审核方管理及产品质量提升的贡献度注：由于版面限制，此略三级指标具体内容。2.3 构造两两比较判断矩阵 根据AHP基本原理，分层次对下层因素进行两两比较，按9标度法（表2）对该层次的因素进行两两比较，构造出判断矩阵并求出最大特征根。表2 判断标度及其含义5标度因素比较含义1同等重要表示两个因素相比，具有同样重要性3稍微重要表示两个因素相比，一个因素比另外一个略重要5较强重要表示两个因素相比，一个因素比另外一个重要7强烈重要表示两个因素相比，一个因素比另外一个重要

12、的多9极端重要表示两个因素相比，一个因素比另外一个绝对重要2，4，6，8 两相邻判断的中间值介于以上两相邻判断之间状态的标度倒数若i因素与j因素比较，结果为Aij=1/Aji机构内选择有丰富审核及管理经验的20名专家，组成专家组对各指标进行两两比较，判断其相对重要程度，并综合各专家对不同指标的评估结果，建立两两比较矩阵。本研究为介绍简便，假设各专家的能力水平都一样，各专家的权重均为1，专家的意见均采用加权平均的方法简化处理。表3为审核员/检查员一级指标评价各因素对其能力影响程度调查比较汇总结果。表3 审核员/检查员一级指标评价（例）一级指标（4）极端重要相邻中值强烈重要相邻中值较强重要相邻中值

13、稍微重要相邻中值同等重要A1基本素质A2审核能力A3专业能力A4审核绩效判断矩阵权重计算的方法有一般有几何平均法（方根法）和规范列平均法（和积法）。对以上比较结果使用和积法计算构成审核员/检查员一级指标两两比较矩阵（表4）表4 审核员/检查员一级指标两两比较矩阵一级指标（4）A1基本素质A2审核能力A3专业能力A4审核绩效A1基本素质10.20000.33330.3333A2审核能力5133A3专业能力30.333311A4审核绩效30.3333112.4 计算权向量并做一致性检验2.4.1 计算权向量根据矩阵理论计算其最大特征值max与对应的特征向量WAI。max=求得以上矩阵的特征值max

14、=4.04341，特征向量WAI=（0.13038， 0.87198， 0.33365， 0.33365），经归一化处理后，得出该一级各评价指标的权向量。W=（0.078088， 0.52225， 0.199831， 0.199831）2.4.1 一致性检验为了判断所得权向量分配是否合理，还需要对判断矩阵进行一致性检验，避免评价比较矩阵偏离一致性过大，对于每一个两两比较阵计算最大特征根及对应特征向量，利用一致性指标、随机一致性指标和一致性比率做一致性检验。若检验通过，特征向量(归一化后)即为权向量：若不通过，需重新构造两两比较矩阵。计算比较矩阵一致性检验系数：CR=CI/RI，其中一致性指标为

15、CI=(max-n)/(n-1)CI越小，说明一致性越大。考虑到一致性的偏离可能是由于随机原因造成的，因此在检验判断矩阵是否具有满意的一致性时，还需将CI和平均随机一致性指标RI进行比较，得出检验系数CR，即如果CR0.1 ，则认为该判断矩阵通过一致性检验，否则就不具有满意一致性。其中，随机一致性指标RI和判断矩阵的阶数有关，一般情况下，矩阵阶数越大，则出现一致性随机偏离的可能性也越大（表5）。表5 平均随机一致性指标RI标准值矩阵阶数12345678910RI000.580.921.121.241.321.411.451.49以上审核员/检查员能力评价一级指标的平均随机一致性指标RI=0.9

16、2。经计算CR=0.01447，CR0.1这表明上述判断具有很好的一致性，以上权向量可以接受。同理，对审核员/检查员的二级评价指标和不同评价方法（渠道）贡献率实施构造两两比较判断矩阵、计算权向量并做一致性检验，获得各二级指标的最终权向量（W1，W2，W3，W4）和客户反馈、考试、现场见证及合格评定4种评价方法（渠道）的贡献率（C1i，C2i，C3i，C4i）。具体计算过程略。W1=（0.0803，0.2242，0.1540，0.0550，0.4864）W2=（0.0604，0.2012，0.0496，0.4475，0.1472，0.0942）W3=（0.0729，0.2844，0.1699，0

17、.4729）W4=（0.2970，0.5396，0.1634）0.8333 0.0000 0.1667 0.00000.4444 0.0000 0.4444 0.1111 C1i= 0.5000 0.0000 0.5000 0.00000.2677 0.5743 0.0000 0.1580 0.1702 0.0000 0.7383 0.0915 0.6370 0.0000 0.2583 0.1047 0.5771 0.2542 0.0910 0.0777 C2i= 0.6370 0.0000 0.2583 0.1047 0.6301 0.1515 0.0000 0.2184 0.2500 0.

18、0000 0.0000 0.7500 0.5587 0.1352 0.0781 0.2280 0.2772 0.4673 0.0954 0.1601 C3i= 0.1859 0.1167 0.6413 0.0561 0.3509 0.1891 0.3509 0.1091 0.4236 0.2270 0.2270 0.1223 0.4545 0.0000 0.4545 0.0909 C4i= 0.2500 0.0000 0.7500 0.0000 0.2583 0.0000 0.6370 0.1047 2.5 确定模糊评价模型最后得到总的审核员/检查员能力评价结果如下。F=0.078088C1i

19、V1i+0.52225C2iV2i+0.199831C3iV3i+0.199831C4iV4i式中的W、C和V分别代表二级评价指标的权重、不同评价方法（渠道）贡献率以及对应的实际评价值。2.6 能力评价数据的收集按照认证人员能力评价不同方法的适用对象不同以及模型各指标的实际构成，中国质量认证中心将审核员/检查员能力评价所需要的各级指标分解到不同的评价方法中去，并按中国质量认证中心的日常工作职能分工，模块化管理审核员/检查员能力评价工作，如需要通过顾客反馈收集的信息，按模型设计形成相应的调查表或调查问卷，交由客户服务的部门负责在日常工作中收集相关信息，并将信息输入到相应的计算机系统或软件中；能力

20、评价需要由现场见证收集的信息，则由审核实施部门负责按审核策划委派有相应见证能力的见证人员现场完成评价并将信息输入到计算机中。各职能部门将信息输入相应的系统中，模型会自动算出审核员/检查员能力评价的最终结果。中国质量认证中心负责能力评价的部门只需要定期对模型及系统进行维护就可以了，不需要专门成立能力评价组来完成能力评价工作。2.7 评价模型可信性验证专家评分法是出现较早且应用较广的一种评价方法6，它是在定量和定性分析的基础上，以打分等方式做出定量评价，其结果具有数理统计特性.专家评分法的最大优点是在缺乏足够统计数据和原始资料的情况下，可以做出定量估价。研究中，选择有人力资源管理员，行业专家、审核

21、管理员及市场客服管理员组成的专家组，对中国质量认证中心内部抽取的20名某一专业的审核员能力进行评价，评价结果再与模型计算出的结果进行比较，验证评价模型评价的可行性。专家组依照被评价审核员的背景资料，主要确定基本素质、审核能力、专业能力、审核绩效4个方面进行综合打分，分值为1-5分。将专家评分法结果汇总后与模型计算结果（表6）进行对照分析。表6 专家评价法与模型评价法数据对照人员编号专家评价模型评价差值（X）人员编号专家评价模型评价差值（X）143.757 0.243 1132.870 0.130 24.54.658 -0.158 122.52.179 0.321 343.863 0.137 1

22、343.921 0.079 43.53.305 0.195 1444.301 -0.301 53.53.693 -0.193 153.53.623 -0.123 643.927 0.073 1643.730 0.270 732.515 0.485 1733.387 -0.387 844.358 -0.358 183.53.715 -0.215 933.777 -0.777 1933.114 -0.114 103.54.064 -0.564 2033.448 -0.448 假设X服从正态分布，假设检验H0: =0; H1 : 0已知n20，在H0 成立时，对于0.05，查t分布表得t0.025(

23、19)2.093利用MINTAB 软件对两组数据进行显著性检验（配对t），分析两种评价结果的差异。求得均值x=-0.0853，标准差S=0.3275，T值= -1.16，P值= 0.259因为|t| 1.169586.5X9570X86.5X703.2 审核员/检查员能力评价不同评价方法的相关性分析不同评价方法（评价渠道）对同一审核员/检查员的评价可能有所差异，个别情况甚至会发生相反的评价，如认证客户对某位审核员不满意，就会对其各方面能力都不满意，即使该各方面能力都很强，评价也不会很好。现随机抽取50名审核员评价结果进行统计，以客户反馈、现场见证及合格评定评价3个渠道为例，来对审核员/检查员的

24、基本素质（不含A14二级指标）、审核能力（不含A24与A25二级指标）、专业能力3个指标的评价结果进行相关性分析。为方便描述，表8将客户反馈、现场见证、合格评定3种评价方法对审核员/检查员能力的基本素质、审核能力、专业能力3个方面的评价用代码表示。表8 不同评价方法与审核员/检查员能力对照代码 评价对象客户反馈现场见证合格评定A1基本素质B11B21B31A2审核能力B12B22B32A3专业能力B13B23B333.2.1 基本素质不同评价方法相关性图1 不同方法对审核员/检查员基本素质评价统计结果分布不同方法对审核员/检查员基本素质评价结果用MINTAB进行相关分析，Pearson相关系数

25、（表9）及P值（图8）结果表明，不同方法（评价渠道）对审核员/检查员基本素质评价存在差异，并且现场见证与客户反馈及合格评定评价对审核员/检查员基本素质评价有很高的相关性， 客户反馈与合格评定相关性不明显。图2为现场见证与合格评定对审核员、检查员基本素质评价结果散点分布。表9 基本素质不同方法评价相关系数及P值B11：B21B11：B41B21：B41Pearson相关系数0.4730.2470.492P值0.0010.4920.000图2 现场见证与合格评定对审核员、检查员基本素质评价结果散点分布3.2.2 审核能力不同评价方法相关性图3 不同方法对审核员/检查员审核能力评价统计结果分布表10

26、 审核能力不同方法评价相关系数B12：B22B12：B42B22：B42Pearson相关系数0.5680.152 0.293P值0.0000.2910.039同样分析发现，不同方法（评价渠道）对审核员/检查员审核能力评价也存在差异，结果与基本素质趋势相同（图3），现场见证与客户反馈及合格评定评价对审核员/检查员基本素质评价有很高的相关性，客户反馈与合格评定相关性不明显（表10）。3.2.3 专业能力不同评价方法相关性图4 不同方法对审核员/检查员专业能力评价统计结果分布表11 专业能力不同方法评价相关系数B13：B23B13：B43B23：B43Pearson相关系数0.2290.275 0

27、.654P值0.110.0530.000对审核员/检查员专业能力评价中，客户反馈、现场见证及合格评定评价3种方法中，合格评定与现场见证之间存在很强相关性，与客户反馈两者之间存在较强的相关性，客户反馈与合格评定相关性不明显（图4、表11）。综合以上数据分析，客户反馈、现场见证及合格评定评价3种方法对审核员/检查员能力评价中，现场见证与合格评定对审核员/检查员的基本素质、审核能力、专业能力3个方面的能力评价均存在很强的相关；客户反馈与现场见证在对审核员/检查员的基本素质和审核能力2种方法评价相关性较高，但对专业能力评价相关性不高；客户反馈与合格评定除专业能力评价外，对基本素质及审核能力的评价相关性

28、均不明显。4 结论及问题探讨4.1 利用模糊数学综合评价法建立模型，量化评价认证人员能力的方法，对认证机构科学评有效的管理认证人员，指导认证人员的聘用、能力提升和管理决策很有实用价值。按认证机构职能分工，模块化实施认证人员能力评价，符合现代企业管理理念，使能力评价从制度上和实施组织架构上更公正、客观、高效。4.2 对认证人员能力评价中，不同评价方法（渠道）之间有一定的相关性。通过现场见证与合格评定所得出的结果无论是基本素质还是审核能力或专业能力，他们都有很强的相关性。为节约成本，减少重复工作，为使对审核员/检查员的评价模型更高效，认证机构在模型设计初期可考虑只选其一。本研究因部分数据不完整，未能分析审核绩效方面，不同评价方法的相关性，是一个缺憾。4.3 在评价模型建立之初，因客观存在专家个体差异，这种差异有可能影响到评价的有效性。在实际应用中，认证机构可通过增加专家权