管理系统工程 课件 第5章 管理系统评价

第5章管理系统评价学习目标思维导图熟悉管理系统评价的概念与原则熟悉管理系统评价的步骤与要素掌握德尔菲法的基本思想、实施步骤掌握层次分析法确定权重的原理和实施步骤掌握模糊综合评价法的基本原理、一般步骤Content目录015.1管理系统评价概述025.2德尔菲法035.3层次分析法045.4模糊综合评价法5.1管理系统评价概述015.1.1管理系统评价的概念与原则（1）评价总体的客观性原则（2）评价方法的综合性原则（3）评价指标的系统性原则管理系统评价，就是从系统整体出发，根据预定的评价目标，收集、整理资料信息，并采用合理的定性或定量的分析工具，从技术、经济和社会等多方面对各个备选方案进行分析、比较，衡量其利弊得失，最终把各方案的排序情况提供给企业决策者进行方案选择的过程。管理系统评价应遵循以下原则：5.1.2管理系统评价的步骤（1）识别评价问题5.1.2管理系统评价的步骤管理系统评价的第一步是“识别评价问题”，这是非常关键的一步。问题识别不清楚，则后续的步骤根本无法进行下去。管理系统评价问题涉及评价对象（What）、评价主体（Who）、评价目标（Why）、评价时期（When）、评价范围和立场（Where）及评价方法（How）等诸多基本要素。（2）收集整理评价分析资料5.1.2管理系统评价的步骤首先，信息资料具有时效性，事物总是处于不断变化的状态中，反映事物变化规律的信息资料也是动态变化的，所以信息资料的有效性是有时间限制的。其次，信息资料在传递过程受到各种因素的干扰后，会导致质量受损，造成信息资料的失真。所以要尽可能掌握直接的一手信息资料；最后，信息资料的收集需要成本，所以在收集整理评价分析资料时，还要考虑成本和收益问题。（3）设计评价指标体系5.1.2管理系统评价的步骤评价指标体系是根据各层级评价目标的特性所选择的分层次的多个评价指标的集合。在设计评价指标体系的实际过程中，要注意以下几个方面：1）全面性与可操作性相结合2）注意指标的差异性3）多选择容易量化的指标4）评价指标设计要分类别、分层次和体系化（4）建立评价分析模型5.1.2管理系统评价的步骤评价分析模型可根据前面所选择的评价方法（如德尔菲法、层次分析法、模糊综合评价法等）建立。一旦确定了评价方法，则根据对应评价方法的理论逻辑和操作程序即可建立起相应的分析模型。（5）分析计算评价指标值5.1.2管理系统评价的步骤根据收集整理的信息资料，完成评价指标体系中各单项指标的计算。计算过程中需要注意以下几个方面：1）为保证指标之间的可比性，一般需要对信息资料进行预处理，即无量纲化处理；2）单项指标值应与其对应的统计标准进行比较，以进行阶段性的验证，若验证不通过，则需要对前面的步骤进行修正；3）单项指标评价是系统综合评价的基础，所以一定要保证单项指标计算的质量。（6）系统综合评价5.1.2管理系统评价的步骤从系统整体观念出发，在各单项指标计算的基础上，按照一定的综合规则，将各单项指标的评价值整合在一起，得到一个总评价目标价值属性的综合评价值，从而在整体上对各备选方案进行总排序，最后生成评价报告并提交给企业决策层。Content目录015.1管理系统评价概述025.2德尔菲法035.3层次分析法045.4模糊综合评价法5.2德尔菲法02德尔菲法（DelphiMethod）是一种非常常用的定性评价方法，该方法在20世纪50年代左右由美国兰德公司的诺曼•达尔克（NormanDalkey）和奥拉夫•赫尔默（OlafHelmer）提出。德尔菲（Delphi）是古希腊传说中的神谕之地，城中有座阿波罗神殿。传说中阿波罗具有预见未来的能力，这种预测方法因此得名。由于专家能够背靠背的自由发表意见，德尔菲法可以很好地弥补集体讨论（或头脑风暴）等方法存在的屈从权威或盲目服从多数的缺陷。德尔菲法最开始用于预测技术对战争的影响，后来很快在医学、教育、环境科学和管理学等领域得到了广泛应用。5.2德尔菲法管理系统评价方法可分为定性方法和定量方法。根据方法的常用性，对于定性方法本章重点介绍德尔菲法，定量方法主要介绍层次分析法和模糊综合评价法。5.2.1德尔菲法的基本思想与实施步骤德尔菲法也称为专家意见法或专家函询调查法，该方法让专家背靠背地发表意见，不受干扰地畅所欲言、各抒己见，管理小组对专家们的意见进行统计处理和信息反馈，经过几个回合的循环往复，使专家们分散的意见逐步统一，最后达到较高的预测精度。德尔菲法管理小组要仔细分析问题的特点、问题产生的原因、问题可能会造成的影响，以及问题涉及的利益相关方等等。（1）界定问题5.2.1德尔菲法的基本思想与实施步骤挑选专家，形成德尔菲法专家池。挑选的专家可以是对前面界定的问题有独到学术见解的学者型专家；也可以是问题的利益相关者，从事与问题相关的工作，对问题有很深的认识的实践型专家。选择的专家要有代表性、权威性。专家人数的多少，可根据问题的重要性和涉及面的宽窄来确定，一般以10-50人为宜。（2）选择专家及设计专家意见征询表德尔菲法专家池中的专家是背靠背的，相互并不知道对方的存在，德尔菲法管理小组与各专家单线联系。各专家根据他们所收到的专家意见征询表，提出自己的预测或评价意见，并说明自己是怎样利用这些材料并提出预测值的。（3）发放征询表并由专家独立判断5.2.1德尔菲法的基本思想与实施步骤德尔菲法管理小组将专家意见进行汇总，统计分析汇总数据，进行一致性检验。若专家意见的一致性满足评价要求，则德尔菲法结束，可以总结预测结果并汇报给企业决策层；若专家意见的一致性不符合评价要求，则应汇总专家意见，由专家再次进行判断，直到专家意见的一致性满足评价要求，或者管理小组找到德尔菲法应该结束的其他理由为止。（4）汇总专家意见并反馈专家意见的一致性检验一般可以通过计算均值、方差和变异系数等指标进行判断分析。（4）汇总专家意见并反馈5.2.1德尔菲法的基本思想与实施步骤

对专家的意见进行综合处理，得到评价结论，并将预测结果汇报给企业决策层。（5）预测结果输出5.2.1德尔菲法的基本思想与实施步骤5.2.2德尔菲法的应用案例某公司在新产品开发上取得了突破，研制出当前市场上所没有的一种全新产品，现急需对该产品的市场销售量进行预测，以决定未来的产量。因为是全新产品，所以没有历史数据可供参考。于是该公司成立了包含市场专家、业务经理和销售人员等8人的专家小组，然后使用德尔菲法对新产品全年销售量进行预测。在德尔菲法管理小组的组织下，8位专家从“滞销”、“畅销”和“一般”等三种市场前景分别对新产品全年销售量给出了自己的判断。经过三轮专家意见反馈，得到的专家意见及一致性检验指标计算结果如表所示。专家第一轮第二轮第三轮滞销一般畅销滞销一般畅销滞销一般畅销15007509006007509005507509002200450600300500650400500750340060080050070080050070080047509001500600750150050060012005100200350220400500300500950630050075030050075030060075072503004002504005004005006008260300500350400600370410610均值345500725390550775415570820方差4148657857135714238002500010571488001305738629变异系数0.590.480.510.400.290.420.230.200.24德尔菲法应以最后一轮的专家意见为准。因为第三轮是最后一轮，因此可直接将第三轮专家意见的平均值作为新产品全年销售量的预测值，即（415+570+820）/3=601.67。（1）平均值预测5.2.2德尔菲法的应用案例假设第1-3位专家为“市场专家”、第4-6位专家为“销售人员”、第7-8位专家为“业务经理”，分别给各位“市场专家”、“业务经理”和“销售人员”赋予15%、12.5%和10%的权重。如此，第三轮专家意见的“滞销”、“畅销”和“一般”等三种情况下的预测值将分别调整为423.75，808.75和576.25。所以考虑专家权重的加权平均预测值为（423.75+576.25+808.75）/3=602.92。（2）考虑专家权重的加权平均值预测如果已知新产品出现“滞销”、“畅销”和“一般”等三种状况的可能性分别为20%、30%和50%，则进一步考虑市场前景权重的加权平均预测值为，423.75×0.2+576.25×0.5+808.75×0.3=615.5。（3）进一步考虑市场前景权重的加权平均值预测德尔菲法具有如下优点：1）吸收许多专家参与预测，可以充分利用专家们的经验和学识；2）通过匿名和背靠背形式排除了面对面讨论的诸多干扰因素，使专家能独立地做出自己的判断；3）经过几轮循环，分散的意见在各专家独立判断下逐步实现统一。管理小组不会困惑于专家们的不同观点，这些不同观点的统一也没有参杂企业管理层和管理小组的意见。5.2.3德尔菲法的评价与发展德尔菲法可能存在以下缺点：1）预测过程可能会经历多轮反复，导致该方法的实施时间较长，费用较高；2）预测值都是基于专家的主观判断，缺乏客观依据，而且显得强求一致；3）汇总的专家意见最终并不一定总是能够实现统一。到目前为止，德尔菲法的基本思想并没有大的变化，但借助于现代信息社会背景下高度灵活、便捷、自动化的信息沟通工具，德尔菲法的具体实施过程已经有巨大的改变。Content目录015.1管理系统评价概述025.2德尔菲法035.3层次分析法045.4模糊综合评价法5.3层次分析法03管理系统评价中一个非常核心的问题是确定权重，如5.2节使用德尔菲法对新产品全年销售量进行预测，考虑了各种权重之后的预测值与原始预测值存在一定差异。层次分析法（AnalyticalHierarchyProcess,AHP）是一种定性与定量分析相结合的，主要用于确定评价模型中各评价因子/准则的权重的常用方法，该方法于20世纪70年代由美国运筹学家托马斯•萨蒂（ThomasL.Saaty）提出。经过半个世纪的发展，AHP已经被广泛用于政治、经济、教育、环境工程、政策、项目评价、企业经营决策等众多领域。5.3层次分析法层次分析法聚焦于问题所包含的要素及其相互联系，其基本思路是：首先将分析的问题分解为不同的要素，并把这些要素归并为不同的层次，从而形成多层次结构；其次按照某一确定的评价准则，对每一层次的要素进行逐对比较并建立判断矩阵，然后通过计算判断矩阵的最大特征值和特征向量，得出该层次要素对与之有联系的上一层次要素的权重（即相对重要度）；最终在这个基础上计算出各层次要素对于系统总体目标的总体权重（即综合重要度），从而得出不同备选方案的权重，同时也为选择最优方案提供依据。5.3.1AHP的基本思想5.3.2AHP的实施步骤（1）问题识别界定问题的范围和性质，分析问题包含的要素及其相互关系，明确问题的本质与具体目标。5.3.2AHP的实施步骤（2）建立层次分析模型在问题识别的基础上，将所要评价的问题分解为不同的要素，并把这些要素按性质分层排列，从而形成多层次结构。可以参照解释结构模型法（InterpretativeStructuralModelingMethod,ISM）等分析工具建立对应的多级递阶层次结构。最简单的层次分析模型可分为三个层级：1）最高层，也称为目标层、核心层最高层一般只有一个要素，是评价对象的预期目标和理想结果，反映了系统评价的最高准则。2）中间层，也称为准则层中间层包含了衡量目标的各项准则，是实现目标的中间环节。3）最低层，也称为方案层、措施层、表层最低层列出了系统问题的各种解决方案、应对措施，是评价对象的具体化。5.3.2AHP的实施步骤（2）建立层次分析模型根据上下层次要素之间关系的差异性，层次分析模型可以分为以下三种结构形式：1）完全相关结构。上下层次各要素之间完全相关，即每一个上层要素与所有下层要素两两直接相关，上下层次各要素之间不存在断联。5.3.2AHP的实施步骤（2）建立层次分析模型根据上下层次要素之间关系的差异性，层次分析模型可以分为以下三种结构形式：2）完全独立结构。每一个上层要素都有各自独立的、完全不同的下层要素。5.3.2AHP的实施步骤（2）建立层次分析模型根据上下层次要素之间关系的差异性，层次分析模型可以分为以下三种结构形式：3）混合结构。这种形式是前面两种结构类型的混合，即某些上层要素与所有下层要素两两直接相关，也有一些上层要素存在独立联系的下层要素。5.3.2AHP的实施步骤（3）构造判断矩阵判断矩阵是AHP的基础分析工具。对于上一层某个元素（假设为A）来说，下一层与之相关的所有元素（假设为Bi，其中i=1,2,3…n，表示总共有n个元素）两两比较后的相对重要性可以表示为数值形式，这些数值构成了判断矩阵的元素（bij）。5.3.2AHP的实施步骤（3）构造判断矩阵心理学研究表明，人们通过感觉思维来比较判断两个对象相对差异的心理学极限为7±2个。所以，AHP判断矩阵元素取值一般可以参照托马斯•萨蒂的9级标度法进行。5.3.2AHP的实施步骤对于A而言，Bi相对于Bj重要性的描述标度数值极为重要9很重要7重要5稍重要3同等重要1稍次要1/3次要1/5很次要1/7极为次要1/9（4）层次单排序及一致性检验层次单排序是指根据判断矩阵计算的对于上一层某要素而言本层次与之有联系的所有要素的重要性次序的权值（即相对重要度）。层次单排序是层次总排序的基础，其主要工作可以归结为对判断矩阵的特征根和特征向量的计算。需要注意的是，需对判断矩阵进行一致性检验，只有通过一致性检验，在判断矩阵基础上所进行的层次单排序才能在实际中加以应用。5.3.2AHP的实施步骤（4）层次单排序及一致性检验

5.3.2AHP的实施步骤（4）层次单排序及一致性检验

5.3.2AHP的实施步骤（4）层次单排序及一致性检验

5.3.2AHP的实施步骤（4）层次单排序及一致性检验

5.3.2AHP的实施步骤（4）层次单排序及一致性检验

5.3.2AHP的实施步骤（5）层次总排序层次总排序是在层次单排序的基础上计算出各层次要素对于系统目标的总体权重，即综合重要度，并最终得出层次结构模型中最低层中各备选方案的权重，这个权重也可以为选择最优方案提供依据。层次总排序具有以下特点：1）从最高层（目标层）逐层往最低层（方案层）递推计算的，并只有进行到最低层才算最终结束；2）对于最高层下面的第二层来说，其层次单排序就是其总排序；3）当前层次的总排序一定是建立在紧邻的上一层次的总排序结果的基础之上。5.3.2AHP的实施步骤（5）层次总排序

5.3.2AHP的实施步骤（5）层次总排序当前层次的层次总排序如下表所示：5.3.2AHP的实施步骤（6）评价结果输出在完成最低层次（方案层）的层次总排序之后，计算相对紧邻准则层（或子准则层）的某一准则而言各备选方案的单项表现，并根据总排序和检验结果选择最优方案。5.3.2AHP的实施步骤某企业预“采购一套满意的设备”，希望该设备符合“价格低”、“功能强”、“技术适配性好”和“维护成本低”等4个指标的要求。又已知有4种备选设备，每一种设备都需要使用这4个指标进行分析判断。5.3.3

AHP法的应用案例1．问题识别这个问题可以分三个层次解决，目标层是“采购一套满意的设备”，准则层包括“价格低”、“功能强”、“技术适配性好”和“维护成本低”等4个指标，方案层则是4种备选设备。根据问题的特点，可以建立完全相关结构的层次分析模型。2．建立层次分析模型5.3.3

AHP法的应用案例3．构造判断矩阵判断矩阵包括相对于目标层A，与之关联的准则层元素B1~B4之间两两比较后相对重要性的判断；还包括相对于准则层元素B1~B4，各备选方案C1~C4之间两两比较后相对重要性的判断。所以，本问题总共需要构造5个判断矩阵。根据专家意见，所有的判断矩阵如表所示。5.3.3

AHP法的应用案例4．层次单排序及一致性检验因为本问题涉及的层次分析模型共有5个判断矩阵，所以本模型的层次单排序共需要计算5个相对重要度，并对所有判断矩阵分别进行一致性检验。又因为所有判断矩阵的阶次n都为4阶（≥3），所以需要考虑阶次n的影响，并汇报一致性检验的修正指标C.R.值。使用求和法分别得出5个判断矩阵对应的相对重要度，各判断矩阵一致性检验指标C.R.值均小于0.1，这说明根据各判断矩阵计算得出的相对重要度可以应用于实际。5.3.3

AHP法的应用案例5．层次总排序层次总排序只有进行到最低层才算最终结束，若层次结构模型的层次较多，则相应的层次总排序可能需要进行多次。本问题建立的层次结构模型有3个层级，其第二层（准则层）的层次单排序其实就是层次总排序，所以只需要完成最低层（方案层）相对于准则层的层次总排序即可。5.3.3

AHP法的应用案例

AHP具有如下优点：（1）AHP把混杂的思维过程转化为分解、比较判断和综合等简单的数学分析，已经成为一种聚焦权重、排序等内容的重要的系统评价方法；（2）AHP是一种简洁实用的决策方法。AHP的运用不需要高深的数学知识、数理逻辑和数学推理，但把定量与定性分析很好地结合起来了；（3）AHP仅需要较少的数据信息。AHP以评价主体对评价对象的本质、要素及其联系的理解为分析基础，比一般的定量分析更强调定性的分析和判断，所以也有学者认为AHP是一种对定性问题进行定量分析的系统评价工具。5.3.4AHP法的评价及发展AHP同时也具有如下缺点：（1）当AHP指标过多时会造成权重难以确定，也会导致数据统计量过大；（2）AHP使用的实际观测数据较少，主观的定性成分较多，不易令人信服；（3）AHP的特征值和特征向量的精确求法比较复杂。在阶次较高时，求解判断矩阵的特征值和特征向量会相对困难，此时可能需要借助包含矩阵运算功能的专业软件；（4）AHP只是对现有方案的比较分析，并不能为决策层提供解决问题的新方案。Content目录015.1管理系统评价概述025.2德尔菲法035.3层次分析法045.4模糊综合评价法5.4模糊综合评价法04

模糊综合评价法（FuzzyComprehensionEvaluationMethod）是借助模糊数学（FuzzyMathematics）中的模糊集合论，对一些边界不清晰、无法进行精确测量的评价对象进行评价的方法。美国加州大学的卢特菲•查德教授在其1965年的论文《模糊集合》（LotfiA.Zadeh,1965）中首次提出“隶属度函数”（MembershipFunction）这一可用来描述现象差异中间过度状态（即模糊性）的概念，标志着模糊数学的诞生。模糊数学的出现是当代数学适应描述复杂事物的需要，卢特菲•查德教授的功绩在于找到了将模糊性对象加以精确化、确切化和科学化的工具——模糊集合，从而使研究确定性对象的经典数学与不确定性对象的模糊数学沟通起来，过去精确数学、随机数学描述感到不足之处由此得到弥补。可以说，模糊数学在经典数学与充满了模糊性的客观世界之间架起了一座桥梁。5.4.1模糊综合评价法概述5.4.2模糊综合评价法的一般步骤

（1）建立评价指标集和评价尺度集5.4.2模糊综合评价法的一般步骤

（2）确定指标权重隶属度矩阵属于模糊关系矩阵，它反映了从评价指标集U到评价尺度集V的模糊映射。模糊综合评价法需要对每一个备选方案构造隶属度矩阵。隶属度矩阵R的结构如下所示。（3）构造隶属度矩阵

5.4.2模糊综合评价法的一般步骤

（3）构造隶属度矩阵5.4.2模糊综合评价法的一般步骤

（3）构造隶属度矩阵5.4.2模糊综合评价法的一般步骤

（4）计算综合评定向量5.4.2模糊综合评价法的一般步骤

（5）评价结果输出5.4.2模糊综合评价法的一般步骤

（5）评价结果输出5.4.3模糊综合评价法案例分析

5.4.3模糊综合评价法案例分析

5.4.3模糊综合评价法案例分析

5.4.3模糊综合评价法案例分析

5.4.3模糊综合评价法案例分析