常用综合评价方法数学建模.ppt

常用综合评价方法 Synthetical Evaluation 第二十三章 Content w Concept w Process w Selection and weight estimation of evaluation index w Analytic hierarchy process,AHP w Topsis w Rank sum ratio,RSR 例如，某人英语考试成绩58分 是否对照某标 准判断此结果 是否 评 价（ evaluation) 仅是描述 ，反映现 状 1. 基本概念 Synthetical evaluation综合评价 Definition:利用多项指标对某个评价对象 的某种属性进行定性、定量评估，或者 对多个评价对象的属性进行定性、定量 评估，可对优劣顺序排序。 Application:对比， 择优 Purpose: 支持决策（基础、预防、临床 、管理中广泛应用） 2.1 综合评价的一般步骤 对某事件进行多因素综合评价的过程，实质上就是科学研究与 决策的过程，原则上应包括设计、收集资料和分析资料几个基 本阶段，实施中应着重注意以下几个基本环节。 选择恰当的评价指标(evaluation indicator) 确定各评价指标权重 合理确定各单个指标的评价等级(evaluation grade)及其界限 建立综合评价模型(synthetical evaluation model) 确定多指标综合评价的等级数量界限，并根据实践对已建立模 型考察、修改及完善。 研究目的 2.1例：学生综合测评（综合评分） u 评价指标：德育总分、智育总分、体育 总分（加分：CET） u 权重： 方案1：德育0.3 智育0.6 体育0.1 方案2：德育0.1 智育0.8 体育0.1 方案3：德育0.3 智育0.6 体育0.1 加分 u 评价模型：评分法、总分为100，加分不 封顶，累加法。 u 评价结果: 学生甲：德育90 智育70 体育80 学生乙：德育70 智育80 体育70 2.2 综合评价一般步骤示例 研制新生儿缺氧状况的Apgar评分方法 研 究 目 的 据专业知识，选择5个指标 心率 呼吸肌张力 反射 皮肤颜色 5个指标具有相等权重 选择指标 确定权重 以累加法累计总分：810分为正常；47 分为轻度缺氧；03分为重度缺氧。 确 定 指 标 评 价 等 级 及 界 限 建立模型 3.1 评价指标的基本要求 基本要求 代表性：各层次指标能最 好地表达所代表的层次。 确定性：指指标值确定， 其高低在评价中有确切含义。 区别能力/ 灵敏性：即指标 值有一定的波动范围，而且其 高低在评价中有确切的含义。 独立性：即选入的指标各 有所用，相互不能替代。 选择综合评价指标 3.2 系统分析法及文献资料 分析优选法筛选指标 缺乏 有关 历史 资料 ，或 指标 难以 数量 化时 系统分析法(systematic analysis method) ：是一种常用的凭经验挑选指标的方法 ，首先将所有备选指标按系统（或属性 、类别）划分，再通过座谈或填调查表 的方法获得对各指标的专家评分，确定 主次，再从各系统内挑选主要的指标作 为评价指标。 文献资料分析优选法：即全面查阅有关 评价指标设置的文献资料，分析各指标 的优缺点并加以取舍。 3.3 常用客观筛选指标方法 逐个指标进行假设检验的方法：是在掌握有关历史资 料基础上，依照可能的评价结果将评价对象分组，并 对各指标进行假设检验，挑选有统计意义的指标作为 评价指标。 多元回归与逐步回归法：多元回归分析挑选标准化偏 回归系数绝对值较大或偏回归系数假设检验有显著性 的指标作为评价指标；逐步回归有自动挑选主要影响 指标的功能，是目前最常用的指标挑选方法。 指标聚类法：在存在众多指标的情况下，可将相似指 标聚成类，再从每类中找一个典型指标作为代表，从 而用少量几个典型指标作为评价指标来代表原来众多 的指标建立评价模型。 3.4 指标筛选建议 在实际工作中，往往综合使用多种方法 进行指标筛选，在获得较为满意的专业 解释的基础上，优先考虑那些被多种方 法同时选入的指标。 3.5 评价指标的权重估计 确定指标权重方法 主观定权法客观定权法 专家评分法 成对比较法 Saaty权重法 秩和比法 相关系数法 其它方法 模糊定权法 熵权法 定权带有一定的主观性，用不同方法确定的权重分配，可能不尽一 致，这将导致权重分配的不确定性，最终可能导致评价结果的不确定 性。因而在实际工作中，不论用哪种方法确定权重分配，都应当依赖 于较为合理的专业解释。 3.6 专家评分法评分方式 1）专家个人判断 即分别征求专家个人意见，在专家各自单独给 评价指标的相对重要性打分的基础上，进行统计处理，以确定 各指标的权重。 优点：专家打分时不受外界影响，没有心理压力，可以最 大限度地发挥个人创造能力。 缺点：仅凭个人判断，易受专家知识深度与广度的影响， 难免带有片面性。 2）专家会议 即召开所有被挑选专家，以集体讨论的方式进行 评分，然后再以统计手段确定各指标的权重。 优点：可以交换意见，相互启发，弥补个人之不足。 缺点：主要表现在易受心理因素的影响，如屈从于权威和 大多数人的意见，受劝说性意见的影响，不愿公开修正已发表 的意见等等。 6 6个专家对个专家对4 4个评价指标的评价结果得分个评价指标的评价结果得分 不考虑专家权威程度：权重分别是0.41,0.31,0.18,0.10 3.7专家评分法可靠性评估常用指标 在实际工作中，常用专家的擅长系数和专家意 见一致性系数等指标来估计专家评分方法所定权重 分配的相对合理性。 1)擅长系数：某一评估专家的水平可用对擅长领域中 所提问题作出正确应答的概率 ，即所谓“擅长系数” 。计算公式为： 其中，q为擅长系数, p为错答率。 理想的“绝对正确”评估专家，p=0,q=1。通常在 选择评估专家时,其擅长系数q不应低于0.80。 6个专家对4个评价指标的评价结果的 一致性系数计算表 2）专家意见一致性系数 :设参与权重评估的专家数为m，待评价 指标数为n，则反映m个专家对全部n个指标权重评估的一致程 度的指标称为一致性系数，以w表示,其计算公式为： 一致性系数在01之间取值，越接近于1，表示所有专家对 全部评价指标评分的协调程度越好。当然，一致性系数越 大越好，这说明各评价因子的权重估计较为稳定可靠。 当有相同秩时，要对w进行校正 ： 式中 3.7 常用的客观定权方法 某些统计方法分析结果，可提供有关因素权重分 配的客观信息: 1) 多元回归分析及逐步回归分析中，各自变量的标 准化偏回归系数值以及由此而推算的贡献率； 2) 计数资料判别分析中的指数，计量资料判别分析中 各因子的贡献率； 3) 主成分分析中得到的因子载荷和贡献率。 某些特定的统计方法 例如去某死因后期望寿命 的增量、减寿年数(Potential Years of Life Lost,PYLL)都可为各死因的相对重要性提供有关 权重分配的信息献率。 3.8 组合权重及其计算方法 组合权重(combined weight) 当评价指标可分层时，即某项或某几项评价指 标可再分为次级评价指标时，则次级评价指标的 权重既应考虑其本身在所有次级评价指标中的权 重分配，又要考虑其高层评价指标在所有评价指 标中的权重分配。 组合权重有两种求法： 1) 代数和法 2) 乘积法 组合权重计算表 3.9 权重估计注意事项 权重估计仍不是很完美，权重估计结 果应满足专业解释； 尽量在专业领域中寻找专业评分方法 ； 尽量排除试验者和受试者的主观性， 尽量选用客观方法； 采用多种方法进行权重，在获得较为 满意的专业解释的基础上，优先考虑 多个方法同时选入的指标。 几种常用综合评价方法 1. 现有的统计方法： 主要为多元统计方法 ，如多元回归、逐步回归分析、判别分析、因子 分析、时间序列分析等。 2. 模糊多元分析方法：由模糊数学发展而来， 包括模糊聚类、模糊判别、模糊综合评价等方法 。 3简易方法：主要包括综合评分法、综合指数法 、层次分析法、Topsis法、秩和比法等。 特点：简单实用；适用于各种资料；存在 一定的局限性。 4.1 层次分析法概念 层次分析法(Analytic Hierarchy Process,简称 AHP)：由美国科学家T.L.Saaty于20世纪70年 代提出,是用系统分析的方法，对评价对象依 评价目的所确定的总评价目标进行连续性分 解,得到各级（各层）评价目标，并以最下层 指标作为衡量目标达到程度的评价指标。然 后依据这些指标计算出一综合评分指数对评 价对象的总评价目标进行评价，依其大小来 确定评价对象的优劣等级。 4.2 层次分析法示例 例4：拟采用层次分析法建立一个评价综合 医院工作质量的综合指标，并采用该指 标对某市6所综合医院的工作质量进行综 合评价。 医院工作质量综合评价的基本步骤： 1）对总评价目标进行连续性分解以得到不同层次 的评价目标，将各层评价目标用图有机地标示 出来，即建立目标树图，见图1。 4.3 建立目标图 4.4 计算权重系数 2) 对目标树自上而下分层次一一对比打分，建立成对比较判断优选矩阵 。各层评分标准见表3,表4为第一层子目标成对比较判断优选矩阵。 表3 目标树图各层次评分标准 对比打分 相对重要程度 说 明 1同等重要 两者对目标的贡献相同 3略为重要 根据经验一个比另一个评价稍有利 5基本重要 根据经验一个比另一个评价更为有利 7确实重要 一个比另一个评价更有利，且在实践中证明 9绝对重要 重要程度明显 两相邻程度的 中间值 需要折衷时采用 表4 第一层子目标成对比较判断优选矩阵 医疗工作护理工作膳食供应 医疗工作1(a11)3(a12)5(a13) 护理工作1/3(a12)1(a22)3(a23) 膳食供应1/5(a13)1/3(a23)1(a33) 4.4 计算权重系数(续1) (2)按公式 计算初始权重系数 得 (3)按公式 计算归一化权重系数 得 用同样方法可获得其他分层中各项目指标的权重系数，现 以医疗工作一项为例说明，见表5。 4.4 计算权重系数(续2) 表5 医疗工作第二层、第三层子目标权重系数 层 次评价目标及权重系数 第二层医疗制度医疗质量病床使用 0.16340.53960.2970 第三层疗 效重症收容 0.66700.3330 (4)计算各个评价指标的组合权重系数，见图2。 膳食供应优良率的组合权重系数 C1=0.1047 护理制度优良执行率的组合权重系数C2=0.2583 治疗有效率的组合权重系数 C6=0.2292 4.4 计算权重系数(续3) 图2 乘积法求各层次评价指标的组合权重 4.5 求综合评分指数 (5)对评价对象的总评价目标进行综合评估。综合评分指数GI的 计算公式如下： 其中Pi为第i个评价指标的测量值，为评价指标的个数 。 例4 某市有6所综合医院，试对其医院工作质量进行综合评 价,医院的6项评价指标分别为病床使用率(P1) 95%，治疗有效 率( P2) 88.1%，重症收容率(P3) 15.4%，医疗制度执行优良率 (P4) 74.7%，护理制度执行优良率(P5) 54.7%，膳食供应优良 率(P6) 41.3%,其综合评分指数为： 其他医院综合评分指数GI的计算结果见表6。 4.5 求综合评分指数(续1） 由表6工作质量顺位可见，A医院工作质量最佳，D 医院工作质量最差。 表6 某市6所医院工作质量的综合评价表 评价指标 组合权重 医 院 ABCDEF 病床使用率0.189295.092.094.895.689.177.4 治疗有效率0.229288.191.290.094.093.692.2 重症收容率0.114515.48.37.93.19.53.7 医疗制度执行优良率0.104174.753.461.950.061.967.1 护理制度执行优良率0.258354.720.726.120.027.435.5 膳食供应优良率0.104741.341.422.820.034.030.3 综合评分指数66.254.555.052.556.555.5 工作质量顺位154623 4.6 层次分析法评价 1、应用层次分析法时，注意在计算归一化权重系数后，应检验所 计算得出的权重系数是否符合逻辑。通常用一致性指标检验该 项目的相对优先顺序有无逻辑混乱，一般认为，当CI0.10时， 可能无逻辑混乱，即计算得的各项权重可以接受。 按下述公式可计算 一致性指标 ： 其中m为受检验层次的子目标数， 为最大特征 根, 为该层子目标成对比较判断优选矩阵的特征根。 4.6 层次分析法评价（续1） 2、为了度量不同阶判断矩阵是否具有满意的一致性，我们还 需引入判断矩阵的平均随机一致性指标值。对于1，2阶判断 矩阵，只是形式上的，因为1，2阶判断矩阵总具有完全一致 性。当阶数大于2时，判断矩阵一致性指标与同阶平均随机 一致性指标之比称为随机一致性比率，记为CR，其计算公 式为： 如本例第一层： 4.6 层次分析法评价（续2） 对于19阶判断矩阵，RI值见表7 。表 7 19阶平均随机一致性指标的取值 阶数 123456789 RI0.000.000.580.901.121.241.321.411.45 当CR0.10时，即认为判断矩阵具有满意的一致性，否则就需 要调整判断矩阵，并使之具有满意的一致性。以本例第一层为例： 认为第一层子目标各项权重判断无逻辑错误。依此类推 ，运用此法逐步检测每一层子目标权重系数，判断它们是否 都合乎逻辑。 5.1 Topsis 法 Topsis法（Topsis method）: 是系统工程中有限方案多目标决策 分析的一种常用方法，可用于效益评价、 卫生决策和卫生事业管理等多个领域。本 法对样本资料无特殊要求，使用灵活简便 ，故应用日趋广泛。 5.2 Topsis 法示例 j=1,2m, 第 i行第 j列元素的秩。 2当各评价指标的权重不同时，计算加权秩和比，其计算公式为 ： 其中，i=1，2n; j=1,2m, 为第 i行第 j列元素的秩， 为第 j个评价指标的权重， 。 6.3 秩和比法基本步骤示例 例6 某省10个地区孕产妇保健工作的产前 检查率X1(%)、孕产妇死亡率X2(1/10万)、 围产儿死亡率X3()资料见表13第(1)、(3) 、(5) 栏，拟综合上述3个指标进行综合评 价。 秩和比法的基本步骤： （1）列原始数据表：将个评价对象的个评价指标列 成行列的原始数据表，见表13第(1)、(3)、(5)栏。 （2）编秩：编出每个指标各对象的秩，其中高优指 标从小到大编秩，低优指标从大到小编秩，同一指 标数值相同者编平均秩。根据专业知识，产前检查 率为高优指标，指标值越大其秩越高；孕产妇死亡 率、围产儿死亡率均为低优指标，指标值越大其秩 越低。编秩结果见表13第(2)、(4)、(6)栏。 6.3 秩和比法基本步骤示例(续1) 6.3 秩和比法基本步骤示例(续2) .表13 某省10个地区孕产妇保健工作的各项指标值 地区 编码 产前检查 率 （%） 孕产妇死亡率 （1/10万） 围产儿死亡 率 （） RSR排序 X1R1X2R2X3R3 (1)(2)(3)(4)(5)(6)(7) A99.541060.27216.1560.60004 B96.52759.67320.1020.40008 C99.36943.91715.6070.76672 D92.83358.99417.0450.40008 E91.71235.40815.0180.60004 F95.35544.71613.9390.66673 G96.09649.81517.4340.50007 H99.27831.69913.89100.90001 I94.76422.911019.8730.56676 J84.80181.49123.6310.100010 6.3 秩和比法基本步骤示例(续3) （3）计算秩和比 根据RSR值对评价对象的优劣进行直 接排序：根据以下公式计算孕产妇保健工作的RSR， 结果见表12第(7)栏。例如对A地区： 余类推。据第(7)栏数据，可直接对10个地 区的孕产妇保健工作排序。显然，孕产妇保健工 作综合评价相对最劣的为J地区，其次为B、D地 区，相对最优的为H地区。 6.3 秩和比法基本步骤示例(续4) （4）确定RSR的分布 RSR的分布是指用概率单位Probit表达的 值特定的向下累计频率。其方法为： 编制RSR频数分布表，列出各组频数，计算各组累计频 数 ； 确定各组RSR的秩次范围R及平均秩次 ； 计算向下累计频率 ； 将百分率P换算为概率单位Probit，Probit为百分率P对 应的标准正态离差u（可查第520页u界值表）加5 。 例如 百分率P=0.0250对应的标准正态离差u=-1.96，其相应 的概率单位Probit为5-1.96=3.04；百分率P=0.9750对应的标准正 态离差u=1.96，其相应的概率单位Probit为 5+1.96=6.96。 孕产妇保健工作的RSR分布见表14。 6.3 秩和比法基本步骤示例(续5) （5）计算回归方程：以累计频率所对应的概率单位值Probit为 自变量，以RSR值为应变量，计算回归方程： Probit。 表14 RSR值的分布 RSR RProbit (1)(2)(3)(4)(5)(6)(7) 0.1000111110.03.72 0.4000232,32.525.04.33 0.5000144440.04.75 0.5667155550.05.00 0.6000276,76.565.05.39 0.6667188880.05.84 0.7667199990.06.28 0.9000110=n101097.56.96 6.3 秩和比法基本步骤示例(续6) 本例据表14第(1)、(7)栏求得方程: ： （6）分档排序 根据值对评价对象进行分档排序。分 档依据为标准正态离差，其范围以设定-33为宜。常用分 档情况下的百分位数临界值及其对应的概率单位Probit值 见表15。 依据各分档情况下概率单位Probit值，按照回归方程 推算所对应的RSR估计值对评价对象进行分档排序。具体 分档数由研究者根据实际情况决定。 本例将孕产妇保健工作拟分上、中、下三档。 参照表15，以相应概率单位Probit值代入上述回归 方程推算所对应的估计值。根据估计值进行分档排 序。 如本例 J地区的RSRj=0.1000，概率单位 Probit=3.72；代入上述回归方程得： 因此J地区分档等级为下，余类推，结果见表16。 6.3 秩和比法基本步骤示例(续7) 4表15 常用分档情况下的百分位数P临界值及其对应的概率单位Probit值 分档数 百分位数P Probit 分档数 百分位数PProbit 3P15.86646 P2.2753 P15.866 4 P2.275 3 P84.134 6 P615.866 4 4 P6.6813.5 P50 5 P6.681 3.5 P84.134 6 P50 5 P97.725 7 P93.319 6.5 7 P1.6182.86 5 P3.5933.2 P1.618 2.86 P3.593 3.2 P10.027 3.72 P27.425 4.4 P33.360 4.57 P72.575 5.6 P67.003 5.44 P96.407 6.8 P89.973 6.28 P98.382 7.14 6.3 秩和比法基本步骤示例(续8) 6.4 秩和比法基本步骤示例(续9) 4表16 某省10个地区孕产妇保健工作分档排序 等级 Probit 分档排序结果 下40.2774J 中40.2774B，D，A，E，G，I，F 上60.7214C，H 由表16分档排序结果可看出，10个地区中孕妇保健工作做 得最差的为J地区，中档为B、D、A、E、G、I、F，而C、H 为上档。 1.无误差的估计方法:只能进行描述,无法进行统计推断 2.评价指标和权重的不确定性 3.各种评价方法对同一批评价对象结果不一致 综合评价方法的局限性： 子目标 评价指标 图5 医院工作质量评价目标树图 膳食 质量 医院工作质量 膳食供应医疗工作护理工作 医疗 制度 护理 制度 医疗 质量 病床 使用 疗效 重症 收容 重症收 容率 供应优 良率 执行优 良率 有效 率 病床使 用率 执行优 良率 评价总目标 例1：住房分配的决策 某高校现有2名职工申请一套住房，校方将 参考以下几个指标进行分配。 职称/职务工龄家庭人 口 独生子 女 双职工 A教授教授20年4人是否 B处长处长20年6人否是 赋值教授=10分 处长=8分 每年 计1分 每人 计1分 是=3分 否=0分 是=2分 否=0分 表1 某高校 职工住房分配 个人情况及赋值 住房分 配方案 评价指标体系 名称主要指标附加指标 职称/职务工龄家庭人口独生子女双职工 赋值 教授=10分 处长=8分 每年计1分每人计1分 是=3分 否=0分 是=2分 否=0分 方案1内容 权重0.50.30.2 方案2内容 权重0.20.30.5 方案3内容 权重0.50.30.2 方案4内容 权重0.20.30.5 方案5内容 权重0.50.30.2 方案6内容 权重0.20.30.5 表2 不同的住房分配方案的选择 指标名称职称/职务工龄家庭人口独生子 女 双职 工 综合得 分 个人 情况