Delphi法使用说明

1、德尔菲评价法德尔菲是Delphi的中文译名。Delphi原是一处古希腊遗址，是传说中神渝灵验，可以预卜未来的阿波罗神殿的所在地。德尔菲（Delphi）法是美国“兰德”公司于1966年首先用于技术预测的。美国空军委托成立不久的的“兰德”公司从事一项有关如何利用专家意见的研究工作，即以德尔菲为代号的“德尔菲计划”，是项有关如何合理和有效地利用专家意见和专家判断的研究计划。“兰德”公司的数学家赫尔默和他的同事多尔基研究出了一种调查和分析专家意见的有效方法：通过简单扼要的专家意见征询表，征求一组专家的意见，经过有控制的反馈，取得尽可能可靠的统一意见。他们把这种方法命名为德尔菲法。德尔菲法是专家会议预测

2、法的一种发展。它在很大程度上克服了一般专家会议存在的种种缺陷，发扬了专家会议的许多长处。在上世纪六十年代末到七十代中，获得了广泛的应用，它在各类预测方法中所占比重为24.2。德尔菲方法的出现，标志着直观预测方法的进步和发展。第一节 德尔菲法的特点与应用一、德尔菲法的特点为了弥补专家会议的缺点和不足，德尔菲有如下三个特点。（一）匿名性为克服专家会议易受心理因素影响缺点，德尔菲法采用书信方式，进行匿名性的意见征询，参加应答的专家互不见面，互不了解其他专家的答复情况。专家可以充分发表自然意见或修改自己意见无需作公开说明，而不必担心损害自己的威望。（二）轮间反馈性德尔菲法不同于民意测验，一般要经过四轮

3、，民意测验只进行一轮，没有反馈性。德尔菲法在每一轮意见征询之后，要将征得的专家意见进行统计处理，汇总并将处理汇总所得的结果反馈结每位专家作为其提出下一轮预测的参考。（三）统计性统计性是德尔菲法不同于专家预测法的一个重要特征。它采用统计方法，对专家的集体预测结果进行定量评价和处理。二、德尔菲法的基本程序在德尔菲法实施的第一轮开始之前，必须事先作好准备工作，例如阐明专家组所要预测的课题领域，解释将使用的方法等。做好准备工作之后，德尔菲法将按如下程序进行。（一）第一轮：主持者将一份事先没有经过严密组织、结构松散、没有具体目的，仅仅指出预测课题、不带任何框框的问题表、发给根据预测课题所在领域选择的各个

4、专家。经过一定的时间期限，主持者将第一轮问题表收回后，对专家们提出的所有意见加以汇总、整理、剔除对预测目的无关或意义不大的意见，用标准术语综合出第二份问题表。（二）第二轮：将经过汇总处理的第二份问题表，由主持者发给每个专家，专家应当就第二份问题表所列事件作出评价，并阐明理由。主持者将第二份问题表收回后，对专家意见再次进行处理汇总，综合出第三份问题表。（三）第三轮：主持者将第三份问题表发给每位专家。每位专家应当根据第三份问题表，对汇总的各种意见、理由进行评价。专家们经过修正和新的论证后再寄给主持者。主持者再次总结专家们的意见综合出第四份问题表。（四）第四轮：主持者将包括事件表，对专家的各种评价等

5、内容的第四份问题表最后再寄给每位专家。每位专家必须考虑各种论证和评论，并作出新的预测。在第四轮中，专家们是否需要再提出新的论证，将根据主持者是否认为必要而定。（五）对第四轮以后的应答结果进行统计处理，形成较一致预测结果。三、应用德尔菲法时应注意的问题用德尔菲法进行预测活动时，为了提高预测质量，取得应有的效果，应注意以下几个问题：（一）选择合适的专家专家的选择是关系到德尔菲法成败的关键，也是预测领导小组的一项主要工作。专家通常是指在某一预测领域有较高的学术水平，具有丰富经验的专业人员。怎样选择专家是由预测任务决定的。在选择专家时，大体按如下顺序进行。1. 编制征求专家应答问题的一览表；2. 根据

6、预测问题，编制所需专家类型一览表；3. 将预测问题一览表发给每个专家，征询他们能否参加规定问题的预测；4. 确定每个参加预测的专家从事预测所消耗的时间和经费。选取的专家不仅要精通业务，有学派代表性，同时要乐于承担任务，并能坚持始终。经验表明，一个身居要职的专家匆忙填写征询表，其参考价值不如一个专门从事业务工作的一般干部认真填写的调查表。专家人数要视预测问题的规模而定，一般以1015人为宜。人数太少，学科的代表性受到限制，并缺乏权威，影响预测精度。人数太多则组织较困难，但对一些重大问题也可扩大到100人以上。在确定专家人数时，值得注意的是，即使专家同意参加该项目研究，因种种原因也不一定每轮必答，

7、有时甚至中途退出。因此，在预选专家人数时应适当多选一些专家，以留有余地。（二）设计好问题表问题表是德尔菲法预测的主要手段，它设计的好与坏，直接影响预测的质量。在设计问题表时，应注意以下几点：1. 问题必须提得非常清楚，用词要确切在所设计的问题表中，所提的问题的含义只能有一种解释，而且用词要确切，不得有不明确或易产生不同理解的情况。2. 问题要集中中并有针对性，不要过于分散，以便使各个事件构成一个有机的整体。问题要有逻辑顺序，先整体，后局部。同等问题中，先简单，后复杂。这样由浅入深的排列，或者按问题的分类排列，易于引起专家回答问题的重视与兴趣。3. 问题的数量不要太多问题的数量不仅取决于应答要求

8、的类型，同时还取决于专家可能作出应答的上限。如果问题只要求作出简单的回答，数量可多些。如果问题比较复杂，则数量要少些。严格的界定是没有的，一般可以认为问题数量的上限以25个为宜，以便每一位专家在2小时内回答完问题。如果问题超过50个，则评估领导小组就要认真研究，问题是否过于分散而影响应答质量。4. 问题表要简化问题表应有助于专家作出评价，应使专家把主要精力用于思考问题，而不是用在理解复杂、混乱的调查问卷上。专家咨询表应答的要求，最好是以“”或填空的方式列出。问题表还应留有足够的地方，以便专家阐明意见或理由。事实证明，一个设计好的专家咨询表，将得到事半功倍的效果。5. 问题表中的内容要分类设计问

9、题表时，要对内容进行分类。一般来说，问题表包括下面几类：(1) 目标手段问题表，要求专家根据预测对象（如人口），确定预测的总目标、子目标和达到目标的手段。如表1所示。目标手段问题表的应答，是为了德尔菲预测确定能紧扣目标和手段事件。(2) 预测事件问题表，要求应答专家根据主持者所提出的预测主题。确定德尔菲预测专家组所应顶测的各个具体事件。如表2所示。(3) 实现时间问题表，要求应答专家就事件实现时间作出概率估汁。如表3所示。在有些德尔菲预测中，由于预测时象不同，要求应答专家作出定量估计的除实现日期和时间外，还有技术参数值、各因素相互影响的百分比等等，也可以用表3的格式进行定量估计。(4) 肯定式

10、应答问题表，它一般指不附带条件的回答，目的在于征求应答专家就某些解决问题的措施或方案，某些事件发生的状况等等，作出肯定回答。如表4所示。(5) 条件式应答问题表和推断式应答问题表，在格式上都是相问的，只不过是在问题一栏里，所提的问题前者为：如果在前提下，你认为下列方案(状况)中，哪种方案(或状况)最佳(或会发生)；后者为：为了，你认为下列方案(状况)中，哪种方案(或状况)最佳(或会发生)。表1 目标手段问题表目标手段总目标子目标A子目标B子目标C子目标D子目标E子目标F所需手段手段a手段b手段c手段d手段e手段f手段g手段h手段i表2 预测事件问题表主题事件主题分主题A分主题B分主题C分主题D

11、事件事件a事件b事件c事件d事件e事件f表3 实现时间问题表实现时间事件实现时间10%概率50%概率90%概率事件a事件b事件c事件d事件e事件f表4 肯定式应答问题表 问题方案为了你认为下列方案中哪一种最佳方案a方案b方案c方案d方案e方案f不管是何种格式的问题表，根据预测预测需要，可繁可简，可减少或增加内容。实际上，德尔菲预测问题表一般比上述基本格式复杂一些，往往把许多内容加在一起制表，其中包括专家的自我评定在内。6. 领导小组意见不应强加于问题表中为了保证预测结果的可靠性，领导小组不要把自己的观点加在问题表中，作为反馈材料提供给应答专家。这样处理势必出现诱导现象，导致预测结果不可靠。（三

12、）要支付适当报酬为了调动和鼓励专家的积极性在组织德尔菲法预测时，应给专家支付适当报酬。其报酬金额视预测工作量而定。最后将报酬标准随征求专家应答一览表一起发出。（四）确定合适的轮间间隔从经验来看，不同的预测轮间间隔差别较大。多数预测完成一轮需要46周时间，然而有的预测两轮一共只需要26天。因此，轮间间隔除了与问题难易有关外，还与专家对预测问题的兴趣有关。（五）充分说明德尔菲法的预测程序领导小组(或主持者)不能自认为参加应答的专家都了解德尔菲法及其预测程序。实际上，有许多专家对德尔菲法及其程序了解甚微，甚至全然不知。为了使专家全面了解情况，一般问题表都应有前言、用以说明预测的目的和任务，德尔菲法预

13、测的程序，以及应注意的有关问题。第二节 专家咨询表的统计分析方法对专家应答结果进行分析各处理是德尔菲法预测的最后阶段，也是最重要的阶段。处理的方法和表达的方式，取决于预测问题的类型和对预测的要求。德尔菲法应用最为广泛的是，要求专家对某事件发生的时间提出评价。此外，还要求专家对策方案在总体中的比重进行评价，及从多方案个择扰选择一个。近年来随着科学技术的高速发展，科学技术日趋朝着多目标和多方案方向发展。为了用有限的的资金和人力确保重点，有必要对众多目标和方案的相对重要性进行评价，这是近年来德尔菲法的一项重要发展。对专家应答的结果进行统计分析，应用常规的统计分析方法。首先对专家的性别、年龄、职务、专

14、业及从事专业的年限等个人特征进行描述性的分析，以了解专家的基本情况，便于说明参加该项目评估、预测专家的水平与结果的可信和可靠程度的联系。主要应用的统计指标有：百分数、算术均数、几何均数、中位数、四分位数、满分频率、等级和、变异系数、各种统计表、统计图等等。具体的计算方法详见卫生统计学中的有关章节。一、专家的积极系数即专家咨询表的回收率，其大小说明专家对该项目研究的关心程度。例如，“中国妇幼保健工作评价指标体系研究”中，邀请了100多名专家，应邀专家遍及22个省、3个直辖市。专家涉及10个学科、4个行政管理层次、26所大学或科研机构。因此认真地分析专家的情况，对以后评估结果或预测结果将有十分重要

15、的作用。见表5。表5 专家的积极系数类别专业分布发出调查表数回收调查表数回收率（%）一轮二轮一轮二轮一轮二轮卫生科研系统社会医学与卫生事业管理2423232095.8386.96卫生经济644466.67100.00妇、儿科管理及妇、儿保健管00100.00流行病3333100.00100.00卫生统计3333100.00100.00健康教育3333100.00100.00计划生育655483.3380.00卫生行政管理卫生部、省卫生厅地、市卫生局、妇幼处3431313091.1896.67省、市、县妇幼保健院、所34323132100.00100.00相关学科733

16、342.86100.00合计13512212411791.8595.80二、专家意见集中程度专家意见集中程度、包括均数(Mj)、满分频率(Kj)、等级总和(Sj)。首先将全邰专家对所有被评的项目或指标的评分值Cij列于表中，见表6。表6 某一研究项目专家评分值表专家研究项目或指标12jn1C11C12C1jC1n2C21C22C2jC2niCi1Ci2CijCinmCm1Cm2CmjCmn（一）计算均数(Mj)式中：Mj：表示j指标评价的均数；mj：表示参加j指标评价的专家数；Cij：表示i专家对j指标的评分值。均值取值在09或0100分之间，Mj越大，则对应的j指标的重要性越高。（二）计算满

17、分比(Kj)式中：Kj：表示j指标的满分比；Mj：表示给满分的专家数。Kj取值在01之间，Kj可作为Mj的补充指标，Kj 越大，说明对该指标所给满分的专家比例越大，该指标也越重要。三、专家意见的协调程度这是一项十分重要的指标，通过计算可以判断专家对每项指标的评价是否存在较大分歧，或找出高度协调专家组和持异端意见的专家。（一）各指标评价结果的变异系数VjVjjMj式中：j：表示j指标的标准差；Mj：表示j指标的均数。式中：mj：表示参加j指标评价的专家数；Cij：表示i专家对j指标的评分值。变异系数Vj说明专家对j指标相对重要性的波动程度，或者说是协调程度。相互比较，Vj越小，专家们的协调程度越

18、高。（二）专家意见协调系数及2检验 变异系数仅能说明mj个专家对于j指标的协调程度，但是在研究中，往往还希望了解全部m个专家对全部n个指标的协调程度。通常用W表示协调系数。具体计算过程如下：1计算全部指标评价等级的算术平均值：等级总和就是对j指标评价的专家分别给出等级的求和，按专家对各指标的评价等级递增排队。见表7。(1)计算专家对j指标的等级和：式中：Sj表示j指标的等级和；Rij：表示i专家对j指标的评价等级。表7 专家对各指标评价评分统计表专家人数指标1指标2指标3指标4评分等级评分等级评分等级评分等级1100450320210122025031004101370350210044014

19、301502703100159021003.51003.58016803904602501等级和1517.518.59很明显，Sj越大，该指标越重要。如上表中，清楚地看到，6位专家对指标3的评分高，等级和为18.5，亦说明这一指标也最重要。(2)计算等级算术平均值：式中：Msj表示全部方案评价等级的算术平均值。2所有专家就全部指标给出相同评价时W的计算：dj=Sj- Msj 经过实践知道，当所有专家就全部指标给出相同的评价时， 值最大。因此可用下式：式中：W：表示所有专家对全部评价指标的协调系数或程度。3在专家对各指标没有给出相同评价时W的计算：式中：n：表示指标数；m：表示专家总数。当有相同

20、等级时，上式的分母要减去修正系数Ti ，此时W的修改如下：式中：Ti：表示相同等级指标；L：表示i专家在评价中相同的评价组数；ti ：表示在L组中的相同等级数。协调系数W在01之间，W越大，表示协调程度越好。根据国内几项大型德尔菲法在卫生系统的应用研究，经23轮咨询协调后，误差控制较好，W一般在0.5的范围波动。见表8。反之，意味着专家意见协调程度较低。究其原因：参加同一项目研究的专家之间缺乏交流；在对同一项目评价或预测时的专家组中存在着些高度协调组，但备高度协调组之间的意见相互对立。因而，在某些项目研究的结果，W可能很小，极端情况甚至为零。但对项目评估或预测结论没有什么影响，共作用主要是进一

21、步寻找各高度协调组，针对各专家组的意见症结，设立几种方案，以供决策部门选择。4协调程度的显著性检验2检验：假设专家的意见按正态分布，则评估或预测的结果如何呢？则要进行显著性检验，按泊松 ( R. Pearson ) 2准则公式：(1) 计算值：(2)计算自由度 (d.f.)d.f.= n-1(3)根据自由度d.f和显著性水平，从2值表中查得2值，如果,则可认为协调系数经检验后有显著性。说明专家评估或预测意见协调性好，结果可取。反之，值很小，专家组的意见的非偶然协调的概率越大，如果P0.05，则认为专家意见在非偶然协调方面将是不足置信的协调，评估或预测结论的可信度差，评价或预测结果不可取。见8表

22、。表8 例德尔菲法专家意见协调系数比较表中国城市PHC评价指标体系研究中国农村PHC评价指标体系研究中国妇幼保健工作评价指标体系研究一轮二轮一轮二轮一轮二轮指标个数120953829118101协调系数W0.0630.3740.2240.4470.2260.448454.4796.57269.10437.03P值0.05=0.010.050.05四、专家权威程度任何一个专家都不可能对预测中的每一个问题都是权威，而权威程度对评价的可靠性则有相当大的影响。因而，对评价结果进行处理时，常常要求考虑专家对某一问题的权威程度。专家的权威程度一般由两个因素决定，一个是专家对方案作出判断的依据，用Cn表示；

23、一个是专家对问题的熟悉程度，用Ca表示。专家的权威程度以自我评价为主，有时也可相互评价。当自我评价时，专家除填报应答表外，还应填写判断依据及其影响程度表和对问题熟悉程度表。分别如见表9和表10。权威程度为判断系数和熟悉程度系数的算术平均值，计算公式：例如，中国妇幼卫生保健指标体系第二轮专家权威程度统计如下（表11）。表9 判断依据及其影响程度量化表判断依据对专家判断的影响程度大中小理论分析0.30.20.1实践经验0.50.40.3国内外同行的了解0.10.10.1直觉0.10.10.1表10 专家对问题的熟悉程度系数表熟悉程度C很熟悉0.9熟悉0.7较熟悉0.5一般0.3较不熟悉0.1很不熟

24、悉0.0表11 专家权威程度统计表指标CRCaCn社会经济指标0.790.560.68卫生资源投入与分配指标0.840.730.79妇幼保健效果指标0.900.810.86妇幼保健状况指标0.890.780.84儿童保健状况指标0.870.750.81计划生育指标0.830.710.77妇幼卫生政策及管理学指标0.840.670.76平均值0.860.700.78专家的权威程度与预测精度呈一定的函数关系，一般来说，预测精度随着专家权威程度的提高而提高。第三节 德尔菲法的改进美国兰德公司对经典的德尔菲法进行广泛深入研究的基础上，对该法进行了某些修正，派生出各式各样的改进办法，用于满足不同条件的需

25、要。认识德尔菲法的不足并在实践中加以克服及完善，有助于研究人员更好地使用德尔菲法，使研究成果的精度进一步提高。一、德尔菲法的主要缺点（一）第一轮是一张白纸 经典的德尔菲法，第一轮只提供给专家一张预测主题表，这虽然能运用专家知识结构和思维联想的能力，但是，由于某些专家对德尔菲法不甚了解等原因，因此在完全无结构处状态下，专家们会感到无从下手，不知道如何才能符合填写要求；也有的专家可能会提出一些专业范围非常狭小的问题，总之第一轮咨询表，专家提出的问题将是五花八门，统计整理的难度是很大的。（二）专家的背景资料不足 在许多情况下，科学技术的发展取决于政策和经济因素，而参加德尔菲法的成员一般是某一专业领域

26、的专家，他(她)们可能对政策和社会、经济的情况了解很少。所以从专家完成的预测结果，必将因专家对这些政策和经济情况了解程度的不同而不同。（三）轮回周期长及自信度的评价 德尔菲法一般要经过四轮，有时甚至五轮。时间太长，另以往缺乏专家对自己的意见和观点提出评价。事实上，专家的自信程度越高，预测精度往往也越高。（四）在事件发生日期的预测中 如有四分之一的专家对某一事件判断“决不会发生”，上四分点就标不出来，截角楔形固也画不出来，从而使“决不会发生”这一类判断难以进入德尔菲法的统计结果。（五）给出上、下四分点和中位数后存在的问题 德尔菲法三个显著特点是：匿名性；信息反馈沟通；预测结果的统计特性。作为定量

27、处理是德尔菲法的一个重要持点，对预测结果采用统计评定回答的方法，能够包括全部专家的意见，根据专家们的回答，可提出中位数和上、下四分点。即用上、下四分点和中位数来表示专家的不同意见状况。领导小组一般在第三轮咨询表上就给出上、下四分点和中位数。这样，有的专家可能会只是简单地向中位数靠拢，回避提出新的评价、预测意见。从而妨碍了那些具有创造性的重大科学发现或发明的意见或者观点。二、德尔菲法的改进匿名性、反馈性和统计性是经典或传统德尔菲法的特点，自从“兰德”公司首次推出这个经典的德尔菲法以后，许多预测专家对其进了广泛研究，对创始的经典德尔菲法进行了修正或补充，形成了许多派生的德尔菲法。在这里我们把派生的

28、德尔菲法分为两大类介绍。（一）保持经典德尔菲特点的派生方法这类方法主要是对经典德尔菲法中的某些部分进行修正，以弥补经典德尔菲法的某些缺点。1. 列出预测事件一览表这个称为加表德尔菲法，亦称事件表德尔菲法。主持者根据现有掌握的资料或征求有关专家意见、预先拟订一个预测事件一览表，作为第一抡提供给应答专家，供专家们开始应答或修改补充。即从第一轮开始着手设计专家咨询表之前，事先就准备一个事件表，这个事件表应事先以其他方式（如面谈）征求过专家的意见。这样做，实际上等于完成了第一轮的工作。2. 向专家提供背景材料这种方法称为背景预测德尔菲法。这种派生的德尔菲法的主要特点，就是预先为参加应答的专家提供一份有

29、关预测对象或预测问题的背景材料。这是因为在许多情况下，由于专家忙，加之当前科学和技术发展的方向在很大程度上取决于技术政策和经济条件。参加预测的成员一般是某一科技领域的专家，不可能期望他们非常了解外界的政治经济情况。因而有必要把政治和经济的发展趋势，作为第一轮的信息提供给应答专家，使专家们有一个共同的起点，使得专家能在较短时间，根据背景资料，结合专家本人的专业技术及专业经验，作出他的判断和逻辑推论。3. 减少应答轮数这种方法称为减轮德尔菲法。在经典德尔菲尔法中，一般要经过四轮，甚至五轮的应答。但是，一系列短期预测实践表明，通过两轮或者三轮意见已相当协调。减轮德尔菲法的特点，就是把应答轮数减为三轮

30、，甚至两轮。其优点是节省时间和工作量，适用于需要在短期获得预测结果情况。从现有的预测经验来看，般采用三轮较适宜。如果在第一轮开始时就提供供了预测事件一览表，采用两轮也可得到正确的预测结果。4. 对预测事件给出多重日期这种方法称为加期德尔菲法。这种派生方法与经典方法只要求提供一个日期的作法不同。其特点是，要求每个应答专家就预测事件将要发生的时间，提供三个概率不同的日期，即实现概率为10的日期、实现概率为50的日期和实现概率为90%的日期。第一个日期意味着事件发生的可能性不大，第二个日期意味着事件发生或不发生的可能性相同，第三个日期则表明事件是很可能发生的，有百分之九十的把握。当然，也可以来用其它类似的概（如20，50，80等）。这种加期德尔菲法的优点是容易获得专家应答的统计性。在统计时，应答过程的主持者先可以获得（计算出）三类日期各自的中位数，其中应答专家认为有50可能性的日期的中位数，即低概率与高概率的中位数，则用来表示应答专家意见的离散度。这种派生法显然不同于经典法。在经典法中，只要求专家提供事件将会发生的日期或发生概率为50的日期。5. 自我评价这种方法称为加评德尔菲法，也称自评德尔菲法。应答专家对自己的专长进行