多重比较.ppt

1、心理学实验研究中的数据处理,舒 华 北京师范大学心理学院,多重比较,多重比较中的累积错误 在对实验数据的统计检验中，研究者需要确定拒绝一个虚无假说的可能性，即确定I型错误率。 如果数据满足方差分析的三个基本假设：每个分数是独立于其他分数的；每个处理总体分布是正态的；变异分布是同质的，则全方差分析中的I型错误率是控制在水平的。,研究者常常首先使用全方差分析，对因素实验中的主效应、交互作用的显著性进行检验。如果F值显著，我们拒绝了虚无假说，接受了备择假说，表明了处理效应的存在，但是哪些差异是真正存在的，哪些是不存在的？通过接受或拒绝一个全虚无假说通常不能提供对实验结果的完整的解释（当p2时）。 在

2、很多情况下，研究者还需要对一些特定的、更详细的假说进行检验，这些细致的检验往往对得出结论可能是更有用的。平均数之间的比较就是用于检验这样的一些特殊假说。,例如，当一个研究要探讨生字密度对阅读理解的影响，有三种生字密度水平：5：1，10：1和20：1。全方差分析得到生字密度主效应显著，表明生字密度对阅读理解的影响是显著的。 然而研究者还更希望知道，生字密度的哪个水平上，对阅读理解有更大的影响。这就需要进一步做多重比较，比较5：1 与10：1，10：1与20：1，5：1与20：1等各个不同生字密度水平上阅读理解的差异。,当全方差分析显著时，需要进行额外的检验。而额外的多重比较检验，带来的一个重要问

3、题是I型错误的增加。 我们做一个实验时，经常选择一个水平来控制I型错误的可能性。如果设置p=.05，表明有百分之五的可能性当总体平均数之间没有差异时，我们拒绝了虚无假说。 假定我们将同一个实验重复很多次，每个实验中，有1/20的概率当虚无假说为真时我们犯I型错误。从另一个角度，如果我们做20个实验，我们期望犯一个I型错误 （.05(20)）。如果我们做100个实验，我们可能犯5个I型错误(.05(100)。,很明显，实验的数量增加，我们犯I型错误的数量增加。 在多重比较时，我们相当于做一个实验(p2)，其中平均数之间做独立的比较。这种情况带来同样的问题。进行的比较越多，当比较之间虚无假说为真时

4、，我们会犯越多的I型错误。,可以区分两种错误： 每个比较的I型错误率（PC）指如果我们在一个实验中有几个比较，每个设置为=.05，这时我们对每一个比较犯I型错误的可能性是.05。 EW(experimentwise)I型错误率指在一组比较中犯一个或多个I型错误的可能性。 两种错误率之间的关系是： c指独立比较的个数；,在PC错误率设置为=.05，c = 3的比较中，EW错误率是： 当=.01水平：,当C的数目较小时，EW错误率约等于： 例如：,可以看到，如果我们在水平做一个单一的统计显著性检验，则估计I型错误率是。然而如果同时做若干个检验，每个检验都定在水平，就会出现累积错误。 总错误率会超出

5、我们设置的水平的拒绝假说的可能性。因此，我们需要确定一个为每个比较选择合适的 水平的方法。,一个最简单的方法是把每个多重比较的错误率设置为 ，即无论做多少个检验，每个检验均在 水平，即把一个实验中的多个检验与一个实验中的一个检验看作是没有区别的。 另一个方法是将一组检验看成一个家族，限定这个家族的I型错误，如一个实验（或家族）中有c个统计检验，家族错误率（或实验错误率）为： 。 广泛被接受的方法是家族错误率，其中 的确定导致I型错误的可能性被限定在。P(比较数量I=1)= 。,多重比较的种类 计划的比较 假定研究者做了完善的设计，他对其中一些特别的比较感兴趣，而且这些特别感兴趣的比较是在实验之

6、前根据理论假说或前人的文献结果确定的，这就是计划的比较。 计划的比较是在实验实施之前确定的，保证了选择是独立于数据的。,例如，由于前人的文献结果表明，在一个有三组处理平均数的实验中，第一组（控制组）与第二组（实验组1）、第三组（实验组2）之间应有差别，因此事先确定做第一组与第二组、第三组之间的比较，这就是一组计划的比较。,在有三组处理平均数的实验中，所有可能的比较总数是6个; 用公式表示： (1) X1 - X2 X1 - X3 X2 - X3 X1 ( X2 +X3) ( X1 + X3 ) - X2 X2 (X3 +X1),在有计划的比较的实验中，实验者不感兴趣于同时测量所有的平均数之间的

7、比较，而是事先确定一些要检验的平均数之间的比较。 所以计划的比较是事先的比较，即比较的确定是基于理论或前人经验的，是在实验数据收集之前确定的。 例如，在上例中，研究者只关心比较（1），（2）和（4），即第一组（控制组）与第二组（实验组1）之间是否有差别，第一组（控制组）与第三组（实验组2）之间是否有差别，第一组（控制组）与第二组、第三组（实验组）之间是否有差别。,这时研究者计划检验的虚无假说是： 当只做一个计划的比较，F检验的显著性是没有问题的，I型错误的可能性局限于水平。 如果一个实验中有多个有计划的比较，犯I型错误的危险增加，要控制I型错误的概率在水平，需要控制P(#I=1)= 。,正交的

8、比较 当我们对同一组数据提出两个或两个以上的问题时，有时我们希望知道这两个问题之间是否独立，评价比较之间是否独立的问题是对比的正交性。 在上面的例子中，如果研究者关心比较（1），（2）和（4），即第一组（控制组）与第二组（实验组1）是否有差别，第一组（控制组）与第三组（实验组2）是否有差别，第一组（控制组）与第二组和第三组（实验组）是否有差别。这是一组非正交的比较。 而如果研究者除了感兴趣于第一组（控制组）与第二组和第三组（实验组）是否有差别，同时感兴趣于第二（实验组1）和第三组（实验组2）之间的差异。这时，这组比较是正交比较。,事后的比较 有计划的比较是在实验之前确定的，无计划或事后的比较指

9、实验数据收集后并看到结果之后确定要进行的比较，实验者在实验实施前没有特殊的假设。这样的比较只有在全方差分析显著后才能进行。 事后比较的主要形式是对所有可能的处理平均数进行成对比较，其目的是要最大限度地发现研究数据中的有用信息。,事后比较存在一系列的问题，做的比较越多，I型错误越多，在一系列比较中犯一个或多个I型错误的可能性（EW error rate ）的公式： 即使事先的正交的多重比较，EW error rate也随着比较的数量增加而增加。,在SPSS中，被试间（项目间）因素的多重比较都可以通过选项“post-hoc”来实现，只是在具体选择哪种方法上要根据实验目的而定。即实验设计是需要尽量控

10、制I类错误还是需要尽量减少II类错误。 总的来说，LSD（Least significant difference）是最宽松的检验，它对因多个比较增加的I类错误不作任何校正。Bonferroni则是最严格的，特别是当多个比较非正交时，它会严重降低统计检验力(power)。 Petrinovich 2、将实验条件一(X2)和实验条件二(X3)相比较。,第一个比较可以看出“实验条件”的一般影响： X1 X2 = (1) X1 + (-1) X2 + (0) X3 第二个比较可以揭示不同实验条件的差别： X1( X2 + X3) = (1) X1 + (-1/2) X2 + (-1/2) X3 检验

11、的假说是：,系数的使用，可以使我们方便地表示平均数之间的各种比较。 系数的思想不仅可以用于两两比较平均数之间的差异，还可以扩展到多于两个平均数的比较。 对比可以用一组对应于各自平均数的有序的系数表示，系数表达为(c1, c2, cI)。 对比的一般公式表示式是： I = C1 X1 +C2 X2 + + Cp Xp = Ci Xi,例：如果研究者感兴趣： 第一组（控制组）与第二组和第三组（实验组）是否有差别； 第二组（实验组1）和第三组（实验组2）之间是否有差别； 用简化的系数矩阵方式表示： C1 C2 C3 - 1 -1/2 -1/2 0 1 -1 -,当研究者感兴趣： 第一组（控制组）与第

12、二组（实验组1）是否有差别； 第一组（控制组）与第三组（实验组2）是否有差别； 第一组（控制组）与第二组和第三组（实验组）是否有差别； 系数的表示方式如下： C1 C2 C3 - 1 -1 0 1 0 -1 1 -1/2 -1/2 -,假定有更多的处理平均数，我们可以做更加复杂的比较。 例如，在一个有五组处理平均数的实验中，研究者感兴趣于将2组和5组的平均数与3组和4组的平均数做比较，可以表示如下： (0)X1 + (1/2)X2 + (-1/2)X3 + (-1/2)X4 + (1/2)X5 = 0 用系数可以表示为： （0, 1/2, -1/2, -1/2, 1/2）,研究者还可以将2组和

13、4组的平均数与1组、3组和5组的平均数做比较： (1/2)X2 + (1/2)X4 + (-1/3)X1 + (-1/3)X3 + (-1/3)X5 = 0 用系数可以表示为： （-1/3, 1/2, -1/3, 1/2, -1/3）,用系数权重的方法表示的比较的优点 由于可以任意合并一些平均数，使我们有可能做一些更“一般”、更灵活的比较。 对比通常比多重成对比较更有实际意义，它使研究者可以去检验一个或几个高度特定的假说。 对比是特别有效的发现和解释数据意义的工具。,举例： 假定我们有三组处理平均数，第一组是控制条件，第二组和第三组是两种不同的实验条件。我们希望知道控制组和实验组的差异，及两个

14、实验组之间的差异。 - 处理平均数 X1 X2 X3 75 30 45 比较 1 1 -1/2 -1/2 2 1 -1 -,可检验的虚无假说是： H0: (1).1 +（-1/2）.2 + (-1/2).3 = 0 H0: (1).2 + (-1).3 = 0 检验假说可以用t检验：,对比分析是关于平均数复杂组合的比较，它的目的是要回答一个或几个特殊的、从理论上关心的有关结果模式的问题。 与全方差分析相比，方差分析是检验一个全面的、整体的假说的显著性，而对比分析则更针对特定的假说。 在全方差分析的F检验，或自由度大于1的F检验中，经常进行总体的变异分析，这时得出的差异显著的结论仅能回答一个泛泛

15、的平均数之间是否存在差异的问题。这种泛泛的检验经常不是研究者兴趣的，研究者往往更感兴趣于具体在哪个或哪些地方存在差异，存在什么样的差异。,对比分析可以回答这样更细致的问题。因此，很多研究者发现，这样的对“理论聚焦”问题的检验有时是比“综合”的全方差分析F检验更有力的研究工具，促使实验者在实验设计阶段对实验有全面深入地思考。 与多重成对比较（事前或事后的）相比，对比分析有时更有实际意义，这种方法使研究者有可能去检验一些高度特定的假说。 可以增加power，通过少量的计算，提供对这些检验效应大小的估价，容易发现实际存在的差异。对比是特别有效的发现和解释数据的意义的工具。,正交的对比 正交的对比与比

16、较之间的独立性有关。两个比较是正交的，指它们提供了有关实验结果的互相独立的信息。即从一个比较中得到的信息与从另一个比较中得到的信息无关。 从另一个角度描述，正交的比较指一组系数中的数字（如C1、C2、C3、Cp）与另一组系数中的数字（如C1、C2、C3、Cp）是完全无关的。,对“第一组（控制组）与第二组（实验组1）是否有差别，第一组（控制组）与第三组（实验组2）是否有差别，第一组（控制组）与第二组和第三组（实验组）是否有差别”的一组对比，系数表示如下： C1 C2 C3 - 1 -1 0 1 0 -1 1 -1/2 -1/2 -,对“第一组（控制组）与第二组和第三组（实验组）是否有差别，第二（

17、实验组1）和第三组（实验组2）之间是否有差别”的一组对比，系数表示如下： C1 C2 C3 - 1 -1/2 -1/2 0 1 -1 -,两个比较是正交的，这意味着两个比较提问的是相互独立的问题。相互独立的问题指，当我们知道一个问题的结论时，并没有告诉我们另一个问题的结论。或者说，两个比较的正交性或独立性表示知道第一个对比是显著的，不能预期第二个对比是否显著。 用公式表示两个比较是正交的：,对于一组有p个水平的处理平均数，正交对比的数量是p-1个。或者说正交对比的数量与处理的自由度相同。 假如对于一个三个平均数的实验，所有可能的比较数量为6。一组互相正交的对比有2个，共有三组正交的对比。 第一

18、组： （1，-1/2，-1/2） （0， 1， -1） 第二组： （-1/2，1，-1/2） （1， 0， -1） 第二组： （-1/2，-1/2，1） （1， -1， 0）,从处理平方和的角度再看正交比较的独立性。 假如在一个实验中，A因素的主效应是显著的。A因素有三个处理水平，得到三个处理平均数75， 30和45。 进行多重比较时，各个比较的平方和与A因素处理平方和的关系是： 可以写作：,如果我们做一组正交的比较： - X1 X2 X3 75 30 45 比较1 0 -1/2 -1/2 比较2 1 -1 -,平方和的计算：,方差分析表 - 来源 平方和 自由度 均方 F - 处理A (21

19、0.00) (2) 比较1 187.50 1 187.50 13.23* 比较2 22.50 1 22.50 1.59* 误差 170.00 12 14.17 总和 380.00 14 - 可以看到SSA正好分解为SSAcomp1 和SSAcomp2 的和。,如果我们做一组非正交的比较： - X1 X2 X3 75 30 45 比较1 1 -1 0 比较2 1 0 -1 -,方差分析表 - 来源 平方和 自由度 均方 F 处理A (210.00) (2) 比较1 202.50 1 202.50 14.29* 比较2 90.00 1 90.00 6.35* 误差 170.00 12 14.17

20、总和 380.00 14 - 可以看到SSAcomp1 和SSAcomp2 的和大于SSA，即： 202.50 + 90.00 = 292.50,从方差分析表中可以看出两个非正交比较之间有变异的重叠。 在一个研究中，我们选择哪种比较主要取决于我们要探讨的问题，当我们选择进行一组正交比较，这组正交比较中应当含有我们感兴趣的某个或某些比较，但我们不一定对一组正交比较中所有的比较感兴趣。,在进行实验设计时，并不是必须做正交对比分析的设计，但正交对比的使用有几点优点： 1. 每个对比的解释是完全独立于与其正交的其他对比的，因此在对一组问题的回答中，对一个问题的回答不受其他问题的影响。 2. 由于正交对

21、比中对比之间互相独立，因此正交对比是用最小数量的对比抽取最大量的有用信息，信息之间没有重叠或冗余。如果有p-1个独立信息，p-1个正交对比使用了所有的信息，而非正交对比需要多于p-1个对比所使用的信息。,全方差分析的基本思想是，如果全方差分析显著，至少其中一个比较检验是显著的。但是否有可能当成对比较都不显著的情况下，一个对比显著？ 是可能的。 我们做一组正交对比，就象做一个全方差分析。一组正交对比的自由度(p-1)，与一个全方差分析的自由度(p-1)是相同的，因此如果全方差分析显著，至少一对比较之间的检验是显著的： F = MSA / MSE F = SSCi / MSE 但当SSCi SSA

22、/df情况下，可以至少一个对比显著，而全方差分析不显著。从这个角度说，全方差分析相当于一组正交比较。,SPSS计算举例： 在一个单因素实验设计中，要考察形声字的类型：一致字、半一致字和不一致字，对儿童学习生字的影响。 假设我们想比较（1）一致字和两种不一致字是否有差异，以及（2）两种不一致字之间是否有差异，这是一组正交比较。 首先，在SPSS中输入数据、并按实验设计排列好，字的类型在这里是被试内因素。这里的被试内因素的Contrast需要在Syntax窗体中编写。数据格式及syntax句法如截图示：,形声字类型的主效应显著： F(2, 116)=48.136 p0.001,输出结果： Test

23、s of Between-Subjects Effects. Tests of Significance for T1 using UNIQUE sums of squares Source of Variation SS DF MS F Sig of F WITHIN+RESIDUAL 7.78 60 .13 CONSTANT 46.59 1 46.59 359.13 .000 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -,* * * * * * A n a l y s i s o f V

24、a r i a n c e - design 1 * * * * * * Tests involving TYPE(1) Within-Subject Effect. Tests of Significance for T2 using UNIQUE sums of squares Source of Variation SS DF MS F Sig of F WITHIN+RESIDUAL 2.36 60 .04 TYPE(1) 3.35 1 3.35 84.99 .000 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

25、 - - - - - - -,* * * * * * A n a l y s i s o f V a r i a n c e - design 1 * * * * * * Tests involving TYPE(2) Within-Subject Effect. Tests of Significance for T3 using UNIQUE sums of squares Source of Variation SS DF MS F Sig of F WITHIN+RESIDUAL 1.11 60 .02 TYPE(2) .20 1 .20 10.62 .002 - - - - - -

26、- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -,我们看到： （1）一致字与两种不一致字的差异比较，即type（1），对应于句法中的2 -1 -1，F（1,60）= 84.99，p = 0.000，说明一致字与两种不一致字的差异在统计上是显著的。 （2）两种不一致字之间的差异比较，即type（2），对应于句法中的 0 -1 1，F（1,60）= 10.62，p = 0.002，同样半一致字和不一致字的差异也是有统计学意义的。 如果我们用事后的多重比较，我们只能两两比较，无法作一致字与两种不一致字的差异比较。,谢谢！,检验力和F检验,I型和II型错误的关系 一个实验的敏感性的量化指标是它的检验力，检验力指当备择假说为真时，拒绝虚无假说的可能性。或者说，检验力表示对虚无假说的统计检验得出“现象存在”结论的可能性。也可以说，检验力是当虚无假说为假，做出正确决策的可能性。,我们做的方差分析中，要估价的统计假说是处理效应等于零（虚无假说），我们决定拒绝或者不拒绝虚无假说是基于F值。而这个F值可能导致