统计功效和效应值(哺?).doc

统计功效与效应量华中师范大学心理学院 刘华山一、统计功效（检验功效，效力，Power）统计功效指某检验能够正确地拒绝一个错误的虚无假设的能力。用1-表示。或说：当总体实际上存在差异（备择假设H1为真），应该拒绝虚无假设时，正确地拒绝虚无假设的概率，或不犯错误的概率 。它表示某个检验探查出实际存在的差异，正确拒绝虚无假设的能力。在实验设计中，统计功效反映了假设检验能够正确侦查到真实的处理效应的能力。 单总体检验 错误的解释 错误的解释 统计功效1- 决定统计功效的条件统计功效的大小取决于四个条件：1.两总体差异。当两总体实有差异越大，或处理效应越大，则假设检验的统计功效越大；（在错误概率不变的情况下，1-变大）2.显著性标准：也称显著性水平，是一个特定的值，一个决策标准。通过p与的决策比较，作出统计决策。而当假设H0是真实的时候，观察到的差异完全是由随机误差所致的概率称为观察概率p。显著性标准越大，则错误越小，从而统计功效1-越大；反之，变小，1-变小3.检验的方向：当两总体差异一定，对于同样的显著性标准，单侧检验比双侧检验的统计功效要大。4.样本容量。样本容量越大，样本平均数分布的标准误越小，分布曲线越瘦削，统计功效越大。二、效应量 (效应大小，Effect Size,ES )效应量，反映处理效应大小的度量。效应量表示两个总体分布的重叠程度。ES越大，表示两总体重叠的程度越小，效应越明显。其实，两样本平均数的差异本身就是一个效应量。由计算出的ES大小，可由专门的表格中查出两样本分布的重叠的百分比。故效应量经常用两总体重叠的程度为指标，重叠的部分百分比越大，效应量越小。或以两个样本不重叠的程度为指标，不重叠的部分百分比越大，效应量越大。三、效应量检验的功能1.效应量有助于我们判断统计上显著差异是否有实际的意义已有统计显著性检验的条件下，检验效应大小的必要性：统计显著性与实际显著性的区别：差异的统计显著性、相关的统计显著性只是告诉你在特定的条件下，这差异、这相关系数是存在的、并不是完全由抽样误差造成的，但并不意味着这差异有实际意义。统计量是否显著，是在一定条件下取得的，这条件与与上述统计功效的条件是一致的。也就是说差异是否显著受几个条件影响：一是实际差异的大小，或处理效应的大小（从t检验的待检验的统计量t的计算公式上可看出）；二是要求的置信度1-的大小（或说是指定的显著性水平）；三是样本规模的大小，四是检验的方向。在降低对做结论的把握的要求、增大样本规模的条件下，一个完全没有实际意义的差异或处理效应可以取得统计显著的结果。大样本比较容易获得统计显著性的结果，但这并不意味着差异是有意义的。例如如果有两个省的平均收入相差0.001元，由于样本规模达到几千万，这一微小差异在统计上一定是显著的。一个很容易的检测方法是在SPSS有关窗口下，将一套数据复制下来，再贴到原来的数据之后。这样以来，样本规模扩大了一倍。统计结果仍然保持原来的水平不变（数据的实际意义不变），但显著性水平得到了明显的提高。由于样本容量影响显著性水平，故即使统计检验显著，仍然应检查有实际意义的有关指标，如典型相关系数的平方所代表的典型变量之间的共享方差比例到底有多大，以判断其有无实际意义。反过来，统计不显著时，也许是因为样本容量太小。此时典型相关系数的平方仍然可以提供信息，以判断是否值得收集更多案例来重新进行分析。2.在元分析中，将各个不同的相关研究进行概括分析的基础便是各个不同研究的效应量（的合成）。由于同类研究的各个具体研究的设计、因变量、数据收集方法、所用工具、样本容量很不相同，如何加以整合，以作出一个概化的结论呢？格拉斯（Glass,1976）提出以效应量作为估计值。APA出版手册第五版要求报告差异检验结果时一般要报告SE值。四、效应量和统计功效前述统计功效与两总体差异（或说处理效应大小）、样本容量、显著性水平、检验的方向性四个因素有关。而两总体差异大小与两样本分布的重叠有关。效应量恰恰表示两个总体分布的重叠程度。可见，效应量和统计功效有关。统计功效受效应量的制约。在检验方向、样本容量、显著性水平固定的条件下，效应量与统计功效有对应关系。见下表。【独立样本】表1 在0.05水平下假设检验的统计功效样本容量效应大小0.20.50.8单尾100.110.290.53200.150.460.80300.190.610.92400.220.720.97500.260.800.991000.410.971.00双尾100.070.180.39200.090.330.69300.120.470.86400.140.600.94500.170.700.941000.290.941.00【此表反映了决定统计功效的几个因素：检验方向、样本规模、显著性水平、差异大小（效应量）。】表中上栏中的3个数字为效应量，下栏对应的3列各数字为统计功效。从中可看出，在相同情况下（相同的检验方向、相同的样本容量，显著性水平），效应量越大，统计功效越高。其他项相同的条件下，样本容量越大，检验功效越高；其他项相同的条件下，单尾检验比双尾检验统计功效高。实际上当效应量较小时，而计算出的1-越大，说明统计功效很高，即较小的效应量是对统计功效的严格检验。五、独立样本t检验的效应大小的一部分。即公式即上述效应量公式等价于此公式的含义是以两样本平均数的差异用两样本的联合方差的平方根（联合标准差）去度量所得的量数，作为效应量的指标。【也应是Cohens d的一种？】从本公式中可看出：t检验公式中的其作用是：当样本容量越大时，越小，t越大，差异越显著。现在求Sp公式中去掉了因子，等于是惩罚了大样本，消除了在效应量小的条件下，仅仅由于样本容量大而造成差异显著性高的情况。例：在大学一年级新生中选取10名双性化学生和20名非双性化学生，对他们施测自尊量表。10名双性化学生得分的平均数为离差平方和SS1=670；20名非双性化学生得分的平均数为离差平方和SS2=1010。问两组平均数有无差异？（设=0.01）已知 SS1=670； SS2=1010，则平均数差异的样本分布的标准误为求效应量这说明由双性化与非双性化造成的差异还是较大的。2.Cohens d 指标1 即求效应量不用两样本的合成方差的算术平方根，而是用两样本方差的平均数的算术平方根。（2）指标2 t-t检验值 df-检验自由度当时，变为此公式适用于提供了统计量t的情况。此式可以变形为这与前述第一公式只有小的差异。（本公式分母中少了“减2”）Cohen(1988)定义d 效应大小标准（解释）解释一 d=0.2 小 d=0.5 中 d=0.8 大解释二：用两个总体分布的重叠程度来解释附表 Cohens d与两个样本分布的不重叠部分百分比Cohen的标准效应量Percentile Standing 不重叠部分百分比（%）2.097.781.11.997.179.41.896.477.41.795.575.41.694.573.11.593.370.71.491.968.11.390.065.31.28862.21.18658.91.08455.40.98251.6大0.87947.40.77643.00.67338.2中等0.56933.00.46627.40.36221.3小0.25814.70.1547.70.0500.0【尝试解释：0.7为效应量，其含义是两个分布的对称轴【均数】相差0.7个标准分数，计算这个标准分数的标准差是联合方差的平方根。或说是处理组的平均数在控制组中的位置。0.76指上表中的百分位（Percentile Standing）（Whai is the magnitude of d? The mean of treatment group is the_ percentile of the control group.），意为平均数大的样本的平均数在平均数小的样本分布中的百分位。含义是，大的平均数压倒另一样本的76%个体的分数。图题OL%可能是重叠百分比，OL=Overlap.上表中最后一列为不重叠百分比（percent of overlap）】3.Glass estimator g 为处理组的平均数，为对照组平均数，为对照组标准差。本指标的使用范围同Cohens d指标。Glass认为:在几个不同处理均与控制组比较时,最好用控制组的标准差,这样就不会出现相同的均值因不同的标准差而出现不同的效应量.（1）实验组与控制组的标准差相差不大时，可以用本公式。（2）如果实验组与控制组的标准差相差较大，分母就要用实验组与控制组的联合方差的平方根来代换。4.Hedges （1）指标1 （2）指标2 g 分母根号内为两独立样本方差分析中的误差均方。见下例。Cohens .65 六、相关样本t检验的效应量1对照相关样本之差的检验的统计量，就知道SD的含义。同样，在检验方向、样本容量、显著性水平固定的条件下，效应量与统计功效有对应关系。一般说，统计功效、效应量、样本容量、显著性水平四个因素总是紧密关联的。它们还与检验方向有关。下表表明，当显著性水平一定时，效应量、统计功效、样本容量的变化方向是相同的。【相关样本，与前述表1不同】表 统计效力、效应大小、样本容量的关系（=0.05）样本容量效应大小0.20.50.8单尾100.090.320.66200.140.590.93300.190.770.99400.240.881.00500.290.941.001000.551.001.00双尾100.150.460.78200.220.710.96300.290.861.00400.350.931.00500.400.971.001000.631.001.00表中数字为统计功效。本表与上表格式完全相同，本表是适于相关样本的，前表是适于独立样本的。相关样本设计有更高的统计功效是可以理解的。本表中对应的统计功效都高于上表，只有单尾、效应量为0.2、样本容量10、20时，本表中的统计功效小于上表。【2.指标公式 本公式与前述两独立样本t检验的效应量公式相同。即Cohens d 指标1本公式适用于实验组与控制组的标准差相差不大的时候；如果实验组与控制组的标准差相差较大，分母就要用实验组与控制组的联合方差代换。】 七、检验的效应量（一）检验的效应量1. 系数类别变量的相关系数系数也代表了效应大小。系数（相关系数）的计算公式是（适用于两列二分变量间的相关）： 2.d ：适合结果变量为二分变量的两独立组比较。 3.Cramers （适用于两列多分类变量） Cramers 显然系数是Cramers 的特例。后者就是Cramer系数，或称克拉默系数V.是一种两个多分类变相关系数。（二）效应大小的判定标准当dfmin=1时，=0.10表示低的效应；=0.30表示中等的效应；=0.50表示高的效应；当dfmin=2时，=0.07表示低的效应；=0.21表示中等的效应；=0.35表示高的效应；当dfmin=3时，=0.06表示低的效应；=0.17表示中等的效应；=0.29表示高的效应.。八、回归或单因素方差中的效应值1.Cohens 为确定系数。根据总平方和等于回归平方和加误差平方和，得知：等于回归平方和与误差平方和之比。即适用领域为多元回归与单因素方差分析。Cohens is the appropriate effect size measure to use in the context of an F-test for ANOVA or multiple regression. Cohen, 1988提出效应量大小标准。0.02,小，0.020.3,大。九、逻辑斯蒂回归的效应量Odds ratio（比值比，发生比之比，简写OR）在逻辑斯蒂回归中，=称为发生比（odd）。比值比是两个组中某事件发生比之比，是自变量对因变量预测效应的效应量。适于自变量、因变量两个变量均是二分变量的情况，它也是逻辑斯蒂回归的效应量。比值比的单位与Cohend不一样，因此同样的取值不是等价的。（见“六”中“二分变量的两独立组比较”）example suppose that in a sample of 100 men, 90 have drunk wine in the previous week, while in a sample of 100 women only 20 have drunk wine in the same period. The odds of a man drinking wine are 90 to 10, or 9:1, while the odds of a woman drinking wine are only 20 to 80, or 1:4 = 0.25:1. The odds ratio is thus 9/0.25, or 36, showing that men are much more likely to drink wine than women. Using the above formula for the calculation yields the same result:而前者比后者敏感。十、单因素方差分析的效应量与统计功效（一）效应量的计算1. Cohens f= 其中F为样本F统计量的观测值，n为每组样本容量。这个f称为Cohens f2. Cohens （已如前述）【上二式中的f有小的差异。对于单因素方差分析，在1式中】（二）效应大小的判断根据Cohen的建议，f小于0.1为小的效应；f在0.25左右为中等效应；f大于0.4属于大的效应。例：一项实验欲研究阅读时间长短对儿童阅读能力的影响。将儿童随机分配到3种阅读条件下，第一组阅读时间为5分钟，第二组为15分钟，第3组为30分钟。两周后测量儿童的阅读能力，得分如下。表 阅读测试得分表第一组第二组第三组（K=3）101510142012（n=5）12176 8 812111510 111510 方差分析结果为，所以三组阅读测验平均分数无显著差异。计算效应量：f=,可见，尽管方差分析的F值不显著，效应分析却显示大的效应。【F不显著是由于样本容量过小所致。】（三）方差分析的统计功效统计功效受效应量的制约，同时也受样本容量的影响。例如单因素方差分析中，有3组被试，每组10人时，当效应大小是0.25时，统计功效为0.20；而当每组为100人时，若效应大小不变（仍为0.25），则统计功效上升为0.98。可见当效应量不变时，每组人数增多时，统计功效增加。故已知效应大小和每组的人数，可以计算出统计功效值。不过计算公式非常复杂。以下是ANOVA的效应量和统计功效的换算表。换算表显示：对于相同的效应值，每组人数越多时，统计功效越高；当效应量、每组人数一定时，比较的组数越多，统计功效越高。【不过组数对统计功效影响好像不太大】表 ANOVA的效应量与统计功效换算表（1）（3组被试）每组人数效应大小0.100.250.40100.070.200.45200.090.380.78300.120.550.93400.150.680.98500.180.790.991000.320.981.00 表 ANOVA的效应量与统计功效换算表（2）（4组被试）每组人数效应大小0.100.250.40100.070.210.51200.100.430.85300.130.610.96400.160.760.99500.190.85*1000.360.99* 表 ANOVA的效应量与统计功效换算表（3）（5组被试）每组人数效应大小0.100.250.40100.070.230.56200.100.470.90300.130.670.98400.170.81*500.210.90*1000.40*上三表中除标目栏的数字均为统计功效的值。十一、方差分析中的效应量【本点包括多因素方差分析的效应量】（一）含义方差分析中的效应量用以测量方差分析中处理效应（主效应、交互效应、线性比较等）的大小，它们可以被看作是自变量与处理效应之间的相关系数，它的平方可以解释为因变量总变异中各种效应的解释比例。（二）方差分析常用的四种效应量 Eta squared partial Eta squared omega squared the Intraclass correlation 、是样本关联程度的估计；跨级相关(intraclass correlation)是总体关联程度的估计。可以在SPSS的GLM -Options- display-Estimate of effect size.也可以用手工计算。 (三)四种效应量的计算Example The measures of association will be calculated for the study of the effects of drive and reward on performance in an oddity task that was used as the example in the notes for a 2-way ANOVA.The analysis of variance table with the corresponding Eta squared scores for each effect is shown in Table 1. 从方差分析表中可看到1.的计算 corrected定义：等于某因素效应（平方和）在总平方和中所占比例。2.的计算定义：的等于某因素的效应（平方和）除以该平方和与误差平方和的和所得的商。注：The reward by drive interaction was significant in this analysis, F(2,18)=3.927,p =.038。Using as the measure of effect size,the interaction between drive and reward accounted for 24% 【0.236】of the total variability in the performance score.Using as the measure of association, the interaction between drive and reward accounted for 30% 【0.304】of the total variability in the performance score. 下图表示的是各部分效应的效应量。【上图表示各种处理效应的的含义。不是多元回归的确定系数，因为一个多元回归方程只有一个确定系数。相当于假设只有该一个自变量时的一元回归方程的回归系数。不过这里的是方差分析中效应量的指标，而不是回归方程的问题。】说明：某一效应的偏等于该效应的平方和除以该效应平方和与误差平方和的和所得的商。偏的含义，表明它好像就是偏确定系数。但实际与偏确定系数的含义有差别。计算某一效应的偏与计算偏确定系数时，对“误差”平方和的定义是一样的（下例中的300）。但对效应的平方和的计算是不一样的。在计算偏时，“（处理）效应的平方和”是真正的效应的平方和；计算处理效应的平方和时，如同其他效应不存在（或说忽略其他效应）；而在计算偏确定系数时，某效应的平方和，实际是某效应的平方和减去它与其他效应的共同部分，或是1减去所有其他效应的平方和，这就是“偏”的含义。是某效应对因变量的独特贡献。3. 2 的计算4.跨级相关（Intraclass correlation）的计算跨级相关是随机效应模型中总体自变量与因变量间相关程度的估计。 计算公式为：十二、相关系数的效应量和统计功效（一）相关系数的效应量相关系数的效应量指标，就是相关系数本身。皮尔逊积差相关系数r及点二列相关系数都是用得应用最为广泛的效应量之一。根据Cohen的规定(1988，1992），0.100.29是小的效应；0.300.49是中等效应；等于或大于0.50是大的效应量。另一个刻划两变量间关系强度大小的是确定系数。（二）相关系数的效应量与统计功效的换算下表为积差相关系数的效应量与统计功效的换算表（双尾），当效应量很低时（如r=0.10），即使被试达到100,统计功效也很低。可见相同的效应量对应的统计功效与样本容量有关。表 积差相关系数的效应量与统计功效的换算表（双尾）被试数效应大小0.100.300.50100.060.130.33200.070.250.64300.080.370.83400.090.480.92500.110.570.971000.170.861.00表中除