统计学贾俊平第10章 方差分析

1、All rights reserved11第第1010章章 方差分析方差分析 10.1 方差分析引论 10.2 单因素方差分析 14.3 双因素方差分析All rights reserved2导引导引实验设计实验设计简介简介All rights reserved3引例引例Factor (Training Method)Factor Levels(Groups)Randomly Assigned UnitsDependent Variable(Response)21 hrs17 hrs31 hrs27 hrs25 hrs28 hrs29 hrs20 hrs22 hrsAll rights res

2、erved4实验中的术语实验中的术语实验指标(experimental indicator) n为衡量实验结果的好坏或处理效应的高低 ，在实验验中具体测定的性状或观测的项目称为试验指标l学习时间、血糖含量、体高、体重等All rights reserved5实验中的术语实验中的术语实验因素(experimental factor) n实验中所研究的影响实验指标的因素叫试验因素l当实验中考察的因素只有一个时，称为单因素实验l若同时研究两个或两个以上的因素对实验指标的影响时，则称为两因素或多因素实验l实验因素常用大写字母A、B、C、等表示All rights reserved6实验中的术语实验中的

3、术语因素水平(level of factor) n试验因素所处的某种特定状态或数量等级称为因素水平，简称水平All rights reserved7实验中的术语实验中的术语因素水平与处理n因素水平为某因子（自变量）之特殊形式或不同状态，例如我们可以将施肥细分成三个水平：完全不施肥、施轻肥、施重肥n如果解释的因素为单一(施肥与否），称为单因子分析，如果解释因子在两个以上（施肥与否栽种温度），称为多因子分析。n在单因素分析中，每一个因素水平皆称为一种处理(treatment)，多因子分析中，因子水平之组合称为一种处理（施重肥高温、无施肥+高温、施重肥低温、无施肥低温等All rights rese

4、rved8实验中的术语实验中的术语实验单位(experimental unit) n在实验中能接受不同实验处理的独立的实验载体叫实验单位l在实验中，将一个处理实施在两个或两个以上的实验单位上，称为处理有重复；一处理实施的实验单位数称为处理的重复数All rights reserved9实验中的术语实验中的术语自变量与因变量n我们经常设计研究来了解造成某种现象变化的原因n例如：我们想要了解为什么有时候种植西瓜会甜有时候不会甜（甜度变动)l这种我们欲了解的变量称为因变量(dependent variable)、被解释变量、或反应变量(response variable)。l我们怀疑西瓜的甜度与栽种

5、过程中是否施肥有关，将某些西瓜种籽加以施肥处理，其它西瓜保持自然生长，这种造成因变量产生变化的变量称之为因子(factor)或独立变项、 自变量(independent variable) All rights reserved10实验设计实验设计概念n广义理解是指实验研究课题设计，也就是整个实验计划的拟定n狭义的理解是指实验单位的选取、重复数目的确定及实验单位的分组l实验设计的目的是避免系统误差，控制、降低实验误差，无偏估计处理效应，从而对样本所在总体作出可靠、正确的推断All rights reserved11实验设计实验设计实验设计三原则n重复 l重复是指试验中同一处理实施在两个或两个以

6、上的试验单位上n随机化l随机化是指在对实验对象进行分组时必须使用随机的方法，使对象进入各实验组的机会相等，以避免试验对象分组时实验人员主观倾向的影响l双盲All rights reserved12实验设计实验设计n局部控制 实验条件的局部一致性l在实验环境或实验单位差异大的情况下 ，可将整个实验环境或实验单位分成若干个小环境或小组，在小环境或小组内使非处理因 素尽量一致，这就是局部控制 All rights reserved13完全随机化设计完全随机化设计完全随机化设计(completely randomized design)n“处理”被随机地指派给试验单元的一种设计.lSubjects a

7、re assumed to be homogeneousn只有一个因素lWith 2 or more groups (or levels)All rights reserved14完全随机化设计完全随机化设计高尔夫球的品牌对每次击球的球距有无影响？All rights reserved15随机化区组设计随机化区组设计随机化区组设计(randomized block design)n先按一定规则将实验单元划分为若干同质组，称为“区组(Block)”n再将各种处理随机地指派给各个区组n分组后再将每个品种（处理）随机地指派给每一个区组的设计就是随机化区组设计All rights reserved16

8、随机化随机化区组设计区组设计All rights reserved17因子设计因子设计因子设计(factorial design)n感兴趣的因素有两个l如：小麦品种和施肥方式.假定有甲、乙两种施肥方式，这样三个小麦品种和两种施肥方式的搭配共有32=6种。如果我们选择30个地块进行实验，每一种搭配可以做5次试验，也就是每个品种(处理)的样本容量为5，即相当于每个品种(处理)重复做了5次实验n考虑两个因素(可推广到多个因素)的搭配实验设计称为因子设计n该设计主要用于分析两个因素及其交互作用对实验结果的影响All rights reserved1810.1 10.1 方差分析引论方差分析引论All

9、rights reserved19方差分析的概念方差分析的概念缘由nt 检验适用于样本均值与总体均值及两样本平均数间的差异显著性检验， 但在生产和科学研究中经常会遇到比较多个处理优劣的问题， 即需进行多个均值间的差异显著性检验l大学中各专业间的学生智商是否有别？l三种不同的教学方法对于学生的成绩是否有影响？All rights reserved20方差分析的概念方差分析的概念n检验过程烦琐 l这种做法太浪费时间，因为比较几个母体可能产生很多的比较组，例如比较五个母体的平均值差异，如果以两两比较的方式，我们必须进行C52=10次的t-test。n无统一的试验误差，误差估计的精确性和检验的灵敏性低

10、l试验有5个处理 ，每个处理重复6次，共有30个观测值。进行t检验时，每次只能利用两个处理共12个观测值估计试验误差 ，误差自由度为 2(6-1)=10 ；若利用整个试验的30个观测值估计试验误差 ，显然估计的精确性高，且误差自由度为5(6-1)=25。All rights reserved21方差分析的概念方差分析的概念n推断的可靠性低，检验的 I 型错误率大，如果每组的显著水平皆为，则全体比较的显著水平会高于l假设我们在.05的显著水平下要检定下列零假设：H0: u1=u2=u3l如果拆成下列三组零假设：H0: u1=u2 , H0: u1=u3 , H0: u2=u3l每个假设被接受的概

11、率为.95，三个假设全部被接受的概率为.953=.857，也就是说当假设为真但被推翻的概率为(1 - 0.857) = 0.143 0.05 远高于显著水平All rights reserved22方差分析的概念方差分析的概念n因此我们需要在共同的显著水平下，同时考虑多个平均值的差异，我们以F分布来进行检验，称之为方差分析n方差分析 (ANOVA, analysis of variance) 是由英国统计学家R.A.Fisher于1923年提出All rights reserved23方差分析的概念方差分析的概念方差分析n方差分析法是一种在若干能相互比较的资料组中，把产生变异的原因加以区分开来

12、的方法与技术n研究分类型自变量对数值型因变量的影响 l一个或多个分类尺度的自变量l一个间隔或比率尺度的因变量n有单因素方差分析和双因素方差分析l单因素方差分析：涉及一个分类的自变量l双因素方差分析：涉及两个分类的自变量All rights reserved24方差分析的概念方差分析的概念n例：消费者很想知道哪种车型与油耗关系，比较A, B, C三种车款每加仑可以行驶的里数如下：All rights reserved25基本思想基本思想3210:uuuHQ:我们所观察到的样本均值差异是否大到足以推翻上面的零假设?三种汽车每单位汽油的里数皆相同All rights reserved26基本基本思想

13、思想样本内的方差很小181920212223CBAABC18.219.821.219.42121.819.62022.41920.82218.820.421.61920.421.8All rights reserved27基本基本思想思想样本內的方差很大ABC1724.22620.42219.82417.824.415.816.21617.821.822.81920.421.8151719212325CBA27All rights reserved28基本基本思想思想因此检验各样本的均值是否相同的问题涉及比较样本内的方差（组内方差）及样本间的方差（组间方差）。所以通常称之为方差分析。All r

14、ights reserved29基本原理基本原理分析逻辑n假设从K个总体中抽取大小分别为n1, n2, n3nk的K个独立随机样本。我们对总体有下列的假设：n各总体皆为正态分布，且有共同相同的方差2。n以1, 2, k 来表示总体的均值，单因子分析检证下零假设nH0: 1= 2= k vs. H1: 至少有两组均值不同All rights reserved30基本原理基本原理x11x21x31xn1,1x12x22x32xn2,2共有K个总体1, 12, 2x1kx2kx3kxnk,kk, kXi ji代表在样本中的序号，i = 1,2, njj代表样本组別，j = 1,2, kAll rig

15、hts reserved31基本原理基本原理分別來自k总的k个样本第k組样本共有nk个观察值各组样本数可以不同，分别为n1, n2,nk,总样本数n= n1+n2+nkAll rights reserved32基本原理基本原理1x2xkxK,.2 , 1j ,nxx本的均 值各jn1iijjj组样K1jjjK1jn1iijnxnnxxj总样本的均值All rights reserved33基本原理基本原理 )(xxij )(xxj总差异 =由因子所引起的差异 随机差异)(jijxx ijx )(xxj)(jijxx x总平均因子的影响随机差异的影响All rights reserved34基本

16、原理基本原理kjniijjxx112)(kjnijjxx112)(kjnijijjxx112)( )(xxij )(xxj)(jijxx 两边取平方和kjnijijjjxxxx11)(2All rights reserved35基本原理基本原理方差分析是通过过各组样本内的变异与组间变异之比较来检证各组平均值是否相等，全体样本数据的总变异量为:KjniijjxxSST112)(即个别观察值与总均值差距的平方和，称为总变异量或总误差平方和All rights reserved36基本原理基本原理方差分析将总方差分解成下列两部分:总误差=组内误差(或未解释误差)+ 组间误差(或已解释误差)Total

17、 Sum of Squares (SST)= Within-group Sum of Squares or Sum of Squares Within (SSE)+ Between-Group Sum of Squares or Sum of Squares Between (SSA)All rights reserved37基本原理基本原理随机误差与系统误差n随机误差l因素的同一水平(总体)下，样本各观察值之间的差异l这种差异可以看成是随机因素的影响，称为随机误差 系统误差l因素的不同水平(不同总体)下，各观察值之间的差异l这种差异可能是由于抽样的随机性所造成的，也可能是由于行业本身所造成的

18、，后者所形成的误差是由系统性因素造成的，称为系统误差All rights reserved38基本原理基本原理n组内方差(within groups)l因素的同一水平(同一个总体)下样本数据的方差l组内方差只包含随机误差随机误差组间方差(between groups)l组间方差既包括随机误差随机误差，也包括系统误差系统误差l因素的同一水平(总体)下，样本各观察值之间的差异All rights reserved39基本原理基本原理例析：n若不同车型对油耗没有影响，则组间误差中只包含随机误差，没有系统误差。这时，组间误差与组内误差经过平均后的数值就应该很接近，它们的比值就会接近1n若不同车型对油耗

19、有影响，在组间误差中除了包含随机误差外，还会包含有系统误差，这时组间误差平均后的数值就会大于组内误差平均后的数值，它们之间的比值就会大于1n当这个比值大到某种程度时，就可以说不同水平之间存在着显著差异，也就是自变量对因变量有影响All rights reserved40基本原理基本原理n判断车型对油耗有没有影响，实际上也就是检验具有同方差的三个正态总体的均值是否相等l如果三个总体的均值相等，可以期望三个样本的均值也会很接近l三个样本的均值越接近，推断三个总体均值相等的证据也就越充分l样本均值越不同，推断总体均值不同的证据就越充分All rights reserved41基本假设基本假设假设n每

20、个总体都应服从正态分布l对于因素的每一个水平，其观察值是来自服从正态分布总体的简单随机样本各个总体的方差必须相同l各组观察数据是从具有相同方差的总体中抽取的各总体的观察值是独立的All rights reserved42基本假设基本假设n如果原假设成立，即H0: m1 = m2 = m3l三种车型均值都相等l意味着每个样本都来自均值为m、差为2的同一正态总体 f(X)All rights reserved43基本假设基本假设n若备择假设成立，即H1: mi (i=1，2，3)不全相等l至少有一个总体的均值是不同的l三个样本分别来自均值不同的三个正态总体 f(X)m m3 3 m m1 1 m

21、m2 2All rights reserved447.3 7.3 单因素方差分析单因素方差分析All rights reserved45单因素方差分析单因素方差分析组间方差组间方差 SSA随机抽样造成组内方差随机抽样造成组内方差 SSE总方差总方差 SST=+All rights reserved46分析步骤分析步骤XResponse, XGroup 1Group 2Group 32k1jijn1i)X-(XSSTjAll rights reserved47分析步骤分析步骤Variation Due to Differences Among Groupsimjm:The sample mean

22、 of group : The overall or grand meanjXjX2jk1j)X-XSSA(jn1-kSSAMSA All rights reserved48分析步骤分析步骤X1X2X3XResponse, XGroup 1Group 2Group 3All rights reserved49分析步骤分析步骤Summing the variation within each group and then adding over all groups:The sample mean of group : The -th observation in group jijXjXijj

23、m2jk1jn1iij)X(XSSEjknSSEMSEAll rights reserved50分析步骤分析步骤1X2X3XXResponse, XGroup 1Group 2Group 3All rights reserved51分析步骤分析步骤n检验统计量lMSA 组间方差lMSE 组内方差n自由度MSEMSAF 11 kdfc ndf2All rights reserved52分析步骤分析步骤方差来源自由度总离差平方方差FStatistic组间(Factor)c 1SSAMSA = SSA/(k 1 )MSA/MSE组内(Error)n cSSEMSE =SSE/(n k )合计n 1S

24、ST =SSA + SSEAll rights reserved53分析步骤分析步骤若是各处理总体间均值差异不大, 则F = MS / MSE 1. 总是使用单尾检定呦Always One-Tail!All rights reserved54单因素方差分析单因素方差分析n例析：你是生产管理经理，欲知道三台机器的产品装箱平均时间是否有差异。因此你抽选了具相同训练及经验的操作员，并随机指定至此三台机器；每台五人。并测试得到了下列的装箱时间。以显著水平.05 ，检定三台机器的装箱平均时间是否有差异?Machine1 Machine2 Machine325.40 23.40 20.0026.31 21

25、.80 22.2024.10 23.50 19.7523.74 22.75 20.6025.10 21.60 20.40All rights reserved55单因素方差分析单因素方差分析272625242322212019Time in SecondsMachine1 Machine2 Machine325.40 23.40 20.0026.31 21.80 22.2024.10 23.50 19.7523.74 22.75 20.6025.10 21.60 20.4012324.93 22.61 20.59 22.71XXXX1X2X3XXAll rights reserved56单因素

26、方差分析单因素方差分析方差来源自由度总离差平方方差FStatistic组间(Factor)3-1=247.164023.5820MSA/MSW=25.60组内(Error)15-3=1211.0532.9211合计15-1=1458.2172All rights reserved57单因素方差分析单因素方差分析F03.89H0: m1 = m2 = m3H1: Not All Equal = .05df1= 2 df2 = 12 临界值临界值: :检验统计量检验统计量: 决策决策:结论结论:Reject at = 0.05.There is evidence that atleast one

27、m i differs fromthe rest. = 0.05FMSAMSW23 5820921125 6.All rights reserved58关系强度的测量关系强度的测量关系强度SSTSSAR2All rights reserved59多重比较多重比较多重比较n当方差分析的结果拒绝H0，接受H1 时，只说明k个总体均数不全相等。若想进一步了解哪些两个总体均数不等，需进行多个样本均数间的两两比较或称多重比较（multiple comparison）。也叫post hoc检验 lSNKq检验（多个均数间全面比较）lLSDt检验（有专业意义的均数间比较）lDunnett检验 （多个实验组与

28、对照组比较）l还有TUKEY 、DUNCAN、 SCHEFFE、 WALLER 、BON等比较方法All rights reserved60Tokay-Kramer方法nTells which Population Means are Significantly DifferentlE.g., m1 = m2 m3nPost Hoc (A Posteriori) ProcedurelDone after rejection of equal means in ANOVAnPairwise Comparisons lCompare absolute mean differences with c

29、ritical range多重比较（续）多重比较（续）Xf(X)m m1 = m m2m m3All rights reserved61多重比较（续）多重比较（续）1. Compute absolute mean differences:Machine1 Machine2 Machine325.40 23.40 20.0026.31 21.80 22.2024.10 23.50 19.7523.74 22.75 20.6025.10 21.60 20.4012132324.9322.612.3224.9320.594.3422.61 20.592.02XXXXXX2. Compute crit

30、ical range:3. All of the absolute mean differences are greater than the critical range. There is a significant difference between each pair of means at the 5% level of significance. ( ,)11Critical Range1.6182U c n cjjMSWQnnAll rights reserved6210.3 10.3 两因素方差分析两因素方差分析All rights reserved63无交互作用双因素分析无

31、交互作用双因素分析随机区组实验n项目被除数分成区组lIndividual items in different samples are matched, or repeated measurements are takenlReduced within group variation (i.e., remove the effect of block before testing)nResponse of Each Treatment Group is Obtainedn假定l完全随机设计l处理和区组之间没有交互影响All rights reserved64无交互作用双因素分析无交互作用双因素

32、分析All rights reserved65无交互作用双因素分析无交互作用双因素分析Variation Due to Group SSAVariation Among Blocks SSBLVariation Among All Observations SSTCommonly referred to as:Sum of Squares ErrorSum of Squares UnexplainedCommonly referred to as:oSum of Squares AmongoAmong Groups Variation=+Variation Due to Random Samp

33、ling SSECommonly referred to as:oSum of Squares Among BlockAll rights reserved66无交互作用双因素分析无交互作用双因素分析方差来源自由度总离差平方方差FStatistic组间c 1SSAMSA = SSA/(c 1)MSA/MSE区组间r 1SSBLMSBL =SSBL/(r 1)MSBL/MSE误差(r 1) (c 1)SSEMSE = SSE/(r 1)(c 1)合计rc 1SSTAll rights reserved67无交互作用双因素分析无交互作用双因素分析n例析：你是生产管理经理，欲知道三台机器的产品装箱平

34、均时间是否有差异。因此你抽选了具不同训练及经验的操作员，每个经验等级五人，指定相同经验的三人分别至此三台机器；并测试得到了下列的装箱时间。以显著水平.05 ，检定三台机器的装箱平均时间是否有差异?Machine1 Machine2 Machine325.40 23.40 20.0026.31 21.80 22.2024.10 23.50 19.7523.74 22.75 20.6025.10 21.60 20.40All rights reserved68无交互作用双因素分析无交互作用双因素分析方差来源自由度总离差平方方差FStatistic组间2SSA=47.164MSA = 23.5822

35、3.582/1.0503=22.452区组间4SSBL=2.6507MSBL =.6627.6627/1.0503=.6039误差8SSE=8.4025MSE = 1.0503合计14SST=58.2172All rights reserved69无交互作用双因素分析无交互作用双因素分析F04.46H0: m1 = m2 = m3H1: Not All Equal = .05df1= 2 df2 = 8 临界值：临界值：检验统计量：检验统计量：决策：决策：结论：结论：Reject at = 0.05.There is evidence that atleast one m i differs

36、fromthe rest. = 0.05FMSAMSE23 5821.050322.45.All rights reserved70无交互作用双因素分析无交互作用双因素分析概念n分析两个因素(行因素Row和列因素Column)对试验结果的影响n如果两个因素对试验结果的影响是相互独立的，这时的双因素方差分析称为无交互作用的双因素无交互作用的双因素方差分析方差分析 (Two-factor without replication)n如果除了行因素和列因素对试验数据的单独影响外，两个因素的搭配还会对结果产生一种新的影响，这时的双因素方差分析称为有交互作用的双有交互作用的双因素方差分析因素方差分析 (T

37、wo-factor with replication )All rights reserved71有交互作用有交互作用双因素分析双因素分析基本假定n每个总体都服从正态分布l对于因素的每一个水平，其观察值是来自正态分布总体的简单随机样本l各个总体的方差必须相同对于各组观察数据，是从具有相同方差的总体中抽取的观察值是独立的All rights reserved72有交互作用双因素分析有交互作用双因素分析因子2 （ 训练方式）因子水平Level 1Level 2Level 3Level 119 hr.J20 hr.J22 hr.J因子 1 (高)11 hr.J17 hr.J31 hr.J( 动机 )

38、Level 227 hr.L25 hr.L31 hr.L(低)29 hr.L30 hr.L49 hr.LAll rights reserved73有交互作用双因素分析有交互作用双因素分析Xijk因子之水平 i因子之水平 j第k个观察值因子 B因子A12.c1X111X121. X1c1X112X122. X1c22X211X221. X2c1X212X222. X2c2:rXr11Xr21. Xrc1Xr12Xr22. Xrc2水平组合称为CellAll rights reserved74有交互作用双因素分析有交互作用双因素分析交互作用n当所选择不同的、因子时，cell均值数产生特别的变化。无

39、法以个别因素影响而得到的均值n如何使用表或图来观测交互作用l在数据表上计算出每一细格的平均数l在图上相对应的列与行间绘出该格平均数的位置All rights reserved75有交互作用双因素分析有交互作用双因素分析在不同动机 ( 高, 低 )下及不同训练方式 (A, B, C)下, 以图形了解学习平均时间之交互作用有交互作用 (interaction)无交互作用 (no interaction)平均时间ABC高动机高动机低动机低动机平均时间ABC高动机高动机低动机低动机All rights reserved76有交互作用双因素分析有交互作用双因素分析SSEVariation Due to

40、Factor AVariation Due to Random SamplingVariation Due to InteractionSSASSABSST Variation Due to Factor BSSB总方差总方差d.f.= n-1d.f.= r-1= + + d.f.= c-1+ d.f.= (r-1)(c-1)d.f.= rc(n-1)All rights reserved77有交互作用双因素分析有交互作用双因素分析方差来源自由度离差平方和方差FStatistic因素 A(行)r 1SSAMSA = SSA/(r 1)MSA/MSE因素 B(列)c 1SSBMSB =SSB/(

41、c 1)MSB/MSEAB(交互)(r 1)(c 1)SSABMSAB =SSAB/ (r 1)(c 1)MSAB/MSE误差rc (n 1)SSEMSE = SSE/rc (n 1)合计rc n 1SSTAll rights reserved78有交互作用双因素分析有交互作用双因素分析F Test for Factor B Main EffectF Test for Interaction EffectH0: m m1 .= m m2 . = = m mr . H1: Not all m mi . are equalH0: ij = 0 (for all i and j) H1: ij 0 H0: m m 1 = m m. 2 = = m m c H1: Not all m m. j are equalReject if F FUReject if F FUReject if F FU 1MSASSAFMSAM