统计学第八章方差分析

1、第八章,方差分析,(ANOV,A),Analysis of Variance,在参数假设检验中，我们经常检验两个总,体分布的均值是否相同，其中运用的统计量主,要是,t,统计量。,如果有多个总体，则必须进行两两比较检,验，显然很繁琐。而方差分析，可以一次完成,对多个总体的均值是否相同的检验：,H,0,:,?,1,=,?,2,=,?,3,= . =,?,s,One-Factor Analysis of Variance,单因子方差分析,如：,s,组人员的工资水平、,s,种同功能药品的效果、,s,种,训练方法的训练效果、,等问题，有无显著性差异。,假设条件,:,样本是随机并独立地抽取,(,这个条件一

2、定要满足,),所有总体都服从正态分布,所有总体的方差都相等,单因素方差分析是对多套实验方案的效果的对比,分析，可以用来检验多组相关样本之间均值有无显著,性差异。,多个独立样本均值的比较,-,单因素方差分析,1,、资料类型,注意，,s,个样本中含量不必相等！,方案,1 x,11,x,12,1,1,n,x,方案,2 x,21,x,22,方案,3 x,31,x,32, ,方案,s x,s1,x,s2,2,2,n,x,3,3,n,x,s,sn,x,单因素方差分析的假设检验,H,0,:,?,1,=,?,2,=,?,3,= . =,?,s,=,?,?,所有总体的均值都相等,?,各组均值之间没有差异,H,1

3、,:,?,1,?,2,?,3, ,?,s,不全相等,?,至少有两个不相等,(,其它可能相同,!),?,不意味着有,:,?,1,?,?,2,?,.,?,?,s,One-Factor ANOV,A:,?,?,?,?,?,?,?,?,H,0,:,?,1,=,?,2,=,?,3,= . =,?,c,H,1,: not all the,?,k,are equal,The Null,Hypothesis is,True,请注意其含义,One Factor ANOV,A:,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,H,0,:,?,1,=,?,2,=,?,3,= . =,?,c,H,1,

4、: not all the,?,k,are equal,The Null,Hypothesis is,NOT True,Total Variation,总变异,2,1,1,),(,X,X,SST,s,i,n,j,ij,i,?,?,?,?,?,n,X,X,s,j,n,i,ij,j,?,?,?,?,1,1,X,ij,=,the ith observation in group i,n,i,=,the number of observations in group i,n =,the total number of observations in all groups,s =,the number

5、of groups,2,、,总变异的分解,方差分析的关键！,),1,(,/,),/(,),1,/(,),(,),(,),(,;,.,2,1,/,;,.,/,1,1,2,1,2,1,2,1,1,2,1,1,1,s,n,s,F,MS,MS,F,s,n,SS,MS,s,SS,MS,SS,SS,X,x,X,X,n,X,x,SS,s,j,n,x,X,n,n,n,n,n,x,X,B,A,Within,W,Among,A,Within,Among,s,i,n,j,i,ij,s,i,total,i,i,s,i,n,j,total,ij,total,i,n,j,ij,i,s,s,i,n,j,ij,total,i

6、,i,i,i,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,Among-Group Variation,组间变异,2,1,),(,X,X,n,SSA,i,s,i,i,?,?,?,?,n,i,=,the number of observations in group,i,s =,the number of groups,the sample mean of group,i,the overall or grand mean,?,i,?,j,Variation Due to Differences

7、 Among Groups.,1,?,?,s,SSA,MSA,X,i,X,_,_,_,Within-Group Variation,组内变异,2,1,1,),(,i,s,i,n,j,ij,X,X,SSW,i,?,?,?,?,?,?,ij,X,the jth observation in group,i,?,i,X,the sample mean of group,i,?,i,Summing the variation within,each group and then adding,over all groups.,s,n,SSW,MSW,?,?,Within-Group Variation

8、,?,i,),1,(,),1,(,),1,(,),1,(,),1,(,),1,(,2,1,2,2,2,2,2,1,1,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,s,s,s,n,n,n,S,n,S,n,S,n,s,n,SSW,MSW,?,If more than 2 groups,use F Test.,?,For 2 groups, use t-Test.,F Test more limited.,One-Way ANOV,A Summary Table,单因子方差分析表,Source of,Variation,Degrees,of,Freedom,S

9、um of,Squares,Mean,Square,(Variance),Among,(Factor),s -,1,SSA,MSA =,SSA/(s -,1),MSA,MSW,Within,(Error),n -,s,SSW,MSW =,SSW/(n -,S),Total,n -,1,SST =,SSA+SSW,F,Test,Statistic,=,根据观测值,计算出,f,值,若,f f,?,(s-1, n-s) (,显著性水平为,?,),则表明,SS,b,较大, X,i,X,total,的平方和较大,对应的总体参数,是,?,i,-,?,的绝对值较大,?,所以拒绝,H,0,即至少有两个方案,之

10、间的平均效果,(,均值,),差异足够大,方案之内的差异相对,小,.,反之,就接受,H,0,即不同方案的效果没有显著性差异,.,注,:,用,SPSS,做方差分析中,输出的结果是,:,统计值,f,右侧,的概率,其与给定显著性水平,?,进行比较,.,如,:,查,F,表得,: f,?,当,f,?,f,?,在,SPPS,的结果中是输出,f,值右侧概率,p,?,?,.,f,?,f,?,p,One-Factor ANOV,A,F,Test Example,As production manager, you,want to see if 3 filling,machines have different m

11、ean,filling times. You assign 15,similarly trained ,(2),不同药品的治疗效果,与病人的体质有关,是,双因素方差分析问题,;,(3),不同营销方案的效果与产品的质量有关等,是,双因素方差分析问题,;,等等,.,除了上述训练方法和运动员的特质问题外,在实践中常遇到的双因素方差分析问题有,:,Two-Way ANOV,A Assumptions,双因素方差分析的假设,?,Normality,（,正态性假设,）,?,Populations are normally distributed,?,Homogeneity of Variance,（方差齐

12、性假设）,?,Populations have equal variances,?,Independence of Errors,（独立抽样假设）,?,Independent random samples are drawn,分析,:,假设在,A,i,与,B,j,下的总体,X,ij,服从,N(,?,ij,?,2,),分布, (,假设,s,?,n,个总体分布的方差都相同,),设,:,称为总体,X,ij,的总平均,.,?,?,?,?,?,s,i,n,j,ij,n,s,1,1,1,?,?,?,?,?,?,n,j,ij,i,n,1,1,?,?,?,?,?,?,s,i,ij,j,s,1,1,?,?,称为

13、第,j,列总体的平均,.,称为第,i,行总体,的平均,.,把“第,i,行的平均,?,i ,与总平均,?,之差”,a,i,=,?,i ,-,?,其中, i =1,2,s,称为,A,i,的主效应,.,把“第,j,列的平均,?,j,与总平均,?,之差”,b,j,=,?,j,-,?,其中, j =1,2,n,称为,B,j,的主效应,.,如果,A,i,与,B,j,间不存在交互效应,就有,?,ij,=,?,+,a,i,+,b,j,其中, i =1,2,s , j =1,2,n,也就是说,随机样本,X,ij,的均值,?,ij,是由“总平均,?,”, “A,i,的主效应,a,i,”,“B,j,的主效应,b,j

14、,”,组成,.,随机样本,X,ij,可视为其总体均值,?,ij,与随机误差,?,ij,之和,:,ij,ij,ij,X,?,?,?,?,式中,?,ij,服从,N(0,?,2,),分布,并且,?,ij,之间相互独立,.,于是,有,:,X,ij,=,?,+ a,i,+,b,j,+,?,ij,其中, i =1,2,s, j =1,2,n,称为“无交互影响的双因素,(,一元,),模型”,处理过程,:,1.,假设,零假设,H,0A,:,?,i ,=,?,即,a,i,= 0 , i =1,2,s,H,0B,:,?,j,=,?,即,b,j,=0 , j =1,2,n,备择假设,H,1A,:,?,1 ,?,2

15、,?,s ,之间不完全相,同,或,a,i,不全等于,0,H,1B,:,?,1,?,2,?,n,之间不完全相,同,或,b,j,不全等于,0,?,?,?,?,?,s,i,n,j,ij,X,n,s,X,1,1,1,?,?,?,?,n,j,ij,i,X,n,X,1,1,?,?,?,?,s,i,ij,j,X,s,X,1,1,式中,:,可以证明,:,在“无交互影响的双因素模型”下,有以下结,论,:,(1),S,A, S,B, S,E,相互独立,且,S,T,= S,A,+ S,B,+ S,E,(2),S,E,/,?,2,服从,?,2,(s-1)(n-1),分布,(3),当,H,0A,成立时,有,S,A,/,

16、?,2,服从,?,2,(s-1),分布,(4),当,H,0B,成立时,有,S,B,/,?,2,服从,?,2,(n-1),分布,2,计算,按下面公式,计算出,S,A, S,B, S,E,所对应的值,s,A, s,B, s,E,进,而算出与,F,A, F,B,对应的值,f,A, f,B,.,定义统计量,:,总变差,:,行间变差,:,列间变差,:,总误差平方和,:,?,?,?,?,?,s,i,n,j,ij,T,X,X,S,1,1,2,),(,?,?,?,?,?,?,?,?,?,s,i,n,j,j,i,ij,E,X,X,X,X,S,1,1,2,),(,?,?,?,?,?,s,i,i,A,X,X,n,S

17、,1,2,),(,?,?,?,?,?,n,j,j,B,X,X,s,S,1,2,),(,(5),当,H,0A,成立时,有,服从,F (s-1), (s-1)(n-1),分布,(6),当,H,0B,成立时,有,服从,F (n-1), (s-1)(n-1),分布,E,A,E,A,A,S,S,n,n,s,S,s,S,F,),1,(,),1,)(,1,(,),1,(,?,?,?,?,?,?,E,B,E,B,B,S,S,s,n,s,S,n,S,F,),1,(,),1,)(,1,(,),1,(,?,?,?,?,?,?,3,对给定的显著性水平为,?,查表,f,?,(s-1), (s-1)(n-1) ,若,f,

18、A, f,?,(s-1), (s-1)(n-1) ,表明,S,A,较大,则拒绝,H,0A,即至少,A,因素中有两个水平之间的平均效果,(,均值,),差,异足够大,.,反之,接受,H,0A,即,A,因素的不同水平的效,果,(,均值,),没有显著性差异,.,同理,对给定的显著性水平为,?,查表,f,?,(n-1), (s-,1)(n-1) ,若,f,B, f,?,(n-1), (s-1)(n-1) ,表明,S,B,较大,则,拒绝,H,0B,即至少,B,因素中有两个水平之间的平均效,果,(,均值,),差异足够大,.,反之,接受,H,0B,即,B,因素的不,同水平的效果,(,均值,),没有显著性差异,

19、.,2,、变异分解及假设检验,res,B,B,res,A,A,res,B,A,total,res,B,A,total,MS,MS,F,MS,MS,F,n,s,n,s,n,s,SS,SS,SS,SS,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,;,),1,)(,1,(,),1,(,),1,(,1,?,?,?,?,例：某公司对某产品设计了,4,种类型的产品包装（用,A,，,B,，,C,表示），又设计了,3,种销售方案，在某地区用,3,种,销售方案，对,4,种包装的该产品试销一个月，业绩如表所,示。现在想知道：不同包装、不同销售方案，对销售业绩,的影响是否有显著差异。,不

20、同销售方案对不同包装的产品的销售业绩,不同销售方案,包装类型,A,B,C,D,甲,乙,丙,103 106 135,82 102 118,71 100 106,52 66 85,这是一个典型的无重复实验的双因素方差分析问题。,其模型是：,X,ij,=,?,+ a,i,+,b,j,+,?,ij,其中, i =1,2,s, j =1,2,n,注意：在,SPSS,中，数据按如下方式表达。,SPSS,中数据存放方式,包装类型,销售方案,销售业绩,A,甲,103,A,乙,106,A,丙,135,B,甲,85,B,乙,102,B,丙,118,C,甲,71,C,乙,100,包装类型,销售方案,销售业绩,C,丙

21、,106,D,甲,52,D,乙,66,D,丙,85,用,SPSS,后的输出结果为：,Corrected Model,5815.667 5 1163.133 32.919 .000,Intercept 105656.333 1 105656.333 2990.274 .000,包装类型,3503. 000 3 1167. 667 33 . 047 .000,销售方案,2312. 667 2 1156. 333 32 . 726 .001,Error,212. 000 6 35. 333,Total,111684. 000 12,Corrected Total,6027. 667 11,Sourc

22、e Sun of Squares df Mean Square F Sig.,说明,: Intercept:,截距,相当于,?,包装类型,:,包装类型的变差,s,A,销售方案,:,销售方案的变差,s,B,Rrror:,误差,(,残差,),项的变差,s,E,相当于,?,ij,的平方和,给定显著性水平,?,= 0.05,从上表结果可知,其,p,值均小于,0.05,所以在两个因素的不同水平的不同组合下,至少有的效,果之间,有显著性差异,.,重复实验的双因素方差分析,问题提出,:,仍以下面问题为例：,对运动员进行训练的效果问题。两个因素，,仍然是,A,：训练方法,s,种，,B,：运动员本身的特,质,n

23、,种，同样体质的运动员分在同一组，即有,n,组运动员。为了便于比较，每组安排,s,?,t,个具,有同样体质的运动员,也就是说，,每种训练方,法在每个组内，对,t,个运动员进行训练。我们就,会得到,s,?,n,?,t,个不同的训练效果值。怎样判断,不同的训练方法的效果是否有显著效益,?,不同特,质对训练效果是否有显著影响？,有重复,双因素方差分析的已知条件,问,:,因素,A,的不同水平,(,方案,),的效果,(,均值,),有无显著不同,?,因素,B,的不同水平,(,方案,),的效果,(,均值,),有无显著不同,?,因素,A,与,B,之间的交互作用如何,?,因素,A,1,因素,A,2,因素,A,s

24、,因素,B,1,因素,B,2,因素,B,n,X,111,X,112,X,11t,.,X,121,X,122,X,12t,X,1n1,X,1n2,X,1nt,X,211,X,212,X,21t,X,221,X,222,X,22t,X,2n1,X,2n2,X,2nt,X,s11,X,s12,X,s1t,X,s21,X,s22,X,s2t,X,sn1,X,sn2,X,snt,理论假设与分析,:,假设在,A,i,与,B,j,下的总体,X,ij,服从,N(,?,ij,?,2,),分布, (,假,设,s,?,n,个总体分布的方差都相同,但均值可能不同,),与上节相同,设,:,称为总体,X,ij,的总平均,

25、.,?,?,?,?,?,s,i,n,j,ij,n,s,1,1,1,?,?,?,?,?,?,n,j,ij,i,n,1,1,?,?,?,?,?,?,s,i,ij,j,s,1,1,?,?,称为第,j,列总体的平均,.,称为第,i,行总体,的平均,.,把“第,i,行的平均,?,i ,与总平均,?,之差”,a,i,=,?,i ,-,?,其中, i =1,2,s,称为,A,i,的主效应,.,把“第,j,列的平均,?,j,与总平均,?,之差”,b,j,=,?,j,-,?,其中, j =1,2,n,称为,B,j,的主效应,.,如果,A,i,与,B,j,间存在交互效应,就有,c,ij,=,?,ij,-,a,i,

26、-,b,j,-,?,=,?,ij,-,?,i ,-,?,j,+,?,称为,A,i,与,B,j,的交互效应,.,于是,有,?,ij,=,?,+ a,i,+,b,j,+,c,ij,其中, i =1,2,s , j =1,2,n,也就是说,随机样本,X,ij,的均值,?,ij,是由,“总平均,?,”,“A,i,的主效应,a,i,”,“B,j,的主效应,b,j,”, “A,i,与,B,j,的交互效,应,c,ij,”,组成,.,ijk,ij,ijk,X,?,?,?,?,式中,?,ijk,服从,N(0,?,2,),分布,并且,?,ijk,之间相互独立,.,于,是,从重复抽样的角度看,随机样本,X,ijk,

27、可以视为其总体,均值,?,ij,与,随机误差,?,ijk,之和,:,X,ijk,=,?,+ a,i,+,b,j,+ c,ij,+,?,ijk,其中, i =1,2,s , j =1,2,n,k =1,2,t , t,是实验次数,.,称为“有交互影响的双因素,(,一元,),模型”,.,处理过程,:,1.,假设,零假设,:,H,0A,:,?,i ,=,?,即,a,i,= 0 , i =1,2,s,H,0B,:,?,j,=,?,即,b,j,=0 , j =1,2,n,H,0C,:,c,ij,=,?,ij,-,a,i,-,b,j,-,?,=0, i =1,2,s , j =1,2,n,备择假设,:,H

28、,1A,:,?,1 ,?,2 ,?,s ,之间不完全相同,或,a,i,不全等于,0,H,1B,:,?,1,?,2,?,n,之间不完全相同,或,b,j,不全等于,0,H,1C,:,c,ij,=,?,ij,-,a,i,-,b,j,-,?,不全等于,0, i =1,2,s , j =1,2,n,或者说,交互作用是存在的,.,2,计算,按下面公式,计算出,S,A, S,B, S,A,?,B, S,E,所对应的值,s,A, s,B,s,A,?,B, s,E,进而算出与,F,A, F,B, F,A,?,B,对应的值,f,A, f,B, f,A,?,B,.,定义统计量,:,总变差,:,?,?,?,?,?,?

29、,s,i,n,j,ijk,t,k,T,X,X,S,1,1,2,1,),(,行间变差,:,列间变差,:,总误差平方和,:,?,?,?,?,?,?,?,s,i,n,j,ij,ijk,t,k,E,X,X,S,1,1,2,1,),(,?,?,?,?,?,?,s,i,i,A,X,X,nt,S,1,2,),(,?,?,?,?,?,?,n,j,j,B,X,X,st,S,1,2,),(,交叉变差,:,?,?,?,?,?,?,?,?,?,?,?,?,?,?,s,i,n,j,j,i,ij,B,A,X,X,X,X,t,S,1,1,2,),(,?,?,?,?,?,?,?,s,i,n,j,ijk,t,k,X,snt,X

30、,1,1,1,1,?,?,?,?,?,?,n,j,ijk,t,k,i,X,nt,X,1,1,1,?,?,?,?,?,?,?,s,i,ijk,t,k,j,X,st,X,1,1,1,式中,:,可以证明,:,在“有交互影响的双因素模型”下,有以下结,论,:,(1),S,A, S,B, S,A,?,B, S,E,相互独立,且,S,T,= S,A,+ S,B,+ S,A,?,B,+ S,E,(2),S,E,/,?,2,服从,?,2,( sn(t-1) ),分布,?,?,?,?,t,k,ijk,ij,X,t,X,1,1,(3),当,H,0A,成立时,有,S,A,/,?,2,服从,?,2,(s-1),分布,(4),当,H,0B,成立时,有,S,B,/,?,2,服从,?,2,(n-1),分布,(5),当,H,0C,成立时,有,S,A,?,B,/,?,2,服从,?,2,( (s-1)(n-1) ),分布,(6),当,H,0A,成立时,有,从而,E,A,E,A,A,S,s,S,t,sn,t,sn,S,s,S,F,),1,(,),1,(,),1,(,),1,(,?,?,?,?,?,?,服从,F( (s-1), sn(t-1) ),分布,(7),当,H,0B,成立时,有,服从,