数理统计CH方差分析1.ppt

1、2020/9/14,王玉顺：数理统计06_方差分析,1,方差分析 ANOVA,第六章 方差分析 Analysis of variance,2020/9/14,王玉顺：数理统计06_方差分析,2,按p决策规则，检验两总体均值差假设犯第一类错误的概率不大于，即：,两总体均值差假设,6 方差分析,(1)两独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,3,6 方差分析,按p决策规则，检验两总体均值差假设不犯第一类错误的概率不小于1-，即：,(1)两独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,4,三

2、个独立正态总体均值相等假设等价于三个均值差假设同时成立：,6 方差分析,(2)三个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,5,每个均值差t检验犯第一类错误的概率记作，三个独立正态总体均值相等检验犯第一类错误的概率记作p，若按决策，则p值仍是不大于吗？,6 方差分析,(2)三个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,6,三个独立正态总体均值相等检验，犯第一类错误的概率等于三个均值差原假设至少一个被错误否定的概率，即： P(否定H0|H0真)=P(H0被错误否定) =P(H01,H0

3、2,H03至少一个被错误否定) =P(H01,H02,H03恰好一个被错误否定) +P(H01,H02,H03恰好两个被错误否定) +P(H01,H02,H03三个均被错误否定),6 方差分析,(2)三个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,7,做三次均值差t检验被视作三次独立重复的贝努利试验，每一次试验犯第一类错误的概率为，不犯第一类错误的概率为1-，则,6 方差分析,(2)三个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,8,应用二项式定理，三个独立正态总体均值相等检验犯第一类错

4、误的概率计算如下：,6 方差分析,(2)三个独立正态总体均值相等检验 犯第一类错误的概率,按决策,2020/9/14,王玉顺：数理统计06_方差分析,9,同理，a个独立正态总体均值相等假设等价于m个均值差假设同时成立：,6 方差分析,(3)多个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,10,应用二项式定理，a个独立正态总体均值相等检验犯第一类错误的概率如下：,6 方差分析,(3)多个独立正态总体均值相等检验 犯第一类错误的概率,按决策,2020/9/14,王玉顺：数理统计06_方差分析,11,换一个思路，a个独立正态总体均值相等检验犯第一

5、类错误的概率计算如下：,6 方差分析,(3)多个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,12,对于a个独立正态总体的均值相等假设,若采用m次均值差t检验，且每次的检验水平定为，则犯第一类错误的最大概率p是：,6 方差分析,(3)多个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,13,6 方差分析,(3)多个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,14,对于多个独立正态总体，如果我们仅仅关心全部均值是否相同或至少一个均值显著与众不

6、同这样的问题，则采用均值差t检验法完成问题的检验存在三个缺限：(1)检验次数较多，效率低；(2)每次检验的t统计量仅仅利用一对样本的信息；(3)检验的均值个数愈多，犯第一类错误的概率愈大。因此，解决问题需要另辟蹊径。,6 方差分析,(3)多个独立正态总体均值相等检验 犯第一类错误的概率,2020/9/14,王玉顺：数理统计06_方差分析,15,6 方差分析,(4)方差分析法背景,1923年，在英国一个农业试验站工作的统计学家 R.A.Fisher发明F分布创立了著名的方差分析(ANOVA)。 方差分析首先应用于农业生产并取得丰硕的成果，尔后在其它领域亦得到广泛应用，现已成为统计学的核心方法。

7、经“特别设计”的试验所产生的数据才能采用方差分析，因此数据是有“模式”的。,2020/9/14,王玉顺：数理统计06_方差分析,16,6 方差分析,MSA代表因素效应，MSE代表误差效应，两者之比MSA/MSE遵从F分布，其值愈大H0下发生抽样观测事件FMSA/MSE的概率p就愈小，H0就愈不可能成立。在方差相同条件下按p决策规则对多个独立正态总体的均值是否相同做F检验，称作方差分析。 Analysis of Variance ANOVA,(5)什么是方差分析？,方差分析检验多总体均值相等假设,2020/9/14,王玉顺：数理统计06_方差分析,17,6.1 单向分组数据方差分析 方差分析原理

8、 单向分组数据 6.2 两向分组数据方差分析 有重复两向分组数据 无重复两向分组数据,本章内容,6 方差分析,2020/9/14,王玉顺：数理统计06_方差分析,18,6.1 单向分组数据 方差分析 One way analysis of variance,6 方差分析,2020/9/14,王玉顺：数理统计06_方差分析,19,三台机器所加工铝合金板厚度的抽样检测数据,问题：检验各机器加工铝合金板厚度的一致性,6.1 单向分组数据方差分析,(1)案例资料,2020/9/14,王玉顺：数理统计06_方差分析,20,正态性假设：各个总体均服从正态分布 方差齐性假设：各个总体方差相同 独立性假设：各

9、个总体的样本相互独立 数据模式：方差齐性正态多总体独立样本,因素、水平和响应,6.1 单向分组数据方差分析,(2)数据模式,Group or Population,2020/9/14,王玉顺：数理统计06_方差分析,21,一个变量在多个水平下分别独立重复试验称作单向分组试验，属复合随机试验； 一个变量一个水平的试验可获得一个单总体样本，即一个单纯随机试验的样本； 单向分组试验获得的全部观测属于多总体样本，合称为单向分组数据，“单向”是指样本数据由一个变量的不同水平分划归组； 数据模式由试验模式或抽样模式决定，故三者在应用上含义相同。,6.1 单向分组数据方差分析,(2)数据模式,试验模式 抽样

10、模式 数据模式,2020/9/14,王玉顺：数理统计06_方差分析,22,The statistical model is:,(3)单向分组数据统计模型,6.1 单向分组数据方差分析,2020/9/14,王玉顺：数理统计06_方差分析,23,(3)单向分组数据统计模型,6.1 单向分组数据方差分析,推论效应总和等于0,2020/9/14,王玉顺：数理统计06_方差分析,24,6.1 单向分组数据方差分析,(3)单向分组数据统计模型,推论样本均值的概率分布,2020/9/14,王玉顺：数理统计06_方差分析,25,(4)单向分组数据统计假设,两种统计假设等价,6.1 单向分组数据方差分析,关于多

11、个独立正态总体均值的假设:,关于多个独立正态总体效应的假设:,2020/9/14,王玉顺：数理统计06_方差分析,26,6.1 单向分组数据方差分析,Let be the hypothesized common mean under H0. We are interested in whether all the groups (populations) have exactly the same true means. (H0：所有总体均值相等) The alternative is that some of the groups (populations) differ from the

12、others in their means. (H1：某些总体均值与其余总体不同) If H0 holds, that is, all groups have the same mean and variance.,(4)单向分组数据统计假设,统计假设的含义,2020/9/14,王玉顺：数理统计06_方差分析,27,6.1 单向分组数据方差分析,(5)效应的分解和估计,响应差值xij-被理解为第j水平第i试验的总效应，它是因素第j水平的效应与该水平上第i试验的误差效应之线性叠加：,效应分解式,2020/9/14,王玉顺：数理统计06_方差分析,28,6.1 单向分组数据方差分析,一个处理的效应

13、=误差效应+因素效应,(5)效应的分解和估计,2020/9/14,王玉顺：数理统计06_方差分析,29,6.1 单向分组数据方差分析,(6)Partition of Sums of Squares,平方和分解,2020/9/14,王玉顺：数理统计06_方差分析,30,+,=,+,SST,=,SSE,SSA,SST measures variability of the overall mean,6.1 单向分组数据方差分析,(6)Partition of Sums of Squares,平方和分解,2020/9/14,王玉顺：数理统计06_方差分析,31,(7)计算校正总平方和SST及自由度,

14、Corrected Total Sums of Squares,6.1 单向分组数据方差分析,SST的算法,2020/9/14,王玉顺：数理统计06_方差分析,32,(8)讨论SST及总和均方MST,6.1 单向分组数据方差分析,2020/9/14,王玉顺：数理统计06_方差分析,33,Error Sum of Squares,6.1 单向分组数据方差分析,(9)计算误差平方和SSE及自由度,SSE的算法,2020/9/14,王玉顺：数理统计06_方差分析,34,6.1 单向分组数据方差分析,(10)讨论SSE及误差均方MSE,SSE是a个样本方差的加权和,2020/9/14,王玉顺：数理统计

15、06_方差分析,35,6.1 单向分组数据方差分析,误差均方MSE本质上是样本的合并方差，即a个样本的加权平均方差,(10)讨论SSE及误差均方MSE,2020/9/14,王玉顺：数理统计06_方差分析,36,无论H0是否成立MSE总是2的无偏估计,6.1 单向分组数据方差分析,(10)讨论SSE及误差均方MSE,2020/9/14,王玉顺：数理统计06_方差分析,37,6.1 单向分组数据方差分析,SSE/2无条件服从自由度dfE=n-a的卡方分布,(10)讨论SSE及误差均方MSE,2020/9/14,王玉顺：数理统计06_方差分析,38,6.1 单向分组数据方差分析,(11)计算因素A平

16、方和SSA及自由度,SSA的算法,2020/9/14,王玉顺：数理统计06_方差分析,39,6.1 单向分组数据方差分析,(12)讨论SSA及因素均方MSA,因素A平方和SSA,Model Sum of Squares,2020/9/14,王玉顺：数理统计06_方差分析,40,因素A平方和的期望,6.1 单向分组数据方差分析,(12)讨论SSA及因素均方MSA,2020/9/14,王玉顺：数理统计06_方差分析,41,因素A平方和的期望,6.1 单向分组数据方差分析,(12)讨论SSA及因素均方MSA,2020/9/14,王玉顺：数理统计06_方差分析,42,均方MSA的期望,6.1 单向分组

17、数据方差分析,H0下均方MSA是2的无偏估计,(12)讨论SSA及因素均方MSA,2020/9/14,王玉顺：数理统计06_方差分析,43,SSA的分布,6.1 单向分组数据方差分析,H0下SSA/2服从自由度dfA=a-1的卡方分布，证明参见cochran定理,(12)讨论SSA及因素均方MSA,2020/9/14,王玉顺：数理统计06_方差分析,44,MSA/MSE的期望,6.1 单向分组数据方差分析,(13)均方比MSA/MSE及其分布,条件期望,2020/9/14,王玉顺：数理统计06_方差分析,45,Now we have two estimates of s2, within an

18、d between means. An F-test can be used to determine if the two statistics are equal. The F-statistic is written as:,6.1 单向分组数据方差分析,MSA/MSE的分布,根据F分布定义，H0下均方比MSA/MSE服从F分布，故H0下MSA/MSE是F统计量,(13)均方比MSA/MSE及其分布,2020/9/14,王玉顺：数理统计06_方差分析,46,If H0 holds, the computed F-statistics should be close to 1. If H1

19、 holds, the computed F-statistic should be much greater than 1. We use the appropriate critical value from the F-table to help make this decision.,Hence, the F-test is really a test of equality of means under the assumption of normal populations and homogeneous variances.,6.1 单向分组数据方差分析,MSA/MSE的特性,(

20、13)均方比MSA/MSE及其分布,2020/9/14,王玉顺：数理统计06_方差分析,47,问题归结为均方比的右方F检验,决策规则： p否定H0 p接受H0,(14)F-test method,6.1 单向分组数据方差分析,2020/9/14,王玉顺：数理统计06_方差分析,48,单向分组数据方差分析表,验算平方和与自由度,计算抽样观测概率p,6.1 单向分组数据方差分析,(14)F-test method,p值决策右方F检验法,2020/9/14,王玉顺：数理统计06_方差分析,49,单向分组数据方差分析表,验算平方和与自由度,导出拒绝域WF,6.1 单向分组数据方差分析,(14)F-te

21、st method,拒绝域决策右方F检验法,2020/9/14,王玉顺：数理统计06_方差分析,50,(15)平方和算法汇总,组和平方,总平方和,总和,计算平方和及自由度,6.1 单向分组数据方差分析,2020/9/14,王玉顺：数理统计06_方差分析,51,(16)方差分析案例一,数据预处理的 表格算法,6.1 单向分组数据方差分析,2020/9/14,王玉顺：数理统计06_方差分析,52,dfE=n-a=15-3=12 dfA=a-1=3-1=2 dfT=n-1=15-1=14 CR=T2/n=3.82/15=0.962667 SST=R-CR=0.963912-0.962667=0.00

22、1245 SSE=R-A=0.963912-0.963720=0.000192 SSA=A-CR=0.96372-0962667=0.001053,6.1 单向分组数据方差分析,(16)方差分析案例一,2020/9/14,王玉顺：数理统计06_方差分析,53,三台机器加工铝合金板厚度的方差分析表,6.1 单向分组数据方差分析,(16)方差分析案例一,p值决策法,2020/9/14,王玉顺：数理统计06_方差分析,54,因p=1.3452E-55.0E-5，故可在0.05水平上亦可在0.00005水平上否定零假设H0。方差分析结果表明， 0.05水平上或0.00005水平上认定三种机器加工出的铝

23、合金板厚度存在显著或极其显著的差异。,6.1 单向分组数据方差分析,(16)方差分析案例一,p值决策法,决策结论,2020/9/14,王玉顺：数理统计06_方差分析,55,三台机器加工铝合金板厚度的方差分析表,6.1 单向分组数据方差分析,(16)方差分析案例一,拒绝域决策法,2020/9/14,王玉顺：数理统计06_方差分析,56,因MSA/MSE=32.913.8853，故在0.05水平上否定零假设H0。方差分析结果表明，0.05水平上认定三种机器加工出的铝合金板厚度存在显著差异。,6.1 单向分组数据方差分析,(16)方差分析案例一,拒绝域决策法,决策结论,2020/9/14,王玉顺：数理统计06_方差分析,57,案例 四种计算器电路响应时间的抽样检测,问题：各类型电路的响应时间是否相同？,6.1 单向分组数