方差分析及回归分析

1,第九章方差分析及回归分析,关键词：单因素试验双因素试验交互作用一元线性回归多元线性回归,2,1单因素试验的方差分析,例假设某药物研究者为检验a,b两种化学物质的抗癌效果，要做动物试验。通常的作法如下所述：他将一些患有某种癌的白鼠随机地分成三组。其中两组分别注射a,b两种化学物质，而第三组则不作处理，作为对照。记第一组：注射a物质，第二组：注射b物质，第三组：不做处理。经过一段时间观察后，他得到寿命数据,（一）单因素试验,3,设第j组有只老鼠寿命分别为,这是一个典型的最简单分组试验方案。分组的依据为药物：a,b,无。,通常，分组的依据称为“因素”，因素的不同状态称为因素的“水平”。此例因素（药物）有三个水平：a,b,无。,只有一个因子，按因子的不同水平来分组的试验称为“单因素试验”。在试验中，对试验对象所观测记录的变量称为“响应变量”（例中的寿命）,4,一般地，对一个单因素试验，假设因素有s(s2)个水平，n个对象参与了试验。假定对应于因素第j个水平的组中有个试验对象，响应变量数据为,通常假定,5,检验假设,假设等价于,6,（二）平方和分解,7,证明：,8,9,10,单因素试验方差分析表,11,12,例1设有5种治疗荨麻疹的药，要比较它们的疗效。假设将30个病人分成5组，每组6人，令同组病人使用一种药，并记录病人从使用药物开始到痊愈所需时间，得到下面的记录：(=0.05),13,这里药物是因子，共有5个水平，这是一个单因素方差分析问题，要检验的假设是“所有药物的效果都没有差别”。,14,未知参数的估计,15,16,2双因素试验的方差分析,例假设某药物研究者为检验a,b两种化学物质的抗癌效果，要做动物试验。通常的作法是：将一些患有某种癌的白鼠随机地分成三组。其中两组分别注射a,b两种化学物质，而第三组不作处理，作为对照。记第一组：注射a物质，第二组：注射b物质，第三组：不做处理。经过一段时间观察后，得到寿命数据。在这个药物试验中，如果白鼠的性别有可能对其寿命有显著的影响。这时应该考虑将“性别”作为一个因素“双因素试验”。因素A：药物，三个水平；因素B：性别，二个水平；两个因素共有236种组合。,17,（一）双因素等重复试验的方差分析,18,19,分别检验假设,20,21,22,23,24,双因素试验的方差分析表,25,例3为了比较3种松树在4个不同的地区的生长情况有无差别，在每个地区对每种松树随机地选取5株，测量它们的胸径，得到的数据列表如下。,松树数据表,26,这是一批等重复的两种方式分组数据，记树种因素为A，地区因素为B，则A因素有3个水平，B因素有4个水平，总共有12个水平组合，每个组合（单元）有5个重复观测。,将树的胸径作为度量树的生长情况是否良好的数值指标，我们的目标是：由以上数据来判断不同树种及不同地区对松树的生长情况是否有影响（好或坏）？,这里要考虑的影响有三种：树种的单独影响（A因素主效应），地区的单独影响（B因素主效应），以及不同树种和不同地区的结合所产生的交互影响（AB因素的交互效应）。这是一个典型的等重复双因素方差分析模型。,27,输出各单元总和及因素水平总和：,松树数据的总和表,28,双因素方差分析表,29,进一步考查A因素不同水平的均值。注意到A因素的第二水平为最大：23.55，而第三水平的均值为最小：17.65，可以认为树种2的生长情况优于树种3。能够得出这个结论，得益于观测的等重复性。,然后再来看B因素的主效应，即在扣除松树种类的效应后，不同地区对树的胸径的影响。由方差分析表知，B因素的主效应不显著，即不同的地区对树的胸径没有显著影响。,最后来看AB因素的交互效应，即在扣除两种效应后，由不同树种和不同地区的结合而产生的对树的胸径的影响，这种影响可以解释为某些地区特别适合（或特别不适合）某个树种的生长。结果也不显著。,首先来看A因素主效应，即在扣除地区效应后，松树的不同种类对树的胸径的影响。由方差分析表可以看出，A因素主效应是显著的，即松树的不同种类对树的胸径有显著影响。,30,（二）双因素无重复试验的方差分析,31,32,分别检验假设,33,34,35,36,双因素无重复试验的方差分析表,37,例4假定对3个小麦品种和3块试验地块进行区组设计试验，得到如下的数据：,表小麦品种区组试验数据,38,在这个问题中我们关心的是小麦的不同品种之间在产量上的差异。由于地块不同对小麦的产量也会有影响，因此在比较试验结果时，要扣除地块的影响之后再来比较品种的差异。假定品种与地块之间无交互效应，则可对上述数据进行双因素可加效应模型的方差分析。,39,双因素无重复试验的方差分析表,40,在这个问题中我们所关心的是因素A的效应，由方差分析表知，原假设不成立，即认为小麦品种的产量之间有显著差异。,在这里，品种3的单产最高，而品种1的产量最低，因此可以断定品种3明显地优于品种1。,41,3一元线性回归分析,一、确定性关系：当自变量给定一个值时，就确定应变量的值与之对应。如：在自由落体中，物体下落的高度h与下落时间t之间有函数关系：,变量与变量之间的关系,42,二、相关性关系：变量之间的关系并不确定，而是表现为具有随机性的一种“趋势”。即对自变量x的同一值，在不同的观测中，因变量Y可以取不同的值，而且取值是随机的，但对应x在一定范围的不同值，对Y进行观测时，可以观察到Y随x的变化而呈现有一定趋势的变化。,如：身高与体重，不存在这样的函数可以由身高计算出体重，但从统计意义上来说，身高者，体也重。再如：父亲的身高与儿子的身高之间也有一定联系，通常父亲高，儿子也高。,回归分析研究相关性关系的最基本，应用最广泛的方法。,43,（一）一元线性回归,44,在实际问题中，回归函数(x)一般是未知的，需要根据试验数据去估计。,45,46,一元线性回归要解决的问题：,47,（二）a,b的估计最小二乘估计,48,正规方程系数行列式,49,在误差为正态分布假定下，最小二乘估计等价于极大似然估计。,事实上，似然函数,50,51,52,例1K.Pearson收集了大量父亲身高与儿子身高的资料。其中十对如下：,求Y关于x的线性回归方程。,53,54,（三）误差方差的估计,55,56,例2求例1中误差方差的无偏估计。,57,（1）影响Y取值的，除了x，还有其他不可忽略的因素；（2）E(Y)与x的关系不是线性关系，而是其他关系；（3）Y与x不存在关系。,（四）线性假设的显著性检验,采用最小二乘法估计参数,采用最小二乘法估计参数a和b，并不需要事先知道Y与x之间一定具有相关关系，即使是平面图上一堆完全杂乱无章的散点，也可以用公式求出回归方程。因此(x)是否为x的线性函数，一要根据专业知识和实践来判断，二要根据实际观察得到的数据用假设检验方法来判断。,若原假设被拒绝，说明回归效果是显著的，否则，若接受原假设，说明Y与x不是线性关系，回归方程无意义。回归效果不显著的原因可能有以下几种：,58,59,例3检验例1中回归效果是否显著，取=0.05。,60,（五）回归系数b的置信区间,当回归效果显著时，常需要对回归系数b作区间估计。,61,(六)回归函数函数值的点估计和置信区间,62,63,（七）Y的观察值的点预测和预测区间,64,65,66,注：在预测时，一定要落在已有的的数据范围内部，否则预测常常没有意义。,67,例4，在例1中F.Galton曾断言“儿子身高会受到父亲身高的影响，但身高偏离父代平均水平的父亲，其儿子身高的影响有回归到子代平均水平的趋势。”试问例1这组数据能证实这一论断吗(=0.05)?并给出x=69吋时,y的预测区间。,(1)回归到平均水平的趋势，即检验,68,69,例5合金钢的强度y与钢材中碳的含量x有密切关系。为了冶炼出符合要求强度的钢常常通过控制钢水中的碳含量来达到目的，为此需要了解y与x之间的关系。其中x：碳含量（）y：钢的强度（kg/mm2）数据见下：,（1）画出散点图；（2）设(x)=a+bx,求a,b的估计；（3）求误差方差的估计，画出残差图；（4）检验回归系数b是否为零（取=0.05)；（5）求回归系数b的95置信区间；（6）求在x=0.06点，回归函数的点估计和95置信区间；（7）求在x=0.06点，Y的点预测和95区间预测。,70,0.030.050.070.090.110.130.150.170.19,56545250484644424038,（1）合金钢的强度y与钢材中碳的含量x的散点图,71,72,0.030.050.070.090.110.130.150.170.19x,0,e,73,0.030.050.070.090.110.130.150.170.19,56545250484644424038,合金钢的强度y与钢材中碳的含量x的回归直线图,74,75,76,（八）可化为一元线性回归的例子,实际中常会遇到很复杂的回归问题，但在某些情况下，通过适当的变量变换，可将其化为一元线性回归来处理。下面是三种常见的可转化为一元线性回归的模型。,77,78,4多元线性回归,在实际问题中，影响Y（因变量）的因素（自变量）往往不止一个，设有,79,80,81,82,83,84,例6某公司在各地区销售一种特殊化妆品。该公司观测了15个城市在某月内对该化妆品的销售量Y及各地区适合使用该化妆品的人数X1和人均收入X2，得到数据如下：,表1.1.2化妆品销售的调查数据,85,化妆品销售的调查数据（续）,86,87,由回归方程可知，若固定人均收入不变