第10章回归分析和相关分析

1、第十章 回归分析和相关分析 在生产和经营活动中，经常要对变量间关系进在生产和经营活动中，经常要对变量间关系进行分析，比如要研究商品价格的变化与商品销售行分析，比如要研究商品价格的变化与商品销售量的变化之间的关系，广告费用支出与销售量之量的变化之间的关系，广告费用支出与销售量之间的关系，居民收入对企业产品需求量的关系，间的关系，居民收入对企业产品需求量的关系，农作物产量与施肥量之间的关系等等农作物产量与施肥量之间的关系等等 由于在现实世界中关系无处不在，因而对关系由于在现实世界中关系无处不在，因而对关系的研究就显得非常有必要的研究就显得非常有必要 第十章 回归分析和相关分析 统计分析的目的统计分

2、析的目的在于如何根据统计数据确定变在于如何根据统计数据确定变量之间的关系形态及其关联的程度，并探索出其量之间的关系形态及其关联的程度，并探索出其内在的数量规律性内在的数量规律性 在对于关系的研究中发现，变量之间的关系形在对于关系的研究中发现，变量之间的关系形态可分为两种类型：一类是态可分为两种类型：一类是函数关系函数关系，另一类是，另一类是相关关系相关关系第十章 回归分析和相关分析函数关系：函数关系： 函数函数是指现象之间是一种严格的确定性的依存是指现象之间是一种严格的确定性的依存关系关系 具体表现为某一现象发生变化，另一现象也随具体表现为某一现象发生变化，另一现象也随之发生变化，而且有确定的

3、值与之相对应之发生变化，而且有确定的值与之相对应 比如用两个字母比如用两个字母 和和 分别代表两个变量，如分别代表两个变量，如果变量果变量 随变量随变量 一起变化，且完全依赖于一起变化，且完全依赖于 ，则称则称 与与 之间为之间为函数关系函数关系，记为，记为 yyxxxyx( )yf x第十章 回归分析和相关分析 例如：例如：银行的银行的1年期存款利率为年息年期存款利率为年息1.98，存入的本金用存入的本金用 表示，到期本息用表示，到期本息用 表示，则表示，则 （不考虑利息税）（不考虑利息税）线性函数线性函数关系关系yx1.98%yxx 再如：再如：企业的原材料消耗额企业的原材料消耗额 与销售

4、量与销售量 、单、单位产品消耗位产品消耗 、原材料价格、原材料价格 之间的关系可表示之间的关系可表示为为 非线性函数关系非线性函数关系 y1x3x123yx x x2x第十章 回归分析和相关分析相关关系：相关关系： 相关关系相关关系是指客观现象之间确实存在的，但数是指客观现象之间确实存在的，但数量上不是严格对应的依存关系量上不是严格对应的依存关系 例如：例如：家庭的支出与其收入之间的关系；儿子家庭的支出与其收入之间的关系；儿子的身高与他父亲的身高的关系；某种商品的销售的身高与他父亲的身高的关系；某种商品的销售量与其价格的关系；成本与利润的关系等量与其价格的关系；成本与利润的关系等 在这种关系中

5、，对于某一现象的每一数值，可在这种关系中，对于某一现象的每一数值，可以有另一现象的若干数值与之相对应以有另一现象的若干数值与之相对应 第十章 回归分析和相关分析 又如：又如：考查一个人的收入考查一个人的收入 同他受教育水平同他受教育水平 这这两个变量，受教育水平相同的人，他们的收入水两个变量，受教育水平相同的人，他们的收入水平往往并不相同，同样，收入水平相同的人，他平往往并不相同，同样，收入水平相同的人，他们受教育的水平也可能不同；因为受教育水平尽们受教育的水平也可能不同；因为受教育水平尽管与一个人的收入多少有密切关系，但它并不是管与一个人的收入多少有密切关系，但它并不是影响收入的唯一因素，还

6、有其他因素（如职业、影响收入的唯一因素，还有其他因素（如职业、工作年限等）的影响作用；因此，收入水平与受工作年限等）的影响作用；因此，收入水平与受教育水平之间是一种相关关系教育水平之间是一种相关关系 yx第十章 回归分析和相关分析 具有相关关系的某些现象可表现为因果关系，具有相关关系的某些现象可表现为因果关系，即某一或若干现象的变化是引起另一现象变化的即某一或若干现象的变化是引起另一现象变化的原因，它是原因，它是可以控制、给定的值可以控制、给定的值，将其称为，将其称为自变自变量量；另一个现象的变化是自变量变化的结果，它；另一个现象的变化是自变量变化的结果，它是是不确定的值不确定的值，将其称为，

7、将其称为因变量因变量 如资金投入与产值之间，前者为自变量，后者如资金投入与产值之间，前者为自变量，后者为因变量为因变量第十章 回归分析和相关分析 但具有相关关系的现象并不都表现为因果关但具有相关关系的现象并不都表现为因果关系，如生产费用和生产量、商品的供求与价格系，如生产费用和生产量、商品的供求与价格等等等等 这是由于相关关系比因果关系包括的范围更这是由于相关关系比因果关系包括的范围更广泛广泛 第十章 回归分析和相关分析相关关系和函数关系既有区别，又有联系相关关系和函数关系既有区别，又有联系 有些函数关系往往因为有观察或测量误差以及有些函数关系往往因为有观察或测量误差以及各种随机因素的干扰等原

8、因，在实际中常常通过各种随机因素的干扰等原因，在实际中常常通过相关关系表现出来相关关系表现出来 而在研究相关关系时，其数量间的规律性了而在研究相关关系时，其数量间的规律性了解得越深刻的时候，相关关系越有可能转化为函解得越深刻的时候，相关关系越有可能转化为函数关系或借助函数关系来表现数关系或借助函数关系来表现 第十章 回归分析和相关分析回归分析与相关分析是处理变量数据之间相关关回归分析与相关分析是处理变量数据之间相关关系的一种统计方法系的一种统计方法 相关分析相关分析可以判断两个或两个以上的变量之间可以判断两个或两个以上的变量之间是否存在相关关系、相关关系的方向、形态及相是否存在相关关系、相关关

9、系的方向、形态及相关关系的密切程度关关系的密切程度 回归分析回归分析是对具有相关关系现象间数量变化的是对具有相关关系现象间数量变化的规律性进行测定，确立一个回归方程，并对所建规律性进行测定，确立一个回归方程，并对所建立的回归方程的有效性进行分析、判断，以便进立的回归方程的有效性进行分析、判断，以便进一步进行估计和预测一步进行估计和预测 第十章 回归分析和相关分析回归与相关分析的类型有很多：回归与相关分析的类型有很多： 如果研究的是两变量之间的关系，称为如果研究的是两变量之间的关系，称为简单回简单回归与相关分析归与相关分析；如果研究的是两个以上的变量之如果研究的是两个以上的变量之间的关系，称为间

10、的关系，称为多元回归分析与多元相关分析多元回归分析与多元相关分析 从变量关系形态上来看，有从变量关系形态上来看，有线性回归与线性相线性回归与线性相关分析关分析、非线性回归与非线性相关分析非线性回归与非线性相关分析之分之分 10.1 一元线性回归分析一元线性回归分析 一元线性回归一元线性回归亦称亦称简单线性回归简单线性回归，是回归分析，是回归分析中最简单也是最典型的一种情形，实际应用中，中最简单也是最典型的一种情形，实际应用中，许多涉及两个变量统计相依关系的情形，有些本许多涉及两个变量统计相依关系的情形，有些本身就呈现线性关系，有些经过某种变换呈现出线身就呈现线性关系，有些经过某种变换呈现出线性

11、关系，实际应用中的所谓线形回归，其广义就性关系，实际应用中的所谓线形回归，其广义就是指可线性化的回归，这决定了线形回归在理论是指可线性化的回归，这决定了线形回归在理论和实际应用中的重要地位和实际应用中的重要地位 10.1 一元线性回归分析一元线性回归分析 回归分析的基本思想和方法以及回归分析的基本思想和方法以及“回归回归”名称名称的由来，归功于英国统计学家高尔顿和他的学生的由来，归功于英国统计学家高尔顿和他的学生、现代统计学的奠基者之一皮尔逊、现代统计学的奠基者之一皮尔逊 他们在研究父母身高与其子女身高的遗传问题他们在研究父母身高与其子女身高的遗传问题时，观察了时，观察了1078对夫妇，以每对

12、夫妇的平均身高对夫妇，以每对夫妇的平均身高作为作为 ，而取他们的一个成年儿子的身高作为，而取他们的一个成年儿子的身高作为 ，将结果在平面直角坐标系上绘成散点图，发现趋将结果在平面直角坐标系上绘成散点图，发现趋势近乎一条直线势近乎一条直线yx10.1 一元线性回归分析一元线性回归分析 计算出的回归直线方程为：计算出的回归直线方程为： 这种趋势及回归方程表明：父母平均身高这种趋势及回归方程表明：父母平均身高 每每增加一个单位时，其成年儿子的身高增加一个单位时，其成年儿子的身高 平均增加平均增加0.516个单位个单位 yx33.730.516yx 这个结果表明，虽然高个子父辈确有生高个子这个结果表明

13、，虽然高个子父辈确有生高个子儿子的趋势，但父辈身高增加一个单位，儿子身儿子的趋势，但父辈身高增加一个单位，儿子身高仅增加半个单位左右；高仅增加半个单位左右；同时，矮个子父辈也确同时，矮个子父辈也确有生矮个子儿子的趋势，但父辈身高减少一个单有生矮个子儿子的趋势，但父辈身高减少一个单位，儿子身高仅减少半个单位左右位，儿子身高仅减少半个单位左右 10.1 一元线性回归分析一元线性回归分析 通俗地说，通俗地说， 一群特高个子父辈的儿子们在同龄一群特高个子父辈的儿子们在同龄人中平均仅为高个子，一群高个子父辈的儿子们在人中平均仅为高个子，一群高个子父辈的儿子们在同龄人中平均仅为略高个子；一群特矮个子父辈的

14、同龄人中平均仅为略高个子；一群特矮个子父辈的儿子们在同龄人中平均仅为矮个子，儿子们在同龄人中平均仅为矮个子，一群矮个子父一群矮个子父辈的儿子们在同龄人中平均仅为略矮个子辈的儿子们在同龄人中平均仅为略矮个子，即即子代子代的平均高度向中心回归了的平均高度向中心回归了 10.1 一元线性回归分析一元线性回归分析 这个例子生动地说明了生物学中这个例子生动地说明了生物学中“种种”的概念的概念的稳定性；的稳定性；正是为了描述这种有趣的现象，高尔正是为了描述这种有趣的现象，高尔顿引进了顿引进了“回归回归”这个名词来描述父辈身高这个名词来描述父辈身高 与与子代身高子代身高 的关系的关系xy 尽管尽管“回归回归

15、”这个名称的由来具有其特定的含这个名称的由来具有其特定的含义，在研究大量的问题中，其变量义，在研究大量的问题中，其变量 与与 之间的关之间的关系并不总是具有这种系并不总是具有这种“回归回归”的含义，但借用这的含义，但借用这种名词把种名词把研究变量研究变量 与与 间统计关系的量化方法称间统计关系的量化方法称为为“回归回归”分析分析，算是对高尔顿这个伟大的统计，算是对高尔顿这个伟大的统计学家的纪念学家的纪念 xyxy 设有两个变量设有两个变量 和和 ，变量，变量 的取值随变量的取值随变量 取取值的变化而变化，称值的变化而变化，称 为为因变量因变量， 为为自变量自变量 10.1.1 一元线性回归模型

16、一元线性回归模型xyyxyx 可以通过散点图大致看出它们之间的关系形态，可以通过散点图大致看出它们之间的关系形态，但现在的问题是如何将变量之间的关系用一定的数但现在的问题是如何将变量之间的关系用一定的数学关系式表达出来学关系式表达出来 10.1 一元线性回归分析一元线性回归分析其中其中 是未知常数，称为是未知常数，称为回归系数回归系数； 称为称为误差误差项的随机变量项的随机变量，它反映了除，它反映了除 和和 之间的线性关系之间的线性关系之外的随机因素对之外的随机因素对 的影响，是不能由的影响，是不能由 和和 之间之间的线性关系所解释的变异性的线性关系所解释的变异性 一般来说，对于具有线性关系的

17、两个变量，可一般来说，对于具有线性关系的两个变量，可以借助于一个线性模型来刻画它们的关系：以借助于一个线性模型来刻画它们的关系： , a byabxxyxyy10.1 一元线性回归分析一元线性回归分析 对于该模型通常有以下几个假定：对于该模型通常有以下几个假定： （1） 满足满足“正态性正态性”的假设，误差项的假设，误差项 服从正服从正态分布的随机变量态分布的随机变量 ( )0E（2） 满足满足“无偏性无偏性”的假设，的假设， 的均值为零，即的均值为零，即 （3） 满足满足“共方差共方差性性”的假设，的假设， 的方差对于所的方差对于所有的有的 的取值都相等，即所有的的取值都相等，即所有的 分布

18、的方差都为分布的方差都为 x210.1 一元线性回归分析一元线性回归分析 对于该模型通常有以下几个假定：对于该模型通常有以下几个假定： （4） 满足满足“独立性独立性”的假设，的假设，各个各个 间相互独间相互独立，无相关性立，无相关性 （5） 与与 之间是不相关的，假定随机变量之间是不相关的，假定随机变量 与相与相应的自变量应的自变量 对因变量的影响是相互独立的，换言对因变量的影响是相互独立的，换言之，两者对因变量的影响是可以区分的，即之，两者对因变量的影响是可以区分的，即 cov( , )0 xxx10.1 一元线性回归分析一元线性回归分析 易知，易知， ，当，当 取固定值时，取固定值时，

19、服从服从正态分布正态分布 2(0,)Nxy2,N abx 用样本值用样本值 来估计来估计 ，得估计值得估计值 ，从而得到，从而得到 的一个估计的一个估计 记作记作 ，即，即 称为称为 对对 的的回归直线方程回归直线方程 1122,nnxyxyxy, a b, a b,abx yabxyabxyx10.1 一元线性回归分析一元线性回归分析 是回归直线的起始值（是回归直线的起始值（截距截距），即），即 为为0时时 的值，从数学意义上理解，它表示在没有自变量的值，从数学意义上理解，它表示在没有自变量 的影响时，其他各种因素对因变量的影响时，其他各种因素对因变量 的平均影响的平均影响 ax yxy 是

20、回归系数（直线的是回归系数（直线的斜率斜率），表示自变量），表示自变量 每每变动一个单位时，因变量变动一个单位时，因变量 的平均变动值的平均变动值 bxy 表示因变量的估计值（表示因变量的估计值（回归理论值回归理论值） y10.1 一元线性回归分析一元线性回归分析 在实际试验中，对变量在实际试验中，对变量 与与 作作 次试验观察，次试验观察，并假定在并假定在 的各个值上对的各个值上对 的观察值是相互独立的，的观察值是相互独立的，得到得到 对试验值对试验值 ，在平面直角，在平面直角坐标系中，画出坐标系中，画出 共共 个点，它个点，它们所构成的图形称为们所构成的图形称为散点图散点图 , (1,2,

21、 )iix yinxynxyn, (1,2, )iix yinn 如果散点图中的如果散点图中的 个点分布在一条直线附近，直个点分布在一条直线附近，直观上可以认为观上可以认为 与与 的关系具有一元线性回归模型的关系具有一元线性回归模型 xyn10.1 一元线性回归分析一元线性回归分析 相应于相应于 的的 个观察值个观察值 可看成可看成试验值试验值（或（或实际值实际值） y12,nx xxn12,ny yy 其中其中 ，且，且 相互独立，此式相互独立，此式通常称为通常称为线性模型线性模型 (1,2, )iiiyabxin2(0,)iN12,n 易证：易证： 且且 相互独立相互独立 2(,)iiyN

22、 abx12,ny yy10.1 一元线性回归分析一元线性回归分析10.1.2 回归系数回归系数 的估计的估计, a b 回归模型中的回归系数回归模型中的回归系数 和和 在一般情况下都是在一般情况下都是未知数，必须根据样本数据未知数，必须根据样本数据 来估计来估计 ab,iix y 确定回归系数确定回归系数 和和 值的原则值的原则是要使得样本的回是要使得样本的回归直线同观察值的拟合状态最好，即要使得各观察归直线同观察值的拟合状态最好，即要使得各观察点离样本回归直线最近点离样本回归直线最近 ab 根据这一思想确定回归系数的估计值根据这一思想确定回归系数的估计值 的方法的方法称为称为最小二乘法最小

23、二乘法 , a b10.1 一元线性回归分析一元线性回归分析 对应于每一个对应于每一个 ，根据回归直线方程可以求出，根据回归直线方程可以求出一个一个 ，它就是，它就是 的一个估计值的一个估计值iyiyix 估计值和观察值之间的估计值和观察值之间的偏差偏差为为 ，有有 个观察值就有相应的个观察值就有相应的 个偏差，偏差有正有负个偏差，偏差有正有负 iiieyynn 以偏差的平方和最小作为标准来确定回归模型以偏差的平方和最小作为标准来确定回归模型，这就要求这就要求 是最小的是最小的 2211nniiiiiiQyyyabx10.1 一元线性回归分析一元线性回归分析 记记 ，则，则 的最小值为的最小值

24、为21niiiQyabxQ2211nniiiiiiQyyyabx 使使 达到极小的达到极小的 应满足下面的方程组：应满足下面的方程组：112020niiiniiiiQyabxaQyabxxb Q,a b10.1 一元线性回归分析一元线性回归分析 经整理得如下方程（称为经整理得如下方程（称为正规方程组正规方程组）： 解正规方程组可得：解正规方程组可得：1111111222221111111nnnnnnniiiiiiiiiiiiiiiiinnnnniiiiiiiiiinx yxyx yxyxxyynbxxnxxxxnaybx 112111nniiiinnniiiiiiinaxbyx ax bx y

25、10.1 一元线性回归分析一元线性回归分析 其中：其中：1111, nniiiixxyynn称称 为回归系数为回归系数 的的最小二乘估计最小二乘估计，并得，并得回回归方程归方程： ,a b, a byabx 记记此时，此时， 可记为：可记为：22111, , nnnxxiyyixyyxiiiiilxxlyyllxxyybxyxxlbl10.1 一元线性回归分析一元线性回归分析 特别地，由特别地，由 ，得回归直线，得回归直线 通过通过 ，这是回归直线的重要特征之一，它，这是回归直线的重要特征之一，它对于回归直线的作图很有帮助对于回归直线的作图很有帮助 yabxyabx( , )x y10.1 一

26、元线性回归分析一元线性回归分析10.1.3 未知参数未知参数 的估计的估计2 是随机误差是随机误差 的方差；如果误差大，那么求出的方差；如果误差大，那么求出来的回归直线用处就不大；如果误差比较小，那么来的回归直线用处就不大；如果误差比较小，那么求出来的回归直线就比较理想；可见求出来的回归直线就比较理想；可见 的大小的大小反反映回归直线拟合程度的好坏映回归直线拟合程度的好坏 22 那么，如何来估计那么，如何来估计 ？ 210.1 一元线性回归分析一元线性回归分析 利用利用 来估计来估计 ，由于，由于是未知的，是未知的， ，而，而可以证明可以证明 211()niiiEn2(1,2, )iin()0

27、iE, ,iiiiiiyabxyabx221122niiiQyabxnn其中其中 ，而，而 还是还是 的无偏估计的无偏估计21niiiQyabx2210.1 一元线性回归分析一元线性回归分析例例10.1.1：上海市市区的社会商品零售总额和全民上海市市区的社会商品零售总额和全民所有制职工工资总额的数据如下：所有制职工工资总额的数据如下： 年份年份 / 年年1978 1979 1980 1981 1982 1983 1984 1985 1986 1987职工工资职工工资总额总额 /亿元亿元23.827.631.632.4 33.7 34.9 43.2 52.8 63.8 73.4社会商品零社会商品

28、零售额售额 /亿元亿元41.451.861.767.9 68.7 77.5 95.9 137.4 155175xy试求社会商品零售总额试求社会商品零售总额 对职工工资总额对职工工资总额 的线性的线性回归方程，并求回归方程，并求 的估计。的估计。 yx210.1 一元线性回归分析一元线性回归分析解：解：社会商品零售额与职工工资总额的计算过程社会商品零售额与职工工资总额的计算过程序号序号7879808182838485868723.827.631.632.433.734.943.252.863.873.441.451.861.767.968.777.595.9137.4155.0175.0566.

29、44761.76998.561049.761135.691218.011866.242787.844070.445387.561713.962683.243806.894610.414719.696006.259196.8118878.7624025.0030625.00985.321429.681949.722199.962315.192704.754142.887254.729889.0012845.00417.2932.319842.30106266.0145716.22ixiy2ix2iyiix y10.1 一元线性回归分析一元线性回归分析222111119842.3(417.2)24

30、36.71610nnxxiiiilxxn1111145716.22417.2 932.36820.66410nnnxyiiiiiiilx yxyn 222111(932.3)106266.0119347.68110nnyyiiiilyyn6820.6642.79912436.716xyxxlbl93.23 2.7991 41.7223.55aybx10.1 一元线性回归分析一元线性回归分析于是，回归直线为：于是，回归直线为：23.552.7991yx 2211255.828031.9828niiiyyn10.1 一元线性回归分析一元线性回归分析10.1.4 回归系数的性质回归系数的性质 性质性

31、质1： 是是 的线性函数（在统计的线性函数（在统计中，如果估计量是样本的线性函数，则称它为中，如果估计量是样本的线性函数，则称它为线性线性估计估计） 证：证：, a b12,nyyy11()()njjjxxbxxyyl111()()nnjjjjjxxxx yyxxl1njjjxxxxyl1njjjc y jjxxxxcl其中10.1 一元线性回归分析一元线性回归分析11njjjc x yn1njjjd y111nnjjjjjaybxyc y xn1()1njjjxxx xxynl()1 jjxxx xxdnl其中于是，于是， 都是都是 的线性函数，也称的线性函数，也称 是线性估计是线性估计,

32、a b12,ny yy, a b10.1 一元线性回归分析一元线性回归分析 性质性质2： 是是 的无偏估计的无偏估计证：证：由于由于, a b, a b()0, (),iiiEE yabx11( )()()nnjjjjjjxxxxE bc E yabxl11()()njjjxxxx abxl111()()nnjjjjjxxaxxbx xxl11()()njjjxxbxxxxlxxxxlbbl10.1 一元线性回归分析一元线性回归分析( )()( )( )E aE ybxE yxE b11()niiabxbxn11()niiE ybxnabxbxa10.1 一元线性回归分析一元线性回归分析 性质

33、性质3： 与与 是不相关的（由于都服从正态分是不相关的（由于都服从正态分布，进而布，进而 与与 是独立的）是独立的） 证：证：cov( , )( )( )y bE yE ybE b111111()()nnnnjjiiiijjiiEyE yc yc E ynn111()()nnjjiiijiEyE ycyE ynybyb10.1 一元线性回归分析一元线性回归分析211()()()njjjijjiiijjEcyE ycyE yyE yn2211()0nnjjjjxxxxxxxxnlnl221111()0nnjjjjjjc E yE ycnn10.1 一元线性回归分析一元线性回归分析 性质性质4：

34、的方差和协方差分别为：的方差和协方差分别为： , a b22222111( ), ( )nniiiixD aD bnxxxx221cov( , )niixa bxx 10.1 一元线性回归分析一元线性回归分析证：证：222111( )()nnnjjjjjjjjD bDc yc D yc222221njxxjxxxxxxxxllll2( )()( )( )D aD ybxD yx D b222221xxxxxxnlnl10.1 一元线性回归分析一元线性回归分析cov( , )()()()a bE aa bbE abab2()()()E ybx babE ybxE bab2( ) ( ) ( )E

35、 y E bx D bbab211( )niinabxbxD bb xabn22( )abb xxD bb xab2( )xxxxD bl 10.1 一元线性回归分析一元线性回归分析 性质性质5： 是是 的无偏估计的无偏估计22122niiiyyQnn2证：证：注意到有注意到有恒等式恒等式222111()()()nnniiiiiiiyyyyyy事实上，事实上，2211()()()nniiiiiiyyyyyy22111()2()()()nnniiiiiiiiiyyyyyyyy10.1 一元线性回归分析一元线性回归分析而而1()()niiiiyyyy1()()niiiiyabxabxy1()()(

36、)niiiiyyb xxb xx21()()()niiiibyyxxb xx212111()()()()()0()niinniiiiniiiixxyybyyxxxxxx10.1 一元线性回归分析一元线性回归分析由于由于即恒等式成立，则即恒等式成立，则222111()()()nnniiiiiiiEyyEyyEyy(), ( ),iiE yabxE yabx2211()()()()nniiiiiiEyyEyEyyEyEyEy21() ()()niiiiEyEyyEyb xx10.1 一元线性回归分析一元线性回归分析21()( )niiiEyE yyE y22112()()( )()nniiiiii

37、bxx EyE yyE ybxx211()2( )()nniiiiiiE yE yEyE yyE y22211( )()nniiiE yE ybxx2222212( )( )()niinnE yE ynE yE ybxx2222221()(1)nixxinnbxxnb ln10.1 一元线性回归分析一元线性回归分析22222111()()()()nnniiiiiiEyyEbxxxxE b221()( )( ( )niixxD bE b2222xxxxxxblb ll2222221()(1)(2)niixxxxiEyynb lb ln由此，由此，10.1 一元线性回归分析一元线性回归分析 性质性

38、质6： ， 三者相互独立三者相互独立111212,12,22,12()()()111nnnnnxxxxnxxaaaaaa=xxlxxlxxlnnnA222(2)(2)nn,Q y b证：证：取取 的正交矩阵的正交矩阵 ，具有如下形式：，具有如下形式：nnA10.1 一元线性回归分析一元线性回归分析 个，只要个，只要 ，这里共有这里共有 个未知参数，约束条件有个未知参数，约束条件有由正交性，可得如下一些约束条件：由正交性，可得如下一些约束条件：20, 0, 1, 1,2,2ijijjijjjjaa xain2(2)(3)3(2)22nnnn0, 12ikjkka aijn (2)n n 未知参数

39、个数就不少于约束条件数，因此必定有解未知参数个数就不少于约束条件数，因此必定有解3n 10.1 一元线性回归分析一元线性回归分析令令1112,221jjjnjjjjjnnjxxjja yzyayzyxxyzylynZAYA其中其中1111()()()1, nniiiinxyiinxxniixxxxxxxx yxxyylzl b zynyllln10.1 一元线性回归分析一元线性回归分析则则 仍然服从正态分布，且其期望与协方差分别仍然服从正态分布，且其期望与协方差分别为：为：Z这表明这表明 相互独立，相互独立， 的共同的共同分布为分布为 ，200( ), ( )( )()nxxEDDb ln a

40、bxZZAY AI12,nzzz122,nz zz2(0,)N221, (),nxxnzN b lzNn abx10.1 一元线性回归分析一元线性回归分析由于由于于是有于是有 ，所以，所以 三者相互三者相互独立，并有独立，并有2222221111()()nnnniiiiiiiizyyynyyyQny而而211, ()nnnxxiizny zl byy222122nzzzQ, ,Q y b22221(2)niizQn10.1 一元线性回归分析一元线性回归分析 综合性质综合性质1-6可得如下结论：可得如下结论：（1）221 ,xxxaN anl（2）2,xxbN bl（3）222(2)(2)nn（

41、4） 三者相互独立三者相互独立222, , ny b10.1 一元线性回归分析一元线性回归分析 回归系数的极大似然估计：回归系数的极大似然估计：考虑到考虑到则则2, (0,) (1,2, ),iiiiyabxNin2(,)iiyN abx 的密度函数为：的密度函数为：iy22()1()exp22iiiyabxf y而而 相互独立相互独立12,ny yy10.1 一元线性回归分析一元线性回归分析由此，由此， 的联合密度为：的联合密度为：12,ny yy121(,)()nniiLf yyyf y22/22111exp()(2)2niiniyabx22211lnln2ln()222niiinnLya

42、bx 10.1 一元线性回归分析一元线性回归分析21212222211ln/()1ln/()1ln/()22()niiiniiiiniiiLayabxLbyabx xnLyabx 令令 ，得，得2lnlnln0,0,0LLLab10.1 一元线性回归分析一元线性回归分析2211xyLxxLLnLiiilblayb xQyabxnn易见易见 不是不是 的无偏估计的无偏估计2L210.1 一元线性回归分析一元线性回归分析10.1.5 检验与置信区间检验与置信区间 当得到一个实际问题的回归方程当得到一个实际问题的回归方程 后，还后，还不能用它去进行经济分析和预测，因为不能用它去进行经济分析和预测，因

43、为 是是否真正描述了变量否真正描述了变量 与与 之间的统计规律性，还需之间的统计规律性，还需运用统计方法对回归方程进行检验运用统计方法对回归方程进行检验 yabxyabxyx10.1 一元线性回归分析一元线性回归分析（1）统计假设：）统计假设：（2）统计假设：）统计假设： 回归系数的假设检验回归系数的假设检验 0010:HbbHbb0010:HaaHaa 由于由于 ，则，则2,xxbN bl()(0,1)xxbblN考虑到考虑到 一般是未知的，其可用一般是未知的，其可用 代替代替 22又又 ，且，且 与与 独立独立 222(2)(2)nnb22(2)n10.1 一元线性回归分析一元线性回归分析

44、则则 22()()(2)(2)xxxxbblbblTnn() (2)(2)xxbblt nQ n在零假设在零假设 成立时，统计量成立时，统计量00:Hbb00()() (2)(2)xxxxbblbblTt nQn10.1 一元线性回归分析一元线性回归分析所以拒绝域为：所以拒绝域为：22,22 ,tntn 特别地，若特别地，若 成立，则线性模型化为：成立，则线性模型化为：这表明：变量这表明：变量 并不依赖于并不依赖于 ，也即，也即 间不存在间不存在线性相关关系线性相关关系 00b (1,2, )iiyainy, x yx10.1 一元线性回归分析一元线性回归分析在线性回归分析中，一旦回归系数估计

45、问题解决，在线性回归分析中，一旦回归系数估计问题解决，应立即检验假设应立即检验假设 ，以决定，以决定 之间的线性之间的线性关系是否显著，此时用的统计量为：关系是否显著，此时用的统计量为：当当 成立时，它服从于成立时，它服从于 0:0Hb , x y(2)xxxxblblTQn0H2t n10.1 一元线性回归分析一元线性回归分析例例10.1.2：在例在例10.1.1中，试问上海市市区的职工工中，试问上海市市区的职工工资总额资总额 与社会商品零售总额与社会商品零售总额 之间是否确实存在之间是否确实存在显著的线性关系？显著的线性关系？ xy解：解：提出统计假设：提出统计假设： 01:0:0HbHb

46、选择统计量：选择统计量： xxb lT ，拒绝域：，拒绝域： , 2.3062.306,C 0.0250.05, (8)2.306t10.1 一元线性回归分析一元线性回归分析10, 49.3631, 2.7991, 5.655xxnlb2.7991 49.363124.435.655xxb lt由于由于 ，所以拒绝零假设，所以拒绝零假设 ，即，即 与与 之间的线性关系显著之间的线性关系显著 24.432.306t 0Hxy10.1 一元线性回归分析一元线性回归分析 又又 2221 , (0,1)1xxxxxaaaN aNnlnxl同时同时222(2)(2)nn 与与 两者独立两者独立由于由于

47、，且，且 三者相互独立，因此三者相互独立，因此 aybx22(2), ,ny b21xxaanxl22(2)n10.1 一元线性回归分析一元线性回归分析则则22221 1(2)(2)xxxxaanxlaaTnxlnn22(2) 1xxaat nQ nnxl对于检验假设对于检验假设 ，当，当 成立时，检验统计成立时，检验统计量：量： 00:Haa0H00222 2 11xxxxaaaaTnt nnxlnxlQ10.1 一元线性回归分析一元线性回归分析 回归系数的置信区间回归系数的置信区间 由于由于 ，则，则() (2)xxbblt n221xxbblPtn 得关于得关于 的置信水平为的置信水平为

48、 的置信区间为：的置信区间为： b1222,2xxxxbtnbtnll10.1 一元线性回归分析一元线性回归分析 又又 ，则，则22 1xxaat nnxl/22(2)1 1xxaaPtnnxl 得关于得关于 的置信水平为的置信水平为 的置信区间为：的置信区间为： a12222(2)1,(2)1xxxxatnnxlatnnxl10.1 一元线性回归分析一元线性回归分析例例10.1.3：在例在例10.1.1中，试求中，试求 的置信区间，的置信区间，显著性水平显著性水平 。 , a b0.05解：解：10, 41.72, 2.7991, 23.55nxba 25.655(2)2.3060.2642

49、49.3631xxtnl0.025(8)2.306, 31.985.655, 2436.716xxtl所以，所以， 的置信水平为的置信水平为0.95的置信区间为：的置信区间为： b2.5349,3.063310.1 一元线性回归分析一元线性回归分析又又22(2)1xxtnnxl所以，所以， 的置信水平为的置信水平为0.95的置信区间为：的置信区间为： a35.32, 11.7822.306 5.655 11041.72 2436.71611.767510.1 一元线性回归分析一元线性回归分析 预测与预测区间预测与预测区间 回归方程一经求得并通过检验，既能用来研究变回归方程一经求得并通过检验，既

50、能用来研究变量之间的联系，也能用来进行预测及控制，通常只量之间的联系，也能用来进行预测及控制，通常只适用于内插法，而不适用于外推适用于内插法，而不适用于外推 预测问题的一般提法：预测问题的一般提法：对线性模型对线性模型且且 相互独立；回归方程为相互独立；回归方程为 ，需要对给定的自变量需要对给定的自变量 ，预测因变量，预测因变量 2 (1,2, ), (0,)iiiiyabxinN12,nyabx0 xx0y10.1 一元线性回归分析一元线性回归分析 易见，易见， 作为作为 的的预测值预测值 00yabx0y 实际问题还需要知道所谓预测精度，同时也希望实际问题还需要知道所谓预测精度，同时也希望

51、给出一个类似于置信区间的给出一个类似于置信区间的预测区间预测区间，也即在给定，也即在给定的显著性水平的显著性水平 下，找到一个正数下，找到一个正数 ，使，使 001P yy 为此，必须求出为此，必须求出 的分布的分布 00yy10.1 一元线性回归分析一元线性回归分析 假定假定 与与 相互独立，相互独立， ， ，且与，且与 独立独立 0y12,ny yy000ya bx 20(0,)N12,n 易知，易知， 也服从于正态分布，且也服从于正态分布，且 与与 相互相互独立，它的期望和方差分别为：独立，它的期望和方差分别为： 00yy0y0 y000E yE abxabx20000()()( )(

52、)2 cov( , )D yD abxD ax D bxa b2222222000()112xxxxxxxxxx xxxxnlllnl10.1 一元线性回归分析一元线性回归分析于是于是 000000()()0E yyE yE yabxabx22200000()1()()()xxxxD yyD yD ynl220()11xxxxnl22000()1 0,1xxxxyyNnl即即10.1 一元线性回归分析一元线性回归分析0020(0,1)1 1()xxyyNnxxl又又 ，且两者独立，则，且两者独立，则222(2)(2)nn0020 1 1()xxyyTnxxl22000221 1() (2)(2

53、)(2)xxyynxxlt nnn10.1 一元线性回归分析一元线性回归分析记记200221 1()xxxtnnxxl002202 1 1()xxyyPtnnxxl000()1Pyyx 也即也即0001P yyy 于是置信水平于是置信水平 的的 的预测区间为的预测区间为 10y00,yy10.1 一元线性回归分析一元线性回归分析 该区间以该区间以 为中点，长度为为中点，长度为 ，中点，中点 随随 线线性地变化，其长度在性地变化，其长度在 处最短，处最短， 越远离越远离 ，长度就越长长度就越长 0 y20 y0 xx0 xx0 x 因此，预测区间的上限与下限的曲线对称地落在因此，预测区间的上限与

54、下限的曲线对称地落在回归直线的两侧，而呈喇叭形；一般只有当回归直线的两侧，而呈喇叭形；一般只有当 比较比较靠近靠近 时，才能作出比较精确的预测时，才能作出比较精确的预测 0 xx10.1 一元线性回归分析一元线性回归分析 当当 较大且较大且 较接近较接近 时有：时有： ，此时预测区间近似为：此时预测区间近似为：n0 xx20111xxxxnl2200 2,2ytnytn 又当又当 比较大时，比较大时， 近似于近似于此时预测区间近似为：此时预测区间近似为：n(2)t n220,1 , 2,NtnU2200 ,yUyU10.1 一元线性回归分析一元线性回归分析例例10.1.4：讨论例讨论例10.1

55、.1的预测问题。设的预测问题。设1988年上年上海市市区职工工资为海市市区职工工资为85亿元时，试求市区社会商亿元时，试求市区社会商品零售总额的预测值和预测区间（品零售总额的预测值和预测区间（ ）。）。 0.05解：解：0.025(8)2.306, 23.55, 2.7991tab231.98, 2436.716, 41.72xxlx已知已知 ，则，则市区社会商品零售总额的市区社会商品零售总额的预测值为：预测值为：085x 0023.552.7991 85214.37yabx 10.1 一元线性回归分析一元线性回归分析22011(2)1xxxxtnnl28541.7212.3065.655 1

56、17.83102436.716所以，市区社会商品零售总额的预测区间为：所以，市区社会商品零售总额的预测区间为： 00,196.54,232.20yy10.1 一元线性回归分析一元线性回归分析10.1.6 一元线性回归中的方差分析一元线性回归中的方差分析 在在10.1.5小节中介绍了利用小节中介绍了利用 检验来对回归系数检验来对回归系数进行检验，本进行检验，本小小节从另一个角度，即用方差分析来节从另一个角度，即用方差分析来对回归系数进行检验对回归系数进行检验 t10.1 一元线性回归分析一元线性回归分析 首先介绍首先介绍平方和分解公式平方和分解公式，该公式在证明性质，该公式在证明性质5中已提及：

57、对任意的中已提及：对任意的 组数据组数据 ，恒有：恒有：其中其中 ， 为最小二乘估计为最小二乘估计 n, (1,2, )iix yin222111()()()nnniiiiiiiyyyyyyiiyabx, a b 是是 这这 个数据的偏差平方和，个数据的偏差平方和，它的大小描述了这它的大小描述了这 个数据的分散程度，称为个数据的分散程度，称为总的总的偏离平方和偏离平方和，记为，记为 或或 ，自由度为，自由度为 21()niiyy12,ny yynnyylTSS1n10.1 一元线性回归分析一元线性回归分析 是是 这这 个数的偏差平方和，它个数的偏差平方和，它描述了描述了 的分散程度，由于的分散

58、程度，由于 1111()nniiiiyabxabxynn21()niiyy12,ny yyn12,ny yy2222111()()()nnniiiiiiyyabxabxbxx由此，由此， 的分散性来自于的分散性来自于 的分的分散性，称为散性，称为回归平方和回归平方和（线性影响线性影响），记为），记为 或或 ，自由度为，自由度为1 12,ny yy12,nx xxUrSS10.1 一元线性回归分析一元线性回归分析 称为称为残差平方和残差平方和或或剩余平方和剩余平方和（其他其他影响影响），记为），记为 或或 ，自由度为，自由度为 21()niiiyyQeSS2n 对于检验对于检验 ，把回归平方和，

59、把回归平方和 跟剩余平方跟剩余平方和和 进行比较：进行比较： 0:0Hb UQ222(2)(2)xxxxb lb lUFQnQn10.1 一元线性回归分析一元线性回归分析 如果如果F值相当大，则表明值相当大，则表明 对对 的线性影响较大，的线性影响较大，就可以认为就可以认为 与与 之间有线性相关关系；若之间有线性相关关系；若F值较值较小，则没理由认为小，则没理由认为 与与 之间有线性相关关系之间有线性相关关系 xyxyxy 因为因为 222()()(0,1), (1)xxxxxxbblbb lbbNl2222(2)(2)nQn且两者独立且两者独立10.1 一元线性回归分析一元线性回归分析则则2

60、222()()(1,2)(2)(2)xxxxbblbblFnQnQn所以，当假设所以，当假设 成立时，成立时， 0:0Hb 2(1,2)(2)xxb lFFnQn10.1 一元线性回归分析一元线性回归分析 检验假设检验假设 的检验法构造如下：的检验法构造如下：0:0Hb （1）统计假设统计假设 0:0Hb （2）选取统计量）选取统计量 ，它在，它在 成立时成立时服从服从 (2)UFQn0H(1,2)Fn（3）在显著水平）在显著水平 下，确定拒绝域为下，确定拒绝域为 (1,2),Fn（4）计算统计量）计算统计量 的观察值的观察值 (2)UFQn（5）作决策：若）作决策：若 拒绝；若拒绝；若 接受