应用线性回归分析第一章课件

1、教材S.Weisberg著应用线性回归分析，王静 龙等译，中国统计出版社。 参考书SANFORD WEISBERG Applied Linear Regression JOHN WILEY & SONS,1985陈希孺， 王松桂 近代回归分析 安徽教育出版社，1987线性统计模型，王松桂，陈敏，陈立萍，高等教育出版社。Regression Analysis by Example (Fourth Edition). Authors: Samprit Chatterjee and Ali S. Hadi. Published by Wiley Series in Probability and S

2、tatistics.统计学， David Freedman,等著，魏宗舒等译，中国统计出版社，1997回归分析的一般介绍一、变量间的统计关系 在客观世界中普遍存在着变量间的关系。变量间的关系一般来说可分为两大类型：一类是变量间有确定性关系，它们之间的关系可以用函数关系来表达。另一类是变量之间有非确定性关系，且有统计规律。 在实际问题中，变量间存在大量非确定关系，它们之间虽存在密切，但其密切程度不是由确定关系能够刻画的。 例如：人的血压与年龄之间也存在着关系。但相同年龄的人血压往往不相同。 子女的身高和父母的身高有很强的关系。一般来说，父母身高越高，孩子身高也高，但是父母身高相同，子女的身高可以

3、不相同。 在这种非确定性关系中，自变量（如：年龄、父母的身高）取确定值时，因变量的值（如：血压、子女的身高）是不确定的，但两者有一定联系。这种不完全确定的变量间的关系称为统计相关关系。统计相关关系。 更确切地说，若一个变量X取某一个可能值时，对应地随机变量Y有一个确定的且与有关的分布（或条件分布）存在，则称Y与X有统计相关关系统计相关关系（这里X和Y也可以是向量）。二、回归模型的一般形式Y: 因变量、响应变量或被解释变量； ：自变量、预报变量或解释变量。统计模型： ，其中， 称为随机误差；回归函数：12,px xx12( ,)pyf x xx12( ,)pf x xx线性回归模型： 回归常数：

4、 ；回归系数： 。01 122ppyxxx0012,p 设样本观察值为 ，则线性回归模型可表示为 参数估计：经验回归方程： ；Y的预测值：01122,1,2, .iiipipiyxxxin12(,;),1,2,iiipixxxyin01,;p01 1ppyxx y三、回归模型的基本假设（1）自变量是非随机变量，观察值 是常数；（2）高斯-马尔科夫（Gauss-Markov)条件：非线性回归模型（3）正态分布的假定条件为12,iiipxxx2()0,1, 2,0,(,),iijEinijC ovij2(0 ,)iidiN 回归分析目前是所有统计分支中应用最广泛的一门学科，它被用于几乎所有的研究领

5、域及工农业生产，包括产品的统计质量管理，市场预测，自动控制中数学模型的建立、气象预报、地质勘探、医学卫生等等。回归分析研究的范围大致如下：四、回归分析研究内容一 元 线 性 回 归线 性 回 归多 元 线 性 回 归多 因 变 量 多 元 线 性 回 归如 何 从 数 据 推 断 模 型 假 设 的 合 理 性当 基 本 假 定 不 成 立 时 如 何 对 数 据 进 行 修 正回 归 诊 断判 定 回 归 方 程 的 拟 合 效 果选 择 回 归 函 数 的 形 式自 变 量 选 择 的 准 则回 归 变 量 的 选 择逐 步 回 归 分 析 法回 归 分 析岭 回 归参 数 估 计 的 改

6、 进主 成 分 回 归偏 最 小 二 乘 法一 元 非 线 性 回 归非 线 性 回 归分 段 回 归多 元 非 线 性 回 归自 变 量 含 定 型 变 量 的 情 况含 有 定 性 变 量 的 回 归因 变量 是 定 性 变 量 的 情 况 在回归分析中，当自变量给定x的值时，y的值不能确定，只能通过一定的概率分布来描述。 用F(y|x)表示当X=x时，所对应的Y的分布函数。若Y的数学期望E(Y|x)存在，则它的值随x取值而定，是x的函数，记为 f(x).称f(x)=E(y|x)为y关于x的均值回归函数。五、回归方程与回归名称的由来 回归分析的方法以至“回归”这个名称的起源，统计史上一般归

7、功于英国生物学家兼统计学家F.Galton（18221911）。Galton是一个英国绅士科学家之一。他是一个上层英格兰人，在剑桥学医。他在开始遗传学研究之前，他探索了非洲大陆。在1859年出版的巨著物种的起源的Ohnrles Dorwin是他的侄子。六、建立实际回归模型的过程1.具体实际问题2.设置指标变量3.收集整理数据4.构造理论模型5.估计模型参数6.模型检验7.模型应用：因素分析、变量控制、决策与预测修改1.在回归分析的应用中，定性分析和定量分析相结合。 回归方程在一定程度上揭示了两个相关变量x和y之间的规律。 但仔细研究回归直线计算公式时就会发现，在计算过程中，并不需要事先假定两个

8、变量之间一定要具有线性相关关系。这就是说，就方法本身而言，即使是对平面上一堆杂乱无章的点，也可以用最小二乘法给它们配一条直线来近似表示x和y之间的关系。如果x和y之间根本不存在线性相关关系，这样求出的回归方程其实是没有意义的。通常情况下，希望因变量与自变量有因果关系。 2.自变量选择原则：少而精。自变量太多，会出现共线性和随机误差增大，影响计算精度；漏掉主要变量肯定会影响模型效果。3.数据收集：时间序列数据、横截面数据、面板数据。如何掉调整统一统计口径，如何折算、差分、取对数、标准化、补缺、处理异常值、处理异方差数据。4.模型的检验：放在实践中去检验；统计检验包含模型检验与回归系数的检验。5.

9、回归模型的应用：下结论。好的模型可用来进行分析、控制和预测。6.回归分析，随着自变量的增加，计算会变得相当复杂，所以在计算机出现以前，它的应用受到了一定的限制。随着计算机的不断发展，速度成倍增加，回归分析的复杂的计算问题已经基本解决。目前世界上有许多能进行回归分析的统计软件：如SAS、SPSS、S-PLUS、R等等。有关理论模型数据统计技术有关假定参数估计置信域检验统计量图形表示输入输出计算回归诊断、检验、模型选择思考题1.通过阅读文献回答：（1）什么是SD线？（2）回归线与SD线的区别？（3）举例说明回归谬误。2.回归分析与相关分析的区别于联系是什么？3.回归模型中随机误差项的意义是什么？4

10、.线性回归模型的基本假设是什么？第一章简单线性回归1.1一元线性回归模型一元线性回归模型回归分析由许多步骤组成。如：数据的收集、模型的确定、模型的修正等等。我们这里主要在理论上研究回归模型，包括参数的估计，模型的检验等等。 例1.1 Forbes 数据为了研究水的沸点和气压之间的关系，测得17个地方的数据如下表：编号沸点气压Log(气压）100log（气压）1194.520.971.3179131.792194.320.791.3179131.793197.922.401.3502135.024198.422.671.3555135.555199.423.151.3646136.466199.

11、923.351.3683136.837200.923.891.3782137.828201.123.991.3800138.009201.424.021.3806138.0610201.324.011.3805138.0511203.625.141.4004140.0412204.626.571.4244142.4413209.528.491.4547145.4714208.627.761.4434144.3415210.729.041.4630146.3016211.929.881.4754147.5417212.230.061.4780147.80 | | | A144 + | | | |

12、 | A142 + | | | | |140 + A | | | | |138 + AB | A | | | A | A136 + | A | | A | |134 + | | | | |132 + | AA | | | |130 + | -+-+-+-+-+-+-+-+-+-+-+- 194 196 198 200 202 204 206 208 210 212 2140.050.100.150.20X40455055Y1.2 参数的最小二乘估计参数的最小二乘估计1.3 估计估计22=1=122=( - )2nniiiiiSSEey ySSEn记模型的残差平方和为则的估计为2计算222122

13、()-=-(475.29570589)=427.76281177-530.78235294=2.153322.15332 =0.1435517-2xyyyyyxxxxlSSEllll1.4 最小二乘估计的性质最小二乘估计的性质1.5 回归方程的显著性检验回归方程的显著性检验2.SSESSE与SSR的独立性（即和 是相互独立）。1.6 测定系数，2R222221=1=.xyxxxyyyxx yySSRSSERSSTSSTllRrll l 1.7 回归系数的区间估计 1.8 预测与残差拟合值的估计：0010001021020=+ y =+(- )1sefit(y )=(+)xxEyxxx xnl0在给定x 的值，均值的估计为其标准误为残差i= - , =1,iiiiey y iney残差提供了关于误差项的假设及模型合适度的信息。任何完整的数据分析都要求考察残差。