第三章 回归分析(上课用).ppt

1、第三章 回归分析,实验设计与数据处理,欢迎学习,origin做曲线上一点切线,且要得到它的斜率, 下载插件Tangents,学习目的,变量(X1)与变量(X2)间或X与Y间 -有多少相关性 相关分析 -变量间关系式的推测 回归分析,它们之间有关系吗? 有多强的关系? 有什么样的关系式?,微生物的数量 vs 污水浓度 溶液浓度 vs 溶质的量,第一节 回归分析概述,一、变量间的两种关系 确定性关系 函数关系：浓度与吸光度之间关系 相关关系,相关关系：y=a+b1x1+b2x2 回归方程式：y=-105.04+0.847x1+1.500 x2,通过它我们可以知道哪个输入(试验因素）对输出值（结果）

2、有多少影响? 为了得到想要的输出值，我们应按什么水 平管理X的规格.,回归寻找“Y”与“X”关系的方法 什么是回归？ 描述“Y”与“X”关系的数学方法 创建过程的“模型”。研究随机现象中变量间关系的一种数理统计方法。,二、回归分析,回归分析的主要内容 回归分析（Regression analysis）是指应用数学的方法，通过大量数据所提供的信息，经过加工后找出事物间的内在联系，给出（近似）定量的表达式。 1、以观测数据为依据，建立反映变量间相关关系定量表达式（回归方程），并确定关系式的可信度； 2、利用建立的回归方程，对客观过程进行分析、预测和控制。,单纯线性回归,回归分析的阶段,Data 收

3、集,用散点图确认关系,用最小二乘法 推断总体,建立回归方程,画直线 (Line Fitting),分析应用,变化因子为一个，因子和输出值(Y)的关系为直线关系的单纯线性回归(Simple Linear Regression),根据两个变量x和y的n对实验数据（x1, y1）、（x2, y2） （xn, yn），通过回归分析建立一个确定的函数关系y=f(x)，来大体描述这两个变量x和y间的变化的相关关系，这个函数f(x)即是y对x的回归方程。,三、回归方程,四、回归分析的类型 1、一元线性回归 一元线性回归方程： y=a+bx 2、可化为一元线性回归的非线性回归 指数函数： y=debx 恒等式

4、变换：lny=lnd+bx 线性变换：Y=A+bx 3、多元线性回归 二元线性回归方程：y=a+b1x1+b2x2,第二节 一元线性回归分析,一元线性回归分析，只要解决： （1）求变量x与y之间的回归直线方程 （2）判断变量x和y之间是否确为线性关系 （3）根据一个变量的值，预测或控制另一变量 的取值,一元线性回归分析,一、一元线性回归方程的建立 1、数学模型 yi = a + bxi +i y对x的回归方程 y = a + bx y 称为变量y的理论 估计值或回归值,x,y,伊普西龙 随机因素造成的误差,通过样本推测的直线,未知的真实直线,yi = a + bxi + i (i = 1n),

5、i 是相互独立的,遵守N(0， 2) 的概率变量,一元线性回归模型,i,(xi, yi),x,y,在这里，i N(0,2),Model,定义 一个独立变量(x)与 一个从属变量(Y)间的关系方程式化后显示的方法,残差(e)是对误差最佳推断值，是实际结果值和回归方程式推测的最佳值间的差异。,残差 : 实际观测值(yi )和推测值 的差,残差越小推断的回归式更能说明实际结果，残差是误差的最好的推断值。 残差按大小排列或按资料的顺序排列时，它们以“0”为轴相对称，并且不能 存在特别的倾向。,将误差平方和最小化的推断方法,找出将残差平方最小化的直线.,最小平方和的一元线性回归,线性回归直线,与回归直线

6、的 差异(误差),直线是以“最小平方和推断法 (least square estimation)”的 原则画出的.从资料的点到直线 的距离的平方和最小化.,2、回归方程的求解 曲线拟合：采用某一函数的图线去逼近所有观测的数据，但不是通过所有的点，而是要求拟合误差达到最小，从而建立一个确定的函数关系。 曲线拟合常用的方法为最小二乘法，即用较简单的函数去逼近一组已知数据（xi, yi）,不要求该函数的图形通过每一个已知点，而要求误差的平方和为最小。,回归系数a、b计算式,一元线性回归方程,y对x的回归方程：y = a + bx,简化计算公式,其中：,一元线性回归分析示例,已知x与y的试验数据如下：

7、,回归分析图,实例：利用图表进行回归分析,近年来，国家教育部决定将各高校的后勤社会化。某从事饮食业的企业家认为这是一个很好的投资机会，他得到十组高校人数与周边饭店的季销售额的数据资料，并想根据高校的数据决策其投资规模。,上一页,下一页,返回本节首页,操作过程：,上一页,下一页,返回本节首页,打开线性回归.xls”工作簿，输入饭店、学生人数及季营业额工作表，如下图所示。,从“插入”菜单中选择“图表”选项，打开“图表向导”对话框如下图所示。在“图表类型”列表中选择XY散点图，单击“下一步”按钮。,上一页,下一页,返回本节首页,在数据区域中输入B2:C11，选择“系列产生在列”，如下图所示，单击“下

8、一步”按钮。,上一页,下一页,返回本节首页,打开“图例”页面，取消图例，省略标题，如下图所示。,上一页,下一页,返回本节首页,单击“完成”按钮，便得到XY散点图如下图所示。,上一页,下一页,返回本节首页,如图1所示，用鼠标激活散点图，把鼠标放在任一数据点上，单击鼠标右键，打开菜单，在菜单栏里选择“填加趋势线”选项，打开趋势线对话框如图2所示。,图1,上一页,下一页,返回本节首页,图2,上一页,下一页,返回本节首页,打开“类型”页面，选择“线性”选项，Excel将显示一条拟合数据点的直线。 打开“选项”页面如图3所示，在对话框下部选择“显示公式”和“显示R平方根”选项，单击“确定”按钮，便得到趋

9、势回归图如图4所示。,图3,上一页,下一页,返回本节首页,图4,上一页,下一页,返回本节首页,一元线性回归分析示例,研究腐蚀时间与腐蚀深度两个变量之间的关系，可以把腐蚀时间x作为自变量，把腐蚀深度作为因变量y，求x与y之间的线性关系。 试验数据,Origin绘图,Origin绘图截图,线性拟合结果中各参数的含义,A: Intercept value and its standard error. 截距值及它的标准误差 B: Slope value and its standard error. 斜率值及它的标准误差 R: Correlation coefficient. 相关系数 p: val

10、ue - Probability (that R is zero). R=0的概率 N: Number of data points. 数据点个数 SD: Standard deviation of the fit. 拟合的标准偏差,一元线性回归图,二、回归方程的相关系数,因变量y与自变量x之间是否存在相关关系，在求回归方程的过程中并不能回答，因为对任何无规律的试验点，均可配出一条线，使该线离各点的误差最小。 为检查所配出的回归方程有无实际意义，可以用相关关系，或称相关系数检验法。,1、相关系数的计算,积差法公式： 简捷公式：,2、相关系数的意义,在直线相关条件下，说明两个现象之间相关关系紧密

11、程度的统计分析指标。是对变量之间关系密切程度的度量，通常用r表示 取值范围在 -1+1之间。 若r为正值，表示两个变量是正相关 若r为负值，表示两个变量是负相关,相关系数(取值及其意义),负相关程度增加,r,正相关程度增加,3、相关关系的种类,按相关的程度，可分为,完全相关 不完全相关 不相关,正相关 负相关,线性相关 非线性相关,单相关 复相关,按涉及变量的多少，可分为,按相关的形式，可分为,按相关的方向，可分为,4、回归方程相关系数（r）相关程度,用来确定两个区域中数据的变化是否相关，以及相关的程度。是两组数据集的协方差除以它们标准偏差的乘积。 1、R0：正相关 2、R0：负相关 3、R=

12、0：两个集合中的数据互不相关。 |R|0.4： 低度相关； 0.4|R|0.6: 中度相关； 0.6|R|0.8: 高度相关； |R|0.8: 非常高度相关。,散点图(Scatter Diagram),正相关,负相关,完全负相关,完全正相关,当所有点都分布在一条直线上时，两变量之间关系为完全相关。,两个变量之间是否相关，要有充分的理论依据，并排除共变因素的影响。,零相关,散点的分布没有明显集中在某一方向的趋势，形成圆形区域时，两变量之间的关系为零相关。,5、相关系数显著性检验,在实际应用中，判断r值与1接近到何程度时，才认为x与y是相关的，或者说，所配出的回归方程才是有意义的，需要对照相关系数

13、临界值表来判断， 计算相关系数r； 查相应的临界值ra(显著性水平a=0.05，自由度f=n-2)； 比较IrI和ra的大小： IrI ra 表明两变量间存在线性关系； IrI ra 表明两变量间不存在线性关系。,三、使用“数据分析工具”进行回归分析,加入趋势线可以进行简单的回归分析，但要获得更多的统计数据，可以使用数据分析工具。 求简单相关系数、判定系数； 用F-检验判定变量与自变量间是否有回归关系存在； 用t-检验判定各回归系数是否不为0、计算回归系数的置信度、标准残差等。,方差分析(F检验): 用回归分析检验，判定变量与自变量之间是否有显著的回归关系存在。如果显著水准(Significa

14、nce F)a值,回归关系存在，否则不存在。 (在这里判定系数a=1-置信度,在我们回归分析中置信度取95%, 所以a=1-95%=0.05),方差分析检验精密度,总偏差平方和SS回归平方和SSR残差平方和SSe,一元线性回归方差分析表,T检验: 判断回归系数与常数项是否为0,Intercept:回归方程中的常数项信息 X Variable:自变量X的回归系数信息,结论： t 检验结果中，常数项为2.750909，P-value = 1.38E-17a=0.05 说明:回归方程式的常数项不应为0，不可将其省略。 X Variable系数的P-value = 0.026795a=0.05。,Ex

15、cel回归分析工具应用,某房地产经纪人从政府部门列举的地区中随机抽取了15户居民作为样本，记录他们家庭住房面积及其相应的价格，想确认一下住房面积（平方米）与价格（千元）的关系，并据此拟合住房价格的回归方程。,上一页,下一页,返回本节首页,输入工作表如下图所示。,在“工具”菜单选择“数据分析”选项，打开“数据分析”对话框。,上一页,下一页,返回本节首页,在“分析工具”列表中选择“回归”选项，单击“确定”按钮，打开“回归”对话框如下图。,上一页,下一页,返回本节首页,在Y值输入区域中输入C1:C16。 在X值输入区域中输入B1:B16。 选择“标志”，置信度选择95%。 在“输出选项”中选择“输出

16、区域”，在其右边的位置输入“D1”，单击 “确定”按钮。输出结果如下图所示。,Excel的回归分析工具计算简便，但内容丰富： 计算结果共分为三个模块： 回归统计表 方差分析表 回归参数,1.回归分析工具的输出解释,上一页,下一页,返回本节首页,回归统计表包括： Multiple R（复相关系数R）：称为相关系数，用来衡量变量x和y之间相关程度的大小。 例：R=0.848466，表示二者之间的关系是高度正相关。 R Square(复测定系数R2 )：说明用自变量解释因变量变差的程度，以测量同因变量y的拟合效果。 复测定系数为0.719894，表明用自变量可解释因变量变差的71.99%。,1）回归

17、统计表,Adjusted R Square (调整复测定系数R2)：仅用于多元回归才有意义，用于衡量加入独立变量后模型的拟合程度。 当有新的独立变量加入后，即使这一变量同因变量之间不相关，未经修正的R2也要增大，修正的R2仅用于比较含有同一个因变量的各种模型。 标准误差：又称为标准回归误差或叫估计标准误差，用来衡量拟合程度的大小，此值越小，说明拟合程度越好。,观测值：是指用于估计回归方程的数据的观测值个数。 2）方差分析表 方差分析表的主要作用是通过F检验来判断回归模型的回归效果。 3）回归参数表 回归参数表是表中最后一个部分：,回归参数如下： Intercept：截距0 第二、三行：0(截距) 和1(斜率)的各项指标。 第二列：回归系数0(截距)和1(斜率)的值。 第三列：回归系数的标准误差 第四列：根据原假设Ho：0=1=0计算的样本 统计量t的值。 第五列：各个回归系数的p值(双侧) 第六列：0和195%的置信区间的上下限。,第 三 节,多元线性回归 (Multiple Regression),研究的问题是受多个因素影响的，需要建立多元回归方程，进行多元回归分析:,确定各个自变量对依变量的单独效应和综合效应,对单独效应和综合效应的显著性进行测验，在自变量中选择对依变量有显著效应的