1.2第二章 回归分析ppt课件

1、第二章第二章 回归分析回归分析实验设计与数据处理实验设计与数据处理欢迎学习欢迎学习 q 学习目的学习目的变量变量(X1)(X1)与变量与变量(X2)(X2)间或间或X X与与Y Y间间 - -有多少相关性有多少相关性 相关分析相关分析 - -变量间关系式的推测变量间关系式的推测 回归分析回归分析 它们之间有关系吗它们之间有关系吗? ? 有多强的关系有多强的关系? ? 有什么样的关系式有什么样的关系式? ? 机动车的数量 vs 交通事故发生率 溶液浓度 vs 溶质的量第一节第一节 回归分析概述回归分析概述一、变量间的两种关系一、变量间的两种关系确定性关系确定性关系函数关系：摩尔浓度函数关系：摩尔

2、浓度 cW/(MV)相关关系相关关系指标指标12345678身高身高x1/cm147149152151140139138142年龄年龄x2/岁岁9111213871011体重体重 y/kg3441374628232726相关关系：相关关系：y=a+b1x1+b2x2回归方程式：回归方程式：y=105.04+0.847x1+1.500 x2验证：验证：0.847x147+1.500 x9105.0432.9734通过它我们可以知道哪个输入对输出值通过它我们可以知道哪个输入对输出值 有多少影响有多少影响? ?为了得到想要的输出值为了得到想要的输出值, , 我们应按什么水我们应按什么水 平管理平管理

3、X X的规格的规格. .回归回归寻找寻找“Y与与“X关系的方法关系的方法什么是回归？什么是回归？描绘描绘“Y与与“X关系的数学方法关系的数学方法 创建过程的创建过程的“模型模型”。二、回归分析二、回归分析回归分析的主要内容回归分析的主要内容 回归分析回归分析regression analysis是是指应用数学的方法，通过大量数据所提供的信指应用数学的方法，通过大量数据所提供的信息，经过加工后找出事物间的内在联系，给出息，经过加工后找出事物间的内在联系，给出近似定量的表达式。近似定量的表达式。1、以观测数据为依据，建立反应变量间相关、以观测数据为依据，建立反应变量间相关关系的定量表达式回归方程）

4、，并确定关系关系的定量表达式回归方程），并确定关系式的可信度；式的可信度；2、利用建立的回归方程，对客观过程进行分、利用建立的回归方程，对客观过程进行分析、预测和控制。析、预测和控制。单纯线性回归单纯线性回归回归分析的阶段回归分析的阶段Data Data 搜集搜集用散点图确认关系用散点图确认关系用最小二乘法用最小二乘法推断总体推断总体建立回归方程建立回归方程画直线画直线(Line Fitting)(Line Fitting)分析应用分析应用变化因子为一个变化因子为一个, ,因子和输出值因子和输出值(Y)(Y)的关系为直线关系的单纯线性回归的关系为直线关系的单纯线性回归(Simple Linea

5、r Regression)(Simple Linear Regression)三、回归方程三、回归方程 根据两个变量根据两个变量x和和y的的n对实验数据对实验数据x1, y1）、）、 （x2, y2） （xn, yn），），通过回归分析建立一个确定的函数关系通过回归分析建立一个确定的函数关系y=f(x)(近似的定量表达式近似的定量表达式)来大体描述这来大体描述这两个变量两个变量x和和y间的变化的相关关系。这间的变化的相关关系。这个函数个函数f(x)即是即是y对对x的回归方程。的回归方程。四、回归分析的类型四、回归分析的类型1、一元线性回归、一元线性回归一元线性回归方程：一元线性回归方程： y=

6、a+bx2、可化为一元线性回归的非线性回归、可化为一元线性回归的非线性回归指数函数：指数函数： y=debx 恒等式变换：恒等式变换：lny=lnd+bx线性变换：线性变换：Y=A+bx3、多元线性回归、多元线性回归二元线性回归方程：二元线性回归方程：y=a+b1x1+b2x2第二节第二节 一元线性回归分析一元线性回归分析引言引言 一元线性回归分析，只要解决：一元线性回归分析，只要解决： （1求变量求变量x与与y之间的回归直线之间的回归直线方程方程 （2判断变量判断变量x和和y之间是否确为之间是否确为线性关系线性关系 （3根据一个变量的值，预测或根据一个变量的值，预测或控制另一变量的取值控制另

7、一变量的取值一元线性回归分析一元线性回归分析一、一元线性回归方程的建立一、一元线性回归方程的建立1、数学模型、数学模型yi = a + bxi +i y对对x的回归方程的回归方程 y = a + bx y 称为变量称为变量y的理论的理论估计值或回归值估计值或回归值xy通过样本推测的直线通过样本推测的直线未知的真实直线未知的真实直线 yi = a + bxi + yi = a + bxi + i (i = 1n)i (i = 1n) i i 是相互独立的是相互独立的 遵守遵守N(0,N(0, 2) 2) 的概率变量的概率变量一元线性回归模型一元线性回归模型bxayxxy/ii(xi, yi)(x

8、i, yi)x xy y在这里在这里, i , i N(0,2) N(0,2)Model Model 定义定义 一个独立变量一个独立变量(x)与与 一个从属变量一个从属变量(Y)间的关系间的关系方程式化后显示的方法方程式化后显示的方法残差残差(e)(e)是对误差的最佳推断值是对误差的最佳推断值, ,是实际结果值和回归方程式推测的最是实际结果值和回归方程式推测的最佳值间的差异佳值间的差异. .iy ie iy 残差残差 : : 实际观测值实际观测值(yi )(yi )和推测值和推测值 的差的差),.1(niyyeiii)(iy残差越小推断的回归式更能说明实际结果残差越小推断的回归式更能说明实际结

9、果, ,残差是误差的最好的推断值残差是误差的最好的推断值. .残差按大小排列或按资料的顺序排列时残差按大小排列或按资料的顺序排列时, ,它们以它们以“0 0为轴相对称为轴相对称, ,并且不并且不能存在特别的倾向能存在特别的倾向. .将误差平方和最小化的推断方法将误差平方和最小化的推断方法, ,找出将残差平方最小化的直线找出将残差平方最小化的直线. . 420 410 400 390 380 370 360 350 340 330 320 350 400 450 独立变量独立变量 从属变量最小平方和的一元线性回归最小平方和的一元线性回归线性回归直线线性回归直线与回归直线的与回归直线的差别差别(

10、(误差误差) )直线是以直线是以“最小平方和推断法最小平方和推断法(least square estimation)(least square estimation)”的的原则画出的原则画出的. .从资料的点到直线从资料的点到直线的距离的平方和最小化的距离的平方和最小化. .2、回归方程的求解 曲线拟合：采用某一函数的图线去逼近所有观测的数据，但不是通过所有的点，而是要求拟合误差达到最小，从而建立一个确定的函数关系。 曲线拟合常用的方法为最小二乘法，即用较简单的函数去逼近一组已知数据xi, yi）,不要求该函数的图形通过每一个已知点，而要求误差的平方和为最小。min )(212iiniibxa

11、yQ11_1111_22211_2()0(2 1)2()0(22)1()()(2 3)1()()(24)NiiiNiiiiNNNNiiiiiiiiiiNNiiiiiQyabxaQyabx xbxx yyx yxyNxxxxNay bx Ni=1联合求解得：b=回归系数回归系数a、b计算式计算式xbyaxnxyxnyxbiii22一元线性回归分析示例一元线性回归分析示例已知已知x与与y的试验数据如下的试验数据如下x00.10.20.30.40.50.60.70.80.91y2.752.842.963.013.23.253.383.433.553.663.74一元线性回归分析示例一元线性回归分析示

12、例研究腐蚀时间与腐蚀深度两个变量之间的关研究腐蚀时间与腐蚀深度两个变量之间的关系，可以把腐蚀时间系，可以把腐蚀时间x x作为自变量，把腐蚀深作为自变量，把腐蚀深度作为因变量度作为因变量y y，将试验数据记录在下表中，将试验数据记录在下表中，求求x x与与y y之间的线性关系。之间的线性关系。 试验数据试验数据时间时间x-min351020304050606590120腐蚀深腐蚀深度度y-m406080130160170190250250290460一元线性回归分析一元线性回归分析一、一元线性回归方程的建立一、一元线性回归方程的建立1、数学模型、数学模型yi = a + bxi +i y对对x的

13、回归方程的回归方程 y = a + bx y 称为变量称为变量y的理论的理论估计值或回归值估计值或回归值xy2、回归方程的求解 曲线拟合：采用某一函数的图线去逼近所有观测的数据，但不是通过所有的点，而是要求拟合误差达到最小，从而建立一个确定的函数关系。 曲线拟合常用的方法为最小二乘法，即用较简单的函数去逼近一组已知数据xi, yi）,不要求该函数的图形通过每一个已知点，而要求误差的平方和为最小。min )(212iiniibxayQ一元线性回归方程一元线性回归方程 y对对x的回归方程：的回归方程：y = a + bxxbyaxnxyxnyxbiii22线性拟合结果中各参数的含义线性拟合结果中各

14、参数的含义A: Intercept value and its standard error. 截距值及它的标准截距值及它的标准误差误差B: Slope value and its standard error. 斜率值及它的标准斜率值及它的标准误差误差R: Correlation coefficient. 相关系数相关系数p: value - Probability (that R is zero). R=0的概率的概率N: Number of data points. 数据点个数数据点个数SD: Standard deviation of the fit. 拟合的标准偏差拟合的标准偏差二、

15、相关系数二、相关系数r）相关性计算的返回值。用来确定两个区域中数据的相关性计算的返回值。用来确定两个区域中数据的变化是否相关，以及相关的程度。是两组数据集的变化是否相关，以及相关的程度。是两组数据集的协方差除以它们标准偏差的乘积。协方差除以它们标准偏差的乘积。1、R0：正相关：正相关2、R0：负相关：负相关3、R=0：两个集合中的数据互不相关。：两个集合中的数据互不相关。|R|0.4 ： 低度相关；低度相关；0.4|R|0.6: 中度相关；中度相关； 0.6|R|0.8: 高度相关；高度相关；|R|0.8: 非常高度相关。非常高度相关。相关系数显著性检验相关系数显著性检验计算相关系数计算相关系

16、数r；查相应的临界值查相应的临界值ra(显著性水平显著性水平a=0.05，自由度自由度f=n-2)；比较比较IrI和和ra的大小：的大小：IrI ra 表明两变量间存在线性关系；表明两变量间存在线性关系；IrI ra 表明两变量间不存在线性关系。表明两变量间不存在线性关系。使用使用“数据分析工具进行回归分析数据分析工具进行回归分析加入趋势线可以进行简单的回归分析，但加入趋势线可以进行简单的回归分析，但要获得更多的统计数据，可以使用数据分要获得更多的统计数据，可以使用数据分析工具。析工具。求简单相关系数、判定系数；求简单相关系数、判定系数；用用F-检验判定变量与自变量间是否有回归关检验判定变量与

17、自变量间是否有回归关系存在；系存在；用用t-检验判定各回归系数是否不为检验判定各回归系数是否不为0、计算、计算回归系数的置信度、标准残差等。回归系数的置信度、标准残差等。方差分析方差分析(F检验检验): 用回归分析检验用回归分析检验,判定变量与自变量判定变量与自变量之间是否有显著的回归关系存在。如果显著水准之间是否有显著的回归关系存在。如果显著水准(Significance F)a值值,回归关系存在回归关系存在,否则不存在。否则不存在。(在这里判定系数在这里判定系数a=1-置信度置信度,在我们回归分析中置信在我们回归分析中置信度取度取95%,所以所以a=1-95%=0.05)方差分析检验精密度方差分析检验精密度总偏差平方和总偏差平方和SS回归平方和回归平方和SSR残差平方和残差平方和SSe21)(niiyyss21)(niiieyyss21) (niiRyyss一元线性回归方差分析表一元线性回归方差分析表T检验检验: 判断回归系数与常数项是否为判断回归系数与常数项是否为0Intercept:回归方程中的常数项信息回归方程中的常数项信息X Variable:自变量自变量X的回归系数信息的回归系数信息结论：结论：t 检验结果中，常数项为检验结果中，常