第五章线性回归与相关

第五章 线性回归与相关0 60 120 180施氮量 (kg N/ha)2468产量(Tons/ha)Chapter 5 Linear regression and correlation第一节 一元线性回归与相关1. 回归与相关的概念1）变量 (Variable)描述事物特征或特质的数量指标，这些指标因条件不同而按一定的规律变化，故称变量。如：不同田块的土壤有机质含量 ; 不同小麦品种的千粒重 ;不同大丽轮枝菌的致病力等等。2）变量间的关系 (Relationships between variables)函数关系 (Functional relationship)：处于同一个统一体中的两个变量，它们之间互相联系着同时在变化，其中一个变化，另一个也按一定的规律相应地变化，而且一个变量取定某个数值，另一个变量也按照一定的规律有一个完全确定的数值与之对应。常以 y=(x) 表示。如：路程和时间的关系： s = vt；消光值和溶液浓度的关系： E = RC，等等。相关关系 (Correlation relationship)：当一个变量取定某个数值时，另一个变量出现的对应值不是完全确定的。如：施氮量和作物产量的关系； 土壤有机质和土壤全氮含量。2. 相关关系的类型 相关关系的规律是概率性的，相关关系资料必须用适当的统计方法处理后，才能使其规律呈现出来。 1) 对具有相关关系的变量进行抽样研究，建立能表达两者关系的回归方程。3. 回归分析 (Regression analysis)研究相关关系中变量与变量间数量关系的一种数学方法。主要包括：2) 通过对方程的统计检验，判断变量相关关系的密切程度；3) 依据回归方程及其误差（精度），从一个或多个变量的已知值估测另一个变量的取值范围，进行预测。Relationship between ear length (cm) and yield per plant of maize (g)陕西旬邑县苹果黑星病病叶率随时间变化图陕西杨凌小麦条锈病病叶率随时间变化图表 1 双变量（ X, Y） 总体模式表X Y y,x X1 Y11 Y12 Y 1n Y1 X2 Y21 Y22 Y 2n Y2 Xn Yn1 Yn2 Y nn Yn 对于一个双变量总体 ：令 是 时所有 的平均值，在统计学上称为 的条件平均数或条件期望值则：称为回归函数，表示 y 依 x 变化而回归。 如果变量 x 和 y 是直线相关关系，则上述回归函数可表示成：称为直线回归方程。又称为 Y的回归值。如果变量 x 和 y 是直线相关关系，则上述回归方程可表示成：用 作为 的估计值，则上述回归函数可表示为：称为样本回归方程。 称为样本线性回归方程。如果变量 x 和 y 呈曲线相关关系（如抛物线），则上述回归方程可表示成： 称为样本非线性回归方程。对于一个双变量样本 ：1）当两个变量有因果关系时，则原因变量为自变量，结果变量为依变量。2）当两个变量没有因果关系时，则根据研究目的确定。3）当两个变量中，有一个是非随机变量时，则非随机变量必为自变量。4）当两个变量均为随机变量时，则根据研究目的确定。例：1）施肥量 (x) 作物产量 (y)。2） 土壤有机质含量 (x) 土壤全氮含量 (y) 。自变量 (x, independent variable) 和依变量 (y, dependent variable)4. 相关分析 (Correlation analysis) 研究变量之间相关关系的密切程度及其性质 (正相关或负相关 ), 并用一个数量性指标来描述，这个指标称为 相关系数 (r) 。 相关分析不具备预测功能 。？ 相关分析与回归分析有何关系？ 5. 相关分析与回归分析必须注意的问题1）相关的科学性。2）相关的可比性。3）作回归和相关分析时， x 的取值范围要尽可能大，而且观察值应在 5对以上 。表 1 一个双变量（ X,Y） 样本的模式表XX1 Y11 Y12 Y 1n X2 Y21 Y22 Y 2nXm Ym1 Ym2 Y ma Y二、 一元线性回归 分析 1. 一元线性回归方程的建立1）利用变量 (x, y) 作散点图 (Scatter diagram) 进行初步判断。 xy 2）直线回归方程 (Linear regression equation) 的配置确定直线方程的原则：xy yy直线方程的通式 为 ：称为 依 的 直线 回归方程 式 。： 回归系数 (Regression coefficient);： 回归截矩 (Regression intercept).： 自变量 (Independent variable); ：回归值 ;欲使建立的回归方程最好，须使 和 之间的 差异 最小 。 = 最小确定 b0 及 b 值的方法 (最小二乘法 )：要使 则有：= 最小 因为 上式及本式称为正规方程组 (Normal equations). 亦可用矩阵形式表示。 直线回归方程的特点（ 1）直线回归方程一定通过点（ 2）回归系数 b 的符号取决于 lxyb 0 时， x 与 y 正相关； b 0 时， x 与 y 负相关。2. 回归关系的显著性检验1）因变量观察值的变异来源划分：（ x , ）yxy （ x , y）（ x , y）总变异 = 离回归变异（剩余变异 ) + 回归变异2）总变异平方和的分解与计算总 平方和 (SST ) = 离回归 (剩余 ) 平方和 (SS剩 ) + 回归平方和 (SS回 )SS回 =SS剩 = SST - SS回3）自由度的分解与计算总自由度： dfT = N 1回归自由度： df回 = M 1 = m剩余 自由度 : df剩 = dfT - df回 = N - M4）平方和的分解与 F值的计算F =S2回S2剩SS回 /df回 SS剩 /df剩 =5）统计推断F F 否定 H0 ， 接受 HA3. 一元线性回归方程的应用当 x = x0 时， y0 的取值 区间为 ：，置信度为 ： 95%置信度为 ： 99%= SS剩df剩线性回归估计标准误：预测依变量 y 的取值：二、 简单相关分析1. 相关系数 (Correlation coefficient)xy 1）相关系数的直观定义A（ x,y)xy B（ x,y) xyC（ x,y)xy A xyB xyC 对于样本：r 就定义为样本相关系数，即 2）相关系数的回归定义总 平方和 = 剩余平方和 + 回归平方和SST = SS剩 + SS回由：相关系数可定义为：3）相关系数的性质2） r 的绝对值愈大，两变量的相关愈显著。3）相关系数 r 的符号取决于乘积和 Lxy, 与回归系数 b 的符号一致。1）相关系数的取值： -1 r 1 xy y y xy y yx x x x回r = =SSSST2. 决定系数 (Coefficient of determination)1）决定系数的定义决定系数为相关系数 r 的平方，记为 r2 。r2 = SS回SST= L2xyLxx Lyy2）决定系数的含义1. 决定系数仅表示两个变量相关的密切程度， 不表明相关的性质 ; 2. 决定系数的取值： 0 r 2 13. 相关系数和决定系数的显著性检验1. 计算 r。2. 由 df = n 2 查 相关系数表（附表 10）得 r， 如果：r r 表明两变量的相关关系达显著或极显著水平。 ,3. 表示总平方和中，回归平方和所占的比重，或说在 y 的变异中有多大部分是由 x 变化引起的。三、 直线回归方程回归系数回归截距确定直线回归方程参数的方法有最小二乘法、高斯牛顿法、麦夸特法、牛顿法、梯度法、正割法等等。这里重点给大家介绍最小二乘法。分别对上式的 a和 b求偏导：解方程组得：a称为截距； b成为斜率； Q称为离回归平方和或称为剩余平方和； U称为回归平方和； Sy/x称为回归估计标准误。因方程使用了 a,b两个统计数，故自由度为 n 2。例 测定水稻播种至齐穗的天数和播种至齐穗的总积温的数据如下。请确定 X与 Y的变化关系。表 播种至齐穗的天数 X和播种至齐穗的总积温 Y的关系Xi 70 67 55 52 51 52 51 61 64Yi 1616.3 1610.9 1440.0 1440.7 1423.3 1471.3 1421.8 1547.1 1533.0解：以 X为横坐标， Y为纵坐标绘制散点图。从散点图可以看出 Y与 X有回归关系， Y随着 X变大而上升，可以选用一元线性回归方程拟合 Y与 X的回归关系。因此，该例数据的回归直线方程为：Old Y Fitted Y Residuals STD Residuals1421.80 1429.89 -8.09 -0.281423.30 1429.89 -6.59 -0.3