第5章多元线性回归分析1

第 5章 多元线性回归分析 （ Multivariate Linear Regression Analysis） 1回归分析的分类连续型因变量 (y) -线性或非线性回归分析多个因变量(y1,y2 yk)分类型因变量 (y) -Logistic 回归分析时间序列因变量 (t) -时间序列分析生存时间因变量 (t) -生存风险回归分析路径分析结构方程模型分析一个因变量 y2例如：各种回归分析的比较3概念：多元线性回归分析 也称 复线性回归分析 （ multiple linear regression analysis） ,它研究一组自变量如何直接影响一个因变量。自变量（ independent variable） 是指独立自由变量的变量，用向量 X表示； 因变量（ dependent variable)是指非独立的、受其它变量影响的变量，用向量 Y表示；由于模型仅涉及一个因变量，所以多元线性回归分析也称单变量线性回归分析（ univariate linear regression analysis）Multivariate linear regression4多元线性回归分析的基本思想多元线性回归分析： 研究一个因变量与一组自变量的依存关系，即，研究一组自变量是如何直接影响一个因变量的。5一元线性回归分析的数学模型模型： yi=+ xi + i (i=1,2n)i x y-1 x1 y12 x2 y2i xi yin xn yn。 。 。xy0。一元线性回归模型(xi, yi)iy =+x6模型： (i=1,2n)多元回归分析数据格式编号 1X 2X jX mX Y 1 11X 12X jX1 mX1 1Y 2 21X 22X jX2 mX2 2Y i 1iX 2iX ijX imX iY n 1nX 2nX jnX mnX nY 注： 样本 编号 为 i ),2,1( ni L= ； 变量 个数 为 j ),2,1( mj L= 7假定因变量 Y与 自变量 间存在如下关系：式中， 是常数项， 称为 偏回归系数（ partial regression coefficient） 。 的含义为在其它自变量保持不变的条件下，自变量 改变一个单位时因变量 的平均改变量。 为随机误差，又称残差（ residual），它表示 的变化中不能由自变量 解释的部分。多元线性回归方程模型8二元线性回归模型(观察到的 y)回归面0 ix1yx2(x1, x2)二元线性回归分析的数学模型多元回归方程9 复相关系数复相关系数又称 多重相关系数 （ multiple correlation coefficient），用于度量因变量的观测值与预测值（计算值）之间的关系的强度，或者说用于反映模型的 总体拟合效果 。复相关系数包含了所有自变量与因变量的相关信息，其定义类似于一元线性回归中的相关系数，计算公式为多元回归分析中的几个相关系数10 简单相关系数简单相关系数（ simple correlation coefficient）分别反映各个自变量与因变量的相关关系。对于二变量的情形，计算公式为11 偏相关系数简单相关系数旨在反映 变量之间 两两线性关系，但实际上，每一个简单相关系数不可能绝对不包括其他因素的相关成分。为了克服简单相关系数的间接相关信息，提出另一种检验指标 偏相关系数 （ partial correlation coefficient）。偏相关系数旨在排除其它因素的影响，单纯反映某个自变量与因变量之间的密切程度。对于二变量的情形，计算公式如下1213 部分相关系数复相关系数反映模型总体上的拟合效果，无法看出每个变量对拟合效果的贡献大小。为了反映每个变量对模型拟合效果的影响程度，人们定义了部分相关系数（ part correlation coefficient）。部分相关系数的计算公式14式中 为相应于 xi的部分相关系数， Rm为复相关系数，即全部自变量参与回归的总体相关系数， Rmxi 为去掉 xi 的复相关系数。可见部分相关系数的平方是在总体拟合效果中扣除了其他变量综合拟合效果之后剩余部分。1516多元线性回归模型 多元线性回归模型及古典假定 多元线性回归模型的估计 多元线性回归模型的检验175.1 多元线性回归模型及古典假定一、多元线性回归模型的意义二、多元线性回归模型的矩阵表示三、多元线性回归中的基本假定18一、多元线性回归模型的意义例如 :有两个解释变量的电力消费模型其中 : 为各地区电力消费量；为各地区国内生产总值（ GDP）； 为各地区电力价格变动。模型中参数的意义是什么呢 ? 19多元线性回归模型的一般形式一般形式：对于有 个解释变量的线性回归模型 模型中参数 是偏回归系数， 样本容量为偏回归系数 ：控制其它解释量不变的条件下，第个解释变量的单位变动对应变量平均值的影响。20指对各个回归系数而言是 “线性 ”的，对变量则可是线性的，也可是非线性的例如：生产函数取自然对数多元线性回归21的总体条件均值表示为多个解释变量的函数 总体回归函数也可表示为 : 多元总体回归函数22的样本条件均值表示为多个解释变量的函数或其中 回归剩余（残差）：多元样本回归函数23二、多元线性回归模型的矩阵表示 个解释变量的多元线性回归模型的 个观测样本，可表示为 24用矩阵表示25总体回归函数 或样本回归函数 或 其中： 都是有 个元素的列向量是有 个元素的列向量是第一列为 1的 阶解释变量数据矩阵 (截距项可视为解释变量取值为 1)26三、多元线性回归中的基本假定假定 1： 零均值假定 或假定 2和假定 3：同方差和无自相关假定假定 4：随机扰动项与解释变量不相关27假定 5:无多重共线性假定 (多元中 ) 假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观测值矩阵 列满秩 ( 列 )。 即 可逆假定