多元回归分析PPT课件

1 多元回归分析 MultipleLinearRegressionAnalysis 2 一元线性回归模型复习 一个自变量X与一个因变量Y作散点图模型形式Y 0 1X 回归直线模型的F检验 T检验 P值相同 作用等价 R2决定系数 相关系数 3 房屋售价 房价Y 受面积X1影响 还有影响因素吗 受地域x2 市中心与否 结构x3影响 高层与砖混 4 汽车销售 若公司管理人员要预测来年该公司的汽车销售额y时 影响销售额的因素 广告宣传费x1 还有个人可支配收入x2 价格x3 5 研究地区经济增长GDP 受劳动力投入人数x1影响 还有 资本要素 科技水平 的影响 6 多元回归应用 例 财政收入y为因变量 自变量如下 x1工业总产值 x2农业总产值 x3建筑业总产值 x4人口数 x5社会商品零售总额 例 股票价格Y 自变量为每股收益X1 每股帐面价值X2 例 失业的时间长度Y 月 自变量有学历x1 年龄x2 工龄X3 7 多元回归模型 multipleregressionmodel 描述因变量y依赖于自变量x1 x2 xk和误差项 的方程 称为多元回归模型 0 1 2 k是参数 是被称为误差项的随机变量 包含在y里面但不能被k个自变量的线性关系所解释的变异性 8 多元回归样本数据 9 多元回归模型 模型矩阵表示 10 多元回归模型基本假定 误差项 是一个期望值为0的随机变量 即E 0对于自变量x1 x2 xk的所有值 的方差 2都相同误差项 是一个服从正态分布的随机变量 即 N 0 2 且相互独立 11 多元线性回归方程的形式为E y 0 1x1 2x2 kxk描述因变量y的平均值或期望值如何依赖于自变量x1 x2 xk的方程 偏回归系数 i表示假定其他变量不变 当xi每变动一个单位时 y的平均变动值 12 Y X1 X2 SlopeforvariableX1 SlopeforvariableX2 多元回归方程几何意义MultipleRegressionEquation 13 最小二乘估计 最小SSE 14 15 Y X1 X2 Yi Yi x2i x1i Thebestfitequation Y isfoundbyminimizingthesumofsquarederrors e2 样本观测 回归残差示意图 Residual i Yi Yi 16 普通最小二乘估计 对于随机抽取的n组观测值 如果样本函数的参数估计值已经得到 则有 i 1 2 n 根据最小二乘原理 参数估计值应该是下列方程组的解 其中 17 于是得到关于待估参数估计值的正规方程组 18 正规方程组的矩阵形式 即 由于X X满秩 故有 19 多元回归方程 模型系数由样本数据估计得到 估计值Estimated orpredicted valueofY 斜率Estimatedslopecoefficients 截距Estimatedintercept 用Excel计算得到回归系数 20 馅饼Pie销售量sale 受价格price的影响 还受广告费Advertising的影响 21 馅饼销售 Sales 0 1 Price 2 Advertising Multipleregressionequation 22 多元回归结果 23 多元回归方程 b1 24 975 表明每周销售量将减少 价格增加 美元 销售量平均减少24 975个 假设广告的效果不变 b2 74 131 表明销售量增加 广告费增加 美元 销售平均增加74 131个 周 假设价格不变 24 用模型预测 预测价格为 5 50 广告费为 350 预测销量为428 62pies 注意 单位百元 350意味X2 3 5 25 回归模型的统计检验 模型的 检验系数的 检验拟合度检验 决定系数 26 误差平方和的分解 SST SSR SSE 越小越好 越大越好反映自变量xi的变化对因变量y取值变化的影响 假设不变 反映除xi以外的其他因素对y取值的影响 27 多重判定系数 可决系数 拟合优度 multiplecoefficientofdetermination 回归平方和占总平方和的比例计算公式为因变量取值的变差中 能被多元回归方程所解释的比例 28 销量变化的52 1 由价格和广告因素解释 决定系数 29 随着自变量个数的不断增加 会使得R2不断增加 因此在作拟合优度检验的判定时 一般采用调整的R2 以消除自变量的个数以及样本量的大小对R2的影响 30 修正多重判定系数 adjustedmultiplecoefficientofdetermination 为避免增加自变量而高估R2 需要用样本量n和自变量的个数k去修正R2得到计算公式为意义与R2类似 数值小于R2目的是惩罚过多使用不重要的自变量 用于比较多个模型 31 销量变化的44 2 由价格和广告解释 Adjustedr2 32 回归方程显著性F检验 提出假设H0 1 2 k 0线性关系不显著H1 1 2 k至少有一个不等于0 2 计算检验统计量F 分子自由度k 分母自由度n k 1得出统计量F 得到检验 值4 作出决策 确定显著性水平 和 比较 P 拒绝H0 利用F统计量进行总体线性显著性检验 33 总体线性显著性 检验FTestforOverallSignificance P valuefortheFTest 34 H0 1 2 0H1 1和 2不全为 05df1 2df2 12 检验统计量 判定 结论 因为 统计量在拒绝域 p value 05 拒绝H0 结果说明至少有一个自变量影响 0 05 F 05 3 885 拒绝H0 不能拒绝H0 临界值 F 3 885 F检验意义 F 35 检验的 值计算 F检验临界值 36 单个自变量回归系数的 检验 提出假设H0 bi 0 自变量xi与因变量y没有线性关系 H1 bi 0 自变量xi与因变量y有线性关系 计算检验的统计量t 确定显著性水平 并进行决策 P拒绝H0 37 价格t 2 306 p value 03979广告费t 2 855 p value 01449 单个变量显著性检验 38 d f 15 2 1 12 05t 2 2 1788 InferencesabouttheSlope tTestExample H0 i 0H1 i 0 检验统计量在拒绝域 p values 05 有证据说明价格和广告影响销售量 Excel结果 对每个变量拒绝H0 判定 结论 拒绝H0 拒绝H0 a 2 025 t 2 接受H0 0 t 2 a 2 025 2 1788 2 1788 39 检验的 值 检验的临界值 40 回归系数的检验 线性关系F检验通过后 再对模型中各个回归系数进行检验对每一个自变量都要单独进行检验应用t检验统计量 如果一次t检验后 模型中存在多个不重要变量 一般是将t值最小的变量删除掉 再重新进行检验 每次只剔除1个变量 41 多元回归注意事项 样本容量一般要大于 倍变量个数 最好n 5 k 2 一般最少样本n 3 k 1 或n 30 42 多元回归模型系数计算 一 EXCEL软件计算 将输入的X1 x2 x3 xk 排列在一起 再输入Y的观察值 在 工具 栏 数据分析 中选 回归 在数据区中选X时多个变量一起选中 Y的区域 得到回归系数值与检验值 43 44 45 EXCEL多元回归系数检验 46 47 48 逐步回归法 在多元线性回归中 最难的是如何选择自变量的问题 如果自变量选的太少 则自变量对Y的决定系数太小 导致过大的偏差 如果把与Y有关的自变量都选入是不可能的 多个自变量间的相关会给回归方程的实际解释上造成麻烦 即多重共线性的影响 最优方程 要求进入回归方程的自变量都是显著的 未进入回归方程的自变量都是不显著的 49 变量选择过程 在建立回归模型时 对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时 是否使得残差平方和 SSE 有显著减少 如果增加一个自变量使SSE的减少是显著的 则说明有必要将这个自变量引入回归模型 否则 就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法 就是使用F统计量的值作为一个标准 以此来确定是在模型中增加一个自变量 还是从模型中剔除一个自变量变量选择的方法主要有 向前选择 向后剔除 逐步回归 最优子集等 50 向前选择 forwardselection 对k个自变量分别拟合对因变量的一元线性回归模型 共有k个 然后找出F统计量的值最高的模型及其自变量 并将其首先引入模型分别拟合引入模型外的k 1个自变量的线性回归模型如此反复进行 直至模型外的自变量均无统计显著性为止 51 向后剔除 backwardelimination 先对因变量包括所有k个自变量的回归模型 然后去掉一个自变量 这个自变量是使模型的SSE值减小最少的自变量 被挑选出来并从模型中剔除如此反复进行 一直将自变量从模型中剔除 直至剔除一个自变量不会使SSE显著减小为止 52 逐步回归 stepwiseregression 将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后 它会对模型中所有的变量进行考察 看看有没有可能剔除某个自变量 如果在增加了一个自变量后 前面增加的某个自变量对模型的贡献变得不显著 这个变量就会被剔除按照以上方法不停地增加变量并考虑剔除以前增加的变量的可能性 直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除 而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中 53 2 赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回归模型的拟合优度 常用的标准还有 赤池信息准则 Akaikeinformationcriterion AIC 施瓦茨准则 Schwarzcriterion SC 这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量 54 Eviews的估计结果显示 中国居民消费二元例中 AIC 6 68SC 6 83中国居民消费一元例中 AIC 7 09SC 7 19从这点看 可以说前期人均居民消费CONSP 1 应包括在模型中 55 含有虚拟自变量的回归 56 虚拟自变量 dummyvariable 用数字代码表示的定性自变量虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如 性别 男 女 有两个以上水平的虚拟自变量贷款企业的类型 家电 医药 其他 虚拟变量的取值为0 1 57 虚拟自变量的回归 回归模型中使用虚拟自变量时 称为虚拟自变量的回归当虚拟自变量只有两个水平时 可在回归中引入一个虚拟变量比如 性别 男 女 一般而言 如果定性自变量有k个水平 需要在回归模型中引进k 1个虚拟变量 58 虚拟自变量的回归 例 为了研究考试成绩与性别之间的关系 从某大学商学院随机抽取男女学生各8名 得到他们的市场营销学课程的考试成绩如右表 59 虚拟自变量的回归 考试成绩与性别的散点图 男女 60 虚拟自变量的回归 引进虚拟变量时 回归方程表示为E y 0 1x男 x 0 E y 0 男学生考试成绩的期望值女 x 1 E y 0 1 1女学生考试成绩的期望值注意 当指定虚拟变量0 1时 0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值 1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值 即平均值的差值 0 1 0 1 61 虚拟自变量的回归 例题分析 例 为研究工资水平与工作年限和性别之间的关系 在某行业中随机抽取10名职工 所得数据如右表 y与x1的回归及分析 y与x1 x2的回归及分析 62 虚拟自变量的回归 引进虚拟变量时 回归方程写为E y 0 1x1 2x2女 x2 0 E y 女性 0 1x1男 x2 1 E y 男性 0 2 1x1 0表示 女性职工的期望月工资收入 0 2 表示 男性职工的期望月工资收入 1表示 工作年限每增加1年 男性或女性工资的平均增加值 2表示 男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 0 2 0 2 63 用虚拟自变量回归解决方差分析问题 64 设对某种职业者的工资采集了10个样本 列于下表 工资单位略去 性别栏中1表示男性 0表示女性 我们以性别为自变量建立回归模型 65 回归系数分析 方差分析表 回归方程 66 对表中数据回归得 它表示 女性的平均工资为18 男性的平均工资为18 3 28 21 28 由于回归系数 的 统计量为7 44 远大于临界值0 44 非常显著 故认为该项工作男女工资存在差别 67 回归建模流程图 具体 社会经济 问题 设置指标变量 收集整理数据 修改 构造理论模型 估计模型参数 模型运用 经济因素分析 经济变量控制 经济决策预测 模型检验通过 N Y 68 例如 描述税收与税率关系的拉弗曲线 抛物线s a br cr2c 0s 税收 r 税率 三非线性回归 例如 Cobb Dauglas生产函数 幂函数Q AK L Q 产出量 K 投入的资本 L 投入的劳动 69 非线性回归 1 因变量y与x之间不是线性关系2 可通过变量代换转换成线性关系用最小二乘法求出参数的估计值并非所有的非线性模型都可以化为线性模型 70 1 多项式模型在只有一个自变量的情况下 多项式模型形式如下 2 对数模型对数模型方程为 上一页 下一页 返回本节首页 71 双曲线 基本形式 线性化方法令 y 1 y x 1 x 则有y x 图像 72 幂函数曲线 基本形式 线性化方法两端取对数得 lgy lg lgx令 y lgy x lgx 则y lg