《线性回归分析》教学课件

线性回归分析数据科学的基础统计方法课程概述课程目标掌握回归分析的理论基础学习内容线性回归模型的建立与应用先修知识第一章：回归分析基础回归分析的定义研究变量间依存关系的统计方法回归分析的应用领域回归分析与相关分析的区别回归分析研究自变量对因变量的影响可进行预测和推断需要划分自变量和因变量相关分析研究变量间的相关程度不涉及因果关系变量地位平等回归分析的类型简单线性回归一个自变量，一个因变量多元线性回归多个自变量，一个因变量非线性回归变量间非线性关系第二章：简单线性回归简单线性回归模型的定义描述一个自变量与一个因变量间的线性关系模型假设线性关系误差项独立同分布方差齐性简单线性回归模型的数学表达y=β₀+β₁x+ε线性关系的数学表达式β₀（截距）x=0时y的预测值β₁（斜率）x变化一个单位时y的变化量ε（随机误差）模型无法解释的随机部分最小二乘法目标函数最小化残差平方和数学原理求导数等于零的点几何意义寻找距离所有点总和最近的直线最小二乘估计β₁的计算公式β₁=Σ(x-x̄)(y-ȳ)/Σ(x-x̄)²β₀的计算公式β₀=ȳ-β₁x̄几何解释回归直线必过(x̄,ȳ)点回归方程的拟合点估计ŷ=b₀+b₁x区间估计参数的置信区间构建拟合效果评价通过统计指标和图形判断回归方程的评价指标决定系数R²模型解释的变异比例均方误差MSE预测值与实际值差异的平方平均标准误差SE回归系数估计的精确程度残差分析残差的定义实际值与预测值之差e_i=y_i-ŷ_i残差图的绘制横轴为自变量或预测值纵轴为残差值残差图的解释随机分布：模型适当存在模式：模型可能有问题异常值检测3σ标准差法则超出3倍标准差为异常1Cook's距离衡量观测值对参数估计的影响2/n杠杆值阈值判断样本点对回归结果的影响力简单线性回归的假设检验检验类型检验假设统计量t检验H₀:β₁=0t=b₁/SE(b₁)F检验H₀:模型不显著F=MSR/MSE预测与置信区间点预测给定x值时y的最佳估计置信区间参数真值所在的区间估计预测区间未来观测值的可能范围第三章：多元线性回归多元线性回归模型的定义多个自变量预测一个因变量基本形式y=β₀+β₁x₁+β₂x₂+...+βₚxₚ+ε模型假设线性性无多重共线性误差项同方差多元线性回归的矩阵表示多元线性回归的最小二乘估计目标函数最小化残差平方和S(β)正规方程X'Xβ=X'Y参数估计β̂=(X'X)⁻¹X'Y多元回归方程的拟合回归系数解释控制其他变量时单个变量的边际效应标准化系数不同单位变量影响的相对比较拟合优度模型对数据的解释能力多元回归的评价指标多重共线性危害参数估计不稳定检测方法相关系数矩阵和VIF解决方案删除变量或使用正则化方法多元回归的假设检验1整体显著性检验F检验：至少一个回归系数不为零2偏回归系数检验t检验：单个回归系数是否显著3区间估计回归系数的置信区间变量选择方法向前选择从无变量开始逐个添加向后剔除从全变量开始逐个删除逐步回归结合向前和向后方法第四章：回归诊断残差分析检查模型假设影响分析识别高影响观测值假设验证正态性、独立性等模型改进针对诊断结果调整模型异方差性检验异方差性问题误差项方差不恒定导致标准误估计有偏White检验基于残差平方的回归无需指定异方差形式Breusch-Pagan检验需要指定异方差形式通过辅助回归实现自相关性检验观测值残差滞后残差正态性检验Q-Q图直观检验残差分布是否正态Shapiro-Wilk检验小样本最有效的正态性检验Jarque-Bera检验基于偏度和峰度的检验模型规范性检验模型设定错误类型变量遗漏、函数形式错误RESET检验拉姆赛回归方程规范错误检验增广回归检验添加可能遗漏的变量检验第五章：广义线性模型随机分量因变量分布假设系统分量线性预测因子η=Xβ链接函数连接期望值与线性预测因子逻辑回归逻辑回归特点处理二分类因变量因变量服从伯努利分布Logit模型ln(p/(1-p))=Xβ链接函数为logit函数系数解释反映自变量对对数优势比的影响exp(βi)为优势比变化泊松回归0,1,2...计数数据因变量为非负整数λ泊松分布均值等于方差ln对数链接ln(μ)=Xβ第六章：时间序列回归时间序列特点观测值按时间顺序排列趋势成分长期变化方向季节性成分固定周期的波动模式随机成分不规则波动自回归模型滞后阶数自相关系数移动平均模型ARIMA模型模型识别确定p、d、q值参数估计最大似然法估计系数模型诊断残差白噪声检验预测应用生成未来值的点预测和区间预测第七章：非线性回归指数模型y=ae^(bx)幂函数模型y=ax^b逻辑斯蒂模型y=a/(1+e^(-b(x-c)))多项式回归二次多项式y=β₀+β₁x+β₂x²三次多项式y=β₀+β₁x+β₂x²+β₃x³过拟合问题高阶项可能导致过拟合模型选择通过AIC或交叉验证选择阶数分段线性回归断点确定视觉检查或统计方法模型构建不同区间使用不同线性关系连续性约束可选择在断点处保持连续第八章：回归分析中的特殊问题问题类型影响处理方法异常值扭曲参数估计剔除或稳健回归缺失值减少样本量插补或删除多重共线性参数估计不稳定变量选择或正则化多重共线性的处理岭回归添加L2正则化项β̂=(X'X+λI)⁻¹X'Y控制系数大小主成分回归提取自变量主成分用主成分替代原始变量降低维度变量变换对数变换处理指数关系平方根变换稳定方差3Box-Cox变换参数化变换家族第九章：回归分析在机器学习中的应用过拟合模型过于复杂，捕捉噪声欠拟合模型过于简单，无法捕捉关系交叉验证评估模型泛化能力的方法正则化方法Lasso回归L1正则化，可实现变量选择Ridge回归L2正则化，收缩系数但不置零调参方法交叉验证选择最优正则化强度弹性网络方法原理结合L1和L2正则化公式表达α·L1+(1-α)·L2优势同时具有变量选择和系数收缩能力参数调优调整α和λ两个参数第十章：回归树和随机森林决策树回归基于特征划分样本叶节点为区域平均值易解释但易过拟合随机森林回归多棵树的集成学习随机选择特征和样本预测能力强但解释性差支持向量回归ε-不敏感损失容忍ε范围内的误差2核函数处理非线性关系超参数C(惩罚系数)和ε(误差容忍度)第十一章：回归分析在各领域的应用经济学应用需求分析、生产函数估计生物学应用基因表达分析、药物响应预测心理学应用行为预测、因素分析工程学应用质量控制、系统建模回归分析在金融中的应用股票收益预测多因素回归模型预测回报率风险评估波动性和风险因子建模资产定价CAPM和APT等因子模型回归分析在医学中的应用回归分析在社会科学中的应用68%教育成果预测家庭背景对学生成绩的解释率42%社会现象分析犯罪率与社会经济因素的关联度3.5政策效果评估政策干预前后的效应大小第十二章：回归分析软件实践R语言实现lm()函数和各类扩展包Python实现sklearn、statsmodels库大数据工具SparkMLlib、TensorFlowSPSS中的回归分析数据准备导入数据并检查质量分析设置选择菜单"分析"-"回归"-"线性"参数选择选择变量和方法结果解释阅读系数表、ANOVA表等Excel中的回归分析第十三章：回归分析报告撰写报告结构研究问题、数据描述、方法、结果、讨论图表展示散点图、残差图、模型预测图表格呈现回归系数表、显著性检验表文字表述解释模型意义和实际应用价值回归结果的解释输出项解释方法注意事项回归系数变量单位变化的边际效应考虑变量单位和标准化p值系数显著性水平注意多重检验问题R²模型解释变异比例非因果关系的指标模型诊断报告残差与拟合值图检查线性性和异方差性残差Q-Q图检查残差正态性残差-杠杆图检测影响点和异常值第十四章：回归分析的局限性4因果关系推断问题相关不意味着因果遗漏变量偏误重要变量未纳入模型反向因果因变量可能影响自变量预测的不确定性预测区间可能较宽回归分析的未来发展人工智能整