《回归分析及其应用》课件

回归分析及其应用统计建模与预测变量关系的量化分析课程概述课程目标掌握回归分析理论课程内容基础理论到高级应用学习要求第一章：回归分析基础1定义与历史回归分析的起源与发展2基本概念变量关系的类型3应用场景多学科的实际应用1.1回归分析的定义统计学方法研究变量间相互依赖的数量关系变量间关系研究确定自变量如何影响因变量预测与解释建立模型用于预测和解释现象1.2回归分析的历史11885年高尔顿研究父子身高关系21805年勒让德提出最小二乘法31809年高斯发表最小二乘法理论4现代计算机技术推动回归分析发展1.3变量间的关系类型函数关系确定性关系一个自变量值对应唯一因变量值例：圆面积与半径相关关系统计性关系存在随机波动例：身高与体重1.4回归分析的基本思想数据收集获取研究变量的观测值建立数学模型确定变量间关系的函数形式参数估计使用统计方法估计模型参数模型评价验证模型的有效性1.5回归分析的应用领域经济学需求预测、经济增长分析生物学生长曲线、药物效应研究社会科学行为研究、教育成果分析工程技术质量控制、可靠性分析第二章：简单线性回归模型形式一个自变量与一个因变量的线性关系参数估计使用最小二乘法求解参数模型评价通过决定系数、F检验等评估模型预测应用基于模型进行点预测和区间预测2.1简单线性回归模型模型形式Y=β₀+β₁X+ε截距项β₀X=0时Y的期望值斜率β₁X变化一个单位时Y的平均变化量随机误差ε遵循正态分布N(0,σ²)2.2最小二乘法基本原理使残差平方和最小目标函数Q=Σ(Yᵢ-β₀-β₁Xᵢ)²求导分别对β₀和β₁求偏导解方程联立方程求解参数估计值2.3回归系数的估计点估计β̂₁=Σ(Xᵢ-X̄)(Yᵢ-Ȳ)/Σ(Xᵢ-X̄)²β̂₀=Ȳ-β̂₁X̄区间估计β̂±t(α/2,n-2)·s(β̂)置信水平通常为95%2.4模型评价决定系数R²模型解释的变异比例F检验检验回归方程的显著性t检验检验回归系数的显著性残差分析检验模型假设是否满足2.5预测点预测Ŷ=β̂₀+β̂₁X₀给定X₀值的单一Y预测值区间预测预测区间考虑随机误差和参数估计误差比置信区间更宽2.6实例分析数据介绍房屋面积与售价数据模型建立售价=β₀+β₁×面积结果解释面积每增加1平方米，价格增加β₁万元第三章：多元线性回归1多元回归模型形式包含多个自变量的线性模型2参数估计技术矩阵运算与最小二乘法3模型诊断与优化多重共线性、变量选择与残差分析3.1多元线性回归模型模型形式Y=β₀+β₁X₁+β₂X₂+...+βₚXₚ+ε参数含义β₀是截距偏回归系数βᵢ表示其他变量不变时Xᵢ的边际效应随机误差ε~N(0,σ²)3.2多元回归的矩阵表示观测值向量Y=[y₁,y₂,...,yₙ]ᵀ设计矩阵X包含所有自变量值和常数项参数向量β=[β₀,β₁,...,βₚ]ᵀ矩阵形式Y=Xβ+ε3.3最小二乘估计正规方程XᵀXβ̂=XᵀY参数估计β̂=(XᵀX)⁻¹XᵀY拟合值Ŷ=Xβ̂残差e=Y-Ŷ3.4多重共线性定义自变量之间存在线性相关关系诊断方法方差膨胀因子(VIF)分析处理方法剔除变量、岭回归、主成分分析3.5变量选择向前选择法从空模型开始逐步加入变量向后剔除法从全模型开始逐步剔除变量逐步回归法结合向前和向后的方法最优子集法比较所有可能的变量组合3.6模型诊断残差分析检验随机误差的正态性和方差齐性异常值检测识别学生化残差、库克距离杠杆点分析识别对模型有高杠杆作用的观测模型验证使用测试集评估预测性能3.7实例分析数据描述房价与面积、位置、房龄等因素模型构建对数变换处理偏度变量选择使用AIC准则确定最优模型结果分析解释各因素对房价的影响程度第四章：广义线性模型模型扩展突破经典线性模型的限制特殊形式logistic回归、泊松回归等估计方法最大似然估计、迭代加权最小二乘法应用场景分类问题、计数数据分析4.1广义线性模型概述1定义线性模型的推广形式2随机成分响应变量服从指数族分布3系统成分线性预测器η=Xβ4连接函数连接期望值与线性预测器g(μ)=η4.2logistic回归二项logistic回归预测二分类结果概率连接函数：logit(p)=ln(p/(1-p))适用：疾病诊断、信用评估多项logistic回归处理多分类问题使用多个logit函数适用：消费者选择分析4.3泊松回归模型形式ln(μ)=Xβ分布假设响应变量服从泊松分布应用场景计数数据：事故频次、疾病发生数过度离散方差大于均值时需要特殊处理4.4模型拟合最大似然估计找出使观测数据概率最大的参数值对数似然函数转换乘积为求和便于计算迭代计算使用牛顿-拉夫森法求解IWLS迭代加权最小二乘法优化求解4.5模型评价似然比检验比较嵌套模型AIC准则平衡拟合优度和模型复杂度ROC曲线评估分类模型的判别能力混淆矩阵计算精确率、召回率等指标4.6实例分析logistic回归应用信用风险预测客户特征与违约风险关系构建风险评分卡模型泊松回归应用疾病发生率分析环境因素对疾病发生的影响计算相对风险比第五章：非线性回归1模型形式参数与因变量非线性关系参数估计非线性最小二乘法、迭代算法转换技术线性化变换、数值优化方法5.1非线性回归模型定义参数与因变量存在非线性关系指数模型Y=βₒeᵝ¹ˣ+ε幂函数模型Y=βₒXᵝ¹+εLogistic模型Y=β₀/(1+e^(-β₁(X-β₂)))+ε5.2参数估计方法最小二乘法最小化残差平方和需要迭代求解适用于误差正态分布情况最大似然估计最大化观测数据的概率可处理不同误差分布需要指定概率密度函数5.3线性化转换对数转换将乘法关系转为加法关系倒数转换处理分式形式的非线性关系变量替代引入新变量简化模型形式转换的局限性可能改变误差结构5.4非线性最小二乘法Gauss-Newton算法基于一阶泰勒展开Levenberg-Marquardt算法结合梯度下降和Gauss-Newton方法初值选择对算法收敛性至关重要收敛判断参数变化或残差变化小于阈值5.5模型评价残差分析检验随机性和正态性伪R²评估模型拟合优度预测能力评估交叉验证、PRESS统计量参数敏感性分析评估模型稳定性5.6实例分析生长曲线拟合生物体生长过程建模使用Logistic或Gompertz模型预测最大生长量和生长速率药物动力学模型药物在体内浓度变化使用多指数衰减模型计算药物半衰期和清除率第六章：时间序列回归1时间序列特征趋势、季节性、周期性和随机波动2基本模型AR、MA、ARMA等模型3高级模型ARIMA、季节性ARIMA6.1时间序列的特征趋势长期变化方向季节性固定周期的波动周期性非固定周期的波动随机波动不规则变动6.2自回归模型(AR)模型形式Yt=φ₁Yt₋₁+φ₂Yt₋₂+...+φₚYt₋ₚ+εtAR(p)模型p阶自回归，当前值依赖于p个滞后值参数估计Yule-Walker方程、最小二乘法平稳性条件特征方程根落在单位圆外6.3移动平均模型(MA)模型形式Yt=εt+θ₁εt₋₁+θ₂εt₋₂+...+θqεt₋qMA(q)模型q阶移动平均，当前值依赖于当前及q个滞后白噪声参数估计最大似然估计、非线性最小二乘可逆性条件特征方程根落在单位圆外6.4ARMA模型模型构建ARMA(p,q)结合AR和MA特点Yt=φ₁Yt₋₁+...+φₚYt₋ₚ+εt+θ₁εt₋₁+...+θqεt₋q预测方法递推法最小均方误差预测预测误差随着预测期增加而扩大6.5ARIMA模型差分处理使非平稳序列转化为平稳序列模型识别利用ACF和PACF确定p、d、q值参数估计最大似然法估计模型参数模型检验残差白噪声检验、信息准则比较6.6季节性ARIMA模型模型形式SARIMA(p,d,q)(P,D,Q)s季节性参数P,D,Q表示季节性部分阶数周期参数s月度数据s=12，季度数据s=4应用场景销售、旅游、气温等季节性明显数据6.7实例分析时间序列模型在销售预测、股价分析和经济指标预测中的应用案例第七章：面板数据回归数据特征横截面和时间序列的结合同时观察多个个体在多个时点的数据主要模型固定效应模型随机效应模型动态面板模型7.1面板数据概述定义同时包含横截面和时间序列信息的数据优势更大样本量，控制个体异质性平衡面板每个个体观测期相同非平衡面板观测期不完全相同7.2固定效应模型模型假设个体效应与解释变量相关模型形式Yᵢₜ=Xᵢₜβ+αᵢ+εᵢₜ估计方法去均值变换、LSDV局限性无法估计时不变变量的效应7.3随机效应模型模型假设个体效应与解释变量不相关个体效应是随机变量模型形式Yᵢₜ=Xᵢₜβ+(αᵢ+εᵢₜ)误差项为复合误差估计方法广义最小二乘法(GLS)可估计时不变变量效应7.4Hausman检验原理检验个体效应与解释变量是否相关零假设随机效应模型更合适备择假设固定效应模型更合适检验统计量基于两种估计量差异构造7.5动态面板模型模型特点包含因变量滞后项2估计问题滞后项与误差项相关导致内生性GMM估计差分GMM利用滞后变量作为工具变量系统GMM结合差分方程和水平方程估计7.6实例分析经济增长模型分析各国增长率差异控制国家特有因素使用固定效应模型公司财务分析研究资本结构影响因素处理企业异质性使用动态面板模型第八章：回归分析在机器学习中的应用树基模型回归树、集成方法核方法与神经网络支持向量回归、深度学习正则化技术岭回归、LASSO回归8.1回归树决策树原理递归二分，最小化节点内方差CART算法通过贪心算法选择最佳分割点剪枝技术避免过拟合，提高泛化能力优势可解释性强，适应非线性关系8.2支持向量回归SVM原理构建最大容忍带ε-不敏感损失函数忽略ε范围内的误差核函数选择线性核、多项式核、RBF核参数调优交叉验证优化C、ε和核参数8.3神经网络回归多层感知机输入层、隐藏层、输出层激活函数ReLU、sigmoid、tanh等反向传播算法梯度下降更新权重优化技术批归一化、dropout防止过拟合8.4集成学习方法随机森林Bagging方法构建多棵独立决策树平均预测结果降