3.3 人工智能通识：回归分析

人工智能通识

：常用的机器学习算法§3.3回归分析简介主讲人：严宣辉

教授福建师大计网学院一个有趣的发现：“回归”到平均身高弗朗西斯·高尔顿（1822-1911），英国著名统计学家、探险家与遗传学家。他通过对人类身高遗传的海量数据分析，首次发现了“向均值回归”的自然规律，这一洞察也成为了现代统计学中“回归分析”命名的起源。研究缘起：遗传之谜19世纪末，高尔顿致力于探索遗传规律。他收集了大量家庭的身高数据，试图揭示父母特征如何传递给子女，却意外发现了一个有趣的统计学现象。核心发现：均值回归数据显示，极高父母的子女虽高但平均身高低于父母；极矮父母的子女虽矮但平均身高高于父母。这种“趋中”趋势揭示了自然对极端值的一种“拉回”效应。“回归”一词的诞生与深远影响高尔顿将此现象命名为“回归”（Regression），这便是“回归分析”的由来。这一发现不仅解释了生物遗传中的趋同现象，更成为现代统计学中分析变量间关系的基石，广泛应用于经济、医学、社会科学等领域，帮助我们理解变量如何围绕平均值波动。回归分析：揭示变量间的因果关系回归分析是一种统计方法，用于构建自变量（原因）与因变量（结果）的关联模型，量化因素对结果的影响程度。它不仅能解释过去的变化，更是预测未来、辅助决策的关键分析工具。典型应用：回归分析如何回答现实问题？商业增长测算

“若增加20%的营销预算，产品月销售额预计能提升多少个百分点？”教育效果评估

“每天多投入1小时复习，期末考试的平均分预计能提高多少分？”消费需求预测

“夏季气温每升高2℃，冷饮的单日销量预计会随之增长多少？”01预测分析·洞察未来

基于历史数据构建模型，精准推算因变量的未来值，为资源规划与目标制定提供科学依据。02归因分析·锁定关键

量化不同因素对结果的影响权重，识别核心驱动因子，让策略优化更具针对性和有效性。03趋势建模·动态适应

结合时间维度分析数据变化规律，捕捉长期趋势与周期性波动，适配瞬息万变的市场环境。理解回归分析的基本要素01变量类型：定义分析的基石自变量(X)·影响因素/输入被假设为引发变化的“因”，是模型中的输入项。通常是可控或可观测的条件。示例：广告投放费用、每日学习时长、环境温度。因变量(Y)·结果指标/输出我们试图预测或解释的“果”，是模型关注的核心结果。其变化由自变量及其他随机因素共同决定。示例：产品月度销售额、期末考试成绩、夏日冰淇淋销量。02关系类型：分析的核心对象函数关系·精确的数学映射变量间存在唯一、确定的数学推导关系，给定自变量即可准确计算出因变量，无误差干扰。示例：圆的面积公式S=πr²、自由落体位移公式。统计关系·趋势性与随机性共存变量间存在明显的趋势关联，但受众多随机因素影响，无法做到绝对精确的预测，只能描述大概率的变化规律。★回归分析的核心：量化这种带有随机误差的统计关系。从散点图到回归线：寻找“最佳拟合”的直线图示：通过最小二乘法拟合出的一元线性回归线，直观展示了数据的集中趋势。01散点图：数据的直观映射将自变量(X)与因变量(Y)的观测值以坐标点形式绘制在平面中，是观察变量间关联趋势的基础，也是判断是否适合线性回归的第一步。02回归线：趋势的数学表达当散点呈现出明显的线性趋势时，我们用一条直线来近似描述这种关系。它不苛求穿过每一个点，而是捕捉数据变化的核心规律。🎯核心目标：最小化偏差寻找“最佳拟合”的本质，就是找到一条直线，使得所有数据点到这条直线的垂直距离（残差）的平方和达到最小，从而最精准地代表数据的整体走向。一元线性回归模型

01核心参数解析ŷ(预测值)&x(自变量)

ŷ是因变量的拟合值，代表模型对结果的预测；x是用于预测的输入变量。a(截距Intercept)

当x为0时y的基准预测值，反映了因变量的基础水平或初始状态。b(斜率Slope)—核心驱动力

衡量变化幅度：x每增加1个单位，y平均变化b个单位。正值为正相关，负值为负相关。02最优解：最小二乘法(OLS)核心目标

寻找一条“最佳拟合直线”，使得所有数据点到直线的垂直距离的平方和最小，以此最小化模型的预测误差。为何取“平方”？

消除正负距离的相互抵消，同时对较大的误差进行放大惩罚，确保模型稳健。方法优势

计算简便、解析解存在，且在误差服从正态分布时具有最优统计性质。简单的线性方程，揭示了变量间最基础也最强大的线性关系规律，是数据分析的基石。案例1：广告费如何影响销售额？01业务背景与样本某公司连续10个月的广告费投入与销售额记录，形成10组观测样本。我们旨在通过这些历史数据，量化广告投入对营收的实际拉动作用，挖掘增长背后的驱动逻辑。02核心预测问题能否建立数学模型预测销售额？若广告费每增加1万元，销售额预计能提升多少？这是典型的一元线性回归分析应用场景，旨在量化变量间的因果关系。03散点图直观洞察以广告费为X轴、销售额为Y轴绘制散点图，可直观观察到两者呈现明显的正向线性趋势，即广告投入越多，销售额通常越高，为建模提供了坚实的现实依据。广告费/万元489871261069销售额/万元9202215172318251020【例3-1】用Python和Sklearn库对某家公司广告费与销售额进行一元线性回归分析。某家公司每月的广告费和销售额如下表所示。案例1：求解回归方程01分析工具与方法基于Python的Scikit-learn机器学习库，利用最小二乘法对历史数据进行线性拟合。该算法通过最小化实际值与预测值的误差平方和，自动计算出最优模型参数，高效实现从经验数据到数学模型的精准转化。02最终拟合回归方程销售额(预测)=2.2516+1.9808×广告费参数解读：截距a=2.2516（基准销售额），斜率b=1.9808（每万元广告费带来的销售增长）。💡商业洞察：模型显示广告投入与销售额呈强正相关。每增加1万元广告费，预计销售额将提升约1.98万元，证明了该渠道广告投放的高回报率。散点图与拟合回归线图中散点代表实际观测值，黑色虚线为模型拟合的最佳回归线，直观展示了变量间的线性趋势及拟合优度。案例1：解读回归结果01斜率解读(b=1.9808)广告费每增加1万元，销售额平均预计增加约1.98万元。这是衡量广告效益的核心指标，直观量化了投入与产出的边际关系，为企业评估广告预算的性价比、制定投放策略提供了坚实的数据支撑。02截距解读(a=2.2516)当广告费为0时，公司的基础销售额预计为2.25万元。代表企业在无额外广告推动下的自然销售水平，反映了品牌固有的市场影响力和用户基础。该数值是评估品牌资产厚度的重要参考，也为测算盈亏平衡点提供了基础数据。💡业务洞察：回归结果证实了广告投入对营收的显著拉动效应，每单位广告投入可撬动近2倍的销售额增长，显示出极高的营销ROI。同时，稳定的基础销售额表明企业拥有健康的品牌基本盘，为未来的市场扩张和预算规划提供了安全边际与决策信心。多元线性回归：当影响因素不止一个时多因素交织的现实场景现实世界的结果往往是复杂因子共同作用的产物：房价受面积、地段、房龄等多重因子驱动；销售额则与广告投入、定价策略、市场环境等紧密相关。单一维度的分析已无法还原真实的因果规律。从“一元”到“多元”的维度跃升从只能解释单一变量影响的一元回归，进阶到能同时纳入多个自变量的多元回归。它不仅能量化每个因素对结果的独立影响，还能剥离变量间的相互干扰，为预测和决策提供更精准的数学支撑。核心模型：多元线性回归方程

变量定义：x₁,x₂...xₙ代表不同的自变量（如面积、广告费），构成影响结果的多维特征集合。系数意义：b₁,b₂...bₙ为偏回归系数，反映在其他变量不变时，该变量对结果ŷ的独立影响强度。案例2：城市用电量受什么影响？为探究城市电力需求的核心驱动力，我们采集了某城市1990至2006年的宏观经济面板数据。通过构建多元线性回归模型，量化分析经济增长（GDP）与资本投入（全社会投资额）对城市年用电量的具体影响程度，为能源规划与经济发展决策提供实证依据。01核心变量定义因变量(Y)：年用电量

单位：万千瓦小时，衡量城市能源消耗总量的核心指标。自变量(X)：经济指标

X₁：GDP(万元)/X₂：全社会投资额(万元)，反映经济规模与活跃度。案例2：解读Excel分析结果上图为多元线性回归分析的统计输出表。通过对关键统计指标的深入拆解，我们能够科学评估模型的拟合程度与变量的显著性，从而为“GDP与投资额对用电量的影响”这一业务问题提供量化的决策依据。01.RSquare(R²)=0.977衡量模型对数据的解释能力，数值越接近1效果越好。0.977表明GDP与投资额可解释97.7%的用电量变化，模型拟合效果极佳。02.SignificanceF=2.95E-12用于检验模型整体显著性，该值远小于0.05，证明回归模型整体有效，即自变量与因变量之间存在显著的线性关系，模型设定合理。03.P-value(P>|t|)<0.01GDP与投资额的P值均远小于0.01，说明每个自变量对用电量都有独立且显著的影响，不存在无关变量，进一步验证了模型的有效性。案例2：构建多元回归方程最终预测模型：

年用电量=28925.98+0.046188×GDP+0.118491×全社会投资额GDP系数解读(0.046188)

在投资额保持不变的前提下，GDP每增加1万元，年用电量平均增加约0.046万千瓦小时，反映了经济总量增长对电力需求的基础拉动作用。投资额系数解读(0.118491)

在GDP保持不变的前提下，全社会投资额每增加1万元，年用电量平均增加约0.118万千瓦小时，体现了基建与工业投资对电力消耗的强驱动性。核心洞察：投资额对用电需求的影响更为显著

对比两个系数值，投资额的边际效应（0.118）显著高于GDP（0.046），这意味着在该模型框架下，固定资产投资是推动地区用电量增长的更关键因素。非线性回归：当关系不再是直线现实世界中，变量间的关系往往并非简单的直线。如图所示，非线性回归通过拟合曲线（红色线条），能够更精准地捕捉数据的波动趋势、拐点及增速变化，从而还原事物发展的真实规律。01定义与本质当因变量与自变量呈现曲线关系（如抛物线、指数增长或S型曲线）时，摒弃线性假设，改用非线性函数模型来刻画变量间的依存关系，以获得更优的拟合效果。02典型应用场景广泛应用于产品生命周期分析（销量S型增长）、学习曲线效应（边际效益递减）、以及自然科学中复杂的动态系统建模，帮助我们理解和预测非线性的变化趋势。03建模核心逻辑核心在于“量体裁衣”。根据数据的分布特征（如增长上限、拐点位置），选择合适的曲线函数（二次函数、对数函数等）进行拟合，从而最大化模型对现实的解释力。本章小结：回归分析核心要点回顾01核心思想建立自变量（原因）与因变量（结果）的关系模型，通过量化变量间的关联强度与方向