第8章回归预测

Part1第8章回归预测目录8.1.1线性回归的定义8.1.2线性回归案例：预测房屋价格8.1.3线性回归案例：预测学生考试成绩8.2非线性回归8.2.1Logistic模型8.3.1Logistic模型模型的定义8.3.2Logistic模型的优化目标8.4回归模型评价第8章回归预测8.1.1线性回归的定义

第8章回归预测8.1.2线性回归案例：预测房屋价格

面积（平方英尺）价格（万美元）500501000100150015020002002500250

第8章回归预测8.1.3线性回归案例：预测学生考试成绩

第8章回归预测8.2非线性回归非线性回归是一种用于拟合非线性关系的统计方法，当数据无法用简单的线性方程来描述时，就需要使用非线性回归。本文主要介绍三种非线性回归，分别是分段模型、指数模型以及Logistic模型。分段回归的表示为指数回归模型是一种非常重要的非线性回归模型，用于描述因变量随自变量呈现指数增长或指数衰减的关系。它广泛应用于自然科学、社会科学和工程领域，能够捕捉许多现实世界中变量之间的动态变化。

（8.12）其中a为初始值，b为增长或衰减速率。

第8章回归预测8.2.1Logistic模型Logistic模型是一种经典且广泛应用的非线性回归模型，专门用于描述因变量为二分类变量的情况，或者因变量的增长受到某种限制的现象。Logistic模型能够很好地捕捉许多实际问题中的自然规律和受限增长现象。Logistic模型的表示为

(8.13)在众多非线性回归模型中，Logistic回归因其在分类问题中的核心地位和广泛应用而备受关注。接下来，我们将重点介绍Logistic回归这一重要模型。第8章回归预测8.3.1Logistic模型的定义

第8章回归预测8.3.2Logistic模型的优化目标

根据式（7.13）整理最大化“对数似然”为(8.15)式（7.15）是关于的高阶可导连续凸函数，根据凸优化理论，可以使用梯度下降法来求得其最优解，于是就得到(8.16)以牛顿法为例，其第t+1轮迭代解的更新公式为(8.17)其中关于的一阶、二阶导数分别为

(8.18)

（8.19）第8章回归预测8.4回归模型评价回归模型的评价是衡量模型性能和实际应用价值的重要环节。通过对模型预测能力的全面评估，我们不仅能够判断模型是否适合当前的数据特性，还可以验证其在实际场景中的可靠性和稳定性。这一过程对于优化模型、提升预测精度以及确保模型的泛化能力具有重要意义。为了更好地理解模型的表现，我们通常会结合评价指标进行分析，揭示模型的优劣势。以下是几种常用回归模型评价指标的介绍。均方误差（MSE，MeanSquaredError）是预测值与实际值之间误差的平方平均值，其衡量了预测值与实际值之间的平均偏差平方，值越小，模型的预测性能越好。均方误差对异常值较为敏感，因为误差被平方后会放大。均方误差的表示为

（8.21）均方根误差（RMSE，RootMeanSquaredError）是均方误差的平方根，其与原始数据的量纲一致，便于直观理解和比较。均方根误差越小，说明模型的预测误差越小。均方根误差的表示为

（8.22）平均绝对误差（MAE，MeanAbsoluteError）是预测值与实际值之间误差的绝对值平均值，其对异常值的敏感性低于均方误差和均方根误差。平均绝对误差越小，说明模型的预测误差越小。平均绝对误差的表示为

（8.23）平均绝对百分比误差的表示为

（8.24）决定系数是一个衡量模型拟合优度的重要指标，用于评估模型对因变量总变异的解释能力。其表示由回归模型解释的因变量变异量占因变量总变异量的比例，取值范围通常在[0,1]之间。越接近1，说明模型的拟合效果越好；反之越接近0，表明模型的解释能力较弱。决定系数的表示为(8.25)本章围绕回归预测展开，系统介绍了线性回归、非线性回归以及Logistic回归等经典模型的定义、原理、优化目标和应用场景，并通过具体案例直观展示了这些模型的实际应用价值和实现方法。在线性回归部分，我们探讨了其作为最基础回归模型的理论基础和实用性。通过最小二乘法，线性回归能够高效地拟合数据并揭示变量之间的线性关系。房价预测和学生成绩预测的案例直观地展示了线性回归模型的简单性和强大的解释能力。在非线性回归部分，我们介绍了分段模型、指数模型和Logistic模型等方法，展示了它们在处理复杂数据模式时的灵活性和适用性。尤其是Logistic回归，凭借其通过Sigmoid函数将线性模型的输出映射到概率空间的特性，成为分类问题中不可或缺的工具。此外，本章还介绍了回