能源大数据分析理论与实践3.回归分析

回归分析03RegressionAnalysis3.1

回归分析概述回归分析是在众多的相关变量中根据实际问题考察其中一个或多个目标变量（因变量）与其影响因素（自变量）之间相互依赖的定量关系的一种方法。通常事物的特征可用多个变量进行描述。回归分析的公式可以表示为：例如，能源消费量

受经济、人口和科技发展等因素影响，这些因素包括GDP指标

、人口规模

、科技投入指标

等。当对这一问题进行回归分析时，将能源消费量

称为因变量（或目标变量），

称为自变量，

为自变量的维度，回归分析的目标是利用历史数据找出函数表示它们之间的关系，以预测未来能源消费量的情况。在大数据分析中，习惯上将这些自变量称为特征（Feature），因变量则称为标签（Label）。如果只需考察一个变量与其余多个变量之间的相互依赖关系，则称为一元回归问题。若要同时考察多个因变量与多个自变量之间的相互依赖关系，则称为多因变量的多元回归问题。（3-1）3.1回归分析概述回归分析的分类标准多样，按照不同的分类标准，可以分成不同的种类。按照涉及自变量的数量，回归分析可以分为一元回归分析和多元回归分析，只有一个自变量的称为一元回归分析（又称简单回归分析），有两个或两个以上自变量的称为多元回归分析（又称复回归分析）。按照涉及因变量的数量，回归分析可以分为简单回归分析和多重回归分析。按照自变量和因变量之间的关系类型，回归分析可以分为线性回归分析和非线性回归分析。基本过程3.2线性回归线性回归（LinearRegression）是利用称为线性回归方程的最小平方函数对一个或多个因变量和自变量之间关系进行建模的一种回归分析方法，这种函数是一个或多个称为回归系数的模型参数的线性组合。只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示包括两个或两个以上的自变量，且因变量和自变量之间是线性关系线性回归分析是一种统计分析方法，用于了解两个变量之间的相关性，以及一个变量随另一个变量变化的趋势。3.2线性回归线性模型（GeneralLinearModels，GLM）并不是一个具体的模型，而是多种统计模型的统称，其中包含线性回归模型、方差分析模型等。线性模型可以表示为：式中，

是一个因变量的观测集合；

是一个自变量的观测集合；

是待估计的参数矩阵；

是误差矩阵或随机扰动项，又叫噪声（Noise）。一元线性回归模型可以写为：多元线性回归模型又称多重线性回归模型。其数学模型可以写为：线性回归模型需要假设因变量关于自变量的条件期望存在线性关系，即：（3-2）（3-3）（3-4）（3-5）假设中的

和

是未知的，称为回归系数。为了检验这个假设，需要利用样本数据估计出

和

，将它们的估计值记为

和

，由此得出的相应因变量

的估计值为

，这样式（3-5）就变为：（3-6）回归分析概述统计学中估计回归系数的一种方法是最小二乘法（LeastSquareMethod，LSE），为了与广义最小二乘法相区别，也称之为普通最小二乘法（OrdinaryLeastSquare，OLS）。如果回归方程对样本拟合得较好，能较好地反映客观规律，那么真实值和回归值的“距离”会较小。真实值和回归值的“距离”可以采用误差平方和表示。机器学习中使用线性回归模型进行预测时，需要使得理论值与观测值之差（误差，或者说残差）的平方和达到最小，这个误差称为均方误差（MeanSquareError，MSE），表示为：均方误差是反映估计量与被估计量之间差异程度的一种度量，在机器学习中称为损失函数（LossFunction）。机器学习中通过不断迭代使得均方误差不断降低，从而逼近最优解。式中，

是因变量观测值的样本；

是预测值；

是均方误差。（3-7）3.3非线性回归非线性回归指因变量与自变量的关系不是一次函数，而是更复杂的非线性函数，适用于描述非线性关联的数据。非线性回归类型广义非线性回归：可通过变量变换转换为线性回归，也称非纯非线性回归。狭义非线性回归：无论如何变换都无法转换为线性回归，即纯非线性回归。广义非线性回归可简化计算，而狭义非线性回归通常需更复杂的优化方法求解。3.3非线性回归非线性回归问题大多数可以转变为线性回归问题来求解，也就是通过对非线性回归模型进行适当的变量变换，使其转变为线性回归模型来求解。一般步骤为：例如，全球煤炭消费量随时间的变化并不是线性的，因此若选取日期作为自变量，则不适合使用线性回归模型，非线性回归模型更为适用。全球煤炭消费量随时间的变化曲线拟合如图3-1所示。图3-1全球煤炭消费量随时间的变化曲线拟合3.3非线性回归1多项式模型多项式模型在非线性回归分析中占有重要的地位。根据级数展开的原理，任何曲线、曲面、超曲面的问题在一定的范围内都能够用多项式任意逼近，所以，当因变量与自变量之间的确定关系未知时，可以使用适当幂次的多项式来近似。当所涉及的自变量只有一个时，所采用的多项式称为一元多项式，其一般形式为：多项式模型可以转变为线性回归模型，并利用最小二乘法确定系数。并不是所有的非线性回归模型都可以通过变换得到与原模型完全等价的线性回归模型。在遇到这种情况时，还需要利用其他一些方法，如泰勒级数展开法等进行估计。（3-8）3.3非线性回归2幂函数模型

幂函数模型为：（3-9）令

，则幂函数模型可以转变为线性回归模型：

（3-10）3指数函数模型指数函数用于描述几何级数递增或递减的现象，一般的自然增长及大多数经济数列属于此类。指数函数模型为：

（3-11）

令

，指数函数模型同样可以转变为线性回归模型。3.3非线性回归54对数函数模型对数函数是指数函数的反函数，对数函数模型为：（3-12）令

，对数函数模型可以转变为线性回归模型。双曲线模型若因变量

随自变量

的增加（或减少），最初增加（或减少）很快，以后逐渐放慢并趋于稳定，则可以选用双曲线模型来拟合。双曲线模型为：令

，双曲线模型可以转变为线性回归模型。（3-13）3.3非线性回归非线性回归模型非线性回归可分为固定模式和非固定模式两类。1.固定模式的非线性回归结构固定，部分自变量可能不确定，无法转换为线性回归。采用泰勒级数展开或数值优化方法求解。低维（≤3维）可通过绘制测点图像确定线性类型。应用：适用于调查研究、临床试验等，分析单值或多值变量的非线性关系。2.非固定模式的非线性回归结构不固定，需要在建模过程中同时确定模型结构和参数。方法：机器学习算法（如神经网络、决策树等）、数据驱动建模（如自回归方法）、自适应回归（如局部加权回归）应用：适用于复杂系统建模，非线性关系未知或数据驱动特征明显的场景。3.4分位数回归线性回归最基本的假设是残差满足正态分布、独立性、同方差性，但这些条件常常得不到满足。如果样本数据中存在异常值或极端值，则线性回归模型估计值可能会存在较大偏差。我们不仅希望研究被解释变量的期望，还希望能探索被解释变量Y的全局分布（如被解释变量的某个分位数），这时候就需要使用分位数回归。分位数亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（二分位数）、四分位数（25%、50%和75%）等。分位数回归是估计一组解释变量X与被解释变量Y的分位数之间线性关系的建模方法，其原理是将数据按被解释变量拆分成多个分位数，研究不同分位数情况下的回归影响关系。3.4分位数回归分位数回归的优点如下：（1）能够更加全面地描述被解释变量条件分布的全貌，而不是仅仅分析被解释变量的条件期望（均值），也可以分析解释变量如何影响被解释变量的分位数。不同分位数下的回归系数估计量常常不同，即解释变量对不同水平被解释变量的影响不同。（2）分位数回归的估计方法与最小二乘法相比，估计结果对离群值表现得更加稳健，而且分位数回归对误差项并不要求很强的假设条件，因此对于非正态分布而言，分位数回归系数估计量更加稳健。3.4分位数回归图3-2给出了分位数回归示例，其中的数据来自Python程序包statsmodel中的案例数据。因变量是食物支出，自变量是家庭收入，对该数据同时进行最小二乘法（OLS）回归和分位数回归可以得到图3-2中的回归线。从图3-2可以看出，食物支出随家庭收入的增加而增加，食物支出的分布随家庭收入增加变得越来越宽（高分位数和低分位数之间的间隔越来越大），存在典型的异方差，因此比较适合分位数回归。图3-2分位数回归示例3.4分位数回归分位数回归的估计方法介绍：如果一组数据由小到大排列后，

分位数为

，则表示该组数据中有

的数据小于

。所谓的

分位数回归，就是希望拟合线下面含有

的数据点，如0.25分位数回归线下面含有25%的数据点。因此，系列分位数回归并不是像线性回归那样拟合一条曲线，而是可以拟合一簇曲线。不同分位数的回归系数不同，则说明解释变量对不同水平的被解释变量影响不同，可以由此获得解释变量对被解释变量分位数变化趋势的影响。

假设条件分布

的总体

分位数

是

的线性函数，即（3-14）式中，

是分位数

回归系数，其估计量

可以由以下最小化问题来定义：（3-15）3.4分位数回归作为最小化问题的目标函数，式（3-15）在机器学习中称为分位数回归的损失函数，如何理解这个损失函数呢？这个损失函数是一个分段函数，将

（高估）和

（低估）两种情况分开，并分别给予不同的系数。当

时，低估的损失比高估的损失大，反之，当

时，高估的损失比低估的损失大。分位数损失实现了分别用不同的系数控制高估和低估的损失，进而实现分位数回归。特别地，当

时，分位数损失退化为MAE损失，从这里可以看出MAE损失实际上是分位数损失的一个特例——中位数损失。如果

，则为中位数回归，此时，目标函数可以简化为：（3-16）中位数回归常被称为最小绝对离差估计量（LeastAbsoluteDeviationsEstimator，LAD）回归，它比条件均值回归更不易受到极端值等异常项的影响，也更加稳健。与条件均值模型相比，中位数回归模型具有无法比拟的优势。3.4分位数回归在上述估计方法中，参数求解一般采用单纯形算法、内点算法和平滑算法等。单纯形算法估计出来的参数具有很好的稳定性，但是在处理大型数据时运算速度会显著降低；内点算法对于那些具有大量观测值和少量变量的数据集运算效率很高；平滑算法理论上比较简单，适合处理具有大量观测值及很多变量的数据集。随着协变量的变化，分位数回归模型更加强调条件分位数的变化。由于所有分位数都是