学习笔记多元线性回归分析-理解篇

[学习笔记]多元线性回归分析——理解篇回归分析是数据分析中最基础最重要的分析⼯具，绝⼤多数的数据分析问题，都可以使⽤回归的思想来解决。回归分析的任务就是，通过研究⾃变量x和因变量y的相关关系，尝试去解释y的形成机制，进⽽达到通过x去预测y的⽬的。常见的回归分析有：线性回归、0-1回归、定序回归、计数回归和⽣存回归，其划分的依据是因变量y的类型。本⽂没有⼤量的公式推导，更多的是感性的理解（主要是打公式太难了，哭）1.回归分析的概念1.1回归分析的基本概念在统计学中，回归分析（regressionanalysis)指的是确定两种或两种以上变量间相互依赖的定量关系的⼀种统计分析⽅法。在⼤数据分析中，回归分析是⼀种预测性的建模技术，它研究的是因变量（⽬标）和⾃变量（预测器）之间的关系。这种技术通常⽤于预测分析，时间序列模型以及发现变量之间的因果关系。1.2回归分析与相关性分析回归性分析与相关性分析研究的⽬的不同，相关性是研究两个或者两个以上处于同等地位的随机变量间的相关关系的统计分析⽅法。例如：⼈的⾝⾼和体重之间。⽽回归分析侧重于研究随机变量间的依赖关系，以便去⽤⼀个变量去预测另⼀个变量。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究⽅法就是回归。1.3回归分析研究的问题（i）建⽴因变量y与⾃变量x1，x2…xm之间的回归模型（经验公式）；（ii）对回归模型的可信度进⾏检验；（iii）判断每个⾃变量xi对y的影响是否显著；（iv）诊断回归模型是否适合这组数据；（v）利⽤回归模型对y进⾏预报或控制；可以将回归分析的作⽤归纳为：识别重要变量、判断相关性的⽅向、估计权重（回归系数）2.基础知识2.1数据表的基础知识例如在上表中可以看出，我们所涉及的是样本点x变量类型的数据表。如果⽤m个变量，并进⾏n次采样，得到n个样本点，就可以⽤构成的数据表写成⼀个nxm维的矩阵。因此对于数据的处理也就是对于矩阵的处理。2.2数据的标准化处理2.2.1数据的中⼼化处理数据中⼼化处理就是使得样本的均值变成0，这样不会改变样本点的相互位置，也不改变相关性，却给技术上提供了便利。2.2.2数据⽆量纲化处理为了使得每⼀个变量都有同等的表现⼒，消除量纲效应，在数据分析中对量纲进⾏压缩处理，使得每个变量的⽅差变成1，即：2.2.3标准化处理就是对数据同时进⾏中⼼化和压缩处理，即；3.线性回归模型3.1⼀元线性回归3.1.1⼀元线性回归模型与最⼩⼆乘法估计模型：其中beta是回归系数，ε作为随机误差项，且ε服从正态分布。最⼩⼆乘法就如字⾯意思所说，使得yi与y-hat（y的正上⽅有⼀个^）之差（断句）平⽅和的最⼩值。这样能够使回归⽅程尽可能的贴合原始数据。通过多元函数的极值求解⽅式可以得beta0和beta1如果原始数据是已经被标准化过后的数据，那么beta0和beta1就有了新的含义。Beta0=0，beta1=rxy，回归⽅程是y-hat=rxyx，这时beta1可以表⽰y与x的相关程度。3.1.2拟合效果的分析3.1.2.1残差的样本⽅差残差是原始数据与对应回归⽅程的值之间的差值（下图红圈处就是⼀个残差），残差的样本均值为0，残差的样本⽅差⽤MSE来表⽰（⽅差之和除以n-2，因为是n-2个⾃由度）。判定依据，残差越⼩说明拟合值与观测值越接近各观测点在拟合直线周围聚集的紧密程度越⾼，也就是说，拟合⽅程的能⼒越强。3.1.2.2判定系数（拟合优先度）变异程度（variation）是观测值与⼀个中⼼值散布或分散的量。也就是各个值与平均值的差值。在这⾥⽤样本⽅差来描述这种变异。因此我们可以通过观测值的变异程度与回归⽅程得到的拟合值的变异程度做⽐较来得到⼀个数据，⽤来说明该回归⽅程拟合的好坏。判定依据，R2的范围在0到1的闭区间，R2如果等于1说明此时原数据的总变异完全可以由拟合值的变异来解释，并且残差为零（SSE=0），即拟合点与原数据完全吻合；当0R^2时，回归⽅程完全不能解释原数据的总变异，y的变异完全由与x⽆关的因素引起，这时SSE=SST。判定系数是⼀个很有趣的指标：⼀⽅⾯它可以从数据变异的⾓度指出可解释的变异占总变异的百分⽐，从⽽说明回归直线拟合的优良程度；另⼀⽅⾯，它还可以从相关性的⾓度，说明原因变量y与拟合变量y-hat的相关程度，从这个⾓度看，拟合变量y-hat与原变量y的相关度越⼤，拟合直线的优良度就越⾼。3.1.2.3显著性检验回归模型的线性关系检验：在拟合回归⽅程之前，我们曾假设数据总体是符合线性正态误差模型，也就是说y和x之间是线性关系，符合：但是我们这样假设是否正确呢？此时我们假设H0：beta1=0，如果H0假设成⽴则yi=beta0x+ε（这个模型被称为选模型）。把当beta0≠0时的模型称为全模型（就是上⾯那个模型）。在分别⽤最⼩⼆乘法拟合全模型和选模型，并求出误差平⽅和（前者符合公式SSE，后者符合公式SST，因此⽐较SSE与SST）。如果全模型的误差不⽐选模型的误差⼩多少，即（SST-SSE）差额很⼩时，说明beta1项没有起多⼤作⽤，因此H0成⽴。如果（SST-SSE）差额很⼤时，说明了增加x的线性项⽬之后，拟合⽅程误差⼤幅度减⼩，应该否定H0.认为总体参数beta1显著不为零。⾄于如何判断这种差额呢？⽤F检验即可完成。检验过程略。回归系数的显著性检验：对于回归⽅程的检验包括两个⽅⾯：⼀个是对模型的检验，也就是上⾯的检验。另⼀个是对模型的回归参数进⾏每⼀个⾃变量对因变量的影响程度是否显著。采⽤的⽅法是t分布检验。检验过程略。3.2多元线性回归3.2.1多元线性回归模型为：式⼦中beta0、beta1…betam、Sigma都是与x⽆关的未知参数，其中beta0、beta1…betam称为回归系数。现在如果有n个独⽴观测数据（yi，xi1，…，xim），i=1，…，n，n>m，即可得到⼀个n*m的矩阵。3.2.2参数估计同样是⽤最⼩⼆乘法估计，求误差平⽅和的最⼩值。求最⼩值过程略（反正是⽤计算机算的，笑）。3.2.3回归分析的假设检验就是检验模型是否合理，如同⼀元线性回归⽅程的假设检验，针对每个beta进⾏假设。令H0：betaj=0（j=1，…,m）同样利⽤F检验。但是注意，接受H0只能说明y与x1…xm的线性关系不明显，可能存在⾮线性关系。还有⼀些衡量y与x1,…，xm相关程度的指标，如⽤回归平⽅在总平⽅和中的⽐值定义复判定系数。3.2.4回归系数的假设检验和区间估计针对回归系数的检验，同样是利⽤t分布对每个beta进⾏检验，检验过程省略。4.利⽤回归模型进⾏预测当回归模