《多元线性回归》课件2

多元线性回归探讨多元线性回归模型，探索多个自变量与因变量之间的关系。什么是多元线性回归？多个自变量多元线性回归分析是用来解释因变量与多个自变量之间关系的方法。线性关系假设因变量与每个自变量之间呈线性关系。预测和解释可以用来预测因变量的值，并解释自变量对因变量的影响程度。多元线性回归的应用场景预测例如，预测房价、股票价格、销售额等。分析例如，分析影响销售额的因素、分析影响用户满意度的因素等。控制例如，控制生产成本、控制产品质量等。多元线性回归的数学模型多元线性回归模型通过一个线性方程来描述因变量与多个自变量之间的关系，方程形式如下：Y=β0+β1X1+β2X2+...+βpXp+ε其中：Y是因变量X1，X2，...，Xp是自变量β0是截距β1，β2，...，βp是回归系数，分别代表每个自变量对因变量的影响程度ε是随机误差项多元线性回归的假设条件线性关系因变量与自变量之间必须存在线性关系。自变量之间无多重共线性自变量之间不应该存在高度相关性。误差项的独立性每个观测值的误差项应该相互独立。误差项的正态性误差项应该服从正态分布。多元线性回归的参数估计1回归系数估计每个自变量对因变量的影响程度2常数项当所有自变量为0时，因变量的预测值3最小二乘法最常用的参数估计方法参数估计是多元线性回归中的关键步骤。通过估计回归系数和常数项，我们可以了解每个自变量对因变量的影响大小，并建立一个预测模型。最小二乘法是一种常用的参数估计方法，它通过最小化残差平方和来找到最佳的回归系数和常数项。最小二乘法目标函数最小二乘法旨在找到一组参数，使预测值与实际值之间的误差平方和最小。直线拟合通过最小化误差平方和，最小二乘法找到最佳的直线来拟合数据点。参数估计的性质无偏性估计量的期望值等于真实参数值。一致性当样本量无限增大时，估计量收敛于真实参数值。有效性在所有无偏估计量中，方差最小的估计量是最有效的。多元线性回归模型的检验1模型的假设条件首先，需要验证模型是否满足多元线性回归的假设条件。例如，线性关系、独立性、方差齐性、正态性等。2模型的整体显著性使用F检验来评估模型的整体显著性。如果模型的显著性水平低于阈值，则认为模型整体有效。3单个变量的显著性使用t检验来评估模型中每个独立变量对因变量的影响是否显著。如果t检验结果表明变量显著，则认为该变量对模型有贡献。4模型的拟合优度通过R平方和调整R平方等指标来衡量模型的拟合优度。R平方越高，表明模型对数据的拟合程度越好。F检验整体显著性检验多元线性回归模型中所有自变量对因变量的联合影响是否显著.F统计量计算模型的方差解释比例与误差方差的比值.P值判断模型是否显著,P值小于显著性水平时,拒绝原假设.t检验1单个系数检验检验每个自变量对因变量的影响是否显著。2零假设该系数的真实值为0，即该自变量对因变量没有影响。3t统计量用于衡量系数估计值与零假设的偏离程度。多元线性回归模型的显著性检验F检验检验模型整体的显著性，判断自变量是否对因变量有显著影响。t检验检验每个自变量对因变量的显著性，判断每个自变量是否对因变量有显著影响。多元线性回归模型的拟合优度检验评估模型拟合程度，了解模型对数据的解释能力。衡量模型是否能有效地解释因变量的变化。检验模型对数据的解释程度，判断模型的预测能力。R平方和调整R平方0.8R平方模型解释变量的比例，越接近1，模型拟合效果越好。0.75调整R平方考虑了模型复杂度和样本量，更准确地评估模型拟合效果。多元线性回归模型的预测1预测值根据模型估计参数计算得到的2预测区间预测值可能落在的范围3预测误差预测值与真实值之间的差异预测区间预测值范围预测区间表示预测值可能落在的范围。置信水平置信水平代表预测区间包含真实值的概率。预测误差误差分布预测误差通常服从正态分布，可以用标准差衡量误差范围。残差分析分析残差的图形特征可以了解模型的拟合效果，判断是否存在异方差或自相关问题。影响因素的选择相关性选择与因变量有显著相关性的自变量。理论基础基于理论模型或领域知识，选择对因变量有影响的因素。数据质量确保自变量数据准确可靠，避免噪声和缺失值。变量选择方法逐步回归逐步回归是一种自动选择变量的方法，它通过反复添加或删除变量来构建最佳模型。前向选择前向选择从一个变量开始，逐步添加对模型贡献最大的变量，直到添加的变量不再显著改善模型拟合度。后向消除后向消除从包含所有变量的模型开始，逐步删除对模型贡献最小的变量，直到删除的变量不再显著降低模型拟合度。逐步回归前向选择从单变量回归开始，逐步加入变量，直到所有显著变量都包含在模型中。后向消除从所有变量开始，逐步删除不显著的变量，直到模型仅包含显著变量。逐步回归结合前向选择和后向消除，在每次迭代中，添加或删除变量以最大化模型的拟合优度。前向选择逐步构建前向选择从最简单的模型开始，即只有一个解释变量。添加变量在每一步中，选择最显著的变量添加到模型中。显著性检验通过显著性检验来判断新添加的变量是否显著地改善模型拟合。后向消除从所有自变量开始，逐步消除对模型贡献最小的变量。使用F检验或t检验评估每个变量的显著性。逐步调整模型，直到所有剩余变量都显著影响因变量。多重共线性定义多重共线性是指线性回归模型中，两个或多个自变量之间存在高度线性相关关系的现象。影响多重共线性会导致模型参数估计不稳定，难以确定自变量对因变量的影响大小。检测多重共线性方差膨胀因子(VIF)VIF是衡量自变量之间线性相关程度的指标。当VIF大于10时，表明存在严重的多重共线性。特征值和条件数特征值接近于0或条件数过大都表明存在多重共线性。相关系数矩阵当自变量之间的相关系数大于0.8时，表明可能存在多重共线性。如何应对多重共线性排除变量移除相关性最高的变量，但这可能导致信息丢失，影响模型准确性。主成分回归将相关变量组合成新的独立变量，减少多重共线性，但解释结果可能更复杂。岭回归在参数估计中引入惩罚项，抑制系数的波动，但会导致模型偏误。套索回归通过将系数缩减到零，自动选择重要变量，但可能不适用于所有情况。异常值和影响点分析1异常值识别使用箱线图、散点图等方法识别数据集中显著偏离其他观测值的异常值。2影响点识别使用Cook距离等方法识别对回归模型参数估计影响较大的数据点。3处理策略针对异常值和影响点，可以进行数据清洗、剔除或调整模型等处理。异常值的识别散点图在散点图中，异常值会明显偏离数据点的总体趋势。箱线图箱线图通过显示数据的四分位数范围和异常值，帮助识别异常值。直方图直方图显示数据的频率分布，异常值会出现在分布的边缘或远离主要峰值。影响点的识别Cook'sDistance测量单个观测值对回归模型的影响程度。DFFITS衡量删除单个观测值后，预测值的变化量。Leverage表示观测值在预测变量空间中的位置。案例分析通过案例分析，可以更好地理解多元线性回归的应用场景和方法。例如，我们可分析企业销售额与广告投入、市场占有率等因素之间的关系，并预测未来销售额。此外，案例