多元回归分析总结分析

1、第十二章多元回归分析在许多实际问题中，影响因变量的因素有一个时，我们用一元回归分析解决问题，但是影响因变量的因素往往有多个，此时问题就上升到了一个因变量同多个自变量的多元回归问题。当因变量与自变量之间为线性关系时，我们称之为多元线性回归。 多元性性回归分析的原理同一元线性回归基本相同，但计算上要复杂得多。本章知识结构如下：1、建立回归模型 y回归方程y1X11X12X22X2kXkkXk2、利用最小二乘法对参数进行估计参数包括3、写出回归方程y1X12X2kXk方法一：多重判定系数 R24、方程拟合优度的检验-方法二：估计标准误差 s 1）提出假设5、线性关系检验 丿2）计算统计量F SSR

2、KF（k,n k 1）多 元 回 归 分 析11 弋SSE（n k 1）3）作出决策F, f ,P,6、回归系数的检验F检验单个自变量对因变量的影响是否显着 ，检验步骤同线性关系的检验， 检验过程中可能会因为“多重共线性”问题导致某些自变量无法通过检验。7、利用回归方程进行预测利用给定的k个自变量，求出因变量y的平均值的预测区间和个别值 的预测区间。8、变量选择一一我称之为“模型的简化”fa）向前选择主要方法-b）向后剔除L）逐步回归原理：对统计量进行显着性检验，将一个或一个以上的自变量引入模 型，如果增加一个自变量会使得残差平方和（SSE明显减少，则将该自变量 留在模型中，否则剔除。9、多重

3、共线性问题1、产生原因：自变量之间的相关性广a）计算各对自变量之间的相关系数，并对各相关 系数进行显着性检验；2、检验方法! b）当模型的线性关系进行F检验显着时，几乎所有回归系数的t检验却不显着；iL C）回归系数与预期的的相反；主要知识点：建立的回归模型中回归系数和误差项分别代表的含义：回归系数i (i 0,1,2 k)表示当其他k 1个自变量不变时，第i个自变量一个单位因变量y的平均变动量;误差项 表示不能由各个自变量与y之间的线性关系所解释的变异性。利用软件用最小二乘法对参数进行估计的方法及步骤:在Excel中使用“工具”“数据分析”“回归”输入数据区域“确定”，即可得到各参数的估计值

4、，此时便可以写出回归方程。 拟合优度的检验方法：方法一：多重判定系数SSR 1 SSESST SSTr2表示在因变量y的总变差中被估计的回归方程所解释的比例;故R2越大越好方法二：估计标准误差2Se(% ?)n k 1Se表示根据所建立的回归方程，用自变量来预测因变量时，平均 预测误差的大小；故s越小越好，越小说明波动性越小。用软件进行线性关系检验的方法：在Excel中，在“工具”“数据分析”“回归”方差分析一栏中有“SignificanceF ”值(即P值)，当p 时，拒绝原假设；当p 时，接 受原假设。回归系数的检验：检验单个自变量对因变量的影响是否显着 ，检验步骤同线性关系的检验，检验过

5、程中可能会因为“多重共线性”问题导致某些自变量无法通过检验。检验步骤：第1步：提出假设。对于任意参数i (i 1,2 k)有iH。： i0i0第2步：计算检验的统计量tti t（n k 1）S?i第3步：做出统计决策。给定显着性水平 ，根据自由度=n-k-1查t分布表， 得t 2的值。若t t 2，则拒绝原假设；若t t 2，则不 拒绝原假设。多重共线性：产生原因：自变量之间的相关性；检验方法：方法一：检验模型中各对自变量之间是否显着相关， 若显着相关则暗示 存在多重共线性；方法二：当模型的线性关系检验（F检验）显着时，几乎所有回归系数i的t检验却不显着；方法三：当回归系数的正负号与预期的相反

6、时也预示着多重共线性的存 在；问题的处理：方法一：将一个或多个相关的自变量从模型中剔除， 使保留的自变量尽 可能不相关；方法二：如果要在模型中保留所有的自变量，那就应该：i避免根据t统计量对单个参数进行检验。ii对因变量y值得推断（估计或预测）限定在自变量样本值 的范围内。利用回归方程进行预测：利用给定的k个自变量，求出因变量y的平均值的预测区间和个别值的预测 区间。变量选择：原理：对统计量进行显着性检验，将一个或一个以上的自变量引入模型， 如 果增加一个自变量会使得残差平方和（SSE明显减少，则将该自变量留在模型 中，否则剔除。主要方法：1）向前选择2）向后剔除3）逐步回归本章例题?对于绝大

7、多数的钢种而言，磷是有害的元素之一，要求含磷越低越好，经过试验技术人员发现，高磷钢的效率与高磷钢的出钢量及高磷钢中的 FeO含量有 一定关系，所测数据如下表：试验序号出钢量（x1）压含量（X2）效率（y）123456789 J101112132Z设高磷钢的效率为y、高磷钢的出钢量为Xl、高磷钢中的FeO含量为X2用Excel进行回归，回答下面的问题：（1）写出估计的回归方程。（2）在高磷钢的效率的总变差中，被估计的回归方程所解释的比例是多少（3）检验回归方程的线性关系是否显着（0.05 ）。（4）检验各回归系数是否显着（0.05 ）。（5）检验所建立的回归方程是否存在多重共线性。 解：用 Ex

8、cel进行回归分析输出如下所示：回归统计Multiple RR Square Adjusted R Square 标准误差观测值13方差分析dfSSMSFSign ifica nee F回归分析2残差10总计12Coefficie nts标准误差P-valueLower95%Upper95%下限%上限%In tercept出钢量FeO含量（1）由此可得到高磷钢的效率与高磷钢的出钢量及高磷钢中的FeO含量的回归方程：y 75.14378 0.215485刘 0.84321%2其中回归系数10.215485表示，在FeO含量不变时，高磷钢的效率每增加一个单位，高磷钢的出钢量将增加个单位0.8432

9、1表示，在高磷钢的出钢量不变时，高磷钢的效率每增加一个单位，FeC含量要降低个单位（2）在回归统计2栏中有R =，所以在高磷钢的效率的总变差中，被估计的回归方程所解释的比例是%（3） 在方差分析一栏中有 Significanee F （即P值）=，在0.05的显着性水 平下，有P ,故拒绝原假设，说明高磷钢的效率与高磷钢的出钢量和高磷钢中的FeO含量之间存在显着性的线性关系。（4）由回归分析输出的结果中的 P-value （即P值）一栏可以看出，只有出钢 量对应的回归系数通过了检验。(5)说明在影响高磷钢的效率的两个变量中， 只有出钢量的影响是显着的，而高 磷钢中的FeO含量则对高磷钢的效率没有显着性影响。出钢量FeC含量出钢量1FeO含 量1岀钢量、FeO含量