多元线性回归模型

1、第三章是多元线性回归模型，主要内容是，多元线性回归模型的一般形式参数估计(OLS估计)假设检验预测，首先，多元线性回归模型的问题是以解析形式矩阵形式提出的，并且提出了问题。现实生活中导致解释变量变化的因素不仅仅是一个解释变量，还可能有许多解释变量。例如，产出往往受到资本、劳动力和技术等各种投入因素的影响；销售经常受到价格和公司广告费投资的影响。因此，本文在单变量线性模型的基础上，提出了多元线性模型中解释变量个数为2的假设，解释变量Xi是确定性变量，而不是随机变量；解释变量之间不相关，即不存在多重共线性。随机误差项具有零均值，零差随机误差项不具有序列相关性。随机误差项和解释变量之间的不相关随机误

2、差项服从零均值零差正态分布。多元模型的解析表达式，多元模型的矩阵表达式，矩阵形式，2。参数估计(OLS)，参数值估计，参数估计的性质，偏回归系数的意义，正态方程的样本量，1。参数值估计(OLS)，得到以下方程，求参数估计值的实质是求一个k-1元方程，正规方程，它变成矩阵形式，正规方程，矩阵形式，矩阵表示的最小二乘法，2.1最小二乘估计量的性质， (1)线性(估计量都是解释变量的观测值的线性组合)(2)无偏性(估计量的数学期望=估计量的真值)(3)有效性(估计量的方差是所有线性无偏估计量中最小的)，OLS估计量的性质(续)，线性，无偏性，有效性，2.2回归线的性质，以及精确同一性的情况如果参数的

3、数目是k，实际上有k-1个解释变量。 简而言之，两者之间的差别只有1！小心K的意思！因此，如果它最初由解释变量数量的k表示，并且要被转换成参数数量的k，那么用k-1替换原来的k是可以的！3。偏回归系数的含义，多元回归模型中的回归系数称为偏回归系数。回归系数在解释变量之前的含义是，在其他解释变量保持不变的情况下，变量将改变一个单位，被解释变量将平均改变偏回归系数的大小。4.正规方程是用最小二乘法估计回归系数得到的线性方程组，称为正规方程，正规方程的结构，Y解释变量观测值n1解释变量观测值(包括虚拟变量n1(k 1)XX设计矩阵(实对称(k 1) x (k 1)矩阵)XY正规方程右侧n1回归系数矩

4、阵(k 1) x 1)高斯乘子矩阵，设计矩阵的逆残差向量(n1)是解释变量n1的拟合(预测)向量。5.多元回归模型参数估计中的样本量是一个重要的实际问题，模型依赖于实际样本。获取样本需要成本，并试图通过确定样本大小来降低收集数据的难度。最小样本量：样本量满足基本要求，最小样本量nk 1，(XX)-1存在| XX | 0 XX是k 1阶的满秩矩阵R(AB) min(R(A)，R(B)R(X)k 1。因此，NK 1必须满足样本量的基本要求。一般经验是：n 30或n 3当n 3(k 1)时，t分布稳定，检验更有效。第三部分是多元线性回归模型的检验。本节主要介绍：3.1拟合优度检验(判断系数及其修正)

5、、3.2回归参数的显著性检验(T检验)、3.3回归方程的显著性检验(F检验)、3.4拟合优度、T检验和F检验的关系、3.1。与酉情形类似，多元线性回归分解如下：(1)上述自由度分解的解释；(3.1.2)判断系数，判断系数的定义：含义：判断系数越大，自变量对因变量的解释程度越高，因自变量引起的变化占总变化的百分比越高。密集的观测点靠近回归线。取值范围：0-1，3.1.3修正判断系数，为什么要修正？判断系数随着解释变量的数量而增加。这很容易造成错觉：模型拟合得越好，就应该增加更多的解释变量。然而，增加解释变量将降低自由度和可用样本的数量。有时没有必要添加解释变量。很难用不同数量的解释变量来比较模型

6、。判断系数只涉及平方和，不考虑自由度。校正思想：引入自由度校正计算的平方和。3.2回归参数的显著性检验，具体的t检验过程如下，3.3回归方程的显著性检验(f检验)，回归系数的t检验，检验每个解释变量Xj是否单独对应变量Y；我们还需要测试：如果所有的解释变量都组合在一起，相应的变量Y是否有意义？这是下面要进行的f检验。3.3.1方差分析表，它以下表的形式列出了平方和，自由度和方差，3.3.2 F检验(单边检验)，3.4各种检验之间的关系，3.4.1经济显著性检验和其他检验之间的关系：要判断一个回归模型是否正确，首先要看该模型是否具有合理的经济显著性，然后进行统计检验。3.4.2拟合优度与f检验的

7、关系：(1)回归方程的显著性检验；(2)分解平方和，形成用于测试的统计量；(3)两者随一致性而增减。拟合优度与f检验的关系(续)，差异如下：(1)f检验中使用的统计量有准确的分布，但拟合优度检验没有；(2)判断系数(修正判断系数)只能模糊猜测其是否通过测试；f检验可以在给定的显著水平上给出统计上严格的结论；3.4.2在一元论的情况下，f检验和T检验之间的关系是一致和等价的。对单个解释变量的显著性进行t检验，同时也检验解释变量的总体显著性(f检验)；并且可以证明上述关系在Ft2多元中不存在(因此在一元的情况下只需要一次检验)。回归模型假设检验步骤，检验拟合优度，进行f检验，判断回归方程是否整体成立。如果F测试失败，就没有必要进行下一步；否则，下一步是检查每个变量的t值及其对应的概率，并进行t检验。如果相应的概率小于给定的显著水平，自变量的系数显然不是0，自变量对因变量有显著影响；否则，