多元回归分析的应用研究

目 录摘要： .1关键词： .1Abstract： .1Key words： .1引言 .21 一元线性回归的思想及其应用举例 .31.1 一元线性回归模型 .41.2 一元线性回归模型的检验 .51.3 一元线性回归模型举例 .62 多元线性回归模型的思想及其应用举例 .92.1 多元线性回归的数学模型 .92.2 多元线性回归模型的检验 .102.3 多元线性回归模型应用举例 .112.3.1 研究问题的提出 .112.3.2 数据采集与多元回归分析 .112.3.3 EXCEL 作回归分析确定待定系数的值 .122.3.4 总结 .133 前进法、后退法、逐步回归法思想及其举例 .143.1 前进法 .143.1.1 前进法回归分析的应用 .153.1.1.1 回归方程 .153.1.1.2 回归方程及系数检验 .153.2 后退法 .153.2.1 后退法回归分析的应用 .163.2.1.1 回归方程 .163.2.1.2 回归方程及系数的检验 .163.3 逐步回归法 .163.3.1 逐步回归分析的应用 .173.3.2 研究结果比较 .18致谢 .18参考文献 .19附录 .20多元回归分析的应用研究摘要:回归分析方法是多元统计分析的各方法中应用最广泛的一种，也是数理统计中最成熟最常用的方法，主要是研究变量间的相互依赖关系。首先，本文通过建立一元线性回归模型，阐述了一元线性回归模型的基本统计思想以及它在实际问题研究中的应用原理。然后，推广建立了多元线性回归，运用 SPSS 等统计软件建立了由熟料化学成分分析结果预测抗压强度的模型，来指导水泥生产配比的调整，其更好的论证了多元线性回归，最优d28回归模型的检验、评价及预测。最后，通过前进法、后退法、逐步回归法，阐述了各个方法的思想以及步骤，论证了在多元回归方法中，并不是所有的自变量都对因变量有显著影响这一思想，举例说明了各方法的优缺点，保证所有子集为最优回归子集。同时我们也看出线性回归模型在解决这类经济增长、预测问题上有很好的效果，其作用具有很好的参考价值。关键词：一元线性回归；多元线性回归；前进法；后退法；逐步回归Multiple Regression Analysis of Applied ResearchAbstract:Regression analysis method is the most widely used in various methods of multivariate statistical analysis of a, is also the most mature and most commonly used method in mathematical statistics, mainly is the study of mutually dependent relationship between variables. First of all, through the establishment of a yuan linear regression model, this paper expounds the basic statistical idea of a yuan linear regression model and its application in the actual problem research principle.Then, established the multivariate linear regression, using the statistical software of SPSS was established by the clinker chemical composition analysis result prediction model of compressive strength, to guide the adjustment of the ratio of cement production, its better demonstrates the multiple linear regression, the optimal regression model of inspection, evaluation and prediction.Finally, through the former entered, regressive method, stepwise regression method, this paper expounds the different methods of thought and steps, demonstrated in multivariate regression method, and not all the independent variables on the dependent variable has a significant impact on the ideas, the advantages and disadvantages of each method is illustrated by an example, ensuring that all subsets of the optimal subset regression.At the same time we also see that the linear regression model to deal with the problem of this kind of economic growth, forecast has very good effect, its action has the very good reference value.Key words：A yuan linear regression;Multiple linear regression;Before the law;Back method;Stepwise regression method引言回归分析是对客观事物数量依存关系的分析，是一种重要的统计分析方法，广泛地应用于各类社会现象变量之间的影响因素和关联的研究。由于客观事物的联系错综复杂，很多现象的变化往往受到两个或多个因素的影响。为了全面揭示这种复杂的依存关系，准确的测定现象之间的数量变动，提高预测和控制的准确度，就要建立多元回归模型进入深入、系统的分析。多元回归分析是研究多个自变量与某个应变量之间相关关系的一种常用统计方法。一般地，我们有定义 1.1p210y称为多元线性回归模型，其中 是未知参数。 是D；，p10,.个未知参数， 称为回归参数， 称为回归系数， 称为被解释变量，1p0p10,. y是 个可以精确测量并控制的一般变量，称为解释变量（自变量） ，为了区别，p2,称(1.1)为理论回归模型。在回归模型中，因变量 和自变量 都是一维的，称它为一元回yx归模型；若 是多维， 也是多维，则称它为多重回归模型。xy多元回归分析，是经济预测中常用的一种方法，通过建立经济变量与解释变量之间的数学模型，对建立的数学模型进行 检验，在符合判定条件的情况下把给定的解释tFR、变量的数值代入回归模型，从而计算出经济变量的未来值即预测值。对于回归模型中的解释变量，有两种处理方法：一种当作确定性变量处理，另一种当作随机变量处理，所得计算公式式相同。其一般步骤是：首先取得解释变量和响应变量的多次观测值，这些观测值可能是实验得到的，也可能是调查出的；然后根据这些数据确定经验公式的类型，建立数学模型，列出待估参数；再用这些数据进行拟合；最后作统计分析。数据拟合是计算方法的内容，它也能解决回归分析中的数据拟合，但回归分析与计算方法的数据拟合不同，计算方法的数据拟合只估计未知参数，而回归分析不仅仅估计参数，而且要对拟合的结果作统计分析。就回归分析的发展而言，它自身的完善和发展至今是统计学家研究的热点课题。例如自变量的选择、稳健回归、回归诊断、投影寻踪、分位回归、非参数回归等模型仍有大量研究文献出现。在回归模型中，当自变量代表时间、因变量不独立并且构成平稳序列时，这种回归模型的研究就是统计学中的另一个重要分支时间序列分析。 它提供了一系列1动态数据的处理方法，帮助人们科学的研究分析所获得的动态数据，从而建立描述动态数据的统计模型，以达到预测、控制的目的。对于满足基本假设的回归模型，它的理论已经成熟，但对于违背基本假设的回归模型的参数估计问题近些年仍有较多研究。在实际问题的研究应用中，人们发现经典的最小二乘估计的结果并不总是令人满意，统计学家从多方面进行努力试图克服经典方法的不足。例如，为了克服设计矩阵的病态性，提出了以岭估计为代表的多种有偏估计。斯泰因（Stein）于 1955 年证明了当维数 P 大于 2 时，正态均值向量最小二乘估计的不可容性，既能够找到另一个估计在某种意义上一直优于最小二乘估计，从此之后人们提出许多新的估计，其中主要有岭估计、压缩估计、主成分估计、Stein 估计，以及特征根估计。为了解决自变量个数较多的大型回归模型的自变量的选择问题，人们提出了许多关于回归自变量选择的准则和算法；为了克服最小二乘估计对异常值的敏感性，人们提出了各种稳健回归；为了研究模型假设条件的合理性及样本数据对统计推断影响的大小，产生了回归诊断；为了研究回归模型中未知参数非线性的问题，人们提出了许多非线性回归方法，这其中有利用数学规划理论提出的非线性参数估计方法、样条回归方法、微分几何方法等；为了分析和处理高维数据，特别是高维非正态数据，产生了投影寻踪回归、切片回归等。近年来，新的研究方法不断出现，如非参数统计、自助法、刀切法、经验贝叶斯估计等方法都对回归分析起着渗透和促进作用。就回归分析的应用而言，多元回归方法因其实用性及有效性，在现今社会越来越多的领域得到广泛应用。早些时候，苑玉风 应用多元回归分析和逐步回归分析，研究某种汽1车发动机用球墨铸铁活塞环球化率的影响因素，并建立了相关关系。李金海 在多元回归12数学模型基础上，提出了多元回归方法的应用步骤。另外这一方法也被广泛的应用于预报各种气象参数，牛桂萍，黄祖英 用多元回归分析做暴雨的长期预报，虽然误差较大，但13他们同时指出有待于因子本身作进一步的改进。此外，多元回归分析方法也被越来越多的应用于预报各种自然灾害，王震宇 等将这一方法用于滑坡预报，并用实例证明了能在一4定程度上解决滑坡的预报问题。袁宇 运用多元回归分析法，建立了化学污染面积，纵身15与诸条件的关系，快速估算预测出突出性化学污染危害，并提前做出防范措施。索南仁欠也提出了水质污染的多元回归分析方法，这一方法的建立有助于我们更好地直观了解水16质的最显著污染因素及在具体治污过程中，更有针对性地实施合理治污方案。对于太湖大面积的蓝藻事件，如果我们也应用这一方法，提前预测并做好防范工作，那污染所带来的危害及经济损失一定会有所减少。由此看来，回归模型技术随着它自身的不断完善和发展以及应用领域的不断扩大，必将在统计学中占有更重要的位置，也必将为人类社会的发展起着它独到的作用。1 一元线性回归的思想及其应用举例一元线性回归是描述两个变量之间统计关系的最简单的回归模型。一元线性回归虽然简单，但通过一元线性回归模型的建立过程，我们可以了解回归分析方法的基本统计思想以及它在实际问题研究中的应用原理。 1在实际问题的研究中，经常需要研究某一现象与影响它的某一最主要因素的关系。如影响粮食产量的因素非常多，但在众多的因素中，施肥量是一个最主要的因素，我们往往需要研究施肥量这一因素与粮食产量之间的关系；在消费问题的研究中，影响消费的因素很多，但我们可以之研究国民收入与消费额之间的关系，因为国民收入是影响消费的最主要因素；保险公司在研究火灾损失的规律时，把火灾发生地与最近的消防站距离作为一个最主要的因素，研究火灾损失与火灾发生地和最近的消防站距离之间的关系。上述几个例子都是研究两个变量之间的关系，它们的一个共同点是：两个变量之间有着密切的关系，但它们之间密切的程度并不能有一个变量唯一确定另一个变量，即它们之间的关系是一种非确定性的关系。那么它们之间到底有什么样的关系呢？下面将举例说明。用下表 1-1 数据做出销售额数据与广告额数据之间的散点图，并对其做一元回归分析。表 1-1 产品销售额与广告额数据广告额（万元） 产品销售额（万元） 广告额（万元） 产品销售额（万元）4894 6809 5511 77844703 6465 6107 87244748 6569 5052 69925844 8266 4985 68225192 7257 5576 79495086 7064 6647 9650运用 EXCEL。得出销售额与广告额之间的散点图如下图 1-1 所示：销 售 额 与 广 告 额 的 散 点 图y = 1.6324x - 1223.9R2 = 0.99790200040006000800010000120000 1000 2000 3000 4000 5000 6000 7000x广 告 额 （ 万 元 ）y销售额（万元）图 1-1 销售额与广告额的散点图由图 1 所示的趋势线和回归方程和拟合的 R 平方值得到销售额与广告额之间的一元回归直线方程为：1.6324.9yx1拟合度为 ，其拟合度非常高，拟合效果好，因此，该方程可以用于解释0.97R2销售额的变化和销售额的预测。如每增加 1 万元的广告额，销售额将会增加 1.6324 万元。1.1 一元线性回归模型通过以上例子我们看出它只考虑两个变量间的关系，即 与 间的线性关系可以看做xy是回归模型的特例，那么我们就可以定义一元线性回归模型的数学形式如下：01yx21称为变量 对 的一元线性理论回归模型。yx其中， 是未知参数， 称为回归常数， 称为回归系数， 称为被解释变量（因01,01y变量） ， 是 个可以精确测量并控制的一般变量，称为解释变量（自变量） ，p2是随机误差，且2,为了由样本数据得到回归参数 和 的理想估计值，使用普通最小二乘估计。01定义离差平方和为201,01ni iy31为寻找参数 的估计值 ，定义的离差平方和达到最小，则满足01,012, 1miniy41对其分别求偏导数，并令其为零，则有 010112niiiiiiy经整理其方程组得到 的最小二乘估计为01,012niiiyxy其中 得到其回归直线11,nniixy01yx1.2 一元线性回归模型的检验（1） 检验，其检验回归系数的显著性。原假设为t 01:对立假设是 构造统计量为 1:012txL 51其中， 是 的无偏估计， 当原假设成立时，其221niiy21nix统计量服从自由度为 的 分布，给定显著性水平 ，当 时接受 ，认为t t 2t0对 的一元线性回归不成立。yx（2） 检验。 ，根据平方和分解式F01:222111nnni i iiyyy61简写为 STRE构造统计量 其中 服从自由度为 的 分布，给定显著性水平，当2SE1RFnF1,2nF说明回归方程显著， 对 有显著的线性关系。,1xy1.3 一元线性回归模型举例某快餐店已经在全国建立了多家分店 。 其成功的重要经验之一就是:店要建在学校附近 。 在新建立一家分店之前 ， 管理层需要对这个新店的年销售额做出估计 ， 这一估计用于确定新建餐馆的规模 。 管理人员认为 ， 设在某校园附近餐馆的年销售额与该学校的人数有关 。 初步的看法是 ， 设在规模大、学生人数多的学校附近的餐馆的年销售额高于设在规模小、学生人数少的学校附件的餐馆的年销售额 。 为研究新餐馆的年销售额 随当地学生人y数 的变化规律，该快餐店收集了它的10个坐落在校园附近的销售分店的年销售额与其所x在地学生人数的数据，这些数据如表1-2 表1-2 10个分店的年销售额及分店驻地学生人数餐馆序号 i学生人数（1000人）ix 年销售额（1000人）iy1 2 582 6 1053 8 884 8 1185 12 1176 16 1377 20 1578 20 1699 22 14910 26 202图1-2 学生人数与餐馆年销售额关系散点图譬如，对第一个分店， ， 表示该店坐落在有2000名学生的一所学校附2ix58yi近，年销售额为5800元；第二分店附近的一所学校有6000名学生，它的销售额达105000元；余类推。以学生人数为横轴，年销售额为纵轴，将观察结果组成的数据对 iyx,在直角坐标系中描出相应的散点图。如图1-2，从图1-2可见，数据点大致10,.2i落在一条直线附近，这显示 这两个变量近似地就有线性关系。yx,设随机变量 与变量 之间存在某种线性相关关系，这里， 是可以控制的（或可以x观察的）变量，设210,0;x 71其中， 称为随机误差。未知参数 都不依赖于 ，式（1-1）称为一元线性回归模， x型。它描述了相依变量 （销售额）与一个独立变量 （学生人数）之间的线性关系。y按前述假设， （1-7）式等价于方程 ，该式表示当 已知时，可以精确y10x地算出数学期望 ，由于 表示不可控制的随机因素，通常就用 作为 的估计值， y由样本得到（1-7）式 的估计 则方程10， 10，xy81为 关于 的估计回归方程或回归方程，其图形称为回归直线，式中 表示 的估计。 yx y系数 采用最小二乘法计算，这里我们用 的多项式拟合命令实现，其程序见10， matlb附录 1 所示,得 0.5.610，因此，用最小二乘法求得的估计回归方程是： 605xy回归直线如图1-2所示，可以看到它与所有的数据点都很接近。如果有充足的理由相信这个方程真实地反映了 与 之间的关系。对于给定的 的值，x我们就能够预测出可以信赖的 的值，譬如，若一个新建的分店坐落在一所 16000名学生的y学校附近，那么有： 14065即，这家分店的年销售额会达到140000元。变量 与 之间线性关系是统计意义上的，因此必须要对这种线性关系作统计检验。xy假定 与 的回归具有 的形式。如果变量 与 之间确有这样的关系，xy10xy即变量 的值对 的值施加了影响，则 不会为零。 因此，应该检验假设，：，： 0110（1） 检验t经推导可知 ， 的估计 服从正态分布 ， 即 其中 而 得11 21，： nix122无偏估计为 残差平方和，可以得出 ，故，SEn,2530SE5.98302于是 中的估计量就是 ，故可使用 检验法对 进行检验，检