数学建模-线性回归分析.pptx

线性回归分析,2019/11/5,zhaoswallow,2,一、引言,2004年全国数模竞赛的B题 “电力市场的 输电阻塞管理” 第一个问题： 某电网有8台发电机组，6条主要线路，表 1和表2中的方案0给出了各机组的当前出力和 各线路上对应的有功潮流值，方案132给出了 围绕方案0的一些实验数据，试用这些数据确 定各线路上有功潮流关于各发电机组出力的近 似表达式。,2019/11/5,zhaoswallow,3,表1 各机组出力方案 （单位：兆瓦，记作MW）,2019/11/5,zhaoswallow,4,2019/11/5,zhaoswallow,5,表2 各线路的潮流值（各方案与表1相对应，单位：MW）,2019/11/5,zhaoswallow,6,2019/11/5,zhaoswallow,7,仔细分析题目，可以发现，该问题就是要找 出各线路上有功潮流与8台发电机出力的函数关 系，这在数学上是一个函数拟合问题。 对函数拟合，可以采用线性函数，也可以采 用非线性函数，比如多项式函数，三角函数，指 数函数等等。在给出具体问题的具体数据时，首 先想到的还是最简单的方法下手，采用最简单的 函数去拟合，也就是线性函数来表达。,1、模型的分析,2019/11/5,zhaoswallow,8,由电网的拓扑结构，线路上的有功潮流由机 组出力决定。又根据功率的叠加原理，各线路 上有功潮流应为各发电机组出力的线性组合， 考虑对所有实验数据采用最小二乘法进行线性 拟合，从而得到各线路有功潮流关于各发电机 组出力的近似表达式。,2019/11/5,zhaoswallow,9,2、模型的建立与求解,2019/11/5,zhaoswallow,10,根据表1和表2围绕方案0的1-32组实验数 据，可以列出关于未知数的32个方程的方程 组，利用SAS或Matlab编程求解方程组，得,2019/11/5,zhaoswallow,11,还需要根据样本值运用假设检验来判断， 以确定求得的回归方程是否有价值。,在许多国际国内数学建模竞赛中，都有可能用到回归分析。因此，我们介绍线性回归分析的基本原理，对模型好坏的评价指标，可线性化的回归分析，利用统计软件的实现等具体问题。,2019/11/5,zhaoswallow,12,二、回归分析方法,回归分析是研究一个或一组变量（因变量，结果）与另一些变量（自变量或回归变量，原因）之间的依存关系。 在回归模型中，若变量之间的关系是线性关系，称为线性回归模型，否则，称为非线性回归模型。 当自变量只有一个，称为一元线性回归， 如果自变量有多个，称为多元线性回归。,2019/11/5,zhaoswallow,13,1、一元线性回归,一元线性回归模型为,满足,2019/11/5,zhaoswallow,14,一元线性回归,2019/11/5,zhaoswallow,15,则,令,正规方程组,一元线性回归,2019/11/5,zhaoswallow,16,整理得,一元线性回归,2019/11/5,zhaoswallow,17,其中，,参数的最小二乘估计,一元线性回归,2019/11/5,zhaoswallow,18,称作y关于x的一元经验回归方程。,一元线性回归,2019/11/5,zhaoswallow,19,一元线性回归,2019/11/5,zhaoswallow,20,一元线性回归,2019/11/5,zhaoswallow,21,2、多元线性回归,模型为：,2019/11/5,zhaoswallow,22,多元线性回归,2019/11/5,zhaoswallow,23,令,多元线性回归,注意：矩阵X的第一列全是1.,2019/11/5,zhaoswallow,24,则（6）可用矩阵表达为,多元线性回归,2019/11/5,zhaoswallow,25,对应正规方程组为,在X不是列满秩时，其解虽然不唯一，但对任意一组解都使得残差平方和最小。,多元线性回归,2019/11/5,zhaoswallow,26,多元线性回归,关于多重共线性的知识请参阅韩中庚数学建模方法及其应用。,2019/11/5,zhaoswallow,27,当 p=1 时，多元线性回归就变成一元线性回归分析了，这时参数的求解和误差的方差的无偏估计与一元得到的结论是一样的，类似地也有经验回归平面方程。,多元线性回归,2019/11/5,zhaoswallow,28,3、回归模型的假设检验,在许多实际问题中，我们事先并不能断定因变量与自变量之间是否确有线性关系，而前面建立的因变量与多个自变量间的线性关系只是一种假设，尽管这种假设常常不是没有根据的。这就意味，所求得的经验回归方程是否有实用价值，需要经过假设检验才能确定。,2019/11/5,zhaoswallow,29,主要从以下几个方面进行检验：,a、 回归方程的检验；,b、 回归系数的检验；,c、 回归好坏程度的度量。,2019/11/5,zhaoswallow,30,a、回归方程的检验,是否全为零。若全为零，则认为线性回归不 显著，否则认为线性回归显著。为此，在上 述模型中作假设,要检验（6）的变量间有没有这种线性关系， 只要检验p个系数,2019/11/5,zhaoswallow,31,考虑总偏差平方和，利用正规方程组，有,为了构造检验统计量，记,经验回归方程,回归方程的检验,2019/11/5,zhaoswallow,32,回归方程的检验,2019/11/5,zhaoswallow,33,它是由自变量X的取值变化且通过线性回归模型对y的影响所构成的误差平方和。,它是由随机误差和其他未加控制的因素所引起的误差平方和。,回归方程的检验,2019/11/5,zhaoswallow,34,回归方程的检验,2019/11/5,zhaoswallow,35,构造检验统计量为,回归方程的检验,2019/11/5,zhaoswallow,36,相应的检验法则为：,回归方程的检验,2019/11/5,zhaoswallow,37,不全为零，但这并不意味着每个自变量,可能会起重要作用，而有的可能起的作用不大 或者不起作用。,因此，在通过前面的线性回归模型的检验，,回归方程的检验,2019/11/5,zhaoswallow,38,还有必要从线性回归模型中剔除那些次要的、,可有可无的自变量，只保留那些起重要作用的,自变量，以从新建立更为简练的线性回归模型，,使之有利于实际应用。,回归方程的检验,2019/11/5,zhaoswallow,39,b、回归系数的检验,检验假设,2019/11/5,zhaoswallow,40,下面的任务是选取检验统计量。,由（7）,所以，,回归系数的检验,2019/11/5,zhaoswallow,41,则可以证明,注意：矩阵C的下标都是从0开始的！,回归系数的检验,2019/11/5,zhaoswallow,42,回归系数的检验,2019/11/5,zhaoswallow,43,如果回归方程的检验结果是显著的，而且各个回归系数的检验结果都为显著时，说明各个自变量对因变量的单纯影响都是显著的。 若有回归系数经显著性检验为不显著时，说明其对应的自变量在回归方程中是不重要的，此时应该剔除。,回归系数的检验,2019/11/5,zhaoswallow,44,在对变量进行剔除时，需要注意：,1）一次只能剔除一个不显著的回归系数对应 的自变量，而且被剔除的自变量，应该是所 有不显著的回归系数中的t值最小者。 2）重新进行少一个自变量的多元线性回归分析。,回归系数的检验,2019/11/5,zhaoswallow,45,前面说的是剔除变量，也会有变量因素考虑不周的情况，这时应该考虑引入新的变量，那么如何引入新的变量？,对于模型的选择，目前普遍采用的是逐步回归法。也即，每引入一个变量，要进行逐个检验，将不显著的变量剔除。,详细情况请参阅韩中庚数学建模方法及其应用第九章。,回归系数的检验,2019/11/5,zhaoswallow,46,c、复相关系数,对一个回归方程来说，即使回归显著，但还 涉及到回归好坏程度的度量。对于一个因变量 和一组自变量之间相关程度，则要采用的复相关 系数来度量。 研究一个变量与多个变量的线性相关称为复 相关分析。,2019/11/5,zhaoswallow,47,复相关系数定义为,复相关系数,2019/11/5,zhaoswallow,48,但是复相关系数也有一些缺点。当采用的自变量,自变量的引入可能是多余的。,为了更准确地反映参数个数的影响，采用调整的,复相关系数,2019/11/5,zhaoswallow,49,4、预测,如果经检验，认为线性回归方程是可信的，而且拟合的又好，那么接下来就要用它进行预测。,时对y做区间估计，即以一定的置信度预测,y的观察值的取值范围，也即y的预测区间。,2019/11/5,zhaoswallow,50,预测,2019/11/5,zhaoswallow,51,因而,其中,此时,预测,2019/11/5,zhaoswallow,52,预测,2019/11/5,zhaoswallow,53,预测,2019/11/5,zhaoswallow,54,三、可线性化的一元非线性回归模型,上面主要讲的是线性回归，而对于一元回归，非线性回归的情形也是很常见的，对这些问题做回归就是曲线回归。 配置曲线回归的一个基本方法是通过适当的变量代换把非线性回归化为线性回归。具体如下：先画出观察值的散点图，通过与常见的函数曲线对比，经验的选择曲线类型。 常见的是下面六类曲线：,2019/11/5,zhaoswallow,55,（1）双曲线,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,56,（2）幂函数曲线,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,57,（3）指数曲线：,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,58,（4）倒指数曲线：,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,59,（5）对数曲线：,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,60,（6）S型曲线：,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,61,设有模型,线性回归模型：,实验数据按上面的变量代换算出,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,62,再按前面的线性回归公式计算参数估计，得,当y与x适合模型,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,63,其他几种曲线都可通过适当的变量代换转化为线性回归模型。这类回归模型就称为可线性化的一元非线性回归模型。,表面上看，该模型比上面的模型简单，然而它却无法化成线性回归，因为它是所谓本质上非线性的模型。,可线性化的一元非线性回归模型,值得注意的是，并非所有的曲线回归问题都可 线性化，例如,2019/11/5,zhaoswallow,64,多项式回归的处理方法和前面的曲线回归类似，通过变量转换化成多元线性回归来解决。,对于一元m次多项式回归，,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,65,因此可以用前面的方法解决多项式回归问题。二元多项式回归处理方法类似。,值得注意的是，随着自变量个数的增加,多元 多项式回归分析的计算量急剧增加。因此，在多项式回归中较为常用的是一元二次多项式回归和一元三次多项式回归。,可线性化的一元非线性回归模型,2019/11/5,zhaoswallow,66,四、软件应用,解决线性回归问题的常用软件有：Matlab，统计软件SPSS和SAS。SPSS的求解与SAS相同。这里介绍Matlab和SAS的求解方法。,2019/11/5,zhaoswallow,67,1、线性回归的matlab实现,回归分析的求解在Matlab中可用regress实现，其使用格式为：,其中y为列向量，表示因变量的取值； X为矩阵，代表自变量的取值；(注意：第一列全是1) alpha为置信水平，缺省时取0.05。,b,bint,r,rint,stats = regress(y,X,alpha),2019/11/5,zhaoswallow,68,当置信区间包含0时，说明该参数未通过T检验，可认为0。,r-残差向量，取值为Y-X*b。,rint-残差的置信度为1-alpha的置信区间。,stats-回归方程的统计量，stats(1)为复相关系数， stats(2)为F值， stats(3)为F值对应的概率值，stats(4)为误差方差的估计值。,线性回归的matlab实现,2019/11/5,zhaoswallow,69,对照前面所讲的参数意义，采用Matlab可方便求解该问题。第一个回归模型计算结果如下，其他类似。,第 1条线路回归方程参数: 系数， 置信下限， 置信上限 110.29651，109.37571，111.21731 0.08284， 0.08109， 0.08459 0.04828， 0.04432， 0.05224 0.05297， 0.05164， 0.05430 0.11993， 0.11684， 0.12303 -0.02544，-0.02737，-0.02351 0.12201， 0.11939， 0.12463 0.12158， 0.11855， 0.12461 -0.00123，-0.00335， 0.00090,线性回归的matlab实现,2019/11/5,zhaoswallow,70,统计量值R2=0.9995,F=5861.51944,p=0.00000 方案0的原始值，预测值，相对误差百分比: 164.7800 164.7120 0.0413 140.8700 140.8238 0.0328 -144.2500 -144.2051 0.0312 119.0900 119.0412 0.0410,线性回归的matlab实现,2019/11/5,zhaoswallow,71,2、SASv9求解过程,（1）启动SAS软件，鼠标点击Solutions- Analysis-Analyst，启动分析家。,2019/11/5,zhaoswallow,72,（2）在弹出的表中输入数据，结果如图4.2。其中1-32行为32组实验数据（方案0未选，后面将作为测试数据）。8台机组的出力为,（由于数据较多，可将数据拷贝到记事本或Excel中，然后由SAS直接读入更方便。）,SASv9求解过程,2019/11/5,zhaoswallow,73,SASv9求解过程,2019/11/5,zhaoswallow,74,（3）鼠标点击Statistics -Regression-Linea