回归模型-华东理工大学数学建模.ppt

2019/11/21东华理工学院数信学院信息技术系,数学建模,第七章回归模型,7.1回归分析7.2一元线性回归模型及其参数估计7.3多元线性回归7.4非线性回归7.5预测区间,2019/11/21东华理工学院数信学院信息技术系,数学建模,在客观现实世界中，事物的发展变化往往受到其他因素的影响，即是由其他事物的发展变化所造成的，事物之间的这种关系称为因果关系。因果关系可分为两类:,回归分析,确定性关系,确定性关系,因果关系,2019/11/21东华理工学院数信学院信息技术系,数学建模,所谓确定性关系是指在相互联系的变量中，某一个变量的值可由其余变量的值精确求出，变量之间的这种关系称为确定性关系即函数关系。如，一个地区某产品销售率q与该产品实际销售量与该地区人数之间有如下关系：q/。所以，q、之间的关系属确定性关系。,2019/11/21东华理工学院数信学院信息技术系,数学建模,非确定性关系：变量之间虽然存在一定的联系，但其中一个变量的值却不能由其余变量的值精确地求出。其原因是它们之间的这种联系，由于受到随机因素的影响而并非一成不变，呈现出不确定性。它们之间的关系不能用精确的数学表达式来表达。通常只能将有关变量的实验数据，用数理统计方法找到它们之间的关系。变量之间的这种非确定性关系称为相关关系或回归关系。如，汽车配件销售额与车拥有量之间的关系；货币流通量与社会商品零售总额、工农业总产值、货币流通速度等变量间的关系，均属于相关关系。,2019/11/21东华理工学院数信学院信息技术系,数学建模,在对经济问题的研究中，不仅要分析该问题的基本性质，也需要对经济变量之间的数量关系进行具体分析。常用的分析方法有回归分析、相关分析、方差分析等方法。这些方法中应用最广泛的是回归分析。回归分析就是应用数理统计方法，对变量的大量实验统计数据进行分析处理，找到变量之间的联系方式并进行预测分析的方法。它是经济预测中一种重要的、应用广泛的预测方法。在回归分析中，常常把预测变量称为因变量，而把影响预测变量的因素称为自变量。,2019/11/21东华理工学院数信学院信息技术系,数学建模,回归分析的步骤为：（1）根据自变量和因变量的一组实验数据，确定自变量和因变量之间的数学关系式（称为实验公式或回归方程）。（2）对回归方程中的参数进行估计和统计检验，分析影响因素（自变量）与预测目标（因变量）之间关系强弱和影响程度。（3）利用回归方程，预测因变量的值，并分析研究预测结果的误差范围和精度。回归分析分为线性回归和非性回归。而线性回归又可分为一元线性回归和多元线性回归。,（,2019/11/21东华理工学院数信学院信息技术系,数学建模,设x为自变量,y为因变量，y与x之间满足如下线性关系：.(1)其中为随机变量。若为n次独立实验的观察值，则.(2),“一元线性回归模型”及其参数估计,2019/11/21东华理工学院数信学院信息技术系,数学建模,称(2)为一元线性回归模型.“一元”是指只有一个自变量X,这个自变量X是引起因变量Y变化的部分原因.“线性”它一方面指因变量Y与自变量X之间为线性关系,即另一方面也指因变量Y与参数a,b之间为线性关系,即,2019/11/21东华理工学院数信学院信息技术系,数学建模,模型假设条件,(1)误差项的数学期望(均值)为零.即(2)不同的误差项和之间互相独立.即(3)误差项的方差与n无关,为一常数.即,2019/11/21东华理工学院数信学院信息技术系,数学建模,(4)自变量与误差项不相关.即(5)为服从正态分布的随机变量.即,2019/11/21东华理工学院数信学院信息技术系,数学建模,综上所述,一元线性回归模型可以归结为,2019/11/21东华理工学院数信学院信息技术系,数学建模,模型的参数最小二乘估计,问题：设x与y之间的线性关系为（）式，如何由一组统计值（xi,yi）,i=1,2n.来建立起y与x之间的线性统计模型（线性回归方程）。如何确定参数，使直线尽可能靠近所有的点（xi,yi）。即如何去寻找拟合散布点的直线？拟合一条直线的准则是什么？,2019/11/21东华理工学院数信学院信息技术系,数学建模,拟合直线的的准则,直线外一点到直线上的点的距离有三种特殊情况：.点到直线的垂直距离；.点到直线的垂直坐标距离；.点到直线的水平坐标距离；,2019/11/21东华理工学院数信学院信息技术系,数学建模,准则：,.使达到最小值；.使达到最小值；.使达到最小值；.使达到最小值；,最小二乘准则,2019/11/21东华理工学院数信学院信息技术系,数学建模,最小二乘准则寻找拟合直线,假设分别为模型参数a,b的估计值。拟合直线为其中，为的估计值。它可按如下方法求得，。由令则可将ei残差看成随机误差项的估计值。令Q：残差平方和.则最小二乘准则就是求的最小值。,残差,2019/11/21东华理工学院数信学院信息技术系,数学建模,为使达到最小，令,2019/11/21东华理工学院数信学院信息技术系,数学建模,解之得：,2019/11/21东华理工学院数信学院信息技术系,数学建模,其中,2019/11/21东华理工学院数信学院信息技术系,数学建模,例：某市自行车配件销售额y（万元）与自行车保有量x（万辆）历年统计数据如下所示，运用一元线性回归方法，建立自行车配件销售额与自行车保有量之间的回归模型。若该市自行车保有量近几年按每年8%递增，试预测该市1993年及1994年自行车配件销售额。,2019/11/21东华理工学院数信学院信息技术系,数学建模,2019/11/21东华理工学院数信学院信息技术系,数学建模,解：样本个数n=13,由表中数据经计算可得：,2019/11/21东华理工学院数信学院信息技术系,数学建模,代入（）式得，=3.7955,=3.9403.所以回归预测方程为=3.9403+3.9755x(4)由给方程即可对1993年、1994年的自行车配件销售额进行预测，由题意可知，近几年自行车保有量每年递增8，所以1993年、1994年该市自行车保有量分别为：26.611.0828.7388（万辆）26.611.08*1.0831.09379（万辆）,2019/11/21东华理工学院数信学院信息技术系,数学建模,将上述数据代入（4）式，得1993年、1994年该市自行车配件销售额的预测值分别为：=3.9403+3.795528.7388=113.0184(万元)=3.9403+3.795531.0379=121.7446(万元)值得注意，在求得回归模型参数的估计值后还应该分析研究模型参数的估计值是否与实际经济现象相吻合。例如b的符号及大小是否与所讨论的经济问题相符。若所研究的是某机械产品配件销售额y与该机械保有量x之间的关系，,2019/11/21东华理工学院数信学院信息技术系,数学建模,在一般情况下，保有量增加则其配件销售额增加，而保有量减少其配件销售额也将减少，所以这时回归模型的参数b应为正，若b0，则意味着保有量增加（减少）而其配件销售额却反而减少（或增加），这与一般正常规律相矛盾。又如在某产品的需求量y对该产品的价格x的回归模型中，在一般情况下，价格上升则需求下降，而价格下降则需求上升，所以回归参数b1,则说明b的大小与实际情况或经济规律不相符。凡是出现上述类似情况，所得回归模型都是不适用的，必须检查其产生的原因，重新建模。,2019/11/21东华理工学院数信学院信息技术系,数学建模,由回归方程求得的预测值是y的回归估计值，称为点估计。但在实际问题中，不但需要求出y的预测估计值，更重要的是需要知道y的实际值与预测值之间的误差有多大，即需要知道y的实际值偏离预测值的范围。为此只要能估计出y的实际值可能的取值范围及其可靠程度即可。该范围一般用区间表示，称为预测区间。对预测区间估计过程称为区间估计。其方法是由一组统计数据（xi,yi）(i=1,2n)确定一个区间（），对于给定的值a（0令Y=Ln(y-k),A=Lna,B=b,则上述模型转化为：Y=A+Bx+:线性回归模型（3）y=,(a,b为参数，为随机误差项)=Lny=Lna+b/x+=Y=Lny,X=1/x,A=Lna,B=b=Y=A+Bx+:线性回归模型3、双曲线函数模型1/y=a+b/x+,(a,b为模型参数，为随机误差项),2019/11/21东华理工学院数信学院信息技术系,数学建模,令Y=1/y,X=1/x,=上述模型转化为Y=a+bX+:线性回归模型4、对数函数模型：y=a+bLnx+,(a,b为模型参数，为随机误差项)令x=Lnx=y=a+bX+:线性回归模型。5、多项式函数模型y=a，式中为模型参数，为随机误差项，令x1=x,则,（,2019/11/21东华理工学院数信学院信息技术系,数学建模,y=:多元线性回归模型以上非线性回归模型，经过适当的变量替换，均可转化为线性回归模