数学建模回归分析

回归分析理论及其应用,中北大学数学系,侯 强,数学建模暑期培训系列课程,内 容 提 纲,多重共线性及相关估计方法,回归模型的一般形式：变量x1， x2，. . ，xp与随机变量之间存在相关关系，即x1， x2，. . ，xp取定值后，y有相应的概率分析与之对应。概率模型一般表示为：,多元线性回归模型线性回归模型介绍,x1， x2，. . ，xp是解释变量，y是被解释变量， 是随机误差。,为多元线性回归模型。,回归方程,对于n组观测数据（xi1， xi2，. ， xip；yi），则回归模型可表示为：,令回归模型的矩阵形式 :,多元线性回归模型线性回归模型的矩阵形式,设计矩阵,解释变量x1， x2，. . ，xp是非随机变量，其观测值是常数；等方差且不相关的假定条件为：正态分布的假定条件： 相互独立；样本量的个数多于解释变量的个数(np)。,多元线性回归模型模型假设,参数估计、回归值和残差：,平方和分解式：,多元线性回归模型参数估计与残差,总离差平方和SST,回归平方和SSR,残差平方和SSE,2、t统计量,3、F统计量,多元线性回归模型检验统计量,1、拟合优度（复决定系数）,4、相关系数t检验,多元线性回归模型检验统计量,有助于丰富形式概念分析的理论基础和拓展形式概念分析的应用范围。,当p = 0 时就是规则网络, p = 1 则为随机网络, 对于0 p 1 的情况。,多元线性回归模型回归模型标准化,回归模型标准化,多元线性回归模型案例分析,1、数据收集,多元线性回归模型案例分析,多元线性回归模型案例分析,2、相关性分析,多元线性回归模型案例分析,多元线性回归模型案例分析,3、回归分析,多元线性回归模型案例分析,多元线性回归模型案例分析,多元线性回归模型案例分析,多元线性回归模型案例分析,多元线性回归模型案例分析,4、回归诊断,回归方程,复相关系数 ，复决定系数 ，回归方程高度显著,方差分析，F=1128.303，P值=0.000，表明回归方程高度显著,回归系数的显著检验,多元线性回归模型逐步回归,多元线性回归模型逐步回归,多元线性回归模型逐步回归,多元线性回归模型逐步回归,多元线性回归模型逐步回归,多元线性回归模型逐步回归,布病传播的风险因素以及评估方法,非线性回归模型简介,多重共线性及相关估计方法,内 容 提 纲,有助于丰富形式概念分析的理论基础和拓展形式概念分析的应用范围。,异方差性：,违背基本假设的处理方法违背假设的情况,自相关性：,违背基本假设的处理方法异方差性检验,残差图法,违背基本假设的处理方法异方差性检验,等级相关系数法,等级相关系数,检验统计量,违背基本假设的处理方法异方差性检验,等级相关系数法,有助于丰富形式概念分析的理论基础和拓展形式概念分析的应用范围。,违背基本假设的处理方法异方差性检验,违背基本假设的处理方法异方差性检验,违背基本假设的处理方法异方差性检验,违背基本假设的处理方法异方差性检验,违背基本假设的处理方法异方差性处理,违背基本假设的处理方法异方差性处理,违背基本假设的处理方法异方差性处理,加权最小二乘的回归方程,普通最小二乘的回归方程,违背基本假设的处理方法自相关性诊断,残差图法,违背基本假设的处理方法自相关性诊断,自相关系数法,自相关系数：,自相关系数的估计值：,违背基本假设的处理方法自相关性诊断,DW统计量：,DW检验判别准则：,样本量n，解释变量数目k,违背基本假设的处理方法自相关性处理,迭代法,多元线性回归模型,违背基本假设的处理方法,多重共线性及相关估计方法,非线性回归模型简介,内 容 提 纲,多重共线性及相关估计方法共线性定义,共线性定义,存在不全为零的p+1个数c0,c1,.,cp,使得,则称自变量x1,x2,.,xp之间存在（完全）多重共线性，或复共线性。,说明:多重共线性意味着 。,多重共线性及相关估计方法共线性诊断,方差扩大因子法,称 为自变量 的方差扩大因子, ,存在共线性。,对自变量作中心标准化，记,特征根法-条件数,记 的特征值为 ，最大特征值是 。,为特征根 的条件数。条件数大于10，认为有较强共线性。,多重共线性及相关估计方法共线性诊断案例分析,主成分定义,多重共线性及相关估计方法主成分回归,设对某一事物的研究涉及p个指标，分别用 表示，,这p个指标构成p维随机向量 。设随机向量的均值为 ，协方差矩阵为 。,考虑如下线性变换：,多重共线性及相关估计方法主成分回归,线性变换约束在下面原则：,； 不相关； 。,称 为第一主成分， 为第二主成分.。,为 的特征值， 为矩阵 各特征值对应的标准正交向量，则第i个主成分为：,主成分回归步骤,多重共线性及相关估计方法主成分回归,1、计算样本的协方差矩阵 ；,2、求 的特征值及其对应的标准化正交向量；,3、提取前m个主成分，累积贡献率 ；,4、计算主成分得分；,5、用y对前m个主成分做普通最小二乘回归。,多重共线性及相关估计方法主成分回归案例,多重共线性及相关估计方法主成分回归案例,多重共线性及相关估计方法主成分回归案例,多重共线性及相关估计方法主成分回归案例,多重共线性及相关估计方法主成分回归案例,多重共线性及相关估计方法主成分回归案例,多重共线性及相关估计方法主成分回归案例,多重共线性及相关估计方法主成分回归案例,内 容 提 纲,非线性回归模型简介Logistic回归模型,Logistic回归模型,多重共线性及相关估计