《非线性回归》PPT课件.ppt

1 第8章非线性回归 信计学院统计系沈菊红 2 非线性回归 学习目标1 因变量y与x之间不是线性关系2 可通过变量代换转换成线性关系用最小二乘法求出参数的估计值并非所有的非线性模型都可以化为线性模型 3 如下列模型 1 2 3 4 对于模型 4 不能通过对等式两边同时取自然对数的方法将模型线性化 只能用非线性最小二乘法求解 注意 新引进的自变量只能依赖于原始变量 而不能与未知参数有关 b未知 4 在SPSS中给出了10种常见的可线性化的曲线回归方程 误差项的形式能够使回归模型线性化 其中 自变量以t表示 5 6 对以上各种曲线回归 选用SPSS的Regression命令下的CurveEstimation命令 即可直接拟合各种曲线回归 不必作任何变量变换 除此之外 下面再介绍几种常用的曲线回归 7 双曲线 基本形式 线性化方法令 则有图像 8 幂函数曲线 基本形式 线性化方法两端取对数得 令 则图像 9 对数曲线 基本形式 线性化方法令 则有图像 10 指数曲线 基本形式 线性化方法两端取对数得 令 则有图像 11 S型曲线 基本形式 线性化方法令 则有图像 1 a 0 12 非线性回归 例题分析 例1 一种商品的需求量与其价格有一定的关系 现对一定时期内的商品价格与需求量进行观察 取得的样本数据如下表 试判断商品价格与需求量之间回归函数的类型 并求需求量对价格的回归方程 13 非线性回归 例题分析 价格与需求量的散点图 散点呈双曲线趋势 14 非线性回归 例题分析 用双曲线模型 按线性回归的方法求解 和 得 15 非线性回归 例题分析 价格与需求量的散点图 16 例2 对GDP的拟合 以GDP为因变量 拟合GDP关于时间t的趋势曲线 以1981年为基准年 取值t 1 1998年t 18 数据列入下表 17 18 GDP对时间的散点图 方法一 直接用SPSS软件的CurveEstimation命令计算 从散点图中看到 GDP大致为指数函数形式 19 复合函数 增长函数 指数函数是等价的 复合函数的形式与经济意义更相符合 同时作复合函数的曲线回归 和简单线性回归 并作比较 20 MultipleR 92528RSquare 85615AdjustedRSquare 84716StandardError9964 23063AnalysisofVarianceDFSumofSquaresMeanSquareFSigRegression19454779005 19454779005 195 227820 0000Residuals161588574273 699285892 1VariablesintheEquationVariableBSEBBetaTSigTime4417 522807452 685809 9252849 758 0000 Constant 13374 9222224900 032018 2 730 0148 简单线性回归 21 复合函数回归 22 为了与线性回归的拟合效果直接比较 先存储复合函数回归的残差序列 然后计算出复合函数回归的 进而得拟合效果优于线性回归 故采用复合函数回归 回归方程为 23 方法二 线性化求解法 对复合函数两端取自然对数 得 令 于是得到关于的线性回归方程 得输出结果如下 24 25 其中 得 与直接用SPSS中的Curve Estimation命令计算的结果一致 26 多项式回归 是重要的曲线回归模型 通常转化为多元线性回归来作处理 一 几种常见的多项式回归模型一元二阶多项式模型 称为线性效应系数 为二次效应系数 一元三次多项式模型 27 以上两个模型只含有一个自变量x 在实际应用中 常用到二元二阶多项式回归模型 交叉乘积项系数表示与的交互作用 称为交互影响系数 28 例题分析 例8 2 下表列出的数据是关于18个35岁到40岁经理的前两年平均年收入 千美元 风险反感度和人寿保险额 千美元 研究者想研究三者之间的关系 预计收入和人寿保险额之间有二次关系 并有把握地认为风险反感度对只有线性效应 而没有二次效应 但是 研究者不知两个自变量是否对有交互效应 为此 拟合了二阶多项式回归模型 检验是否有交互效应 并检验风险反感度的二次效应 29 30 回归采用逐个引入自变量的方式 这样可以看到各项对回归的贡献 使显著性检验更加明确 依次引入自变量取 31 32 33 最终的回归方程为 标准化回归方程为 研究者可用这个回归方程研究经理的年平均收入和风险反感度对人寿保险额的效应 34 多项式回归常用于分析试验设计的数据 在试验设计中 目标变量y与试验因子间的函数关系往往是未知的 因而常用多项式回归近似y与试验因子的关系 35 例题分析 例8 3 用均匀设计法研究从烤烟中提取粗蛋白的实验条件 三个实验因子分别为 代表提取液PH值 代表提取时间 小时 代表提取温度 目标变量y是提取液中的蛋白质浓度 采用如下的试验安排 36 首先用对作线性回归 计算结果如下 37 从以上结果看出 拟合效果极差 38 采用二次多项式拟合 首先生成三个自变量的平方项及三个交互作用项 然后采用逐步回归法选择变量 39 40 41 逐步回归最终的回归方程为 标准化回归方程为 从以上分析结果看出 拟合效果极好 42 非线性回归模型 Non LinearRegressionModel 43 非线性最小二乘 非线性回归模型的一般形式为 式中f 为一个可微分的非线性函数 b为p 1未知参数向量 为满足独立同分布假定的随机误差项 此时我们无法将待估计参数表示为由已知的X和Y表示的线性函数 这种情况被称作参数非线性 44 非线性模型案例1 C D生产函数 45 非线性模型案例2 不变替代弹性生产函数 CES 假定模型有两个解释变量 其一般形式可以表示为式中 为技术效率系数 为分配系数 为替代系数 为规模报酬系数 随机误差项服从正态分布 46 非线性最小二乘法 非线性最小二乘法的原理与线性最小二乘法相同 即求解使残差平方和最小的参数 在满足要求的条件下 模型参数可以由求解一阶条件构成的方程组得出 即 对于非线性方程组 通常我们无法确保得到估计参数的解析解 但是总能够利用数值逼近方法得到上述问题的解 如用Newton迭代法 47 非线性最小二乘法 表示成矩阵形式后有 48 非线性最小二乘法 估计非线性最小二乘法包括以下步骤 在未给定初始值的情况下 利用OLS方法估计系数作为初始值 反之利用给定的初始值 对该组值求导以确定每个参数的变化方向及步长 或采用泰勒级数展开转化为线性方程求解得到新的参数估计值 重复上述过程 直到参数达到给定的收敛标准时为止 或达到最大迭代次数时为止 此时得到的结果包括最后一次计算得到的参数估计值 对应的渐近t统计值 R2值等 49 在非线性回归模型中 平方和分解式SST SSR SSE不再成立 类似于线性回归中的复决定系数 定义非线性回归的相关指数 50 例题分析 例8 3 一位药物学家使用下面的非线性模型对药物反应拟合回归模型 其中 自变量x为药剂量 用级别表示 因变量y为药物反应程度 用 表示 三个参数是非负的 初始值取为 测得9个反应数据如下表 51 首先画出散点图 52 SPSSRegression点选Nonlinear IterationResidualSSC0C1C21172 7877170100 0000005 000000004 800000001 132 6070441397 79439966 579381974 74460195232 6070441397 79439966 579381974 744601952 120 2024037299 57856566 736917564 80074972320 2024037299 57856566 736917564 800749723 120 1881430799 53348506 763070324 79941696420 1881430799 53348506 763070324 799416964 120 1880358099 54117686 761040884 79966204520 1880358099 54117686 761040884 799662045 120 1880347399 54044476 761270454 79964160620 1880347399 54044476 761270454 799641606 120 1880347299 54051976 761248004 79964382 53 NonlinearRegressionSummaryStatisticsSourceDFSumofSquaresMeanSquareRegression337839 8519712613 28399Residual620 188033 36467UncorrectedTotal937860 04000 CorrectedTotal 814917 88889Rsquared 1 ResidualSS CorrectedSS 99865Asymptotic95 AsymptoticConfidenceIntervalParameterEstimateStd ErrorLowerUpperC099 5405197051 56732592295 705411332103 37562808C16 761248001 4219800525 7287000117 793795992C24 799643816 0501655204 6768932104 922394421 离差平方和 总平方和 54 总平方和 回归平方和 55 回归离差平方和 而 并且 56 通过以上分析可以认为药物反应程度与药剂量符合非线性回归方程 57 例8 3 龚珀兹模型是计量经济学中的一个常用模型 用来拟合销售量增长趋势 龚珀兹曲线形式为其中 为销售量增长上限 当未知时 龚珀兹模型不能线性化 可以用非线性最小二乘法求解 或三和值求解法 58 解 1 用三和值求解 59 由 可得由 可得 60 由此求得龚珀兹模型为 61 2 用非线性最小二乘法求解以三和值法的参数估计值为初值 用SPSS软件的非线性最小二乘法功能求解 62 SourceDFSumofSquaresMeanSquareRegression3561508401 100187169467 033Residual186323848 90008351324 93889Uncorrected21567832250 000Total Corrected2086753100 2857Total Rsquared 1 ResidualSS Correct