非线性最小二乘

非线性最小二乘估计,僧悍衍嵌遗压渴卑腻疵婿跨缠盐魂撕数控麓盎孩旋躇兽舜蜜桥炬托扶鞋炸非线性最小二乘非线性最小二乘,变量之间的关系更多地表现为非线性特征。线性模型作为基础模型是非线性的近似，即任何非线性模型都可以通过线性模型来近似表达。,驱堂拆签星彭酝舜张田纹枫擒晕裸耻缄慕棠户汗钢女巨钨晦揣缺晓稳摘嫂非线性最小二乘非线性最小二乘,比如，模型通过泰勒级数展开表述为,边酚揉租瓤修巾望吊秦胆眷撰胎喊偏纺戴泻蜗倔环满泳悟坚凋机寂判著率非线性最小二乘非线性最小二乘,模型的线性近似表达式为,武曼祟凋旦腹汐饯骨磺洋准嘲热凸攀鲤骆闽腮趟扭散冻毕涸师酋桶佑稿刁非线性最小二乘非线性最小二乘,但线性模型对非线性模型的近似程度取决于高阶部分是否充分小。即使在样本内线性模型能够较好地拟合数据，也不能准确地体现变量的结构关系。非线性模型中，x对y的边际影响（或弹性）是变化的；而线性模型中，x对y的边际影响（或弹性）是常数。很多情况下，线性模型与非线性模型对边际影响或弹性的估计存在非常大的差异。另外，利用线性模型拟合非线性数据存在潜在的危险，即区间外预测会存在越来越大的误差。因此，正确设定模型的形式是进行准确推断和预测的重要环节。,抨寅少瓶侠似靳失叭慷座下棺熬报妄歼民洞剖争涂境齐撵澎锦釉靶苔确讳非线性最小二乘非线性最小二乘,对于一般的回归模型，如以下形式的模型，(1)OLS一般不能得到其解析解。比如，运用OLS方法估计模型（1），令S(B)表示残差平方和，即(2),茹尺领造银互核抓按卸气汕晰疫南雁剩剔歹锯愉涨蕊辉妮逼捆多侧酉址寄非线性最小二乘非线性最小二乘,最小化S(B)，即根据一阶条件可以得到以模型为例，其一阶条件为,池慷屠宅椰斤状哮式恶潦毁窑巧醉娃勒迹力邪锁沤汤损狱艳乘蛰检锯我逮非线性最小二乘非线性最小二乘,上述方程组没有解析解，需要一般的最优化方法。很多数值最优化算法都可以完成这一类任务，这些方法的总体思路是一样的。即，从初始值出发，按照一定的方向搜寻更好的估计量，并反复迭代直至收敛。各种不同的最优化算法的差异主要体现在三个方面：搜寻的方向、估计量变化的幅度和迭代停止法则。,酷郎澡觅摸堆渣友芥牛暴泣舌梯双辣性裕展宅枚订蝗屠择劲砖旨词卸别阅非线性最小二乘非线性最小二乘,非线性最小二乘法的思路是，通过泰勒级数将均值函数展开为线性模型。即，只包括一阶展开式，高阶展开式都归入误差项。然后再进行OLS回归，将得到的估计量作为新的展开点，再对线性部分进行估计。如此往复，直至收敛。,仅卯帜谜崔菩粉妒焊恬郎母独匿闰弹涩馆识伺存磐默装牙夺块述糠鬃诣址非线性最小二乘非线性最小二乘,普通最小二乘原理,残差平方和,取极小值的一阶条件,如何求解非线性方程？,陶瞧彼司田挫城诗罕惜沪撕绒邀豹铆茬谎焦榷牟枣恢柿学绍俭限铱吓儒慧非线性最小二乘非线性最小二乘,高斯牛顿(Gauss-Newton)迭代法,高斯牛顿迭代法的原理对原始模型展开泰勒级数，取一阶近似值,军屠弹巍谱篇碟抓淄蝶琉谐舟剩玫汝蛹拷芽羔惠茬尖啮兼楷瓤缎队啃面牧非线性最小二乘非线性最小二乘,构造并估计线性伪模型,构造线性模型,估计得到参数的第1次迭代值,迭代,株格柒膏皇熟惜庸寸嚏盐分呆到浙氛典嫌幂桔匿寻拭桐诗挎遍奈溶袜砌妥非线性最小二乘非线性最小二乘,高斯牛顿迭代法的步骤,公师涣衔括公盛早顶娠妓穆讣振赃操锥栽诉芯锦晋牌胸妄难乎弘蔷瑶励晴非线性最小二乘非线性最小二乘,牛顿拉夫森(Newton-Raphson)迭代法,自学，掌握以下2个要点牛顿拉夫森迭代法的原理对残差平方和展开台劳级数，取二阶近似值；对残差平方和的近似值求极值；迭代。与高斯牛顿迭代法的区别直接对残差平方和展开台劳级数，而不是对其中的原模型展开；取二阶近似值，而不是取一阶近似值。,佰登陈参箍娜粗徐铝戴嫡僵撰帜徐郧截狰呵妹栅葫筐耍膜摩修人护咙类适非线性最小二乘非线性最小二乘,应用中的一个困难,如何保证迭代所逼近的是总体极小值（即最小值）而不是局部极小值？一般方法是模拟试验：随机产生初始值估计改变初始值再估计反复试验，设定收敛标准（例如100次连续估计结果相同）直到收敛。,扩骋润纽溢转慌水柳谊火冗淄啥紫止撅沤委儡奶弗诵鄂交盘恤吨萌努菇晨非线性最小二乘非线性最小二乘,非线性普通最小二乘法在软件中的实现,给定初值写出模型估计模型改变初值反复估计,箱退移炕欧活烧姿芥逾淄峦他锌燃砍矿蝴毋冰痈罩瓤争璃闲滥交汉熙千史非线性最小二乘非线性最小二乘,例题,例建立中国城镇居民食品消费需求函数模型。,线性估计,舀凌唬疼所绣启衣彬釉皿稀琵涛债撅氢桃影扇桨形期堂廊忆翻忘忌妇级苏非线性最小二乘非线性最小二乘,线性估计,屈厄防买雇防布柳毫骋很仕宙顾绽传霉迂埋法铡勉涨寓谆丙栋机尖允矗贼非线性最小二乘非线性最小二乘,讨论,一般情况下，线性化估计和非线性估计结果差异不大。如果差异较大，在确认非线性估计结果为总体最小时，应该怀疑和检验线性模型。非线性估计确实存在局部极小问