优化非线性回归目标函数的数值实验.pdf

第6 1 卷第7 期化工学报 V 0 1 6 1N o 7 2 0 1 0 年7 月 C 1 E S CJ o u r n a l J u l y 2 0 1 0 优化非线性回归目标函数的数值实验 毛在砂 中国科学院过程工程研究所 中国科学院绿色过程与工程重点实验室 北京1 0 0 1 9 0 摘要 最小二乘法在化工中广泛用于数据拟合的线性和非线性回归及模型参数估值 为了从实验和生产现场数 据中得到更接近真实函数的关联式 用数值实验的方法 对一系列日标甬数形式与传统的最小二乘法进行比较 所测试的真实函数包括单调函数 单极值函数和双极值函数 数据所带的误差包括高斯分布和均匀分布的误差 结果表明 若数据误差遵从高斯分布时 以实验值与回归预测值间绝对偏差的1 5 次幂之和为目标函数 优化 所得的回归模型与真实的函数最接近 关键词 最小二乘法 数据拟合 目标函数 优化 高斯分布 中图分类号 T Q0 1 1文献标识码 A文章编号 0 4 3 8 1 1 5 7 2 0 1 0 0 7 1 6 5 9 一0 7 N u m e r i c a lt e s t sI o rb e t t e ro b l j e c t i V ef u n c t i o ni nn o n l i n e a rd a t af i t t i n g M A oZ a i s h a K P 了L n 6 0 r 口 o r yo G r 已P 咒P r o c P 5 s 册dE 以g i n P P 一行g J 起s 矗 甜据o 尸 0 c P 5 5E 行g i 挖卯r i 粗g C i 行P 5 PA f n d P 研yo 厂S f 论起f 已s B P 巧i 九g1 0 0 1 9 0 冼i 竹口 A b s t r a c t T h el e a s ts q u a r em e t h o di sp o p u l a r l yu s e di nl i n e a ra n dn o n l i n e a rr e g r e s s i o n sf o rd a t af i t t i n ga n d e s t i m a t i n gm o d e lp a r a m e t e r s T oi m p r o v et h ee f f i c i e n c y as e r i e so fo b j e c t i v ef u n c t i o na r ep r o p o s e da n d c o m p a r e dw i t ht h et r a d i t i o n a lo b j e c t i v ef u n c t i o no fl e a s ts q u a r e s B yn u m e r i c a lt e s t s i ti sf o u n dt h a tt h e o b je c t i v ef u n c t i o no fs u m m i n gu pt h ed e v i a t i o nr a i s e dt o1 5p o w e rs h o w si no v e r a l lt h eb e s tp e r f o r m a n c e i nr e t r i e v i n gt h et r u ef u n c t i o n a lr e l a t i o n s h i pu n d e r l y i n gt h er a wd a t as u p e r i m p o s e dw i t hr a n d o mG a u s s i a ne r r o r K e yw o r d s n o n l i n e a rr e g r e s s i o n d a t af i t t i n g o b je c t i v ef u n c t i o n o p t i m i z a t i o n G a u s s i a nd i s t r i b u t i o n 引 士 丘 在科研和 拟合为一显式 否成立 也能 此 数据拟合 其模型参数的 合函数与测试 差的大小来定 工程应用中 常需要将一批实测数据 函数 以便判定所测试的函数关系是 得到便于应用的简单函数关系式 因 成为建立显式的经验函数模型和估计 有力工具 为了定量地表示经验的拟 数据符合的程度 需要根据二者间偏 义一个目标函数 选择合适的函数形 2 0 1 0 0 4 1 6 收到初稿 2 0 1 0 0 5 一0 6 收到修改稿 联系人 毛在砂 1 9 4 3 男 博士 研究员 基金项目 国家自然科学基金项目 2 0 9 7 6 1 7 7 2 0 9 9 0 2 2 4 国家重点基础研究发展计划项目 2 0 0 9 C B 6 2 3 4 0 6 科技支撑课题 项目 2 0 0 8 B A F 3 3 8 0 3 式和最佳的模型参数可以使总的偏差降到最低 多数情况下 科研和工程技术人员普遍采用最 小二乘法 1 即按最小二乘的概念 以假设的模型 函数的预测值与实测数据之偏差的平方和为目标 函数 N Q z 多 一y z 1 l l 其中 弘 多 分别为实测值和模型预测值 图1 N 是一组数据的个数 然后 用数学或数值方法 R e c e i v e dd a t e 2 0 1 0 一0 4 一1 6 c o r r 巧p o n d i 哩a u t h o r P r o f M A OZ a i s h a z s m a o h o m e i p e a c c n F o n d a t j 加i t 哪 s u p p o r t e db yt h eN a t i o n a lN a t u r a lS c i e n c e F o u n d a t i o no fC h i n a 2 0 9 7 6 1 7 7 2 0 9 9 0 2 2 4 a n dt h eN a t i o n a lB a s i c R e 8 e a r c hP r o g r a mo fC h i n a 2 0 0 9 C B 6 2 3 4 0 6 万方数据 1 6 6 0 化工学报 第6 1 卷 图1 一组实测数据的非线性回归 F i g 1 N o n 1 i n e a rr e g r e s s i o no fas e to fm e a s u r e m e n td a t a 来优化模型参数 使目标函数取极小值 即认为得 到了与测试数据最接近的模型函数 在化学工程的 研究和开发过程中 最小二乘法的应用十分 广泛 2 3 这个传统定义的优点是每个数据点对Q 值的 贡献均为正值 不会出现误差正负抵消的假相 另 外 式 1 定义的函数形式是解析的 对其中所 含的模型参数可以求导 因此可以通过数学推导 对线性回归得到简单 解析的模型参数计算公式 但是 直观上这个定义有过分依赖偏差大的数据点 的缺点 偏差多 z i 一y z 绝对值大的数据对 Q 值的贡献比偏差小的数据要大得多 这不一定是 合理的取舍 因为大误差数据发生的概率小 不应 在数据处理时给它过大的权重 如何改进最小二乘法 一直是数据处理和数理 统计学关心的问题 并已经提出了许多求解线性回 归的新方法 4 其中之一是所谓的 最小一乘 法 5 如果说式 1 过分依赖误差大的数据点 那最小一乘法令各数据点误差的绝对值权重相等 将目标函数的定义修改为 N Q 乏 限一y I 2 l 1 历史上最小一乘法的提出比最小二乘法还早 由于 不能解析求导的数学困难 长期以来未得到推广 后来最小一乘法有了新的求解算法 例如线性规划 法 7 3 也可用优化算法求解非线性回归模型吲 最小一乘法才得以发挥其稳健性 r o b u s t n e s s 更 好的优点 H u b e r 9 3 推广了上述概念 提出M 估计的方 法 以 N Q P 多 一y 3 1 2 l 为目标函数 其中函数I D 是对称 从 单调递 增到无穷大的偶函数 这个方法是2 0 世纪7 0 年代 以后的研究热点 4 R o u s s e e u w 6 1 还提出了最小中 位二乘法 1 e a s tm e d i a no fs q u a r e s 对排除异常 数据点的干扰和增强回归的稳健性很有益处 本文针对由典型的已知函数 单调函数 单极 值函数和双极值函数 叠加随机实验误差 高斯分 布和均匀分布的随机误差 产生的模拟实测数据 以简易 直观的数值实验方法 考察几种幂函数形 式的目标函数 比较数据拟合得到的关联式与真实 函数符合的程度 以选择更好的目标函数的定义 1 新的目标函数 将式 1 和式 2 写为更一般的形式 Q 限一y 4 4 并且将参数 z 扩展为o 2 5 2 之间的正实数 实 际上由于数据均含有误差 故不大可能很精确地确 定咒的最佳数值 因此本文中仅考察行取2 1 5 1 o 7 5 o 5 0 2 5 这几个数值 数据拟合质量的定量指标主要是拟合得到的关 联式与实测数据的偏差e 它可以有不同的定 义 如 e 一 古妻旧一H 和 e 寺 限一弘l 6 l 霉l 用来表达拟合得到的回归多 z 与真实函数z z 的 差距 第二个可用的指标为获得的关联式与真实函 数间的平均偏差 u 一寺 限 一 引I 7 l l 以下将用这两个指标综合地判断目标函数式 4 中咒的最佳值 2高斯分布误差的数值实验 2 1 数据准备和优化算法 在z z z N 区间均匀分布的取样点z i 上 用3 个不同的解析函数2 z 叠加了适当的 随机误差 后 得到模拟的实测数据弘 z 这3 个解析函数为 单调函数 n 一2 0 6 一一o 2 f 一2 z o 1 0 2 1 z 口e x p k c 8 单峰函数 n 1 0 6 O 8 c 一 O 5 d O 万方数据 第7 期毛在砂 优化非线性回归目标函数的数值实验 z 0 4 z z 工 口s i n 妇 f d 9 双峰函数 口 1 0 6 一5 f 3 d 一O 2 z 一2 1 2 施 z 口 k 髓2 如3 1 0 为了检验数据拟合从测试数据中提取真实函数关系 的能力 在产生数据时叠加了随机误差 y z z z E f R 1 1 其中 e 是遵从高斯分布的随机变量 其均值为0 方差为1 而误差的水平则由指定的常数值R 决 定 高斯分布误差作为随机变量 其取值为e 的概 率为 弛 去e x p 一譬 而 是在 一1 1 中均匀分布的随机变量 这两 个随机变量分别由一个很短的F O R T R A N 程序产 生 G A S D E V 和R A N l 10 为了使目标函数Q 取极小值 有许多搜索最佳 参数的优化算法可以使用 优化算法的基本思想为 在歹个模型参数构成的j 维参数空间中 找到一个Q 全局最小值 由于数据拟合所用的函数形式一般都 比较简单 模型参数不多 因此总计算量虽然对人 工计算很困难 但采用计算机处理却相当容易 这 样 一般可选择比较简单的算法 不用太追求计算 的效率 固本文选择稳健性较好的复合形 c o m p l e x 法 1 1 1 为了避免计算终止到一个局部极 小值 本文在优化计算时 总共在J 维参数空间中 随机产生1 0 0 个以上的初始复合形 依次进行同样 的搜索 选取Q 取极小值作为最终的优化结果 由 于所有的初始复合形比较均匀地分布在 维参数空 间中 增大了收敛于全局极小值的概率 2 2 高斯分布误差的算例 现在以真实函数2 z 叠加高斯分布的误差 为例 考察目标函数中参数行的影响 与直观预计 一致的是 R 数值增大 拟合偏差P 和与真实函数 的偏差u 都增大 但是发现以F 值来判断n 的最佳 值是不合适的 因为如果用式 6 的定义 P 的定 义与竹 1 的目标函数Q 的定义一致 自然是咒 1 的值最小 如果用式 5 的定义 则咒大的时候 目标函数Q 中的大误差被放大了 所以e 值也被放 大 故本文以后仅以与真实函数的偏差u 来比较和 判断 当R 从1 增大到l o 行为1 1 5 和2 的拟合 结果如图2 所示 数据点N 2 1 可以看出 数 据的误差比较小时 不同咒值的数据拟合都能够较 图2z z 加高斯误差按n 为2 1 5 和1 拟合的结果 F i g 2 N o r 卜l i n e a rr e g r e s s i o no f 名2 z w i t h 以 2 1 5a n d1 万方数据 1 6 6 2 化工学报第6 1 卷 好地逼近真实函数 也可参考表1 但误差较大 的图2 d 中 拟合仍能得到真实函数的变化趋 势 而其中咒一1 5 的拟合结果很明显优于传统最 小二乘法 n 一2 的结果 列在表1 和表2 中的数据更好地支持上述n 一 1 5 最好的结论 对不同的误差水平R 的极小 值总是出现在九 1 5 即最合适的目标函数是 Q 一 旧一弘卜 1 3 表3 列出了2 z 和N 一2 l 的数据拟合结果 也 是咒一1 5 最好 表l 以值对拟合偏差u 的影响 j v 2 1 T a b I elE f f e c t0 f 一帅d e v i a t i O 璐o fc o r 弛l a t i 0 璐f r O mt 朋e f u n c t i z 2 工 d a t as u p e r i m p o s e dw i t h r a n d o mG a u s s i a ne r r o ra n dN 2 l 表2 肛数值对拟合偏差D 的影响 N 8 1 T a b l e2E f f tO f O nd e v i a t i o 砸0 fc o r r e I a t i O 璐f r O mt 咖e f u n c t i 蛐z 2 工 d a t as u p e r i m p o s e dw i t h r a n d o mG a u s s i a ne I T 0 ra n dN 8 1 表3n 数值对拟合偏差p 的影响 N 2 1 T a b l e3E f l b c t0 fH0 nd e v i a t i o I 坞0 fc o r r e l a t i 邮h 0 mt 眦 f u n c t i o nz I z d a t as u p e r i m p 吣e dw i t hm n d 啪 G a u s s i a ne r r o r sa n dN 2 l 2 3 拟合残差的分析 现在处理的测试数据对象是叠加高斯分布的随 机误差 因此如果得到的数据拟合关联式最接近于 真实函数 那么残差即应服从高斯分布式 1 2 在这些单个误差e 的总体中 正误差从 直到e 的 个数应是式 1 2 的累积分布与N 的乘积 F 牟f x p 譬 如 1 4 Z 丁c Jo 将e 对F 作图所得的曲线如图3 所示 而均匀分布 的随机误差的累积分布则是过原点的一条直线 么 7 n o r m a l 锄r 一一u n i 6 舢e n r o r 图3 高斯分布和均匀分布的随机误差的数 值和误差个数间的关系 N 4 1 F i g 3R e l a t i o n s h i pb e t w e e nr a n d o me r r o ra n d n u m b e ro fo c c u r r e n c e N 4 1 为便于观察残差的分布 可以将残差d 多 置 一z z i 按代数值大小排列对序号作图 图 形应与图3 中的曲线形状相符 如果不符 说明拟 合中丢失了原来真实函数的特征 转移到了拟合后 的残差当中 针对z z R 一5 N 一2 1 的情况 2 1 5 和o 5 两种情况的残差分布如图4 所示 清楚地表明了恕一1 5 时残差分布比较接近于高斯 分布的规律 可以推断此时的关联式和真实函数 z z 最接近 而竹一o 5 时的拟合结果过分偏向 于小误差的数据点 在图4 b 中看到一段平坦的 线段 这是与高斯分布的随机误差的特征不符的 因此 拟合残差的分布可以作为数据拟合的事后检 验用 2 4 有大误差数据点的情况 在许多情况下不仅存在高斯分布的随机误差 而且少数数据点的误差特别大 数值实验中可以用 真实函数叠加两个系列的高斯误差来生成模拟实测 数据 即 y 工 z z 8 1 R l 2 R 2 1 5 其中 e 和e 是高斯分布的随机误差 只是 在 万方数据 第7 期毛在砂 优化非线性回归目标函数的数值实验 l O 8 6 4 2 O 一2 4 6 8 1 0 a 舻1 5 C b 刀卸 5 图4g z 加高斯误差按以为1 5 和o 5 拟合的残差分布 F i g 4 D i s t r i b u t i o no fr e s i d u e so fn o n l i n e a rr e g r e s s i o no f 2 2 z w i t h 咒一1 5a n dO 5 G a u s s i a nr a n d o me r r o r R 一5 N 一2 1 每个数据点上出现 而 只在部分数据点上出 现 R 和R 是两个误差的水平 可以在数值实 验中事先指定 这种大误差点 主观上可以直接 忽略掉 但又缺乏直接删除的依据 因此通过数 值实验来选择咒的最优值 以尽量减少大误差点 的影响 测试数据的产生步骤是先按2 1 节的步骤产生 数据 叠加误差e R 然后按R 4 R 和N z N 5 叠加误差e R 对有两个极值的函数z s z R 1 0 N 4 1 的情况下 部分数据有大误差时的 拟合如图5 所示 图5 表明 l 1 的回归最接近 真实函数 在R z 一2 R 和N z N 5 R 为1 1 0 N 为1 1 2 1 4 1 8 1 时 在数据点较多的N 为 4 1 和8 1 情形下行 1 最能逼近真实函数 除了在 数据点很少的N 为1 1 和2 1 的情形下 7 z 2 比别 的咒值更好 从表4 的数据可以看出 若折中地取 图5 铂 z 有高斯分布大误差情况的 非线性回归 高斯分布误差 F i g 5 N o n l i n e a rr e g r e s s i o no fz 3 z w i t h 疗一2 1 5a n d1 R 一1 0 N 一4 1 R 2 4 Ra n dN 2 一N 5 表4 一数值对有大误差时的拟合偏差 的影响 T 曲I e4E 髓e c to f 一蚰d e v i a t i O 璐o fc o r r e I a t i O 嬲f r 哪t n e f u n c t i o nz l x d a t as u p e r i m p o 辨dw i t h 髓n d 咖G a u 鹞i 蛐 e r r o r sa n dN 2 l 和4 1 R 2 2 Ra n dN 2 j v 5 U R 一1R 一2R 5R l O 行 1 5 与真实函数的偏差与最好的结果差别并 不大 3 均匀分布误差的数值实验 3 1 均匀分布误差的算例 表5 是函数z z 均匀分布随机误差R 在 1 1 0 之间 2 1 1 5 2 N 2 1 情况下数据拟 合的结果 典型的R 一5 的结果如图6 所示 由图 可见 传统的最小二乘法目标函数 咒 2 最好 仅在误差较大的R 一1 0 时咒 1 5 优于咒 2 或许 这是叠加的误差随机性的偶然结果 如果把表5 中 未列出的N 为l l 2 1 4 1 和8 1 的情况都算上 咒 2 在总共1 6 个情况中有1 1 个情况中优于 l 1 5 因此 在已判定测试误差不是属于高斯分布 随机误差时 应该采用竹 2 的传统最小二乘法目 标函数 3 2 拟合残差的分析 针对z 1 z R 5 N 4 1 的情况 n 为2 和 0 6 3 9 8 8 5 2 3 1 3 7 5 2 7 5 3 3 2 3 4 2 2 2 5 3 7 9 9 9 7 1 6 5 6 4 2 6 3 2 l 1 1 1 口 1 1 1 O 5 7 4 8 O 1 4 4 0 6 6 5 6 9 5 4 4 0 O O O O O 5 3 3 Z 4 0 5 2 7 5 3 3 2 3 4 2 2 2 O O 0 O O O 5 5 2 1 2 1 1 1 i 2 2 Z 4 4 4 万方数据 化工学报第6 1 卷 表5n 数值对拟合偏差u 的影响 T 铀I e5E f f I 嘣o f 捍彻d e v i a t i o 璐o fc o r r e I a t i o 璐f m m t r u ef u n c t i o nz l 工 d a t as u p e r i m p 惦e d w i t hu n i f o r mr a n d o me r r o 体 N 2 1 p R 一1R 一2 R 5 R 1 0 图6z 工 加均匀分布误差按n 为2 1 5 和1 拟合的结果 F i g 6 N o n 一 n e a rr e g r e s s i o no fz 1 z w i t h z 2 1 5a n d1 R 一5 N 一2 1 O 5 两种情况的残差分布如图7 所示 表明了n 一2 的残差分布比较接近于均匀分布的直线规律 可以 推断此时的关联式和真实函数z z 最接近 而 o 5 时的拟合结果过分偏向于小误差的数据点 在图7 b 中看到一段平坦的线段 这与均匀分布 随机误差的直线性特征不符 因此 拟合残差的分 布也支持n 2 优于 一0 5 的数据拟合 3 3 有大误差数据点的情况 测试数据的产生步骤与2 4 节相同 取大误差 R 4 R 数据点数N 一N 5 对函数z z 的数 据拟合发现 对N 4 1 的情况 咒 1 5 的回归最 接近真实函数 如图8 所示 统计N 1 1 2 l 4 1 8 l 和R O 5 1 2 5 的1 6 个情况 其中数 据点数多的N 一4 1 8 1 咒 1 5 最好 而N 1 1 2 1 时传统的恕 2 最好 在有大误差实验数据时 如何选择合适的目标函数还需要进一步研究 特别 是以概率论和数理统计等学科的基本原理为基础的 理论分析 图7z z 加均匀分布误差按 为2 和o 5 拟合的残差分布 F i g 7 D i s t b u t i o no fr e s i d u e so fn o n l i n e a rr e g r e s s i o n o f 石1 z w i t hn 2a n d0 5 u n i f o mr a n d o me r r o r R 一5 N 4 1 图8 有大误差的z z 数据的非线性回归 F i g 8 N o n l i n e a rr e g r e s s i o no f 1 z w i t h l 2 1 5 a n d1 R 5 N 一4 1 u n i f o r mr a n d o me r r o r s N 5 o u t l i e r sw i t ha d d i t i o n a le r r o ro f4 R 4 结论 比较了指数理值不同的目标函数之后 基本上 可以认定 在数据的随机误差服从高斯分布的情况 下 目标函数取咒 1 5 最好 拟合的结果最接近 真实函数 在重视提高实验精确度和认真操作的情 况下 实验的随机实验误差经常更近于高斯分布 万方数据 第7 期毛在砂 优化非线性回归目标函数的数值实验 J 6 6 5 这个目标函数可写成 N Q l 厉限一y I 1 6 目标函数可读为单个数据点的残差l 负一弘I 的加权 平均值 而权重则是 多 一y 由于取平方根 所 以在Q 中小残差的权重被放大了 似乎竹 1 5 是 一个几种因素折中的最佳值 而实验误差为均匀分布的随机误差时 使用传 统的咒 2 的目标函数 数据拟合结果更好 在不能先验地决定目标函数起值的情况下 也 可以在事后分析拟合的剩余残差分布 如果行值的 选择是合理的 残差分布应该符合或接近高斯分布 或其他分布 如果符合太差 调整咒值则是必 要的 在本文的数值实验之后 如何优化目标函数应 该继续进行数理统计学的理论分析 R e f e r e n c e s 1 2 3 w a n gS o n g g u i 王松桂 C h e nM i n 陈敏 C h e nL i p i n g 陈立萍 L i n e a rS t a t i s t i c a lM o d e l s L i n e a rR e g r e s s i o n a n dE r r o rA n a l y s i s 线性统计模型 线性回归与误差分 析 B 刨i n g H i g h e rE d u c a t i o nP r e s s 1 9 9 9 J i a n gT i q i a n 江体乾 C h e m i c a lE n g i n e e r i n gD a t a T r e a t m e n t 化工数据处理 B e U i n g C h e m i c a lI n d u s t r y P r e s s 1 9 8 4 M a oZ a i s h a 毛在砂 M a t h e m a t i c a lM o d e l l i n gi n 4 5 6 7 8 9 1 0 C h e m i c a lE n g i n e e r i n g 化工数学模型方法 B e 日i n g C h e m i c a lI n d u s t r yP r e s s 1 9 8 4 6 9 8 1 c h e nX i r u 陈希孺 H i s t o r i c a lb a c k g r o u n da n dp r e s e n t s t 8 t eo ft h el e a s ts q u a r e sm e t h o d o r l n Zo 厂 r 口d 们 e S c o 以 A f 口d P m 缸S f i 中国科学院研究生院学报 2 0 0 1 1 8 4 4 1 1 c h e nX I r u 陈希孺 L e a s ta b s 0 1 u t ev a l u e sr e g r e s s i o n I M n P 仇口 f c 口zs 纽 s i c s 口竹dM n 加g P m 鲫 数理统计与管 理 1 9 8 9 5 4 8 5 5 R o u s s e e u wPJ L e a s tm e d i a no fs q u a r e sr e g r e s s i o n o r 船 o 厂A m e r i c 口 S 缸 f s f c 口ZA 5 s