非线性回归方程选择的优化算法

非线性回归方程选择的优化算法

事实上，事务系统中的每个元素的关系通常是非线性的，并且具有相关性（也就是说，两个元素之间的关系可以通过其他因素来表达）。为了预测和控制事物的系统，通常使用回归分析方法来确定两者之间的关系。线性回归分析计算简单、计算量低、适合人工计算和低计算机计算。因此，在20世纪60年代之前，无论是线性还是非线性，它都主要采用线性模型。20世纪60年代初，我们开始研究非线性回归方程的选择，根据经验选择指定参数的回归方程，然后确定方程的参数。在这项工作中，我们提出了基于不同因素之间的相关性的最佳回归方程，并根据数据本身的大小和特点选择最佳回归方程，确定系数，并导出优化算法。1类偏相关系数的推导为了能实现自动选择方程,即能自动地选择各因子的表达式并确定参数.本方法的思路为:在以类相关系数作为选择某一因子表达式准则的基础上再考虑各因子之间的相互关系.为此本文提出类偏相关系数,并推导其优化算法.根据类偏相关系数可以选择一个最佳的带待定系数的表达式来表示某一因子与应变量的关系,但为了能够合理选择一组最佳的各因子表达式来组成回归方程总的表达式,本文进一步提出合类偏相关系数,这样可得到带待定系数的回归方程,最后采用最小二乘法求出方程中的待定系数,从而得到完整的回归方程.下面就相关的理论知识进行论述并推导算法.1.1对4个因子的控制相关系数是衡量2个因子之间或应变量和因子之间用某种函数关系表达时的相关程度(或称吻合程度).但是事物系统各因子之间是互相牵制的,即某一因子与应变量的关系不能简单地用它们的相关系数来衡量,因为该因子与应变量的关系还会通过其它因子表现出来(或者说受其它因子的控制).设问题涉及m个因子即x1,x2,…,xm,在它们的共同作用下,考察x1和x2的相关性.为此,分别从x1和x2中扣除x3,x4,…,xm的影响,然后用剩余部分的简单相关系数来表达x1和x2新的相关程度,称这种新的相关程度为偏相关系数,记为r12,3,…,m,(1)式是它的计算公式:{rij,1,⋯‚(i-1)(i+1),⋯‚(j-1)(j+1),⋯‚m=aij√aiiajj(i＜j)riy,1,⋯‚(i-1)(i+1),⋯‚m=aiy√aiiayy(i=1,2,⋯‚m)(1)式中:rij为应变量和因子或因子之间的相关系数,aij为(2)式中的元素R(i,j)相应的代数余子式.R(m+1)×(m+1)=|ryyry1ry2⋯rymr1yr11r12⋯r1mr2yr21r22⋯r2m⋮⋮⋮⋱⋮rmyrm1rm2⋯rmm|(i,j=y,1,2,⋯‚m)(2)1.2类相关系数的生成在研究线性回归方程时,都是用CX(C是常数)来表达各因子和应变量的关系.如果拓宽思路,将X看作是某一类初等函数,如幂函数xa,这样就可以研究某一因子用某类初等函数表达时与应变量的关系是否显著,从而选择最为显著的初等函数类来表达,称这种关系为类相关系数,即某一因子用某一初等函数表达时与应变量的最大相关系数,为此定义(3)式作为计算类相关系数的公式,其绝对值不大于1.ri=maxαi|ri(αi)|=maxαi|n∑Κ=1[fi(αi,xΚ)-fi(αi,x)](yΚ-y)√n∑Κ=1[fi(αi,xΚ)-fi(αi,x)]2√n∑Κ=1(yΚ-y)2|(3)式中:fi(αi,x)为初等函数类;fi(αi,x)=1nn∑Κ=1fi(αi,xΚ);y=1nn∑Κ=1yΚ;αi是参数;xK,yK是原始数据.1.3类重函数的算由于事物系统各因子之间是相关的,所以在选择某一类初等函数作为某个因子的表达式时,要将扣除其它因子的影响后的类相关系数作为衡量标准,本文中称该系数为类偏相关系数.类偏相关系数的计算过程为:(1)先用(3)式计算某一因子用各类初等函数(本论文只选择4类初等函数,即幂函数、以e为底的指数函数、自然对数和幂指函数)表达时与应变量及其与其它因子之间的类相关系数;(2)而后将(3)式的计算结果用(1)式结合(2)式计算各因子的类偏相关系数.在计算类偏相关系数之前必须用排列的知识将前面所求得的类相关系数组成(2)式形式的相关系数矩阵供(1)式计算,各因子之间的类相关系数都取其最大类相关系数(对不同函数类而言),这样可得到所取初等函数种类的因子数次方个类相关系数矩阵(在本论文,若有4个因子,可得到44=256个类相关系数矩阵),从而得到因子数目组的相同数目的类偏相关系数r(i,j)(若有4个因子,可得到4组256个类偏相关系数).1.4类偏相关系数的计算如果问题涉及多元,并不是每个因子的表达式都取各自类偏相关系数最大的初等函数类为该因子的表达式来组成回归方程总的表达式,而是要根据各个因子的重要程度(权重系数),计算应变量和所有因子的整体相关系数,本文称之为合类偏相关系数,即回归方程中的诸因子用某些初等函数类表达时,扣除其它因子影响后与应变量相关系数的总和,由(4)式计算.取最大的合类偏相关系数所对应的各因子表达式(带待定系数的某类初等函数)乘上1个常数和1个常数项的总和作为回归方程的表达式.max0≤j≤mnn∑i=1|r(i,j)|⋅g(i)(4)式中n为因子数;m为所选初等函数类的数目;r(i,j)为类偏相关系数;g(i)为各因子的权重系数.1.5传统社会主义国家所有权的计算方法在用(3)式计算类相关系数时,传统的数值计算方法是:在选定某一类初等函数后,给定α一个较大取值区间,再将该区间细分成若干个小区间,然后分别计算处在各个小区间的类相关系数,取其中得到最大类相关系数的区间进行抛物线拟合,抛物线的顶点就是该因子用该初等函数表达时的类相关系数.用该传统的方法计算存在以下几个问题:(1)必须对实验数据的走势很清楚,不然就不一定能在所选取的区间得到最大值;(2)用抛物线拟合不一定准确,特别是对于性态不好的方程.本论文采用优化方法求解,基本上能克服以上的缺陷.将(3)式作为目标函数,α为设计变量,采用POWELL法求得其最大值.2计算示例2.1实验数据表1为4个因子的实验数据.2.2类偏相关系数矩阵的计算2.2.1用优化方法求各因子和应变量及各因子之间的类相关系数矩阵为了简单计算,各因子之间的类相关系数取最大,则可得到如下的类相关系数矩阵:每个因子都用指数函数表达时的类相关系数矩阵:|10.753768-0.841416-0.543645-0.8266200.753768-0.841416Μ-0.543645-0.826620|每个因子都用幂函数表达时的类相关系数矩阵:|10.7524650.837132-0.5122700.7275770.7524650.837132Μ-0.5122700.727577|每个因子都用对数函数表达时的类相关系数矩阵:|1-0.743409-0.844581-0.544055-0.822814-0.743409-0.844581Μ-0.544055-0.822814|每个因子都用幂指函数表达时的类相关系数矩阵:|10.753805-0.853329-0.544107-0.8229330.753805-0.853329Μ-0.544107-0.822933|在上面的4个矩阵中M均为:|1-0.3346520.870364-0.270875-0.3346331-0.3047970.9793240.870364-0.3047971-0.175001-0.2708750.979324-0.1750011|上面的4个矩阵都是对称阵,且只有4个元素不一样,经排列可组合成44=256个不同的矩阵(即4个因子都有用4种初等函数来表达的可能,这样共有4×4×4×4=256种的组合方式),以供计算类偏相关系数.2.2.2计算各因子和应变量之间类偏相关系数由以上256个矩阵用(1)式计算得类偏相关系数,限于篇幅表2只列出最前最后的几个.2.2.3计算最大的合类偏相关系数根据给定的各因子的权重系数,计算最大的整体类偏相关系数,该例子的权重系数都为1.由(4)式计算可知:所取得最大的合类偏相关系数在第9号.2.2.4计算得到最大合类偏相关系数时表达各因子的初等函数类和相应的参数这时可得到(5)式的带待定系数的回归方程表达式.其中L(0)为常数项,L(1)-L(4)为因子1到因子4表达式的系数.y=L(0)+L(1)×ln(X0.2107021)+L(2)×e-4.230421×X2+L(3)×X32.271444+L(4)×X1.3547594(5)2.2.5用最小二乘法计算得到的回归方程该回归方程为:y=1.150899+0.315252ln(X10.210702)+0.171136e-4.230421X2-0.005597377X32.271444-0.786943X41.354759(6)2.3综合计算与比较2.3.1．2指函数由优化得到的各因子和应变量之间的最大类相关系为:因子1:0.753805,由幂指函数表达;因子2:-0.853329,由幂指函数表达;因子3:-0.544107,由幂指函数表达;因子4:-0.826620,由幂函数表达.经排列后计算各因子和应变量之间的最大类偏相关系数为:因子1:12.469637,在第187号,由幂指函数表达;因子2:-40.546737,在第173号,由幂指函数表达;因子3:-34.006877,在第48号,由幂指函数表达;因子4:-186.75024,在第9号,由对数函数表达.由此可见,由某一初等函数表达某一因子时取得最大的该因子类相关系数,不一定能同样取得最大的该因子类偏相关系数.如因子4由幂函数表达时取得和应变量最大的类相关系数,而它取得最大的类偏相关系数却用对数函数来表达.这主要是由于扣除了其它因子(因子1、2和3)的影响,因为因子4和应变量的相关关系可能通过因子1、2和3表现出来,只有扣除其它因子的影响,才能准确描述该因子与应变量的相关关系.最终的回归方程表达式,不是取得各因子最大类偏相关系数的初等函数的组合.如因子1用幂指函数表达取得最大的类偏相关系数时,因子2不一定是用幂指函数来表达,实际上是用幂函数来表达.最终的回归方程表达式是根据各因子的重要程度系数(权重系数)算出256个合类偏相关系数,由取得最大的合类偏相关系数(本例子在第9号)时各因子的表达初等函数(对数函数、指数函数、幂函数和幂函数)组成.2.3.2回归方程更能反映实验数据的内在规律用本方法计算的残差为0.01126.用中国科学院数学所开发的DSDP软件计算(用给定回归方程形式)得到的回归方程为:y=0.297145-0.260869X0.348591+6.67961×10-6X2-0.17842-0.50723X33.36874+1.138326X41.15479(7)残差为0.07859.由上面比较可知用本方法得到结果的残差更小,可见本方法得到的回归方程更能反映实验数据的内在规律.3各因子方法本文的侧重点是研究多元非线性回归方程表达式选择的思路和算法:(1)提出的合类偏相关系数能够根据各个