农林学类论文-论加权回归与建模.doc

农林学类论文-论加权回归与建模摘要：以加权回归估计方法为核心，对林业上常用模型的异方差性进行了研究，提出了能彻底消除异方差的最佳权函数。并对模型的评价指标进行了探讨，提出了评价通用性回归模型的3大指标，并分析了加权回归估计与这些评价指标之间的关系。最后对样本资料的收集进行了讨论，提出了收集建模样本应遵循的基本原则。关键词：加权回归建模异方差模型评价林业数表模型是森林经营决策必不可少的计量、预测、评价依据，保证模型质量至关重要，而样本组织、模型拟合方法和模型评价是保证质量的3个重要环节。实践证明，林业数表模型所描述的问题普遍存在异方差性，在模型拟合中若不采取消除异方差影响的有效方法，必然导致模型有偏。为此，一般可采取加权最小二乘法拟合模型，但在权函数的选择上尚存在两个有待进一步解决的问题：一是权函数的形式因模型所描述的事物的性质不同而异，确定最佳权函数十分繁琐；二是到目前为止，尚未找出能完全消除异方差的权函数。本文旨在提出一种可以完全消除异方差影响的权函数通式，并给出正确评价模型的指标体系及组织建模样本的基本原则。1加权回归的概念确定变量之间的回归关系，一般情况下是利用普通最小二乘法。假设随机变量y,其中，E(y)=f(x)。也就是说，随机变量y与x满足下列模型：y=f(x)+(1)式中的有3个基本假定，即“独立、正态、等方差”，它们是采用普通最小二乘法建立回归模型的先决条件。3个条件中的“独立”与“正态”在一般情况下都是基本满足的，而“等方差”这一条件，则在很多情况下都难以满足。为解决误差项的异方差性问题，应设法校正原有的模型，使校正后的模型其误差项具有常数方差，而模型的校正取决于方差2i与自变量xi之间的关系。假设i的方差与xi的函数g(xi)呈比例关系，即：2i=g(xi)2(2)这里2是一个有限常数。于是用去除原有模型，可使新模型的误差项具有常数方差。用这种方法估计模型中相应的参数，叫做加权最小二乘法(俞大刚，1987)。2权函数的选择2.1异方差性的基本概念根据回归估计理论，当建立的回归模型的误差项存在异方差时，必须采用加权最小二乘法来消除异方差对参数估计的影响。在林业上所涉及的许多数学模型，如材积模型、生物量模型、生长率模型、削度模型等，其误差项的方差都不为常数，而是随解释变量的变化而变化(骆期邦等，1992；曾伟生等，1992；曾伟生，1996)。一般而言，模型预估值随解释变量的增大而增大时，其误差项的方差也随解释变量的增大而增大，如材积模型和生物量模型；模型预估值随解释变量的增大而减小时，其误差项方差也随解释变量的增大而减小，如生长率模型。在残差图上反映出来，二者都为喇叭型。另外，预估变量的变化范围愈大，异方差性一般也愈明显。因此，采用适当形式缩小预估变量的变动幅度，可在一定程度上消除异方差性。如将材积转化为形数来建模，可将预估变量的取值大致控制在0.350.65的范围，使预估值的最大相差倍数从数千倍缩小至2倍以内，从而基本上消除了异方差性。将生长量转化为生长率再建模，也在很大程度上缩小了预估值的变动幅度，可明显削弱其异方差性。2.2权函数选择的研究现状上面提到的一些常用模型，由于存在异方差，因此必须选用适当的权函数来进行加权回归估计。关于这一点，近几年已经逐步有了认识。如对材积模型V=aDbHc的估计，一般认为选用权函数W=1/(D4H2)可有效地消除异方差的影响(骆期邦等，1992)；对生长率模型PV=aDbAc的估计，取权函数W=1/(D2A)效果较佳(曾伟生等，1992)。而且，还认识到了最合适的权函数是针对某一个模型而不是某一类模型(曾伟生，1992)。但是，针对一个具体的回归模型，如何确定其最合适权函数的问题仍然没有得到圆满解决。一般情况下，如果不具有异方差性形式的信息，可通过对剩余值ei=g(xi)进行试验，以挑选出一种合适的拟合形式(俞大刚，1987)。另外，也有人提出直接寻找方差S2ei与自变量xi的关系式S2ei=g(xi)，再以W=1/g(xi)为权函数进行加权回归，新模型的误差项方差S2ei就会近似为常数1。还进一步提出了较具通用性的抛物线形式的权函数，并取得了较好的效果(曾伟生，1996)。但是这样来确定权函数，一方面比较繁琐；另一方面也难保证抛物线形式能适合所有模型，尤其是含多个自变量的模型；再就是必须有比较大的建模样本才可能得到误差项方差与变量x之间的回归关系。诚然，在此基础上还可以作些改进，如：借鉴曾伟生文(曾伟生等，1997)中可变参数模型的设计，将狭义的抛物线形式y=a+bx+cx2扩展为广义的抛物线形式y=a+bxn+c(xn)2(n=0.5,1,2)以更好地适应各个模型不同程度的异方差性；从自变量集中选出最主要的变量(如材积模型中的直径)来构造权函数等。即使这样，效果仍然不太理想。2.3最佳权函数的确定前面已经提到，最佳权函数是针对某个模型而不是某类模型，即同类模型中不同的回归方程式应有不同的最佳权函数。基于这一认识，我们再来对一些经典模型及其合适权函数作进一步分析。不难发现，认为以W=1/(D2H)2为权函数效果较好的材积模型V=aDbHc,其参数b、c的估计值分别接近于2和1；以W=1/(D2A)为权函数的生长率模型PV=aDbAc,其参数b、c的估计值分别接近于1和0.5。最近笔者还发现，形如W=a(D2H)b的生物量模型，取W=1/(D2H)2为权函数效果也很佳，此时b的估计值接近于1。如果定义W=1/g(x)2为权函数，因为上述模型中的参数估计值与权函数中的相应参数值接近，故模型两边同时除以g(x)时，右边都近似等于参数a；若权函数中的相应参数取模型的参数估计值，则模型两边同除g(x)时右边就会恒等于参数a了。更进一步，若取：W=1/f(x)2(3)作为权函数，则模型两边同除以f(x)后得到的新模型，右边都等于1。可以证明，此时得到的新模型，其误差项的期望值为0，方差为常数。亦即，以模型本身构造的权函数就是要寻找的最佳权函数。这刚好应证了“不同模型有不同的最佳权函数”的观点。该模型为：y=f(x)+(4)两边同时除以f(x)得新模型：y=y/f(x)=1+/f(x)=1+(5)对新模型(5)采用普通最小二乘法进行估计(相当于原有模型(4)的加权回归估计)，有：(6)下面讨论新模型误差项的性质。期望值：E()=E/f(x)=Ey/f(x)-1由(6)式知，Ey/f(x)=1,故E()=0。方差：式中f(ei)为频数(董德元等，1987)。可用建模样本对上述方差D()作出如下无偏估计：因此，新模型误差项的期望值为0，其方差为常数，即对所有xi来说，每个i的方差都相同；满足等方差的条件。至此可以得出结论：以模型本身构造的权函数(3)式就是要寻找的最佳权函数。3模型评价与加权回归3.1回归模型评价指标建立回归模型，从一般的意义上讲有以下3个目的(刘璋温等，1983)：结构分析对观测数据进行分析，以便描述存在于解释变量与目标变量之间的结构关系；预测以已知解释变量的值来预测目标变量的未来值或期望值；控制为使目标变量的值保持在一个理想的水平上，而适当调整解释变量中可调整的变量值。在上述3个目的中，预测是最根本的。因为结构分析可以考虑为在更一般的条件下预测目标变量的变化问题，而控制可以考虑为针对解释变量的不同水平来预测相应的目标变量的值，以便从中选择最佳变量的问题。事实上，林业上的所有通用性数表的编制都可以看成是用于预测的超总体回归模型的建立问题。如何评价这类模型的优劣，一直是林业数表领域所面临的一个课题。关于回归模型评价的常用指标，包括残差平方和Q、剩余标准差S、复相关系数R、修正复相关系数R、参数变动系数(稳定性)、残差分布(随机性)、参数的可解释性以及信息量准则AIC和CP准则等(骆期邦等，1992；刘璋温等，1983；钟义山，1992；盛承懋等译，1989)。除此之外，笔者认为对用于预测目的的回归模型，尚需考虑以下4大指标：(7)(8)平均相对误差绝对值(9)预估精度(10)或，预估误差(11)式中：yi为实测值；i为预估值；n为样本单元数；t为置信水平时的t分布值；T为回归模型参数个数；为平均预估值，可由f()给出。另外，因为这类回归模型必须具有通用性质，需满足随自变量x从小到大时模型的上述指标应基本保持一致，所以还需分段对上述指标作出评价。应特别强调的一点是，因为相对误差公式一般表示为：从而在林业应用上对(7)（9）式过去几乎都是写成(预估值-实测值)/实测值，即习惯性地将实测值当成了真值。将实测值当真值正确与否，需视具体情况而定。如某一株D=20cm、H=15m的杉木，经实测其材积为0.24m3。如果用于立木材积的目测训练，正确的做法自然是将0.24m3作为该树的材积真值来检测每个人的目测水平；如果是用于立木材积表的编制，则0.24m3只是满足D=20cm、H=15m这一条件的某株杉木的材积实测值，在这种情况下不存在真值的概念，而只有实测值与预估值(或期望值)之分。误差计算在林业数表领域的应用基本上都是后一种情形，因此一般应采用前面给出的(7)(9)式。预估精度(10)式或预估误差(11)式是笔者提出的评价通用性模型的新指标，从后面的讨论将看到，它是反映模型预估效果的最重要的评价指标。它的成立需满足条件总体为正态分布这一前提条件。对于林业生产应用中的绝大多数情况，这一条件都是基本满足或近似满足的。3.2模型评价与加权回归为了说明加权回归方法对建立通用性模型的重要性，现以一组实测数据为例，来对普通最小二乘法和加权最小二乘法得出的模型进行评价。所用数据为杉木地上部分干物质生物量，采集自江西省德兴市的人工杉木林中。共计50株样木，来自6个样地，样地按幼、中、成3个龄组和中、好两个立地等级各分布1块。如果从建立立木生物量模型这一目的考虑，所用数据严格讲并不符合建模要求(后面将讨论到)，但用作不同方法结果的对比是可以的。表1给出了常规生物量模型W=a(D2H)b两种回归估计方法的对比结果，表2列出了(7)(10)式的评价指标值，其中包括将整个建模样本按胸径D的大小以株数平分为5段所算出的评价指标值。从表1、表2可以明显看出，尽管加权回归(特指按前面的最佳权函数(3)式加权，下同)的残差平方和为普通回归的2.1倍，剩余标准差为1.4倍，但按(7)(10)式所给指标进行分段检验的结果，加权回归模型明显优于普通回归模型。普通回归模型随自变量x从小到大各评价指标从劣到优，即主要只照顾绝对值大的样点，而对绝对值小的样点很少考虑。但是，加权回归模型却各段的检验结果基本一致，而且加权回归模型还有一个很好的特性，即总系统误差为0，这从(6)式可以推知。表1普通回归与加权回归估计的拟合结果Tab.1Fittingresultsofordinaryregressionandweightingregressionestimation方法Regressionmethod参数估计值(变动系数%)Parameterestimates(coefficientsofvariation%)统计指标StatisticalindicesabQSRR*普通回归Ordinaryregression0.029074(22.72%)0.94180(2.68%)2455.237.15200.991440.99126加权回归Weightingregression0.069923(11.01%)0.83353(1.92%)5137.9110.34600.982010.98163表2普通回归与加权回归估计的检测结果Tab.2Testresultsofordinaryregressionandweightingregressionestimation样本范围Samplesize普通回归Ordinaryregression加权回归WeightingregressionRSERMAPRSERMAP全部1.26958.0025.5994.364.200.0014.1892.30Total第1段SectionNo.143.35543.4554.3538.36-2.86-4.8610.4783.60第2段SectionNo.233.05400.1241.8461.384.1575.8222.9277.67第3段SectionNo.35.7465.248.1491.45-6.79-72.349.8891.54第4段SectionNo.4-4.67-58.4116.0386.10-6.87-91.6716.3585.71第5段SectionNo.50.497.607.6191.7210.7693.0611.2885.56需要说明的一点是，由于模型本身的参数是未知的(假定模型结构为已知模型结构设计也是建模的重要环节之一，本文不作讨论)，因此，只有事先得到其普通回归估计值，才能进行加权回归估计。严格来讲，以模型本身为权函数进行的加权回归估计，应该是权函数所赋参数值与回归估计得出的参数完全相等；如果不相等，应再以新的回归模型为权函数重新进行拟合。一般地，要达到完全稳定需经数次的反复拟合，而且参数越多，所要拟合的次数也越多。如上述表1中的例子，就经过