缺失数据下半参数单调回归模型估计.doc

缺失数据下半参数单调回归模型的估计滕广青 毛英爽2012-12-13 14:33:22来源：数理统计与管理(京)2011年6期第979988页内容提要：研究了响应变量缺失情况下半参数单调回归模型的估计问题。利用嵌入核估计的方法得到了参数部分的估计，在此基础上构造了非参数部分的单调约束最小二乘估计。证明了参数估计的渐近分布为正态分布，得到了非参数部分估计的收敛速度。通过随机模拟研究了有限样本量下估计的表现。关键词：缺失数据 半参数 单调回归 渐近性质 估计作者简介：孙志猛，中央财经大学（北京100081）；张忠占，杜江，北京工业大学应用数理学院（北京100124）。0引言考虑如下的半参数回归模型Y=+h（W）+，（1）其中，Y为响应变量，为p维解释变量，W为1维解释变量，为随机误差，满足E（|X，W）=0，为p维未知回归参数，h（）为未知回归函数，T表示转置。半参数回归模型是线性回归模型和非参数回归模型的结合。与线性回归模型相比，半参数回归模型对于描述响应变量和解释变量之间的数量关系具有更强的适应性；与非参数回归模型相比，半参数回归模型更容易解释，并且能够在一定程度上解决高维回归函数估计的“维数祸根”问题。Engle等1首先用半参数回归模型研究了天气因素对用电量的影响。之后，半参数回归模型被广泛地应用到不同的领域，见Heckman2，Spechman3,Schmalensee和Stoker4等。传统的半参数回归模型通常把h（）假定为某光滑函数，用核估计、惩罚最小二乘估计、样条估计或局部多项式估计等估计方法对h（）进行估计。在实际应用中，经常遇到响应变量和某些解释变量之间具有明显单调性的情形。当根据实际应用背景可以判断h（）为未知单调函数时，模型（1）变为半参数单调回归模型。Huang5研究了半参数单调回归模型的估计问题，并借助经验过程有关理论讨论了参数估计和非参数估计的渐近性质。Cheng6把Huang5的结论推广到了高维h（）的情形。与核估计、样条估计和惩罚最小二乘估计等估计方法相比，单调回归方法的优点是能够保证估计的单调性，并且由于该方法引入了单调性的限制，可以自动地选择“光滑”参数，而不需要去确定光滑参数或惩罚参数，从而避免了传统非参数统计方法经常遭遇的问题。这一点可以从单调回归估计的PAVA（Pool Adjacent Violators Algorithm）算法（见Robertson，Wright和Dykstar7）中清楚地看出。对非参数单调回归模型的研究是近年来统计研究的一个活跃分支。见Brunk8，Barlow，Bartholomew，Bremner和Brunk9，Wright10，Robertson，Wright和Dvkstar7，Hall和Huang11，Dette，Neumeyer和Pilz12，Mammen和Yu13等。本文在h（）为单调增函数的假设下讨论了响应变量出现随机缺失时模型（1）的估计问题；采用对缺失数据进行借补的方法处理缺失问题；把借补后的数据作为完全数据，采用单调回归的方法对未知单调函数进行估计。Huang5和Cheng6在完全数据下定义了和h（）的同时估计，估计的算法本身要求有一个初始估计。与Huang5和Cheng6的估计方法不同，本文首先得到了的相合估计，在此基础上定义了h（）的单调约束最小二乘估计。文章结构安排如下：第2节给出了参数部分和非参数部分的估计方法和估计的渐近性质；第3节通过随机模拟实验研究了有限样本量下估计的表现。附录部分给出了第2节中定理的证明。1估计方法及主要结果1.1估计方法其中1.2主要结果记定理1.2.1和定理1.2.2的证明见附录。2模拟比较本部分通过随机模拟实验探讨有限样本量下估计的表现。在实施模拟时考虑模型并画出了h（）的1000次模拟的平均估计曲线。模拟结果见表1，图1-图4（见下页）。从表1可以看出1）随着样本量的增加，估计的偏差的绝对值和方差均逐渐减小，说明估计的精度越来越高。2）缺失概率对估计的精度有明显影响。随着缺失概率的减小，估计偏差的绝对值和方差均逐渐减小，说明随着缺失概率的减小，估计的精度越来越高。从图1-图4可以看出1）随着样本量的增加，h的估计曲线（hhat（w）与真实曲线（h（w）的拟合程度逐渐变好，并且估计曲线的光滑程度越来越高。2）缺失概率对h的估计的光滑程度有影响，缺失概率越小，h估计光滑程度越高。附录在证明定理1.2.1和定理1.2.2之前先给出下面的几个引理。由大数定律可得不难看出再结合引理2和Slutsky定理可知定理1.2.1成立。证毕。定理1.2.2的证明记为证定理1.2.2，只需证由此立得（18）。定理1.2.2得证。证毕。参考文献：1Engle R F, Granger C W J, Rice J, Weiss A. Semiparametric estimates of the relation between weather and electricity salesJ. J. Amer. Statist. Assoc., 1986, 80: 310-319.2Heckman N. Spline smoothing in partly linear modelsJ. J. Roy. Statist. (Soc. B), 1986, 48: 244-248.3Speckman P. Kernel smoothing in partial linear modelsJ. J. Amer. Statist. Soc. (Set. B), 1988, 50: 413-436.4Schmalensee R, Stoker T M. Household gasoline demand in the United StatesJ. Econometrica, 1999, 67: 645-662.5Huang J. A note on estimating a partly linear model under monotonicity constraintsJ. Journal of Statistical Planning and Inference, 2002, 107:345-351.6Cheng G. Semiparametric additive isotonic regressionJ. Journal of Statistical Planning and Inference, 2009, 139:1980-1991.7Robertson T, Wright F T, Dykstar R. Order Restricted Statistical InferenceM. John Wiley and Sons, 1988.8Brunk H D. On the estimation of parameters restricted by inequalitiesJ. Ann. Math. Statist., 1958, 29: 437-454.9Barlow R E, Bartholomew D J, Bremner J M, Brunk H D. Statistical Inference under Order RestrictionsM. New York: Wiley, 1972.10Wright F T. The asymptotic behavior of monotone regression estimatesJ. The Annals of Statistics, 1981, 9(2): 443-448.11Hall P, Huang L S. Nonparametric Kernel regression subject to monotonicity constraintsJ. Annals of Statistics, 2001, 29:624-647.12Dette H, Neumeyer N, Pilz K F. A simple nonparametric estimator of a strictly monotone regression functionJ. Bernoulli, 2006, 12: 469-490.13Mammen E, Yu K. Additive isotonic regressionA. In: Erie A Cator, Geurt Jongbloed, Cor Kraaikamp, Hendrik P Lopuha, Jon A Wellner(eds. ). Asymptotics: Particles, Processes and Inverse Problems: Festschrift for Piet GroeneboomC. Beachwood, Ohio: Institute of Mathematical Statistics, 2007: 179-195.14Little R J A, Rubin D B. Statistical Analysis with Missing DataM. New York: Wiley, 1987.15Wang Q H, Linton O, Hrdle W. Semiparametric regression analysis with missing response at