（概率论与数理统计专业论文）单调bspline分位数回归与保序回归在单调数据中应用比较分析.pdf

、 卜 l i i i iluli i i i1 1 1 1 1 1 1iiil y 18 0 5 7 8 5 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究 工作所取得的成果。据我所知，除了特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果。对本人的研究做出重要贡 献的个人和集体，均已在文中作了明确的说明。本声明的法律结果由本人 承担。 学位论文作者签名：豇迓始 日期： 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规 定，即：东北师范大学有权保留并向国家有关部门或机构送交学位论文的 复印件和电子版，允许论文被查阅和借阅。本人授权东北师范大学可以将 学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其它复制手段保存、汇编本学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：幽 日 期：型旦! 篁! 弘 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名：勾盛 日 期：珥业土：苎。 电话： 邮编： i 、 1 丑 一 a 卜 、 声 ， 摘要 项目响应( i t e mr e s p o n s e ) 曲线遍布经济、医药科学、金融等各个领域，它 具有明显的单调性，用于拟合这类曲线的数据呈现出这样的性质：即虑去噪声适 合一个单调函数，称为单调类型数据。研究拟合单调类型数据方法很有意义，如 今已有一定的研究，本文主要对x u m i n gh e ( 1 9 9 8 、1 9 9 9 ) 单调b - s p l i n e 分位数 回归( 光滑) 方法在b - s p l i n e 函数空间中求解限制条件( 单调条件) 下最 小化绝对值误差和保序回归方法进行比较分析。首先分别介绍两种方法的模型、 算法等，然后对几个光滑和不光滑单调数据例子使用r 软件模拟，通过拟合曲线 以及标准i = n - 1 ( 厂( t ) 一( ) ) 2 进行比较分析。结果显示单调b - s p l i n e 分位数回 百 归方法对光滑数据模拟效果明显比保序回归好，而且保序回归对异常值尤其是末 端异常值很敏感，但是不光滑数据特别是由某些折线形函数产生的数据 b - s p l i n e 分位数回归拟合不好，一方面拟合曲线形状上与实际的差异，一方面 表现为多次试验i 的方差大。 关键词：单调b - s p l i n e 分位数回归保序回归平方误差i a b s t r a c t i t e mr e s p o n s ec u r v e sa r ew i l du s e di nt h ea r e ao fe c o n o m i c s ，m e d i c a ls c i e n c e ， f i n a n c ea n ds oo n t h e ya r eo b v i o u sm o n m o n i c t h e nd a t au s e di nf i t t i n gs u c hc u r v e s h a st h ep r o p e r t yt h a tf i t sam o n o t o n ef u n c t i o nt of i l t e ro u tn o i s ei nd a t a t h i sk i n do f d a t ai sn a m e dm o n o t o n i cd a t ah e r e s m d yr e g r e s s i o no ft h em o n o t o n i cd a t ai su s e f u l n o wt h e r ea r es o m ew a y so nr e g r e s s i o nm o n o t o n i cd a t a i nt h i sa r t i c l e ，w em a i l y c o m p a r em o n o t o n eb s p l i n eq u a n t i l er e g r e s s i o nw h i c hs o l v e sm i n i m a xa b s o l u t ee r r o r o fh u m i n gh e ( 19 9 8 ，19 9 9 ) w i t hi s o t o n i cr e g r e s s i o n i na p p l i c a t i o no fm o n o t o n i c d a t a f i r s t w ei n t r o d u c et w om e t h o d si n c l u d i n gt h e i rm o d e l sa n da r i t h m e t i c t h e n s i m u l a t ei ns m o o t h i n gm o n o t o n i cd a t a a n dn o n s m o o t h i n gm o n o t o n i cd a t aw i t h s o f t w a r er c o m p a r e df i t t e dc u r v e sa n dt h em e a s u r ei = y 一( 厂( 一) 一厂( x ，) ) 2 ，w e t = l d r a wac o n c l u t i o nt h a tm o n o t o n eb s p l i n eq u a n t i l er e g r e s s i o nt k s b e t t e rt h a ni s o t o n i c r e g r e s s i o ni ns m o o t h i n gm o n o t o n i cd a t a b u ti nn o n - s m o o t h i n gm o n o t o n i c t h ew a yo f m o n o t o n eb - s p l i n eq u a n t i l er e g r e s s i o ni sn o tg o o d t h i sd i s p l a y e dt w os i d e s o n ei s t h ed i 位r e n c e sb e t w e e ne s t i m a t e dc 1 u v ew i t hr e a lc u r v ei ns h a p e t h eo t h e ri s t h a t v a r i a n c eo f1w h i c ho b t a i n e df r o m2 0 0t i m e se x p e r i m e n t si sb i g g e r k e y w o r d s ：m o n o t o n e ，b - s p l i n eq u a n t i l er e g r e s s i o n ， i s o t o n i c r e g r e s s i o n ， s q u a r ee r r o r i i l 粕 _ 一 、 p 目录 摘要i a b s t r a c t i i 目录i i i 1 引言1 2 单调b - s p l i n e 分位数回归方法3 2 1 基本模型3 2 2 问题( 2 ) 解的结构分析3 2 3 经由b - s p l i n e 估计f ( x ) 4 3 保序回归8 3 1 定义8 3 2 算法( p a v a ) 9 4 模拟1 0 模拟1 1 0 模拟2 1 1 5 结论1 7 参考文献1 8 致谢2 0 i i i 一t 1 引言 在统计问题中，项目响应( i t e mr e s p o n s e ) i 抽线，如生长曲线，体重或者身高随时间增 长的关系曲线，具有明显的单调性，用于拟合这类曲线的数据呈现出这样的性质：滤去 数据中的噪声适合一个单调函数，这里称这样的数据为单调类型数据。这样有单调要求 的数据拟合例子遍布经济、医药科学和物理等各个领域，所以研究这类单调类型数据拟 合方法很有意义，数据拟合的一般方法就是回归，在这里我们研究在单调限制条件下的 回归方法，即是己知数据 x iy 。) ：，回归变量y 关于x 的未知单调函数f ( x ) 。常常使用 一个衡量标准回归拟合，一般是最小化平方误差( 最, j , - - 乘法) 或最小化绝对值误差( 最 小一乘法) ，这里我们即是考虑满足单调限制下求解最小化平方误差或最小化绝对值误 差。研究单调限制条件下回归方法的文章很多，方法也有一些，如保序回归方法，见 b a r l o we ta 1 ( 1 9 7 2 ) ；以及保序回归结合一些光滑方法的，如j e r o m ee ta 1 ( 1 9 8 4 ) 结合 s c a t t e r p l o ts m o o t h i n g 方法，m a m m e n ( 1 9 9 1 ) ，m u k e r j e e ( 1 9 8 8 ) 在保序回归之前或之后结 合核光滑等，这些光滑手段常常使拟合光滑曲线效果很好，但也容易出现拟合之后不满 足保序关系的状况或者说不易拟合出光滑的单调曲线；也有用一个简单的多项式， h a w k i n s ( 1 9 9 4 ) ；r a m s a y ( 1 9 8 8 ) 用i - s p l i n e 估计还有x u m i n gh e ( 1 9 9 8 ) 单调b s p l i n e 分位数 回归( 光滑) 。本文主要对x t t m i n gh e ( 1 9 9 8 、1 9 9 9 ) 的单调b s p l i n e 分位数回归( 光滑) 方法和保序回归( i s o t o n i cr e g r e s s i o n ) 方法在单调数据应用中进行比较研究。 传统的回归最小化平方误差，建立在假设因变量y 和自变量x 有关系 e ( y i x ) = f ( x 计占基础之上，而单调b s p l i n e 分位数回归是最小化绝对值误差，是因变量 y 对自变量x 的条件分位数回归拟合模型，即q v ( fx ) = f ( x ) ，再经过用b - s p l i n e 表示 转化为线性规划求解。这种方法能够获得更多完全的分位数曲线估计图，如果条件分布 是对称的，那么平均数和中位数曲线是一致的。保序回归方法是在一定序要求下回归得 到单调函数( 没有显式) ，对于我们不知道要拟合的曲线形状时更显现出其意义，能够 拟合出曲线大致走向。 本文分为四部分，第一部分介绍单调分位数b s p l i n e 回归方法的基本模型基于 单调的限制条件下最小化绝对值误差，解的结构以及计算方法经由b s p l i n e 转化到 线性规划求解。b s p l i n e 实际也是多项式函数，我们知道一个初等函数均可用多项式近 似表示出，但次数高了遇见有异常值变化很大，而用b s p l i n e 可以降低次数。在单调分 位数b s p l i n e 回归中取一次或二次的曲线使问题很容易的成为线性规划问题。这种方法 已经形成统计软件r 中的软件包c o b s ，直接运行程序估计非常快捷。第二部分介绍什么 是保序回归，保序回归的存在性与唯一性及其算法，文中介绍了 p a v ( p 0 0 1 a d j a c e m v i o l a t o r s ) 算法，见b a r l o we ta 1 ( 1 9 7 2 ) ，是基于保序关系限制下最小化 1 2 2 单调b - s p iir e 分位数回归方法 给出一组数据 ( 五，y 。) ，( x 2 ，y 2 ) ( ，乩) ) ，且口 x i ， “ 解得厶，厶( x ) = 口，b j ( x ) 。 j = l 用二次的b - s p l i n e 及“lr o u g h n e s s ”同样转化成线性规划2 呀n 乱一喜巳驰扣峄蔷n 谚c z ，州剞， s , t 口，e ( f ，) o ，i = 0 ，吒 营艘，喜卜一蔷n 口，ec t ，| + 旯仃，p = c 啦，嘶，仃， s , t - o r 。又f 是凸集，所以 m ( f o ) = m ( 2 9 + ( 1 - 2 ) f ) g ( x ，) ，这种情况称x ，x i _ 为 反序对，这时x 。，一一。的函数值用它们的均值代替，即 g ( x ，) = g ( 一一) = 曼! 苎= ! ! 亟兰= 立星! 兰! 丛兰! ，g + ( x ) 2 9 ( _ ) ，j i ，i 一1 。重复这个过程 w ( x t 一1 ) + w ( 而) 直到g 是有序的。这样得到g 的估计g 为： g ( 而) = 而 g ( ) w ( x ，) 2 9 ( x s ，) 2 旦1 一 w ( 一) ，= l g ( 誓) w ( x ，) g ( x 。+ 1 ) = ：2g ( x 。：) 2 = ! ：j ：! - w ( x ，) 。 即把数据分成了几块。 下一节我们取有限样本用这两种方法模拟，一方面比较模拟曲线图，一方面给出一个衡 量标准平方误差均值i = n - z ”( f “( 一) 一厂( x ，) ) 2 进行比较。在下面的模拟中，单调分位数 j = 1 b - s p l i n e 回归方法采用由r 软件自动选择节点或兄的形式( 即2 3 3 介绍的方法) ，保序 回归使用p a v 算法，且w ( x ) = l 。 9 模拟1 4 模拟 考虑样本点 x i , y 。 i = l ，2 ，1 1 ，由y = e 。+ 8 ( 1 ) ，s n ( 0 ，1 ) 生成，x ，取自( o ，2 ) 均匀分布。 分别取3 0 个、1 0 0 个、3 0 0 个样本模拟，并数据中间位置、两端位置有异常值模拟，其 中几个模拟图见图l a ，1 b ，1 c 。可以看出单调分位数b s p l i n e s 回归方法拟合曲线优于保序 回归方法，更稳健，这与分位数稳健有关系；保序回归方法对尾部异常点非常敏感。用 h 衡量标准i = n - 1 ( ( 薯) 一厂( 一) ) 2 对3 0 个样本、3 0 0 个样本模拟2 0 0 次i 的箱线图见图 百 2 a ，2 b ，也显现出单调分位数b s p l i n e s 回归方法更好一些。 光滑数据拟合显示了单调b s p l i n e s 分位数回归方法的优越性，对于不光滑的数据是不 是仍然比保序回归方法好呢? 见模拟2 中几个不光滑数据例子。 图1 a 1 0 图l b 图2 a 图2 b 模拟2 ( 1 ) 样本基于厂( x ) = 1 2 一q x 3 一, x 4 ( ) 2 ，2 戈2 ( 2 ) 生成，【2 ，2 】均匀取1 0 。个、【2 ，4 】取5 。个t ， 误差占n ( o ，1 ) 拟合图见图3 a ，重复2 0 0 次试验两种方法箱线图见图3 b ，保序回归i 值略 大，但从带子图3 c ( 保序回归) 、3 d 看保序回归的带子图形状与实际相符，而单调b s p l i n e 分位数回归明显在不可导点附近拟合不好，导致图形与实际有偏差。逐渐减小误差发现 保序回归方法拟合的i 值减小较快，并能达到小于单调b s p l i n e 分位数回归i 均值；同 样增加样本数量，也使得保序回归拟合较好，如9 0 0 个样本占n ( 0 ，1 ) 2 0 0 次试验保序回 归方法i 值小。 塞j 生! ! 亟蒸盔堂亟堂焦诠窒 c 2 ，样本点“，乃，i 一，幺n ，基于厂c x ，= 3 x 苫3 , x ： 要0 f t + 占c 3 ，生成，薯取自c 。，2 ，均匀 分布，分别取6 0 个、3 0 0 个样本，误差占n ( 0 ，0 5 ) 或s n ( 0 ，1 ) ，重复试验2 0 0 次，结 果显示保序回归方法的i 一般小于用二次b s p l i n e 分位数回归的结果，但有时i 的均值 大于一次b s p l i n e 回归结果，而标准差要小于b s p l i n e 回归。见表一( 2 0 0 次试验i 的 均值及标准差) 。同时做了6 0 次试验的拟合图，见图4 a 、4 b 、4 c 分别为二次b s p l i n e 分位数回归、保序回归、一次b s p l i n e 分位数回归6 0 次拟合带子图。很明显二次b s p l i n e 分位数回归拟合不好，一次带子虽然较窄，但折处差异较大，而保序回归整个带子图是 很接近真实曲线的。增加折点。 ( 3 ) 拟合函数 f ( x 、= 3 x 0 鬟芝等( 4 ) _ 取自( 0 ，2 ) 均匀分布，通过模拟发现样本多少、误 1 3 x 4 差大小都不影响保序回归拟合结果好于一次、二次b s p l i n e 分位数回归，但有时i 的均 值略大于光滑( 旯0 ) 曲线，同时i 的方差仍较小。见表- - y u 得2 0 0 次试验i 均值标准 差比较。带子图5 a 、5 b 、5 c 、5 d ，明显看出保序回归带子形状接近原曲线，光滑拟合在 “折点”小邻域之外位置拟合的很好。箱线图6 a 、6 b 可见保序回归与光滑b - s p l i n e 拟 合相差很小，带有惩罚项的拟合好于不带有惩罚项的b s p l i n e 分位数回归。 图3 a 1 2 图3 b j i j 图3 c图3 d 表一：2 0 0 次试验i 的均值及标准差比较( 模拟函数( 3 ) ) 6 0 n ( 0 。1 )6 0 ，n ( 0 ，0 5 )3 0 0 。n ( 0 ，0 5 )3 0 0 ，n ( 0 ，1 ) m e a n ( 保序) o 1 0 6 4 3 8 60 0 4 5 2 3 8 9 60 0 1 3 7 1 0 2 9 0 0 4 2 6 4 6 4 7 s d ( 保序) 0 0 7 9 6 5 9 7o 0 1 7 4 1 1 9 00 0 0 4 0 7 5l5 90 0 1 6 0 2 4 1 0 m e a n ( r b s ) o 1 4 4 5 3 7 10 0 5 9 5 2 9 50 0 1 6 7 4 4 0 80 0 4 4 0 0 2 5 6 s d ( r b s ) 0 1 0 4 9 9 4 00 0 2 9 7 3 6 2 50 0 0 519 6 7 3 30 0 1 5 3 4 4 7 9 m e a n ( r b s l ) 0 4 8 2 9 2 310 0 4 2 3 8 2 0 70 0 1 9 6 2 7 6 10 0 3 7 5 9 7 9 7 s d ( r b s l ) o 6 1 7 8 1 7 3o 0 1 9 6 9 1 0 30 0 0 51 2 7 6 2 l0 0 1 5 0 1 4 7 9 m e a n ( s b s ) 0 4 4 4 8 6 710 0 8 2 6 9 0l0 0 1 4 3 7 9 3 40 0 7 7 1 5 2 8 5 s d ( s b s ) 0 5 2 8 2 1 6 0 0 3 3 1 6 1 2 70 0 0 8 8 5 3 2 5 40 0 2 0 9 6 38 6 1 3 1 0- 0 50 00 5 d1 _ 52 o 1 0- 0 50 00 51 01 52 o 1 o- 0 50 0 x 图4 b 10- 0 50 0 0 51 o152 o o o o 0 5101 52 0- 1 o- 0 50 0 x 图4 c - 1 0- 0 50 00 51 01 52 0 图4 d 0 51 o1 j2 o 如右三图样本3 0 0 拟合图，带子均变窄，任然是保序回归形状与原曲线相近，而且也能 发现末端若有异常值对回归效果的影响。 1 4 ， 表二：2 0 0 次试验i 的均值及标准差比较( 模拟函数( 4 ) ) 4 0 0 ，n ( 0 】)4 0 0 n ( 0 ，0 5 ) l6 0 。n ( 0 ，0 5 ) 1 6 0 ，n ( 0 ，1 ) m e a n ( 保序) 1 1 4 2 1 0 91 1 0 0 6 7 51 4 7 7 2 5 31 5 4 7 8 6 2 s d ( 保序) 0 0 9 6 6 4 6 8 20 0 5 3 8 9 4 3 60 1 0 8 3 8 3 40 2 0 7 7 2 9 5 m e a n ( r b s ) 1 2 6 0 9 7 61 2 4 0 9 2 91 6 4 4 0 6 61 6 7 4 2 7 6 s d ( r b s ) 0 1 0 5 0 4 3 70 0 5 6 7 0 9 1 60 11 9 4 9 7 90 2 2 5 8 4 9 9 m e a n ( r b s l ) 1 3 0 3 6 5 l1 2 4 0 5 7 21 6 9 3 7 3 91 7 3 9 5 5 8 s d ( r b s l ) 0 1 2 0 5 8 9 50 0 8 3 9 8 2 5 30 1 4 9 0 7 0 6 0 2 4 3 6 9 81 m e a n ( s b s ) 1 1 3 0 9 0 91 1 0 6 6 6 71 4 7 9 0 4 41 5 1 7 6 8 5 s d ( s b s ) 0 1 2 7 1 2 3 70 0 7 3 8 0 0 7 70 1 2 7 4 6 2 40 2 13 6 3 3 8 d2 图5 a o24e 图5 c o2 图5 b o 24e 图5 d 。 ， 。 图6 a 州图o l 图6 b 从这三个例子可以看出对于不光滑的数据保序回归方法在拟合的曲线形状上更好一些， 而且比较2 0 0 次试验i 值的标准差也较小。从实验拟合的几组图形上可以看出用c o b s 拟合常常是在不可导点或折点附近拟合很差，对于折线，折点对单调b s p l i n e 分位数回 归影响更大。有时采用带有惩罚项的即光滑单调b s p l i n e 分位数，常常在折点处虽然不 是“折”的，但其他部位和原图还是接近的。如果我们调动节点位置，比如有时把节点 取在不可导点或其附近有时可以改善拟合结果，但实际问题我们并不知道不可导点位 置。 1 6 i 5 结论 通过以上模拟研究，可以认为对于光滑单调数据拟合采用单调b s p l i n e 分位数回归 方法更好一些，而不光滑的数据，从拟合曲线形状上看认为保序回归更好一些，当数据 适合曲线为折线如拟合中所举例子很适合使用保序回归方法模拟。虽然保序回归方法不 能得出拟合曲线表达式并且不光滑( 整个曲线是折线形的) ，但它仍能反映出拟合曲线 的大致形状，多次试验拟合带子图形状与实际曲线相符，这对我们研究也很有意义。 这两种方法存在的问题希望进一步研究得以解决，比如单调b s p l i n e 分位数回归方 法拟合受不可导点影响。我们思考是不是在不可导点取节点能否使拟合效果好，如果可 以如何由数据“发现”不可导点；对于分段函数几段使回归效果水平最低。保序回归方 法不光滑，当然存在一些光滑手法，同时对异常值很敏感，对于这个问题，如果采用逐 个去一点的方法剔除异常值，即是去一点( x ，y ，) 其他点进行模拟，得到拟合曲线厂一， ) ， 然后比较结果i ，i 最大相应( x iy ，) 去掉，以厂一，( x ) 为拟合曲线。这样可以降低一点儿异 常值影响见图1 a ，但如果数据量大逐一排除工作量就很大了。由于多次试验的带子图显 现出保序回归带子图形状上与实际曲线相符，那么用多组数据做重复试验能得到曲线的 基本形状。 1 7 参考文献 【1 】j i a n h u ah u ，x u m i n gh ee t a 1 ( 2 0 0 7 ) ，n o n - p a r a m e t r i cq u a n t i f i c a t i o no fp r o t e i nl y s a t e a r r a y a , 【j b i o i n f o r m a t i c s15 ，19 8 6 19 9 4 2 】h e ，x a n ds h i ，p d ( 19 9 8 ) ，m o n o t o n eb - s p l i n es m o o t h i n g , j - j o u r n a lo ft h ea m e r i c a n s t a t i s t i c a la s s o c i a t i o n7 ，6 4 3 - 6 5 0 【3 】h e ，x a n dn g p ( 19 9 9 ) ，c o b s ：q u a l i t a t i v e l yc o n s t r a i n e ds m o o t h i n gv i al i n e a r p r o g r a m ，【j 】c o m p u t a t i o ns t s t i s t i c s 【4 】k o e n k e r , r a n db a s s e t t ，g i l b e r t ，j ( 1 9 7 8 ) ，r e g r e s s i o nq u a n t i l e s , 【j 】e c o n o m e t r i c4 6 ， 3 3 3 5 【5 】k o e n k e r , r ，n g ，p a n dp o r t n o y , s ( 1 9 9 4 ) ，q u a n t i l es m o o t h i n gs p l i n e s , j 】c o m p u t a t i o n s t s t i s t i c sa n dd a t aa n a l y s i s2 2 ，9 9 - 118 6 】p o r t o , s ( 19 9 7 ) ，l o c a la s m p t o t i c sf o rq u a n t i l es m o o t h i n gs p l i n e s , 明a n n a l so fs t a t i s t i c s 2 5 ，4 14 4 3 4 【7 】p o r t n o y , s a n dk o e n k e r , r ( 1 9 9 7 ) ，t h eg a u s s i a nh a r ea n dt h el a p l a c i a nt o r t o i s e ： c o m p u t a b i l i t yo fs q u a r e d - e r r o rv s a b s o l u t e - e r r o re s t i m a t o r s ( w i t hd i s c u s s i o n ) , j s t a t i s t i c a ls c i e n c e12 ，2 7 9 2 9 6 8 】r a m s a y , j o ( 1 9 8 8 ) ，m o n o t o n er e g r e s s i o ns p l i n e s i n a c t i o n , s t a t i s t i c a ls c i e n c e3 4 2 5 4 4 1 【9 】c l e v e l a n d ，w ( 1 9 7 9 ) ，r o b u s tl o c a l l yw e i g h t e dr e g r e s s i o na n ds m o o t h i n gs c a t t e r p l o t s 【j 】j o u r n a lo ft h ea m e r i c a ns t a t i s t i c a la s s o c i a t i o n7 4 ，8 2 9 8 3 6 【l o e i l e r s ，p h c a n dm a r x ，b d ( 1 9 9 6 ) ，f l e x i b l es m o o t h i n gw i t hb - s p l i n e sa n dp e n a l t i e s , 【j 】 s t a t i s t i c a ls c i e n c e11 , 8 9 - 10 2 【1 1 】h e ，x ( 1 9 9 7 ) ，q u a n t i l e s 谢t hc r o s s i n g ， j 】a m e r i c a ns t a t i s t i c i a n s5 1 ，1 8 6 1 9 2 【1 2 f r i e d m a n ，j a n dt i b s h i r a n i ，r ( 1 9 8 4 ) ，t h em o n o t o n es m o o t h i n go fs c a t t e r p l o t s 【j 】