（概率论与数理统计专业论文）基于单调三次样条的数据分析.pdf

摘要 函数估计是非参统计中经常研究的问题，其中单调函数经常出现在经济和许多其他的学 科中，例如：需求供应曲线，公司破产概率和持有危险资本的关系函数，表示小孩随时间生长 模式的函数等在很多应用中，我们可以认为潜在函数有一个定性性质：单调性，因此，把单 调信息加入到一个函数估计过程会有更好的结果 本文选用单调三次样条函数做潜在函数估计首先根据这个样条的性质得到一个序约束 最小二乘估计，用这个模型对一个单调函数做了模拟，并且找到了模型中参数的合理取值这 样得到的模拟函数在整个定义域上都是单调的，而且有足够的光滑性，模拟曲线和理论曲线很 接近，模拟结果表明这个方法很好最后利用这个方法对一组剂量反应数据作了分析 关键词：函数估计：单调三次样条；序约束最小二乘估计 a b s t r a c t f u n c t i o ne s t i m a t i o ni saw e l l - s t u d i e dp r o b l e mi nn o n p a r a m e t r i es t a t i s t i c s ，m o n o t o n ef u n c t i o n $ a r i s ef r e q u e n t l yi ne c o n o m e t r i c sa n dm a n yo t h e rd i s c i p l i n e s e x a m p l e si n c l u d ed e m a n da n ds u p p l y c u r v e ，f u c t i o n sr e l a t i n gt h ep r o b a b i l i t yo ff u mi n s o l v e n c yt oh o l d i n gar i s k ya s s e t sa n df u n c t i o n s r e p r e s e n t i n gc h i l d r e n sg r o w t hp a t t e r n st h r o u g ht i m e ，a n ds oo n i nm a n ya p p l i c a t i o n s ，t h eu n d e r l y i n g f u n c t i o ni sb e l i e v e dt op o s s e s saq u a l i t a t i v ep r o p e r t ys u c ha sm o n o t o n i c i t y , s ot h a ti n c o r p o r a t i n ga m o n o t o n i c i t yi n f o r m a t i o ni n t oae s t i m a t i o np r o c e d u r ec a nd e r i v eb e t t e rr e s u l t i nt h i sp a p e r , w ee s t i m a t et h eu n d e r l y i n gf u n c t i o nu s i n gm o n o t o n ec u b i cs p l i n ef u n c t i o n f i r s t l y , w e d e r i v eao r d e r - r e s t r i c t e dl e a s ts q u a r e se s t i m a t em o d e l ，t h r o u g ht h ea n a l y s i so fc h a r a c t e ro ft h em o n o - t o n ec u b i cs p l i n ef u n c t i o n t h e nw ef i tam o n o t o n ef u n c t i o nb yt h i sm e t h o da n df i n dar e a s o n a b l e v a l u eo f , t t h er e s u l t i n ge s t i m a t e dr e g r e s s i o nf u n c t i o ni sm o n o t o n ei nt h ew h o l ed o m a i na n da l s oh a s e n o u g hs m o o t h n e s s i ti sv e r yc l o s et ot h et h e o r e t i c a lf u n c t i o n , w h i c hp r o v e st h i sm e t h o d f i n a l l y , w e a n a l y s eag r o u po fd o s e r e s p o n s ed a t ab yt h i sm e t h o d k e y w o r d s ：f u n c t i o ne s t i m a t i o n ；m o n o t o n ec u b i cs p l i n e ；o r d e r - r e s t r i c t e dl e a s ts q u a r e se s t i m a t e 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究 工作所取得的成果。据我所知，除了特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果。对本人的研究做出重要贡 献的个人和集体，均已在文中作了明确的说明。本声明的法律结果由本人 承担。 学位论文作者签名： 兰金堑圣 日期： 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规 定，即：东北师范大学有权保留并向国家有关部门或机构送交学位论文的 复印件和电子版，允许论文被查阅和借阅。本人授权东北师范大学可以将 学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其它复制手段保存、汇编本学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：盆孟墨 日 期芈 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名： 日期： 电话： 邮编： 东北师范大学硕士学位论文 引言 考虑一个回归问题。 弘= f c x , ) + 龟，i = 1 ，刀， 其中墨是提前设定的点，满足a x l x 2 2c i = 0 ( 2 1 ) t - 1t i = 1i = 1 其中“劫 勋 f = 1 - ( g i 一而) 2 纰 ( 3 1 ) 其中蜀，局，墨为闭凸锥， o o 这个基于序约束条件的最小二乘的简单迭代算法如下： i n i t i a l i z e g o r2 璺如，l = 而。2 = = l o ，r 三0 ， ，2 = 1 s t e p0 ，1 ) 岛。1 = p 嘛一1 。，一厶一1 ，1ik 1 ) ，厶。1 = 劭，1 一( 踟一1 ，一厶一1 ，1 ) s t e p ，2 ) g k 。2 = p 1 一厶一1 2fk 2 ) ，厶，2 = 颤，2 一协。i 一厶一1 ，2 ) ： s t e p0 ，力踟。，= p c 踟，一1 一厶一1 ，l 墨) ，厶，r = 岛，一( ，1 一厶一1 ，) 这里彤ik ) 表示f 在局上的投影，厶，j ，待1 ，2 ， 为第n 轮在局上投影后的改变量 做第一轮投影时，由于i o 1 = 而2 = = o ，三0 ，所以被投影的量就是上一次投影后的结果从 第- g e 投影开始，每次在局上投影之前，都将上一轮在鹭上投影后的改变量去掉这样做下 去，直到n o o ，算法收敛到理想解d y k s t r a 在1 9 8 3 年给出下面定理保证这个算法收敛： 定理2 ；对于所有的j = 1 ，当n 一时，向量岛收敛到( 3 1 ) 的真实解 证明：见d y k s t r a ( 1 9 8 3 ) 6 东北师范大学硕士学位论文 2 2 基于序约束的最小二乘算法的应用 这一节我们根据自己提出来的模型来应用这个算法 一将约束条件( 2 1 ) 转化成所需的形式： 令= 名lc i ，则，o ，= 1 ，力一1 即： 局= ( ( 口，b ，u i ，巩一1 ) 7 1 6 0 ) 憨= ( 口，b ，u l ，一1 ) 7 i u i 0 1 k 3 = 0 ，b ，u 1 ，一】) 7 i u 2 0 ) 局= ( 口，b ，矾，“一1 ) 7 i 一120 ) 令口= 0 ，b ，c l ，“一l y ，卢= ( 口，b ，u l ，以一1 ) r ，则口= 邛，这里的t 定义如下： t = l0o0 0 o1ooo 0 0100 o o一11o o o0o o 0 0 o 一1 1 则一1 + c n = 0 与( 口，b ，矾，巩一1 ) n 各l 为营条件( 2 1 ) 二做序约束最d x - - 乘回归； 令y = o l ，y 2 ，朋，o ) r x = 1 x 1 0 1 恐( 扔一x i ) 3 o o o 0 1 而0 一x 1 ) 3 ( h x 2 ) 3( 渤一x n - 1 ) 3 0 0 顺( 翔一而) 颂( x 2 一岛) 领一l 一而) 令p = 娩= ( 双x 1 ) ，g ( x 2 ) ，g ( x n ) ，颂銎lc l x i ) r ，则m 咄他，局( r - e ) 2 的解就满足要求 将y 对p 做线性回归，得到声在k o = 1 ，刀) 上投影，循环多次逐步更新夕 通过设定n 的值，选取不同的a 值，将拟合结果与原数据作图比较，选择较好的五值 7 东北师范大学硕士学位论文 3 模拟 用上面的方法对函数y = 5 x + l 进行模拟选取x 的区间为 o ，1 ，在这个区间上等间隔取5 个数作为数据中的x 取值，与每个而对应的乃= 5 x ，+ 1 + e i ，其中e i 独立同分布与正态分布 n ( 0 ，9 ) ，扛1 ，5 ，这样就产生了5 对数据，下面用这些数据做模拟，找到a 的合适取值通过 反复试验知n = 1 0 0 0 时算法已经收敛，所以所有的图像都取n = 1 0 0 0 在这里a 分别取0 1 1 ， 每间隔0 1 取一个值，1 1 0 ，每间隔1 取一个值，1 0 1 0 0 ，每间隔1 0 取一个值，1 0 0 1 0 0 0 ， 每间隔1 0 0 取一个值 在模拟的过程中发现，五从0 8 开始图像就不再变化了，下面三个图像中的五取值分别为 0 1 ，0 8 ，8 0 ，8 0 0 ( 实线表示模拟曲线，长点虚线表示理论曲线，短点虚线表示数据曲 线) ( 1 3 ) ( 1 2 ) 8 ( 1 4 ) 东北师范大学硕士学位论文 这四幅图都是用同一组数据拟合得到的，所以具有可比性。每幅图中的拟合曲线都呈线性 上升，其中图( 1 1 ) 中的拟合曲线与理论曲线交点横坐标为o 6 5 ，而其它三幅图拟合曲线与理 论曲线交点横坐标为0 。5 5 ，更接近区间 o ，1 的中间位置，所以图( 1 1 ) 中y 的取值范围大于其 它三个图中y 的范围，这就说明图( 1 2 ) ，( 1 3 ) 与( 1 4 ) 的拟合效果比( 1 1 ) 好但是这里若将 矗取很大，在做最小二乘时会使：lc i x i _ 0 ，这样函数g ( x ) 成为线性的，不是我们提的这种情 况，所以这里选取a = o 8 ，下面的数据分析就用这个值来算 9 东北师范大学硕士学位论文 4 实际数据分析 在这部分，我们考虑一个来自带羰基铁的食谱营养研究的例子这是一个剂量- 反应数 据，剂量有0 ，1 5 ，3 5 ，5 0 ，1 0 0 五个水平，对应黑鼠的葡萄糖水平如下表： 我们把黑鼠的葡萄糖水平作为响应变量，葡萄糖水平高被视为异常，极高的水平就认为黑 鼠得糖尿病下面应用上面算法做数据拟合 由于这个算法在刀_ o o 时收敛，但是已经知道循环次数n = 1 0 0 0 时已经收敛，所以考虑到 运算速度，下面的拟合图像都选取n = 1 0 0 0 ，这2 2 组数据中葡萄糖水平变化范围是5 5 1 7 2 ， 最大值与最小值之差小于1 2 0 ，现在根据这个把得到的拟合图像分成2 种类型； 1 0 东北师范大学硕士学位论文 一、拟合数据的纵轴变化小于1 2 0 ：包括第5 ，6 ，1 4 ，1 6 ，1 8 ，2 2 组数据下面是 这6 组数据的拟合图像( 数字1 代表拟合点，数字2 代表数据点) ( 2 1 ) ( 2 3 ) ( 2 5 ) ( 2 。2 ) ( 2 4 ) ( 2 6 ) 东北师范大学硕士学位论文 二、拟合数据的纵轴变化大于1 2 0 ；包括第1 ，2 ，3 ，4 ，7 ，8 ，9 ，1 0 ，11 ，1 2 ， 1 3 ，1 5 ，1 7 ，1 9 ，2 0 ，2 1 组数据。下面是这1 6 组数据的拟合图像( 数字1 代表拟合 点，数字2 代表数据点) ( 2 7 ) ( 2 9 ) ( 2 8 ) 1 2 ( 2 1 0 ) 东北师范大学硕士学位论文 ( 2 1 1 ) ( 2 1 3 ) ( 2 1 5 ) ( 2 1 2 ) ( 2 1 4 ) ( 2 1 6 ) 东北师范大学硕士学位论文 ( 2 1 7 ) ( 2 1 9 ) ( 2 2 1 ) ( 2 1 8 ) ( 2 2 0 ) ( 2 2 2 ) 第一个类型的图像拟合的好，第二类不好拟合函数是单调不减的，如果数据中最后一列 1 4 东北师范大学硕士学位论文 的葡萄糖水平与前几列的葡萄糖水平相比不是很大，那么这时用单调函数拟合的值就会与原来 的数据有很大差别这里的数据还有一个特点：在定义域的前面一段o 一5 0 之间有四个数据， 而在后面5 0 1 0 0 之间只有一个在定义域末端1 0 0 点处的数据，这样的观测数据对于拟合函数 是单调的情形很不利正是因为图中定义域末端的拟合点与数据点有较大差距，才使得拟合函 数值的取值范围扩大 这些观测数据会存在一些误差，这里如果不看第5 对点，那么前4 对点的拟合效果很好 这就说明用这个单调不减的三次样条函数g ( x ) 是合理的这个结论告诉我们：黑鼠得糖尿病 的概率随着食谱中羰基铁剂量的增大而增加 1 5 东北师范大学硕士学位论文 结论 本文第3 节得到的模拟函数在整个定义域上都是单调不减的，而且有足够的光滑性，模拟 曲线和理论曲线很接近，很好的拟合了潜在函数，模拟结果表明这个方法很好这里在选择模 拟函数时也限制了函数空间，我们是在单调三次样条函数中寻找使( 2 2 ) 达到最小值的函数， 所以只是在寻求用单调光滑函数做函数估计这个这个问题上迈进了一小步 1 6 东北师范大学硕士学位论文 参考文献 【1 b r u n kh d o nt h ee s t i m a t i o no f p a r a m e t e r sr e s t r i c t e db yi n e q u a l i t i e s j a n n a l so f m a t h e m a t i c a l s t a t i s t i c s ，19 5 8 ，2 9 ：4 3 7 - 4 5 4 2 r o b e r t s o nt w r i g h tft ，d y k s t r arl o r d e rr e s t r i c t e ds t a t i s t i c a li n f e r e n c e j n e wy o r k ：w i l e y 3 m a m m e ne ，t h o m a s - a g n a nc s m o o t h i n gs p l i n e sa n ds h a p er e s t r i c t i o n s j s c a n d i n a v i a nj o u r n a lo fs t a t i s f i c s ，19 9 9 ，2 6 ：2 3 9 - 2 5 2 4 t a n t i y a s w a s d i k u lc ，w o o d r o o f em i s o t o n i cs m o o t h i n gs p l i n e su n d e rs e q u e n t i a ld e s i g n s j j o u r n a lo fs t a t i s t i c a lp l a n n i n ga n di n f e r e n c e ，1 9 9 4 ，3 8 ：7 5 - 8 8 5 w a n gx ，l iei s o t o n i cs m o o t h i n gs p l i n er e g r e s s i o n j j o u r n a lo fc o m p u t a t i o n a la n dg r a p h i e ss t a t i s t i c s ，2 0 0 8 ，1 7 ：2 1 - 7 3 6 b a r l o wree ta 1 s t a t i s t i c a li n f e r e n c eu n d e ro r d e rr e s t r i c t i o n s j j o h nw i l e y , n e wy o r k ，19 7 2 7 d y k s t r arl ，r o b e r t s o nt a na l g o r i t h mf o ri s o t o n i cr e g r e s s i o nf o rt w o o rm o r ei n d e p e n d e n t v a r i b a l e s j a n ns t a t i s t ，1 9 8 2 ，1 0 ：7 0 8 - 7 1 6 8 d y k s t r arl ，a na l g o r i t h mf o rr e s t r i c t e dl e a s ts q u a r e sr e g r e s s i o n 叨 j o u r n a lo ft h ea m e r i c a n s t a t i s t i c a la s s o c i a t i o n ，19 8 3 ，7 8 ：8 3 7 8 4 2 9 y o nn e u m a n nj f u n c t i o n a lo p e r a t o r s ( v o li i ) m p r i n c e t o nu n i v e r s i t yp r e s s ，p r i n c e t o nn j ， 1 9 5 0 1 0 w i e n e rn o nf a c t o r i z a t i o no f m a t r i c e s j ，c o m m e n tm a t hh e l v , 2 9 ：9 7 - 1 11 11 w e g m a nej m a x i m u ml i k e l y h o o de s t i m a t i o no f au n i m o d a ld e n s i t yf u n c t i o n j a n nm a t hs t a t i s t ， 1 9 7 0 ( a ) ，4 1 ：4 5 7 - 4 7 1 1 2 w e g m a nej m a x i m u ml i k e l y h o o de s t i m a t i o no fau n i m o d a ld e n s i t y j 】a n nm a t hs t a t i s t ， 1 9 7 0 ( b ) ，4 1 ：2 1 6 9 - 2 1 7 4 1 3 d i e w e r tw e f u n c t i o n a lf o r m sf o rp r o f i ta n dt r a n s f o r m a t i o nf u n c t i o n s j j o u r n a lo f e c o n o m i c t h e o r y , 19 7 3 ，6 ：2 8 4 316 1 4 r o b e r t s o nta n dw r i g h tft c o n s i s t e n c yi n g e n e r a l i z e di s o t o n i cr e g r e s s i o n j a n ns t a t i s t ， 1 9 7 5 ，3 ：3 5 0 3 6 2 1 7 东北师范大学硕士学位论文 1 5 w r i g h tia n dw e g m a ne i s o t o n i c ，c o n v e x ，a n dr e l a t e ds p l i n e s j a n ns t a t i s t ，1 9 8 0 ，8 ：1 0 2 3 - 1 0 3 5 1 6 u t r e r a ses m o o t h i n gn o i s y d a t au n d e rm o n o t o n i c i t yc o n s t r a i n t s ：e x i s t e n c e ，c h a r a c t e r i z a t i o na n d c o n v e r g e n c er a t e s j n u r n e r i s c h em a t h e m a t i k , 1 9 8 5 ，4 7 ：6 11 - 6 2 5 1 7 w o o dsn m o n o t o n i cs m o o t h i n gs p l i n e sf i t t e db yc r o s s v a l i d a t i o n j s i a mj o u r n a lo ns c i e n t i t l ec o m p u t i n g ，1 9 9 4 ，1 5 ：11 2 6 11 3 3 18 r a m s a yjo e s t i m a t i n gs m o o t hm o n o t o n er e g r e s s i o nf u n c t i o n j j o u r n a lo f t h er o y a l s t a t i s t i c a l s o c i e t y ：s e r i e sb ，1 9 9 8 ，6 0 ：3 6 5 3 7 5 19 m a m m e ne ，m a r r o njs ，t u r l a c hba a n dw a n dmp ag e n e r a lp r o j e c t i o nf r a m e w o r kf o r c o n s t r a i n e ds m o o t h i n g j s t a t i s t i c a ls c i e n c e ，2 0 0 1 ，1 6 ：2 3 2 2 4 8 2 0 b o m k a m pb a n di c k s t a d tk b a y e s i a nn o n p a r a m e t r i ce s t i m a t i o no fc o n t i n u o u sm o n o t o n ef u n c f i o n sw i t ha p p l i c a t i o n st od o s e - r e s p o n s ea n a l y s i s j b i o m e t r i c s ，2 0 0 9 2 1 s h i v e l yts ，s a g e rtw a n dw a l k e rs g ab a y e s i a na p p r o a c ht on o n - p a r a m e t r i cm o n o t o n ef u n c t i o ne s t i m a t i o n j j o u r n a lo f t h er o y a ls t a t i s t i c a ls o c i e t y ：s e r i e sb ，1 9 9 8 ，7 1 ：1 5 9 - 1 7 5 2 2 王小明，韩小亮s - p l u s 应用统计教程 m 上海财经大学出版社，2 0 0 5 ，4 1 8 东北师范大学硕士学位论文 s - p l u s 程序 附录 x = t ( d a t a 1 ， ) m = l e n g t h ( x ) q = 0 8 q = g ( 1 2 ) n = 1 0 0 0 c 1 = d a t a ，1 c 2 = d a t a ，2 c 3 = d a t a ，3 c 4 = d a t a ，4 c 5 = d a t a ，5 f o r ( ii n2 ：2 3 ) y = c ( c 1 刁，c 2 司，c 3 i ，c 4 q ，c 5 刁，0 ) b b = f u n c t i o n ( x ，g ) 口= 妣木t ( r e p ( 1 ，脚) ) a = a 一“4 ) b = b + a b s ( b ) b = b 2 a = 砒宰6 a = a 3 a = 口【，- - m 1 9 东北师范大学硕士学位论文 a = c b i n d ( x ，曲 口= c b i n d ( r e p ( 1 ，孵) ，力 b = x - m 一r e p ( x m ，掰一1 ) b = b 霉q a = r b i n d ( a ，t ( c ( o ，0 ，功” 口 l m s c = f u n c t i o n ( n ) p = r e p ( 1 ，栉) p = d f a g ( p ) b = 烈，- 1 】 b = c b i n d ( b ，r e p ( o ，刀) ) p = p b p k = c b i n d ( c ( r e p ( o ，m 1