统计学bootstrap学习教案

1、会计学1统计学统计学bootstrap第一页，共56页。2第1页/共55页第二页，共56页。3()1,.,nnTg XX=nTnT( )FnTV( )FnTV( )FnTV( )nnFTV11nniiTnX-=( )2FnTns=V()( )( )22,xdF xxdF xsmm=-=蝌( )2nnFTns=V()221nniiXXns=-( )FnTV第2页/共55页第三页，共56页。4第3页/共55页第四页，共56页。5第4页/共55页第五页，共56页。6n则bootstrap样本(yngbn)可能为()1,.,nXXX=()1*,.,nbXXX=()12345,XXXXXX=()*123

2、545,XXXXXX=()*213145,XXXXXX=第5页/共55页第六页，共56页。7TOOLBOX, by Abdelhak M. Zoubir and D. Robert Iskander,nMatlab函数：bootstrp1 n1,.,nii()*1,.,iinXXX=第6页/共55页第七页，共56页。8(dyu)原始样本集的1-0.368 = ，另外的样本没有包括()11,1,.10.368njiXXjnen-骣=-换桫PiX第7页/共55页第八页，共56页。9()( ),11BPnn bnnbTTtdGtTB=EnT,1,.,nn BTTnT( )nTEnT( )nTEnGn

3、GB第8页/共55页第九页，共56页。10()()()( )(),11BPn bnnbh Th t dGth TB=E()()()( )22,11BPn bnnnnbTTTTTB=-=EV( )nTV()()2,n bn bnh TTT=-B第9页/共55页第十页，共56页。111*,.,nXX()1*,.,nnTg XX=1*,.,nnXXFnTnFnFnFnF1,.,nXX第10页/共55页第十一页，共56页。12统计量（bootstrap复制）近似，其中()1,.,nXXX=( )()1,.,nnTgg XX=X( )* ,1111BBn bootn bbbbTTgBB=邋X( )(),

4、1,*,.,n bbn bbTg Xg XX=()1,*,.,bn bbXXX=1,.,bB=第11页/共55页第十二页，共56页。13X = (3.12, 0, 1.57, 19.67, 0.22, 2.20)Mean=4.46X1=(1.57,0.22,19.67, 0,0,2.2,3.12)Mean=4.13X2=(0, 2.20, 2.20, 2.20, 19.67, 1.57)Mean=4.64X3=(0.22, 3.12,1.57, 3.12, 2.20, 0.22)Mean=1.74()14.134.641.743.503bootMean=+=第12页/共55页第十三页，共56页

5、。14nBootstrap采样+大数定律近似()()22,TTntdGtsm=-( )2FnTTns=V()TntdGtm=( )()2*,1111, nBBnn bnnn bFbbTTTTTBB=-=邋V( )FnTV( )nnFTV( )nnFTVnF第13页/共55页第十四页，共56页。15（大数(d sh)定律）2*,1111Bnbootn bn rbrvTTBB=骣=-桫邋（计算boostrap样本）（计算boostrap复制）*1,.,nnXXF:()*1,.,nnTg XX=*,1,.,nn BTT第14页/共55页第十五页，共56页。16( )()()2: 0.21,20.86

6、,1FF XNN=+5,m=()1100,.,XXX=4.997,nX =( )()2221 nniniXXXns=-V直接(zhji)用嵌入式估计结果：0.0484=7.0411 4.8397 5.3156 6.7719 7.06165.2546 7.3937 4.3376 4.4010 5.17247.4199 5.3677 6.7028 6.2003 7.57074.1230 3.8914 5.2323 5.5942 7.14793.6790 0.3509 1.4197 1.7X =585 2.4476-3.8635 2.5731 -0.7367 0.5627 1.6379-0.1864

7、 2.7004 2.1487 2.3513 1.4833-1.0138 4.9794 0.1518 2.8683 1.62696.9523 5.3073 4.7191 5.4374 4.61086.5975 6.3495 7.2762 5.9453 4.69936.1559 5.8950 5.7591 5.2173 4.99804.5010 4.7860 5.4382 4.8893 7.29405.5741 5.5139 5.8869 7.2756 5.84496.6439 4.5224 5.5028 4.5672 5.87186.0919 7.1912 6.4181 7.2248 8.415

8、37.3199 5.1305 6.8719 5.2686 5.80555.3602 6.4120 6.0721 5.2740 7.23297.0912 7.0766 5.9750 6.6091 7.21354.9585 5.9042 5.9273 6.5762 5.37024.7654 6.4668 6.1983 4.3450 5.3261轾犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏犏臌第15页/共55页第十六页，共56页。17()1,100,*,., 1, ., bbbXXXbB=*11000,.,XX,*11n bn bi bniTXXn=nnTX=()

9、,2*,1111,n bnBnbootnn rbrvXXXXBB=-=邋*1005.001,X=0.0489,bootv=与直接用嵌入式估计(gj)得到的结果比较：4.997,nX =20.0484,s=0.221bootbootsev=20.22ses=第16页/共55页第十七页，共56页。18()11,.,.,nnnnFXXTg XX揶=()*11,.,.,nnnnFXXTg XX揶=( )()( )()11nOnOBFnnbootFTTv=VV第17页/共55页第十八页，共56页。19nT第18页/共55页第十九页，共56页。20()()nnGtTt=PnTnG()()*,11Bnn b

10、bGtI TtB=第19页/共55页第二十页，共56页。21( )( )*bootnFnnBiasTTT=-E*1,.,BXX( )(),1,*,.,n bbn bbTg Xg XX=*,11nnn rrTTB=( )*nbootnnBiasTTT=-*bX第20页/共55页第二十一页，共56页。224.997nX =bootsebootBias( )*FXE第21页/共55页第二十二页，共56页。23()*212,nCTTaa-=2nTzseanT*,1,.,nn BTT()*1222,2,nCTTTTaa-=-第22页/共55页第二十三页，共56页。24LSAT (Y) 576635558

11、578666580555661651605653575545572594GPA (Z)3.393.302.813.033.443.073.003.433.363.133.122.742.762.882.96第23页/共55页第二十四页，共56页。250.132bootse标准误差趋向(qxing)稳定于()()()()( ) ()( )22,YzYzyzdF y zydF yzdF zmmqmm-=-蝌蝌()()()()220.776iiiiiiiYYZZYYZZq-=-邋$B50100200400800160032000.1410.1370.1330.132bootse第24页/共55页第二

12、十五页，共56页。260.137bootse*1,.,Bqq$q$()0.7820.51, 1.00 se=()0.46, 0.96 第25页/共55页第二十六页，共56页。27()1,.,nXXX=()1*,.,nbXXX=( )(),1,*,.,n bbn bbTg Xg XX=*,1,.,bXbB=,*,1,.,n bTbB=第26页/共55页第二十七页，共56页。28( )TT F=( )( )()1, ,.,nnnTT FTT Fg XX=()11,.,.,nnnnFXXTg XX揶=()*11,.,.,nnnnFXXTg XX揶=( )()( )()11nOnOBFnnbootFT

13、Tv=VV第27页/共55页第二十八页，共56页。29( )()(): 0.21,20.86,1FF XNN=+()1100,.,XX=XnnTX=bootsebootBias第28页/共55页第二十九页，共56页。30* ,11Bn bootn bbTTB=第29页/共55页第三十页，共56页。31()1,.,0,nXXUniformq( )( )1nngGqqqqq-骣骣=桫 桫( )()()()1max,.,nGXXqqq=Q =PPq()max1max,.,nXXXq=()( )()1nnniiXFqqqq=骣= 桫Pq第30页/共55页第三十一页，共56页。32( )()1max,.

14、,nnXXX=()()()()*11max,.,max,.,nnXXXXqq=PP()( ) is in the bootstrap samplenX= P()( )1 is not in the bootstrap samplenX=- P111nn骣=-桫()*0.632qq=P第31页/共55页第三十二页，共56页。33()1,.,nXXX=()1max,.,nXXq=*q非参数(cnsh)bootstrap复制的直方图B=1000，最高峰为 ()()*0.656011 10.6513nnqq=-=P理论结果：( )1nngqqqq-骣骣=桫 桫g1q=0.8772q=第32页/共55页

15、第三十三页，共56页。34nF()0,1FUniform=nF第33页/共55页第三十四页，共56页。35n不平滑函数：数据的一个小的变化会带来统计量的很大变化n顺序统计量的极值（极大值、极小值）nF( )TT F=( )nnTT F=1,.,nXXn第34页/共55页第三十五页，共56页。36();fxq();f xqF的先验(xin yn)nFqq();f xq();f xq()11,.,.,nnnXXTg XX揶=()*11,.,.,nnnXXTg XX揶=第35页/共55页第三十六页，共56页。37n根据数据估计F中的参数：n得到(d do)F的估计：n从分布产生B=1000个样本，n

16、得到(d do)B个 , 直方图如右图()1max,.,0.8722nXXq=()0,fUniformq;()1,.,0,nXXUniformq1q=()0,0.8722fUniform;nF*bX( )*maxbbXq=*q的分布(fnb)为真正的分布(fnb)( )1nnggqqqq-骣骣=桫 桫第36页/共55页第三十七页，共56页。382*,1111Bnbootn bn rbrvTTBB=骣=-桫邋0. 根据数据 估计 f 的参数 ，得到 f 的估计1. 抽取(chu q)样本2. 计算3. 重复步骤1和2 B次，得到4.();f xqq1,.,nXX()*1,.,;nXXf xq:(

17、)*1,.,nnTg XX=*,1,.,nn BTT第37页/共55页第三十八页，共56页。39二者相同(xin tn)的是模拟的思想();f xqnF第38页/共55页第三十九页，共56页。40n脏数据n奇异点(outliers)给估计带来了变化第39页/共55页第四十页，共56页。41第40页/共55页第四十一页，共56页。42nF1,.,nXX第41页/共55页第四十二页，共56页。43第42页/共55页第四十三页，共56页。44()1,.,nXXX=, 1,.,iXin=()()111,., ,.,iiinXXXXX-+=()111,.,.,iiinXXXXXX-+=BOOTSTRAP

18、 MATLAB TOOLBOX中也有该功能(gngnng)第43页/共55页第四十四页，共56页。45()()(),niiTg X-=1,.,in=()111ninijijnXXXXnn-=-()1,.,nnTg XX=第44页/共55页第四十五页，共56页。46(),1,.,iXin-=()()(),niiTg X-=1,.,in=()2()()()()1111,nnninijackniniiinvTTTTnn-=-=-=邋jackjacksev=第45页/共55页第四十六页，共56页。47nnTX=()1nininXXTn-=-()()()111111111nnnninininiiiinXXTTnXXnnnnn-=-=-邋()()22()11111njackninniinvTTXXnnn-=-=-=-( )( )22, niXXnss=VV()( )22221, 1niSXXSns=-=-E方差的无偏(w pin)估计()2111nnnn XnXXnn=-=-第46页/共55页第四十七页，共56页。481nn-1B(