现代回归与分类教学课件

现代回归和分类:算法建模的回归和分类吴喜之)算法建模的回归和分类经典的回归和分类(判别)模型是可以写成公式的。但是另外一些回归和分类的方法是体现在算法之中,其具体形式是计算机程序。广义地说,算法模型实际上包含了经典模型·如果说,起源于前计算机时代的经典统计目前大大受惠于计算机的发展,那么,没有计算机,就不可能存在算法建模在处理巨大的数据集上,在对付称为维数诅咒的大量的变量上,在不用假定总体分布的情况时,在对付众多竞争模型方面,算法建模较经典建模有很多不可比拟的优越性。决策树:分类树和回归树年龄<18?否是是否爱喝酒?是否开红车?是是高风险低风险高风险低风险例(数据shuttle.txt)library(MASS);shuttle[1:10,1这个数据是关于美国航天飞机在各种条件下是否自动着陆的决策问题。有256行及7列。头六行为作为自变量的定性变量,而最后列为因变量。自变量包括稳定性(stability,取值stab/stab)、误差大小err,取值MM/SS/LⅩ/Ⅺ)、信号(sign,取值pp/n风向Wnd,取值head/tai)、风力magn,取值ight/MeumStrong/Ou)、能见度(vis,取值yes/no),因变量为是否用自动着陆统(use,取值auto/noautoProblemsofcomputer-aidedconceptformation.fnApplicationsofExpertSystems2.edJ.R.Quinlan,TuringInstitutePress/ddison-Wesley,pp.310-333shuttle[1:10,]tabilityerrorsignwindmagnvisusexppheadlightnoautoL又BExstahLxpptailLightnoauto5asteRpptailMediumnoautoLxppLxnnheadLight.noaut.LnnheadmediurmnoaltoxstahLxnnheadstrongnoautoLxnntailLightnoauto例(数据shuttle.txt))n=231de),split,n,loss,yval,(yprob★denotestermin1nod1)xoot231100auto(0.567099570.43290043)2)vis=n。1150aut。(1.000000000.00000003)vis=yes11616noauto(0.137931030.86206897)5)eror=ss3012noauto(0.40000000600000012)stability=stab164auto(0.750000002500000*13)stability=stab140noauto(0.000000001.00000000)*7}exo=L,MM,XL864noauto(0.046511630.95348837)*noautonoautolibrary(MASS):shuttle[1:10,m=256,setseed(2)samp=sample(1:m,floor(m/10));samp=setdiff(1:m,samp)library(rpartplot);(b=rpart(use,shuttle,subset=tsamp));b:plot(b);tex