《风险模型》课件10 模型评价

模型性能评价孟生旺模型性能评价泛化损失如何计算泛化损失？交叉验证Bootstrap泛化损失（GeneralizationLoss）历史观察数据：对新数据Y

的预测值：如何评价模型的预测性能？计算泛化损失（generalizationloss）历史观察数据：对新数据Y

的预测：最常见的期望泛化损失：均方误差（meansquarederror）。BiasEstimationvarianceProcess

variance定理：均方误差可以表示为（证明见下页）期望泛化损失与泛化损失均方误差的分解：注：对Y的最优预测是E(Y)，此时，偏差和方差都等于零。但实际上E(Y)未知,需用A(Yn)预测。在给定Yn的条件下，条件均方误差（conditionalMSE）称作泛化损失：注：均方误差（MSE）是期望泛化损失例：指数离散族的MSE假设：自然参数的极大似然估计值为：均值参数的极大似然估计值：即，则MSE为：（证明见下页）用均值参数的极大似然估计值预测Y：注：当时，估计方差趋于零。估计方差过程方差MSE源于正态，不适用于EDF：

例：如果索赔次数的真实值为1

，预测值为1.2，则MSE=0.04，如果索赔次数的真实值为0，预测值为0.2，则MSE=0.04，但从业务逻辑看，第二种情况下的误差更大。

MSE不适用于EDF，如何解决？基于偏差定义期望泛化损失和泛化损失例：若用预测Y，则期望偏差为其中：称作估计风险定理：若用

预测Y，则期望偏差为类似于过程方差不能消除估计风险无法分解为估计的偏差和方差在给定Yn的条件下，偏差为：例：正态分布的估计风险（estimationrisk）biasEstimationvariance注：正态分布下最小化估计风险=最小化均方误差例：泊松分布的估计风险（estimationrisk）假设

A(Yn)是

的无偏估计，则若在无偏估计中增加偏差c，则（*）变为泊松分布的估计风险:（*）注：无偏变有偏，估计风险变小！建议：应用期望偏差对模型进行评价，应基于无偏预测。常用分布的单位偏差对于Tweedie单位偏差的统一表达式：定理：求解均值函数，Bregman散度是唯一的一致性损失函数，故最小化Bregman散度，即可求得均值函数。推论：在EDF中，单位偏差是一致性损失函数，故最小化期望偏差即可求得均值函数。求解上式，需要已知Y的分布，通常是未知的，故考虑经验估计：交叉验证（CrossValidation）问题：当自然参数

未知时，如何估计下面的期望偏差泛化损失？经验估计：以均值参数的MLE为例对于给定的，如何估计偏差泛化损失？（上式积分号内部）偏差泛化损失的经验估计：样本外偏差样本内偏差现实问题：样本量不大，不宜划分为训练集和测试集？解决之道：留一交叉验证（Leave-one-outCross-Validation）K

折交叉验证，通常K=10分层K

折交叉验证留一交叉验证（Leave-one-outCross-Validation）K折交叉验证，随机划分K组，通常K=10分层K

折交叉验证：前K

个随机分到K组，随后K

个再随机分到K

组,……练习：在MTPL数据集中，ClaimNb是索赔次数（Yi），Exposue是风险暴露（wi），索赔频率定义为假设索赔次数服从泊松分布，通过最小化泊松偏差估计泊松参数。基于所有样本数据，计算样本内泊松偏差计算十折交叉验证泊松偏差基于十折交叉验证，计算泊松偏差的标准误library(CASdatasets)data(freMTPL2freq)dat<-freMTPL2freq[,-2]dat$VehGas<-factor(dat$VehGas)data(freMTPL2sev)sev<-freMTPL2sevsev$ClaimNb<-1dat0<-aggregate(sev,by=list(IDpol=sev$IDpol),FUN=sum)[c(1,3:4)]names(dat0)[2]<-"ClaimTotal"dat<-merge(x=dat,y=dat0,by="IDpol",all.x=TRUE)dat[is.na(dat)]<-0dat<-dat[which(dat$ClaimNb<=5),]dat$Exposure<-pmin(dat$Exposure,1)sev<-sev[which(sev$IDpol%in%dat$IDpol),c(1,2)]dat$VehBrand<-factor(dat$VehBrand,levels=c("B1","B2","B3","B4","B5","B6","B10","B11","B12","B13","B14"))

library(data.table)fwrite(dat,"D:\\dat