python解释模型库Shap实现机器学习模型输出可视化

第python解释模型库Shap实现机器学习模型输出可视化目录安装所需的库导入所需库创建模型创建可视化1、BarPlot2、队列图3、热图4、瀑布图5、力图6、决策图解释一个机器学习模型是一个困难的任务，因为我们不知道这个模型在那个黑匣子里是如何工作的。解释是必需的，这样我们可以选择最佳的模型，同时也使其健壮。

我们开始吧…

安装所需的库

使用pip安装Shap开始。下面给出的命令可以做到这一点。

pipinstallshap

导入所需库

在这一步中，我们将导入加载数据、创建模型和创建该模型的可视化所需的库。

df=pd.read_csv('/content/Diabetes.csv')

features=['Pregnancies','Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age']

Y=df['Outcome']

X=df[features]

X_train,X_test,Y_train,Y_test=train_test_split(X,Y,test_size=0.2,random_state=1234)

xgb_model=xgb.XGBRegressor(random_state=42)

xgb_model.fit(X_train,Y_train)

创建模型

在这一步中，我们将创建机器学习模型。在本文中，我将创建一个XGBoost模型，但是你可以选择任何模型。我们将用于此模型的数据集是著名的糖尿病数据集，可从Kaggle下载。

df=pd.read_csv('/content/Diabetes.csv')

features=['Pregnancies','Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age']

Y=df['Outcome']

X=df[features]

X_train,X_test,Y_train,Y_test=train_test_split(X,Y,test_size=0.2,random_state=1234)

xgb_model=xgb.XGBRegressor(random_state=42)

xgb_model.fit(X_train,Y_train)

创建可视化

现在我们将为shap创建解释程序，找出模型的shape值，并使用它们创建可视化效果。

explainer=shap.Explainer(xgb_model)

shap_values=explainer(X_test)

1、BarPlot

shap.plots.bar(shap_values,max_display=10)

2、队列图

shap.plots.bar(shap_values.cohorts(2).abs.mean(0))

3、热图

shap.plots.heatmap(shap_values[1:100])

4、瀑布图

shap.plots.waterfall(shap_values[0])#Forthefirstobservation

5、力图

shap.initjs()

explainer=shap.TreeExplainer(xgb_model)

shap_values=explainer.shap_values(X_test)

defp(j):

return(shap.force_plot(explainer.expected_value,shap_values[j,:],X_test.iloc[j,:]))

6、决策图

shap_values=explainer.shap_values(X_test)[1]

print("Theexpectedvalueis",expected_value)

print("Thefinalpredictionis",xgb_model.predict(X_test)[1])

shap.decision_plot(expected_value,shap_values,X_test)

这就是如何使用Shap