《机器学习项目开发实战》-课件 9. 项目三 - 任务五

监督学习回归实战-天气预测特征选择与模型优化CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：天气预测在天气预测项目中，经过初步的模型训练，发现模型的性能仍有提升空间。本任务旨在通过特征选择和模型优化，进一步提升模型的预测精度和泛化能力。/02知识储备特征选择包装法02嵌入法0301过滤法过滤法接近0两个变量之间没有明显的线性关系；03接近1两个变量之间存在强烈的正相关关系；01接近-1强烈的负相关；02相关系数：计算特征与目标变量之间的线性相关性，特别适用于连续型数据，取值范围在-1到1之间。过滤法：在模型训练之前，就对特征进行评估和筛选，而且不依赖于具体的机器学习算法。包装法后向消除从包含所有特征的模型开始，每次移除对模型性能贡献最小的特征，同样重新训练和评估，重复操作直到达到预定要求。03递归特征消除RFE从全特征集开始，先使用所有特征训练一个模型，然后计算每个特征的重要性，根据重要性对特征进行排序，把重要性最低的特征移除，再重新训练模型，不断重复这个过程，直到达到预设的特征数量。01前向选择从一个空的特征集合开始，逐步向其中添加新的特征，每次都选择一个对模型性能提升最大的特征加入当前集合，添加后重新训练并评估模型性能，不断重复直至满足停止条件。02包装法：通过训练模型来评估特征子集的性能，使用特定的机器学习算法作为评估标准，在特征子空间中搜索最优的特征组合。嵌入法Lasso回归Lasso回归属于线性回归模型，它通过引入L1正则化项来实现特征选择。在线性回归的目标函数里加入L1正则化项后，会使得部分特征的系数变为001随机森林计算每个特征在所有决策树中节点分裂时减少的不纯度的平均值通过随机交换袋外数据中某个特征的值，重新预测并计算准确率的下降程度。02嵌入法：将特征选择过程巧妙地嵌入到模型训练当中，借助模型自身的机制来选择重要特征。适用场景过滤法数据规模大、特征极多的场景能够快速预处理以降低计算成本。01包装法数据规模较小、追求模型最优性能情况下，能针对性适配特定模型。02嵌入法在模型训练中通过正则化等机制自动学习特征重要性并完成筛选，适合希望平衡效率与性能的中等规模数据场景。03特征选择1fromsklearn.feature_selectionimportRFE2rfe=RFE(estimator=RandomForestRegressor(),n_features_to_select=3)3X_train_selected=rfe.fit_transform(X_train_scaled,y_train)4X_test_selected=rfe.transform(X_test_scaled)5print(rfe.support_)6selected_features=[nameforname,selectedinzip(features,rfe.support_)ifselected]7print("Selectedfeaturenames:",selected_features)模型优化正则化02交叉验证0301超参数调优超参数调优超参数是在模型训练之前就需要设置的参数，它们无法通过训练数据直接学习得到。超参数调优的目标，就是找到一组最优的超参数，让模型的性能达到最佳状态。穷举搜索方法，它会遍历所有可能的超参数组合，通过交叉验证的方式试验每一种组合，最后选出最优的参数组合。网格搜索01从参数的分布中随机选取参数组合进行评估。随机搜索02正则化正则化是一种用于防止模型过拟合的重要技术，原理是在损失函数中加入正则化项，以此来限制模型参数的大小。通过在损失函数中加入模型参数的绝对值之和作为正则化项，会将部分参数压缩为0，从而实现特征选择L1正则化01损失函数中加入模型参数的平方和作为正则化项，它会惩罚参数的平方和，让所有参数的值都趋向于较小的值，但不会把参数压缩为0L2正则化02交叉验证04重复随机划分交叉验证通过多次随机划分数据集为训练集和测试集来评估模型性能，它的灵活性较高，但随机性较大，结果可能不太稳定。01K折交叉验证把数据集划分为K个大小相近的子集，每次选择其中的K-1个子集作为训练集，剩下的1个子集作为验证集，这个过程重复K次，最后取K次验证结果的平均值03留一交叉验证是K折交叉验证的一种特殊情况，其中K等于数据集的样本数量，每次只留出一个样本作为验证集，其余所有样本作为训练集留一交叉验证02分层交叉验证适用于分类问题，它在划分数据时会保证每个子集中各类样本的比例与原始数据集中的比例一致，避免因数据划分不均衡而导致的模型性能评估偏差。/03任务实施特征值选择1fromsklearn.feature_selectionimportRFE2rfe=RFE(estimator=RandomForestRegressor(),n_features_to_select=3)3X_train_selected=rfe.fit_transform(X_train_scaled,y_train)4X_test_selected=rfe.transform(X_test_scaled)5print(rfe.support_)6selected_features=[nameforname,selectedinzip(features,rfe.support_)ifselected]7print("Selectedfeaturenames:",selected_features)模型优化1．fromsklearn.model_selectionimportGridSearchCV2．param_grid={3．'n_estimators':[50,100,200],4．'max_depth':[None,10,20],5．'min_samples_split':[2,5,10],6．'min_samples_leaf':[1,2,4]7．}8．rf_regressor=RandomForestRegressor(random_state=42)9．grid_search=GridSearchCV(estimator=rf_regressor,param_grid=param_grid,cv=5,scoring='neg_mean_squared_error')10．grid_search.fit(X_train_selected,y_train)11．best_params=grid_search.best_params_12．print(f'BestParameters:{best_params}')模型优化评估1rf_regressor_optimized=RandomForestRegressor(**best_params,random_state=42)2rf_regressor_optimized.fit(X_train_selected,y_train)3y_pred_train_optimized=rf_regressor_optimized.predict(X_train_selected)4y_pred_test_optimized=rf_regressor_optimized.predict(X_test_selected)5train_mse_optimized=mean_squared_error(y_train,y_pred_train_optimized)6train_r2_optimized=r2_score(y_train,y_pred_train_optimized)7test_mse_optimized=mean_squared_error(y_test,y_pred_test_optimized)8test_r2_optimized=r2_score(y_test,y_pred_test_optimized)9print(f'OptimizedTrainMSE:{train_mse_optimized},OptimizedTestMSE:{test_mse_optimized}')10print(f'OptimizedTrainR^2:{train_r2_optimized},OptimizedTestR^2:{test_r2_optimized}')对比分析01均方误差（MSE）的改进训练集上的MSE从0.0828降低到0.0579，表明优化后的模型在训练数据上的预测误差更小。测试集上的MSE从0.7923降低到0.5948，表明优化后的模型在未见过的数据上的预测误差也有所减小，泛化能力更强。02R²分数的改进训练集上的R²分数从0.99936提高到0.99