Kaggle竞赛入门指南-含数据处理特征工程模型融合

Kaggle竞赛入门指南——含数据处理/特征工程/模型

融合

标签：Kaggle|机器学习竞赛|特征工程|模型融合|Stacking|Blending|2026最新

日期：2026年9月22日

一句话简介：从竞赛流程、数据探索、特征工程到模型融合与提交策略，系统讲解Kaggle竞赛的完整实战方法——每

一步都有可复制的代码模板、具体的评分标准和可直接执行的策略框架。

关键词/标签：Kaggle入门、Kaggle竞赛流程、特征工程实战、Stacking模型融合、Blending集成、交叉验证策略、数

据泄漏防范、OOF预测

适用人群：机器学习初学者、数据科学从业者、需要实战经验的学生、准备参加Kaggle竞赛的开发者、希望通过竞赛

提升技能的数据分析师

文档类型：教程攻略类

目录

第一章：Kaggle平台与竞赛流程

第二章：数据探索与本地验证

第三章：数据处理与清洗

第四章：特征工程实战

第五章：模型训练与调参

第六章：模型融合实战

第七章：竞赛策略与提交管理

第八章：避坑指南——10个常见错误及正确做法

第九章：常见问题解答

附录：速查表

第一章：Kaggle平台与竞赛流程

1.1Kaggle是什么

Kaggle是全球最大的数据科学与机器学习竞赛平台，提供海量真实数据集、免费GPU/TPUNotebook环境、世界级选

手的开源方案，以及行业认可的技能背书。无数数据科学家的职业起点，都始于一次勇敢的“提交”。

1.2竞赛类型

竞赛类型特点适合人群

FeaturedCompetitions有奖金的大型竞赛有经验的选手

ResearchCompetitions学术研究导向研究人员

GettingStarted入门级竞赛新手首选

竞赛类型特点适合人群

Playground练习赛各水平均可

InClass教育竞赛学生

新手建议从“GettingStarted”或“Playground”竞赛开始，这些竞赛有明确的评价指标、充足的数据和活跃的社区讨

论。

1.3完整竞赛流程

第一步：进入竞赛。搜索竞赛名称→点击竞赛→阅读“Overview”与“Rules”（必看！）。

第二步：获取数据。“Data”标签页→下载训练数据、测试数据和示例提交文件。

第三步：设置环境。安装KaggleAPI并配置凭证，或直接使用KaggleNotebooks（推荐新手使用）。

#安装KaggleAPI

pipinstallkaggle

#下载凭证：kaggle.json→~/.kaggle/kaggle.json

#下载竞赛数据

kagglecompetitionsdownload-ccompetition-name

第四步：训练与提交。生成符合格式的CSV→“SubmitPredictions”上传。即时查看PublicLeaderboard排名。

1.4竞赛关键问题清单

在开始任何竞赛之前，必须回答以下问题：

问题说明

任务类型分类、回归、时间序列还是其他？

评价指标准确率、RMSE、LogLoss还是MAPE？

数据概况训练集/测试集大小、特征数量、缺失值情况

提交限制每日提交次数、最终提交数量限制

团队规则是否允许组队、最大团队人数

1.5新手首战建议

起步心态：首战目标不是夺冠，而是“完成第一次提交”。善用资源：KaggleLearn提供免费微课程（Python、Pandas

等）。融入社区：点赞/评论他人方案，建立学习连接。时间管理：设置小目标（如“本周跑通baseline”），避免焦

虑。

第二章：数据探索与本地验证

2.1为什么本地验证比PublicLB更重要

PublicLB只使用测试数据的一小部分，而PrivateLB使用完整测试数据。两者的排名可能出现巨大差异。必须依赖

Out-of-Fold（OOF）交叉验证分数来避免严重的PrivateLB排名震荡。

2.2数据探索操作清单

importpandasaspd

importnumpyasnp

#加载数据

train=pd.read_csv('train.csv')

test=pd.read_csv('test.csv')

#基本概况

print("训练集形状:",train.shape)

print("测试集形状:",test.shape)

print(())

print(train.head())

print(train.describe())

#缺失值

print(train.isnull().sum())

#目标分布

print(train['target'].value_counts())

2.3正确的交叉验证策略

分类任务使用StratifiedKFold（保持类别比例）：

fromsklearn.model_selectionimportStratifiedKFold

skf=StratifiedKFold(n_splits=5,shuffle=True,random_state=42)

df["fold"]=-1

forfold,(train_idx,val_idx)inenumerate(skf.split(df,df["target"])):

df.loc[val_idx,"fold"]=fold

df.to_csv("train_folds.csv",index=False)

回归任务使用KFold。时间序列任务使用TimeSeriesSplit。

2.4数据泄漏防范

数据泄漏是指使用了训练数据集之外的信息来创建模型，导致过于乐观的性能指标。以下是最常见的泄漏场景：

泄漏类型表现防范措施

预处理泄漏在全部数据上拟合Scaler/Encoder仅在训练折上拟合

泄漏类型表现防范措施

目标编码泄漏用全量数据计算目标均值使用OOF编码

时间泄漏使用未来信息预测过去使用时间序列切分

重复提交泄漏多次提交“摸索”测试集限制提交次数

核心原则：确保缩放、编码和目标变换仅在实际训练折上拟合。

第三章：数据处理与清洗

3.1数值特征处理

缺失值处理策略：

策略适用场景代码示例

均值/中位数填充数值型、缺失较少df['col'].fillna(df['col'].median())

众数填充分类型、缺失较少df['col'].fillna(df['col'].mode()[0])

前向/后向填充时间序列df['col'].ffill()

模型预测填充缺失较多、特征相关KNNImputer

标记为缺失缺失本身有信息df['col_missing']=df['col'].isnull()

3.2类别特征处理

编码方法适用场景注意事项

One-Hot编码低基数类别（<15类）维度膨胀风险

Label编码有序类别引入虚假大小关系

Target编码高基数类别必须使用OOF计算

Frequency编码高基数类别保留频率信息

3.3异常值处理

#IQR方法识别异常值

Q1=df['col'].quantile(0.25)

Q3=df['col'].quantile(0.75)

IQR=Q3-Q1

lower=Q1-1.5*IQR

upper=Q3+1.5*IQR

df['col']=df['col'].clip(lower,upper)

处理策略：截断（clip）、删除、标记为异常。对于竞赛，截断通常比删除更安全（保留样本量）。

第四章：特征工程实战

4.1特征工程的核心原则

好特征比复杂模型更强大。特征变换揭示数据中隐藏的信息。Kaggle竞赛中，特征工程往往比模型选择带来更大的提

升。一个简洁的经验法则：先用简单模型（LightGBM/RandomForest）跑baseline，再用特征重要性/SHAP来优化

特征。

4.2数值变换

对数变换：使右偏分布接近正态分布。

#对数变换

df['col_log']=np.log1p(df['col'])

#Box-Cox变换

fromscipy.statsimportboxcox

df['col_boxcox'],lambda_=boxcox(df['col']+1)

分箱/离散化：将连续变量转化为类别特征。

#等频分箱

df['col_bin']=pd.qcut(df['col'],q=5,labels=False)

#等宽分箱

df['col_bin']=pd.cut(df['col'],bins=5,labels=False)

4.3交互特征

#数值交互

df['col_a_x_b']=df['col_a']*df['col_b']

df['col_a_div_b']=df['col_a']/(df['col_b']+1)

#多项式特征

fromsklearn.preprocessingimportPolynomialFeatures

poly=PolynomialFeatures(degree=2,include_bias=False)

poly_features=poly.fit_transform(df[['col_a','col_b']])

4.4日期时间特征

df['date']=pd.to_datetime(df['date'])

df['year']=df['date'].dt.year

df['month']=df['date'].dt.month

df['day']=df['date'].dt.day

df['dayofweek']=df['date'].dt.dayofweek

df['is_weekend']=df['dayofweek'].isin([5,6]).astype(int)

df['quarter']=df['date'].dt.quarter

4.5聚合特征

#按用户聚合

user_agg=df.groupby('user_id').agg(

total_amount=('amount','sum'),

avg_amount=('amount','mean'),

count=('id','count'),

max_amount=('amount','max'),

min_amount=('amount','min'),

).reset_index()

4.6特征选择方法

方法类型说明

相关系数Filter快速筛选线性相关特征

卡方检验Filter分类任务特征筛选

RFEWrapper递归特征消除

LassoEmbeddedL1正则化自动稀疏化

BorutaWrapper基于随机森林的影子特征比较

Boruta算法是一种基于随机森林的特征选择方法。其核心思想是通过比较原始特征与其随机化版本的“影子特征”的重

要性来区分重要特征和无关特征，通过多次迭代减少随机误差，能够有效避免过拟合，并识别与目标变量全相关的特

征。

第五章：模型训练与调参

5.1基线模型优先

不要一开始就追求最复杂的模型。先用简单模型建立基线：

fromsklearn.ensembleimportRandomForestClassifier

fromsklearn.model_selectionimportcross_val_score

model=RandomForestClassifier(n_estimators=100,random_state=42)

scores=cross_val_score(model,X,y,cv=5,scoring='accuracy')

print(f"CVAccuracy:{scores.mean():.4f}±{scores.std():.4f}")

5.2表格竞赛首选模型

模型优势典型场景

LightGBM速度快、内存效率高、原生类别特征支持表格数据首选

XGBoost成熟稳定、社区资源丰富通用表格数据

CatBoost类别特征处理优秀、无需手动编码高基数类别特征

模型优势典型场景

TabNet深度学习表格模型需要神经网络时

TabularDataTools:LightGBM|XGBoost|CatBoost→Ultra-fasttrainingonstructuredCSVdatasets.

5.3超参数调优

方法适用场景特点

网格搜索参数少、搜索空间小穷举，慢但全面

随机搜索参数多、搜索空间大快，不一定最优

Optuna复杂模型、需要高效调参贝叶斯优化，推荐

贝叶斯优化评估代价高智能搜索

importoptuna

defobjective(trial):

params={

'n_estimators':trial.suggest_int('n_estimators',100,1000),

'max_depth':trial.suggest_int('max_depth',3,12),

'learning_rate':trial.suggest_float('learning_rate',0.01,0.3,log=True),

'subsample':trial.suggest_float('subsample',0.5,1.0),

}

model=LGBMClassifier(**params)

scores=cross_val_score(model,X,y,cv=5)

returnscores.mean()

study=optuna.create_study(direction='maximize')

study.optimize(objective,n_trials=100)

5.4GPU资源优化

KaggleNotebooks提供免费GPU/TPU。训练时注意显存优化：使用4-bit/8-bit量化（bitsandbytes）和LoRA微调

LLM，避免OOM错误。在验证循环之间或创建submission.csv之前清理GPU缓存。

importgc,torch

defclear_gpu_cache():

gc.collect()

iftorch.cuda.is_available():

torch.cuda.empty_cache()

第六章：模型融合实战

6.1模型融合的三种方法

方法复杂度数据使用效果适用场景

简单平均/投票低全部中快速baseline

Blending中部分（holdout）较高数据量大、时间紧

Stacking高全部（OOF）最高追求极致精度

6.2Blending（混合集成）

Blending使用固定的holdout划分：在A部分训练基模型，在B部分生成预测，用B部分的预测训练元学习器。

操作步骤：

第一步，将训练数据划分为A部分（基模型训练）和B部分（blenderholdout，通常10%-30%）。第二步，在A部分训

练基模型。第三步，每个基模型在B部分生成预测。第四步，用B部分的预测作为特征，B部分的目标作为标签，训练

元学习器（通常用线性回归/逻辑回归）。第五步，对测试集生成基模型预测，通过元学习器得到最终融合结果。

Blending的局限：浪费了B部分的数据，基模型没有在完整训练集上学习。在小数据集或竞赛中，这种数据浪费可能

导致泛化能力下降。

6.3Stacking（堆叠集成）

Stacking使用K折OOF预测：每个训练行都获得一个来自“没见过它”的基模型的预测，整个训练集都成为元学习器的输

入。

操作步骤：

第一步，定义统一的K折划分（如StratifiedKFold(n_splits=5,shuffle=True,random_state=42)）。第二步，对每个基

模型，使用相同的K折划分进行训练和预测。第三步，收集每个基模型的OOF预测，作为元学习器的输入特征。第四

步，用OOF预测和目标标签训练元学习器（通常用逻辑回归）。第五步，对测试集生成基模型预测，通过元学习器得

到最终融合结果。

核心代码：

fromsklearn.model_selectionimportStratifiedKFold

fromsklearn.linear_modelimportLogisticRegression

importnumpyasnp

#定义统一的折划分

skf=StratifiedKFold(n_splits=5,shuffle=True,random_state=42)

#收集OOF预测

oof_preds=np.zeros((len(X_train),len(base_models)))

test_preds=np.zeros((len(X_test),len(base_models)))

fori,modelinenumerate(base_models):

forfold,(train_idx,val_idx)inenumerate(skf.split(X_train,y_train)):

model.fit(X_train.iloc[train_idx],y_train.iloc[train_idx])

oof_preds[val_idx,i]=model.predict_proba(X_train.iloc[val_idx])[:,1]

test_preds[:,i]+=model.predict_proba(X_test)[:,1]/5

#训练元学习器

meta_model=LogisticRegression()

meta_model.fit(oof_preds,y_train)

#最终预测

final_pred=meta_model.predict_proba(test_preds)[:,1]

6.4“同折规则”——Stacking成功的关键

所有基模型必须使用完全相同的交叉验证折划分（相同的n_splits、shuffle和random_state）。如果不同模型使用不

同的折或随机种子，OOF预测将包含数据泄漏，元学习器会严重过拟合PublicLB。

6.5模型多样性的重要性

理想情况下，基模型应尽可能不相关。如果所有模型都是XGBoost仅超参数略有不同，集成不会带来太大提升。应使

用多样化的架构（LightGBM、CatBoost、TabNet、MLP）和不同的特征工程。当模型高度相关时，逻辑回归会智能

地给冗余模型接近零甚至负的权重，而给最强、最独特的模型最高权重。

6.6高级融合技巧

加权几何平均融合：在多模型场景中，使用加权几何平均代替算术平均，可以进一步提升效果。一个实际案例中，九

位成员的模型被融合为加权几何平均，打包成一个92.9MB的检查点。

多层堆叠：对于大规模集成（如40+模型），可以使用Level-2Stacking——将47个模型的OOF预测作为输入特征，喂

给逻辑回归作为元模型，自动学习每个模型的最优数学权重。

第七章：竞赛策略与提交管理

7.1四条核心策略原则

原则一：验证先行。在调参之前先确定折的逻辑。Trustlocalvalidationoverpublicleaderboard.

原则二：基线阶梯。先建立简单baseline，逐步增加复杂度。

原则三：模型多样性优先。Favormodeldiversityoverbrute-forcetuningonasinglelearner.

原则四：仅在OOF增益持续时融合。Treatthepublicleaderboardasaweaksignal;trustrepeatedout-of-foldgains

first.

7.2提交策略

策略操作注意事项

每日提交在配额内测试不同方案跟踪每次提交的CV和LB分数

选择提交选择CV最高的2个提交作为最终候选不盲目追LB最高分

保留名额保留1-2次提交名额给最后发现的优化避免最后一天用完配额

记录日志每次提交记录CV分数、参数、代码版本确保可复现

7.3工具选择矩阵

任务类型推荐工具理由

表格数据LightGBM/XGBoost/CatBoost结构化CSV数据超快训练

LLM微调Unsloth/PEFT(LoRA)在KaggleVRAM限制内训练7B-14B模型

快速数据加载Polars/DuckDB比Pandas快10-50倍

推理加速vLLM/TensorRT-LLM最大化生成速度

第八章：避坑指南——10个常见错误及正确做法

错误1：盲目追PublicLB分数

错误做法：选择PublicLB最高的提交作为最终提交。

正确做法：选择OOFCV最高的提交。PublicLB只使用测试数据的一小部分，排名可能剧烈震荡。

错误2：预处理时在全部数据上拟合

错误做法：在划分训练/验证集之前，用全部数据拟合Scaler或Encoder。

正确做法：确保缩放、编码和目标变换仅在实际训练折上拟合。这是最隐蔽也最致命的数据泄漏。

错误3：Stacking时不同模型用不同折

错误做法：XGBoost用seed=1，LightGBM用seed=2，OOF预测拼接后训练元模型。

正确做法：所有基模型使用完全相同的折划分（相同的n_splits、shuffle和random_state）。否则元模型会严重过拟

合PublicLB。

错误4：基模型全是同一类模型

错误做法：用10个仅超参数不同的XGBoost做集成。

正确做法：使用多样化的架构——LightGBM+CatBoost+TabNet+MLP。高度相关的模型不会带来提升。

错误5：不用OOF而用in-sample预测做融合

错误做法：在训练集上拟合基模型，用训练集预测结果训练元学习器。

正确做法：必须使用OOF预测。强学习器（如随机森林）可以在训练集上“记住”标签，导致元学习器给这些过自信的

模型分配巨大权重，在测试集上崩溃。

错误6：忽略特征选择

错误做法：把所有特征都扔进模型。

正确做法：使用Boruta、SHAP或特征重要性分析筛选特征。Boruta通过影子特征比较，能有效识别真正重要的特征

并剔除无关特征。

错误7：KaggleNotebook显存溢出

错误做法：在Notebook中同时加载多个大模型，不做显存清理。

正确做法：使用4-bit/8-bit量化，在验证循环之间调用GPU缓存清理函数。

错误8：所有竞赛用同一套特征工程

错误做法：将Tabular竞赛的特征工程方法直接用于时间序列竞赛。

正确做法：根据任务类型调整特征工程策略。时间序列需要滞后特征、滚动统计量；NLP需要文本特征；CV需要图像

增强。

错误9：不做实验记录

错误做法：每次实验不记录参数和CV分数，无法复现最优结果。

正确做法：KeepcleanlogsoflocalCVscores,hyperparameters,andcodeversionsforeverysubmissionrun.

错误10：最后一天用完提交配额

错误做法：前几天大量提交，最后一天没有配额提交最优方案。

正确做法：保留1-2次提交名额给最后的优化方案。跟踪每日提交配额使用情况。

第九章：常见问题解答

Q1：Kaggle竞赛最少需要什么基础？

掌握Python基础、Pandas数据处理和基本的机器学习概念（分类/回归、交叉验证）即可开始。建议先完成Kaggle

Learn的免费微课程（Python、Pandas、IntrotoMachineLearning）。

Q2：第一次参加应该选什么竞赛？

从“GettingStarted”竞赛开始，如Titanic（二分类）或HousePrices（回归）。这些竞赛有充足的数据、清晰的评价

指标和大量公开解决方案可以参考。

Q3：Blending和Stacking应该选哪个？

数据量大（>10万行）或时间紧→Blending（holdout方式更简单）。追求极致精度→Stacking（OOF方式利用全部

数据）。在小数据集竞赛中，Stacking通常优于Blending，因为它不浪费数据。

Q4：需要多少个基模型做融合？

没有固定数字。关键是多样性——不同类型、不同特征工程的模型。3-5个多样化模型的融合通常已经能带来显著提

升。大规模集成（40+模型）需要Level-2Stacking和自动权重学习。

Q5：如何选择交叉验证的折数？

通常用5折或10折。5折速度快，10折更稳定但计算量翻倍。数据量小时用10折（每个折的验证集更大），数据量大时

用5折。

Q6：特征工程和模型调参哪个更重要？

特征工程。Goodfeaturesaremorepowerfulthancomplexmodels.Kaggle竞赛中，特征工程往往比模型选择带来

更大的提升。先花时间做特征工程，再用调参优化。

Q7：如何快速判断一个竞赛的策略方向？

先阅读竞赛的Overview和Rules，然后查看公开Notebook中高票方案的特征工程和模型选择。从baseline开始，逐步

添加特征和优化模型。

Q8：KaggleNotebook的GPU有哪些限制？

KaggleNotebooks提供每周约30小时的GPU使用时间，单次运行最长9-12小时。注意显存限制（通常16GB），使用

量化技术防止OOM。

附录：速查表

附录A：竞赛流程速查表

步骤操作关键产出

1阅读Overview和Rules理解任务和约束

2下载数据train/test/sample_submission

3EDA和数据探索了解数据分布和缺失情况

4建立baseline简单模型+CV

5特征工程新增有效特征

6模型训练和调参优化超参数

7模型融合OOF/Stacking

8提交策略选择最优提交

附录B：特征工程速查表

类型方法代码

对数变换np.log1pdf['col_log']=np.log1p(df['col'])

分箱pd.qcut/pd.