Python数据预处理课程大纲

Python数据预处理课程大纲演讲人：日期:06数据分割与验证目录01数据理解与加载02缺失值处理策略03异常值检测与处理04特征工程基础05数据标准化与编码01数据理解与加载CSV（Comma-SeparatedValues）是结构化数据存储的通用格式，以纯文本形式存储表格数据，可通过Python内置`csv`模块或第三方库（如`pandas`）高效解析，需注意分隔符、编码及缺失值处理。数据格式识别（CSV/JSON/Excel）CSV格式解析JSON（JavaScriptObjectNotation）适用于嵌套或半结构化数据，支持键值对和列表结构，使用`json`模块或`pandas.read_json()`解析时需关注数据层级和类型转换。JSON格式解析Excel文件（.xlsx/.xls）支持多表和多维数据，通过`openpyxl`或`pandas.read_excel()`读取时需指定表名、表索引及跳过冗余行，处理合并单元格需特殊逻辑。Excel格式解析`pandas.read_csv()`、`pandas.read_json()`和`pandas.read_excel()`是核心方法，支持参数定制化（如`header`、`index_col`、`dtype`），可优化内存占用和读取效率。Pandas数据读取方法通用读取函数对于超大规模数据，使用`chunksize`参数分块加载，结合迭代器逐块处理，避免内存溢出，同时支持并行化加速。大数据分块处理通过URL或API直接读取云端数据（如S3、数据库），需配置认证信息并处理网络延迟，推荐使用`pandas`结合`requests`或专用连接器（如`sqlalchemy`）。远程数据源加载数据基础信息查看（head/info/describe）快速预览数据`DataFrame.head(n)`展示前n行数据，用于验证数据加载正确性；`tail(n)`则检查末尾数据，辅助发现文件截断或记录错位问题。结构概览统计摘要`DataF()`输出列名、非空值计数及数据类型，识别缺失列和内存占用，可通过`memory_usage='deep'`参数精确分析内存消耗。`DataFrame.describe()`生成数值型字段的分布统计（均值、标准差、分位数），结合`include='all'`参数可覆盖非数值列，揭示数据潜在异常或偏差。02缺失值处理策略通过`df.isnull().sum()`快速统计各列缺失值数量，结合可视化工具（如热力图）直观展示缺失分布，适用于初步数据质量评估。基础统计检测使用`missingno`库的矩阵图或树状图分析缺失值关联性，识别系统性缺失模式（如整列/整行缺失），为后续处理提供依据。高级模式识别编写逻辑表达式结合`np.where()`定位特定条件下的缺失值（如销售额为空的VIP客户），实现精细化缺失值定位。自定义条件检测缺失值检测方法（isnull/sum）删除与填充技术（dropna/fillna）阈值删除策略通过`dropna(thresh=n)`保留至少含n个有效值的行，或`subset`参数指定关键列处理，避免过度删除有效数据。使用`fillna()`实现前向填充（`method='ffill'`）处理传感器数据，或均值/中位数填充适用于对称分布数据，保持统计特性。按分组（如地区/产品类别）计算填充值后执行`groupby().fillna()`，确保填充值符合业务场景的局部特征。动态填充方法分层填充优化高级插值（时间序列/回归填补）时间序列插值应用`interpolate(method='time')`处理不规则间隔时间戳数据，或`spline`插值平滑处理高频金融数据缺失点。矩阵分解技术采用SVD或矩阵补全算法（如SoftImpute）处理大规模稀疏矩阵，在推荐系统用户-物品矩阵中效果显著。机器学习回归填补构建随机森林/XGBoost模型预测缺失值，利用`IterativeImputer`实现多变量协同填补，适用于高维数据集。03异常值检测与处理统计方法（IQR/Z-score）010203IQR（四分位距法）通过计算数据的第一四分位数（Q1）和第三四分位数（Q3）确定正常值范围（Q1-1.5IQR至Q3+1.5IQR），超出此范围视为异常值。适用于非正态分布数据且对极端值不敏感。Z-score标准化法基于数据点与均值的标准差距离（通常阈值设为±3）识别异常值。适用于正态分布数据，但对样本量敏感且易受极端值影响。修正Z-score（MAD）采用中位数绝对偏差替代标准差，增强对非正态数据的鲁棒性，适用于小样本或偏态分布场景。可视化识别（箱线图/散点图）箱线图（Boxplot）直观展示数据分布的五数概括（最小值、Q1、中位数、Q3、最大值），通过箱体外的离散点快速定位异常值，支持多组数据对比分析。通过二维平面分布观察变量间关系，偏离主体聚集区域的孤立点可能为异常值，适用于高维数据探索性分析。结合概率密度曲线识别分布尾部的离群点，尤其适用于连续型变量的单变量分析。散点图矩阵核密度估计图将超出指定百分位（如1%和99%）的值替换为边界值，保留数据规模的同时减少极端值影响，常用于金融数据分析。Winsorization截断法用变量的均值或中位数填充异常值，操作简单但可能引入偏差，适用于低异常比例且随机分布的数据集。均值/中位数替换通过回归、KNN等模型预测异常值的合理替代值，兼顾数据分布特征与变量间相关性，但计算复杂度较高。预测模型修正异常值修正逻辑（截断/替换）04特征工程基础特征变换（对数/归一化）适用于右偏分布的数据（如收入、房价等），通过取对数压缩数值范围，使数据更接近正态分布，同时降低异常值的影响。常用于线性回归、方差分析等对正态性要求较高的模型。将特征值转换为均值为0、标准差为1的分布，公式为(z=frac{x-mu}{sigma})。适用于基于距离的算法（如KNN、SVM）和梯度下降优化，可加速模型收敛。将特征值线性映射到[0,1]区间，公式为(x'=frac{x-min(X)}{max(X)-min(X)})。适用于神经网络、图像处理等需要统一量纲的场景，但对异常值敏感。使用中位数和四分位数（IQR）进行缩放，公式为(x'=frac{x-text{median}(X)}{text{IQR}})。适用于含异常值的数据集，如金融风控或医疗数据。对数变换（LogTransformation）标准化（Z-ScoreNormalization）归一化（Min-MaxScaling）鲁棒缩放（RobustScaling）特征构造（数值计算/文本拆分）数值特征交互通过加减乘除、多项式组合（如(x_1timesx_2)）或自定义运算生成新特征，可捕捉变量间的非线性关系，提升树模型（如随机森林）的表现。01分箱（Binning）将连续变量离散化为多个区间（如年龄分箱为“儿童/青年/中年/老年”），可减少噪声影响并增强模型鲁棒性，常用于逻辑回归和决策树。文本特征提取对文本数据使用TF-IDF（词频-逆文档频率）或词嵌入（Word2Vec）转换为数值向量，结合NLP技术处理情感分析、分类任务。时间特征分解从日期时间字段提取年、月、日、星期等周期性特征，或计算时间差（如“用户上次登录距今天数”），适用于时序预测和用户行为分析。020304特征选择（相关性/VarianceThreshold）皮尔逊相关系数01衡量特征与目标变量的线性相关性，保留高绝对值（如|r|>0.3）的特征，适用于回归问题。需注意其无法检测非线性关系。方差阈值法（VarianceThreshold）02剔除方差接近0的常量特征（如所有样本取值相同的列），适用于高维稀疏数据（如文本分类），需结合Scikit-learn的阈值参数调整。递归特征消除（RFE）03通过迭代训练模型（如逻辑回归）并剔除权重最低的特征，最终保留最优子集。适用于中小规模数据集，计算成本较高但效果稳定。基于树模型的特征重要性04利用随机森林或XGBoost的输出，选择重要性排名靠前的特征，可自动处理非线性关系，但需注意过拟合风险。05数据标准化与编码MinMaxScaler原理与应用通过线性变换将数据缩放到指定范围（默认[0,1]），适用于数据分布无明显边界或需要保留稀疏矩阵中零值的情况，公式为`(X-X_min)/(X_max-X_min)`。StandardScaler原理与应用基于均值和标准差进行标准化（均值为0，方差为1），适用于服从正态分布的数据，但对异常值敏感，需配合离群值检测使用。场景选择与对比MinMaxScaler适合图像像素或百分比数据，StandardScaler更适合机器学习模型（如SVM、逻辑回归）的输入特征处理。数值标准化（MinMaxScaler/StandardScaler）One-HotEncoding实现细节将分类变量转换为二进制矩阵，每类独占一列，适用于无序类别（如颜色、城市），需注意高基数类别可能导致维度爆炸，可通过`pd.get_dummies()`或`sklearn.OneHotEncoder`实现。LabelEncoding的局限性为每个类别分配唯一整数编码，仅适用于有序分类变量（如学历等级），若误用于无序变量会引入虚假的数值关系，影响树模型以外的算法性能。目标编码（TargetEncoding）进阶方法基于目标变量均值对分类变量编码，适合高基数特征，但需防范过拟合，可通过交叉验证或添加平滑系数优化。分类变量编码（One-Hot/LabelEncoding）周期特征提取通过`pd.Timedelta`计算事件间隔（如用户上次活跃天数），适用于用户行为分析或预测性维护场景。时间差计算滑动窗口统计基于滚动均值、标准差等聚合统计刻画时间序列趋势，需注意窗口大小选择与数据频率的匹配关系。将日期拆解为年、月、日、星期等独立特征，并可衍生是否为周末、季度末等布尔标志，增强模型对时间模式的捕捉能力。日期时间特征处理（datetime转换）06数据分割与验证随机分割与分层抽样通过`train_test_split`实现数据集的随机划分，支持分层抽样（`stratify`参数）以保持类别比例，适用于分类任务中类别不平衡的场景。训练集/测试集划分（train_test_split）比例与重复性控制可自定义测试集占比（`test_size`），并通过固定随机种子（`random_state`）确保实验可复现性，避免因数据分割差异导致模型评估波动。时间序列数据特殊处理针对时间依赖型数据需关闭随机性（`shuffle=False`），防止未来信息泄露，确保测试集严格晚于训练集时间范围。K折分割原理`KFold`将数据均分为K个子集，依次轮流作为验证集，其余作为训练集，适用于回归任务或类别均衡的分类任务，需注意数据顺序需提前打乱（`shuffle=True`）。交叉验证配置（KFold/StratifiedKFold）分层K折优化`StratifiedKFold`在每一折中保持原始类别分布，解决类别不平衡问题，尤其适用于小样本或多分类场景，需配合`sklearn.model_selection`调用。参数调优与评估结合`GridSearchCV`实现超参数搜索，交叉验证可减少模型评估偏差，输出平均指标（如准确率、F1）及标准差，反映模型稳定性。数据管道构建（Pipeline设计）自定义转换器集成通过`Pipeline`将特征缩放（`StandardSc