数据挖掘基础及应用 课件 第9章-综合实践演练-蓝橙课堂版1

第9章综合实践演练01心脏病数据分析将数据准备、模式探索与分类建模串成完整实践本章围绕一份结构化数据展开。每一步都要说明输入、处理和输出。本章学习路径02任务与数据明确分析对象核对字段与标签准备与探索处理数据质量观察群体差异建模与评价建立比较基线检查泛化表现解释与报告说明预测依据交代适用范围聚类和关联规则用于探索，分类模型用于预测。它们回答的问题不同。心脏病分类任务03输入一行代表一条样本记录年龄、血压、胆固醇运动试验与心电相关指标输出根据数据字典定义二分类标签给出阳性类别的预测概率再按阈值转为预测类别本案例识别数据集中的疾病状态，不直接估计未来若干年的发病风险。数据来源与版本核对04核对项本次实践应记录的内容来源下载页面、文件名、下载日期数据规模实际行数、字段数和重复行数编码标签含义、类别值与缺失标记版本不同来源的同名heart.csv可能不同教材文字写303条，示例分类报告却有205条测试样本。先核对文件，再讨论模型。标签含义先于模型训练05原始数据的标签UCI原始字段为num0表示无疾病1～4可合并为疾病存在发布版本的target核对target的原始定义记录阳性类别是哪一个值再设置图例和预测概率列标签方向未确认时，相关性与SHAP贡献的正负都不能解释为风险升降。临床变量的分组06信息类别字段阅读重点基本情况age、sex年龄单位与性别编码静息检查trestbps、chol、fbs量纲、阈值与采集条件症状与心电cp、restecg、exang类别代码含义运动及其他检查thalach、oldpeak、slope、ca、thal检查定义与编码13个输入特征加1个目标字段。数字编码的类别变量仍应按类别理解。容易误读的字段07字段需要核对的含义常见误读cp胸痛类别及对应代码把代码大小当成病情轻重ca透视显影的主要血管数直接解释为狭窄血管数thal正常、固定缺陷、可逆缺陷解释为地中海贫血化验fbs是否超过120mg/dL把类别值当成血糖浓度UCI与重新编码版本的类别值可能不同，变量名相同也要查数据字典。数据加载与初步检查08df=pd.read_csv("heart.csv")print(df.shape)print(df.head())()print(df["target"].value_counts())先回答多少行、多少列？哪些列是数值？两类样本各多少？此处代码面向含target的CSV版本。原始UCI文件需先命名字段并明确标签转换。数据质量检查表09检查例子处理依据缺失值空值或字符串“?”先统一缺失标记重复记录完全相同的特征与标签核对来源与患者标识异常取值类别代码超出字典范围核对录入和编码极端数值胆固醇或血压明显偏大结合原始记录判断不能仅凭数值偏大删除记录。生理极端值可能仍是有效样本。重复样本与数据泄漏10错误划分的后果同一患者或重复记录同时出现在训练集与测试集模型可能记住已有样本测试表现因此偏高可执行的检查统计完全重复行核对患者标识与重复测量按患者或记录来源分组划分缺少标识时说明核验限制完全相同的行不一定证明同一患者。去重或分组的决定要有记录。可视化要回答具体问题11分析问题图形读图重点年龄主要分布在哪？直方图样本集中区间与尾部两类胆固醇有差异吗？分组箱线图中位数、离散与重叠年龄与最大心率有关吗？散点图方向、离群点与类别混合变量间是否存在关联？相关矩阵相关方向与编码含义图表描述当前样本的分布，不能单凭样本数量推断总体发病率。图9-4主要临床指标与心脏病状态的成对关系图教材图示：年龄分布12读图顺序观察集中区间再观察分布尾部某年龄段样本多只说明样本构成不能直接推断该年龄段发病率此图为教材提供的示意输出，使用自己的数据版本时应重新绘制。图9-1年龄分布直方图教材图示：胆固醇分布13比较分布先核对组别标签比较中位数比较四分位距观察两组重叠重叠较多时单变量判别有限图中0/1沿用原稿标注，实际标签需核验。离群点也需核对后再决定是否处理。图9-2不同心脏病状态下的胆固醇分布图相关性与变量编码14连续变量年龄与最大心率可观察线性相关的方向接近零只说明线性关联弱仍可能存在非线性关系类别变量cp、thal等是类别编码对代码直接计算相关系数可能受到编码顺序影响需结合分组统计理解相关性弱不能证明变量独立，也不能据此断言必须采用某一类非线性模型。图9-3特征之间的皮尔逊相关系数矩阵图数据划分与处理顺序15核对记录确认标签检查重复与来源保留测试集按类别分层必要时按患者分组训练集内处理填补与缩放编码与特征选择测试集评价只应用已拟合规则计算最终指标填补值、均值、标准差和筛选阈值均应从训练数据学习。数值与类别分别处理16变量类型处理思路本案例示例连续数值缺失填补与标准化age、trestbps、chol、thalach、oldpeak多类别变量缺失填补与独热编码cp、restecg、slope、thal二元变量按已核验的0/1含义保留sex、fbs、exang计数变量核对范围后决定编码方式caca的处理方式取决于数据字典和建模假设。类别取值越界时先核对数据。缺失值与异常值的处理17缺失值先识别空值及特殊标记连续变量可用训练集中位数类别变量可用众数或独立类别并记录每列缺失比例异常值先检查单位、编码和录入有效极端值可保留并检查影响如需截尾，阈值由训练集确定比较处理前后的结果测试集使用训练阶段保存的处理规则，不重新估计填补值或截尾阈值。标准化的数值示例18z=(x−μ训练)/σ训练量示例值含义训练集均值μ50岁仅由训练样本计算训练集标准差σ10岁用于统一尺度新样本年龄x60岁z=(60−50)/10=1测试样本60岁直接使用训练集参数变换，不参与均值和标准差的计算。预处理流水线19num_pipe=Pipeline([("fill",SimpleImputer(strategy="median")),("scale",StandardScaler())])cat_pipe=Pipeline([("fill",SimpleImputer(strategy="most_frequent")),("encode",OneHotEncoder(handle_unknown="ignore"))])连接方式数值列交给num_pipe类别列先填补再交给编码器ColumnTransformer合并处理结果关键代码片段。需导入相关类，并把类别缺失填补与编码放在同一条流水线中。特征工程方法的分工20方法回答的问题使用提醒方差过滤是否存在常量特征？有变化不代表有预测价值卡方筛选非负特征与类别是否有关？类别可先独热编码L1正则化模型可保留哪些输入？分类可用L1逻辑回归PCA哪些方向解释输入变化？主成分不是原始临床变量筛选与降维均应放入训练和交叉验证流程，避免先看全体数据再筛选。PCA投影与分类能力21二维图的边界PCA保留方差不利用类别标签二维重叠并不等于原始空间无法分类图上分离也不能替代测试集评价图为教材示意输出。分类评价仍需在独立保留的数据上完成。图9-5特征筛选PCA结果示意图聚类分析的输入与输出22选择变量年龄、血压胆固醇等数值统一尺度标准化各列计算样本距离K-Means在多维空间探索相似样本描述各簇回到原始单位比较均值与分布聚类输入排除target。教材设K=3用于演示，可结合轮廓系数和稳定性比较K值。教材图示：聚类结果23区分两个空间聚类在标准化的多维特征上完成二维PCA图只用于展示投影后的结果簇编号只是代号本身没有高低顺序图为教材示意输出。聚类得到的分组不能直接称为已验证的疾病亚型。图9-6聚类结果示意图各簇特征的原始单位比较24簇年龄/岁血压/mmHg胆固醇/mg/dL最大心率oldpeak059.1126.4229.7127.51.91148.5125.4233.8163.90.40260.2150.9292.1148.21.31教材示意：簇1较年轻且最大心率较高，簇2血压与胆固醇较高。描述差异后再提出假设。聚类结果的进一步检查25分组是否稳定改变随机种子和K值检查分组是否明显变化比较簇大小与特征分布避免只看二维图的间隔分组能说明什么可比较各簇的特征组合也可事后统计标签比例需要其他数据检验可重复性不能直接制定诊疗方案监督分类也可分析患者差异。聚类提供一种不使用标签的探索视角。关联规则的数据转换26原始记录转换后的项阈值来源age=60age_ge_median课堂假设中位数为55岁trestbps=145bp_ge_130教材演示采用130chol=260chol_ge_240教材演示采用240exang=1exang_yes已核验的二元编码阈值用于本次数据分箱，应记录来源。中位数分箱不能直接解释为临床诊断界限。课堂示例：事务表与频繁项集27记录AB出现的项111{A,B}210{A}301{B}411{A,B}同现计数A出现3次B出现3次A与B同现2次频繁项集寻找经常一起出现的项每条记录转为布尔项。多类别变量应按各类别建立项，避免把类别代码当连续强度。支持度、置信度与提升度28量计算结果支持度support(A∪B)2/40.50置信度confidence(A⇒B)2/30.667B的基础出现率3/40.75提升度lift(A⇒B)(2/3)/(3/4)0.889置信度约67%仍低于B的基础出现率75%，因此该规则的提升度小于1。规则挖掘与结果筛选29items=bin_df.astype(bool)freq=apriori(items,min_support=0.1,use_colnames=True)rules=association_rules(freq,metric="lift",min_threshold=1.0)结果需要保留前件与后件支持度置信度提升度对应的样本数教材min_support=0.1为演示设置。稀有组合可能不稳定，需检查样本数并在保留数据中验证。关联规则的解释边界30可以描述在当前样本中哪些已定义的项经常共同出现Apriori与FP-Growth在相同条件下可用于相互核对还需要验证提升度较高是否由少数样本驱动阈值改变后规则是否稳定共现关系不证明病理因果也不能替代个体分类模型教材只显示截断的前10条规则，不能从缺少完整后件和指标的表格推断具体医学结论。分类模型的比较设计31角色模型比较目的基线逻辑回归提供清晰的初始参照对照SVM、决策树比较边界与模型复杂度扩展随机森林、XGBoost观察集成方法是否改善表现扩展MLP检验神经网络在本任务的表现所有模型使用相同数据划分和评价口径。小样本任务应限制调参范围。训练、验证与最终测试32保留测试集固定记录范围暂不参与选择训练集内交叉验证每折重新拟合预处理与模型选择设置依据验证指标确定模型与阈值最终测试输出最终结果保留错误样本不能用测试集AUC选出“最佳模型”，再把同一测试结果作为无偏的最终表现。模型流水线的关键调用33pipe=Pipeline([("prep",preprocess),("model",LogisticRegression(max_iter=1000))])pipe.fit(X_train,y_train)预测阶段预处理器只变换测试数据predict_proba返回各类别概率按classes_查找阳性类别所在列关键代码片段，preprocess需先定义。切勿未经核对就把概率矩阵第2列解释为患病概率。课堂示例：12条预测记录34记录阳性概率真实标签记录阳性概率真实标签10.95170.45020.90180.40130.80090.30040.701100.20050.600110.10160.551120.050构造示例：1为阳性、0为阴性。先按阈值0.50判断，再与真实标签逐条比较。混淆矩阵的课堂示例35真实类别预测阴性预测阳性真实阴性TN=4FP=2真实阳性FN=2TP=4错误的含义FP：阴性被报阳性FN：阳性被报阴性此处只演示计数并非教材模型结果同一预测概率在不同阈值下会形成不同的混淆矩阵。分类指标的同一组计算36指标计算结果准确率(TP+TN)/N=8/1266.7%精确率TP/(TP+FP)=4/666.7%召回率TP/(TP+FN)=4/666.7%特异度TN/(TN+FP)=4/666.7%本例各项数值相同是计数恰好对称。实际模型应分别报告，不能相互替代。ROC曲线与排序能力37本例AUC=0.694曲线使用所有阈值AUC反映排序能力不代表概率已校准图中数据为课堂构造示例ROC与AUC不能直接给出唯一决策阈值。阈值应在验证阶段按任务代价选择。阈值改变后的预测结果38阈值TPFPFNTN0.5042240.305412本例降低阈值后少漏掉1条阳性记录，同时多报2条阴性记录。选择需要结合任务代价。教材中的满分结果如何阅读39教材示例模型报告的AUC逻辑回归、决策树0.926SVM0.965随机森林、XGBoost、MLP1.000先检查数据测试样本为205条是否与文件规模一致？是否存在重复记录？划分是否独立？是否用测试集选模？原稿演示结果不能作为模型可靠性或临床可用性的证据，完整条件核验后才能解释。图9-7各分类模型AUC图模型结果报告的最小内容40部分应保留的信息数据版本、数量、标签定义、去重或分组依据训练划分方式、预处理、交叉验证和调参范围评价各类样本数、混淆矩阵、AUC及选定阈值误差漏报与误报样本的共同特征限制样本来源、独立验证及概率校准情况未计算或未验证的结果应留空并说明，不用教材演示数值填充自己的实验报告。SHAP与LIME的使用位置41SHAP可说明全局重要性也可解释单个样本先明确解释哪一个类别以及输出是概率还是原始分数LIME在单个样本附近构造扰动用局部简单模型近似预测检查邻域、随机性与拟合质量说明结论只针对局部解释应针对选定模型及其真实输入。模型解释不能补救数据泄漏。图9-8模型LIME示例图编码后的特征如何解释42模型空间age可能已转为标