数据挖掘基础及应用 课件全套 第1-9章-绪论-课堂版1 - -综合实践演练-蓝橙课堂版

01第1章绪论数据的价值、挖掘过程与基本任务数据挖掘基础及应用02学习目标与章节内容1.1挖掘的意义1.2定义与过程1.3数据的类型1.4任务与规则1.5挑战与发展1.6课后练习学习目标：理解挖掘的价值与过程，认识数据类型和来源，区分基本任务与规则。图1-1计算机网络概述知识结构图03数据驱动的决策决策问题要做出什么判断数据依据已有何种记录模式发现数据有哪些规律实际应用如何使用分析结果例：零售企业分析销量、库存和购买记录，为备货方案提供依据，再结合实际需求检验效果。理解要点：数据提供依据，专业知识帮助解释和使用结果。04数据的增长与多样化互联网平台交易、社交与浏览记录医疗业务系统病历、检查与影像资料传感器设备连续采集的监测信息规模扩大、类型多样、更新加快数据整理与挖掘：提取能够支持决策的信息图1-2智能网络大脑图05数据挖掘的应用价值应用领域分析对象可能支持的决策零售购买记录、商品销量库存调整与商品推荐金融服务客户特征、交易行为客户服务与风险管理制造业生产过程与设备数据流程优化与维护安排科研实验数据及变量关系提出研究假设、发现潜在模式医疗健康患者特征与诊疗记录风险识别与健康管理理解要点：结合具体问题，识别分析对象、所用方法与预期输出。06数据挖掘的定义从大量数据中提取隐藏的、有用的信息和知识的过程。分析对象大量、多样的数据记录分析工作识别模式、关系和规律应用目的支持理解问题与制定决策例：对购买记录开展关联分析，发现商品搭配模式，为商品布局提供参考。07数据查询与数据挖掘比较角度数据查询数据挖掘主要问题哪些记录符合已知条件？数据中存在什么模式或关系？处理方式按条件筛选、汇总和检索建模、学习和模式发现零售示例查询本月各商品销量分析哪些商品经常一起购买医疗示例查询符合条件的就诊记录分析患者特征与健康风险的关系查询可以为挖掘准备数据，两者在实际工作中相互配合。08数据挖掘的基本过程数据准备清洗、集成与变换数据挖掘选择方法，发现模式模式评估评价有效性与价值知识表示用图表或规则表达例：零售购买记录分析整理购物篮记录，挖掘商品关联，评价规则的有效性，再用规则与图表呈现结果。各环节相互衔接。发现问题时，可以返回前面的步骤进行调整。图1-3智能数据处理流程图09案例：零售购买记录分析问题哪些商品经常一起购买？数据购物篮中的商品记录，以及相关交易信息。方法整理交易记录，使用关联分析发现商品搭配模式。结果与应用评价规则，支持商品布局与促销。案例的完整思路先提出问题哪些商品经常一起购买？再选择方法通过关联分析，发现共同购买的商品。最后解释结果评价规则后，再考虑是否调整商品布局或促销方式。理解要点：先明确问题，再选择方法，最后评价结果的用途。10统计学、机器学习与数据库技术统计学描述特征、关系与不确定性机器学习学习模型，发现复杂的数据模式数据库技术存储、管理、检索与集成数据数据挖掘：提取有用的模式与知识图1-4数据挖掘与相关领域的关系示意图11相关方法在分析中的作用数据库技术SQL、数据仓库、ETL提供整理后的分析数据统计学描述统计、相关与回归理解分布与变量关系机器学习决策树、支持向量机等学习模型、识别模式方法选择取决于分析问题、数据特点和评价目标，各领域的方法存在交叉。12数据的定义与表示一份就诊记录数值信息年龄、测量值和检查指标文本信息主诉、病史和医生记录图像信息CT、MRI等检查影像数据是客观事物及其属性的符号化表示。同一对象可以对应多种形式的数据。13三种数据结构类型类型结构特点示例结构化数据具有明确、固定的数据模式关系数据库表格，销售记录半结构化数据通过标签或键值组织内容XML、JSON非结构化数据缺少统一的表格结构自由文本、图像、视频结构类型决定了数据解析、存储与特征提取的方式。14数据的主要来源数据来源业务系统销售、库存、客户与就诊记录传感器设备温度、压力及生理监测信息互联网平台评论、网络日志与交易信息其他来源医学影像、文档与空间信息数据来源回答“数据从哪里来”，结构类型回答“数据怎样组织”，两者是不同的分类角度。15案例：医疗健康数据医疗健康数据医院业务系统患者信息、处方和随访记录可穿戴设备心率等生理监测记录医学影像设备CT、MRI及X光图像医疗网络平台评论、讨论和服务反馈分析前先识别记录来自何种系统，以及这些数据描述的是患者、诊疗过程还是服务体验。16描述性任务与预测性任务分析目标描述已有数据预测未知结果数据描述、聚类、关联分析例：发现顾客的自然分组。分类、回归例：估计新对象的类别或数值。辨析：分类使用预定义类别，聚类探索自然分组。17分类、回归、聚类与关联分析需要回答什么问题？分类属于哪个已知类别？输出类别，如高风险或低风险回归数值大约是多少？输出连续值，如房价或销售额聚类哪些对象更相似？输出自然形成的群组关联分析哪些项目经常共现？输出数据项之间的关联规则分类使用预定义类别，聚类探索数据中的自然分组。18数据挖掘中的规则与模式关联规则购买面包时也购买牛奶关注数据项之间的共同出现。序列模式先购买手机，再购买手机壳关注事件发生的先后顺序。分类规则依据特征判断客户风险类别输出预先定义的类别。回归预测根据房屋特征预测房价输出连续数值。19例：面包与牛奶购买面包的交易中，有80%也购买了牛奶。规则含义条件为购买面包，结果为同时购买牛奶。置信度同时购买面包和牛奶的交易数÷购买面包的交易数。支持度同时购买面包和牛奶的交易数÷全部交易数。如何理解80%条件范围只考察购买面包的交易，而不是全部交易。规则方向购买面包后也购买牛奶的比例，不能直接反过来理解。应用边界共同出现只说明关联，不能据此认定因果关系。说明：80%来自教材的说明性例子，不代表实际调查结果。20例：购买行为的时间顺序第一周：购买手机第二周：购买手机壳事件的顺序是分析内容的一部分关联分析关注是否共同出现，序列模式进一步关注先后顺序，因此需要保留事件的时间信息。理解要点：序列模式分析需要保留事件发生的先后关系。21不同任务需要不同的评价方式任务或结果评价指标主要关注点关联规则支持度、置信度规则出现频率及条件成立时的比例分类模型准确率、召回率整体分类表现与正类识别能力回归模型R²、均方误差（MSE）变异解释程度与预测误差评价指标需结合数据特点与应用目标理解，具体计算将在后续章节展开。22未来挑战与发展模型可信性理解模型依据，评价解释质量与可靠性。隐私与安全在数据协作和模型应用中保护敏感信息。多模态融合整合多种数据，关注不同场景的差异。计算效率降低模型计算开销，关注资源消耗。负责任创新识别偏见与不公平，合理使用分析结果。应用时需要考虑数据质量缺失、噪声或偏差可能影响模型结果。场景差异在一个场景得到的模式，换到其他场景仍需评价。使用责任结合专业知识解释结果，关注隐私与公平。理解要点：模型性能、可信程度与使用条件需要共同考虑。23本章小结提出问题明确实际需求认识数据理解来源与结构选择任务匹配方法与目标评价与表达检验并解释结果贯穿全过程：关注数据质量、隐私、公平、模型可信性与应用边界。24课后练习01比较并描述统计学与机器学习在数据挖掘中的作用与差异。02结合不同的领域，分别说明数据驱动决策相较于传统经验驱动决策的优势。03表1-2中列举了多种数据来源。请任选两类，分别给出一个潜在的实际应用场景。作答提示第1题分别说明两个领域的作用，并指出其方法存在交叉。第2题先给出具体决策问题，再说明数据能够提供什么依据。第3题写清数据来源、分析目标与潜在的应用用途。作答时说明分析问题、所需数据、适用任务与预期用途。01第2章数据准备理解属性、描述数据、完成预处理数据挖掘基础及应用本章学习路线022.1对象与属性识别记录、变量和属性类型2.2数据的描述用统计量和图形理解数据2.3数据预处理处理质量问题，准备建模数据学习目标：能判断属性类型，选择合适的统计量与图形，并说明预处理的目的。图2-1数据准备知识结构图数据对象、属性与属性向量03数据对象学号性别爱好宿舍楼号A同学24001M篮球AB同学24002F剧本杀BC同学24003M电子竞技AD同学23001M看书CE同学23002F看书B一行描述一个对象一列记录一个属性某个对象的一组属性值组成属性向量。学号用来识别对象，其差值通常没有分析意义。标称属性与二元属性04标称属性不同取值表示不同类别。类别之间没有天然的大小顺序。例：爱好、宿舍楼号、职业期望。二元属性只有两个类别或状态。例：教材学生信息中的M与F。也可以用0和1编码。数字编码只代表类别，不会自动赋予类别可加减、可比较倍数的含义。序数属性：有顺序的类别05不满意一般满意能够说明什么这些类别具有等级顺序，可以比较高低或前后。不能直接说明什么相邻等级的差距未必相等，不能仅用编码推断差距大小。教材还列举饮料杯型、成绩等级、教师职称等有序类别。区间标度与比率标度06比较角度区间标度比率标度有意义的顺序和差值有有绝对零点没有有教材示例摄氏温度、年份长度、速度、金额解释示例20℃比5℃高15℃10m/s是2m/s的5倍摄氏温度可以比较温差，但“20℃是10℃的两倍热”没有相应的比率意义。离散与连续：另一种分类角度07取值可数类别或计数例：专业类别、人数取值连续区间内可进一步细分例：身高、体重与定性、定量的关系离散属性既可能是类别，也可能是数值计数。属性类型需要结合实际含义判断。读入数据后，先核对字段含义，再决定编码方式和适用的统计量。统计描述回答的三个问题08中心在哪里均值、中位数、众数数据有多分散方差、标准差、IQR、极差分布是什么形状偏度、峰度统计量与可视化相互补充，帮助发现数据质量问题并选择后续分析方法。均值、中位数与众数09成绩：50、60、72、88、70、85、90、100、80、95均值：79所有数值之和除以个数。反映整体水平。中位数：82.5先排序，再确定中间位置。本例为(80+85)/2。众数出现次数最多的取值。表2-1中性别M出现3次。本页成绩来自教材例2.15。该成绩序列各值出现次数相同，不能挑出唯一众数。极端值为什么会影响均值10说明性序列10、11、12、13、14、100均值≈26.67中位数=12.5截尾均值排序后，两端各去掉一个值：11、12、13、14截尾均值=12.5截尾用于降低极端值影响，截尾比例与处理理由应说明。不能据此把真实极端值直接认定为错误。方差与标准差：离散程度11总体口径σ²=Σ(xᵢ−μ)²/n本例总体方差=226.8总体标准差≈15.06样本估计口径s²=Σ(xᵢ−x̄)²/(n−1)本例样本方差=252样本标准差≈15.87标准差是方差的平方根，与原变量单位相同。NumPy中ddof=0与ddof=1对应不同分母。四分位数、IQR与极差12排序后：50、60、70、72、80、85、88、90、95、100Q1=70.5第25百分位数Q2=82.5中位数，第50百分位数Q3=89.5第75百分位数采用NumPy默认线性插值口径：IQR=Q3−Q1=19；极差=100−50=50。偏度：分布向哪一侧拖尾13近似对称右偏：右侧长尾左偏：左侧长尾偏度看长尾的方向。偏度接近0只反映三阶矩特征，不能单独证明数据服从正态分布。峰度：先明确采用的定义14Pearson峰度正态分布参考值为3。scipy.stats.kurtosis使用fisher=False时返回该口径。超额峰度在Pearson峰度基础上减去3。正态分布参考值为0。使用fisher=True时返回该口径。峰度主要帮助描述尾部与极端值特征，不能只看峰顶高低。比较前需统一口径。统计描述的Python操作15importnumpyasnpx=np.array([50,60,72,88,70,85,90,100,80,95])np.mean(x),np.median(x)np.var(x,ddof=0),np.std(x,ddof=0)np.percentile(x,[25,50,75])x.max()-x.min()运行前后的检查先核对数据类型与缺失值。确认总体或样本口径。把结果与手工计算对照。本页使用固定序列，方便复算。np.var与np.std的分母由ddof控制。按分析问题选择图形16看分布与异常箱型图看区间频数直方图看变量关系散点图看有序变化折线图图形选择要服务于问题。先说明每个坐标轴、每个点或柱表示什么，再解释模式。箱型图：箱体、须与离群点17读图顺序箱体：Q1到Q3中线：中位数须：1.5×IQR围栏内的最远观测值独立点：围栏以外的观测值本例45被标为统计离群点。教材数据中的102、110还需按“成绩0—100”的业务范围核查。图2-2箱型图图2-3信息较为完整的箱型图直方图：数值落在哪些区间18图中共10条记录。除最后一个区间外，按左闭右开区间计数。图2-4简单的直方图图2-5学生成绩分布三种直方图怎样读图1.每个区间宽20分2.柱高表示区间人数3.80—100分区间有64.最后一个区间包含100分频数、频率与概率密度19频数nⱼ区间内的观测数。本例为2。频率nⱼ/n区间所占比例。2/10=0.2。密度nⱼ/(n×h)频率再除以区间宽度。0.2/10=0.02。频率之和为1；概率密度直方图的面积之和为1。密度柱高本身不等于区间概率。散点图：学习时间与考试成绩20读图问题每个点对应一条观测。总体趋势如何？是否存在偏离趋势的点？其他因素是否也可能影响成绩？散点图用于探索两个变量的关系。气泡图还可用点大小表达第三个变量。图2-6简单的散点图图2-7学生成绩相关三种散点图折线图：按顺序连接观测值21适用的问题观测具有时间或其他顺序。连线展示相邻观测的变化。可比较多组趋势。平滑曲线不等于新增观测。本页是教材的数学函数演示。销售额随月份变化等实际时间序列也常用折线图表达。图2-8简单的折线图图2-9基础折线图可视化操作：把问题对应到图形22importmatplotlib.pyplotaspltplt.boxplot(scores)plt.hist(scores,bins=[0,20,40,60,80,100])plt.scatter(study_hours,exam_scores)plt.plot(x,y)plt.show()作图后检查坐标轴名称、单位和范围。分箱边界、缺失与异常。数据来源与每个图形元素的含义。本页各调用独立对应一种图形。实际绘图时使用各例定义的数据，并分别创建图形。图2-10多折线图图2-11带阴影区域的折线图图2-12平滑曲线图数据预处理的整体流程23数据清洗缺失、噪声、异常与重复数据集成合并来源，统一含义与单位数据转换缩放、编码、离散化与构造数据归约减少冗余，保留有用信息具体任务中会反复检查数据，预处理流程与参数需要记录，便于解释和复现。缺失值：先识别，再选择处理方式24先回答什么哪些字段缺失？缺失了多少？缺失是否具有业务含义？是删除、填补，还是保留标记？教材案例的关键操作df.isna().sum()df['借款金额']=df['借款金额'].fillna(df['借款金额'].mean())#也可按需要选择中位数等策略填补方法应匹配属性类型和数据特点。均值填补可能改变原有分布，不能机械应用。异常值：统计判据与业务规则25IQR统计判据Q1=76.75，Q3=93.5IQR=16.75下围栏=51.625上围栏=118.62545落在围栏之外。业务范围检查若成绩范围定义为0—100：102、110超出了允许范围。它们没有超出本例IQR上围栏，仍然需要核对数据来源。统计离群点与错误记录并不等同。核查后再选择保留、修正、标记或排除。重复记录：明确去重的对象26学号性别爱好24001M篮球24002F剧本杀24001M篮球重复检测与保留策略df.duplicated().sum()df.drop_duplicates(keep='first')#按指定字段判断时df.drop_duplicates(subset=['学号'],keep='last')同一对象的多次有效测量可能需要保留。去重前应明确唯一标识、时间与业务规则。数据集成：合并前先统一含义27识别对象确认关联键与对象匹配统一字段同名字段是否含义一致消除冲突核对单位、编码和取值形成数据集记录来源与合并规则单位冲突示例身高170cm与1.70m表示同一长度，合并前需要统一单位。ETL包括抽取、转换、加载。合并后还应检查记录数、重复匹配和缺失情况。数值缩放：归一化与标准化28最小—最大归一化x′=(x−min)/(max−min)常把训练数据缩放到[0,1]。当最大值等于最小值时，需单独处理常量属性。Z-Score与小数定标z=(x−μ)/σ小数定标：x′=x/10ʲ选取j，使max(|x′|)<1。两者都保留对缩放参数的记录。Z-Score使拟合数据均值约为0、方差约为1，但不会自动把任意分布变成正态分布。等宽与等频离散化29说明性序列：1、2、3、4、5、100，划分为两箱等宽：区间宽度相近边界：1、50.5、100第一箱有5个值。第二箱有1个值。适合强调数值区间。等频：记录数相近边界：1、3.5、100两个箱各有3个值。重复值较多时，箱数和频数可能无法完全符合预期。分箱边界应记录。解释结果时要说明边界的开闭规则，并核对落在边界上的数据。类别编码与属性构造30专业类别护理药学康复护理100药学010康复001已有属性构造新属性月均本金=借款金额/借款期限期限需要统一为月。该计算没有包括利息和费用，不等于完整的每月还款额。独热编码用不同列表示不同类别，避免把无序类别的数字编码误当作大小关系。数据归约：保留列，还是生成新特征31原始特征特征选择特征提取保留一部分原始属性。结果仍能对应原来的字段。组合或变换原始属性。结果可能是新的特征空间。减少维度可以降低开销，但需要评价保留的信息是否仍能满足分析任务。特征选择的三种思路32过滤法按统计指标先筛选。例：SelectKBest包裹法围绕模型反复比较子集。例：RFECV嵌入法在模型训练中进行选择。例：树模型特征重要性选择标准与任务目标有关。有监督特征选择需要正确区分输入特征X与目标y。PCA、LDA与ICA的侧重点33方法主要思路是否使用类别标签PCA寻找方差较大的投影方向不使用LDA寻找有利于类别区分的投影使用ICA寻找统计上尽可能独立的成分不使用LDA输出维数最多为类别数减1。二分类任务最多1维，不能直接设置为2维。LCIS案例：把预处理步骤串起来34读取与检查列名、类型、缺失和重复清洗与集成按规则处理并记录变化转换与构造缩放、分箱或构造属性选择或提取得到用于后续建模的数据df=pd.read_csv('LCIS.csv')df.head();();df.describe()实际操作前核对文件路径、字段含义和数据类型，运行结果以实际数据为准。本章小结：数据准备的完整思路35认识数据对象、属性与类型描述数据中心、离散程度与形状检查图形分布、关系与变化完成预处理清洗、集成、转换、归约每一步都应能解释：为什么这样处理、改变了什么、会影响后续分析的哪些部分。课后练习：统计描述与编码36第1题：学生信息表构造姓名、性别、年龄、成绩、专业等字段。统计性别众数。计算成绩均值、中位数、标准差。绘制成绩直方图。第2题：身高与专业用Python模拟学生身高（cm）和专业类别。把身高离散化为低、中、高三个区间。把专业类别进行独热编码。提交时说明模拟数据的生成方法、统计口径、分箱边界及编码结果。课后练习：Iris特征选择与降维37读取数据使用sklearn的Iris数据集特征选择用SelectKBest选择前2个特征PCA降维降到2维并绘制散点图比较时思考特征选择保留了哪些原始字段？PCA的两个新维度代表什么？两种输出在解释上有什么不同？先明确X与y。图中如用颜色表示类别，应给出图例，说明每个点对应一条样本。课后练习：类型判断与质量检查38第4题：混合属性构造学号、性别、成绩等级、体温和收入等字段。编写规则自动判断标称、序数、区间或比率属性，并输出结果。判断时需要结合字段语义。第5题：员工工资模拟0—5万元的工资数据，包含异常值和缺失值。检测缺失值，用均值填补。用Z-Score检测并标注异常值。输出处理前后的数据对比。保存原始数据与处理规则。异常标记与是否删除记录应分开说明。01第3章回归问题分析建立模型、评价预测、解释结果数据挖掘基础及应用本章学习路线02线性回归用直线或线性组合预测数值逻辑回归用概率描述二分类结果其他回归方法扩展特征，控制模型复杂度分析与解释用留出数据检验预测效果学习目标：能建立基本模型，解释系数与误差，并根据目标变量选择评价指标。图3-1回归问题分析知识结构图目标变量决定预测任务03预测一个数值房屋价格、期末成绩、每天的自行车租赁量。目标y记录连续数值或数量。线性回归等模型直接输出ŷ。预测一个类别的概率一年内是否发生心血管事件，或某天是否属于高需求日。目标y记录0或1。逻辑回归输出P(y=1|X)。先定义预测时点、目标和可用特征。同一组输入可以服务于不同的预测任务。一元线性回归模型04y=β₀+β₁x+ε预测值ŷ=b₀+b₁x自变量x提供预测信息的输入。例：房屋面积截距与斜率b₀是截距。b₁表示x每增加1单位，预测值的变化量。误差与残差ε是总体模型的误差。样本拟合后，残差为y−ŷ。截距对应x=0处的预测值。只有当x=0在业务上有意义时，才直接作业务解释。图3-5线性回归残差是观测值与拟合值的差05读图方法蓝点是观测值。橙线给出预测值。灰线表示纵向残差。x=3时：y=5，ŷ=4。残差为1。残差有正有负。最小二乘法比较残差的平方，避免正负误差在求和时相互抵消。最小二乘法的目标06RSS=Σᵢ(yᵢ−ŷᵢ)²求使RSS最小的参数一元模型的求解b₁=Σ(xᵢ−x̄)(yᵢ−ȳ)/Σ(xᵢ−x̄)²b₀=ȳ−b₁x̄先计算均值，再计算斜率与截距。多元模型的求解设计矩阵包含截距列。正规方程：XᵀXb=Xᵀy。计算时可用稳定的数值求解。可逆性不足时不直接求逆。最小二乘求解本身不要求误差服从正态分布。经典小样本检验与区间推断需要额外假设。例3.3：手算一条回归直线07xyx−3y−4乘积12−2−2424−100350104410055212计算结果x̄=3，ȳ=4。乘积之和为6。平方差之和为10。b₁=6/10=0.6。b₀=4−0.6×3=2.2。拟合式为ŷ=2.2+0.6x。代入x=3得到ŷ=4，回归直线经过样本均值点。例3.1：一元回归的拟合结果08拟合式ŷ=5.6333+0.54XX每增加1单位，拟合值增加0.54。拟合线描述整体趋势，各点仍然存在残差。X：5、15、25、35、45、55。Y：5、20、14、32、22、38。此页展示样本内拟合。例3.1：建模的关键调用09importnumpyasnpfromsklearn.linear_modelimportLinearRegressionX=np.array([5,15,25,35,45,55]).reshape(-1,1)y=np.array([5,20,14,32,22,38])model=LinearRegression().fit(X,y)pred=model.predict(X)print(ercept_,model.coef_[0])输入与输出X是二维特征矩阵，形状为6×1。y含6个目标值。predict返回预测值，coef_返回回归系数。这里在同一组数据上拟合并画图。要评价对新样本的预测能力，还需要独立测试数据。多元线性回归模型10ŷ=b₀+b₁x₁+b₂x₂+⋯+bₚxₚ多个输入共同预测例如使用面积、房龄和位置共同预测房屋价格。每个样本有p个特征，X的形状为n×p。系数的条件解释其他模型输入保持不变时，xⱼ增加1单位，预测值改变bⱼ个目标单位。应结合单位与编码方式解释。“线性”指模型对参数是线性的。自变量也可以包含平方项、交互项或类别变量编码。例3.2：两个自变量的回归11X₁X₂Y1122463912416205253063640得到的模型ŷ≈−1+1.9643X₁+0.8214X₂X₂=X₁²。这组数据展示特征扩展，两个输入并非独立变化。不要作独立干预的因果解释。X=np.column_stack([X1,X2])。拟合多个特征时，还应检查特征相关性和系数稳定性。多重共线性与系数解释12高度相关的输入面积、卧室数、卫生间数可能同时随房屋规模增加。多个特征提供相近信息时，模型可能难以稳定分配系数。小幅改变数据就可能改变系数。分析时关注什么比较不同划分下的系数。核对量纲、编码和异常值。可用岭回归等方法稳定估计。相关关系不能直接当作因果关系。同一个模型中，系数的绝对值也受到特征单位影响。比较大小前需要说明缩放与编码口径。训练、验证与测试的分工13训练部分拟合预处理参数，估计模型系数。验证或交叉验证选择模型、特征方案和正则化强度。测试部分方案确定后，评价未见数据上的表现。预处理也需要遵守划分均值填补、标准化、特征选择等步骤只在训练部分拟合。测试部分使用已学到的变换。Pipeline便于把步骤一起管理。同一对象的重复记录要考虑按对象分组。预测未来时，测试集应晚于训练集。MAE、MSE与RMSE14指标计算口径怎样解释MAEΣ|yᵢ−ŷᵢ|/n平均绝对误差，单位同yMSEΣ(yᵢ−ŷᵢ)²/n平方误差平均值，单位为y的平方RMSE√MSE误差量级，单位同y例3.3的样本内结果RSS=2.4，n=5。MAE=0.64，MSE=0.48，RMSE≈0.693。同一目标和同一测试集上才适合直接比较误差。MSE会对较大的残差赋予更高权重。R²与调整后的R²15R²的参照模型R²=1−RSS/Σ(yᵢ−ȳ)²相对于用评价集均值预测的基线。完美预测时为1。差于该基线时可能为负。例3.3的样本内R²=0.60。调整后的R²1−(1−R²)(n−1)/(n−p−1)考虑样本数n和特征数p。此式需要n>p+1。适合辅助比较线性模型拟合，仍需在留出数据上评价预测。目标在评价集中为常数时，需要单独处理R²的定义或软件行为。调整R²不替代交叉验证。残差图：检查模型遗漏的结构16读图时关注残差是否围绕0分布？是否呈弯曲趋势？是否随拟合值增大而扩散？是否有特别突出的点？有规律时检查模型与数据。本图只有5条数据，用于说明读图方法。少量点不能证明误差独立、等方差或正态。例3.4：自行车日租赁量预测17定义目标cnt：某天的总租赁数量。选择输入日历、天气、温度、湿度和风速等。划分与预处理按预测场景划分，正确编码类别特征。拟合与评估线性回归给出数值预测，检查误差与残差。预测时可用的信息若目标是预测未来一天，只使用预测时已知或可获得的特征。不要把由目标直接拆分得到的计数作为输入。运行结果以day.csv的实际分析为准，并记录日期、字段单位、编码和数据划分。自行车案例：类别编码与数值输入18输入组字段示例预处理类别或日历编码season、mnth、weekday、weathersit按含义指定类别，进行One-Hot编码二元标记holiday、workingday、yr核对0/1的含义数值气象量temp、atemp、hum、windspeed检查缩放、缺失值和相关性输入的业务含义决定编码方式。数值型存储不等于数值型含义。pd.get_dummies默认不会自动把所有整数列转换为One-Hot。需要显式指定columns或类别类型。自行车案例：拟合后怎样评价19model.fit(X_train,y_train)pred=model.predict(X_test)mae=mean_absolute_error(y_test,pred)mse=mean_squared_error(y_test,pred)r2=r2_score(y_test,pred)residual=y_test-pred需要保留的输出报告同一测试集的误差。对照真实值与预测值。检查残差图。与简单基线比较，说明数据划分和样本数。评价函数要比较y_test与pred。若把y_test与自身比较，会得到没有预测意义的零误差。逻辑回归：从线性组合到概率20z=b₀+b₁x₁+⋯+bₚxₚp=1/(1+e⁻ᶻ)模型输出p表示目标类别1的预测概率。它位于0与1之间。训练目标使用二分类标签y。从概率作分类给定阈值t：p≥t时判为1，否则判为0。阈值改变分类结果，不会改变同一模型输出的概率。逻辑回归常用于分类任务。医疗练习中的预测概率仍是教学模型输出，不能当作已验证的临床风险。Sigmoid函数与分类阈值21三个参照位置z=0时，p=0.5。z越大，p越接近1。z越小，p越接近0。t=0.5是常用起点，可根据误判代价调整。阈值应使用训练中的验证部分确定。测试集用于最终评估，不用于反复挑选阈值。阈值改变精确率和召回率22记录真实y预测概率p阈值0.5阈值0.3A00.1000B10.4001C00.6011D10.9011本例的比较阈值0.5：精确率=0.50，召回率=0.50，F1=0.50。阈值0.3：精确率≈0.67，召回率=1.00，F1=0.80。精确率P=TP/(TP+FP)，召回率R=TP/(TP+FN)，F1=2PR/(P+R)。TP/FP/FN分别为真正、假正和假负。逻辑回归的训练目标23对数损失L=−Σ[ylogp+(1−y)log(1−p)]最小化负对数似然，也就是最大化对数似然。梯度法沿下降方向更新参数。学习率控制更新步长。左图用L(w)=w²演示梯度下降，步长η=0.2。逻辑回归使用右侧对数损失，具体求解器也可利用二阶信息。二分类模型的评价口径24关注的问题常用输出读图或读数要点概率的排序能力ROC曲线、ROC-AUC使用正类预测分数或概率正类识别效果PR曲线、精确率、召回率类别不平衡时重点查看给定阈值的分类混淆矩阵、F1报告阈值和误判情况概率是否合理对数损失、校准曲线概率大小与发生比例是否一致MAE、MSE、R²适合数值回归评价。本章二分类例子使用分类指标，不沿用租赁数量的回归指标。例3.5：把租赁问题定义成二分类25先划分日期较早日期用于训练，较晚日期用于测试。定义高需求日用训练部分cnt的中位数作为演示阈值q。生成0/1标签cnt≥q记为1，否则记为0。训练逻辑回归预测高需求概率，评价分类表现。目标定义需要事先说明本例将数值任务改为“是否高需求”的二分类任务。演示阈值q只用训练部分计算，测试部分沿用同一个q。原始租赁数量仍用于数值回归。这里是另一个目标定义，不能把每个不同计数都当成一个二分类标签。例3.5：逻辑回归的核心代码26fromsklearn.pipelineimportmake_pipelinefromsklearn.preprocessingimportStandardScalerfromsklearn.linear_modelimportLogisticRegressionclf=make_pipeline(StandardScaler(),LogisticRegression(max_iter=1000))clf.fit(X_train,y_train_binary)p=clf.predict_proba(X_test)[:,1]label=(p>=0.5).astype(int)分清三种输出fit估计缩放参数与系数。p是类别1的概率。label给出阈值分类结果。用真实标签评价结果。标准化在Pipeline内部拟合。先划分训练/测试，再fit，最后用独立测试集评价。多项式回归：扩展输入特征27ŷ=b₀+b₁x+b₂x²+⋯+bₘxᵐ非线性的输入关系把x、x²、x³等作为输入，仍然用线性组合估计参数。次数决定曲线可弯曲的程度。高次数也会增加过拟合风险。例3.6的数据提醒X=1、2、3、4、5。Y=2、4、6、8、10。这组数据本来满足Y=2X。加入平方项后，平方项系数约为0。使用多项式模型不保证拟合结果一定弯曲。应根据数据关系和验证结果选择次数。多项式拟合的曲线与观测点28图形表达什么观测点围绕曲线分布。曲线表达整体变化关系。比较不同次数时，看验证误差与稳定性。谨慎解释范围外预测。本图沿用教材图3-8，展示非线性关系。它与例3.6的5点线性数据是两个不同的示例。图3-8多项式回归例3.6：生成多项式特征29fromsklearn.preprocessingimportPolynomialFeaturesfromsklearn.linear_modelimportLinearRegressionfromsklearn.pipelineimportmake_pipelinemodel=make_pipeline(PolynomialFeatures(degree=2,include_bias=False),LinearRegression())model.fit(X,y)pred=model.predict(X)特征的变化原输入：x。二次扩展后：x、x²。截距由回归模型估计。在验证部分选择次数。本页X、y沿用例3.6的5条数据。要对新样本评价时，应先划分数据，再拟合整个Pipeline。岭回归：约束系数的大小30目标：RSS+λΣⱼbⱼ²λ≥0L2惩罚的作用在拟合误差之外，对较大的系数增加惩罚。常用于缓解共线性带来的系数不稳定。使用时的选择λ越大，收缩通常越强。通过交叉验证选择强度。一般不产生稀疏解。数值特征通常先进行标准化通常不惩罚截距。Ridge的alpha对应其实现中的惩罚强度，λ=0时目标退化为普通最小二乘。图3-9岭回归例3.7：岭回归的收缩效果31相同训练数据下原数据满足Y=2X。训练X：3、4、5、6。测试X：1、2。Ridge(alpha=1)：ŷ=1.5+1.6667X。蓝点为训练点，橙点为测试点。该例展示系数收缩，不表示加入正则化一定能降低测试误差。Lasso：用L1惩罚得到稀疏系数32概念目标：RSS+λΣⱼ|bⱼ|与岭回归的区别L1惩罚有可能把部分系数压缩到恰好为0。因此可以形成稀疏模型，用于辅助特征选择。解释时的限制高度相关的特征中，可能只保留其中一部分。系数为0不等于变量无关。结果还受到数据和λ影响。scikit-learnLasso使用RSS/(2n)+alpha×Σ|bⱼ|。不同实现的惩罚参数不能只按数值大小直接比较。例3.8：Lasso的拟合结果33本例只有一个输入X：1、2、4、7、8、10。Y：1、4、2、8、7、10。Lasso(alpha=0.1)：ŷ=−2.472+1.272X。本例的斜率没有被压到0。训练/测试划分沿用random_state=42、test_size=0.2。只有一个输入的例子不能充分展示多特征选择。岭回归与Lasso的几何示意34图中各部分椭圆表示拟合损失的等高线。圆形边界对应L2约束。菱形边界对应L1约束。L1边界的尖角位于坐标轴上，有助于解释零系数现象。这是约束形式的二维示意。具体解取决于数据、损失函数与约束强度。图3-10岭回归和Lasso回归比较弹性网：同时使用L1和L235概念目标：RSS+λ₁Σⱼ|bⱼ|+λ₂Σⱼbⱼ²两类惩罚共同作用L1部分鼓励稀疏系数。L2部分提供收缩与稳定性。适用于相关特征较多、同时希望简化模型的情况。两个常见参数alpha控制整体惩罚强度。l1_ratio控制L1所占比例。比例为1时对应Lasso形式。参数需要在训练中选择。scikit-learn的目标含RSS/(2n)，L2项也有1/2因子。概念式用于理解，数值应按具体软件定义。例3.9：弹性网的关键调用36fromsklearn.linear_modelimportElasticNetfromsklearn.model_selectionimporttrain_test_splitX=np.arange(1,7).reshape(-1,1)y=np.array([2,3,5,4,6,7])Xtr,Xte,ytr,yte=train_test_split(X,y,test_size=0.2,random_state=42)model=ElasticNet(alpha=0.1,l1_ratio=0.5)model.fit(Xtr,ytr)pred=model.predict(Xte)拟合结果与用途本例未做标准化，沿用教材的单输入演示。截距≈2.2115。斜率≈0.7308。测试X为1、2。小样本用于演示调用。实际多特征建模时，把预处理放入Pipeline，并在训练数据内选择alpha和l1_ratio。几类回归方法的选择依据37方法主要变化适合重点关注的问题线性回归用原特征的线性组合预测建立简单基线、解释系数多项式回归增加平方项等特征输入与目标之间存在弯曲关系Ridge加入L2惩罚相关特征下的系数稳定性Lasso加入L1惩罚形成稀疏模型与特征选择ElasticNet结合L1和L2相关特征与稀疏性兼顾方法名称不能直接决定好坏。使用相同的数据划分、预处理和评价指标进行比较。交叉验证选择正则化强度38pipe=make_pipeline(StandardScaler(),Ridge())search=GridSearchCV(pipe,{'ridge__alpha':[0.01,0.1,1,10,100]},cv=5,scoring='neg_mean_squared_error')search.fit(X_train,y_train)print(search.best_params_)pred=search.predict(X_test)选择与测试分开各训练折单独拟合缩放。按验证误差选择参数。方案确定后评价测试集。时间数据按先后划分。GridSearchCV从sklearn.model_selection导入。折数须结合样本量及分组结构确定。结果解释：方向、单位与稳定性39先看预测误差是否优于基线？残差是否仍有规律？再看系数正负方向怎样？原单位或编码是什么？比较稳定性换一组训练样本后，结论是否改变？两种任务对应不同解释线性回归系数描述条件预测值的变化。逻辑回归系数作用于对数优势，exp(bⱼ)对应其他输入固定时的优势比。标准化后的数值系数对应特征增加一个标准差。模型中的关联解释不能替代因果结论。本章小结40定义任务连续数值还是0/1类别？预测时能获得哪些输入？建立基线线性模型作为起点，有需要时扩展或正则化。检验结果使用留出数据评价，结合残差和系数解释。完成一次分析应能说明目标如何定义、数据怎样划分、预处理在哪里拟合，以及模型相对基线改善了什么、仍有哪些限制。预测值、类别概率和最终分类结果各有用途。报告时应明确输出类型与评价口径。课后练习1：心血管事件二分类41模拟数据与目标预测一年内是否发生事件（0/1）。阳性比例约25%。输入包括年龄、BMI、收缩压、胆固醇、吸烟、家族史、空腹血糖和运动频次。需要提交的分析标准化与L2逻辑回归。ROC和PR曲线，报告AUC。不同阈值下的F1。打印系数并解释方向。概率校准可作为选做。阈值选择和可选校准在训练的验证部分完成。此题使用模拟数据，结果仅用于学习建模方法。课后练习2：设备剩余寿命预测42模拟传感器数据目标为剩余寿命，单位为天。输入包括振动RMS、温度、压力、转速和使用年限。在少量记录中加入传感器尖峰。比较离群点敏感性使用时间顺序划分训练与测试。对比OLS与RANSAC或Huber。报告MSE与MAE。绘制残差图，分析异常点影响。保留模拟生成规则和原始数据。比较模型时使用相同训练/测试划分，并记录异常值设置。课后练习3：期末成绩预测43模拟学习相关数据目标为期末分数。输入包括出勤率、作业完成率、平时测验均分、学习时长、校队或社团、家长受教育程度。包含数值特征和类别特征。预测与特征解释One-Hot编码与标准化。用ElasticNetCV选择参数。报告MSE、MAE与R²。使用PermutationImportance解释重要特征。特征必须在预测时点可用。交叉验证中的预处理只在相应训练折拟合，避免验证信息泄漏。课后练习4：门店销量与价格弹性44模拟门店日销量输入包括价格、竞争对手价格、促销、节假日、周几、气温和门店类型。One-Hot编码与标准化。对比Ridge、Lasso、ElasticNetCV。比较结果并解释价格报告MAPE与MAE。报告所选α和非零系数数目。水平值线性模型在均值点：价格弹性=b价格×P̄/Q̄。标准化系数先换回原价格单位。明确目标和价格的变换方式。销量为0或接近0时，MAPE不稳定，应同时报告MAE。课后练习5：共线性下的房价预测45模拟房价与房屋属性面积、卧室数、卫生间数设为强相关特征。同时加入建造年份、到CBD距离、学区评级、朝向和装修标准。完成数值与类别特征预处理。比较模型与解释稳定性对比OLS、Ridge与Lasso。报告MSE与R²。比较系数，绘制残差图。观察Lasso保留了哪些特征。分析不同划分下结论的稳定性。使用相同测试数据比较预测误差。解释原单位系数时，注意把数值缩放的影响还原。01第4章分类问题分析学习分类规则、比较模型、评价结果数据挖掘基础及应用本章学习路线02决策树与剪枝理解分裂规则，控制树的复杂度。支持向量机通过间隔与核函数建立分类边界。贝叶斯分类结合先验与证据，比较类别后验概率。集成与评估组合多个模型，用相同口径评价。学习目标：能说明模型如何分类，选择合适的评价指标，并解释错误类型与阈值的关系。图4-1分类问题知识结构图分类任务与类别标签03二分类输出两个预先定义的类别。例如垃圾邮件与正常邮件，是否违约、是否为瑕疵品。建模前明确哪一类记为正类。多分类输出多个预先定义的类别。例如Iris花的品种，或事先定义的房价区间。类别名称和编码需保持对应。预测具体房价属于数值回归，预测“低价、中价、高价”属于分类。目标定义决定任务类型。分类模型的完整工作流程04定义目标与特征固定标签含义，确认可用输入。划分并预处理划分训练和测试，在训练中拟合变换。内部选择模型用验证或交叉验证选择参数与阈值。最终测试报告分类表现，检查错误类型，说明适用范围。三种常见输出类别标签给出最终分类，分数描述排序，概率给出类别概率估计。计算ROC或PR时使用分数或概率，报告混淆矩阵时还需给出阈值。测试数据不参与预处理参数、模型参数或阈值的选择。相同对象的多条记录应考虑按对象分组。决策树：逐层判断直到叶节点05今天的天气如何？晴天雨天温度是否超过20°C？是否有大风？超过不超过有大风无大风穿短袖穿长袖穿夹克和带伞穿雨衣和带伞内部节点提出判断，分支对应判断结果，叶节点给出输出。此示例将天气简化为晴天和雨天。规则提取：从根到叶读一条路径06晴天第一项判断成立。温度超过20°C第二项判断成立。穿短袖到达叶节点并输出。把路径写成规则如果“晴天”且“温度>20°C”，则按示例规则选择短袖。训练模型后，可用export_text输出文本规则，并检查样本的decision_path。一条路径中的条件共同成立才会到达对应叶节点。模型规则应放在训练数据和应用场景中解释。熵与基尼不纯度07怎样读图p为0或1时，节点纯净。p接近0.5时，两类混合。H=−Σpₖlog₂pₖG=1−Σpₖ²分裂后希望不纯度下降。类别比例用于计算不纯度。熵与基尼的数值尺度不同，不能把两种度量的原始数值直接比较。信息增益：分裂后减少了多少熵08湿度是否样本数高314低235整体549计算过程H(D)≈0.9911。分裂后加权熵：(4/9)H(3/4)+(5/9)H(2/5)≈0.9000。信息增益≈0.0911。IG=父节点熵−子节点加权熵子节点权重是该子集样本数占父节点的比例。信息增益越大，表示这次分裂减少的不确定性越多。增益率：考虑分裂本身的信息量09增益率=信息增益/分裂信息同一湿度分裂分为4个和5个样本两组。分裂信息=H(4/9,5/9)≈0.9911。增益率≈0.0911/0.9911≈0.0919。选择属性时的含义信息增益可能偏好多值属性。增益率加入分裂信息作归一化。仍需同时关注实际增益。分裂信息为0时不能直接相除。信息增益通常取较大者，增益率也取较大者。它们与“子节点加权不纯度取较小者”的口径不同。基尼分裂：比较子节点加权不纯度10G(D)=1−Σpₖ²分裂后G=Σᵥ(nᵥ/n)G(Dᵥ)父节点5个“是”，4个“否”。G(D)=1−(5/9)²−(4/9)²≈0.4938。按湿度分裂后高湿度G=0.375。低湿度G=0.480。加权G=(4/9)×0.375+(5/9)×0.480≈0.4333，下降约0.0605。按“子节点加权基尼”比较时取较小值。基尼不纯度同样适用于多分类，效果需结合数据验证。例4.1：两个特征提供了相同的信息11输入组合y=0y=1样本数X₁=1，X₂=0325X₁=0，X₂=1325度量结果父节点H≈0.9710，G=0.48。任一特征分裂后，两组类别比例仍为3:2。信息增益=0，增益率=0。加权基尼仍为0.48。X₂=1−X₁，两列只是互补编码。这组数据主要用于演示度量计算。同样输入对应不同标签，继续重复这两个特征也不能把样本完全区分。例4.2：构建决策树的递归过程12检查停止条件节点纯净或样本少，或达到复杂度限制。比较候选分裂对属性或数值阈值计算分裂质量。分成子集把样本与对应标签同步分配到子节点。递归或输出对子节点重复处理，叶节点输出类别。数值属性如何选阈值排序后，可把相邻不同取值的中点作为候选阈值。比较候选分裂并处理空子集、无有效改善等停止情形。示例流程中的“随机返回一个阈值”不能替代最优分裂计算。建模时还需要独立验证和测试。例4.3：用函数包建立决策树13fromsklearn.treeimport(DecisionTreeClassifier,export_text)X=data[:,:2]y=data[:,2]clf=DecisionTreeClassifier(criterion='gini',max_depth=3,random_state=42)clf.fit(X,y)print(export_text(clf,feature_names=['X1','X2']))常用控制参数criterion选择分裂度量。max_depth限制树深。min_samples_leaf限制叶节点样本数。random_state控制随机性。ccp_alpha控制后剪枝。本页用于观察树与规则，不能用训练数据上的正确率代替新样本预测能力。预剪枝与后剪枝的区别14预剪枝：生长时限制在建树过程中提前停止。例如限制max_depth，提高min_samples_leaf，或要求足够的不纯度下降。优点是树小、计算量较少。后剪枝：生长后简化先得到较充分生长的树，再按规则删减分支。代价复杂度剪枝由ccp_alpha控制。通过训练内部的验证选择强度。设置max_depth属于预剪枝。选择剪枝方案使用验证或交叉验证，最终测试集只用于评价。例4.4：Iris决策树与剪枝选参15fromsklearn.datasetsimportload_irisfromsklearn.model_selectionimport(train_test_split,GridSearchCV)d=load_iris()X_train,X_test,y_train,y_test=train_test_split(d.data,d.target,test_size=0.3,stratify=d.target,random_state=42)search=GridSearchCV(DecisionTreeClassifier(random_state=42),{'ccp_alpha':[0.0,0.001,0.01,0.1]},cv=5)search.fit(X_train,y_train)pred=search.predict(X_test)这个例子比较什么未剪枝与剪枝后的表现。同时记录树深、叶节点数。后续Iris例子沿用此划分，在训练内部选择模型参数。候选alpha值用于示范。测试结果只在方案确定后报告，不用测试集反复选择剪枝强度。剪枝路径与规则输出16tree=DecisionTreeClassifier(random_state=42)path=tree.cost_complexity_pruning_path(X_train,y_train)print(path.ccp_alphas)best=search.best_estimator_print(best.get_depth(),best.get_n_leaves())print(export_text(best,feature_names=list(d.feature_names)))读输出的方法剪枝路径给出候选强度。树深、叶数表示复杂度。根到叶的路径形成规则。同时检查规则覆盖的样本。剪枝通常减少模型复杂度，但不保证每次都提高正确率。比较复杂度与验证表现后再确定方案。支持向量机：最大化分类间隔17本图的边界深蓝线为x₁=0。灰线为x₁=−1与x₁=1。最近的两列点决定间隔。它们是支持向量。间隔宽度为2/‖w‖。这是线性可分的几何示例。支持向量不等同于错分点，软间隔模型中还可能位于间隔以内。软间隔与参数C18目标：½‖w‖²+CΣξᵢ约束允许间隔违反为什么需要软间隔实际样本可能混叠或含噪声。松弛变量ξᵢ允许部分样本违反间隔约束。模型权衡间隔大小与违约代价。怎样理解C较大的C更重视间隔违反的代价。较小的C通常允许更多违反。需要结合验证结果选择。C增大不保证测试表现更好。硬间隔适用于线性可分的理想情形。特征的尺度会影响距离与间隔，因此SVM常与标准化一起使用。线性核、多项式核与RBF核19核函数表达式主要控制项线性核K(x,z)=xᵀz线性分类边界多项式核K(x,z)=(γxᵀz+r)ᵈ次数d、γ、rRBF核K(x,z)=exp(−γ‖x−z‖²)局部相似性的作用范围γ选择核函数的依据核函数提供不同的相似性度量。复杂边界并不自动表示更好的预测。把核函数、C、gamma等参数放在训练内部比较。核函数通过内积形式使用特征映射，不必显式构造全部高维特征。图4-6三种核函数的效果展示图例4.5：在同一划分上比较SVM核20fromsklearn.pipelineimportmake_pipelinefromsklearn.preprocessingimportStandardScalerfromsklearn.svmimportSVCpipe=make_pipeline(StandardScaler(),SVC())search=GridSearchCV(pipe,{'svc__kernel':['linear','poly','rbf'],'svc__C':[0.1,1,10]},cv=5)search.fit(X_train,y_train)pred=search.predict(X_test)比较时保持一致沿用例4.4的Iris划分。每个训练折单独标准化。核函数在交叉验证中选择。最终报告同一测试集表现。这里展示核心调用。分类报告应包含各类样本数，不能只挑选表现最好的一个类别。决策边界可视化的坐标要一致21选定两个特征明确横轴与纵轴。拟合变换与模型训练中拟合变换，模型使用相同特征。构造绘图网格网格与图中数据使用相同原始坐标。统一流程预测网格与测试点经过相同的变换再分类。从四个特征画二维图时可以重新训练只使用两个特征的模型，或明确其余特征固定的取值。二维图展示的是特定切面，不能直接代表全部特征空间。不要把标准化空间拟合的分类器直接用于未经变换的网格，也不要混用原始坐标与标准化坐标。贝叶斯定理：用证据更新先验22P(H|E)=P(E|H)P(H)/P(E)先验P(H)观察证据之前，对事件H的概率判断。似然P(E|H)假设H成立时，观察到证据E的概率。后验P(H|E)观察到E之后，对H的更新概率。分母P(E)可以用全概率公式计算：对互斥且穷尽的情形分别求条件概率，再按先验加权。有向无环图与条件概率表23性别是否学生是否参与活动条件参与不参与男性、学生0.80.2男性、非学生0.60.4女性、学生0.70.3女性、非学生0.10.9每一组父节点条件下，参与与不参与的概率之和为1。图中的条件依赖不自动表示因果关系。骰子案例：条件改变了样本空间24一/二1234561—A———B2AAAAA∩BA3—A—B——4—AB———5—A∩B————6BA————计数与条件概率A：至少一个骰子为2，共11种。B：两骰子之和为7，共6种。A∩B：共有2种。P(A|B)=2/6。P(B|A)=2/11。36个有序结果等可能。条件概率的分母是条件事件的样本空间，而不是始终使用36。检测案例：阳性结果的后验概率25假设状态检测异常检测无异常人数H成立991100H不成立19989790299900教材的假设参数先验概率0.1%。P(异常|H)=99%。P(异常|非H)=2%。异常者共2097人。P(H|异常)=99/2097≈4.72%。把总体设为10万人，先按真实状态分组，再按检测结果分组。这是概率教学的假设例子。99%是给定H时检出异常的条件概率，不能直接当作异常后的后验概率。先验不同，后验也会不同26本图固定什么固定P(E|H)=0.99。固定P(E|非H)=0.02。只改变先验P(H)。用同一贝叶斯公式复算。它展示先验信息的作用。多次证据相乘需要相应的条件独立假设。存在共同误差来源时，不能默认重复结果相互独立。朴素贝叶斯的条件独立假设27类别得分∝P(C)×∏ⱼP(xⱼ|C)“朴素”在哪里假设给定类别后，输入特征彼此条件独立。分别估计各特征的条件分布，再合并为类别得分。输入类型与常用模型连续数值可用GaussianNB。二元出现特征可用BernoulliNB。非负词频等可用MultinomialNB。模型假设需结合特征含义。独立性是假设，而不是由分类正确率直接证明的事实。各类别得分归一化后才是模型的后验概率。例4.6：两个关键词的邮件分类28类别邮件数含“免费”含“赢取”Spam1003025Ham20052新邮件同时含两个词Spam得分：(1/3)×0.30×0.25=0.025。Ham得分：(2/3)×0.025×0.01≈0.000167。归一化后P(Spam|这两个词)≈99.34%。先验：Spam为1/3，Ham为2/3。这里按“每封邮件是否含词”计算，且使用条件独立假设。未归一化得分不能直接称为后验概率。例4.7—4.8：GaussianNB与二维观察29fromsklearn.naive_bayesimportGaussianNBmask=d.target!=2X_nb=d.data[mask][:,[2,3]]y_nb=d.target[mask]Xn_train,Xn_test,yn_train,yn_test=train_test_split(X_nb,y_nb,test_size=0.3,stratify=y_nb,random_state=42)nb=GaussianNB().fit(Xn_train,yn_train)pred=nb.predict(Xn_test)可视化与解释两个特征用于画二维边界。观察各类别的特征分布。模型给定类别后，各特征分别拟合高斯分布。朴素结构图体现模型假设。此处保留d和原Iris四特征划分，另用X_nb等变量。条件结构图不表示软件已经学习出了因果网络。文本分类：TF-IDF与MultinomialNB30fromsklearn.feature_extraction.textimport(TfidfVectorizer)fromsklearn.naive_bayesimportMultinomialNBtext_clf=make_pipeline(TfidfVectorizer(token_pattern=r'(?u)\b\w+\b'),MultinomialNB())text_clf.fit(train_texts,train_labels)print(text_clf.predict(test_texts))输入需要怎样准备模拟中文邮件先分词并以空格分隔。例如“免费领取奖品”。TF-IDF得到非负词语权重。MultinomialNB使用非负输入。class_prior可指定先验。向量器只在训练文本上fit。自定义class_prior时，核对类别顺序与模型的classes_一致。集成学习：组合多个模型的输出31同一个待预测样本基模型A：类别1基模型B：类别0基模型C：类别1投票结果：1组合可以使用投票、概率平均或加权方式。基模型需要具有一定差异，组合收益仍要通过验证确认。Bagging：有放回抽样后并行训练32训练集ABCD子样本1：AACD基模型1子样本2：BCCD基模型2子样本3：ABDD基模型3汇总预测字母记录仅演示有放回抽样，同一条记录可以多次出现。每个基模型在各自的抽样数据上训练。例4.9：Bagging分类的关键调用33fromsklearn.ensembleimportBaggingClassifierbag=BaggingClassifier(estimator=DecisionTreeClassifier(max_depth=3),n_estimators=10,max_samples=0.8,bootstrap=True,random_state=42)bag.fit(X_train,y_train)pred=bag.predict(X_test)print(accuracy_score(y_test,pred))可以进一步观察estimators_保存基模型。比较各基模型与整体预测。若抽取了部分特征，逐模型预测需使用对应列。在同一测试集比较。accuracy_score从sklearn.metrics导入。这里的浅树深度仅作示范，正式选参在训练内部完成。随机森林：再加入特征选择的随机性34观察点Bagging决策树随机森林样本每棵树有自己的抽样集通常同样使用Bootstrap抽样候选特征按基树及外层抽样配置决定每个分裂节点随机选候选特征组合汇总基模型预测汇总多棵树的预测目标降低不稳定模型的方差通过额外随机性增