3.2 人工智能通识：机器学习基本流程

人工智能通识§3.2机器学习的基本流程主讲人：严宣辉

教授福建师大计网学院PART01机器学习的六大核心步骤从数据采集到模型部署，每一个环节都环环相扣，共同构成了智能模型从概念到落地的完整生命周期，是构建高效AI系统的基石。01问题定义02数据采集03数据预处理04特征工程05模型训练06模型评估机器学习流程总览机器学习的完整生命周期就像一个精密的流水线，从一个模糊的想法开始，经过数据的挖掘与打磨，最终产出一个能解决实际问题的智能模型。01问题定义明确业务目标与边界，确立模型解决的核心问题，为后续流程定调。02数据采集数据采集是指从真实世界中获得原始数据的过程。03数据预处理对原始数据进行变换、清洗与集成等一系列操作。04特征工程从数据中提取关键特征，进行特征选择与降维，提升模型的拟合能力。05模型训练选择合适算法，利用标注数据训练模型，通过参数优化学习数据规律。。06模型评估使用测试集验证模型性能，分析准确率、召回率等指标，判断效果。

核心洞察：这是一个迭代的闭环模型评估后若效果不佳，并非终点，而是优化的起点。需回溯至特征工程、数据采集甚至问题定义阶段，持续循环迭代，才能产出高质量模型。步骤一：问题定义问题定义要明确机器学习要解决的任务类型和评价标准，其目标是将现实世界的模糊需求，转化为可建模、可评估的数学问题，它决定了后续环节的方向和边界。核心目标：将模糊、抽象的业务需求，拆解转化为清晰、可量化、可执行的机器学习任务，明确任务类型与成功标准，是项目启动的基石。01分类任务(Classification)本质是“做选择题”，预测离散的类别标签。适用于输出结果为有限集合的场景。例：垃圾邮件识别、疾病诊断（是/否）、图片中的物体分类。02回归任务(Regression)本质是“做计算题”，预测连续的数值结果。适用于需要量化预测的场景。例：房价走势预测、下季度销量预估、股票价格趋势分析。03聚类(Clustering)聚类就是把相似的数据自动分到一组，属于不需要预先告诉类别的“无监督学习”‌。它的核心目标是让同一组内的数据尽可能像，不同组之间的数据差别尽可能大，常被称为“物以类聚”。‌‌例：电商用户画像分群。步骤二：数据采集数据是驱动机器学习的核心燃料。这一阶段的目标是围绕业务问题，广泛收集与之相关的原始信息，为后续的清洗与建模打下坚实基础。现实世界的物理感知通过各类硬件传感器与监测设备，实时捕捉环境、物体或行为的物理信号。

示例：气象监测数据、交通摄像头影像、智能手环健康指标。人类活动的主动记录由用户或专业人员在业务流程中主动录入的结构化数据。

示例：电商平台的交易订单、医院的电子病历档案、问卷调查结果。系统运行的自动日志软件与服务器在运行过程中，后台自动生成的行为与状态记录。

示例：APP用户操作埋点、服务器访问日志、游戏内玩家行为数据。步骤三：数据预处理目标是对原始数据进行清洗、转换和整合，这是挖掘流程中最耗时却至关重要的环节。正如烹饪前的择菜与清洗，数据预处理决定了最终“数据佳肴”的基础质量，直接影响模型的准确性与可靠性。01数据清洗(Cleaning)识别并处理缺失值、重复记录与异常数据，剔除干扰“噪声”，确保数据的纯净度与一致性。02数据集成(Integration)合并来自数据库、API或文件的多源异构数据，消除冗余信息，构建统一的数据集视图。03数据变换(Transformation)通过归一化、标准化或离散化等手段，将数据转换为适合算法处理的规范格式。04数据归约(Reduction)在保留核心特征的前提下，通过降维或抽样减少数据规模，显著提升后续计算效率。输入低质量数据，输出的模型预测也必然失真。高质量的数据是机器学习成功的基石。步骤四：特征工程🎯核心目标：从原始数据中挖掘高价值线索，构建对模型预测最具影响力的特征维度。这是决定模型上限的关键，也是将数据转化为洞察的核心环节。🔍形象类比：特征如同侦探破案的关键线索。线索越精准、维度越丰富，模型（侦探）发现规律、做出精准判断的概率就越大，正所谓“巧妇难为无米之炊”。01特征构造基于业务逻辑与领域知识，对原始数据进行组合、变换，创造出更具解释性和预测力的新特征。💡示例：利用“建造年份”计算“房龄”，将时间信息转化为反映资产折旧的关键指标。02特征选择剔除冗余、无关或含噪的特征，从海量变量中筛选出对预测目标最具贡献度的核心特征子集。🎯价值：降低模型复杂度，提升训练效率与泛化能力，有效避免过拟合，让模型更“轻量”。03特征降维通过数学变换将高维特征空间映射到低维子空间，在保留数据主要信息的同时简化数据结构。🛠️方法：PCA（主成分分析）用于无监督降维，LDA（线性判别分析）用于有监督降维场景。步骤五：模型训练核心目标：学习最优参数通过算法和数据对模型进行参数调整和优化，以建立输入数据与输出数据之间的映射关系。01数据集三重划分•训练集：模型的“课堂作业”，用于学习

•验证集：模型的“模拟考试”，用于调参

•测试集：模型的“期末考试”，用于验收02循环迭代优化•计算误差：损失函数衡量预测偏差

•更新参数：用优化算法修正模型参数

•持续收敛：反复迭代直至误差最小避坑指南：切勿用测试集参与模型调优，否则会导致评估结果过于乐观，无法反映模型的真实泛化能力。步骤六：模型评估与优化图示：AUC-ROC曲线直观反映了二分类模型区分正负样本的能力。曲线越靠近左上角，曲线下面积（AUC）越大，代表模型的分类性能越优异。01评估核心目标利用预留的独立测试集，客观验证模型在未见数据上的泛化能力，避免“过拟合”陷阱。通过量化指标精准定位模型偏差或方差问题，为后续的参数调整、数据增强或模型结构升级提供科学依据。🎯分类任务：精准度与覆盖度•准确率：整体预测正确的样本占比

•精确率：预测为正样本中的真实比例

•召回率：真实正样本被识别出的比例📈回归任务：误差量化•均方误差(MSE)：预测值与真实值差值的平方均值，对大误差惩罚更重，值越小代表预测越精准。02迭代优化三大方向⚙️参数调优调整学习率、正则化系数等，平衡模型偏差与方差，提升泛化性。📊数据工程增加训练数据、清洗噪声、重构特征，为模型提供更优质的输入。🧠模型升级尝试集成学习、深度学习等更强模型，挖掘数据深层非线性规律。PART02总结与展望回顾机器学习全流程的核心脉络，探索未来技术演进的无限可能与实践方向流程总结与回顾01问题定义明确业务目标与问题边界，为后续建模指明清晰方向，确保所有工作紧扣核心需求展开。02数据采集多渠道获取高质量样本数据，覆盖核心场景与边缘情况，为模型训练构建坚实的基础。03数据预处理清洗噪声、处理缺失值并标准化数据，剔除异常干扰，从源头保障数据的有效性。04特征工程筛选、构造与转换特征以挖掘数据价值，这是决定模型性能上限的关键环节。05模型训练选择适配算法进行参数迭代与拟合，让模型从数据中学习规律，生成预测模型。06模型评估通过测试集验证准确率与泛化能力，评估模型在真实场景下的稳定性与可靠性。💡核心认知机器学习的本质是持续的迭代与实验。请记住一个核心法则：数据与特征决定了模型的上限，而算法和调参只是在努力逼近这个上限。关键洞察：切勿急于求成跳过基础环节，扎实的前期准备工作远比单纯的调参技巧更能决定模型的最终价值。核心概念汇总01问题定义明确任务类型（分类/回归），界定机器需完成的目标。

关键作用：指明建模方向，锚定核心目标，避免方向偏差。02数据采集收集任务相关的原始数据素材，是模型的“食材”。

关键作用：提供模型学习的基础原料，决定数据的覆盖广度。03数据预处理清洗噪声、缺失值与异常值，统一数据格式与范围。

关键作用：保障数据质量，规避“垃圾进，垃圾出”的风险。04特征工程从原始数据中提炼、构造对预测有用的关键线索。

关键作用：决定模型性能的理论上限，挖掘数据潜在价值。05模型训练利用算法让模型从数据中自动学习规律与模式。

关键作用：生成具备预测能力的可用模型参数与逻辑。06模型评