机器学习及其应用 第2版 课件 第1-4章-机器学习基本概述-无监督学习

1.1机器学习基本概念8.4深度生成网络应用1.3机器学习平台搭建1.2机器学习发展历程第一章机器学习概述1.1机器学习基本概念1.1.1人工智能与机器学习1.1.2机器学习基本术语1.1.3误差分析与模型评估什么是人工智能(AI)？人类通过发明工具不断延伸自身能力→

汽车延伸双腿，望远镜延伸眼睛，计算机延伸大脑目标：通过计算机来模拟人的某些思维能力或智能行为能力：感知、理解、推理、学习、决策应用：语音识别、图像识别、自动驾驶等1.1.1人工智能与机器学习什么是机器学习？机器学习=用数据自动改进模型性能的方法。数据

→

学习算法

→

模型

→

预测结果。机器学习为人工智能系统提供基础性的模型和算法支撑，是实现人工智能系统必备的核心技术。传统方法：人编写规则，程序执行机器学习：给模型数据+标注，让模型自己调整参数使用模型M0识别猫或狗的图片时，可采用适当方式将一些关于猫或狗的带标注图片输入模型M0中，通过改进M0参数或结构产生一个新的模型Mp，使得模型Mp

的识别正确率高于M0。Mp=T(M0,E)，E是先验信息，T是某种计算方式。✔

利用经验数据改进模型性能✔提高预测、分类、决策的准确性模型先从图像中自动提取特征（如眼睛、鼻子、嘴巴等），再将这些特征组合成表示，用于分类判断。通过不断输入带标注的猫狗样本并最小化预测误差，模型参数从M0被优化为Mp，从而显著提升识别准确率。初始模型M₀学习过程E+T改进模型Mₚ1.1.1人工智能与机器学习人工智能与机器学习的关系？人工智能是“目标”→

让机器具备智能行为机器学习是“实现手段”→

用数据构建模型早期AI：依赖逻辑推理与知识工程现代AI：以机器学习为核心，包括分类、回归、聚类深度学习（CNN、RNN、Transformer）深度学习是机器学习的重要分支，机器学习是人工智能的“发动机”。人工智能是方向，机器学习是路径，深度学习是加速器。1.1.1人工智能与机器学习属性和样本样本（Sample）：一条数据对象特征（Feature）：描述样本的属性数据集（Dataset）：样本的集合1.1.2机器学习基本术语训练集、测试集与标签训练集（TrainingSet）：用于学习模型测试集（TestSet）：用于评估性能标签（Label）：样本的正确答案机器学习的任务类型回归（Regression）：预测连续值（如房价、温度）。回归任务是通过若干带有标注的样本数据构造出一个预测模型RX，使得RX的预测输出尽可能符合真实值，并称RX为回归模型。1.1.2机器学习基本术语分类（Classification）：预测类别（猫/狗）。如果回归模型的预测输出是离散值，则机器学习的回归任务就转化为分类任务。用于分类任务的机器学习模型称为分类模型或分类器。分类任务的目标是通过训练样本构造合适的分类器CX，完成对目标的分类。分类类别只有两类的分类任务称为二值分类或二分类，这两个类别分别称为正类和负类，通常用+1和-1分别指代。分类类别多于两类的分类任务通常称为多值分类。聚类（Clustering）：无标签自动分组，“物以类聚，人以群分”。聚类的类别由不同样本之间的某种相似性确定，因而聚类类别所表达的含义通常是不确定的，聚类样本也不带特定的标注来表示样本所属的类别。示例：不带标注的样本

样例：带标注的样本示例集：所有输入示例的集合簇：被划分为同一类别的示例所构成的集合n元示例集S={x1,x2,…,xn}，假设Δ是一个对S的划分。Δ={S1,S2,…,St}，其中S1,S2,…,St均是由S中示例构成的簇且满足S=S1∪S2∪…∪St聚类的目标是寻找一个对S的适当划分Δ，使得簇内相似度最大化、簇间相似度最小化。通常采用欧氏距离或余弦距离等作为样本之间相似性的度量标准。欧式距离衡量的是“绝对距离”，是所有维度坐标差值的平方和再开方。余弦距离衡量的是“方向差异”，将两个数据点看作从原点出发的向量A和B。余弦相似度是它们夹角的余弦值。1.1.2机器学习基本术语机器学习的学习方式监督学习:使用带有标签的训练数据来训练模型，模型学习如何将输入映射到正确的输出。1.1.2机器学习基本术语无监督学习：通过比较样本之间的某种联系实现对样本的数据分析，如自动聚类。使用无标签的图像，聚类阶段模型对于类别是未知的，语义信息是之后赋予的（猫狗标签）。无监督学习关注的是数据本身的结构信息。强化学习：根据反馈信息来调整机器行为以实现自动决策。一个强化学习系统主要由智能体和环境两个部分组成。智能体是行为的实施者，由基于环境信息的评价函数对智能体的行为做出评价，若智能体的行为正确，则由相应的回报函数给予智能体正向反馈信息以示奖励，反之则给予智能体负向反馈信息以示惩罚。1.1.2机器学习基本术语误差从哪里来？真实标签模型预测结果≠模型狗狗❌✔误差（Error）：模型预测结果与真实结果之间的差异误差越小，模型越准1.1.3误差分析与模型评估如何衡量误差？——损失函数（度量模型对于单个样本的输出误差）样本X输入机器学习模型f，得到输出。与X对应的实际真实值为y。则可以用y和f(X)为自变量的某个函数L(y,f(X))作为损失函数来度量模型f在输入样本X下的输出误差。整体误差：面向某个特定样本集的综合误差n元样本集：模型f在S上的整体误差为：即为S中所有单个样本所对应损失函数值的平均值。常见损失函数：回归模型：均方误差：

，L2损失，欧氏距离，放大误差，更敏感平均绝对误差：

，L1损失，直观易懂分类模型：二分类交叉熵损失：多分类交叉熵损失：1.1.3误差分析与模型评估泛化误差：表示机器学习模型在整个样本集合D上的平均误差，是模型在所有可能数据上的表现。模型f的泛化误差可表示为：P(D)为样本集合D中所有样本的概率分布泛化误差表示机器学习模型在整个样本集合D上的平均误差，是刻画机器学习模型普适性的重要指标，作为模型求解和模型评估的基本依据。精确计算模型的泛化误差需要知道整个样本集合D中所有样本的真实取值和概率分布，这通常是不可行的。因此，一般无法计算泛化误差的精确值，需要采用某些便于计算的度量指标作为泛化误差的近似代替值。训练误差vs测试误差训练误差：在"练习题"上的表现，指模型在训练样本集上的整体误差，也称之为经验风险。测试误差：在"考试"上的表现，指模型在测试样本集上的整体误差。作业做得好≠考试考得好！模型也要避免"只会做作业"。1.1.3误差分析与模型评估欠拟合表现：训练误差和测试误差都很大原因：模型太简单，没学到规律。可能使用了线性模型拟合非线性数据，或者训练时间不足。解决方法：增加模型复杂度，增加模型参数；延长训练时间；改善输入的特征质量。过拟合表现：训练误差很小，测试误差很大原因：模型不仅学习了知识，还学习了噪声。可能是模型太复杂，如使用了不必要的高阶多项式或过深的神经网络。解决方法：降低模型复杂度，简化模型；早停法，提前停止训练；数据增强，增加数据的多样性。1.1.3误差分析与模型评估偏差与方差分解什么是偏差？定义：模型预测值与真实值的平均偏离程度通俗理解：射箭时，箭总是偏向某个方向高偏差表现：模型预测总是偏离目标（欠拟合）什么是方差？定义：模型预测值的波动程度通俗理解：射箭时，箭忽左忽右，很分散高方差表现：模型对数据变化太敏感（过拟合）模型f基于平方损失函数的泛化误差为：对其进行偏差-方差分解可得：泛化误差=方差+偏差²射击手偏差方差表现对应模型甲低低又准又稳理想模型乙低高准但不稳高方差模型丙高低稳但不准高偏差模型丁高高又不准又不稳垃圾模型1.1.3误差分析与模型评估偏差-方差平衡模型的容量：模型学习复杂规律的能力。模型的容量主要反映该模型对数据的拟合能力。模型的容量越大，其对数据的拟合能力就越强，模型输出的偏差相对较小。决定容量的因素：参数数量（越多容量越大）；参数取值范围（越大容量越大）；模型结构（越复杂容量越大）偏差下降的同时，方差上升。模型不是越复杂越好，要找泛化误差最低的那个点。模型容量偏差方差泛化误差问题低高低高欠拟合高低高高过拟合适中中中最低最佳1.1.3误差分析与模型评估具体的模型评估实施过程中一般使用测试误差近似代替泛化误差，即在测试样本集上计算模型误差并将其作为泛化误差的近似替代。评估需要对模型性能进行有效度量的指标。分类模型的评估指标1.混淆矩阵展示分类模型预测结果与真实情况之间的对比关系模型猜对了多少？猜错了多少？错在哪里？2.正确率含义：分类正确的样本数与占测试样本总数的比a=（4+2）/（4+3+1+2）=60%3.错误率含义：模型输出值与标记不一致样本数占测试样本总数的比e=（3+1）/（4+3+1+2）=40%正确率与错误率是面向分类任务模型最常用的两种性能度量标准。显然，对于任意一个分类模型，其正确率与错误率之和恒为1。实际正类实际负类预测正类TPFP预测负类FNTN实际正类（猫）实际负类（狗）猫43狗121.1.3误差分析与模型评估5.查全率——找的要全所有猫里，模型找出的猫的概率：p=4/(4+1)=4/54.查准率——说的要对模型说是猫，真正是猫的概率：p=4/(4+3)=4/7极端案例：1000个病人中只有1个癌症患者模型：所有人都预测"健康"正确率=999/1000=99.9%❌

看着很好，实际没用！结论：正确率高不一定模型好，数据不平衡时，需要看其他指标。查准率和查全率有一定的制约关系若要提高猫的查准率，则减少FP，最简单的方法就是提高阈值，相似度大于阈值才认定是猫，这样就会降低狗被认成猫的概率，但是阈值升高以后，可能也减少了TP（有些猫概率不高）。不同任务侧重点不同垃圾邮件过滤：重查准率（别把正常邮件当垃圾）癌症检测：重查全率（宁可错判，不可漏判）1.1.3误差分析与模型评估利用查全率与查准率对模型进行性能度量时，难免会出现某个模型查全率高但查准率低而另一个模型查全率低但查准率高的情况，此时难以使用查全率与查准率指标对这两个模型进行性能对比，引入一个新的指标。6.F1值指模型查全率与查准率的调和均值F1值综合了查全率与查准率，当查全率与查准率都较高时F1值也较高。因此，如果模型的F1值越大，则认为该模型的性能越优良。为什么用调和平均（F1），不用算术平均？调和平均惩罚极端值，更能反映真实性能！7.ROC曲线直观表示两个模型的性能对比模型f真正例率TPR和假正例率FPR这两个变量之间的函数关系。分类模型的真正例率TPR接近于1且假正例率FPR接近于0，则该模型具有比较好的分类性能。查准率查全率算术平均调和平均评价100%0%50%0%模型无用80%80%80%80%模型均衡1.1.3误差分析与模型评估8.AUCROC曲线下方面积指标称为AUC指标。在一般情况下，模型所对应的AUC值越大，则该模型的平均性能就越好。图中展示三个不同模型的ROC曲线，由ROC曲线分布特点可知模型2和模型3的性能优于模型1。模型2和模型3的性能在不同情况下各有优劣，通过AUC值可知，模型3的平均性能更好。1.1.3误差分析与模型评估常见损失函数1.均方误差又称L2损失，是目标变量与预测值之间距离平方之和MSE=(100+25+100)/3=75平方让大误差更显眼，模型会更努力避免大错误房子真实价预测价误差均方误差1100万110万10万100万2290万95万5万25万23110万100万-10万100万2上图是MSE函数的图，其中真实目标值为100，预测值在-10,000至10,000之间。预测值（X轴）=100时，MSE损失（Y轴）达到其最小值。损失范围为0至∞1.1.3误差分析与模型评估2.平均绝对误差又称L1损失，是目标变量和预测变量之间差异绝对值之和，衡量一组预测中误差的平均大小MAE=(10+5+10)/3=8.33房子真实价预测价误差绝对误差1100万110万10万10万290万95万5万5万3110万100万-10万10万训练目标：最小化损失。使用MAE损失的一个大问题是它的梯度始终是相同的。意味着即使对于小的损失值，其梯度也是大的。MSE损失的梯度在损失值较高时会比较大，随着损失接近0时而下降，从而使其在训练结束时更加精确。1.1.3误差分析与模型评估模型评估方法1.留出法对于样本数据集D，最简单的划分方法是直接从D中随机划分出部分数据组成训练样本集S，剩下部分作为测试样本集T用于估计模型的泛化误差，这种方法称之为留出法。保证留出法评估结果的可信度，进行分层采样，保持类别比例一致，例如：原数据：猫50只，狗50只训练集：猫35只，狗35只测试集：猫15只，狗15只训练集测试集适用场景70%30%通用80%20%数据多2/31/3经典比例划分的随机性会给留出法的评估结果带来一定的波动，需要多次使用留出法对模型进行评估，并将这些评估结果的均值作为最终的评估结果。1.1.3误差分析与模型评估2.交叉验证(1)K折交叉验证法步骤：把数据分成K等份每次拿1份当测试集，其余K-1份当训练集重复K次，每个数据都当过测试集取K次结果的平均K=5的例子：第1轮：[测试][训练][训练][训练][训练]第2轮：[训练][测试][训练][训练][训练]第3轮：[训练][训练][测试][训练][训练]第4轮：[训练][训练][训练][测试][训练]第5轮：[训练][训练][训练][训练][测试]当K值越大时，参与模型训练的样本数越多，得到的模型性能越接近于使用数据集D中所有样本进行训练所得到的模型性能(2)留一法是k=n的特殊情况每个样本单独当一次测试集数据集D包含n个样本，留一法则将D进行n等分，依据交叉验证的规则分别进行n次模型训练和测试，每次有n−1个样本参与模型训练且1个样本参与模型测试。最终评估结果亦为各次评估结果的均值。在D中样本数较多的情况下，使用留一法进行模型评估的计算成本较高。n-1n......1.1.3误差分析与模型评估(3)5×2交叉验证数据随机等分两份第1轮：A训练，B测试第2轮：B训练，A测试（对折）重复5次，得到10个结果

可进行更多次随机等分和对折操作获得更多的训练集和测试集，但次数过多的随机等分会使得样本子集之间的具有很强的相关性，无法提供新的有助于模型评估的信息，却徒增模型评估的成本。数据集D中样本数量较多的情况下，可以进行多次划分建立多组相关性较小的数据集。因此，留出法和交叉验证法通常比较适用于样本数量较多情形。1.1.3误差分析与模型评估3.自助法针对小样本的评估方法当D中样本数量较少时，采用自助法构造训练集和测试集，方式是可重复随机采样。例如：原始数据集：[A,B,C,D,E](5个样本)第1次抽样：

随机抽一个

→B（放回）第2次抽样：

随机抽一个

→A（放回）第3次抽样：

随机抽一个

→B（又抽到B）第4次抽样：

随机抽一个

→C第5次抽样：

随机抽一个

→E训练集：[B,A,B,C,E]（有重复，缺D）测试集：[D]（没被抽到的）当n很大时，对于D中的任一个样本永远不被抽到的概率：在数据集D中样本数足够大的情况下，测试样本数约占总样本数的36.8%注：自助法构造的训练集中样本数量与整个数据集的样本数量相同，但其中可能包含重复样本，因此所获得的训练集的样本分布与整个数据集的样本分布不同，因此，通常只有在样本量较小，难以对数据集进行有效划分时才使用自助法进行模型评估。方法优点缺点适用留出法简单随机性大大数据交叉验证稳定计算量大中数据自助法小样本分布偏差小数据1.1.3误差分析与模型评估1.2机器学习发展历程1.2.1感知机与连接学习1.2.2符号学习与统计学习1.2.3连接学习的兴起机器学习三大类型连接学习（连接主义）：模仿大脑神经网络结构，代表：感知机、神经网络、深度学习符号学习（符号主义）：基于符号逻辑推理，代表：专家系统统计学习（归纳学习）：从数据中归纳模型，代表：支持向量机、决策树三者相互影响，共同推动机器学习发展1.2.1感知机与连接学习

连接主义思想：通过模仿生物大脑神经网络结构的方式实现机器智能的思想。1957年：罗森布拉特基于连接主义思想和赫布学习规则，提出一种名为感知机的神经网络模型。图中为单层感知机，包括输入层与输出层，但只有输出层参与数值计算。单层感知机可用于二分类任务。1.2.1感知机与连接学习单层感知机的局限单层感知机是线性分类器，计算过程如下。只对输入做线性组合，没有非线性变换，所以决策边界是直线/平面/超平面，解决不了异或问题。异或分类问题：给定一组(A,B)，判断它属于类别0还是类别1输入A输入B输出00001110111011AB两类点无法被任何一条直线分开1.2.1感知机与连接学习多层感知机与反向传播1974年：沃波斯提出多层感知机，增加隐藏层，解决非线性问题，通过基于反向传播的连接学习算法优化模型参数。图中输入数据+1为线性组合中关于常数项的输入。当时未受重视，因为整个神经网络和连接主义的研究正处低谷，符号学习正处于主流。输入A输入B输出000011101110隐藏层神经元h1，学会判断是不是(0,0)点隐藏层神经元h2，学会判断是不是(1,1)点原来在原始空间里线性不可分的点，经过隐藏层变换后，在新的特征空间里变得线性可分了。输出层只需要画一条线：如果两个特征都是0，就是类别1，否则就是类别0。输入点h1h2新特征空间(0,0)10(1,0)(0,1)00(0,0)(1,0)00(0,0)(1,1)01(0,1)1.2.1感知机与连接学习连接学习的复兴尝试1982年：霍普菲尔德提出霍普菲尔德网络，是一种基于能量函数的递归神经网络。网络为单层，神经元相互连接，无自反馈，权重对称，每个神经元在任何时刻都处于两种状态之一。通常用+1(表示激活)和-1(表示抑制)来表示，有时也用1和0。存储：通过赫布学习规则，将记忆模式编码为网络的连接权重。回忆：网络通过不断更新神经元状态，降低能量函数，最终收敛到存储的记忆模式1989年：塞班克证明了神经网络模型在本质上是一个通用的逼近函数，单隐藏层神经网络模型可逼近任意连续函数，包含两个隐藏层的神经网络模型则可以逼近任意函数。20世纪90年代：连接学习的研究遭遇瓶颈，随着网络层数的加深，网络模型变得难以收敛且超出计算能力，连接主义和连接学习的研究再次进入低谷。1.2.1感知机与连接学习符号主义与符号学习连接主义：智能的基本单元为神经元，智能活动过程是神经元之间的连接交互过程。符号主义：智能的基本单元是符号信息，智能活动是符号推理或计算的过程。符号学习：基于符号主义理论的机器学习方法。符号主义早期成果逻辑理论家程序（1956）自动证明《数学原理》中52条定理纽厄尔和西蒙获1975年图灵奖意义：验证了用计算机模拟人类思维的可行性专家系统的兴起费根鲍姆提出专家系统概念（1965）DENDRAL：历史上第一个专家系统专家系统的基本结构：知识库，推理机不同领域专业→不同的专家系统→人工智能研究焦点→专家系统的构造成为知识工程费根鲍姆：知识工程之父，获得1994年图灵奖1.2.2符号学习与统计学习知识工程的困境知识库的构造是实现专家系统的关键要点人工构造知识库的弊端：普适性差，难以迁移知识获取主观性强，存在分歧知识工程瓶颈促使机器学习研究兴起归纳学习的代表性成果——决策树模型结构：树形结构，包含根节点、内部节点、叶子节点。下图为挑选篮球运动员的决策树模型，每个结点对应一次判断或决策，叶子结点表示判断或决策的最终结果。构造决策树典型算法：ID3、CART随机森林模型：1995年布瑞曼等人提出，由多棵决策树集成，将决策树各自的输出进行组合使得模型输出更具稳定性。1.2.2符号学习与统计学习符号学习的三种类型记忆学习：存储与检索，死记硬背式学习演绎学习：从一般到特殊的推理，获得并保存推理结论归纳学习：从具体示例中归纳一般规律归纳学习是最重要的一种符号学习方式，研究成果也较为突出。统计学习的代表——支持向量机（SVM）1995年：Vapnik等人提出，是一种基于小样本统计学习的二值分类器模型。核心思想：最大间隔，核方法最大间隔：指正负两类样本与分离超平面之间的距离最大对于一个可用超平面进行样本分类的线性可分任务，一般都存在无数个分离超平面，其中与两类样本的几何间隔最大的分离超平面具有最强的泛化能力，故而支持向量机所要寻找的分离超平面便是两类样本的几何间隔最大的分离超平面。1.2.2符号学习与统计学习统计学习的兴起二十世纪九十年代，源于归纳学习，融合概率统计理论，取代符号学习成为机器学习的主流方式。目标：从样本数据中发现规律并进行预测基本策略：假设数据符合某种统计分布核方法：解决难题：大部分的二分类任务都是线性不可分的核心思想：将低维线性不可分数据映射到高维（a）所示，两类数据在二维平面当中线性不可分，但可利用某一映射将其转变为图（b）中所示的情况图（b）展示，原本线性不可分的分类任务便被转化为了线性可分的任务，再通过最大间隔思想便可求得泛化性能最佳的分离超平面1.2.2符号学习与统计学习

统计学习的繁荣与影响推动监督学习、无监督学习、强化学习等发展应用领域：计算机视觉、自然语言处理、数据挖掘等使机器学习成为人工智能的核心技术1.2.2符号学习与统计学习深度学习的兴起2006年：辛顿提出深度信念网络，打破了深层网络难以被训练的局面。采用逐层训练策略；深度信念网络以受限玻尔兹曼机（RBM）为基本构件堆叠组建而成；无监督预训练+有监督微调。逐层学习策略首先将深层神经网络拆分成若干相对独立的浅层自编码网络，各个自编码网络可以根据其输入与输出一致的特点进行无监督学习，由此计算出连接权重；然后通过将多个训练好的自编码网络进行堆叠的方式获得一个参数较优的深层神经网络；最后，通过少量带标注的样本对网络进行微调，便可获得一种性能优良的深层神经网络，即深度信念网络。前一个训练完成的RBM的隐藏层作为后一个RBM的可视层，层层堆叠，由此形成深度信念网络。辛顿将深层次神经网络的训练构造过程命名为深度学习连接学习——深度学习1.2.3连接学习的兴起深度卷积网络的突破2012年：AlexNet模型赢得ImageNet冠军，该模型基于卷积神经网络，使用GPU加速训练，错误率大幅降低。卷积神经网络是一种判别式的神经网络，判别式网络旨在识别或分类数据样本，学习从输入数据到输出标签的映射关系，并能够针对图像样本提取特征得到图像的有效信息。右图所示为AlexNet模型的结构。卷积层：5层；全连接层：3层；池化层：3层；深度：8层；参数个数：60M；神经元个数：650k；分类数目：1000类后续模型：GoogleNet和VGG瓶颈：随着网络层数的不断加深，网络的性能已经达到瓶颈，盲目地增加网络深度不但不会提高检测的准确率，反而会使得网络难以训练。1.2.3连接学习的兴起深度卷积网络的突破2015年：何凯明等人提出残差网络(ResNet)，可以训练非常深的网络层次，而不会出现性能下降的问题残差网络通过残差块的设计对网络的前后层进行跳跃连接传统网络：学习目标H(x)=F(x)，在反向传播时，梯度需要一层一层地乘回去。如果中间某一层梯度很小（<1），乘到最后梯度就会指数级衰减到0（梯度消失），导致浅层网络无法学习，网络越深效果越差。残差网络：H(x)=F(x)+x，不再直接学习目标H(x)，而是学习残差F(x)=H(x)-x。如果某层网络学习不到有用的特征（F(x)=0），捷径连接（x）依然能把信息原封不动地传给后面。这意味着即便增加很多层，网络性能也不会变差（至少持平），而普通网络如果新增的层学不到东西，性能反而会下降。并且让网络学习"输出和输入的差值（残差）"，比直接学习"完整输出"要容易得多。1.2.3连接学习的兴起循环网络与序列建模判别式网络不仅能提取单个图像样本的有效特征，也可以针对连续样本的序列信息进行特征提取。1990年：JeffreyElman提出深度循环神经网络（RNN），通过构建网络内部的环状连接实现了对序列信息的存储与处理。RNN通过将前一个时间步的输出反馈到当前时间步，使得模型能够“记住”之前的输入信息，从而适合处理时间序列或文本等有序数据。缺点：难以有效记住长期的上下文信息1.2.3连接学习的兴起LSTM：长短时记忆网络，克服RNN的局限性，引入门控机制，记忆长序列信息。核心：引入了“记忆单元”（CellState）和三个“门控机制”：遗忘门（ForgetGate）：决定需要丢弃哪些信息。输入门（InputGate）：决定需要添加哪些新信息。输出门（OutputGate）：决定输出哪些信息作为当前时间步的隐藏状态。生成式网络的发展生成式网络与判别式网络相对应。生成式网络的目标：学习训练数据的分布，然后生成全新的、从未见过的数据。判别式网络：学习决策边界（猫vs狗）生成式网络：学习猫长什么样

→

画出新的猫自编码器(Autoencoder)-2006：编码器网络进行特征提取，解码器网络对样本进行重构，生成图像模糊，缺乏多样性。

生成对抗网络(GAN)-2014：两人博弈，共同进步。生成器努力画出逼真的假画，判别器努力识破假画，最终生成器能画出以假乱真的图像。扩散模型(DiffusionModels)-2020：先学会加噪声，再学会去噪声，生成质量高，多样性好。1.2.3连接学习的兴起Transformer与大语言模型——彻底改变自然语言处理的技术革命虽然RNN、LSTM能够解决一部分序列生成的问题，但模型缺乏灵活性。2014年：Bahdanau等人提出了注意力机制，动态地关注样本序列的不同部分，而不是平均或总结所有序列信息。2017年：Vaswani等人提出Transformer网络模型，引入了自注意力机制和位置编码，并将其嵌入到编码-解码的网络结构当中。自注意力机制

：Thecatsatonthematbecauseitwassoft

↑"it"指什么？猫还是垫子？传统RNN：按顺序看，容易忘记Transformer：同时看所有词，计算关联度"it"与"cat"关联度0.3"it"与"mat"关联度0.8→it=垫子年份参数量作用GPT-120181.17亿生成式任务GPT-2201915亿零样本任务泛化GPT-320201750亿少样本学习，复杂推理GPT-42023约1.8万亿图像理解，高级推理1.2.3连接学习的兴起深度学习与强化学习结合深度学习+强化学习=深度强化学习让AI在复杂环境中学会决策AlphaGO围棋程序智能体Agent深度神经网络输入→隐藏→输出1.2.3连接学习的兴起当前挑战

可解释性差

（黑盒原理）

为什么AI得出这个结论？医疗诊断：AI说"患病"，但不知道为什么数据依赖模型拥有大量参数，通常需要海量训练样本。标注成本高：一张医疗影像标注需专家数小时。隐私问题：医疗、金融数据难以获取。训练成本高算力、能源、时间。GPT-3训练总成本：超过1200万美元。模型部署困难模型太大，手机装不下。需要云端连接，有延迟和隐私问题。未来趋势

小样本学习像人类一样，从少量样本学习。罕见病诊断（只有几例病例），新物种识别（刚发现的新物种）。模型压缩与轻量化大模型变小，塞进手机可解释AI让AI学会"讲道理"。多模态学习像人类一样整合多种感官输入：文字"一只黑猫"+猫叫声音+猫图片输出：理解三者描述的是同一事物输入黑盒输出1.2.3连接学习的兴起1.3机器学习平台搭建1.3.1硬件环境与操作系统1.3.2软件框架与开发工具1.3.3模型部署与实验管理为什么要搭建机器学习平台？核心观点：理论算法需要落地环境机器学习开发的特点计算密集：需要大量矩阵运算数据量大：需要高效存储和处理迭代频繁：需要快速实验和调参模型复杂：需要GPU等加速硬件没有平台的困境❌环境配置繁琐（“配环境两小时，跑代码五分钟”）❌结果难以复现❌团队协作困难❌

模型部署复杂机器学习平台的层次结构

1.3.1硬件环境与操作系统核心硬件资源核心观点：理论算法需要落地环境开发环境配置操作系统：Linux（Ubuntu/CentOS）为主，Windows/MacOS也可虚拟环境：Anaconda/Miniconda包管理：pip/condapipinstall包名-i镜像url国内pip镜像源：豆瓣：/simple中科大：/simpleconda是Anaconda的一部分，可用于环境管理和包管理condainstall包名硬件类型用途推荐配置CPU数据预处理、I/O操作多核心高频处理器GPU模型训练、深度学习NVIDIA系列内存数据加载32GB以上存储数据集保存SSD+HDD组合1.3.1硬件环境与操作系统核心软件资源框架特点适用场景TensorFlow生产部署强，KerasAPI友好工业级应用、移动端Pytorch动态图，调试方便，研究首选学术研究、快速原型Scikit-learn传统ML算法丰富，易上手经典ML、快速验证Keras高API，TF官方集成初学者、快速建模MXNet高效分布式大规模训练PaddlePaddle国产，中文支持好国内企业应用1.3.2软件框架与开发工具常用开发工具工具类型特点JupyterNotebook交互式环境适合探索性分析、可视化JupyterLab增强版Notebook多文件管理、插件丰富VSCode轻量级IDEPython插件丰富，Git集成PyCharm专业PythonIDE初学者、快速建模GoogleColab云端Notebook免费GPU，便于分享KaggleNotebooks竞赛平台数据集丰富，GPU免费1.3.2软件框架与开发工具完整的平台搭建——cifar10数据集分类安装好Anaconda后在项目终端创建一个名为pytorchtest的虚拟环境，使用python3.9版本激活虚拟环境1.3.3模型部署与实验管理安装需要的包查看CUDA版本，根据版本下载对应的torch包下载torchtorchvisiontorchaudio验证CUDA是否可用下载需要的其他包1.3.3模型部署与实验管理手动创建一个神经网络，新建一个model.py文件，导入需要的包文件。创建一个简单的卷积神经网络模型。1.3.3模型部署与实验管理新建一个train.py，导入包文件定义训练的设备——GPU1.3.3模型部署与实验管理准备数据集——Cifar-10download=True表示如果没有数据集就会自动下载1.3.3模型部署与实验管理加载数据集建立神经网络创建损失函数1.3.3模型部署与实验管理定义优化器设置网络训练参数1.3.3模型部署与实验管理训练阶段，50000张图片，每个batch_size为64，每个epoch的batch数为50000/64=782每完成1个epoch，total_train_step会增加782每完成100个batch，就会触发一次打印和TensorBoard记录1.3.3模型部署与实验管理测试阶段，10000张图片，batch_size=64total_test_loss：累加测试集中所有batch的损失值total_acc：累加测试集中所有batch中预测正确的样本数计算并打印准确率：正确预测总数/测试集总样本数1.3.3模型部署与实验管理训练测试过程中数据记录到tensorboard打开tensorboard文件1.3.3模型部署与实验管理1.3.3模型部署与实验管理2.1模型参数估计2.4模型正则化策略2.3模型优化概率方法2.2模型优化基本方法第二章模型估计与优化2.1模型参数估计ModelParameterEstimationCHAPTER022.1.1最小二乘估计2.1.2最大似然估计

核心定义(Definition)最小二乘估计（LSE）是一种数学优化技术，通过最小化误差的平方和来寻找数据的最佳函数匹配。其核心思想是让观测点与模型预测值之间的总偏差最小。历史渊源(History)该方法由勒让德（Legendre）和高斯（Gauss）在19世纪初独立提出，最初用于解决天文学中的行星轨道预测问题，是数学史上最伟大的发现之一。Adrien-MarieLegendreCarlFriedrichGauss2.1.1最小二乘估计核心目标寻找一条直线（或曲线），使得所有数据点到该直线的垂直距离的平方和最小。为什么是平方和？1.避免不可导点：2.惩罚大误差：放大离群点误差，使拟合结果更倾向于整体最优。

2.1.1最小二乘估计基本模型假设

2.1.1最小二乘估计

根据误差最小的基本思想，最优参数向量取值对应的整体误差最小

2.1.1最小二乘估计

2.1.最小二乘估计

2.1.1最小二乘估计

2.1.1最小二乘估计

2.1.1最小二乘估计定义(Definition)最大似然估计(MLE)是一种参数估计方法，其核心思想是“找到最有可能产生当前观测数据的参数值”。核心思想(CoreIdea)通过最大化似然函数来求解参数。似然函数描述了在给定参数下，观测到当前数据的概率。经典示例(Example)抛硬币10次得7次正面，MLE会选择使得“7正3反”这一结果出现概率最大的正面概率p值。2.1.2最大似然估计核心思想(MLE)找到最有可能产生当前观测数据的参数值，即让样本出现概率最大的参数。通俗理解从所有可能的参数中，“猜”出那个最像导致本次实验结果发生的参数。与LSE对比LSE追求“误差最小”，而MLE追求“概率最大”，出发点不同但常殊途同归。2.1.2最大似然估计最大似然估计(MLE)MLE的核心思想是找到最有可能产生当前观测数据的参数值，即最大化数据出现的概率。理论等价性当线性回归模型的误差项ε服从独立同分布的正态分布时，最小二乘估计(LSE)与最大似然估计(MLE)是完全等价的。理论意义这一结论为最小二乘法提供了坚实的概率理论基础，证明了其在概率意义上的最优性与合理性。2.1.2最大似然估计

2.1.2最大似然估计01.写出似然函数构建样本的联合概率密度函数，即似然函数。02.取对数变换将乘积转化为求和，简化计算，得到对数似然函数。03.对参数求导对关于待估参数求一阶导数，寻找极值点。04.令导数为零令一阶导数等于零，建立似然方程，这是求解的关键步骤。05.求解方程解似然方程，得到参数的最大似然估计值。06.验证最大值(可选)通过二阶导数小于零或其他方法验证该解为最大值点。2.1.2最大似然估计【例2.2】假设一个不透明盒里装有3颗围棋子，现用有放回抽样法随机抽取三次，每次拿一颗，得到白子2次黑子1次。试用最大似然估计法估计盒中白子个数。2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计2.2模型优化基本方法BasicMethodsforModelOptimization2.2.2牛顿迭代法2.2.3拟牛顿法2.2.1梯度下降法核心思想(CoreIdea)一种迭代优化算法。核心是沿着函数梯度的反方向（即函数值下降最快的方向）逐步迭代，以寻找函数的最小值点。通俗理解(Analogy)想象站在山顶，每一步都朝着当前最陡峭的下坡方向走一小步，最终就能到达山谷（最小值点）。关键参数(LearningRate)学习率η决定每一步“走多远”。太小收敛慢，太大可能越过最低点导致不收敛。示意图：梯度下降路径（从初始点沿最陡方向逼近最小值）2.2.1梯度下降法机器学习中一大类模型优化的目标是求目标函数最小值所对应的模型参数，可基于下山问题的思想设计优化算法。迭代方向：目标函数值下降最快的方向迭代步长：合适的长度2.2.1梯度下降法

2.2.1梯度下降法

发散，求解失败收敛速度慢

当步长取值过大时：当步长取值过小时：2.2.1梯度下降法

2.2.1梯度下降法逐步逼近最优解

2.2.1梯度下降法

2.2.1梯度下降法核心优势(Advantages)简单易实现算法逻辑清晰，数学推导直观，易于编程实现。适用范围广对目标函数形式要求低，可有效处理非凸优化问题。内存效率高支持SGD逐样本更新，在大规模数据场景下内存消耗极小。主要局限(Disadvantages)收敛速度慢尤其是在接近最小值点时，迭代步长变小，收敛极其缓慢。对学习率敏感学习率选择至关重要，需手动调参或依赖自适应策略。易陷入局部最优在非凸函数优化中，算法可能收敛到局部最小值而非全局最优解。2.2.1梯度下降法核心思想：二阶优化算法利用目标函数的一阶导数（梯度）和二阶导数（海森矩阵）信息，通过对目标函数进行二次函数近似，快速定位最小值点。通俗理解：地形曲率“先知”不同于梯度下降法的“盲人摸象”，牛顿法观察地形曲率，预测最小值位置并一步跨越。收敛速度通常显著快于梯度下降法。2.2.2牛顿迭代法

2.2.2牛顿迭代法优化问题需要求极值，基本的牛顿迭代法可求方程近似根，牛顿迭代法如何用于模型优化？函数极值点处导数为0，因此可使用牛顿迭代法求解目标函数导函数的根，从而实现模型优化。2.2.2牛顿迭代法

优化问题转化为求方程根问题2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法【例题2.6】试根据表2-11中数据建立一个预测广告投入和净利润之间关系的机器学习模型，并使用该模型预测广告投入为2.1万元时所对应的净利润，要求模型优化过程采用牛顿迭代法。2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法核心优势(Advantages)收敛速度极快在极小值点附近具有二阶收敛速度，显著优于梯度下降法的一阶收敛特性。自适应步长，无需调参步长由算法根据二阶信息自动确定，避免了手动调整学习率的繁琐过程。主要局限(Disadvantages)计算与存储成本高昂需计算海森矩阵并求逆，高维参数下内存与算力消耗巨大。对初始点位置敏感初始点远离极小值点时，算法可能不收敛甚至发散。函数需二阶可导算法依赖于二阶导数的存在，限制了其适用范围。2.2.2牛顿迭代法梯度下降法vs牛顿迭代法(对比总结)核心特性梯度下降法(GradientDescent)牛顿迭代法(Newton'sMethod)收敛速度慢（一阶收敛），依赖学习率快（二阶收敛），迭代步数少计算复杂度低（仅需计算一阶导数/梯度）高（需计算海森矩阵及其逆）学习率设置需要手动设置或自适应调整不需要，步长由二阶信息自动确定适用场景大规模问题、非凸问题、深度学习小规模问题、凸问题、对收敛速度要求高的场景初始点要求较低，不易发散较高，需靠近最小值点，否则可能不收敛总结：梯度下降法通用性强适合大规模数据；牛顿法收敛快但计算成本高，适合小规模高精度场景。牛顿迭代法缺陷：搜索方向难以确定，需要计算梯度、Hesse矩阵和其逆矩阵。拟牛顿法基本思想：使用近似矩阵来代替Hesse矩阵的逆矩阵。2.2.3拟牛顿法

2.2.3拟牛顿法

2.2.3拟牛顿法

2.2.3拟牛顿法2.3模型优化概率方法2.3.1随机梯度法2.3.2改进梯度法2.3.3最大期望法核心思想(SGD)每次迭代随机选取一个或一小批样本计算梯度。不再依赖全量数据，而是利用“噪声”估计来快速更新参数。优点：梯度计算更为快速，降低时间成本；

增加算法的随机性，从而赋予算法跳出局部最优解的能力。梯度下降法缺陷：每次迭代需根据所有训练样本确定参数更新方向，大样本情况下时间成本巨大；仅朝着目标函数值减小的方向更新参数，不具备跳出局部最优解的能力。2.3.1随机梯度法

2.3.1随机梯度法

2.3.1随机梯度法

2.3.1随机梯度法小批量随机梯度下降法：每次抽取训练集中部分样本参与训练，通过一小批样本估计目标函数梯度方向。算法基本思想：目前计算机多采用多核架构，具备并行计算能力，只使用单个样本会浪费计算力；样本数量与梯度估计的准确性相关。2.3.1随机梯度法

2.3.1随机梯度法

2.3.1随机梯度法由于使用梯度估计，随机梯度法更新过程存在一定随机性，并非每一次更新都会使得目标函数值下降，但整体呈下降趋势，并具备跳出局部最优的能力。随机梯度法参数更新示意图2.3.1随机梯度法核心优势(Advantages)计算效率高每次迭代仅计算单个样本，成本低，适合大规模数据集处理。内存消耗小无需一次性加载全部数据，降低了硬件内存压力，适合内存受限场景。有助于跳出局部最优梯度更新中的噪声特性，能帮助算法逃离局部最小值，寻找全局最优。主要局限(Disadvantages)收敛路径震荡由于梯度估计的随机性，收敛路径曲折，容易在最小值点附近震荡。对学习率更敏感需要仔细调整学习率参数，通常需要配合学习率衰减策略才能获得较好效果。梯度估计不准确基于单个样本的梯度方向可能存在偏差，不能很好地代表整个数据集的真实梯度。2.3.1随机梯度法01问题的提出为什么需要改进梯度法？

分析传统SGD的瓶颈所在02核心概念学习率与动量

优化算法的两大基石03算法详解从Adagrad到Adam的演进

深度解析优化原理04总结与对比四大算法横向比较

适用场景与性能分析2.3.2改进梯度法随机梯度法（SGD）的瓶颈与挑战图示：SGD在参数空间中的迭代路径，抖动与震荡是其显著特征，直接影响收敛效率。💡核心思想回顾：小批量SGD通过单次迭代仅计算少量样本梯度，大幅提升计算效率，是大规模数据训练的基石。收敛过程不稳定参数更新含随机噪音，损失函数曲线剧烈震荡，难以平滑收敛。学习率难以调优超参数敏感：过高导致模型不收敛，过低则训练速度极其缓慢。易陷入局部最优稳定的梯度方向缺乏探索性，容易困于较浅的局部极小值，无法触及全局最优。2.3.2改进梯度法SGD的三大核心痛点与挑战01收敛不稳定参数更新路径存在随机性，损失函数剧烈震荡，导致收敛过程不平滑，难以精准收敛到最优点。02学习率困境过高导致震荡无法收敛，过低则速度极慢。缺乏自适应能力，难以平衡探索与利用的关系。03局部最优陷阱在复杂的损失函数地形中，SGD容易被“小土坑”捕获，稳定的梯度更新方向使其难以跳出较浅的局部最小值。2.3.2改进梯度法核心概念一：学习率(LearningRate)什么是学习率？控制参数更新步伐大小的超参数（α），决定模型参数在梯度方向上的移动距离。学习率太高：步伐过大，易错过最优解，导致损失函数震荡不收敛。学习率太小：步伐过小，收敛平滑但速度极慢，需大量迭代步数。核心挑战：如何为所有参数选择一个合适的、动态变化的学习率策略。示意图：学习率过小时，损失函数收敛速度极慢，曲线下降平缓。💡核心洞察：步长决定收敛的速度与稳定性2.3.2改进梯度法核心概念二：动量(Momentum)直观理解：引入“惯性”机制参数更新不仅看当前梯度，更参考历史累积的梯度方向，像下山的球一样越滚越快。加速收敛(Acceleration)梯度方向一致时，动量不断累积，大幅提升更新速度。减少震荡(Smoothing)梯度频繁变向时，动量平滑波动，避免路径来回“摇摆”。跳出局部最优(EscapingMinima)凭借惯性冲过较浅的“山谷”，探索更优的参数空间。动量优化路径可视化图示为等高线图上的参数更新轨迹。动量法（通常蓝色路径）比标准SGD更平滑，收敛更快。💡核心总结：动量通过累积历史梯度赋予模型“冲量”，是深度学习优化器的关键加速技术。2.3.2改进梯度法Adagrad:自适应学习率的开端核心思想：历史梯度自适应基于参数历史梯度的平方和，为每个参数独立计算并动态调整学习率。工作机制：差异化更新•高频参数：梯度大→学习率小→步伐放缓•低频参数：梯度小→学习率大→快速更新优劣总结✔优点：极其适合稀疏数据（如文本特征）✘缺点：学习率单调递减，易导致训练早停（1）初始化所有参数β0为初始值，将累积

梯度平方和向量s0设置为零向量。（2）对于每次迭代t，计算梯度gt：

（3）更新累积梯度平方和向量st:

其中⨀表示逐元素相乘。（4）更新参数βt：

2.3.2改进梯度法RMSprop:解决学习率衰减问题核心思想：自适应学习率引入梯度平方的移动平均值，动态调整每个参数的学习率，避免学习率过早衰减。工作机制：指数移动平均不再累积所有历史梯度，而是计算指数衰减的移动平均，更关注近期梯度变化，遗忘遥远过去。算法优势：高效稳健学习率非单调递减，后期更新有效；对非平稳目标（如RNN）优化效果显著。RMSpop算法优化路径示意等高线图展示了算法在参数空间中平滑的收敛轨迹（1）计算梯度平方的移动平均值：其中g是目标函数F(βt)在迭代时刻t关于参数βt的梯度。γ是衰减系数，通常取值在0.9左右。∇F(βt)是第t次迭代的梯度。（2）更新参数：其中α是学习率。ε是一个常数，用于防止分母为0，通常取值为e-82.3.2改进梯度法Momentum：引入“惯性”加速收敛核心思想：引入惯性参数更新不仅依赖当前梯度，还叠加了历史梯度的累积效果。工作机制：速度累积梯度方向一致则加速前进；方向改变则平滑震荡，像滑行的冰球。核心优势：高效收敛显著减少路径震荡，帮助模型在高曲率区域快速跳出局部最优。（1）计算动量项：其中vt+1表示第t+1次迭代的动量项。γ是动量系数，通常取值在0.9左右。∇F(βt)是第t次迭代的目标函数F(βt)梯度。（2）更新参数：其中βt+1是第t+1次迭代的参数值，α是学习率。2.3.2改进梯度法Adam：深度学习优化器的集大成者核心思想：融合与校正结合RMSprop（自适应学习率）与Momentum（动量）的优势，并引入偏差校正机制，解决训练初期估计偏差问题。工作机制：三阶联动计算一阶矩估计(mₜ)与二阶矩估计(vₜ)，并对两者进行偏差校正，从而动态且稳定地调整每一步的学习率。核心优势：全能表现内存占用低且计算高效；对超参数选择不敏感，默认值表现优异；广泛适用于大规模数据和高维空间训练。2.3.2改进梯度法（1）更新步数steps：t=t+1（2）计算损失函数Fβ对参数β的梯度gt：（3）计算梯度的一阶矩mt：（4）计算梯度的二阶矩vt：（5）对一阶矩mt进行校正，由于mt初始值为0，会导致其在初始阶段被低估。计算公式为：（6）对二阶矩vt进行校正，由于vt初始值为0，会导致其在初始阶段被低估。计算公式为：（7）更新参数βt,当βt收敛时返回模型参数。计算公式为：核心定义与本质最大期望法(EM算法)是一种迭代式的参数估计方法。它通过巧妙的“两步迭代”机制，解决传统优化方法难以处理的问题。关键应用场景适用对象：包含隐变量(LatentVariable)的概率模型解决目标：最大似然估计(MLE)或最大后验估计(MAP)核心优势：当存在不可观测变量导致似然函数求解困难时，提供高效的近似解。2.3.3最大期望法传统最大似然估计(MLE)模型仅包含观测变量X目标：直接最大化logP(X|θ)求解方式：通常可通过求导等解析方法直接求解，过程直观。含隐变量的复杂模型引入未知隐变量Z，仅能观测X对数似然包含积分项：lnL(θ|X)=ln∫p(X,Z|θ)dZ难点：积分内的对数函数无法直接求导优化。核心问题与解决方案EM算法的核心目标：在隐变量存在导致似然函数无法直接优化的情况下，提供一种高效的迭代策略来估计模型参数θ。2.3.3最大期望法EM算法的核心步骤：E步(Expectation)核心目标计算Q函数，即完全数据对数似然的期望。具体操作计算隐变量后验分布：

P(Z|X,θ^(t))构造Q函数期望：

Q(θ|θ^(t))=E[logP(X,Z|θ)]算法作用通过“期望”将未知的隐变量Z进行“填充”，将不完整数据转化为可处理的“完整数据”。2.3.3最大期望法EM算法的核心步骤：M步(Maximization)核心目标最大化Q函数，以此得到新的参数估计值。这是EM算法中更新模型参数的关键环节。数学操作求解使Q函数最大的新参数θ^(t+1)：θ^(t+1)=argmax_θQ(θ|θ^(t))实际作用在E步得到的“完整数据”基础上，进行一次标准的最大似然估计。由于隐变量已被期望化处理，这一步通常是一个相对容易求解的优化问题。2.3.3最大期望法EM算法的迭代过程01.初始化参数选择合适的初始参数θ^(0)，作为迭代的起点。02.E步(期望步)计算Q函数：Q(θ|θ^(t))，即完全数据的对数似然函数的期望。03.M步(极大步)最大化Q函数以更新参数：θ^(t+1)=argmax_θQ(θ|θ^(t))。04.收敛判断重复E步和M步，直到参数变化小于阈值ε或似然函数值不再显著上升。05.输出结果算法收敛后，输出最终的参数估计值θ*。2.3.3最大期望法

2.3.3最大期望法

2.3.3最大期望法2.4模型正则化策略2.4.1范数惩罚2.4.2样本增强2.4.3GAN正则化的目的在于提升模型泛化能力样本少模型复杂，过拟合减小模型复杂度增加训练样本2.4.1范数惩罚正则化基本思路：降低模型容量或增加样本数量。范数惩罚正则化方法基本思想：降低模型容量

2.4.1范数惩罚

2.4.1范数惩罚

2.4.1范数惩罚

2.4.1范数惩罚

2.4.1范数惩罚几何解释：正则化是在损失函数等值线（椭圆）上寻找与约束边界相切的点。L1正则化：约束边界为菱形，顶点易相切，导致部分参数为0，产生稀疏解。L2正则化：约束边界为圆形，切点通常不在坐标轴，参数被均匀缩小而非归零。正则化几何示意图L1菱形约束L2圆形约束虚线：损失函数等值线实线：正则化约束边界切点即为最优解位置2.4.1范数惩罚定义(Definition)样本增强（DataAugmentation）是指在不实际收集新数据的情况下，通过对现有样本进行一系列随机变换，生成大量与原始样本相似但不完全相同的新样本，从而扩充训练数据集的过程。核心目的(CoreObjectives)扩充数据集增加训练样本的数量和多样性，使模型学习到更丰富的特征。提高泛化能力引入噪声和变化，迫使模型学习本质特征，有效防止过拟合。模拟现实多样性模拟现实世界中数据的各种变化，使模型在实际应用中表现更稳定。“通过数据增强，让模型在有限的数据中学习到无限的可能性。”2.4.2样本增强几何变换包括随机翻转（水平/垂直）、随机旋转、随机裁剪、平移及缩放等操作。颜色变换随机调整图像的亮度、对比度、饱和度、色调，或添加高斯噪声等。其他变换包含随机擦除(RandomErasing)、CutMix、MixUp等高级混合策略。核心目标：在保持图像的语义信息不变的前提下，通过增加样本的多样性来提升模型的泛化能力和鲁棒性。2.4.2样本增强样本增强多用于计算机视觉领域2.4.2样本增强

2.4.2样本增强核心作用有效防止过拟合通过增加数据多样性，减少模型对训练数据的依赖，提升泛化能力。提升模型性能提供更多样化的训练信号，有助于模型学习到更具代表性的特征。重要意义降低数据收集成本无需额外收集和标注数据，是一种经济高效的数据扩充手段。增强模型鲁棒性使模型对输入数据的微小变化不敏感，提升在真实场景下的稳定性。总结：样本增强技术通过低成本的数据扩充，不仅解决了过拟合问题，更赋予了模型更强的泛化能力和抗干扰能力，是现代深度学习中不可或缺的一环。2.4.2样本增强生成对抗网络（GAN）的核心思想源于博弈论中的“二人零和博弈”。通过训练两个相互对抗的神经网络——生成器(G)和判别器(D)，学习数据的真实分布，最终达到“纳什均衡”。生成器(Generator)负责生成看似真实的“假数据”，试图欺骗判别器。判别器(Discriminator)负责判断输入数据是真实的还是生成的，努力提高识别能力。纳什均衡生成器以假乱真，判别器无法区分，两者达到动态平衡。GAN对抗过程示意图真实数据判别器D真伪判断生成器G随机噪声z2.4.3GAN基本架构生成器(Generator)输入随机噪声向量z，输出样本G(z)，模拟真实数据分布。判别器(Discriminator)输入样本x，输出概率D(x)，判断样本是否为真实数据。训练过程训练判别器：用真假数据更新参数，提升分辨能力。训练生成器：利用判别器反馈，优化生成样本质量。交替训练：重复上述步骤，直至达到纳什均衡。核心原理总结GAN通过生成器与判别器的“零和博弈”实现模型优化。生成器试图生成逼真数据欺骗判别器，而判别器则努力区分真假。这种对抗过程最终促使生成器学习到数据的真实分布，从而生成高质量的新样本。2.4.3GAN图像生成与编辑生成逼真的人脸、风景图片，进行图像修复、超分辨率重建、风格迁移等。数据增强为训练模型生成高质量的合成数据，尤其适用于数据稀缺的场景。视频生成生成连贯的视频片段，可应用于电影制作、特效生成等领域。语音合成生成自然的语音，支持语音助手、有声读物等应用场景。艺术创作辅助艺术家进行创意设计，生成独特的艺术作品和视觉效果。核心价值利用对抗学习机制，GAN在数据生成领域展现出强大的潜力，正逐步重塑各行业的创新模式。2.4.3GAN2.4.3GAN生成对抗网络生成效果提升过程示意图第一幅图像为原始图像，其余为生成器所生成的虚拟图像。它们按照迭代次数的大小从左到右、从上到下进行排列。显然，随着生成器与判别器博弈，虚拟图像越来越接近真实图像，甚至能够以假乱真。2.4.3GAN使用训练好生成器生成的四张虚拟样本3.1线性模型3.5监督学习应用3.4支持向量机3.2决策树模型第三章监督学习3.3贝叶斯模型知识目标理解监督学习的核心定义、思想与任务边界掌握线性模型、决策树、贝叶斯、SVM四大经典算法原理与推导明确分类与回归任务的联系与区别，理解适用场景了解监督学习算法在真实行业场景中的落地方法能力目标针对具体业务问题，选择合适的监督学习算法完成建模解读与优化算法结果，解决过拟合、多重共线等典型问题本章学习目标什么是监督学习？核心定义：基于带标签样本的映射学习以带标签的训练样本为对象，学习特征与标签间的映射关系，构建可泛化的预测模型。即通过已知答案的数据，让机器学会如何从输入推导输出。形象类比：考生备考过程带标签样本→带答案的练习题模型训练→对照答案演算习题，总结解题方法模型泛化→用总结的方法解决新的未知题目核心前提：先验标注信息训练样本必须具备标签，模型始终以标签为参照，通过不断优化预测结果与真实标签的误差来学习。监督学习的两大核心任务回归任务(Regression)核心目标：预测连续数值，寻找变量间的映射关系输出结果：连续的数值结果（如价格、温度、销量）典型场景：销量预测、房价评估、经济指标分析分类任务(Classification)核心目标：预测离散类别，区分不同事物的特征输出结果：离散的类别标签（二分类/多分类）典型场景：图像识别、垃圾邮件检测、风险评估3.1线性模型3.1.1模型结构3.1.2线性回归3.1.3线性分类3.1.1模型结构核心定义输出由样本特征与模型参数的线性组合计算获得，仅包含加法与乘法运算，是结构最简单的机器学习模型。数学表达式关键特性

3.1.1模型结构

3.1.2线性回归任务定义：基于线性模型完成回归学习，求解最优权重向量w与偏置项b，使模型输出的连续预测值尽可能拟合样本真实标签。核心步骤01特征提取

02构建模型

03定义损失以平方误差为核心，构建最小二乘目标函数，衡量预测与真实值的差距。04优化求解通过数学方法最小化损失函数，求解得到最优参数w，完成模型训练。3.1.2线性回归样本误差单个样本

多个样本

目标函数定义

3.1.2线性回归最优参数求解

3.1.2线性回归多重共线现象优化方案：岭回归优化方案：Lasso回归核心定义样本特征间存在强线性相关性，导致矩阵AᵀA不可逆或参数极不稳定。主要危害模型泛化能力极差参数失去可解释性

例题【例题3.1】某企业某商品月广告费用与月销售量数据如表3-1所示，试通过线性回归模型分析预测这两组数据之间的关系。1234567891010.9512.1413.2213.8715.0616.3017.0117.9319.0120.0111.1810.4312.3614.1515.7316.4018.8616.1318.2118.371112131415161718192021.0422.1023.1724.0725.0025.9527.1028.0129.0630.0522.6119.8322.6722.7025.1625.5528.2128.1228.3229.18表3-1月广告费与月销售量数据例题【解】

首先将表中的样本数据可视化，如图3-1所示，通过考察这些点的位置分布，不难发现它们基本上成直线排列。

3.1.3线性分类二值分类

3.1.3线性分类从回归到分类：激活函数的引入核心转化思路通过引入激活函数，对线性回归的连续输出进