人工智能导论 课件 何友 第1-5章 绪论、人工智能数学基础 - 人工智能生成内容与大模型

第1章绪论2人工智能源与流——发展简史24小时浓缩人类文明发展史：前22小时50分钟，拓展生理机能边界；最后70分钟，蒸汽机突破肌肉束缚；最后20分钟，创造出延伸人类心智的工具——人工智能。农业文明时代蒸汽和电气时代智能时代3人工智能研究的由来人工智能源与流——发展简史1950年，“计算机科学之父”和“人工智能先驱”阿兰·图灵（AlanTuring）发表划时代论文《计算机器与智能》，首次系统性地探讨了“机器能否思考”这一根本问题，并提出了判断机器是否具备智能的可行标准——“图灵测试”。4什么是人工智能（ArtificialIntelligence，AI）？人工智能源与流——发展简史智能就是学习的能力，以及解释与解决现实问题的能力。将人类智能释放到体外，成为脱离生命体的存在，即为——“人工智能”。人工智能是指算法吗？还是机器人？AI的研究目的可以概括为“通过探索、理解、模仿并扩展人类的智能行为，促使智能主体会听、会看、会说、会思考、会学习，甚至能行动”。5美国新罕布什尔州汉诺威小镇达特茅斯学院人工智能源与流——发展简史参加达特茅斯会议的部分学者1956年，达特茅斯会议，“人工智能元年”61962年，阿瑟·萨缪尔开发的西洋跳棋程序‌击败美国康涅狄格州的西洋跳棋冠军罗伯特·尼利，引起广泛关注。1968年，乔舒亚·莱德伯格领导开发了世界上第一个专家系统DENDRAL。人工智能源与流——发展简史乔舒亚·莱德伯格AI发展的第一次寒冬与复兴运行跳棋程序的IBM7090晶体管计算机硬件算力不足、训练数据缺乏、人工规则不能处理复杂问题等，导致实际能力达不到预期，1970年代初迎来AI发展的第一次寒冬。

7研究思路转换：在特定领域达到甚至超过人类专家水平，知识积累推动应用突破。医疗专家系统DENDRAL➡MYCIN➡INTERNIST，知识从规则化到系统化；XCON取得商业成功人工智能源与流——发展简史AI发展的第一次寒冬与复兴——应用突破"专家系统之父"爱德华·费根鲍姆基于规则的医疗专家系统计算机配置专家系统XCON8卷积神经网络（杨立昆，1989）反向传播算法（杰弗里·欣顿，1986）人工智能源与流——发展简史新技术突破推动人工神经网络向更深层、更复杂方向迈进。AI发展的第一次寒冬与复兴——技术突破91997年，IBM“深蓝”击败加里·卡斯帕罗夫—低谷中的高光人工智能源与流——发展简史1987年，专用硬件市场的崩溃推动AI领域转向基础理论和算法研究AI发展的第二次寒冬与第三次兴起2006年深度学习实现‌从数据中自动学习层次化特征表示，算法取得重大突破‌；基于GPU的并行计算打破了制约模型训练的算力瓶颈；

ImageNet等海量标注数据集，为全球AI模型训练提供数据支持。算法、算力和数据三大要素同时具备，共同开启了AI的黄金时代！

10大语言模型的本质变化是它获得了“理解指令”和“举一反三”的核心能力。人工智能源与流——前沿突破大语言模型的认知革命与技术演进2020年，GPT-3涌现出少样本学习的能力,确立了‌“大规模预训练+提示”‌的新范式。GPT系列大模型以ChatGPT为爆发点，技术演进开始加速11人工智能源与流——前沿突破多模态AI的架构创新与跨模态融合多模态学习教机器同时理解和处理文字、图片、声音等多种不同类型的信息，让它的理解更全面、更可靠。视觉-语言模型将“看”与“说”结合起来，能同时“看懂”图片视频并“听懂”文字视觉语言动作模型整合视觉感知、语言理解与动作控制三大能力，可以实现从环境感知到行为执行的端到端直接输出12人工智能源与流——前沿突破强化学习的算法突破与决策智能化强化学习让智能系统像人一样，通过不断尝试、从结果中学习来成长。让智能体在每个具体情境下，通过与环境互动，找到最佳的行动方式，并获得最大的长期“收益”。特斯拉使用“世界模拟器（WorldSimulator）”生成了汽车行驶过程中针对同一场景的不同视角13人工智能技术版图——三大技术流派符号主义、连接主义和行为主义,代表对智能的不同理解和实现方式符号主义知识表示知识图谱连接主义神经网络深度学习行为主义机器人强化学习AI14艾伦·纽厄尔（AllenNewell），图灵奖得主，人工智能先驱赫伯特·西蒙（HerbertSimon）诺贝尔经济学奖得主‌，人工智能先驱人工智能技术版图——三大技术流派符号主义：通过符号表示知识，并使用逻辑推理模拟从知识到决策的智能实现过程。A*算法：通过启发式公式对当前搜索状态的下界进行估计，并且优先搜索更有潜力的解，在保证正确的前提下，找到到达终点的最短路径。PeterHart‌,‌NilsNilsson,‌BertramRaphael‌，1968“逻辑理论家”（LogicTheorist）程序，195615人工智能技术版图——三大技术流派连接主义：通过模拟大脑神经网络结构，用分布式表示和学习算法来实现学习和认知功能。感知机解决分类问题多层感知机（MLP）16人工智能技术版图——三大技术流派行为主义：把模型对外在环境的感知映射到其自身的具体行动决策来实现智能，重点研究对环境变化的反应性和适应性。沃尔特“乌龟”机器人，1949世界上第一辆可以自主行驶和避障的斯坦福小车，1970s17人工智能技术版图——生成式人工智能前AI生成时代：数据概念分布的学习与生成。所有节点相互连接，信息从所有节点输入和读出信息从可见节点输入和读出，隐藏层负责重建层内节点无连接，通过无监督训练逼近输入数据概率分布18人工智能技术版图——生成式人工智能早期AI生成模型：数据驱动的概率分布建模。隐含狄利克雷分布（LDA）能够自动将大量文本归类到特定主题下，并按照概率分布的形式给出。典型应用：自动给文章打标签‌；‌找相似文档或推荐‌；‌分析舆情和情感；‌构建知识图谱‌。图片源自：李航，《统计学习方法》，北京：‌清华大学出版社，‌2019年。19变分自编码器（VAE）：基于概率推断，显式建模数据的概率分布人工智能技术版图——生成式人工智能AI生成技术腾飞：用神经网络建模概率分布。生成对抗网络（GAN‌）：基于零和博弈，隐式学习真实数据分布Transformer依托自注意力机制，直接建模序列元素的全局依赖关系20人工智能技术版图——生成式人工智能AI生成内容爆发：大规模多模态内容生成触发因素：①GPT、DALL·E和StableDiffusion等大规模生成模型的出现；②HuggingFace等开源平台降低了AI生成模型的开发门槛；③GPU和云计算的普及，以及互联网数据指数增长，支持了超大规模模型的训练。辨析：GAI是“工具”，AIGC是“用工具完成的作品”。21人工智能发展现状——技术成熟度曲线Gartner：创新触发期期望膨胀期幻灭低谷期复苏斜坡期生产力平稳期22人工智能发展现状——技术成熟度曲线成熟时间代表技术当前阶段典型应用场景2年内边缘AI幻灭低谷期自动驾驶、工业质检负责任AI期望膨胀期金融风控、内容审核2-5年AI生成内容幻灭低谷期软件开发、文案写作、影视创作具身智能创新触发期智能制造、康复医疗5-10年AI仿真创新触发期工业制造、城市治理与防灾减灾世界模型创新触发期自动驾驶、机器人、工业自动化10年以上量子AI创新触发期药物研发、复杂系统模拟AGI创新触发期通用AI助手、开放域科学发现代表性AI技术成熟度和应用情况人工智能发展现状——2年内进入生产力平稳期边缘AI技术：在云端训练模型，在边缘端执行推理，再将数据回传云端以优化模型，形成自主学习的闭环。应用场景：满足工业场景对实时性、数据隐私和成本控制的要求智能摄像头可穿戴心电图设备2324深度伪造检测人工智能发展现状——2年内进入生产力平稳期负责任AI：以安全、可靠和合乎道德的方式开发、评估和部署AI系统的方法，核心是让AI贯彻人类价值观和社会责任医疗诊断线上招聘25人工智能发展现状——2～5年内跨越幻灭低谷AI生成内容：推理成本优化和幻觉消除

豆包大模型UltraMem推理时间最高提升6倍，内存成本降低10倍以上检索增强生成（RAG）集合工具调用，可有效降低模型幻觉率26人工智能发展现状——2～5年内跨越幻灭低谷具身智能：具有物理身体、能通过“感知—行动”闭环与真实世界进行交互，并在交互中学习和演化的AI系统典型场景：仓储分拣柔性装配家用服务机器人……宇树科技G1人形机器人搭载Unitree机器人统一大模型27人工智能发展现状——5～10年内由研究走向产业AI仿真：将AI与传统仿真结合，构建数字化模型、模拟真实系统的运行规律与交互逻辑，实现对物理世界的动态复刻、预测分析与优化决策核心优势：‌运算效率极高。‌非线性模拟能力强‌。‌数据处理能力突出。‌学习迭代速度快。技术瓶颈：仿真到真实的迁移成功率上海“人工智能+气象”应用“雨师”短临预警模型预报结果28人工智能发展现状——5～10年内由研究走向产业世界模型：用于模拟环境动态并预测未来状态的AI核心技术框架，通过多模态数据训练构建系统内部表征，需具备生成性、多模态与互动性三大核心能力。让AI在虚拟世界中思考，在真实世界中行动。代表模型：谷歌ProjectGenie，能实现"凭空造世"——用户输入文字或上传图片，几秒钟内就能生成一个可进入探索的3D虚拟空间。‌‌‌29人工智能发展现状——10年以上远景量子AI：‌量子计算与AI的结合体，旨在用量子算力突破传统AI瓶颈。‌既包括用量子计算机加速AI算法，也包括用AI技术优化量子系统控制。2025年8月，中国科学技术大学利用AI技术成功构建了包含2024个原子的无缺陷量子计算阵列实验装置重排阵列30人工智能发展现状——10年以上远景通用人工智能（AGI）：具备像人类一样跨领域学习、推理与决策能力，在广泛认知任务上达到或超越人类水平的AI系统。2025年10月，北京智源人工智能研究院发布了其开源原生多模态世界模型——悟界・Emu3.5Emu能模拟动态物理世界，让用户以第一人称视角进入参观，并全程保持空间一致性，体现其掌握了世界运行的内在规律。Emu直接一步步生成从狐狸草图到最终手办形态的完整视觉流程，体现其长时程创作能力31人工智能发展现状——挑战与解决方案大模型幻觉：模型在生成内容时产生与事实不符、虚构或误导性的信息。成因：训练数据中的错误或片面信息、模型处理复杂场景的能力局限、对参数化记忆的过度依赖以及对用户模糊提问的“自由发挥”。对策：检验策略：联网搜索验证和双AI交叉检验提示工程：知识边界限定和对抗性提示等技术架构：检索增强生成框架，精细化训练策略32迁移学习：将源任务中学到的知识转移到目标任务中面临数据分布差异、特征空间不匹配等挑战人工智能发展现状——挑战与解决方案泛化性能：模型对训练数据中未出现过的样本做出准确预测或决策的能力。模型的泛化性能差的原因：训练和测试数据分布存在差异，数据数量或代表性不足，数据质量不高。33人工智能发展现状——挑战与解决方案能耗危机：AI数据中心的能源消耗速度约为电网新增电力速度的4倍，这种指数级增长给电力基础设施造成严重压力，导致全球电力分配的结构性调整。根据行业估算，GPT-4单次训练的耗电量高达2.4亿千瓦时，相当于12万户家庭一年用电量我国“算力-电力”共生系统：软件层面：通过优化算法训练更高效的专业模型，从源头节约算力；硬件层面：采用液冷等先进技术及AI自优化系统，大幅降低数据中心能耗；能源保障：发展长时、可靠的储能技术，AI算力中心稳定运行绿色电力并参与电网调度。34人工智能发展现状——挑战与解决方案数据供给：大规模数据采集和标注方法面临成本、隐私和多样性等限制，特别是覆盖“长尾场景”的高质量数据严重不足。高质量数据供给面临成本、安全、多样性等方面挑战合成数据技术：能够精确模拟物理系统，生成多样化“长尾场景”数据，支持机器人/自动驾驶系统训练35小结内容：人工智能发展脉络：达特茅斯会议、人工智能发展的“三起两落”；三大技术流派：符号主义、连接主义、行为主义的基本思想、代表方法和适用边界；总体技术发展现状：技术成熟度曲线、阶段划分、代表性技术；发展现状与挑战：模型幻觉、泛化性能、能耗危机、数据供给。思考：大语言模型的幻觉问题在当前的学习范式下能否得到根本性解决？如何使其在保持创造力的同时确保事实准确性？36课后欢迎交流邮箱：xxxx@xxxx第2章人工智能数学基础2.1引言2.1引言本章以数学基础作为切入点，从数学视角阐述人工智能学习问题如何被形式化描述、优化目标如何被构建以及模型参数如何被求解，为后续章节的学习奠定基础。首先从数学形式化角度出发，介绍人工智能的统一语言，并归纳人工智能学习问题的三要素通过本章学习，读者将掌握用数学语言描述AI问题、建立模型、求解参数并提升模型泛化能力的基本方法。随后以回归和分类为例，介绍其建模方式以及典型损失函数进一步介绍模型参数求解方法，重点讲解梯度下降等算法在复杂模型参数优化中的作用最后讨论模型泛化误差、过拟合与欠拟合现象，并引入正则化与约束优化思想，从数学理论层面说明如何在拟合能力与泛化能力之间取得平衡。392.2从计算到智能2.2从计算到智能传统计算范式现代智能范式核心思想研究人员人分析问题，编写规则，计算机按步骤执行系统从数据中学习规律，并对未知情形进行推断知识来源人类预先编码的知识与经验数据中隐含的统计规律与特征表示系统能力能力固定，不会随运行过程自动改变可通过训练不断调整模型参数，提升任务表现适用场景问题边界清晰、规则明确、环境可控输入复杂多样、规则难以穷举、环境存在不确定性主要局限难以应对规则缺失、输入变化和复杂现实场景依赖数据质量、模型结构与泛化能力代表形式规则系统、符号推理、确定性程序机器学习、深度学习412.2.1人工智能的统一语言

2.2.2人工智能学习的三要素

2.2.3人工智能学习的基本框架

2.2.1人工智能的统一语言张量将现实对象转化为可计算、可建模、可优化数学对象的统一表示语言。结构化样本与批数据空间数据离散序列张量是标量、向量、矩阵从低阶到高阶的自然推广。对于任意对象总存在一种映射，将其表示为张量当张量的轴的个数（张量的阶）退化为0，1，2时分别对应着标量、向量、矩阵432.2.2人工智能学习的三要素现代AI的学习问题可以归纳为三个核心要素：数据、模型、目标。数据描述了对象所服从的分布特性模型规定了从数据中提取规律并形成预测的方式目标为模型性能的评估与参数优化提供了明确的数学准则数据提供基础，模型承担学习，目标指引优化，三要素共同构成现代人工智能学习的核心框架。44数据来自现实世界的历史数据通常被表示为张量形式，并进一步组织为数据集。数据集中的有限样本构成了对真实分布的经验近似，模型则在该分布上学习输入与输出之间的规律。真实数据数据集特征空间中的样本分布样本标签猫鹿狗①样本容量充分②样本分布全面、均衡①样本量少②样本类别分布不均45模型模型是连接输入数据与输出结果的可学习映射。通过训练，模型在参数中编码由数据集提供的经验规律，并利用特定结构对输入信息进行表示、变换与预测。经验以参数的形式固化在模型f中我喜欢人工智输入（图像、文本…）我喜欢人工智能猫鹿狗预测：狗对应任务的预测输出4647目标目标函数将模型预测与真实结果之间的偏差转化为可计算的数值信号。由于真实数据分布无法直接观测，实际训练通常以训练集上的经验风险近似真实分布下的期望风险，并通过最小化经验风险来更新模型参数。…(样本,预测)(样本,预测)(样本,预测)经验损失，训练集上的平均损失可计算真实分布下的期望风险未知、不可计算

样本量足够大时

482.2.3人工智能学习的基本框架数据构建与划分循环训练推理测试现代人工智能学习的基本框架本质上是一个基于数据驱动的闭环优化过程，该过程旨在通过迭代计算，将数据中蕴含的经验转化为模型参数的数值解。49小结张量是人工智能的统一语言。任意模态的对象均可表示为统一的张量形式，纳入同一套数学运算体系。现代AI学习问题可归纳为三个核心要素:数据、模型和目标。现代AI学习的基本框架可以总结为数据驱动的闭环优化过程:数据构建与划分→循环训练→推理测试，最终得到经验最优参数。习题1：现代人工智能的学习问题通常由哪三个核心要素构成？请分别说明这三个要素在人工智能构建过程中的作用。习题2：简要说明现代人工智能的基本框架，并概括其主要包含的三个阶段及各自作用。2.3回归与分类建模2.3.1回归问题的定义2.3.2回归问题的求解2.3.3分类问题的定义2.3.4分类问题的求解2.3.1回归问题的定义回归是机器学习中的一类基础监督学习任务，旨在从输入特征与连续型输出之间学习映射关系，并用于预测新样本的数值结果。房价回归预测例子线性回归模型假设输出可以表示为输入特征的线性组合。然而，当真实关系呈现显著非线性时，线性回归会引入系统性偏差。522.3.2回归问题的求解①输入特征向量：②求解参数向量：③回归模型输出：④最小二乘法求解：最小化预测值与真实值之间的均方误差532.3.3分类问题的定义分类旨在学习输入特征到离散类别的映射关系分类问题是指在给定输入样本的条件下，从有限类别集合(1,2,…,K)中预测其所属类别的学习问题。手写数字分类例子(K=10)依据输出类别的数量，通常可将输出空间表示为给定数据集，分类问题可以建模为：在给定输入的条件下，建模对应输出类别的条件概率分布垃圾邮件分类(K=2)54不同类型分类任务二分类任务分类模型激活函数条件概率分布多分类任务类别分布与决策边界552.3.4分类问题的求解分类问题中，模型需要对样本所属类别作出预测，其优化目标不再是计算连续数值之间的偏差，而是刻画模型对类别判断的正确程度。通过极大似然估计，求解最优模型参数，使训练样本对应类别标签的条件联合概率最大。二分类问题的似然函数为，

多分类问题的似然函数为由于直接最大化连乘形式的似然函数在数值计算上较为困难，通常对其取对数，将参数优化目标转化为最大化对数似然函数。数学形式上完全等价于交叉熵！5657小结回归任务预测连续数值，核心目标函数为均方误差，线性回归可通过正规方程获得解析解。分类任务预测离散类别，本质是对条件概率分布的建模。分类的目标函数可以极大似然估计来求解习题：回归问题与分类问题在输出形式、建模方式与常用损失函数上有何本质差异？请结合均方误差与交叉熵两种典型损失函数，说明它们为何分别适用于回归与分类任务。2.4优化理论与方法2.4.1解析解与梯度下降法2.4.2非凸优化挑战2.4.3现代优化算法2.4.1解析解与梯度下降法解析解的局限性：传统统计学习中的解析解在面对大规模、高维度的深度学习模型时，面临算力与数学条件的双重壁垒。以线性回归任务为例，其解析解为局限1：计算与空间复杂度激增局限2：矩阵必须可逆模型的输入特征维度为d，矩阵求逆的时间复杂度为

，空间复杂度为模型的解析解存在的前提是必须可逆，然而深度学习中矩阵常常不可逆。60梯度下降法梯度下降法避开了复杂的矩阵求逆，为各类复杂的学习问题提供了一种统一的、可扩展的求解框架核心逻辑：利用当前点的负梯度方向作为搜索方向，以一定的步长迭代更新参数，直至驱动目标函数值稳步减小，直至模型收敛至局部极小值或全局最小值点。6162梯度下降法梯度下降法认为，在当前迭代点处，目标函数梯度的负方向指示了函数值下降最快的方向，因此通过沿该方向进行迭代更新，可以有效推动目标函数向最优解逼近。在处计算梯度将负梯度作为搜索方向按一定的步长沿该方向进行更新在处计算梯度……参数更新过程

梯度下降法

停止准则步长选择25在实际训练中，几乎不会基于全体样本计算目标函数的梯度，通常将数据分批处理，每次在更新参数时，会取出一个批次的数据来计算出目标函数的梯度和更新参数。批量梯度下降遍历所有批量的过程为一个轮次每个轮次开始前随机打乱数据，划分不同批每个批次内部计算梯度、更新参数26批量梯度下降有时称批量大小等于全体样本的梯度下降为方法全批量梯度下降，每次迭代使用部分样本的为小批量梯度下降。全批量梯度下降小批量梯度下降两种方法的准确率对比全批量梯度下降，梯度更新最准确，计算时间很长、难以处理海量数据小批量梯度下降，通过选择批量大小实现计算效率与梯度稳定性的平衡批量大小是实际训练过程中很重要的超参数27优化动力学解释：批量划分引入的梯度噪声增强了采样随机性，为逃离局部极小值陷阱提供了动力批量梯度下降66672.4.2非凸优化挑战深度学习模型的目标函数通常是非线性、非凸的，函数曲面包含大量梯度接近的平坦区域，当参数更新落入这些区域时可能出现异常停滞，即梯度已经接近零，但当前位置并不是最优点。

临界点的类型：临界点有局部极小值、局部极大值、鞍点三种类型，临界点的几何性质差异显著，对优化影响各不相同，其中，对优化过程影响最大的主要是局部极小值和鞍点68局部极小值与鞍点鞍点某些方向呈上升趋势，另一些方向仍可继续下降既非局部极小值，也非局部极大值

不存在继续降低目标函数的方向，参数容易被困在次优解附近梯度也为零，但仍存在下降方向，若能摆脱其影响，优化过程仍可继续推进

69仅靠一阶梯度无法区分局部极小值与鞍点，需借助二阶局部几何信息二阶泰勒近似海森矩阵即目标函数关于参数的二阶偏导数矩阵因混合偏导可交换，故H为对称矩阵可理解为梯度向量的再次求导局部极小值与鞍点的判别方法临界点附近的变化由其二次型决定，可通过海森矩阵的特征值符号判别临界点类型。通过海森矩阵判别

退化情形中二阶判别不足，需进一步采用高阶导数或其他方法分析。局部极小值与鞍点的判别方法70

逃离鞍点若临界点是鞍点，其海森矩阵必存在负特征值，其对应方向即优化的"下降通道"。负特征值方向=可继续下降的方向

下降方向上升方向712.4.3现代优化算法在现代人工智能的大规模模型训练中，目标函数往往具有高维、非凸和曲率不均衡等复杂特性。由于直接构造或利用Hessian矩阵计算代价过高，优化算法通常需要在仅依赖一阶梯度信息的条件下提升训练效率。常用的一阶优化算法主要包括三大类：随机梯度下降：通过随机采样训练样本来近似整体梯度动量法：累积历史梯度方向，减弱震荡进而加快收敛自适应学习率优化算法：根据梯度大小动态调整不同参数的更新步长这些方法在不显式使用二阶导数的情况下，部分弥补了一阶方法对曲率信息刻画不足的问题，在大规模优化任务中表现出良好的数值稳定性与收敛效率72随机梯度下降随机梯度下降是批量梯度下降在极端情形下的特例，每次迭代仅使用一个训练样本或小批量样本估计梯度并更新参数，从而将单步计算开销压到最低。更新后的参数更新前的参数小批量样本的梯度随机梯度下降的特点：计算开销小：每次更新只使用部分样本；随机波动明显：梯度估计含噪声，可能导致震荡或收敛不稳定。73动量法动量法通过对梯度进行指数加权平均在参数更新过程中引入历史梯度信息，对梯度下降的更新方向进行平滑处理，从而缓解随机梯度带来的震荡问题，并加快收敛速度。动量法的特点：能够利用历史梯度方向平滑更新路径，减少震荡并加快收敛。由于具有“惯性”，在接近最优点时可能出现过冲，导致参数在最优点附近来回摆动历史梯度的累计方向当前梯度当前更新方向74自适应学习率优化算法自适应学习率优化算法根据不同参数的梯度变化幅度自适应地调整每个参数的学习率，从而避免对所有参数使用统一更新幅度所带来的尺度不匹配问题，以提高优化过程的稳定性与收敛效率。AdaGradRMSpropAdam历史梯度平方累积近期梯度平方的指数加权平均一阶矩+二阶矩估计，结合动量与自适应75自适应学习率优化算法AdaGrad：步长持续衰减，后期步长过小，收敛变慢RMSprop：近期梯度自适应，步长稳定、持续推进Adam：结合动量和自适应的优势，收敛更快、更平稳76神经网络结构设计除改进优化算法外，还可以通过模型结构设计调整目标函数的几何形态，使一阶梯度方法更容易收敛。批量归一化与层归一化：通过标准化网络中间层的输出，缩小不同参数方向上的尺度差异。残差连接：引入跨层的直接连接，将梯度信号直接传回到浅层7778小结解析解在大规模、非线性模型中不可行。梯度下降法通过局部一阶梯度信息迭代更新参数，是AI模型训练的通用求解框架。小批量梯度下降通过随机采样降低单次计算成本，并引入适度随机性，有助于提升大规模模型训练效率。非凸目标函数中，梯度为零的临界点可能是局部极小值或鞍点，需通过Hessian矩阵的特征值判别。AdaGrad、RMSprop和Adam等自适应学习率方法进一步根据梯度历史动态调整步长，提高了复杂优化过程的稳定性与收敛效率。归一化层和残差连接等结构性设计从模型层面改善了优化几何。79小结习题1：在简单的线性回归中，可以通过正规方程直接求得模型参数的解析解。请说明为何在深度神经网络的训练中无法继续沿用这种解析解法，而必须采用梯度下降等数值迭代方法？并进一步说明相比于全批量梯度下降和单样本随机梯度下降，为何小批量梯度下降在实际训练中通常被优先采用。习题2：在深度模型的优化过程中，目标函数通常呈现复杂的非凸几何结构，梯度下降法可能在某些临界点附近停滞。请回答以下问题:（1）什么是临界点？局部极小值与鞍点在几何结构上有何差异？（2）仅依靠一阶梯度信息能否区分局部极小值与鞍点？若不能，应借助何种数学工具进行判别？2.5泛化与约束优化2.5.1泛化与拟合2.5.2L1正则化2.5.3L2正则化2.5.1泛化与拟合模型复杂度决定了拟合与泛化之间的平衡：过低会欠拟合，过高则可能记住训练噪声。机器学习的终极目标不是让训练误差无限下降，而是让模型在未见过的真实数据上表现良好，即让真实风险保持可控。82832.5.1泛化与拟合数据增强：通过旋转、裁剪、扰动、噪声等方式使模型观察到更多等价变化，近似扩大经验分布，提高样本覆盖度早停法：在验证误差开始上升时停止训练丢弃法：在训练中随机屏蔽部分神经元正则化：在经验风险之外加入复杂度惩罚项，约束参数空间2.5.2L1正则化目标函数：约束形式：

84数学表达：几何直觉：L1正则化对应的菱形约束有尖点，最优解容易落在坐标轴上，进而产生部分参数为零的稀疏解85损失函数等高线与圆形边界相切得到最优解圆形边界光滑，切点通常不会落在坐标轴上2.5.3L2正则化数学表达：几何直觉：目标函数：约束形式：L2对应的圆形约束边界光滑，最优解通常不会落在坐标轴上，因此只会整体缩小参数，而不会直接产生稀疏解。86小结模型复杂度存在拟合与泛化的博弈:过于简单导致欠拟合，过于复杂导致过拟合。L1正则化的菱形约束边界具有尖锐顶点，最优参数容易落在坐标轴上，产生稀疏解，实现自动特征选择。L2正则化的圆形约束边界处处光滑，参数均匀收缩至原点附近，产生稠密解，实现权重衰减。87小结习题：回顾本章中L1与L2正则化的梯度动力学分解图，回答以下问题:（1）从约束边界的几何形状出发，解释为什么L1正则化倾向于得到稀疏解，而L2正则化得到的是普遍较小但非零的稠密解？（2）假设某房价预测任务共包含1000个候选特征，其中大多数特征与房价无关，仅有少数关键特征（如面积、位置等）起作用。为了在训练中自动剔除无关特征、仅保留关键特征，应选择L1还是L2正则化？（3）若将正则化系数不断增大，约束区域会如何变化？这将对模型参数的取值产生什么影响？88课后欢迎交流邮箱：xxxx@xxxx第三章机器学习基础经典统计学习91回顾：AI学习三要素模型（Model）用什么函数描述规律，例如线性模型、树模型、神经网络。数据（Data）从样本中学习规律，可以是有标签数据，也可以是无标签数据。目标（Objective）通过损失函数衡量好坏，训练时追求经验风险小，测试时追求泛化能力强。92机器学习深度学习强调表示学习和端到端建模统计学习从有限样本中学习规律，关注模型、损失和泛化强化学习强调与环境交互，通过奖励学习策略本节聚焦经典统计学习——理论清晰、可解释性强，是后续深度学习的重要基础。93逻辑回归从线性回归到逻辑回归线性组合Sigmoid映射概率输出线性回归逻辑回归输出类型连续值概率值任务类型回归分类损失函数均方误差交叉熵94逻辑回归

基本思想：用概率描述二分类结果。名称里有“回归”,本质上却是分类模型。概率范围：(0,1)95Sigmoid函数

Sigmoid函数是逻辑回归把“分数”变成“概率”的关键一步。96逻辑回归决策边界：最优分界面最大间隔97支持向量机逻辑回归关注概率输出，SVM强调找到分类间隔最大的分界面目标：找到能够正确分类样本的分界线关键思想：要尽量“分得开”最大间隔可分98支持向量机超平面：用于划分类别的决策边界间隔：超平面到最近样本的距离支持向量：恰好落在间隔边界附近，决定分类面的关键样本真正决定SVM边界位置的，是离边界最近的那些样本。超平面最大间隔间隔边界间隔边界支持向量99支持向量机原始数据移除部分非支持向量后支持向量决定SVM边界位置100支持向量机当训练数据线性可分时，可以直接寻找最大间隔超平面

目标函数：约束条件：决策函数：101支持向量机

102线性不可分并不是所有分类问题都能线性可分，此时线性SVM无法直接找到合适的分界面三明治分布同心圆分布103核方法原空间中的线性不可分问题，可通过非线性映射转化为高维空间中的线性可分问题。SVM在高维空间中寻找最优分离超平面。原空间：线性不可分高维空间：线性可分非线性映射104非线性SVM

线性SVM非线性SVM

105非线性SVM

线性SVM非线性SVM把内积

替换为核函数106核方法核函数：核函数表达式直观理解多项式核构造多项式特征，适合有交互关系的数据高斯核衡量样本相似度，最常用Sigmoid核类似神经网络激活函数，使用较少107决策树另一种非线性分类方法是使用分段线性的决策边界。决策树是一种解释性强，结构离散的分类模型。通过一系列条件判断逐步缩小样本范围。把复杂分类过程拆解成可读的规则划分。是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3GPT5Gemini3Qwen3是否否是108决策树是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3根节点GPT5Gemini3Qwen3叶节点分支内部节点是否否是109决策树是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3根节点GPT5Gemini3Qwen3叶节点分支内部节点是否否是根节点：包含初始全部样本内部节点：对某个特征进行判断分支：表示判断条件的不同取值叶节点：给出最终分类结果低熵高熵110决策树熵：衡量数据的混乱程度

决策树希望每次划分后，子集的熵尽可能下降111决策树划分标准1.熵：2.按特征A划分后的条件熵：3.信息增益：

信息增益表示：按特征A划分后，数据集混乱度下降了多少按特征A划分112决策树划分标准1.熵：2.按特征A划分后的条件熵：3.信息增益：

信息增益表示：按特征A划分后，数据集混乱度下降了多少熵：衡量样本集合的混乱度条件熵：划分后各子集混乱度的加权平均信息增益越大，说明该特征越适合用于当前划分决策树在每一步通常优先选择信息增益最大的特征113决策树非线性边界：分段线性逼近决策树在原始空间内反复切分特征空间每个节点相当于一次轴对齐划分阶梯状边界可以逼近复杂非线性边界114标签缺失

监督学习

无监督学习有标签样本学习映射无标签样本发现结构115K-Means聚类

116K-Means聚类

将样本分配给最近质心用簇内均值更新质心重复，直至质心稳定1234目标函数：117K-Means迭代

1

将样本分配给最近质心

用簇内均值更新质心

重复，直至质心稳定234118K-Means聚类

119主成分分析（PCA）PCA是一种常用的降维方法。现实数据往往处于高维空间中，存在相关性、冗余和噪声。PCA通过线性变换，把原始高维特征投影到低维空间中。120投影示例121主成分分析（PCA）PCA通过线性变换，把原始高维特征投影到方差最大的方向上。最大程度保留数据信息，同时实现重构误差的全局最小化。122主成分分析（PCA）如何找到方差最大、最能代表数据变化的方向？123PCA主成分：重新找到一组正交坐标轴PCA用新的坐标轴表示原始高维数据。124PCA第一主成分（PC1）：方差最大方向，保留数据最多的信息。第二主成分（PC2）：与PC1相交，解释PC1之外的最大剩余方差。PC3、PC4…：依次正交，继续解释剩余方差125PCA

126PCA算法流程127主成分选择查看每个主成分的方差贡献率常用累计解释方差选择既要尽量保留信息，也要避免维度过多128模型评估——分类任务预测为正类预测为负类真实为正类TP真阳性FN真阳性真实为负类FP真阳性TN真阳性混淆矩阵TP/TN/FP/FN

表示对应项的样本数量常用评估指标

精确率关注：判为正类的样本有多准召回率关注：真正的正类被召回多少129模型评估——回归任务均方误差（MSE）平均绝对误差（MAE）KL散度（Kullback-LeiblerDivergence）沃瑟斯坦距离（WassersteinDistance）常用评估指标130模型评估问题：这些指标需要在哪些数据上计算？如果训练和评估使用同一份数据，结果往往会过于乐观。131模型评估数据划分训练集：学习模型参数验证集：比较不同模型与超参数测试集：最终评估模型泛化能力测试集只能在最后使用一次，避免数据泄露132模型评估

133小结本节围绕经典统计学习展开，介绍了监督学习与无监督学习中的代表性方法监督学习：逻辑回归、支持向量机、决策树无监督学习：K-Means聚类、PCA降维模型评估的方法强化学习基础135回顾：从“做题”到“试错决策”2监督学习强化学习老师告诉答案本节课学习：如何把“试错”写成可计算的数学问题。环境只给奖励猫猫狗狗136强化学习基本要素学习目标：智能体通过学习“在某个状态下该采取什么动作”，最大化总奖励当前局面怎样下一步做什么怎么选择动作奖励刚才做得好不好状态将如何变化如何实现这一学习目标？状态转移概率动作状态策略137状态空间与动作空间状态空间每个可通行坐标就是一个状态动作空间在当前格子可选择的移动方向

138策略：状态下动作的概率分布

完全随机的策略A更好的策略B在每个格子里平均乱走可能要很多步才到目标更偏向靠近目标的动作平均步数显著降低139幕、回报与折扣因子

幕（Episode）

………

回报(Return)折扣因子140价值函数：给状态和动作打分

141最优策略与最优价值函数

一个策略被称为最优策略，意味着在任何局面下，这个策略带来的期望回报都是最高的，绝对不会输给其他任何一种策略。

需要注意的是，得到最高期望回报的策略可能不止一条。但最优状态价值函数和最优动作价值函数是唯一的。142贝尔曼最优方程

贝尔曼最优方程“眼前的甜头”“未来的盼头”即时奖励未来回报

143动态规划在环境的状态转移概率已知的情况下，贝尔曼最优方程可以利用动态规划算法进行求解:算法初始化时，可以将所有状态下的价值函数均设为0。遍历各个状态，按下式更新价值函数直到所有状态的价值函数变化小于预设阈值，表明价值函数已收敛至最优解。选择使每个状态价值最大化的动作，即可导出最优策略

动态规划求解迷宫任务的最优策略144探索与利用利用Exploitation探索Exploration稳选择已知高回报动作优点：当前收益稳定风险：陷入局部最优新尝试未知动作优点：发现更优路径风险：短期收益波动

145

状态\动作↑↓←→(1,1)0.6-0.4-0.50.5(1,2)0.5-0.50.61.0(2,1)1.31.00.41.3(3,2)1.0-0.41.21.2本质：不用知道环境转移概率，直接从交互样本中估计动作价值函数。

146稀疏奖励问题围棋：数百步落子中，大部分时刻奖励为0；只有终局给胜负反馈。问题：到底是哪一步带来了胜利？常用缓解方法分层学习课程学习奖励塑造模仿学习

自动驾驶、机器人等任务常采用“模仿学习初始化+强化学习微调”。147深度强化学习进展GRPOGroupRelativePolicyOptimization群组相对优势优化应用场景：游戏大语言模型训练🎮💬📄⚛📋典型特点：适合基于采样结果进行比较DDPGDeepDeterministicPolicyGradient深度确定性策略梯度动作空间：离散连续动作↑→↓×🦾⚙📋典型特点：适合连续控制任务🎯PPO：稳定通用、常用于离散策略优化💬GRPO：延伸到大模型训练🦾DDPG：延伸到连续动作控制PPOProximalPolicyOptimization近端策略优化行动器Actor：输出动作评判器Critic：评估动作好坏PPO-Clip：限制策略更新幅度148多智能体强化学习训练：可利用全局信息执行：每个智能体独立决策中心化训练，去中心化执行149小结强化学习五要素：状态、动作、策略、奖励、状态转移概率。价值函数和贝尔曼方程把“长期回报最大化”变成可计算问题。复杂任务需要平衡探索与利用，处理稀疏奖励问题。思考：如果你要训练一个扫地机器人，奖励应该如何设计？推导出贝尔曼最优方程公式。150课后欢迎交流第四章深度学习新方法深度学习新范式153自监督学习的基本概念监督学习（SupervisedLearning）：有标注，学习拟合特征与标签间的映射自监督学习（Self-SupervisedLearning）：无标注，学习特征的通用表示猫猫狗狗未知未知未知未知154AI模型训练常用流程：自监督预训练（特征提取）＋有监督微调（例如分类）自监督学习的基本概念1.预训练2.微调海量无标注样本自监督学习少量标注样本监督学习特征通用表示分类器155自监督学习的基本概念自监督学习的两类方法：掩码学习&对比学习对比学习：判别图片相关性（差异性）掩码学习：预测被遮盖的图片/文字信息156掩码学习学习目标：根据上下文（Context）推断缺失的信息，基于剩余部分预测被隐藏部分掩码操作：隐藏输入样本的一部分（例如句子中的某些词语或图像中的某些区域）文本掩码图像掩码157掩码学习掩码学习的两类典型方法：自回归&自编码自编码（以MAE模型预测图像为例）：随机隐藏输入中的部分元素自回归（以GPT模型预测词元为例）：隐藏当前预测位置及后续位置的所有元素158对比学习

对比学习的三类样本159对比学习

如何实现这一学习目标？对比学习的三类样本160InfoNCE损失函数经典损失函数InfoNCE：InformationNoiseContrastiveEstimation信息噪声对比估计161InfoNCE损失函数经典损失函数InfoNCE：InformationNoiseContrastiveEstimation信息噪声对比估计核心变量与功能相似性度量：衡量特征之间的相似度，通常用内积或余弦相似度计算；温度参数：越大，相似度的影响越小；越小，相似度的影响越大。162基于分类问题视角理解InfoNCE分类问题（K+1类）交叉熵InfoNCE

为未归一化的模型预测值（逻辑值logits）InfoNCE损失函数163分类问题（K+1类）交叉熵InfoNCE

为未归一化的模型预测值（逻辑值logits）InfoNCE损失函数等价含义：基于特征相似度计算逻辑值，完成分类基于分类问题视角理解InfoNCE164显存开销高：依赖大量负样本，K

值可达到8192甚至更高；超参数敏感：几乎每个新数据集都需要重新搜索最佳的温度参数；维度崩溃风险：为最小化损失，将所有特征投影到一个低维的子空间；为了突破这些局限，DINO等模型应运而生，同时也开启了自蒸馏（Self-Distillation）等自监督学习的技术新路径。InfoNCE损失函数的不足165DINOv3（2025年11月发布）首个7B参数规模的视觉模型简单微调，即可完成图像检索、深度估计、视频追踪训练方法：结合掩码学习与自蒸馏学习融合了Gram锚定、指数移动平均等技巧InfoNCE损失函数的新进展166模型迁移应用痛点：现实中高质量标注数据的匮乏，使得针对每一个特定任务“从零开始”训练模型难以实现。模型迁移提供了有效的解决思路。模型迁移：将在大规模数据集上进行预训练学习到的大量通用表示，迁移到新的任务中。其能大幅提升新模型的学习效率，并显著改善在小样本数据上的泛化性能。图像模型迁移示例167模型迁移模型迁移的两类典型方法：模型复用&模型微调模型复用（以复用DINOv3模型为例）：将预训练模型直接作为高效的特征提取器模型微调：引入新的数据集与目标，对预训练模型进行轻量训练并调整参数168π0.6*（2025年11月发布）视觉-语言-动作（VLA）模型在多类任务中取得90%以上成功率，展示了显著的应用潜力方法特点：跨模态迁移（对齐）预训练模型高质量的单模态表示进一步实现通用语义向物理知识与动作的跨模态迁移跨模态迁移案例169模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。1.模型量化：用低精度整数或浮点数代替模型的高精度浮点数参数代表方法：后训练量化（PTQ）&量化感知训练（QAT）模型量化基本流程：PTQ（左）不重新训练模型，只需要少量校准数据；QAT（右）引入量化仿真操作，需要重新进行训练。170模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。2.模型剪枝：去除神经网络中冗余的参数或结构方法分类：非结构化剪枝&结构化剪枝非结构化剪枝将绝对值较小的权重连接设置为零；结构化剪枝以通道/层/卷积核/注意力头等为单位移除结构。171模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。3.知识蒸馏：将一个性能优异但计算复杂度较高的教师模型中的知识迁移到一个结构更小、计算更高效的学生模型中方法分类：离线蒸馏&在线蒸馏离线蒸馏的教师模型为预训练模型，在蒸馏过程中其参数不变；在线蒸馏的教师模型和学生模型在同一训练过程中共同学习并更新参数。172模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。4.语言模型轻量化推理：键值缓存&预测解码键值缓存（左）“以空间换时间”；预测解码（右）“先尝试后验证”。预测解码结果校验过程173小结自监督学习的基本概念掩码学习的基本思想与方法对比学习的基本思想InfoNCE损失函数的形式、不足及有关新进展模型迁移的基本思想与方法模型轻量化的基本思想与方法深度学习训练方法175引入：为什么训练越来越难？随着模型算法的复杂度不断攀升，模型性能的提升往往伴随着对数据规模和计算资源需求的急剧增长，这也使得训练流程面临着巨大的工程挑战。挑战主要来自数据与计算资源两个方面：一方面，数据稀缺性限制模型性能。另一方面，模型参数量日益增大，对计算和存储资源提出更高要求。训练困难数据稀缺性：限制模型性能存储资源：显存/带宽压力算力需求：训练时间上升176本节内容：三种深度学习训练技巧？在有限数据、显存和算力约束下，提高训练效率。数据增广变换或生成新变体扩充训练集分布式训练计算任务分解至多个计算单元，突破单节点性能局限混合精度训练关键步骤采用低精度浮点数，降低显存并提升速度数据效率+规模效率+数值效率，共同支撑高效训练。177数据增广：让有限数据变得更“丰富”现有数据真实样本变换/合成扰动、插值、生成训练集规模与多样性提升数据增广方法可在无需额外标注的情况下，对现有数据施加变换或者合成新样本，扩充训练集的规模和多样性。模型的性能上限往往由训练数据的规模、多样性和质量共同决定。早期工作如AlexNet成功应用数据增广技术。以NVIDIACosmos为代表的生成模型，可提供长尾分布场景数据。未来高质量文图数据增速放缓，数据增广可能发挥更重要作用。178图像增广：核心身份具有不变性“这是一只猫”/“这是一座山”应当不随可接受的外观扰动而改变。图像增广的基本假设：物体的核心身份对其在图像中的位置、方向、光照条件和颜色强度的变化具有一定的不变性。常见图像增广方法：位置：随机裁剪/平移方向：翻转/旋转光照：亮度/对比度颜色：饱和度/色彩179多样本组合增广：MixUp与CutMix除了对单张图像进行基本变化之外，还可以通过组合多个样本来实现图像增广。主要方法包括：MixUp：像素级加权平均，标签同样比例加权。CutMix：裁剪矩形区域并粘贴，标签按面积占比混合。180文本增广：难点在语义一致与语法完整与图像不同，文本具有离散性和高度结构化的特点，对其进行增广需要格外关注语义一致性与语法完整性。稍有不当的修改，就可能造成语义偏差甚至彻底改变句子含义。常见的文本增广操作包括：替换/插入/回译/生成等。核心是在不损害语义标签的前提下，实现语句形式上的多样化。181其他形式的数据增广时序信号动态时间规整频域扰动雷达点云目标级粘贴极端天气仿真跨模态协同时空维度严格对齐强化学习域随机化修改仿真环境参数数据增广并非越多越好。当增广策略设计不当、强度过大或长期过度依赖少数增广变换时，模型可能出现坍缩。采用数据增广时，需要约束增广强度与概率，使用多样化且与任务一致的增广组合，并监控表征相似度或类别可分性。182分布式训练：把单节点放不下的任务拆开在scalinglaw的驱动下，前沿模型的参数量呈指数级增长。分布式训练将无法由单个计算节点承担的庞大训练任务，分解到多个节点组成的计算集群上。底层硬件：高性能GPU组成计算集群。计算节点：配备高性能CPU与多个核心GPU的超级计算机。通信：节点内高速互联，节点间高带宽网络。GPU计算集群目标：以并行计算的方式，协同完成整个训练过程。183数据并行（DataParallelism,DP）数据并行是当前应用最为广泛且直观的并行计算策略。将巨大的批数据拆分为多个子集。不同GPU/节点同时进行正向推理与反向计算。参数更新阶段汇总各设备梯度并求均，再重新分发。Mini-BatchGPU1完整模型子batchGPU2完整模型子batchGPU3完整模型子batchGPU4完整模型子batch梯度汇总求均同步参数更新184模型并行：流水线并行与张量并行模型参数量已经超越单一硬件的显存承载极限，从而催生了模型并行技术，包括流水线并行与张量并行。流水线并行通常适用于多节点间计算场景，张量并行侧重于单节点内的计算加速。两者解决的问题都是：模型本身太大，单卡放不下。流水线并行：将模型不同层纵向切分至不同设备张量并行：将单一算子或张量横向拆分，依赖节点内高带宽互联。185深度神经网络并行计算方法对比186进阶技巧：计算-通信-显存平衡分布式训练本质上是对计算、通信与显存资源进行协同优化的系统性方法。技术名称核心置换逻辑核心收益FSDP通信换显存显存需求随节点数量降低激活重算计算换显存降低中间激活值峰值显存内存卸载主机内存换显存利用主机内存突破显存上限通信压缩/量化计算换通信降低网络传输比特数FlashAttention计算换I/O提升速度并降低显存占用DeepEP调度优化平衡提升预填充任务吞吐量计算显存通信以计算换显存激活重算/FalshAttention以计算换通信通信压缩/量化以通信换显存FSDP/参数分片187通信换显存：完全分片数据并行（FSDP）FSDP的核心理念是将原本笨重的模型“化整为零”，把模型权重、梯度，以及优化器状态均匀地切分并分摊到所有GPU上。动态“即拿即放”：前向/反向到某层时拉取所需参数片段，计算完成后立即释放。188AI常用浮点数精度格式并非所有训练环节都需要统一使用高精度表示与计算。混合精度训练基于这一思想，实现计算效率提升。浮点数=符号位+指数位+尾数位：指数位决定有效范围，尾数位决定有效精度。低位宽节省存储和计算吞吐，但也带来梯度上溢、梯度下溢与舍入误差累积等数值不稳定问题。189自动混合精度（AMP）AMP的核心思想并非全局地使用单一低精度，而是在训练的不同环节“智能地”混合使用FP32和FP16/BF16。深度学习模型分析191深度学习模型的黑箱属性黑箱属性典型示例：手工设定参数网络&数据驱动参数网络数据驱动参数网络：隐藏层神经元的激活模式明显不同手工设定参数网络：神经元的激活具有规整的几何结构192可解释性与可视化模型分析方法：分析神经元在不同刺激下的激活状态激活最大化：一种用于理解神经网络内部表征的特征可视化技术优化目标：寻找使得某神经元的输出取得最大值的输入优化过程：利用梯度上升，不断迭代更新这张噪声图的像素，使其逐步演变成高度模式化的图像。作用：可视化网络在不同深度层级所捕获的核心表征193可解释性与可视化激活最大化：一种用于理解神经网络内部表征的特征可视化技术沿使神经元激活增大的梯度方向更新输入图像在实践中，直接用上述无约束优化会产生高频噪声或对抗性样本，无法形成人眼可理解的图像。因此，实际应用会引入关键的正则化项194可解释性与可视化激活最大化：一种用于理解神经网络内部表征的特征可视化技术常用的正则化类高频抑制：对图像做高斯模糊或惩罚总变差，强制相邻像素平滑过渡，消除椒盐噪点。像素约束：约束像素值在有效范围内（如[0,1]），避免数值溢出，生成更真实的图像。自然图像先验：不直接在像素空间优化，而是在一个生成网络或CNN特征空间进行优化，强制结果看起来像自然图像。195可解释性与可视化卷积神经网络的神经元可视化神经元响应强度正则化项目标图像这些合成图像可以看作该神经元理想中的模式激活最大化：一种用于理解神经网络内部表征的特征可视化技术196可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。不同的积分路径路径函数：关于插值系数α的线性函数当

α=0，得到基线

x′当

α=1，得到输入

x。197可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。计算集成梯度：第i个特征的归因值，是该特征维度上所有路径点梯度的积分198可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。集成梯度的特性完整性：所有特征的归因值之和，严格等于模型输出与基线输出的差值。实现不变性：如果两个功能完全相同的模型，即使内部参数不同，得到的归因结果也必然相同。199可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。工程近似用一组离散的插值点来近似求和200可解释性与可视化输入图片输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法总结：设定全黑的基准输入沿着从基准到原始图像的路径累积梯度积分归因结果201可解释性与可视化表示空间可视化：将高维特征空间中的复杂关系投影到二维，揭示其分布规律t-SNE算法：高维数据可视化领域最经典的非线性降维方法核心思想：通过优化高维空间和低维空间中样本邻域概率分布的一致性，保留数据点之间的局部相似性关系。高维空间：用高斯分布度量点对相似度对称化：取条件概率的对称平均202可解释性与可视化表示空间可视化：将高维特征空间中的复杂关系投影到二维，揭示其分布规律t-SNE算法：高维数据可视化领域最经典的非线性降维方法核心思想：通过优化高维空间和低维空间中样本邻域概率分布的一致性，保留数据点之间的局部相似性关系。低维空间：用t分布度量点对相似度用t分布而非高斯分布的原因：t分布尾部更长。这意味着在低维空间中，属于不同簇的点可以被推得更远，而同一簇的点保持相对靠近，从而解决降维中的“拥挤问题”。203可解释性与可视化表示空间可视化：将高维特征空间中的复杂关系投影到二维，揭示其分布规律t-SNE算法：高维数据可视化领域最经典的非线性降维方法核心思想：通过优化高维空间和低维空间中样本邻域概率分布的一致性，保留数据点之间的局部相似性关系。相似度对齐：通过梯度下降让高低维相似度分布尽可能对齐损失函数

两个分布的KL散度：通过梯度下降最小化这个损失，最终得到低维嵌入。204可解释性与可视化可视化效果t-SNE可视化效果图基于fruits-360数据集进行可视化，展示特定类样本与其他样本之间的可区分性205小结深度学习模型黑箱属性的核心缺陷模型可解释性分析的基本方法从不同视角对模型进行可视化思考：如果模型给出的解释看起来完美无瑕，它是真的学到了因果规律，还是仅仅学会了一种足以骗过解释工具的精致伪装？如何从原理上设计实验来区分这两者？206课后欢迎交流人工智能生成内容CATALOGUE目录208一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型从判别式AI到生成式AI定义：判别式任务是在给定输入样本时预测类别、属性或结果；生成式任务是根据数据规律、随机变量或条件输入产生新内容。判别式AI：侧重识别、分类、预测；生成式AI：侧重建模、采样、创造；从判别式AI到生成式AI的目标变化：从理解已有样本走向产生新样本。判别式AI生成式AI输入数据分类器类别判断…训练数据学习分布生成内容209判别式任务与生成式任务比较维度判别式任务生成式任务学习对象输入到标签的映射数据样本的产生规律典型输出类别、分数、预测结果文本、图像、语音、代码等内容关注重点决策边界数据分布评价方式准确率、召回率、鲁棒性真实性、多样性、可控性判别式任务和生成式任务的根本差异，在于模型学习的对象不同。判别式模型主要学习输入样本与输出标签之间的映射关系。生成式模型的学习目标是样本本身的产生规律。判别式模型回答属于哪一类，生成式模型回答如何产生一个新样本。210生成式AI的基本定义核心组成：已有数据：文本、图像、音频、代码、视频或科学数据；学习规律：捕捉统计规律、结构规律和语义规律；生成新内容：产生与训练数据相关但不完全相同的样本。定义：生成式AI能够从已有数据中学习规律，并生成新的、相似但不完全相同内容的人工智能方法。AIGC是由AI自动或辅助生成的内容，是生成式AI能力的输出结果。211数据分布与生成任务定义：数据分布是描述真实样本在数据空间中的整体规律。对于图像、文本、音频等高维数据来说，真实样本的高维数据会集中在一些有结构的区域中。生成模型的目标，就是通过训练数据学习这些区域的形状和规律，并从中产生新的、合理的样本。观测样本学习分布预测样本212隐变量与隐空间定义：隐变量是影响生成结果但不直接可见的潜在因素，例如类别、风格、姿态、背景和光照。隐空间是这些潜在因素组成的表示空间，可以看作生成内容的语义地图。

在隐空间中，相近的位置通常对应相似的生成结果，而不同方向的移动可能改变样本的某些属性。隐空间生成模型生成结果213采样：从分布到内容定义：采样是从概率分布或隐空间中选取一个具体起点，并通过生成模型映射为具体内容的过程。影响因素：随机种子影响起点采样策略影响多样性条件输入影响可控性采样使同一条件下可以产生不同结果，带来多样性，也带来一定的不确定性。随机种子采

样生成模型生成内容214概率建模

类型概率形式含义无条件生成从数据分布中直接生成样本条件生成在文本、图像、类别等条件下生成样本

无条件生成条件生成215生成式AI的边界与风险生成式AI的输出并不天然可靠，可能出现幻觉、偏见、版权风险和可控性不足等问题。在医疗、法律、金融和科研等高风险场景中，生成结果不能直接等同于事实，需要经过检验、约束和必要的人类审查。具体表现：幻觉：看似合理但事实错误；偏见：继承训练数据中的不公平倾向；版权：与受保护内容或风格发生冲突；安全：避免有害或误导性输出；可控性不足：输出偏离用户条件或关键要求。216生成过程的流程总结生成式AI的生成过程可以理解为一条完整链路：模型先从训练数据中学习真实样本的分布规律，再用概率建模描述哪些样本更可