人工智能导论 课件 第1、2章 绪论、人工智能数学基础

第1章绪论2人工智能源与流——发展简史24小时浓缩人类文明发展史：前22小时50分钟，拓展生理机能边界；最后70分钟，蒸汽机突破肌肉束缚；最后20分钟，创造出延伸人类心智的工具——人工智能。农业文明时代蒸汽和电气时代智能时代3人工智能研究的由来人工智能源与流——发展简史1950年，“计算机科学之父”和“人工智能先驱”阿兰·图灵（AlanTuring）发表划时代论文《计算机器与智能》，首次系统性地探讨了“机器能否思考”这一根本问题，并提出了判断机器是否具备智能的可行标准——“图灵测试”。4什么是人工智能（ArtificialIntelligence，AI）？人工智能源与流——发展简史智能就是学习的能力，以及解释与解决现实问题的能力。将人类智能释放到体外，成为脱离生命体的存在，即为——“人工智能”。人工智能是指算法吗？还是机器人？AI的研究目的可以概括为“通过探索、理解、模仿并扩展人类的智能行为，促使智能主体会听、会看、会说、会思考、会学习，甚至能行动”。5美国新罕布什尔州汉诺威小镇达特茅斯学院人工智能源与流——发展简史参加达特茅斯会议的部分学者1956年，达特茅斯会议，“人工智能元年”61962年，阿瑟·萨缪尔开发的西洋跳棋程序‌击败美国康涅狄格州的西洋跳棋冠军罗伯特·尼利，引起广泛关注。1968年，乔舒亚·莱德伯格领导开发了世界上第一个专家系统DENDRAL。人工智能源与流——发展简史乔舒亚·莱德伯格AI发展的第一次寒冬与复兴运行跳棋程序的IBM7090晶体管计算机硬件算力不足、训练数据缺乏、人工规则不能处理复杂问题等，导致实际能力达不到预期，1970年代初迎来AI发展的第一次寒冬。

7研究思路转换：在特定领域达到甚至超过人类专家水平，知识积累推动应用突破。医疗专家系统DENDRAL➡MYCIN➡INTERNIST，知识从规则化到系统化；XCON取得商业成功人工智能源与流——发展简史AI发展的第一次寒冬与复兴——应用突破"专家系统之父"爱德华·费根鲍姆基于规则的医疗专家系统计算机配置专家系统XCON8卷积神经网络（杨立昆，1989）反向传播算法（杰弗里·欣顿，1986）人工智能源与流——发展简史新技术突破推动人工神经网络向更深层、更复杂方向迈进。AI发展的第一次寒冬与复兴——技术突破91997年，IBM“深蓝”击败加里·卡斯帕罗夫—低谷中的高光人工智能源与流——发展简史1987年，专用硬件市场的崩溃推动AI领域转向基础理论和算法研究AI发展的第二次寒冬与第三次兴起2006年深度学习实现‌从数据中自动学习层次化特征表示，算法取得重大突破‌；基于GPU的并行计算打破了制约模型训练的算力瓶颈；

ImageNet等海量标注数据集，为全球AI模型训练提供数据支持。算法、算力和数据三大要素同时具备，共同开启了AI的黄金时代！

10大语言模型的本质变化是它获得了“理解指令”和“举一反三”的核心能力。人工智能源与流——前沿突破大语言模型的认知革命与技术演进2020年，GPT-3涌现出少样本学习的能力,确立了‌“大规模预训练+提示”‌的新范式。GPT系列大模型以ChatGPT为爆发点，技术演进开始加速11人工智能源与流——前沿突破多模态AI的架构创新与跨模态融合多模态学习教机器同时理解和处理文字、图片、声音等多种不同类型的信息，让它的理解更全面、更可靠。视觉-语言模型将“看”与“说”结合起来，能同时“看懂”图片视频并“听懂”文字视觉语言动作模型整合视觉感知、语言理解与动作控制三大能力，可以实现从环境感知到行为执行的端到端直接输出12人工智能源与流——前沿突破强化学习的算法突破与决策智能化强化学习让智能系统像人一样，通过不断尝试、从结果中学习来成长。让智能体在每个具体情境下，通过与环境互动，找到最佳的行动方式，并获得最大的长期“收益”。特斯拉使用“世界模拟器（WorldSimulator）”生成了汽车行驶过程中针对同一场景的不同视角13人工智能技术版图——三大技术流派符号主义、连接主义和行为主义,代表对智能的不同理解和实现方式符号主义知识表示知识图谱连接主义神经网络深度学习行为主义机器人强化学习AI14艾伦·纽厄尔（AllenNewell），图灵奖得主，人工智能先驱赫伯特·西蒙（HerbertSimon）诺贝尔经济学奖得主‌，人工智能先驱人工智能技术版图——三大技术流派符号主义：通过符号表示知识，并使用逻辑推理模拟从知识到决策的智能实现过程。A*算法：通过启发式公式对当前搜索状态的下界进行估计，并且优先搜索更有潜力的解，在保证正确的前提下，找到到达终点的最短路径。PeterHart‌,‌NilsNilsson,‌BertramRaphael‌，1968“逻辑理论家”（LogicTheorist）程序，195615人工智能技术版图——三大技术流派连接主义：通过模拟大脑神经网络结构，用分布式表示和学习算法来实现学习和认知功能。感知机解决分类问题多层感知机（MLP）16人工智能技术版图——三大技术流派行为主义：把模型对外在环境的感知映射到其自身的具体行动决策来实现智能，重点研究对环境变化的反应性和适应性。沃尔特“乌龟”机器人，1949世界上第一辆可以自主行驶和避障的斯坦福小车，1970s17人工智能技术版图——生成式人工智能前AI生成时代：数据概念分布的学习与生成。所有节点相互连接，信息从所有节点输入和读出信息从可见节点输入和读出，隐藏层负责重建层内节点无连接，通过无监督训练逼近输入数据概率分布18人工智能技术版图——生成式人工智能早期AI生成模型：数据驱动的概率分布建模。隐含狄利克雷分布（LDA）能够自动将大量文本归类到特定主题下，并按照概率分布的形式给出。典型应用：自动给文章打标签‌；‌找相似文档或推荐‌；‌分析舆情和情感；‌构建知识图谱‌。图片源自：李航，《统计学习方法》，北京：‌清华大学出版社，‌2019年。19变分自编码器（VAE）：基于概率推断，显式建模数据的概率分布人工智能技术版图——生成式人工智能AI生成技术腾飞：用神经网络建模概率分布。生成对抗网络（GAN‌）：基于零和博弈，隐式学习真实数据分布Transformer依托自注意力机制，直接建模序列元素的全局依赖关系20人工智能技术版图——生成式人工智能AI生成内容爆发：大规模多模态内容生成触发因素：①GPT、DALL·E和StableDiffusion等大规模生成模型的出现；②HuggingFace等开源平台降低了AI生成模型的开发门槛；③GPU和云计算的普及，以及互联网数据指数增长，支持了超大规模模型的训练。辨析：GAI是“工具”，AIGC是“用工具完成的作品”。21人工智能发展现状——技术成熟度曲线Gartner：创新触发期期望膨胀期幻灭低谷期复苏斜坡期生产力平稳期22人工智能发展现状——技术成熟度曲线成熟时间代表技术当前阶段典型应用场景2年内边缘AI幻灭低谷期自动驾驶、工业质检负责任AI期望膨胀期金融风控、内容审核2-5年AI生成内容幻灭低谷期软件开发、文案写作、影视创作具身智能创新触发期智能制造、康复医疗5-10年AI仿真创新触发期工业制造、城市治理与防灾减灾世界模型创新触发期自动驾驶、机器人、工业自动化10年以上量子AI创新触发期药物研发、复杂系统模拟AGI创新触发期通用AI助手、开放域科学发现代表性AI技术成熟度和应用情况人工智能发展现状——2年内进入生产力平稳期边缘AI技术：在云端训练模型，在边缘端执行推理，再将数据回传云端以优化模型，形成自主学习的闭环。应用场景：满足工业场景对实时性、数据隐私和成本控制的要求智能摄像头可穿戴心电图设备2324深度伪造检测人工智能发展现状——2年内进入生产力平稳期负责任AI：以安全、可靠和合乎道德的方式开发、评估和部署AI系统的方法，核心是让AI贯彻人类价值观和社会责任医疗诊断线上招聘25人工智能发展现状——2～5年内跨越幻灭低谷AI生成内容：推理成本优化和幻觉消除

豆包大模型UltraMem推理时间最高提升6倍，内存成本降低10倍以上检索增强生成（RAG）集合工具调用，可有效降低模型幻觉率26人工智能发展现状——2～5年内跨越幻灭低谷具身智能：具有物理身体、能通过“感知—行动”闭环与真实世界进行交互，并在交互中学习和演化的AI系统典型场景：仓储分拣柔性装配家用服务机器人……宇树科技G1人形机器人搭载Unitree机器人统一大模型27人工智能发展现状——5～10年内由研究走向产业AI仿真：将AI与传统仿真结合，构建数字化模型、模拟真实系统的运行规律与交互逻辑，实现对物理世界的动态复刻、预测分析与优化决策核心优势：‌运算效率极高。‌非线性模拟能力强‌。‌数据处理能力突出。‌学习迭代速度快。技术瓶颈：仿真到真实的迁移成功率上海“人工智能+气象”应用“雨师”短临预警模型预报结果28人工智能发展现状——5～10年内由研究走向产业世界模型：用于模拟环境动态并预测未来状态的AI核心技术框架，通过多模态数据训练构建系统内部表征，需具备生成性、多模态与互动性三大核心能力。让AI在虚拟世界中思考，在真实世界中行动。代表模型：谷歌ProjectGenie，能实现"凭空造世"——用户输入文字或上传图片，几秒钟内就能生成一个可进入探索的3D虚拟空间。‌‌‌29人工智能发展现状——10年以上远景量子AI：‌量子计算与AI的结合体，旨在用量子算力突破传统AI瓶颈。‌既包括用量子计算机加速AI算法，也包括用AI技术优化量子系统控制。2025年8月，中国科学技术大学利用AI技术成功构建了包含2024个原子的无缺陷量子计算阵列实验装置重排阵列30人工智能发展现状——10年以上远景通用人工智能（AGI）：具备像人类一样跨领域学习、推理与决策能力，在广泛认知任务上达到或超越人类水平的AI系统。2025年10月，北京智源人工智能研究院发布了其开源原生多模态世界模型——悟界・Emu3.5Emu能模拟动态物理世界，让用户以第一人称视角进入参观，并全程保持空间一致性，体现其掌握了世界运行的内在规律。Emu直接一步步生成从狐狸草图到最终手办形态的完整视觉流程，体现其长时程创作能力31人工智能发展现状——挑战与解决方案大模型幻觉：模型在生成内容时产生与事实不符、虚构或误导性的信息。成因：训练数据中的错误或片面信息、模型处理复杂场景的能力局限、对参数化记忆的过度依赖以及对用户模糊提问的“自由发挥”。对策：检验策略：联网搜索验证和双AI交叉检验提示工程：知识边界限定和对抗性提示等技术架构：检索增强生成框架，精细化训练策略32迁移学习：将源任务中学到的知识转移到目标任务中面临数据分布差异、特征空间不匹配等挑战人工智能发展现状——挑战与解决方案泛化性能：模型对训练数据中未出现过的样本做出准确预测或决策的能力。模型的泛化性能差的原因：训练和测试数据分布存在差异，数据数量或代表性不足，数据质量不高。33人工智能发展现状——挑战与解决方案能耗危机：AI数据中心的能源消耗速度约为电网新增电力速度的4倍，这种指数级增长给电力基础设施造成严重压力，导致全球电力分配的结构性调整。根据行业估算，GPT-4单次训练的耗电量高达2.4亿千瓦时，相当于12万户家庭一年用电量我国“算力-电力”共生系统：软件层面：通过优化算法训练更高效的专业模型，从源头节约算力；硬件层面：采用液冷等先进技术及AI自优化系统，大幅降低数据中心能耗；能源保障：发展长时、可靠的储能技术，AI算力中心稳定运行绿色电力并参与电网调度。34人工智能发展现状——挑战与解决方案数据供给：大规模数据采集和标注方法面临成本、隐私和多样性等限制，特别是覆盖“长尾场景”的高质量数据严重不足。高质量数据供给面临成本、安全、多样性等方面挑战合成数据技术：能够精确模拟物理系统，生成多样化“长尾场景”数据，支持机器人/自动驾驶系统训练35小结内容：人工智能发展脉络：达特茅斯会议、人工智能发展的“三起两落”；三大技术流派：符号主义、连接主义、行为主义的基本思想、代表方法和适用边界；总体技术发展现状：技术成熟度曲线、阶段划分、代表性技术；发展现状与挑战：模型幻觉、泛化性能、能耗危机、数据供给。思考：大语言模型的幻觉问题在当前的学习范式下能否得到根本性解决？如何使其在保持创造力的同时确保事实准确性？36课后欢迎交流

第2章人工智能数学基础2.1引言2.1引言本章以数学基础作为切入点，从数学视角阐述人工智能学习问题如何被形式化描述、优化目标如何被构建以及模型参数如何被求解，为后续章节的学习奠定基础。首先从数学形式化角度出发，介绍人工智能的统一语言，并归纳人工智能学习问题的三要素通过本章学习，读者将掌握用数学语言描述AI问题、建立模型、求解参数并提升模型泛化能力的基本方法。随后以回归和分类为例，介绍其建模方式以及典型损失函数进一步介绍模型参数求解方法，重点讲解梯度下降等算法在复杂模型参数优化中的作用最后讨论模型泛化误差、过拟合与欠拟合现象，并引入正则化与约束优化思想，从数学理论层面说明如何在拟合能力与泛化能力之间取得平衡。392.2从计算到智能2.2从计算到智能传统计算范式现代智能范式核心思想研究人员人分析问题，编写规则，计算机按步骤执行系统从数据中学习规律，并对未知情形进行推断知识来源人类预先编码的知识与经验数据中隐含的统计规律与特征表示系统能力能力固定，不会随运行过程自动改变可通过训练不断调整模型参数，提升任务表现适用场景问题边界清晰、规则明确、环境可控输入复杂多样、规则难以穷举、环境存在不确定性主要局限难以应对规则缺失、输入变化和复杂现实场景依赖数据质量、模型结构与泛化能力代表形式规则系统、符号推理、确定性程序机器学习、深度学习412.2.1人工智能的统一语言

2.2.2人工智能学习的三要素

2.2.3人工智能学习的基本框架

2.2.1人工智能的统一语言张量将现实对象转化为可计算、可建模、可优化数学对象的统一表示语言。结构化样本与批数据空间数据离散序列张量是标量、向量、矩阵从低阶到高阶的自然推广。对于任意对象总存在一种映射，将其表示为张量当张量的轴的个数（张量的阶）退化为0，1，2时分别对应着标量、向量、矩阵432.2.2人工智能学习的三要素现代AI的学习问题可以归纳为三个核心要素：数据、模型、目标。数据描述了对象所服从的分布特性模型规定了从数据中提取规律并形成预测的方式目标为模型性能的评估与参数优化提供了明确的数学准则数据提供基础，模型承担学习，目标指引优化，三要素共同构成现代人工智能学习的核心框架。44数据来自现实世界的历史数据通常被表示为张量形式，并进一步组织为数据集。数据集中的有限样本构成了对真实分布的经验近似，模型则在该分布上学习输入与输出之间的规律。真实数据数据集特征空间中的样本分布样本标签猫鹿狗①样本容量充分②样本分布全面、均衡①样本量少②样本类别分布不均45模型模型是连接输入数据与输出结果的可学习映射。通过训练，模型在参数中编码由数据集提供的经验规律，并利用特定结构对输入信息进行表示、变换与预测。经验以参数的形式固化在模型f中我喜欢人工智输入（图像、文本…）我喜欢人工智能猫鹿狗预测：狗对应任务的预测输出4647目标目标函数将模型预测与真实结果之间的偏差转化为可计算的数值信号。由于真实数据分布无法直接观测，实际训练通常以训练集上的经验风险近似真实分布下的期望风险，并通过最小化经验风险来更新模型参数。…(样本,预测)(样本,预测)(样本,预测)经验损失，训练集上的平均损失可计算真实分布下的期望风险未知、不可计算

样本量足够大时

482.2.3人工智能学习的基本框架数据构建与划分循环训练推理测试现代人工智能学习的基本框架本质上是一个基于数据驱动的闭环优化过程，该过程旨在通过迭代计算，将数据中蕴含的经验转化为模型参数的数值解。49小结张量是人工智能的统一语言。任意模态的对象均可表示为统一的张量形式，纳入同一套数学运算体系。现代AI学习问题可归纳为三个核心要素:数据、模型和目标。现代AI学习的基本框架可以总结为数据驱动的闭环优化过程:数据构建与划分→循环训练→推理测试，最终得到经验最优参数。习题1：现代人工智能的学习问题通常由哪三个核心要素构成？请分别说明这三个要素在人工智能构建过程中的作用。习题2：简要说明现代人工智能的基本框架，并概括其主要包含的三个阶段及各自作用。2.3回归与分类建模2.3.1回归问题的定义2.3.2回归问题的求解2.3.3分类问题的定义2.3.4分类问题的求解2.3.1回归问题的定义回归是机器学习中的一类基础监督学习任务，旨在从输入特征与连续型输出之间学习映射关系，并用于预测新样本的数值结果。房价回归预测例子线性回归模型假设输出可以表示为输入特征的线性组合。然而，当真实关系呈现显著非线性时，线性回归会引入系统性偏差。522.3.2回归问题的求解①输入特征向量：②求解参数向量：③回归模型输出：④最小二乘法求解：最小化预测值与真实值之间的均方误差532.3.3分类问题的定义分类旨在学习输入特征到离散类别的映射关系分类问题是指在给定输入样本的条件下，从有限类别集合(1,2,…,K)中预测其所属类别的学习问题。手写数字分类例子(K=10)依据输出类别的数量，通常可将输出空间表示为给定数据集，分类问题可以建模为：在给定输入的条件下，建模对应输出类别的条件概率分布垃圾邮件分类(K=2)54不同类型分类任务二分类任务分类模型激活函数条件概率分布多分类任务类别分布与决策边界552.3.4分类问题的求解分类问题中，模型需要对样本所属类别作出预测，其优化目标不再是计算连续数值之间的偏差，而是刻画模型对类别判断的正确程度。通过极大似然估计，求解最优模型参数，使训练样本对应类别标签的条件联合概率最大。二分类问题的似然函数为，

多分类问题的似然函数为由于直接最大化连乘形式的似然函数在数值计算上较为困难，通常对其取对数，将参数优化目标转化为最大化对数似然函数。数学形式上完全等价于交叉熵！5657小结回归任务预测连续数值，核心目标函数为均方误差，线性回归可通过正规方程获得解析解。分类任务预测离散类别，本质是对条件概率分布的建模。分类的目标函数可以极大似然估计来求解习题：回归问题与分类问题在输出形式、建模方式与常用损失函数上有何本质差异？请结合均方误差与交叉熵两种典型损失函数，说明它们为何分别适用于回归与分类任务。2.4优化理论与方法2.4.1解析解与梯度下降法2.4.2非凸优化挑战2.4.3现代优化算法2.4.1解析解与梯度下降法解析解的局限性：传统统计学习中的解析解在面对大规模、高维度的深度学习模型时，面临算力与数学条件的双重壁垒。以线性回归任务为例，其解析解为局限1：计算与空间复杂度激增局限2：矩阵必须可逆模型的输入特征维度为d，矩阵求逆的时间复杂度为

，空间复杂度为模型的解析解存在的前提是必须可逆，然而深度学习中矩阵常常不可逆。60梯度下降法梯度下降法避开了复杂的矩阵求逆，为各类复杂的学习问题提供了一种统一的、可扩展的求解框架核心逻辑：利用当前点的负梯度方向作为搜索方向，以一定的步长迭代更新参数，直至驱动目标函数值稳步减小，直至模型收敛至局部极小值或全局最小值点。6162梯度下降法梯度下降法认为，在当前迭代点处，目标函数梯度的负方向指示了函数值下降最快的方向，因此通过沿该方向进行迭代更新，可以有效推动目标函数向最优解逼近。在处计算梯度将负梯度作为搜索方向按一定的步长沿该方向进行更新在处计算梯度……参数更新过程

梯度下降法

停止准则步长选择25在实际训练中，几乎不会基于全体样本计算目标函数的梯度，通常将数据分批处理，每次在更新参数时，会取出一个批次的数据来计算出目标函数的梯度和更新参数。批量梯度下降遍历所有批量的过程为一个轮次每个轮次开始前随机打乱数据，划分不同批每个批次内部计算梯度、更新参数26批量梯度下降有时称批量大小等于全体样本的梯度下降为方法全批量梯度下降，每次迭代使用部分样本的为小批量梯度下降。全批量梯度下降小批量梯度下降两种方法的准确率对比全批量梯度下降，梯度更新最准确，计算时间很长、难以处理海量数据小批量梯度下降，通过选择批量大小实现计算效率与梯度稳定性的平衡批量大小是实际训练过程中很重要的超参数27优化动力学解释：批量划分引入的梯度噪声增强了采样随机性，为逃离局部极小值陷阱提供了动力批量梯度下降66672.4.2非凸优化挑战深度学习模型的目标函数通常是非线性、非凸的，函数曲面包含大量梯度接近的平坦区域，当参数更新落入这些区域时可能出现异常停滞，即梯度已经接近零，但当前位置并不是最优点。

临界点的类型：临界点有局部极小值、局部极大值、鞍点三种类型，临界点的几何性质差异显著，对优化影响各不相同，其中，对优化过程影响最大的主要是局部极小值和鞍点68局部极小值与鞍点鞍点某些方向呈上升趋势，另一些方向仍可继续下降既非局部极小值，也非局部极大值

不存在继续降低目标函数的方向，参数容易被困在次优解附近梯度也为零，但仍存在下降方向，若能摆脱其影响，优化过程仍可继续推进

69仅靠一阶梯度无法区分局部极小值与鞍点，需借助二阶局部几何信息二阶泰勒近似海森矩阵即目标函数关于参数的二阶偏导数矩阵因混合偏导可交换，故H为对称矩阵可理解为梯度向量的再次求导局部极小值与鞍点的判别方法临界点附近的变化由其二次型决定，可通过海森矩阵的特征值符号判别临界点类型。通过海森矩阵判别

退化情形中二阶判别不足，需进一步采用高阶导数或其他方法分析。局部极小值与鞍点的判别方法70

逃离鞍点若临界点是鞍点，其海森矩阵必存在负特征值，其对应方向即优化的"下降通道"。负特征值方向=可继续下降的方向

下降方向上升方向712.4.3现代优化算法在现代人工智能的大规模模型训练中，目标函数往往具有高维、非凸和曲率不均衡等复杂特性。由于直接构造或利用Hessian矩阵计算代价过高，优化算法通常需要在仅依赖一阶梯度信息的条件下提升训练效率。常用的一阶优化算法主要包括三大类：随机梯度下降：通过随机采样训练样本来近似整体梯度动量法：累积历史梯度方向，减弱震荡进而加快收敛自适应学习率优化算法：根据梯度大小动态调整不同参数的更新步长这些方法在不显式使用二阶导数的情况下，部分弥补了一阶方法对曲率信息刻画不足的问题，在大规模优化任务中表现出良好的数值稳定性与收敛效率72随机梯度下降随机梯度下降是批量梯度下降在极端情形下的特例，每次迭代仅使用一个训练样本或小批量样本估计梯度并更新参数，从而将单步计算开销压到最低。更新后的参数更新前的参数小批量样本的梯度随机梯度下降的特点：计算开销小：每次更新只使用部分样本；随机波动明显：梯度估计含噪声，可能导致震荡或收敛不稳定。73动量法动量法通过对梯度进行指数加权平均在参数更新过程中引入历史梯度信息，对梯度下降的更新方向进行平滑处理，从而缓解随机梯度带来的震荡问题，并加快收敛速度。动量法的特点：能够利用历史梯度方向平滑更新路径，减少震荡并加快收敛。由于具有“惯性”，在接近最优点时可能出现过冲，导致参数在最优点附近来回摆动历史梯度的累计方向当前梯度当前更新方向74自适应学习率优化算法自适应学习率优化算法根据不同参数的梯度变化幅度自适应地调整每个参数的学习率，从而避免对所有参数使用统一更新幅度所带来的尺度不匹配问题，以提高优化过程的稳定性与收敛效率。AdaGradRMSpropAdam历史梯度平方累积近期梯度平方的指数加权平均一阶矩+二阶矩估计，结合动量与自适应75自适应学习率优化算法AdaGrad：步长持续衰减，后期步长过小，收敛变慢RMSprop：近期梯度自适应，步长稳定、持续推进Adam：结合动量和自适应的优势，收敛更快、更平稳76神经网络结构设计除改进优化算法外，还可以通过模型结构设计调整目标函数的几何形态，使一阶梯度方法更容易收敛。批量归一化与层归一化：通过标准化网络中间层的输出，缩小不同参数方向上的尺度差异。残差连接：引入跨层的直接连接，将梯度信号直接传回到浅层7778小结解析解在大规模、非线性模型中不可行。梯度下降法通过局部一阶梯度信息迭代更新参数，是AI模型训练的通用求解框架。小批量梯度下降通过随机采样降低单次计算成本，并引入适度随机性，有助于提升大规模模型训练效率。非凸目标函数中，梯度为零的临界点可能是局部极小值或鞍点，需通过Hessian矩阵的特征值判别。AdaGrad、RMSprop和Adam等自适应学习率方法进一步根据梯度历史动态调整步长，提