神经网络与深度学习 课件 -第一章 绪论

研究生教学版第一章绪论从经典深度学习到2026基础模型与推理时代教材基础：第1章“绪论”扩展重点：多模态、推理模型、开源MoE、低比特推理与系统算力本章建议覆盖1–2节课第1课时：深度学习的基本范式、历史逻辑与教材主线第2课时：2026年应用格局、模型生态、算力系统与风险问题适合作为后续CNN/RNN/GAN/NLP/分割章节的总导引关键词端到端表示学习大模型多模态推理时计算开源MoEAI治理1学习目标与教学安排本章不是“背景介绍”而已，而是整门课的方法论起点第一章/绪论学习目标区分AI、机器学习、深度学习、基础模型与推理模型的层次关系。理解“端到端表示学习”为什么成为深度学习成功的核心范式。掌握教材第1章的两条主线：一条是“为什么深度学习有效”，另一条是“它能解决哪些问题”。把握2026年的新变量：多模态统一、推理时计算、开源高性价比、低比特推理与透明度问题。为后续章节学习建立统一视角：结构、训练、数据、系统、应用、风险。建议授课节奏第1课时教材主线定义、历史、成功条件、典型任务第2课时2026扩展大模型、推理、系统算力、开放生态课堂讨论为什么今天仍然要学习CNN/RNN/GAN的经典范式？2教材第一章的逻辑框架先忠实于教材，再做2026扩展第一章/绪论1.1引言围绕“深度学习的定义”展开围绕“端到端训练”展开围绕“多层表示学习”展开围绕“大数据与GPU的作用”展开1.2发展与典型应用围绕“机器视觉”展开围绕“语音与自然语言”展开围绕“推荐与数据挖掘”展开围绕“强化学习与控制”展开研究生扩展围绕“基础模型与推理模型”展开围绕“多模态统一”展开围绕“开源MoE与低成本训练”展开围绕“透明度与治理”展开教学原则：第一章要完成“框架建模”，不是堆砌名词，而是建立后续所有章节共享的认知坐标系。3从AI到基础模型：层次关系需要重新表述2026年“深度学习”不再只等于CNN/RNN的集合第一章/绪论人工智能AI目标：让机器完成感知、决策、生成与交互等智能任务。机器学习ML从数据中学习映射或策略，而不是显式编写所有规则。深度学习DL通过多层参数化表示学习特征与任务函数。基础模型/推理模型大规模预训练+对齐+工具使用+推理时计算。讲授重点：基础模型不是深度学习的“替代物”，而是其在数据、模型规模、系统工程与后训练技术上的阶段性汇合。4深度学习的核心范式：端到端表示学习研究生层面应把“模型”看成参数化函数族，而不是一组技巧第一章/绪论概念链条原始数据x表示h任务头g输出ŷ传统机器学习常把“特征设计”和“分类器训练”拆开处理。深度学习把表示学习h=fθ(x)与任务预测yˆ=gφ(h)合并为统一优化问题。因此，模型性能不仅依赖分类器，更依赖中间表示是否可迁移、可压缩、可泛化。统一优化形式fθ可以是CNN、RNN、Transformer或多模态模型。ℓ对应具体任务：分类、回归、生成、检索、对比学习或策略优化。Ω(θ)体现正则化、参数共享、稀疏性、低秩结构与其他归纳偏置。后续第2–7章，本质上都在讨论“如何更好定义fθ与训练流程”。5为什么深度学习在2012年后迅速崛起教材强调数据与GPU，研究生教学还应补上优化与软件栈第一章/绪论数据互联网与传感器带来海量标注/弱标注/自监督数据。算力GPU/TPU把矩阵运算从“可做”推到“可扩展”。优化ReLU、Dropout、归一化、残差连接等让深层网络更可训练。工程PyTorch/TensorFlow与开源生态降低了实验迭代成本。教材角度大数据+GPU+更深网络=更强表示能力2026角度预训练+后训练+推理时计算+系统优化=新的性能来源6发展主线：从感知模型到基础模型，再到推理模型建议把“历史”讲成一条技术范式演进链第一章/绪论1958感知机神经网络雏形1986反向传播多层网络可训练1998LeNet-5CNN进入实用视觉2006深层预训练缓解深层训练困难2012AlexNet深度学习爆发2017Transformer序列建模范式切换2020–24基础模型大规模预训练与多模态2025–26推理模型更强deliberation与工具使用课堂提醒：今天“基础模型很热”，并不意味着AlexNet之前的历史可以跳过。后续结构设计、优化方法、归纳偏置与系统效率，仍然从这条链上长出来。7教材中的关键判断：为什么“更深”往往更强但研究生必须同时理解“为什么更难训练”第一章/绪论表达能力更深的网络可以逐层抽象，从边缘、纹理到部件，再到对象与语义。深层表示为复杂任务提供了更高的函数逼近能力。这解释了为什么深度学习适合视觉、语言、语音与多模态任务。训练难点梯度消失/爆炸退化与优化困难过拟合与数据依赖部署时延与显存成本研究生视角“更深更强”不是无条件成立，它依赖数据规模、优化方法、结构归纳偏置和系统预算。2026年的大模型性能也不是只靠参数量堆起来，还依赖训练目标、对齐、蒸馏、工具调用与推理策略。因此，本章真正的核心不是记住口号，而是学会分析“性能从哪里来”。82026年的关键转折一：从预训练走向“推理时计算”性能提升不再完全由训练期参数规模单独决定第一章/绪论预训练大规模语料/图像/代码/视频学习通用表示后训练SFT/偏好优化/RL让模型更可用、更可控推理时计算更长思考、更强搜索调用工具与多轮规划系统执行检索、代码执行、网页、文件把回答变成工作流新的教学结论：在2026年，“会训练模型”已经不足以概括深度学习能力，“会设计推理与执行流程”同样重要。OpenAIo3强调模型能在工具链中完成更复杂的推理与执行。Gemini2.5把“thinkingmodel”与多模态理解、长上下文结合起来。这意味着课程中的“模型”概念，必须从静态映射扩展到动态推理过程。92026年的关键转折二：从单模态走向原生多模态“文本模型+外接视觉模块”正在被更统一的建模方式替代第一章/绪论教材时代的典型切分视觉→CNN语音→RNN/CNN文本→NLP模块控制→强化学习2026的统一趋势文本图像音频视频代码统一多模态表示要点：多模态不是把不同输入简单拼接，而是让模型在统一表示空间中完成理解、对齐与推理。10机器视觉：教材主线与2026扩展视觉仍然是理解深度学习最直观的入口第一章/绪论教材第1章强调的任务图像分类、目标检测、人脸检测与识别、图像分割、边缘检测、目标跟踪、视频分类。核心思想是：用卷积网络自动提取从局部到全局的层次特征。这一主线将自然衔接到第2章CNN与第7章图像语义分割。2026的视觉新形态视觉语言模型把“识别”扩展为“理解+问答+检索+规划”。视频理解从动作识别扩展到长视频摘要、事件定位、时空推理。提示式分割、视觉grounding、机器人视觉感知成为新热点。即使Transformer很强，CNN在高效视觉编码、边缘设备与小样本任务上仍很重要。教学建议：第一章先建立视觉任务全景图，第二章再深入“卷积为什么有效”。11自然语言与语音：从序列建模到长上下文推理教材中的RNN视角，在2026依然值得保留第一章/绪论教材任务机器翻译信息检索自动摘要问答系统文本分类语音识别方法演化RNN/LSTMAttentionTransformerFoundationModel2026扩展长上下文处理让模型可以消化论文、代码库、长视频与多文档任务。语音交互从ASR+TTS的串联管线走向更实时、更自然的统一代理。“写作/翻译/摘要”已升级为“分析/检索/编程/执行”复合工作流。RNN不再是主流大模型结构，但它是理解序列状态、记忆机制和门控思想的最佳教学入口之一。12其他应用：推荐、科学、机器人与产业系统第1章要让学生看到“深度学习不是只做分类题”第一章/绪论推荐与搜索用户建模、召回/排序、广告、电商、内容分发科学计算蛋白质、材料、气候、药物、物理模拟控制与机器人强化学习、具身智能、工业控制、自动驾驶企业智能体文档问答、代码协同、流程自动化、研究助手AIIndex2026指出，生成式AI在三年内达到约53%的人口层面采用率，且企业与消费者场景价值都在快速放大。13算力与系统：从GPU加速到Blackwell与低比特推理2026年的大模型竞争，本质上也是系统工程竞争第一章/绪论教材视角GPU擅长大规模矩阵与向量并行运算。这使深层网络训练和预测获得数量级加速。分布式计算成为大模型训练的基础设施。2026新变化推理成本成为核心约束。4-bit/KVcache/batching/MoE更关键。低延迟与高吞吐同等重要。典型实例NVIDIA把NVFP4作为Blackwell架构中的低精度推理/训练格式之一。DeepSeek-V3采用MoE架构，总参数671B、每token激活37B，并报告了较低训练成本。这说明“算法结构+数值格式+系统调度”已成为性能与成本共同决定因素。142026模型生态：闭源前沿能力+开源高性价比并行发展教学上要让学生既看到能力边界，也看到工程可复制性第一章/绪论代表模型OpenAIo3更强调reasoning可结合工具链支持图像参与推理Gemini2.5Prothinkingmodel原生多模态长上下文能力突出DeepSeek-V3/R1MoE高性价比RLreasoning路线开源推动复现与蒸馏研究生理解重点比较模型不能只看benchmark，还要同时看：训练成本、推理成本、可复现性、开放程度、工具集成、风险披露。15为什么在2026年仍然要系统学习后续“经典章节”因为大模型时代并没有消灭结构、优化与归纳偏置问题第一章/绪论第2章CNN局部连接、参数共享、高效视觉归纳偏置第3章RNN状态、记忆、门控与序列依赖建模第4章GAN生成建模、对抗训练、分布对齐思想第5章框架实验实现、训练流水线与工程复现第6章NLP表示、序列、检索、生成与语义任务第7章分割像素级预测与视觉结构化输出结论：第一章的任务，是把这些章节重新组织成一个统一框架。16风险、瓶颈与研究议题：这一部分必须进入绪论课否则学生会误以为深度学习只是规模竞争第一章/绪论核心风险幻觉、错误推理与难以稳定评估。训练数据来源、版权、隐私与偏见。高能力模型的安全对齐与滥用风险。高能耗、大规模部署与系统资源压力。2026的现实提醒AIIndex2026指出，最强模型的透明度在下降，透明度指数平均分从58降到40。这意味着研究者更需要独立评测、系统实验与机制解释。研究生训练不能只会“调用API”，还要会质疑、验证与构建可复现证据。17本章总结与课后任务建议作为第一章收束页，兼具复盘与布置作业功能第一章/绪论六个带走的结论深度学习的本质是端到端表示学习。其成功来自数