4.2 人工神经网络的基本结构

单个神经元已经会算；那把它们按"层"叠起来，为什么就能从像素认出一个数字？人工智能通识·第4章·人工神经网络4.2人工神经网络的基本结构4.2·学习目标学完这一节，你能做出哪几件可检查的事？01用一句话说明：为什么去掉激活函数，无论网络叠多少层都只是一个线性模型。02对比Sigmoid、Tanh、ReLU三者的输出区间，并各指出一个主要局限（如梯度消失、死神经元）。03对着一个三层网络，指出输入层、隐藏层、输出层各自由几个神经元构成、各自在做什么。04解释全连接层"每个神经元连所有人"为什么会参数爆炸，以及它和过拟合的关系。4.2·学习路线这一节沿哪三步，看清网络的"骨架"？01激活函数：给网络装上"非线性"Sigmoid/Tanh/ReLU/Leaky/PReLU/Softmax各自的脾气与局限。02层级结构：原料→加工→成品输入层、隐藏层、输出层各管什么，特征如何逐层抽象。03全连接层：把特征"汇总"到答案每神经元连所有人，强大但代价是参数爆炸与过拟合。先懂"为什么需要非线性"，再看网络怎么分层，最后看全连接的代价。本节驱动问题·DRIVINGQUESTION单个神经元已经会算，

为什么"连起来、叠起来"才谈得上智能？你会卡在哪里一个神经元就能做判断，那直接堆很多个，为什么还要分"层"？层与层之间到底多做了什么事？又是什么决定了第一层放784个、最后一层放10个？4.2·从单神经元到网络多叠一层，凭什么就多出一层"智能"？输入层隐藏层输出层判断：多一层不是多一个"开关"，而是对上层特征再做一次非线性加工——层数越多，能组合出的特征越抽象。输入层—隐藏层—输出层的基本连接形态。4.2.1·激活函数激活函数到底在做什么？没有它会怎样？它是什么激活函数是网络中引入非线性的关键组件：对神经元加权求和后的结果再做一次变换，决定这个神经元该不该被"激活"、以及激活到什么程度。没有它去掉激活函数，每一层都只是线性变换；无论叠多少层，整体仍然等价于一个单层线性模型，学不会XOR这类复杂模式。直觉类比：它像一道"闸门"——不是所有信号都原样放行，而是按强度决定放大、压下还是拦下，这正是网络能弯曲决策面的原因。来源：教材4.2.1激活函数的作用。4.2.1·常用激活函数六个常用激活函数，输出区间与脾气各是什么？函数输出区间主要特点/局限Sigmoid(0,1)输出可解释为概率；两端饱和易致梯度消失Tanh(-1,1)零中心输出；仍存在两端饱和、梯度消失ReLU[0,+∞)计算简单、缓解梯度消失；负区间可能"死神经元"LeakyReLU(-∞,+∞)负区间给小固定斜率，缓解"死神经元"PReLU(-∞,+∞)负区间斜率由数据自己学，而非人工固定Softmax和为1输出各类别概率；通常只放在多分类输出层4.2.1·为什么被淘汰Sigmoid明明平滑，为什么深网里被"嫌弃"？①两端饱和

输入很大或很小，曲线几乎压平②梯度≈0

平处斜率接近零，反向误差被乘没③传不回去

浅层几乎收不到"该怎么改"的信号这就是梯度消失：层数越深，误差在逐层相乘时被不断打折，靠前的层"学不动"。Tanh比Sigmoid好一点（零中心），但两端同样会饱和。来源：教材4.2.1Sigmoid/Tanh的局限（示意流程）。4.2.1·ReLUReLU凭什么成为默认？"死神经元"又是什么坑？为什么它成为主流正区间梯度恒为1，不会饱和，误差能顺畅传回计算就是max(0,x)，极快、省算力缓解了Sigmoid的梯度消失问题它留下的坑与补救输入长期为负时梯度为0，神经元不再更新——"死神经元"LeakyReLU：负区间留一个很小的固定斜率PReLU：负区间斜率交给数据自己学判断：没有任何激活函数是完美的。ReLU用"简单+不饱和"换来了可训练的深网，代价是要额外防"死神经元"；这正是深度学习里常见的"权衡"。来源：教材4.2.1ReLU/LeakyReLU/PReLU。4.2.1·Softmax的位置Softmax那么好用，为什么不让它进隐藏层？它做什么把一组未归一化的分数，变换成和为1的概率分布——正好回答"这张图属于0–9哪一类"。为什么只在末层它本质是"对外宣布答案"。若放进隐藏层，会强迫中间特征也归一化成概率，抹掉中间表示的表达力——隐藏层需要ReLU这类保留特征、可叠加的函数，而不是马上归一。记法：隐藏层"攒特征"（ReLU），输出层"报概率"（Softmax）。来源：教材4.2.1Softmax的使用位置。4.2.2·层级结构一张流水线：输入层、隐藏层、输出层输入层·原料接收原始数据（如像素）。只负责"把数据端进来"，自身不做计算，神经元个数=输入特征维数。隐藏层·加工夹在中间，可不止一层。逐层对上一层输出做变换，提取并组合特征——网络的"脑力"主要在这里。输出层·成品把加工好的特征变成最终答案。神经元个数=类别数（分类）或一个值（回归）。判断：层数与每层神经元数不是拍脑袋定的——输入层跟着数据走，输出层跟着任务走，中间隐藏层决定模型容量。来源：教材4.2.2层级结构（输入层/隐藏层/输出层）。4.2.2·输入层28×28的小图，输入层凭什么是784？28×28灰度像素图（示意）摊平成一维784=28×28个像素亮度值每个像素=一个输入神经元输入层

共784个神经元所以"输入层神经元数=输入维度"。图像是二维的，但网络第一层只能读一串数——它根本不知道这串数原来排成几行几列。来源：教材4.2.2手写数字识别示例（MNIST，28×28）。4.2.2·隐藏层在做什么同一串像素，怎么越看越"高级"？输入784个像素亮度值（原始）隐藏1边缘/笔画走向隐藏2局部形状（弧线、拐角）组合输出Softmax输出0–9各类概率，取最大者判断：每一层不"认识数字"，只把上一层的低级特征组合成更高级的表示；层数越多，最终特征越接近"这个数字长什么样"。来源：教材4.2.2手写数字识别层级示例（示意抽象阶梯）。4.2.2·输出层输出层，为什么分类和回归长得不一样？分类任务（这是几？）输出层神经元数=类别数（如10类）经Softmax变成和为1的概率分布取概率最大者作为最终类别回归任务（值多少？）通常只要1个输出神经元直接输出一个连续数值（如房价）不套Softmax，也不做概率解释判断：输出层长什么样，是由"你要一个类别，还是一个数"决定的——不是随便放多少个神经元。来源：教材4.2.2输出层与任务的对应关系。4.2.3·全连接层"全连接"到底是什么意思？它强在哪？定义全连接层（FC层）：相邻两层之间，每一个神经元都和下一层每个神经元相连，每一条连接都有一个可学习的权重。它的作用把前面各层提取的特征"全部汇总、整体组合"，再映射到要预测的输出——所以它常放在网络末尾。代价预告：连接数=上一层神经元数×下一层神经元数。两边一多，参数会飞快上涨——下一页专门算这笔账。来源：教材4.2.3全连接层（FC层）的特点与作用。4.2.3·全连接的代价参数一多，为什么模型反而会"学坏"？先算一笔账仅一层784→1000，权重就有784×1000≈78万；再叠几层，参数轻松上百万。两个后果训练变慢、吃显存

每多一个参数，就要存它的值和梯度，硬件压力陡增。过拟合

容量太大，模型把训练集里的噪声也背下来，新数据上反而更差。所以工程上不会无脑堆全连接——后面会用卷积等更省参数的结构，以及正则化来控制过拟合。计算为示意：784×1000≈78万；参数规模与过拟合关系见教材4.2.3。实战案例·教学补充校园手势识别，网络该怎么"排层"？背景课堂想统计学生"举手/OK/点赞"三种手势，做互动反馈。问题输入是64×64灰度图、要分3类——三层网络各放几个神经元？方案输入层64×64=4096→两个隐藏层逐步降维、用ReLU→输出层3个神经元接Softmax。结果作为教学原型能跑通全流程；但4096维输入参数太大，真实产品会换卷积并加正则防过拟合。可迁移判断：搭网络先问三件事——输入几维？分几类？中间要不要降维？再回头算参数量，别等训练不动才发现太大。教学示意案例（合理重构场景，非某真实产品披露数据）。AI实训·结合AI一起做和AI一起：为手写数字设计网络，并追问三个为什么任务请AI写出一个三层全连接网络的层结构：每层几个神经元、用什么激活函数。输入/场景输入28×28手写灰度图，输出0–9共10类；先自己估一版，再让AI给参考答案。完成标准①写出每层神经元数与对应激活函数②问AI：为什么隐藏层用ReLU，而不用Sigmoid？③问AI：为什么输出层是10个神经元并接Softmax？提示：不要只抄AI的答案。先自己写一版结构，再用它来质疑和补漏——重点是能否说出每个选择背后的"为什么"。练习场景：教学任务，先自评、再用AI对照。本节小结·回到驱动问题单个神经元已经会算，为什么"连起来、叠起来"才谈得上智能？01没有非线性激活函数，叠再多层也只是一个线性模型。02三层分工：输入层接数据、隐藏层攒特征、输出层报答案。03隐藏层越叠越抽象：像素→边缘→局部形状→类别。04全连接强但参数爆炸，必须警惕过拟合。一句话：智能不在单元多，而在"非线性+分层抽象+可控参数"。迁移