人工智能通识导论（理工类）第6章 习题及参考答案

3-2-习题6及参考答案1.判断以下说法是否正确，并简要说明理由。（1）卷积神经网络中的参数共享是指同一个卷积核在图像的不同位置使用相同的权重。（2）1×1卷积的作用是改变特征图的空间分辨率。（3）BatchNormalization层在训练时使用当前批次的均值和方差，在测试时使用训练阶段累积的全局均值和方差。（4）LSTM的遗忘门输出接近0时，表示完全保留上一时刻的细胞状态信息。（5）Transformer完全摒弃了RNN和CNN，因此无法处理序列数据。参考答案：（1）正确。参数共享（ParameterSharing）是卷积神经网络的核心特性之一，指的是同一个卷积核的权重参数在输入图像的所有位置上是固定的、共享的。卷积核在图像上滑动时，每到一个位置就用同一组权重与对应区域做点积运算。这正是"平移不变性"的来源，也大幅减少了模型的参数量。（2）错误。1×1卷积不改变特征图的空间分辨率（高和宽保持不变），它改变的是通道数。由于一个1×1卷积核只在单个像素位置进行跨通道的加权求和，所以它可以实现特征通道的升维或降维，实现跨通道的信息融合，并在不改变空间尺寸的情况下降低计算量（如GoogLeNet的Inception模块、ResNet中的瓶颈结构）。（3）正确。BatchNormalization在训练阶段，由于数据是按批次（batch）喂入的，使用当前批次的均值和方差对数据进行归一化，并动态累积（滑动平均）全局均值和方差；在测试（推理）阶段，单个样本无法计算批次统计量，因此使用训练阶段累积下来的全局均值和方差进行归一化，保证推理时输出是确定性的。（4）错误。遗忘门的输出接近1时表示完全保留上一时刻的细胞状态信息，接近0时表示完全遗忘上一时刻的信息。遗忘门的作用机制就是用0~1之间的数值去控制旧的细胞状态有多少比例被保留下来。（5）错误。前半句正确，后半句错误。Transformer确实完全摒弃了RNN的循环结构和CNN的卷积结构，用自注意力（Self-Attention）机制来处理序列；但它完全能够处理序列数据——恰恰相反，Transformer正是为序列建模而生，它通过位置编码（PositionalEncoding）引入顺序信息，凭借自注意力机制可以直接捕捉序列中任意两个位置之间的依赖关系，BERT、GPT等大模型都是基于Transformer处理文本序列的典型代表。2.输入特征图尺寸为32×32×3（高×宽×通道），使用64个5×5卷积核，步幅为2，填充为2，则输出特征图的尺寸为多少？参数量为多少？请给出具体的计算过程。参考答案：已知条件：输入特征图32×32×3（高×宽×通道），64个5×5卷积核，步幅（stride）为2，填充（padding）为2。第一步：计算输出特征图的空间尺寸输出尺寸公式为：输出尺寸=⌊（输入尺寸+2×填充−卷积核尺寸）/步幅⌋+1代入数值：⌊（32+2×2−5）/2⌋+1=⌊31/2⌋+1=15+1=16高和宽的计算相同，输出通道数等于卷积核个数64。所以输出特征图尺寸为16×16×64。第二步：计算参数量每个卷积核的尺寸为5×5，且要覆盖输入的全部3个通道，因此每个卷积核的权重数为5×5×3=75；64个卷积核的权重数为75×64=4800。此外每个卷积核有1个偏置（bias），共64个偏置。参数量=5×5×3×64+64=4800+64=4864最终结果：输出特征图尺寸为16×16×64，参数量为4864。3.什么是感受野，请对其功能进行详细描述。参考答案：感受野（ReceptiveField）是指卷积神经网络中，特征图上某一个像素（神经元）所对应的原始输入图像上的区域范围。换句话说，特征图上某一点的数值，实际上是由输入图像中多大一块区域的信息计算得来的，这一块区域就是该点的感受野。功能与意义的详细描述：（1）层次化特征提取的基础。浅层卷积核的感受野较小，只能捕捉到局部信息，如边缘、纹理、角点等低级特征；随着网络层数加深，通过多层卷积的逐层叠加，深层特征图上每个点的感受野不断扩大，能够"看到"原图中越来越大的区域，从而提取出物体部件、整体结构等高级语义特征。这是CNN能够实现从局部到全局的层次化特征表达的根本原因。（2）决定模型能看到多大的目标。如果感受野小于待检测目标的实际大小，网络就无法获取目标的完整信息，只能根据局部片段做出判断，导致识别或检测性能下降。因此在目标检测、语义分割等任务中，设计网络时必须保证深层的感受野足够大，能够覆盖图像中可能出现的最大目标。（3）指导网络结构设计。感受野的大小可以通过卷积核尺寸、层数、步幅、空洞卷积（DilatedConvolution）、池化操作等因素来调控。例如，扩大卷积核、增加网络深度、使用空洞卷积都可以在不增加过多参数的情况下扩大感受野，这也是FCN、DeepLab等分割网络设计中的重要考量。4.何为卷积操作？它具有什么样的作用和特点。参考答案：（1）卷积操作的定义：卷积操作是用一个可学习的卷积核（滤波器）在输入数据（如图像）上按照一定的步幅滑动，每到一处，将卷积核的权重与对应区域的元素逐点相乘后求和（再加偏置），得到一个输出值，最终生成特征图（FeatureMap）的过程。实际工程中通常实现为"互相关"运算，即不做翻转。（2）卷积操作的作用：-特征提取：卷积核相当于一个特征探测器，不同的卷积核能检测不同的局部模式，如水平边缘、垂直边缘、特定纹理等；通过多个卷积核可以并行提取多种特征。-降维与抽象：通过步幅（stride）和池化操作可以压缩特征图尺寸，在保留主要信息的同时减少计算量，并使特征具有一定的尺度不变性。-构建层次化表示：多层卷积叠加，将低层局部特征逐步组合为高层语义特征，支撑分类、检测、分割等各类视觉任务。（3）卷积操作的特点：第一，局部连接。每个输出单元只与输入的一个局部区域相连，而不是像全连接层那样与所有输入相连。图像的局部相关性很强，局部连接符合这一规律，同时大幅减少了参数量。第二，参数共享。同一个卷积核在输入的所有位置共享同一组权重，使模型参数量与输入尺寸基本无关，显著降低了过拟合风险，并赋予网络平移不变性——同一个特征无论出现在图像的哪个位置，都能被同一个卷积核检测出来。第三，平移等变性。输入发生平移时，输出特征图也相应平移，特征的检测不依赖于其空间位置。5.标准RNN的梯度求解过程中可能会出现什么问题？如何进行解决？参考答案：标准RNN的梯度求解过程中可能会出现梯度消失与梯度爆炸的问题。由于标准RNN采用沿时间反向传播（BPTT）算法进行训练。在求梯度时，梯度需要从后向前逐时间步传递，每一步都要乘以隐藏状态激活函数的导数以及权重矩阵的连乘项。当序列较长时，这个连乘项会出现两种极端情况：第一种情况就是梯度消失，即当权重矩阵的特征值较小、或激活函数（如sigmoid、tanh）的导数恒小于1时，连乘项随着时间步呈指数级趋近于0，导致靠前的时刻几乎接收不到任何梯度信息。其后果是模型"忘记"远处的信息，无法学习序列中的长期依赖关系。另外一种情况是梯度爆炸，即当权重矩阵的特征值大于1时，连乘项呈指数级增大，梯度值变得极大，导致参数更新幅度失控，训练过程震荡甚至发散，出现数值溢出。解决方案可以采用下列方案：（1）使用门控结构的改进结构——这是最根本的解决思路。LSTM通过引入细胞状态和遗忘门、输入门、输出门三个门控机制，为梯度提供了一条几乎不受乘法衰减影响的"高速公路"，使长期依赖信息能够无损传递；GRU则是更简化的变体，用更新门和重置门两个门实现类似效果。（2）梯度裁剪（GradientClipping）。针对梯度爆炸，设定一个阈值，当梯度范数超过阈值时就按比例缩小回阈值范围内，保证训练稳定。这是工程上抑制梯度爆炸最简单有效的手段。（3）合理的权重初始化与激活函数选择。使用合适的初始化方法（如Xavier、He初始化）避免梯度从一开始就处于不利的量级。第四，其他辅助手段。如截断式BPTT（限制反向传播的时间步数）、残差连接（ResidualConnection）等，都可以在一定程度上缓解深层或长序列情况下的梯度问题。6.LSTM中，细胞状态（CellState）C(t)的主要作用是什么？请具体解释。参考答案：细胞状态（CellState）C(t)是LSTM中贯穿整个时间序列的"信息传送带"，是LSTM能够捕捉长期依赖的核心机制。其作用具体体现在：（1）作为长期记忆的载体。与标准RNN每个时刻都直接用新输入覆盖旧的隐藏状态不同，LSTM的细胞状态可以在整个序列传递过程中保持相对稳定的流动，信息一旦写入细胞状态，就可以沿着时间轴传递很远而不被轻易改变，这使得很久之前的记忆能够被保留到当前的决策中。（2）提供梯度传播的"高速公路"。在反向传播时，细胞状态的梯度传播路径上只经过逐元素乘法和加法，没有像标准RNN那样反复经过非线性激活函数的导数连乘，梯度可以沿着这条近似线性的路径顺畅地传回很远的时间步，从根本上缓解了梯度消失问题。（3）由门控机制进行精细化调控。细胞状态本身不负责"计算"，它接受三个门控的管理：遗忘门决定旧信息保留多少，输入门决定新信息写入多少，输出门决定当前细胞状态有多少被暴露给隐藏状态输出。三个门各司其职，使模型能够自主地学习"记住什么、忘记什么、输出什么"，既保留了有用信息，又过滤了无关噪声。7.LSTM的三个门控单元分别是什么？各自行使什么样的功能？参考答案：LSTM的三个门控单元分别是遗忘门、输入门和输出门。其中：（1）遗忘门（ForgetGate）决定从上一时刻的细胞状态中丢弃多少信息。它接收当前输入和上一时刻的隐藏状态，经Sigmoid函数输出一个0到1之间的向量，逐元素地与上一时刻细胞状态C⁽ᵗ⁻¹⁾相乘：值接近1表示该维度的信息被完整保留，接近0表示被完全遗忘。例如在处理新段落的文本时，遗忘门可以"忘掉"上一主题不相关的信息。（2）输入门（InputGate）决定把多少新信息写入细胞状态。它同样由Sigmoid函数控制（输出0~1的门控向量），与一个tanh激活产生的候选记忆向量C̃⁽ᵗ⁾逐元素相乘，筛选出值得保存的新信息，再加到细胞状态上。输入门决定了当前时刻的输入中有多少真正需要被"记住"。（3）输出门（OutputGate）则决定当前时刻的细胞状态有多少被输出为隐藏状态h⁽ᵗ⁾。它由Sigmoid函数产生门控向量，与经过tanh压缩后的当前细胞状态逐元素相乘，得到当前时刻的隐藏状态输出。输出门既能隐藏细胞状态中的无关细节，又能控制对外暴露的信息量。三个门相互配合：遗忘门管"删旧"、输入门管"添新"、输出门管"呈现"，共同实现对长期记忆的灵活管理。8.某LSTM单元当前时间步输入x(t)=[0.5,0.3]，前一时刻隐藏状态h(t−1)=[0.2,0.4]。已知：遗忘门权重Wf=0.10.20.30.4，偏置bf=[0,0]，输入门权重Wi=0.20.10.40.3，偏置bi=[0,0]，前一时刻细胞状态C(t−1)=[1.0,2.0]，候选记忆C(t)=[0.5,0.5]（已计算好）为简化，所有权重与输入的运算均为矩阵乘法。求：（1）遗忘门输出f(t)（Sigmoid激活）（2）输入门输出i(t)（Sigmoid激活）（3）当前细胞状态C(t)（4）若输出门o(t)=[0.8,0.8]，求隐藏状态h(t)。参考答案：已知：x(t)=[0.5,0.3]，h(t−1)=[0.2,0.4]，C(t−1)=[1.0,2.0]，C(t)=[0.5,0.5]，偏置均为0，候选记忆已给出。按题目简化约定，门的输入为当前输入与前一隐藏状态合并后的向量u=x(t)+h(t−1)=[0.7,0.7]，门输出=sigmoid(权重矩阵×u)。（1）遗忘门输出f(t)先计算Wf×u：第一个分量：0.1×0.7+0.2×0.7=0.07+0.14=0.21第二个分量：0.3×0.7+0.4×0.7=0.21+0.28=0.49再经Sigmoid激活：f(t)=σ([0.21,0.49])=[1/(1+e-0.21),1/(1+e-0.49)]≈[0.5523,0.6201]（2）输入门输出i(t)计算Wi×u：第一个分量：0.2×0.7+0.1×0.7=0.14+0.07=0.21第二个分量：0.4×0.7+0.3×0.7=0.28+0.21=0.49经Sigmoid激活：i(t)=σ([0.21,0.49])≈[0.5523,0.6201]（3）当前细胞状态C(t)按公式C(t)=f(t)⊙C(t−1)+i(t)⊙C(t)逐元素计算：第一个分量：0.5523×1.0+0.5523×0.5=0.5523+0.2762=0.8285第二个分量：0.6201×2.0+0.6201×0.5=1.2402+0.3101=1.5503C(t)≈[0.8285,1.5503]（4）隐藏状态h(t)按公式h(t)=o(t)⊙tanh(C(t))，其中o(t)=[0.8,0.8]：tanh(0.8285)：e0.8285≈2.2899，e-0.8285≈0.4367，tanh=(2.2899−0.4367)/(2.2899+0.4367)≈0.6797，第一个分量=0.8×0.6797≈0.5438tanh(1.5503)：e1.5503≈4.7133，e-1.5503≈0.2122，tanh=(4.7133−0.2122)/(4.7133+0.2122)≈0.9138，第二个分量=0.8×0.9138≈0.7310h(t)≈[0.5438,0.7310]9.某RNN的结构参数如下：参数数值输入到隐藏权重矩阵U0.10.2隐藏到隐藏权重矩阵W0.1隐藏到输出权重向量V0.2隐藏状态激活函数tanh(.)输出激活函数tanh(.)输入序列（2个时间步，每步输入3维）：x(1)=0.10.20.3，x(2)=0.20.30.4，初始隐藏状态：s求：（1）第1个时间步的隐藏状态s(1)和输出y(1)（2）第2个时间步的隐藏状态s(2)和输出y(2)参考答案：已知：U的尺寸是（3×2），W的尺寸是（2×2），V=[0.2,0.5]，隐藏状态与输出激活函数均为tanh，s(0)=[0,0]（无偏置项）。RNN基本公式：s(t)=tanh(Uᵀx(t)+Wᵀs(t-1))，y(t)=tanh(Vᵀs(t))。（1）第1个时间步计算Uᵀx(1)：第一分量：0.1×0.1+0.2×0.2+0.3×0.3=0.01+0.04+0.09=0.14第二分量：0.2×0.1+0.3×0.2+0.1×0.3=0.02+0.06+0.03=0.11Wᵀs(0)=[0,0]（因为s(1)为零向量）。求和得[0.14,0.11]，经tanh激活：s(1)=[tanh(0.14),tanh(0.11)]≈[0.1391,0.1096]计算输出：Vᵀs(1)=0.2×0.