2025年线性代数神经网络中的前向传播试题

2025年线性代数神经网络中的前向传播试题一、基础概念辨析题（共30分）1.1矩阵维度匹配原则（15分）某全连接神经网络包含输入层（3个特征）、隐藏层1（5个神经元）、隐藏层2（4个神经元）和输出层（2个神经元），请回答：（1）写出各层权重矩阵W¹、W²、W³的维度，并解释维度确定依据。（2）若输入样本为单个特征向量x（维度3×1），计算各层偏置向量b¹、b²、b³的维度及线性变换结果z¹、z²、z³的维度。（3）当输入为包含m个样本的批量数据X时，写出X的维度及向量化计算中Z¹的表达式。1.2激活函数特性分析（15分）针对ReLU函数σ(z)=max(0,z)和Sigmoid函数σ(z)=1/(1+e⁻ᶻ)，完成以下分析：（1）计算σ(0)、σ'(0)的值（其中σ'表示导数）。（2）说明为何ReLU函数能缓解深层网络中的梯度消失问题。（3）若某隐藏层输出z²的维度为4×1，经过ReLU激活后的a²维度是多少？激活前后数据的稀疏性有何变化？二、计算题（共50分）2.1单样本前向传播（25分）已知三层神经网络参数如下：输入层x=[1,2,3]^T（T表示转置）隐藏层1：W¹=[[0.1,0.2,0.3],[0.4,0.5,0.6],[0.7,0.8,0.9]]，b¹=[0.1,0.2,0.3]^T，激活函数为ReLU隐藏层2：W²=[[-0.1,-0.2],[-0.3,-0.4],[-0.5,-0.6]]，b²=[0.4,0.5]^T，激活函数为Sigmoid输出层：W³=[[0.5,-0.5],[0.6,-0.6]]，b³=[0.1]^T，激活函数为恒等函数要求：（1）分步计算z¹=W¹x+b¹和a¹=σ¹(z¹)。（2）分步计算z²=W²a¹+b²和a²=σ²(z²)。（3）计算最终输出z³=W³a²+b³。2.2批量数据向量化计算（25分）现有包含2个样本的批量数据X=[[1,2],[3,4],[5,6]]（每列代表一个样本），神经网络结构同2.1题。（1）写出X的维度，并解释"按列组织样本"的向量化优势。（2）计算Z¹=W¹X+b¹（需使用广播机制处理偏置），并验证Z¹的维度是否符合预期。（3）若激活函数为ReLU，计算A¹=σ¹(Z¹)，并说明向量化计算相比循环实现的时间复杂度降低比例（假设样本数为m，隐藏层神经元数为n）。三、证明与分析题（共40分）3.1线性变换叠加性证明（20分）设某深层网络第l层的线性变换为z⁽ˡ⁾=W⁽ˡ⁾a⁽ˡ⁻¹⁾+b⁽ˡ⁾，激活函数为a⁽ˡ⁾=σ⁽ˡ⁾(z⁽ˡ⁾)。（1）证明：当所有激活函数均为恒等函数（σ(z)=z）时，整个网络可等效为单一线性变换z⁽ᴸ⁾=W'x+b'，其中W'为输入层到输出层的等效权重矩阵。（2）推导两层网络（输入层→隐藏层→输出层）的等效权重W'和偏置b'的表达式。（3）解释为何深层网络需要非线性激活函数才能拟合非线性问题。3.2维度一致性故障排查（20分）某同学在实现前向传播时遇到以下错误提示："ValueError:shapes(4,3)and(3,2)notaligned:3(dim1)!=3(dim0)"，已知该网络结构为输入层（3个特征）、隐藏层（4个神经元）、输出层（2个神经元）。（1）根据错误信息推断可能的代码错误位置，并写出正确的矩阵乘法表达式。（2）若输入样本维度为(3,1)，隐藏层权重矩阵维度误设为(3,4)，会导致什么维度错误？如何修正？（3）当使用Python的numpy库实现时，如何通过assert语句验证Z¹=np.dot(W1,X)+b1的维度正确性？（假设X维度为(3,m)，m为样本数）四、综合应用题（共40分）4.1图像识别网络前向传播（20分）某灰度图像输入尺寸为2×2像素（展开为列向量x，像素值范围0-255），通过以下网络处理：第一层卷积：1个3×3卷积核（权重矩阵W1维度3×3，步长1，无填充）展平层：将卷积输出展平为向量全连接层：5个神经元，ReLU激活输出层：10个神经元（对应10类分类），Softmax激活（1）计算卷积层输出特征图的尺寸，并解释为何该尺寸导致无法进行后续卷积操作。（2）若将输入图像填充为3×3（边缘补零），重新计算卷积输出尺寸，并写出展平后的向量维度。（3）设展平后向量维度为n，全连接层权重矩阵W的维度是多少？解释该矩阵在行、列维度上的物理意义。4.2前向传播优化策略（20分）在大规模神经网络（如包含10⁶个参数的ResNet）中，前向传播的计算效率至关重要：（1）对比分析"按样本循环"和"向量化批量计算"在内存占用和计算速度上的差异。（2）解释为何ReLU函数的导数计算比Sigmoid更高效，并写出ReLU导数的分段表达式。（3）当网络包含100层隐藏层时，前向传播的时间复杂度主要由哪些因素决定？如何通过矩阵分块技术优化大矩阵乘法？五、编程实践题（共40分）5.1Python实现单样本前向传播（20分）使用numpy库实现2.1题的前向传播过程，要求：（1）定义ReLU和Sigmoid函数及其导数函数（备用）。（2）按层编写前向传播代码，输出各层的z和a矩阵。（3）验证手动计算结果与代码输出的一致性（允许±1e⁻⁴的浮点误差）。5.2批量数据处理函数设计（20分）编写一个通用前向传播函数forward_propagation(X,parameters)，其中：X为输入批量数据（维度n_x×m）parameters为包含各层W和b的字典，格式为{"W1":...,"b1":...,"W2":...,...}函数返回各层激活值组成的字典A和最终输出Z要求：（1）函数需自动识别网络层数（通过parameters中"W"的数量判断）。（2）实现偏置的广播加法，并处理不同激活函数的选择（通过参数指定每层激活类型）。（3）使用随机生成的参数（W服从正态分布，b初始化为0）测试函数对m=1000个样本的处理耗时。参考答案要点提示一、基础概念辨析题1.1（1）W¹:5×3（神经元数×输入特征数），W²:4×5，W³:2×4；（2）b¹:5×1，z¹:5×1；（3）X:3×m，Z¹=W¹X+b¹（维度5×m）1.2（1）ReLU：σ(0)=0,σ'(0)=0；Sigmoid：σ(0)=0.5,σ'(0)=0.25；（2）ReLU在正区间导数恒为1；（3）a²维度4×1，激活后非零元素减少二、计算题2.1（1）z¹=[1.4,3.2,5.0]^T，a¹=[1.4,3.2,5.0]^T；（2）z²=[-3.8,-5.2]^T，a²=[0.0219,0.0055]^T；（3）z³≈0.0962.2（1）X维度3×2，向量化可消除样本循环；（2）Z¹维度3×2，广播后b¹自动扩展为3×2；（3）时间复杂度从O(mn)降至O(n)三、证明与分析题3.1（2）等效W'=W²W¹，b'=W²b¹+b²；（3）线性变换叠加仍为线性，无法拟合XOR等非线性关系3.2（1）错误源于权重矩阵维度顺序颠倒，正确应为W(4,3)×X(3,m)；（2）输出维度变为(3,1)，应修正为W(4,3)；（3）assertZ1.shape==(4,m)四、综合应用题4.1（1）2