深度学习理论与实践 习题及答案 第6章

第6章选择题：通过池化降低空间维度的做法不但降低了计算开销，还使得卷积神经网络对于噪声具有（A）。健壮性静态性局部性准确性（B）的主要问题是最后的3层全连接层的参数量过于庞大。InceptionNetVCG网络ResNetAlexNet（C）的残差结构解决了深度学习模型的退化问题，在ImageNet的数据集上，其Top5准确率达到了95.51%。InceptionNetVCG网络ResNetD.AlexNet在InceptionNet中，使用（D）和单层的全连接层替换掉了VCG的三层全连接层。全局最大池化层全局最小池化层卷积层全局平均池化层如果前一层有M个节点，后一层有N个节点，通过参数共享，两层之间的连接权值减少为c个，前向传播和后向传播过程中，计算开销与内存开销分别为（A）：O（n）和O（c）O（c）和O（n）O（n）和O（n）O（c）和O（c）判断题：人们通常采用在输出张量边界上填充0的方式，使得卷积核的中心可以从边界上开始扫描，从而保持卷积操作输入张量和输出张量大小不变。（×）VCG网络在ImageNet的Top5准确率为93.3%，不仅准确率高于InceptionNet，推断速度也更胜一筹。（×）最大池化是指在池化区域中，取卷积特征值最大的作为所得池化特征值。（√）神经网络越深，对复杂特征的表示能力就越强。（√）两个步长为1的3*3的卷积核和一个7*7大小的卷积核的感受是一致的。（×）填空题：传统BP神经网络，以全局连接方式，前一层有M个节点，后一层有N个节点，就会有M*N个连接权值，每一轮后向传播更新权值的时候都要对这些权值进行重新计算，造成了O(M*N)=O(n2)的计算与内存开销局部连接方式把连接限制在空间中相邻的c个节点，把连接权值降到了c*N，计算内存与开销就降低到了O（c*N）=O（n）离散的卷积操作满足了局部连接和参数共享的性质。网络在达到一定深度后，模型训练的准确率也不会再提升，甚至会开始下降，这种现象称为训练准确率的退化问题。ResNet提出了残差学习的方法，用于解决深度学习模型的退化问题。简答题：1.画出一个最基本卷积神经网络。输出非线性变换池化层卷积层输入2.局部连接与全局变量的区别是什么？局部连接：连接权值为c*N，计算与内存开销为O（c*n）=O（n）全局连接：连接权值为M*N，计算与内存开销为O（M*N）=O（n2）3.池化的作用是什么？降低特征空间的维度，还使得卷积神经网络对于噪声具有健壮性。4.简述卷积操作。卷积核从输入向量左边开始扫描，权值在第一个位置分别与对应输入值相乘求和，得到卷积特征值向量的第一个值，接下来移动一个步长，到达第二个位置，进行相同的操作，以此类推。5.比较AlexNet与VCG网络VCG全3*3卷积核，AlexNet有大卷积核，两者整体结构一致，都是先用5层卷积层提取图像特征，再用3层全连接层作为分类器，VCG的层是由几个3*3的卷积层叠加起来的，而AlexNet是一个大卷积层为一层，所以AlexNet只有八层，而VCG网络可多达19层。应用题下表为输入的三维张量，请你给出其经过一个大小为2*2，步幅为2，无填充的平均汇聚层后的结果。输入层：123456789卷积层：1001LeNet是一个十分经典的卷积神经网络，下图给出了LeNet的简化版本，请你在下图相应层之后写出每一层的输出形状，其中卷积层的输出格式为(a,b,c)，其中a为输出的通道数，bc为图片的长和宽；全连接层的输出格式为(a,b)其中a为输出通道数，b为输出向量的长度。（下图中括号内的数字为输出的通道数，卷积层除特殊说明外，步幅为1、无填充，汇聚层无填充，最后一个汇聚层和全连接层之间有一个展平层图中没有体现不需要给出计算结果）答案1．输出层的大小为2×2，如下所示：1×1+2×0+4×0+5×1=62×1+3×0+5×0+6×1=84×1+5×0+7×0+8×1=125×1+6×0+8×0+9×1=146812142.从下到上依次为：