深度学习理论与实践 习题及答案 第5章

第5章题目及答案选择题一个神经元可以接受（A）组张量作为输入A、一B、二C、三D、四加权求和时有时候会加上一项常数b作为偏置；其中，张量b的形状要与Wx的形状保持（C）A、线性关系B、映射关系C、一致D、对称神经网络包括输入层、（D）、隐藏层、训练、监督训练、非监督训练。A、节点层B、映射层C、第零层D、输出层异或函数需要（B）个超平面才能进行划分。A、一B、二C、三D、四BP算法的核心思路是将误差由输出层向（C）后向传播，利用后一层的误差来估计前一层的误差。A、纵向层B、输入层C、前层D、浅层判断题人类大脑是一个非常复杂的系统，拥有者大规模并行式、分布式的表示与计算能力、学习写能力、抽象能力和适应能力。√ReLU会出现梯度消失的问题。×ReLU具有引导适度稀疏的能力。√单层感知器可以拟合一个花草平面y=ax1+bx2，这适合于线性可分问题。√Dropout是一种正则化技术，通过方式特征的协同适应，可用于减少神经网络中的过拟合。Dropout的效果非常好，实现简单，但会降低网络速度。×填空题softmax（）适用于多元分类问题，作用是将分别代表n个类的n个标量归一化，得到n个类的概率分布Tanh为logistic（）函数的变体ReLU，即修正线性单元。根据公式具备引导适度稀疏的能力，因为随机初始化的网络只有一半处于激活状态。感知器是一种监督训练的二元分类器为了解决隐藏层的预期输出并没有在训练样例中给出，隐藏层节点的误差无法像单层感知器那样直接计算得到的问题，我们引入了后向传播算法（BP算法）问答题1、请简述神经网络的特点。答案：基于统计的连接主义的模型从脑神经科学中和获得启发，试图将认知所需的功能属性结合到模型中来，通过模拟生物神经网络的信息处理方式来构建具有认知功能的模型，其拥有三个特点：拥有处理信号的基础单元处理单元之间以并行方式连接处理单元之间的连接是有权重的请简述Dropout正则化的原理答案：Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。这种方式可以减少特征检测器（隐层节点）间的相互作用，检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。Dropout说的简单一点就是：我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征请解释什么是内协变量偏移（InternalCovariateShift，ICS）答案：在训练神经网络时，往往需要标准化输入数据，使得网络的训练更加快速而有效，然而SGD等学习算法会在训练中不断改变网络的参数，隐含层的激活值的分步会因此发生变化，这一变化就称为内协变量偏移请简述生物神经网络与人工神经网络的区别答案：生物神经网络：一般指生物的大脑神经元，细胞，触电等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。

人工神经网络（ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。TensorFlow中运行模型需要通过会话实现，会话有哪几种形式？答案：第一种模式：需要明确调用会话生成函数和关闭会话函数

第二种模式：通过python的上下文管理器来使用会话

第三种模式：指定默认的会话

第四种模式：交互式环境下设置默认会话五、应用题如图所示，试求偏置为0.5，三个输入分别为3，-4,5，权值分别为0.2,0.5,0.3，激励函数f(·)为sgn函数时，神经元的输出。如果限制一个神经网络的总神经元数量（不考虑输入层）为𝑁+1，输入层大小为𝑀0，输出层大小为1，隐藏层的层数为𝐿，每个隐藏层的神经元数量为𝑁/𝐿，试分析参数数量和隐藏层层数𝐿的关系。答案∑=0.5+3×0.