深度学习技术应用 期末考试-考试题库

一、单选题下列哪个神经网络结构会发生权重共享？A、卷积神经网络B、循环神经网络C、全连接神经网络D、选项A和B答案是：D批规范化(BatchNormalization)的好处都有啥？A、让每一层的输入的范围都大致固定B、它将权重的归一化平均值和标准差C、它是一种非常有效的反向传播(BP)方法D、这些均不是答案是：A在一个神经网络中，下面哪种方法可以用来处理过拟合？A、DropoutB、分批归一化(BatchNormalization)C、正则化(regularization)D、都可以答案是：D解析：对于选项A,Dropout可以在训练过程中适度地删减某些神经元,借此可以减小过拟合的风险.对于选项B,分批归一化处理过拟合的原理，是因为同一个数据在不同批中被归一化后的值会有差别，相当于做了dataaugmentatio。对于选项C，正则化(regularization)的加入,本身就是为了防止过拟合而做的操作.因此答案是D给定一个长度为n的不完整单词序列，我们希望预测下一个字母是什么。比如输入是“predictio”(9个字母组成)，希望预测第十个字母是什么。下面哪种神经网络结构适用于解决这个工作？A、循环神经网络B、全连接神经网络C、受限波尔兹曼机D、卷积神经网络正确答案是：A解析：循环神经网络对于序列数据最有效，因此适用于这个问题。当构建一个神经网络进行图片的语义分割时，通常采用下面哪种顺序？A、先用卷积神经网络处理输入，再用反卷积神经网络得到输出B、先用反卷积神经网络处理输入，再用卷积神经网络得到输出C、不能确定正确答案是：ASigmoid是神经网络中最常用到的一种激活函数，除非当梯度太大导致激活函数被弥散，这叫作神经元饱和。这就是为什么ReLU会被提出来，因为ReLU可以使得梯度在正向时输出值与原始值一样。这是否意味着在神经网络中ReLU单元永远不会饱和？A、正确的B、错误的正确答案是：B解析：ReLU也可能会造成饱和，当输出为负的时候。在构建一个神经网络时，batchsize通常会选择2的次方，比如256和512。这是为什么呢？A、当内存使用最优时这可以方便神经网络并行化B、当用偶数是梯度下降优化效果最好C、这些原因都不对D、当不用偶数时，损失值会很奇怪正确答案是：A梯度下降算法的正确步骤是什么？a.计算预测值和真实值之间的误差b.重复迭代，直⾄得到⽹络权重的最佳值c.把输⼊传⼊⽹络，得到输出值d.⽤随机值初始化权重和偏差e.对每⼀个产⽣误差的神经元，调整相应的（权重）值以减⼩误差A.abcdeB.edcbaC.cbaedD.dcaeb解析：正确答案D，考查知识点-深度学习。已知：⼤脑是有很多个叫做神经元的东西构成，神经⽹络是对⼤脑的简单的数学表达。每⼀个神经元都有输⼊、处理函数和输出。神经元组合起来形成了⽹络，可以拟合任何函数。为了得到最佳的神经⽹络，我们⽤梯度下降⽅法不断更新模型给定上述关于神经⽹络的描述，什么情况下神经⽹络模型被称为深度学习模型？A.加⼊更多层，使神经⽹络的深度增加B.有维度更⾼的数据C.当这是⼀个图形识别的问题时D.以上都不正确解析：正确答案A，更多层意味着⽹络更深。没有严格的定义多少层的模型才叫深度模型，⽬前如果有超过2层的隐层，那么也可以及叫做深度模型。训练CNN时，可以对输⼊进⾏旋转、平移、缩放等预处理提⾼模型泛化能⼒。这么说是对，还是不对？A.对B.不对解析：对。如寒sir所说，训练CNN时，可以进⾏这些操作。当然也不⼀定是必须的，只是dataaugmentation扩充数据后，模型有更多数据训练，泛化能⼒可能会变强。下⾯哪项操作能实现跟神经⽹络中Dropout的类似效果？A.BoostingB.BaggingC.StackingD.Mapping解析：正确答案B。Dropout可以认为是⼀种极端的Bagging，每⼀个模型都在单独的数据上训练，同时，通过和其他模型对应参数的共享，从⽽实现模型参数的⾼度正则化。下列哪⼀项在神经⽹络中引⼊了⾮线性？A.随机梯度下降B.修正线性单元（ReLU）C.卷积函数D.以上都不正确解析：正确答案B。修正线性单元是⾮线性的激活函数。深度学习中的“深度”是指A.计算机理解深度B.中间神经元网络的层次很多C.计算机的求解更加精确D.计算机对问题的处理更加灵活正确答案B下列哪一项在神经网络中引入了非线性A.随机梯度下降B.修正线性单元(ReLU)C.卷积函数D.以上都不对正确答案B下列哪个神经网络结构会发生权重共享A.卷积神经网络B.循环神经网络C.全连接神经网络D.选项A和B正确答案D关于句子向量表示，下列说法正确的是A.只能通过有监督学习获得B.只能通过无监督学习获得C.有监督和无监督学习都可以获得D.以上都不对正确答案C在神经网络中，下列哪种技术用于解决过拟合A.DropoutB.正则化C.earlystopD.BatchNormalizaiton正确答案ABCD以下哪种不是自适应学习率方法A.Mini-batchSGDB.AdagradC.RMSprop正确答案A哪种策略可以加速词向量训练A.para2vectB.层级softmaxC.最大似然估计D.以上都不对正确答案B关于梯度下降算法，以下说法正确的是A.随机梯度下降算法是每次考虑单个样本进行权重更新B.Mini-Batch梯度下降算法是批量梯度下降和随机梯度下降的折中C.批量梯度下降算法是每次考虑整个训练集进行权重更新D.以上都对正确答案D与传统机器学习方法相比，深度学习的优势在于A.深度学习可以自动学习特征B.深度学习完全不需要做数据预处理C.深度学习完全不提取底层特征，如图像边缘、纹理等D.深度学习不需要调参正确答案A下列哪一项在神经网络中引入了非线性A.随机梯度下降B.Sigmoid激活函数C.增大权重和偏置的初始化值D.以上都不对正确答案B在其他条件不变的前提下，以下哪些做法容易引起机器学习中的过拟合问题A.增加训练集量B.减少神经网络隐藏节点数C.在损失函数中增加正则项D.SVM算法中使用高斯核/RBF核代替核性核正确答案D24、深度学习与机器学习算法之间的区别在于，后者过程中无需进行特征提取工作，也就是说，我们建议在进行深度学习过程之前要首先完成特征提取的工作。这种说法是：A、正确的B、错误的正确答案是：B解析：正好相反，深度学习可以自行完成特征提取过程而机器学习需要人工来处理特征内容。25、下列哪一项属于特征学习算法（representationlearningalgorithm）？A、K近邻算法B、随机森林C、神经网络D、都不属于正确答案是：C解析：神经网络会将数据转化为更适合解决目标问题的形式，我们把这种过程叫做特征学习。26、提升卷积核(convolutionalkernel)的大小会显著提升卷积神经网络的性能，这种说法是A、正确的B、错误的正确答案是：B解析：卷积核的大小是一个超参数(hyperparameter)，也就意味着改变它既有可能提高亦有可能降低模型的表现。27、阅读以下文字：假设我们拥有一个已完成训练的、用来解决车辆检测问题的深度神经网络模型，训练所用的数据集由汽车和卡车的照片构成，而训练目标是检测出每种车辆的名称（车辆共有10种类型）。现在想要使用这个模型来解决另外一个问题，问题数据集中仅包含一种车（福特野马）而目标变为定位车辆在照片中的位置。A、除去神经网络中的最后一层，冻结所有层然后重新训练B、对神经网络中的最后几层进行微调，同时将最后一层（分类层）更改为回归层C、使用新的数据集重新训练模型D、所有答案均不对正确答案是：B28、假设你有5个大小为7x7、边界值为0的卷积核，同时卷积神经网络第一层的深度为1。此时如果你向这一层传入一个维度为224x224x3的数据，那么神经网络下一层所接收到的数据维度是多少？A、218x218x5B、217x217x8C、217x217x3D、220x220x5正确答案是：A29、假设我们有一个使用ReLU激活函数(ReLUactivationfunction)的神经网络，假如我们把ReLU激活替换为线性激活，那么这个神经网络能够模拟出同或函数(XNORfunction)吗？A、可以B、不好说C、不一定D、不能正确答案是：D解析：使用ReLU激活函数的神经网络是能够模拟出同或函数的。但如果ReLU激活函数被线性函数所替代之后，神经网络将失去模拟非线性函数的能力。30、假设我们有一个5层的神经网络，这个神经网络在使用一个4GB显存显卡时需要花费3个小时来完成训练。而在测试过程中，单个数据需要花费2秒的时间。如果我们现在把架构变换一下，当评分是0.2和0.3时，分别在第2层和第4层添加Dropout，那么新架构的测试所用时间会变为多少？A、少于2sB、大于2sC、仍是2sD、说不准正确答案是：C解析：在架构中添加Dropout这一改动仅会影响训练过程，而并不影响测试过程。31、梯度下降算法的正确步骤是什么？1.计算预测值和真实值之间的误差2.重复迭代，直至得到网络权重的最佳值3.把输入传入网络，得到输出值4.用随机值初始化权重和偏差5.对每一个产生误差的神经元，调整相应的（权重）值以减小误差A、1,2,3,4,5 B、5,4,3,2,1 C、3,2,1,5,4 D、4,3,1,5,2正确答案：D32、已知：大脑是有很多个叫做神经元的东西构成，神经网络是对大脑的简单的数学表达。每一个神经元都有输入、处理函数和输出。神经元组合起来形成了网络，可以拟合任何函数。为了得到最佳的神经网络，我们用梯度下降方法不断更新模型给定上述关于神经网络的描述，什么情况下神经网络模型被称为深度学习模型？A、加入更多层，使神经网络的深度增加B、有维度更高的数据C、当这是一个图形识别的问题时D、以上都不正确答案：A解析：更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型，目前如果有超过2层的隐层，那么也可以及叫做深度模型。33、训练CNN时，可以对输入进行旋转、平移、缩放等预处理提高模型泛化能力。这么说是对，还是不对？A、对B、不对答案：A解析：如寒sir所说，训练CNN时，可以进行这些操作。当然也不一定是必须的，只是dataaugmentation扩充数据后，模型有更多数据训练，泛化能力可能会变强。34、下面哪项操作能实现跟神经网络中Dropout的类似效果？A、BoostingB、BaggingC、StackingD、Mapping答案：B解析：Dropout可以认为是一种极端的Bagging，每一个模型都在单独的数据上训练，同时，通过和其他模型对应参数的共享，从而实现模型参数的高度正则化。35、下列哪一项在神经网络中引入了非线性？A、随机梯度下降B、修正线性单元（ReLU）C、卷积函数D、以上都不正确答案：B解析：修正线性单元是非线性的激活函数。36、在训练神经网络时，损失函数(loss)在最初的几个epochs时没有下降，可能的原因是？A、学习率(learningrate)太低B、正则参数太高C、陷入局部最小D、以上都有可能答案：D37、下列哪项关于模型能力（modelcapacity）的描述是正确的？（指神经网络模型能拟合复杂函数的能力）A、隐藏层层数增加，模型能力增加B、Dropout的比例增加，模型能力增加C、学习率增加，模型能力增加D、都不正确答案：A38、如果增加多层感知机（MultilayerPerceptron）的隐藏层层数，分类误差便会减小。这种陈述正确还是错误？A、正确B、错误答案：B解析：并不总是正确。层数增加可能导致过拟合，从而可能引起错误增加。39、下面关于池化的描述中，错误的是哪个？A.池化的常用方法包括最大化池化、最小化池化、平均化池化、全局池化B.在人脸识别中采用较多池化的原因是为了获得人脸部的高层特征C.池化在CNN中可以减少较多的计算量，加快模型训练D.池化方法可以自定义正确答案：A解题思路：池化的常用方法包括最大化池化和平均化池化，不包括最小化池化40、一个循环神经网络可以被展开成为一个完全连接的、具有无限长度的普通神经网络，这种说法是A、正确的B、错误的正确答案是：A解析：循环神经元可以被认为是一个具有无限时间长度的神经元序列。二、多选题1、以下有关卷积神经网络的说法，哪些是错误的？A.卷积核越大，即感受野越大，网络需要优化的参数越少，训练速度越快B.通过增加卷积核的大小和通道的个数，可以提升卷积神经网络特征获取的能力C.共享权重大大减少了参数的个数，降低了网络的复杂度D.卷积核中的取值都是事先人工设计的，在网络的训练过程中不变化正确答案：A、D解题思路：卷积核的大小需要根据输入图像的大小适当定义，即不宜过大也不宜过小，A错误。卷积核的取值需要根据图像特征不同进行修改，这样才能减少误差，D错误2、下面有关卷积神经网络的说法哪些是正确的？A.在特征图padding时，各方向的填充像素数不一定相同（不对称填充），也不一定补0B.在卷积神经网络中，卷积和池化的作用主要是分类，全连接层的作用主要是特征获取C.卷积神经网络的输出层不一定用全连接网络，也可能得到比较好的性能D.卷积核的高和宽不一定是相等的，且一般大小取奇数正确答案：A、C、D解题思路：卷积和池化的主要目的是为了减少样本的参数数量，所以B选项是错误的判断题多层神经网络本质是是一个复合函数√贝叶斯派统计方法比频率派统计方法估计模型参数更优？√RNN适用于序列数据的处理√LSTM网络结构有利于解决RNN训练出现的梯度消失或者爆炸的问题√GAN只能用于深度神经网络√所有深度学习模型都是神经网络√？支持向量机仅能处理二分类问题，产生线性平面×一般来说，L1正则化可产生比L2正则化更稀疏的解√梯度为0的点只能是局部极小点或局部极大点×如果增加多层感知机（MultilayerPerceptron）的隐藏层层数，分类误差便会减小。×神经网络可以生成任意的决策边界√神经网络被称为通用函数拟合器，所以它理论上可以表示任何决策边界。√单计算层感知器只能解决线性可分问题√一个不包含非线性的神经元可以看作是线性回归函数（LinearRegressionFunction）√SVM算法中高斯核/RBF核代替限行和容易引起过拟合问题√在数据很稀疏和神经网络参数量较少的场景下，偏向于使用L-BFGS而不是SGD√负对数似然度损失函数和欧式距离损失函数都是用于计算像素区域的修复√RNN可以被展开为一个完全连接的，具有无限长度的普通网络√循环神经网络可以被认为是一个具有无限时间长度的神经元序列√理论上神经网络可以解决任何问题，因为神经网络可以逼近任何函数√神经网络进行图片语义分割时，先用CNN处理输入，再用反CNN得到输出√在神经网络中ReLU永远不会饱和×Dropout率（神经元的激活率）越高，正则化程度越高×与普通反向传播不同的是，随时间的反向传播算法会在每个时间步长内叠加所有对应权重的梯度√在神经网络中，每个参数可以有不同的学习率√使用深度学习的情感分析是对多一的预测任务√GatedRecurrentUnits的出现可以帮助防止在RNN中梯度消失的问题√将Sigmoid激活函数改为ReLU，将有助于克服梯度消失的问题√激活函数为有限值时，基于梯度的优化方法更加稳定√深度学习是一种特殊的表示学习方法√简答题如何优化Kmeans。使用Kd树或者BallTree将所有的观测实例构建成一颗kd树，之前每个聚类中心都是需要和每个观测点做依次距离计算，现在这些聚类中心根据kd树只需要计算附近的一个局部区域即可。KMeans初始类簇中心点的选取。K-means++算法选择初始seeds的基本思想就是：初始的聚类中心之间的相互距离要尽可能的远。从输入的数据点集合中随机选择一个点作为第一个聚类中心对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)选择一个新的数据点作为新的聚类中心，选择的原则是：D(x)较大的点，被选取作为聚类中心的概率较大重复2和3直到k个聚类中心被选出来利用这k个初始的聚类中心来运行标准的k-means算法解释对偶的概念。一个优化问题可以从两个角度进行考察，一个是primal问题，一个是dual问题，就是对偶问题，一般情况下对偶问题给出主问题最优值的下界，在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界，对偶问题是凸优化问题，可以进行较好的求解，SVM中就是将Primal问题转换为dual问题进行求解，从而进一步引入核函数的思想。如何进行特征选择？特征选择是一个重要的数据预处理过程，主要有两个原因：一是减少特征数量、降维，使模型泛化能力更强，减少过拟合;二是增强对特征和特征值之间的理解。CNN最成功的应用是在CV，那为什么NLP和Speech的很多问题也可以用CNN解出来？CNN抓住此共性的手段主要有四个：局部连接／权值共享／池化操作／多层次结构。局部连接使网络可以提取数据的局部特征；权值共享大大降低了网络的训练难度，一个Filter只提取一个特征，在整个图片（或者语音／文本）中进行卷积；池化操作与多层次结构一起，实现了数据的降维，将低层次的局部特征组合成为较高层次的特征，从而对整个图片进行表示。LSTM结构推导，为什么比RNN好？推导forgetgate，inputgate，cellstate，hiddeninformation等的变化；因为LSTM有进有出且当前的cellinformaton是通过inputgate控制之后叠加的，RNN是叠乘，因此LSTM可以防止梯度消失或者爆炸。为什么朴素贝叶斯如此“朴素”？因为它假定所有的特征在数据集中的作用是同样重要和独立的。正如我们所知，这个假设在现实世界中是很不真实的，因此，说朴素贝叶斯真的很“朴素”。增加卷积核的大小对于改进卷积神经网络的效果是必要的吗？答案：不是，增加核函数的大小不一定会提高性能。这个问题在很大程度上取决于数据集。常见的分类算法有哪些？SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯常见的监督学习算法有哪些？感知机、SVM、人工神经网络、决策树、逻辑回归对Django的认识？（1.Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。（2.Django内置的ORM跟框架内的其他模块耦合程度高。应用程序必须使用Django内置的ORM，否则就不能享受到框架内提供的种种基于其ORM的便利；理论上可以切换掉其ORM模块，但这就相当于要把装修完毕的房子拆除重新装修，倒不如一开始就去毛胚房做全新的装修。（3.Django的卖点是超高的开发效率，其性能扩展有限；采用Django的项目，在流量达到一定规模后，都需要对其进行重构，才能满足性能的要求。（4.Django适用的是中小型的网站，或者是作为大型网站快速实现产品雏形的工具。（5.Django模板的设计哲学是彻底的将代码、样式分离；Django从根本上杜绝在模板中进行编码、处理数据的可能。Django、Flask、Tornado的对比（1.Django走的是大而全的方向,开发效率高。它的MTV框架,自带的ORM,admin后台管理,自带的sqlite数据库和开发测试用的服务器给开发者提高了超高的开发效率（2.Flask是轻量级的框架,自由,灵活,可扩展性很强,核心基于WerkzeugWSGI工具和jinja2模板引擎（3.Tornado走的是少而精的方向,性能优越。它最出名的是异步非阻塞的设计方式django请求的生命周期？(1.wsgi,请求封装后交给web框架（Flask、Django）(2.中间件，对请求进行校验或在请求对象中添加其他相关数据，例如：csrf、request.session-(3.路由匹配根据浏览器发送的不同url去匹配不同的视图函数(4.视图函数，在视图函数中进行业务逻辑的处理，可能涉及到：orm、templates=>渲染-(5.中间件，对响应的数据进行处理。(6.wsgi,将响应的内容发送给浏览器。简述什么是FBV和CBV？FBV和CBV本质是一样的基于函数的视图叫做FBV，基于类的视图叫做CBV在python中使用CBV的优点：(1.提高了代码的复用性，可以使用面向对象的技术，比如Mixin（多继承）(2.可以用不同的函数针对不同的HTTP方法处理，而不是通过很多if判断，提高代码可读性简述MVC和MTVMVC软件系统分为三个基本部分：模型(Model)、视图(View)和控制器(Controller)Model：负责业务对象与数据库的映射(ORM)View：负责与用户的交互Control：接受用户的输入调用模型和视图完成用户的请求Django框架的MTV设计模式借鉴了MVC框架的思想,三部分为：Model、Template和ViewModel(模型)：负责业务对象与数据库的对象(ORM)Template(模版)：负责如何把页面展示给用户View(视图)：负责业务逻辑，并在适当的时候调用Model和Template此外,Django还有一个urls分发器,它将一个个URL的页面请求分发给不同的view处理,view再调用相应的Model和Templatedjango路由系统中name的作用？用于反向解析路由,相当于给url取个别名，只要这个名字不变,即使对应的url改变通过该名字也能找到该条url列举django的内置组件？(1.Admin是对model中对应的数据表进行增删改查提供的组件(2.model组件：负责操作数据库(3.form组件：1.生成HTML代码2.数据有效性校验3校验信息返回并展示(4.ModelForm组件即用于数据库操作,也可用于用户请求的验证说一下Django，MIDDLEWARES中间件的作用和应用场景？中间件是介于request与response处理之间的一道处理过程,用于在全局范围内改变Django的输入和输出。简单的来说中间件是帮助我们在视图函数执行之前和执行之后都可以做一些额外的操作例如：(1.Django项目中默认启用了csrf保护,每次请求时通过CSRF中间件检查请求中是否有正确#token值(2.当用户在页面上发送请求时，通过自定义的认证中间件，判断用户是否已经登陆，未登陆就去登陆。(3.当有用户请求过来时，判断用户是否在白名单或者在黑名单里列举django中间件的5个方法？process_request:请求进来时,权限认证process_view:路由匹配之后,能够得到视图函数process_exception:异常时执行process_template_responseprocess:模板渲染时执行process_response:请求有响应时执行Django重定向是如何实现的？用的什么状态码？1.使用HttpResponseRedirect2.使用redirect和reversedjango中csrf的实现机制第一步：django第一次响应来自某个客户端的请求时,后端随机产生一个token值，把这个token保存在SESSION状态中;同时,后端把这个token放到cookie中交给前端页面；第二步：下次前端需要发起请求（比如发帖）的时候把这个token值加入到请求数据或者头信息中,