深度学习基础与实践 单元练习答案汇 单元1-10

.6单元练习1.20世纪30年代到50年代，就提出了神经网络，但是由于硬件条件和数据集的限制，让神经网络之后陷入冰河时代，之后的硬件条件和数据集大量提高让神经网络重回人们视野，并取得了令人著名成绩。2.迁移学习和端到端学习可以结合到一个网络中。3.深度学习是由神经网络发展而来的。4.推动深度学习成功有三大因素：大数据出现、计算能力提高、算法的创新。5.卷积神经网络的应用领域有：图像分类、目标检测、图像分割、人像检测。2.7单元练习1.“过拟合”常常在模型学习能力较弱，而数据复杂度较高的情况出现，此时模型由于学习能力不足，无法学习到数据集中的“一般规律”，导致泛化能力弱。（错）2.在神经网络训练的过程中，欠拟合主要表现为输出结果的高偏差，而过拟合主要表现为输出结果的高方差。（对）3.过拟合的缓解办法有：数据增强、正则化、Dropout、增加噪声等。（对）4.损失函数通常是指在单个样本上的函数，是一个样本的误差，而代价函数是整个训练集上的函数，是所有样本的误差平均，代价函数是目标函数的一部分。（对）5.对数损失函数用到了极大似然估计的思想，在当前模型上取正确预测的概率，取对数即可得到结果。（错）6.MSE通常可以作为回归问题的性能指标，RMSE通常作为回归问题的代价函数。（错）7.优化在深度学习中的挑战有局部最小值和鞍点。（对）8.数据增强常用在视觉表象和图像分类中，其中有随机旋转、随机裁剪、色彩抖动、高斯噪声、水平翻转和竖直翻转，可增加图像的多样性。（对）9.DropConnect与DropOut的区别在于前者在输入时减少权重的连接，而后者是在输出时减少权重的连接。（错）3.6单元练习1.PyTorch是开源的机器学习库，用于自然语言处理等应用程序，提供了强大的GPU加速张量的计算，且包含自动求导的机制。（对、错）2.PyTorch这个框架擅长处理数据分析，拥有众多模块包，且上手快，代码简洁灵活，文档规范等都是该框架的优点。（对、错）3.PyTorch框架相对于其他的框架而言更为简洁灵活、方便易用，在灵活的同时速度也很快，且提供了完整的文档和社区供开发者讨论学习。（对、错）4.PyTorch内置大量的数学操作，如加法操作、绝对值操作、随机生成数组等。5.PyTorch提供了张量、数学操作、数理统计、比较操作。6.PyTorch中的张量概念包括标量、向量和线性算子。7.张量可以用坐标系统来表达，是可以记作标量的数组。4.7单元练习1.torch.mm是做矩阵中元素相乘，torch.mul是做矩阵乘法。（错）2.x+y不能使用torch.sum(x,y)，而是用torch.add(x,y)。（对）3.只有相同环境下的变量才能一起运算，如果一个变量在CPU上，而另一个变量在GPU上，它们是不允许做任何运算的。（对）4.只有相同环境下的变量才能一起运算，如果一个变量在CPU上，而另一个变量在GPU上，它们是不允许做任何运算的。（对）5.归一化的目的是减少内部协变量偏移问题，让输入数据的分布一致，比如都归一化到标准正态分布上。（对）6.全连接层的操作类似于传统的神经网络的操作。（对）5.6单元练习1.PyTorch的数据加载器有两种，分别是Torch.utils.Dataset和Torchvision.datasets.ImageFolder，其中Torchvision.datasets.ImageFolder对数据集文件夹分布有要求，而Torch.utils.Dataset没有。（对）2.PyTorch实现深度模型有四大步骤：输入处理模块；模型构建模块；定义代价函数和优化器模块；构建训练过程。（对）3.采样器torch.utils.dataloader是对加载器Torch.utils.Dataset和Torchvision.datasets.ImageFolder的再次封装，torch.utils.dataloader定义采样的策略，采样样本的数量等信息。（对）4.Transforms.ToTensor()是深度学习图像处理必不可少的预处理方式，它是将PIL图像转为tensor张量，从而让计算机进行图像张量的计算。（对）5.数据集的预处理是非常重要的一个环节，它有数据增强、提高精度、加速模型学习等作用。（对）6.State_dict表示参数权重字典，在进行测试阶段时，必须使用model.eval()，将模型设置为测试阶段。（对）6.6单元练习1.在CNN网络出现之前，人工智能对图像研究存在着三大问题：图像数据处理的数据量非常大；图像数字化过程很难保留原有特征；早期方法获取信息丰富，特征难度大。（对）2.CNN网络主要用于图像分类、图像检索、目标定位检测、目标分割、时序预测、目标识别等领域。（错）3.卷积操作中可分卷积比较常用，深度可分卷积不太常用。（错）4.Fashion-MNIST是2017年提出来的，用于基准机器学习算法的新型图像数据集。它旨在替代MNIST，提供更具有挑战性的基准机器学习算法数据集。（对）5.num_workers允许使用多个线程来加速读取数据，但是需要注意Windows系统暂不支持这个超参数，只允许使用一个线程。（对）6.构造模型时，必须继承torch.Module这个父类，pytorch才能识别出自定义的模型，并自动进行反向传播机制。（对）7.6单元练习1.数字图像是由无限多的元素组成的，每个元素都有一个特定的位置和幅值，这些元素称为图画元素、图像元素或像素，像素是广泛用于表示数字图像元素的术语。（错）2.数字图像中有三种典型的计算，一种是图像到图像的低级处理，一种是图像到特征的中级处理，还有一种是图像到内容理解的高级处理。（对）3.根据每个像素所代表的信息不同，能够将图像分为二值图像、灰度图像、RGB图像、索引图像等。（错）4.数字图像通常要求很多的比特数，在传输和存储上存在很大的困难，会占用很多的资源，也会消耗很高的费用。（对）5.图像编码也叫做图像压缩，是指在满足一定质量的条件下，使用较少的比特数表示图像或图像中所包含的技术，压缩算法有哈夫曼、位平面、预测、有损预测编码等。（对）6.使用深度学习在进行图像分类或者目标对象检测的时候，首先需要对图像做数据预处理，最常见的对图像预处理方法有两种，正常白化处理又叫图像标准化处理，另外一种方法叫做归一化处理。（对）8.7单元练习1、数据预测的原理是运用过去的时间序列数据进行统计分析，消除随机波动和偶然因素所带来的影响，预测出事物的定性结果。（错）2、时间序列的数据存在着规律性和不规律性，根据不同的因素有不同的类型，大致包含四个特征：周期性、不变性、趋势性和综合性。（错）3、LongShortTermMemorynetworks简称LSTM，是一种特殊的RNN网络，该网络设计出来是为了解决长期依赖问题。（对）4、当模型能够表示长期依赖时，长期相互作用的梯度幅度值就会变得指数小，但是这不意味着不可学习，只是长期依赖容易被短期相关性产生的最小波动隐藏，因此需要花更多的时间去学习它。（对）5、由于LSTM长短期记忆能够记忆不定时间长度的数值，所以能够在一定程度上解决RNN存在的梯度消失或梯度爆炸的问题。（对）6、相较于RNN而言，LSTM提供了一个记忆单元作为输入，在网络结构加深时能够传递前后层的网络信息。（错）9.6单元练习1.一般而言，一个好的表示可以使后续的学习任务更容易，选择什么表示通常取决于后续的学习任务。（对）2.图像分类研究的主要流程有：获取数据集，生成特征，使用模型将特征进行分类。（对）3.AlexNet网络使用了很多网络的新技术点，包括ReLu激活函数，Dropout避免拟合，利用平均池化丰富特征，LRN增加范化能力，使用GPU加速训练，以及数据增强。（错）4.图像分类的任务是将不同的图像划分到不同的类别，实现最小分类误差和最高精度。（对）5.深度学习图像分类中轻量化模型优点在于参数模型小，计算量小，但是精度和速度较低。（错）6.AlexNet网络中使用一个自适应平均池化操作，但是输入输出的特征数目不会变化。（对）10.6单元练习网络退化是指：随着网络层数的不断增加，模型精度不断得到提升，而当网络层级数加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了。（对）ResNet残差网络解决了网络退化的问题，主要是用到了“bottleneckblock”和“basicblock”两种残差块结构。（对）PyTorch实现ResNet,可以使用Torchvision.models包来方便实现，即Torchvision.models.resnet50(pretrained=true)。（对）行人重识别，是指在给定某个监控摄像机下的行人图像，利用行人