深度学习及其应用-习题及答案 DNN应用习题

CVCodingProject:微调深度神经网络进行细粒度图像分类细粒度图像分类(Fine-GrainedImageClassification)是一项计算机视觉领域具有相当挑战性的任务。其目标是将图像分为大类中的子类，如将属于“花卉”的许多图像细分为具体的品种。这一任务中，由于待分类的物体均来自同一大类，具有相似的外观，因而对模型来说捕捉细微的视觉差异所必需的（例如，耳朵、鼻子或尾巴等细节特征）；并且，在这一任务重，由于各个子类属于同一大类，各个子类的图像具有较小的类间差异(Inter-classVariation)，而子类内部的图像则由于姿势、尺度和旋转等因素，具有较大的类内差异(Intra-classVariation)。这与传统分类任务类内差异较小、类间差异较大的情况恰好相反。在这一项目中，我们将尝试对使用ImageNet进行预训练的模型在细粒度图像分类任务上进行微调，更加细致地探索细粒度图像分类与传统图像分类的差异带来的影响。Caltech-UCSDBirds-200-2011(CUB-200-2011)数据集是细粒度视觉分类任务中使用最广泛的数据集之一。它包含属于鸟类的200个子类别的11,788张图像，其中5,994张用于训练，5,794张用于测试，每张图像都有详细的注释。请尝试基于ImageNet1K上预训练的深度神经网络模型(参考[\htorchvision])自行搭建数据集预处理、模型加载、模型微调、性能评估流水线，测试EfficientNetB0模型在CUB-200-201上的表现。NLPAlgorithmDesign:考虑形态学结构的Word2vec改进在世界上的大多数语言中，词语的形态学结构往往包含与单词语义有关的信息。有些单词表现出很强的语义组合特征，例如，在中文中，“教育”一词的含义可以由“教”和“育”两个字的含义所推断出来；同样，在英语中也有类似的现象，“toothbrush”(牙刷)一词的含义也是由“tooth”(牙齿)和“brush”(刷子)的语意组合而成。有些单词的词形变化则体现出各种语义和语法现象。在Word2Vec算法中，我们仅考虑了每个单词“作为一个整体”的自监督训练方法，而没有考虑到这一形态学信息。在一些形态丰富的语言中，一个单词可能存在多种形式，某些形式出现的频率较低，这使得对它们的自监督表征学习较为困难。例如，芬兰语中有多达15种名词变格，日语中的动词也有15种可以变换的形态。如果在单词词向量的训练中考虑到其子词的构成，则可以通过这些子词的信息降低变格单词的稀疏性对自监督学习的负面影响。在此，我们希望对Word2Vec算法进行改进，使其考虑到单词的形态学特征，特别是与词根、前缀、后缀等富信息子词或其他单词的语意组合特征。在对Word2Vec算法进行改进的过程中，我们会遇到一系列关键问题，如：1.如何将单词高效拆分成子词？2.如何在词向量中引入子词信息？3.如何设计自监督训练的任务和目标函数？本题是一个开放性问题。请根据你对本章内容的理解，设计一个考虑到形态学结构的词嵌入算法。SpeechCodingProject:端到端语音识别管线的实现传统的自动语音识别(AutomaticSpeechRecognition)一般分为声学模型和语言模型，声学模型负责将音频序列转化为音素序列，语言模型则负责将这些音素序列转化成文字序列。而端到端(End-to-end)语音识别基于深度学习技术，使用单个网络将输入语音序列直接转换为输出标记序列，带来了语音识别范式的革命。端到端模型简化了语音识别流程，减少了专家知识的需求；并且其使用与语音识别目标一致的单一目标函数来优化整个网络，能够保证全局最优。在这一项目中，我们将尝试使用基于连接时序分类(ConnectionistTemporalClassification,CTC)和LSTM的编码器-解码器网络，实现端到端的语音识别管线。HarperValleyBank是一个公共领域口语对话语料库，模拟了基于电话或app的消费者银行业务交互场景。HarperValleyBank包含包含了1446段对话，涉及59位说话者，总量约23小时。数据