《深度学习》教学大纲

《深度学习》教学大纲课程英文名DeepLearning课程代码03M0269学分2.0总学时32理论学时32实验学时0上机学时16实践学时0课程类别专业教育课程性质必修先修课程Python程序设计、机器学习适用专业人工智能开课学院信息工程学院注：课程类别是指公共基础课/学科基础课/专业教育课；课程性质是指必修/限选/任选。一、课程地位与课程目标（一）课程地位深度学习及应用是一门人工智能专业的专业教育课。课程围绕深度神经网络，讲授深度神经网络的工作原理和应用。课程主要完成的教学内容：神经网络基本原理与优化方法、感知机、逻辑回归、soft-max分类、BP神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)等，主要让学生熟悉主流神经网络模型的原理、设计思想，掌握几种主要的神经网络训练和优化算法，了解当今深度学习的前沿进展和成果应用，并具备使用深度学习解决实际应用问题的能力，为更深入地学习打下良好的基础。（二）课程目标1.ILO-1：理解深度神经网络的基本原理、优化方法，掌握感知机、逻辑回归、soft-max分类、BP神经网络。理解过拟合问题及dropout技术。了解神经网络的优化器。了解梯度消失、梯度爆炸问题及其解决方法。以AI历史上的突破故事为引，给学生强调变换思路的重要性,培养学生变换思维的能力,通过上机的实际体验，告诉学生透过现象看本质，按照客观规律办事的道理。2.ILO-2：掌握卷积神经网络(CNN)，理解卷积的概念，掌握卷积层、池化层、全连接层的结构，理解卷积层的权值共享特性。掌握分类、回归问题常见的损失函数。具备搭建CNN进行调试的能力。具备对常见图像应用使用CNN进行建模的能力。通过学习让学生了解华人对AI领域的贡献，增强民族自信心,引导学生发奋图强、打好基础，提高学生自主创新能力和反专利垄断的社会责任感。3.ILO-3：掌握循环神经网络(RNN)，理解序列模型，理解循环神经网络的展开方式。掌握语言处理或其他序列数据处理的基本方法。掌握RNN的网络架构和损失函数。理解LSTM的结构，掌握各个门控单元的作用。具备搭建RNN进行调试的能力。具备对常见序列应用使用RNN进行建模的能力。二、课程目标达成的途径与方法本课程支撑的毕业要求如下：毕业要求1：工程知识：能够将数学、自然科学、人工智能专业知识用于解决人工智能相关的复杂工程问题。毕业要求2：问题分析：能够应用数学、自然科学和工程科学的基本原理，识别、表达、并通过文献研究分析人工智能领域复杂工程问题，以获得有效结论。毕业要求4：研究：能够基于人工智能科学原理并采用科学方法对复杂工程问题进行研究，包括设计实验、分析与解释数据、并通过信息综合得到合理有效的结论；主要以课堂教学为主，结合期末测试、上机实践、专题讨论等途径和方法来达成。具体每个课程目标的达成途径与方法见下表所示。课程目标达成途径ILO-1课堂教学、课后作业、上机作业、课堂问答及测试和期末测试ILO-2课堂教学、实验，课堂问答及测试和期末测试ILO-3课堂教学、实验，课堂问答及测试和期末测试三、课程目标与相关毕业要求的对应关系课程目标课程目标对毕业要求的支撑程度（H、M、L）毕业要求1毕业要求2毕业要求4ILO-1MILO-2HILO-3H注：1.支撑强度分别填写H、M或L（其中H表示支撑程度高、M为中等、L为低）。四、课程主要内容与基本要求第1章绪论掌握Pytorch框架下张量算法的基本方法；掌握梯度、链式法则、计算图、反向传播的基本原理及实现；掌握基本概率论。第2章线性神经网络掌握线性回归的基本方法；掌握Pytorch框架下线性回归的实现；掌握softmax回归的基本方法；掌握Pytorch框架下softmax回归的实现；理解信息论中交叉熵与信息量的概念。第3章多层感知机掌握多层感知机的原理，基本激活函数的特性，掌握Pytorch框架下多层感知机的实现。理解欠拟合过拟合、模型选择的概念及基本原理，掌握权重衰减、暂退法、梯度消失梯度爆炸、参数初始化、环境和分布偏移的基本概念。通过上机的实际体验，告诉学生透过现象看本质，按照客观规律办事的道理。第4章深度学习计算掌握Pytorch框架下深度神经网络中层和块的概念及实现方法；了解GPU的工作原理。第5章卷积神经网络掌握卷积神经网络中卷积层、池化层、全连接层的结构，理解卷积层的权值共享特性；掌握Pytorch框架下卷积神经网络的实现；通过本章的学习帮助学生形成应用Pytorch框架等方面知识建立卷积神经网络，对常见图像进行分析解决复杂工程问题的能力，通过上机作业发挥每个人在团队的作用，分工合作，提高凝聚力和合作力。第6章现代卷积神经网络了解AI发展历史进程中具有突破性意义的经典卷积神经网络AlexNet、VGG、NiN、GooLeNet、ResNet的结构、原理及实现。通过了解华人对AI领域的贡献，增强民族自信心,引导学生发奋图强、打好基础，提高学生自主创新能力和反专利垄断的社会责任感。第7章循环神经网络掌握序列模型的基本结构；理解文本数据、语言数据处理的基本原理。掌握Pytorch框架下循环神经网络的实现；第8章现代卷积神经网络了解AI发展历史进程中具有突破性意义的经典循环神经网络GRU、LSTM、编码器\解码器架构、seq2seq的结构、原理及实现；第9章注意力机制掌握注意力机制的概念、Nadaraya-Waston核回归的基本原理及Pytorch框架下的实现；了解Bahdanau注意力的原理；掌握基于注意力机制的Transformer架构。五、课程学时安排章节号教学内容学时数学生任务对应课程目标第1章绪论21.完成课后习题作业ILO-1、2第2章线性神经网络4完成课后习题作业完成上机作业ILO-1、2第3章多层感知机4完成课后习题作业完成上机作业ILO-1、2第4章深度学习计算21.完成上机大作业ILO-1、2、3第5章卷积神经网络4完成课后习题作业完成上机作业ILO-1、2第6章现代卷积神经网络41.完成课后习题作业2.完成上机作业、小组讨论ILO-1、2、3第7章循环神经网络41.完成课后习题作业2.完成上机作业ILO-1、2第8章现代循环神经网络41.完成课后习题作业2.完成上机作业、小组讨论ILO-1、2、3第9章注意力机制41.完成上机大作业ILO-1、2、3六、实践环节及基本要求序号实验项目名称学时基本要求实验性质实验类别1用神经网络实现线性回归和线性分类2掌握深度学习框架的使用，并完成简单的回归和分类任务。验证性必做2用CNN实现图片分类2参考LeNet架构，使用自己构建的简单CNN实现图像分类验证性必做3用VGG和ResNet实现图片分类2使用VGG和ResNet实现图像分类，并进行对比验证性必做4基于RNN的字符级语言模型2使用RNN进行字符序列生成验证性必做5LSTM的应用2使用LSTM进行股价预测设计性必做注：1.实验性质指演示性、验证性、设计性、综合性等；2.实验类别指必做、选做等。七、考核方式及成绩评定考核内容考核方式评定标准（依据）占总成绩比例支撑课程目标过程考核含到课率、课堂讨论发言、平时作业等点名记录讨论回答记录作业成绩20%ILO-1ILO-2ILO-3实验考核上机及实验报告上机操作成绩报告批改成绩30%ILO-2ILO-3期末考核闭卷卷面成绩50%ILO-1ILO-2ILO-3考核类别考查成绩登记方式百分制八、推荐教材与主要参考书（一）推荐教材：AstonZhang，MuLi，ZacharyC.Lipton，AlexanderJ.Smola著.动手学深度学习，人民邮电出版社，2019。（二）主要参考书：1、