《强化学习》课程教学大纲

ADDINCNKISM.UserStyle《强化学习》课程教学大纲一、课程基本信息课程号2023S04110开课单位网络空间安全与计算机学院课程名称（中文）强化学习（英文）ReinforcementLearning课程性质选修考核类型考试课程学分2课程学时34课程类别专业发展课程（专业拓展课程）先修课程人工智能程序设计、人工智能数学基础、机器学习、深度学习适用专业（类）人工智能二、课程描述及目标（一）课程简介《强化学习》课程是本专业（类）的一门专业发展课程，是人工智能专业学术方向的专业拓展课程。本课程针对人工智能中的前沿技术——强化学习开设专业拓展课程，旨在使学生掌握强化学习的基本原理和基本方法，基于强化学习的控制、决策和优化方法设计与理论分析，深度强化学习原理以及平行强化学习等未来强化学习的发展新方向，了解从先行后知到先知后行，再到知行合一的混合平行智能思路，对人工智能专业学生的知识学习、能力提高、素质培养和日后的学术研究、技术开发、经营管理等工作具有十分重要的基础性和引导性作用。（二）教学目标通过本课程，学生将掌握强化学习的基本原理和基本方法，基于强化学习的控制、决策和优化方法设计与理论分析。课程目标1：掌握强化学习的基本原理和基本方法；课程目标2：掌握基于强化学习的控制、决策和优化方法设计与理论；课程目标3：学习强化学习的思维方法，培养综合素质与创新能力；课程目标4：了解强化学习发展趋势、热点问题，促进研究性学习。三、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重1-4：能够利用系统思维的能力，将工程知识用于专业工程问题解决方案的比较与综合，并体现人工智能领域先进的技术。课程目标1课程目标2课程目标3课程目标40.42-1：能运用相关科学原理，识别和判断人工智能领域中复杂工程问题的关键环节。课程目标1课程目标2课程目标30.410-2：了解人工智能专业领域的国际发展趋势、研究热点，理解和尊重世界不同语言、文化的差异性和多元化。课程目标40.2四、教学方式与方法（一）教学方式课堂讲授，辅以适当的课堂提问、讨论和练习。（二）教学方法（1）启发式教学、探讨式教学、案例教学相结合。（2）引导学生充分利用网络资源、相关文献进行自主学习。五、教学重点与难点（一）教学重点马尔可夫决策过程，动态规划，蒙特卡洛学习方法，时序差分学习等内容。（二）教学难点马尔可夫决策过程，动态规划，蒙特卡洛学习方法，时序差分学习等内容。六、教学内容、基本要求与学时分配序号教学内容基本要求学时教学方式对应课程目标1第1章强化学习概论了解强化学习的发展历程与研究现状。4讲授课程目标12第2章马尔可夫决策过程掌握马尔可夫决策过程，策略与代价函数，以及最优策略与最优代价函数。6讲授课程目标23第3章动态规划了解动态规划的兴起，动态规划基本思想：多级决策过程；理解最优性原理与递推方程；掌握离散时间动态规划，以及连续时间动态规划。8讲授课程目标34第4章蒙特卡洛学习方法了解蒙特卡洛方法背景，理解蒙特卡洛预测，以及蒙特卡洛控制。8讲授课程目标45第5章时序差分学习掌握时序差分学习基本概念，时序差分学习算法，n步回报，以及TD(λ)算法。8讲授课程目标5合计34八、学业评价和课程考核（一）考核类型：考试考查（二）考核方式：开卷考试闭卷考试课程论文课程报告其它：（三）成绩评定：考核依据建议分值（百分比）考核/评价细则对应课程目标过程考核30%出勤5%考勤情况。作业20%按时完成上交，作业无抄袭现象，结果正确。课程目标2课程目标3课程目标4课程目标5表现5%课堂积极回答问题。课程目标1课程目标2课程目标3课程目标4课程目标5期末考核70%以期末卷面成绩为依据。课程目标1课程目标2课程目标3课程目标4课程目标5九、课程目标达成评价课程目标的实际达成效果计算方式如下，达成值越高，教学效果越好。课程目标达成度毕业要求指标点达成度十、教材与教学参考书（一）教材《强化学习》，魏庆来等编著，清华大学出版社，2022.07，第一版，978-7-302-58972-3；（二）教学参考书《神经