《机器学习实战》理论课程教学大纲

PAGEPAGE5《机器学习实战》理论教学大纲课程名称及代码：机器学习实战/04061310英文名称：machinelearningpractice课程性质：专业选修课课程学分与学时：2.5分/45学时（课堂讲授30学时，实验实践15学时，自主学习0学时）先修课程：数学分析、高等代数、概率论与数理统计等适用专业：应用统计学一、课程性质、目的与任务《机器学习实战》是我校应用统计学专业学生的专业方向课程。该课程在学习《微积分》、《线性代数》、《概率论与数理统计》等专业基础课程之后开设，是研究如何对现实数据进行分析、并利用计算机计算得出智能决策的课程。本课程开设针对应用统计专业高年级本科生，体现出将专业基础课程的知识综合运用于现实具体问题，通过模型选择、设定、求解与解释，建立良好的统计思维习惯，形成良好的统计研究素质。通过本课程的学习，学生应达到以下几方面的目标：在详细讲机器学习理论的基础上，进一步重点阐述各种方法在实际工作中的具体应用，力求体现机器学习理论与应用结合的特点。通过本课程的教学，使学生能够在理论联系实际的基础上，比较系统的掌握机器学习中的基本思想、基本理论，能有效与基础数学和统计知识进行融合；掌握并能运用机器学习中的基本方法和技术进行问题设计与求解，使学生能够应用该课程工具为自己所学专业服务，以提高学生科学研究和实际工作能力。二、教学内容与学时分配第一章概述（1学时）1.教学内容：机器学习的涵义，与相关课程的联系，课程的主要内容和知识结构体系，机器学习的应用领域。2.教学目的及要求：通过本章学习，了解机器学习的涵义，与相关基础课程的联系，课程的体系结构与其应用领域。第二章线性回归方法（5学时）1.教学内容：多元线性回归，特征压缩方法：岭回归和Lasso，Lasso的求解与理论性质，损失函数加罚的建模框架。2.教学目的及要求：回归多元线性回归的基本理论，掌握特征压缩的岭回归与Lasso方法，正确理解Lasso求解的理论与应用，掌握损失函数加罚的建模思路。第三章线性分类方法（4学时）1.教学内容：分类问题综述与评价标准，ROC曲线，logistic回归，正则化的logistic回归，线性判别。2.教学目的及要求：掌握分类问题的涵义与数学表达，理解分类问题的评价准则：混淆矩阵和ROC曲线，掌握logistic回归模型的性质、求解和统计检验，了解Lasso-logistic回归，掌握线性判别方法，能理解和比较logistic回归和线性判别各自的特点。第四章模型评价与选择（4学时）1.教学内容：各类误差的定义，偏差-方差分解，模型评价的理论方法：Cp统计量、AIC准则、BIC准则，数据重利用方法：交叉验证法和自助法。2.教学目的及要求：掌握常见误差的定义：测试误差和训练误差，掌握偏差-方差分解，掌握对模型进行评价的理论方法：Cp统计量、AIC准则、BIC准则、有效参数个数，掌握数据重利用方法：交叉验证法和自助法，能结合实例有效进行模型的选择与评价。第五章决策树与组合方法（4学时）1.教学内容：决策树的基本知识，决策树的建模过程，分类、回归问题的Bagging算法，AdaBoost算法，可加模型，LogitBoost方法，回归问题的L2-Boosting方法，XGBoost，随机森林。2.教学目的及要求：理解决策树的涵义与方法发展，掌握决策树建模过程，掌握熵和Gini指数的概念，掌握并能运用Bagging算法的原理与种类，掌握并能运用Boosting算法与种类：AdaBoost、LogitBoost、L2-Boosting和XGBoost，初步掌握随机森林的原理与其实现。第六章神经网络与深度学习（6学时）1.教学内容：人工神经元模型，人工神经网络的结构，人工神经网络的学习，单层感知机和多层感知机，深度信念网，卷积神经网络。2.教学目的及要求：掌握神经网络的涵义和基本结构，理解神经网络的学习方式和学习规则，掌握单层感知机和多层感知机的原理；初步理解深度学习的内容，初步理解深度信念网的原理与实现，初步理解卷积神经网络的基本结构与实现；结合实例操作掌握神经网络分析的基本流程。第七章支持向量机（6学时）1.教学内容：线性可分支持向量机，软间隔支持向量机，SMO方法求解支持向量机，非线性可分与和函数，支持向量机回归。2.教学目的及要求：理解支持向量机（SVM）的涵义与解决问题的思路，掌握SVM模型的设计，掌握软间隔支持向量机模型与求解，初步掌握SMO方法原理，初步掌握非线性可分与核函数，初步掌握支持向量机回归。三、教学方法与手段本课程是应用统计学专业的专业选修课程，教学主要内容包括机器学习概述，线性回归方法，线性分类方法，模型评价与选择，决策树与组合方法，神经网络与深度学习初步，支持向量机等。该课程以课堂讲授为主，讲清基本概念及方法，注意与基础课程高数、高代、概率统计的联系，同时结合实际应用，使学生体会学习该课程的意义和作用。此外，作业是反馈学生掌握知识的实际程度的渠道之一，因而任课教师必须做到充分重视，量要适中，及时交流。每次课后根据实际情况作不同选取布置适量的习题和实验，使之保证教学大纲的实施，又有利于学生的学习水平的进一步提高巩固.每次作业及时定量审阅，并将作业情况作详细的记录。该课程理论和应用性较强，知识点较多，教学方法可采用讲授结合实验，课堂理论教学30学时，实验实践课15学时。教学课时有限而知识点较多情况下，可略讲其中的集成学习和深度学习的内容，同时每章结束可适当推荐参考书籍，让学生增强课外补充。四、课程考核方式本课程考核设计为技能考试形式，学生学期成绩构成如下：（1）过程考核：课堂表现、出勤情况10%；作业成绩20%。（2）期末考核：技能考试70%。五、其他1、作业及自主学习要求本课程具有较强的理论性和实用性，应加强课内教师示范与课外学生自主练习，以达到掌握巩固理论知识学习的目的。根据教学内容，合理安排时间，制定好自主学习计划，加强课前预习和课后巩固学习。2、课程资源1）建议教材《大数据挖掘与统计机器学习》（第2版），吕晓玲、宋捷主编，中国人民大学出版社，2019年1月第2版。2）主要参考书[1]《机器学习》，周志华编著，清华大学出版社，2016年1月第1版。[2]《数据科学》，方匡南编著，电子