《机器学习与模式识别》课程教学大纲

1、机器学习与模式识别一、课程概况所属专业:物联网工程开课单位：数学与计算机科学学院课程类型:专业选修课程课程代码:机器学习与模式识别开课学期:6学分：3学时：48核心课程:否拟使用教材：Simon Rogers,Mark Girolami 著;郭茂祖,王春宇,刘扬等译.机器学习基础教程. 机械工业出版社. 2013国内(外)现有教材：边肇祺、张学工.模式识别.清华大学出版社.2002Mitchell，T.M.著;曾华军等译.机器学习.机械工业出版社出版.2008学习参考资料李晶皎、朱志良、王爱侠.模式识别.电子工业出版社.2004 杨光正、吴岷、张晓莉.模式识别.中国科技大学出版社.2001二、

2、课程描述本门课程是物联网专业选修课，本课程旨在对目前主流的机器学习理论，方法及算法，应用做总体介绍。包括机器学习总论，监督学习，非监督学习，统计学习，计算学习，贝叶斯学习，数据压缩学习。详细阐述各种学习的理论，模型及算法，应用。课程强调理论与应用结合。三、课程目标要求学生对国际上机器学习研究及应用领域的现状和发展有较全面地把握和及时了解，掌握其中的主流学习方法和模型，并能根据实际问题的需要选择并实现相应的算法。1.了解并掌握统计决策理论和信息论的基础知识。2.熟悉常见的分布，熟练掌握最大似然估计方法，学会利用无信息先验和共轭先验简化计算，了解一些常用的非参数方法。3.掌握线性回归的一般方法，学

3、会使用R中有关回归的程序包，并能将之用于解决实际问题。4.对分类问题有一个全面的了解，掌握一些常用的分类方法。5.了解核方法的最新进展，熟练掌握核函数参数估计的常用方法。6.掌握支持向量机的基本原理，面对各自研究领域中的具体问题学会使用支持向量机，粗略了解统计学习理论。7.图模型掌握从建模到算法实现。8.掌握EM算法的基本理论，学会使用EM算法。9.掌握隐Markov模型的几个经典算法，学会利用隐Markov模型和条件随机场模型解决具体问题，如自然语言处理中的词性标注等。四、教学要求一、严格按照课表规定的时间、地点上课，不迟到、不早退。二、根据大纲要求，认真备课完成教案与讲稿编写等各项课前准备

4、工作；授课过程力求内容充实、概念准确、思路清晰、详略得当、逻辑性强、重难点突出，力戒平铺直叙、照本宣科，三、重视对学生的学习方法指导和课堂教学效果信息的反馈，实现教与学的双向互动；四、做好考核内容设计，并严格按照大纲要求做好出勤率统计、作业评价。五、学生根据课程大纲要求制定本门课程学习计划，加强学业管理，严格自我要求，提升自主学习能力，主动适应课程学习要求。参与课堂教学活动不迟到、不早退，无正当理由不请假，上课认真听讲，不做任何与课堂教学无关事宜，不使用手机，积极与授课教师进行教学互动，同时利用课余时间做好预习、复习、课外书籍阅读等工作，主动与同学开展合作学习，认真完成任课教师布置的课程作业。

5、五、考核方式及要求为实现课程教学目标，本门课程考核方式及要求为：出勤率占20%，点到共5次，每次4分共20分。正常4分，迟到2分，缺勤0分；随堂测验1次，测验成绩按20%折算后计入总成绩；课程作业共5次，每次4分，共20分。全错、不交作业者，雷同者计0分，按批改成绩20%折算后计入总成绩；期末考试占总成绩的40%。六、课程内容第1章线性建模：最小二乘法（授课时间：第六学期第一周）教学目标：通过本章的教学，使学生掌握线性建模方法。教学重点：如何定义模型、模型假设和最小二乘解。教学难点：最小二乘解。学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 1.1线性建模1.1

6、.1定义模型 1.1.2模型假设 1.1.3定义什么是好的模型 1.1.4最小二乘解：一个有效的例子 1.1.5有效的例子 1.1.6奥运会数据的最小二乘拟合学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第1章线性建模：最小二乘法（授课时间：第六学期第二周）教学目标：通过本章的教学，使学生掌握线性建模方法。教学重点：如何定义模型、模型假设和最小二乘解。教学难点：最小二乘解。学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 1.2预测 1.2.1第二个奥运会数据集 1.3向量/矩

7、阵符号 1.3.1例子 1.3.2数值的例子 1.3.3预测 1.4线性模型的非线性响应1.5泛化与过拟合1.5.1验证数据 1.5.2交叉验证 1.5.3K折交叉验证的计算缩放1.6正则化最小二乘法学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第2章线性建模：最大似然方法（授课时间：第六学期第三周）教学目标：通过本章的教学，使学生掌握随机变量、概率和常见的离散分布。教学重点：条件概率、联合概率和概率和概率分布。教学难点：伯努利分布、二项分布学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授

8、法主要内容： 2.1误差作为噪声2.2随机变量和概率2.2.1随机变量 2.2.2概率和概率分布 2.2.3概率的加法 2.2.4条件概率 2.2.5联合概率 2.2.6边缘化 2.2.7贝叶斯规则介绍 2.2.8期望值 2.3常见的离散分布2.3.1伯努利分布 2.3.2二项分布 2.3.3多项分布学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第2章线性建模：最大似然方法（授课时间：第六学期第四周）教学目标：通过本章的教学，使学生掌握连续型随机变量概率密度函数和似然估计。教学重点：常见的连续概率密度函数教

9、学难点：似然估计学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 2.4连续型随机变量概率密度函数2.5常见的连续概率密度函数 2.5.1均匀密度函数 2.5.2密度函数 2.5.3高斯密度函数 2.5.4多元高斯 2.6产生式的考虑 2.7似然估计 2.7.1数据集的似然值 2.7.2最大似然 2.7.3最大似然解的特点 2.7.4最大似然法适用于复杂模型学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第2章线性建模：最大似然方法（授课时间：第六学期第五周）教学目标：通过本章的

10、教学，使学生理解噪声对参数估计的影响和预测值的变异性。教学重点：噪声对参数估计的影响教学难点：预测值的变异性学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 2.8偏差方差平衡问题2.9噪声对参数估计的影响 2.9.1参数估计的不确定性 2.9.2与实验数据比较 2.9.3模型参数的变异性奥运会数据2.10预测值的变异性 2.10.1预测值的变异性一个例子 2.10.2估计值的期望值学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第3章机器学习的贝叶斯方法（授课时间：第六学期第六

11、周）教学目标：通过本章的教学，使学生理解硬币游戏。教学重点：硬币游戏和精确的后验教学难点：没有先验知识、公平的投币、有偏的投币三个场景的硬币游戏学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 3.1硬币游戏 3.1.1计算正面朝上的次数 3.1.2贝叶斯方法3.2精确的后验3.3三个场景3.3.1没有先验知识 3.3.2公平的投币3.3.3有偏的投币3.3.4三个场景总结 3.3.5增加更多的数据学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第3章机器学习的贝叶斯方法（授课时

12、间：第六学期第七周）教学目标：通过本章的教学，使学生掌握边缘似然估计、超参数、图模型。教学重点：边缘似然估计、超参数、图模型教学难点：奥运会100米数据的贝叶斯处理实例学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 3.4边缘似然估计3.5超参数3.6图模型3.7奥运会100米数据的贝叶斯处理实例 3.7.1模型3.7.2似然估计3.7.3先验概率 3.7.4后验概率 3.7.51阶多项式 3.7.6预测3.8边缘似然估计用于多项式模型阶的选择学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教

13、材课后练习题。第4章贝叶斯推理（授课时间：第六学期第八周）教学目标：通过本章的教学，使学生掌握非共轭模型、二值响应、拉普拉斯近似。教学重点：非共轭模型、二值响应、拉普拉斯近似教学难点：点估计：最大后验估计方案学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容：4.1非共轭模型4.2二值响应 4.3点估计：最大后验估计方案 4.4拉普拉斯近似 4.4.1拉普拉斯近似实例：近似密度 4.4.2二值响应模型的拉普拉斯近似学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第4章贝叶斯推理（授课

14、时间：第六学期第九周）教学目标：通过本章的教学，使学生掌握抽样技术。教学重点：Metropolis-Hastings算法教学难点：Metropolis-Hastings算法学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容：4.5抽样技术 4.5.1玩飞镖游戏 4.5.2Metropolis-Hastings算法 4.5.3抽样的艺术学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第5章分类（授课时间：第六学期第十周）教学目标：通过本章的教学，使学生掌握概率分类器和非概率分类器。教学

15、重点：贝叶斯分类器、K近邻算法。教学难点：支持向量机、逻辑回归学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 5.1一般问题5.2概率分类器5.2.1贝叶斯分类器 5.2.2逻辑回归 5.3非概率分类器 5.3.1K近邻算法 5.3.2支持向量机和其他核方法学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第5章分类（授课时间：第六学期第十一周）教学目标：通过本章的教学，使学生掌握评价分类器的性能的方法、判别式和产生式分类器。教学重点：准确率0/1损失、敏感性和特异性、ROC曲线

16、下的区域教学难点：混淆矩阵学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 5.4评价分类器的性能 5.4.1准确率0/1损失 5.4.2敏感性和特异性 5.4.3ROC曲线下的区域 5.4.4混淆矩阵5.5判别式和产生式分类器学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第6章聚类分析（授课时间：第六学期第十二周）教学目标：通过本章的教学，使学生掌握K均值聚类。教学重点：聚类数目的选择、K均值的不足之处、核化K均值。教学难点：核化K均值学 时：课堂教学2学时，课外自主学习时间

17、不少于2学时教学方法：讲授法主要内容： 6.1一般问题 6.2K均值聚类 6.2.1聚类数目的选择 6.2.2K均值的不足之处 6.2.3核化K均值学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第6章聚类分析（授课时间：第六学期第十三周）教学目标：通过本章的教学，使学生掌握混合模型。教学重点：混合模型似然函数、EM算法、EM寻找局部最优教学难点：用EM估计MAP、贝叶斯混合模型学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 6.3混合模型 6.3.1生成过程 6.3.2混合模

18、型似然函数 6.3.3EM算法 6.3.4例子 6.3.5EM寻找局部最优 6.3.6组分数目的选择 6.3.7混合组分的其他形式 6.3.8用EM估计MAP 6.3.9贝叶斯混合模型学习方法：课前预习。课上积极思考，跟上老师的思路。课后复习：复习课堂教授的知识并且可以独立完成课后习题。课后作业：完成教材课后练习题。第7章主成分分析与隐变量模型（授课时间：第六学期第十四周）教学目标：通过本章的教学，使学生掌握主成分分析、隐变量模型。教学重点：主成分分析的局限性教学难点：隐变量模型中的混合模型学 时：课堂教学2学时，课外自主学习时间不少于2学时教学方法：讲授法主要内容： 7.1一般问题7.2主成分分析 7.2.1选择D 7.2.2PCA的局限性 7.3隐变量模型 7.3.1隐变量模型中的混合模型学习方法：课前预习。课上积极思考，跟上老师的