《统计学习理论》课程教学大纲

统计学习理论课程教学大纲Statisticallearningsyllabus学时数：32其中：实验学时：0课外学时：0学分数：2适用专业：信息与计算科学一、课程的性质、目的和任务统计学习理论属于计算机科学与技术中人工智能与信息处理学科、计算机应用技术的交叉学科，是信息与计算科学专业限选课程。机器学习既区别于一般的人工智能理论，也不同于某个具体的计算机应用，它是将计算机科学的理论研究与具体运用相联系的最好纽带。机器学习涉及统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制论等多个学科。统计学习理论是研究利用经验数据进行机器学习的一种一般理论，属于计算机科学、模式识别和应用统计学相交叉与结合的范畴。本课程主要介绍统计学习理论中的各种方法，其先修课程主要有《人工智能原理》、《概率论》、《离散数学》。通过该课程的学习，一方面使学生全面地了解和掌握统计学习理论中的各种方法，另一方面达到培养学生的创新能力。二、课程教学的基本要求(一)有指导学习概述1．了解两种简单预测方法：最小二乘方和最近邻法2．掌握统计判决理论3．掌握高维空间的局部方法4．掌握统计模型、有指导学习和函数逼近5．了解结构化回归模型（二）回归线性方法1．掌握线性回归模型和最小二乘方2．了解从简单的一元回归到多元回归3．掌握子集选择与系数收缩（三）分类的线性方法1．掌握指示矩阵的线性回归2．掌握线性判别分析3．掌握逻辑斯缔回归4．掌握分离超平面（四）基展开与正则化1．掌握分段多项式和样条2．掌握光滑参数的自动选择3．掌握多维样条函数、正则化和再生核希尔伯特空间、小波光滑（五）核方法1．掌握一维核光滑方法、核密度估计和分类2．掌握径向基函数和核、密度估计和分类的混合模型（六）模型评估和选择1．掌握偏倚、方差和模型复杂性、偏倚-方差分解2．掌握贝叶斯方法和BIC3．掌握VC维、交叉验证、自助法（七）模型推理与平均1．掌握自助法和极大似然法、贝叶斯方法2．掌握EM算法（八）无指导学习1．了解关联规则、聚类分析、主成分分析三、课程的教学内容、重点和难点第一章有指导学习概述1．两种简单预测方法：最小二乘方和最近邻法2．统计判决理论3．高维空间的局部方法4．统计模型、有指导学习和函数逼近5．结构化回归模型重点：统计模型、有指导学习和函数逼近难点：统计模型、有指导学习和函数逼近第二章回归线性方法1．线性回归模型和最小二乘方2．从简单的一元回归到多元回归3．子集选择与系数收缩重点：线性回归模型和最小二乘方难点：子集选择与系数收缩第三章分类的线性方法1．指示矩阵的线性回归2．线性判别分析3．逻辑斯缔回归4．分离超平面重点：指示矩阵的线性回归、线性判别分析难点：分离超平面第四章基展开与正则化1．分段多项式和样条2．光滑样条、光滑参数的自动选择3．多维样条函数、正则化和再生核希尔伯特空间、小波光滑重点：光滑样条、正则化和再生核希尔伯特空间难点：多维样条函数、小波光滑第五章核方法1．一维核光滑方法、核密度估计和分类2．径向基函数和核、密度估计和分类的混合模型重点：一维核光滑方法、核密度估计、径向基函数和核、密度估计难点：核密度估计、径向基函数和核第六章模型评估和选择1．偏倚、方差和模型复杂性、偏倚-方差分解2．贝叶斯方法和BIC3．VC维、交叉验证、自助法重点：偏倚、方差和模型复杂性、偏倚-方差分解、贝叶斯方法、VC维难点：偏倚、方差和模型复杂性、偏倚-方差分解第七章模型推理与平均1．自助法和极大似然法、贝叶斯方法2．EM算法重点：贝叶斯方法、EM算法难点：贝叶斯方法、EM算法第八章无指导学习1．了解关联规则、聚类分析、主成分分析重点：聚类分析、主成分分析难点：聚类分析、主成分分析四、课程各教学环节要求本课程以课堂教学为主，其中新内容讲授27课时，习题课3课时，课堂讨论及其它2课时，课程以文字教材为主，教材负担起形成整个课程体系系统性和完整性的任务。本课程为考试课。期末笔试占总成绩的70%，平时作业、小测验占总成绩的30％，学期总成绩合格（大于等于60分）才能获得学分。五、学时分配教学内容各教学环节学时分配作业题量备注章节主要内容讲授实验讨论习题课外其它小计一有指导学习概述441二回归线性方法4152三分类的线性方法332四基展开与正则化442五核方法31152六模型评估和选择442七模型推理与平均31152八无指导学习221合计27323214六、课程与其它课程的联系统计学习理论是研究利用经验数据进行机器学习的一种一般理论，属于计算机科学、模式识别和应用统计学相交叉与结合的范畴。本课程主要介绍统计学习理论中的各种方法，其先修课程主要有《人工智能原理》、《概率论》、《离散数学》等。本课程的开设能开阔学生的眼界、丰富知识的结构、培养学生的分析问题与解决问题的能力，为后续研究生的课程学习打下坚实的基础。七、教材与教学参考书(一)教材：HastieT,TibshiraniR,FriedmanJ著，范明，柴玉梅，昝红英等译.《统计学习基础—数据挖掘，推理与预测》，北京：电子工业出版社，2004年（二）教学参考书：[1]（美）米歇尔（Mitchell，T.M.）著；曾华军等译.机器学习，北京：机械工业出版社，2003年[2]（美）HYPERLINK"/search.aspx?catalog=0