《大数据挖掘与统计机器学习（第3版）》 课件第1、2章 概述、线性回归方法

1第1章概述1.1

名词演化数据挖掘（DataMining）知识发现（KnowledgeDiscoveryinDatabase）模式识别（PatternRecognition）人工智能（ArtificialIntelligence）机器学习（MachineLearning）统计学习（StatisticalLearning）大数据（BigData）数据科学（DataScience）21.2基本内容统计学是一门科学，应该是以分析数据、解决问题为导向，不断的提出新方法，并探讨其理论性质。前计算机时代：数学为主计算机时代：与计算相结合大数据时代：注重计算，解决实际问题3四本重要的参考书:（1）Hastie,T.,Tibshirani,R.andFriedman,J.(2008),TheElementsofStatisticalLearning(secondedition),Springer（2）James,G.,Witten,D.andTibshirani,R.(2013),AnIntroductiontoStatisticalLearningwithApplicationsinR,Springer（3）Hastie,T.,Tibshirani,R.andMartinWainwright(2015),StatisticalLearningwithSparsity,CRCPress（4）Efron,B.andHastie,T.(2016),ComputerAgeStatisticalInference:Algorithms,Evidence,andDataScience,CambridgeUniversityPress41.3数据智慧郁彬（2016），数据科学中的数据智慧，《中国计算机学会通讯》（中译稿）将统计学核心部分重新定义为“数据智慧”非常必要，因为它比“应用统计学”这个术语起到更好的概括作用。“数据智慧”是将领域知识、数学和方法论与经验、理解、常识、洞察力以及良好的判断力相结合，思辨性地理解数据并依据数据做决策的一种能力。十个基本问题（1）要回答的问题（2）数据收集（3）数据的含义（4）相关性（5）问题的转化（6）可比性：数据变换（7）可视化（8）随机性：数据的代表性、结果的不确定性（9）稳定性：结果的可解释性、可重复性（10）结果验证5第2章线性回归方法

7

8

92.1.3Lasso回归Lasso回归和岭回归类似是另一种压缩估计。与岭回归的不同：它在参数估计的同时既可以对估计值进行压缩,又可以让一些不重要的变量的估计值恰好为零,从而起到自动进行变量选择的功能。Lasso回归等价于在最小二乘估计的基础上对估计值的大小增加一个不同于岭回归的约束(惩罚):例2.3(糖尿病数据案例续)10

11

12

1314

15

16

17

18

19

20

2122

23242.3.2最小一乘回归与分位回归例2.5(恩格尔数据案例)252.3.3其他罚函数Grouped

Lasso弹性网惩罚26

272.4.2评价准则混淆矩阵、准确率、召回率。28

29

30