1.2 机器学习发展历程

机器学习发展历程主讲人：李侃1980s机器学习成为独立的学科领域，各种机器学习技术1980年，CMU

第一届机器学习研讨会《策略分析与信息系统》三期机器学习专辑1983年，R.S.Michalski、J.G.Carbonell和T.M.Mitchell《机器学习：一种人工智能途径》1986年，《MachineLearning》创刊1989年，《ArtificialIntelligence》机器学习专辑1990年，《机器学习：风范与方法》MIT出版社机器学习发展历程（续）机械学习（死记硬背式学习）示教学习（从指令中学习）

类比学习（通过观察和发现学习）归纳学习（从样例中学习百花初绽1979年，J.R.Quinlan，ID3算法原型1986年，

J.R.Quinlan，ID3算法，决策树学习理论1986年，Schlimmer和Fisher，引入节点缓冲区，ID4算法1993年，Quinlan，C4.5算法ID3

的另一个分支：分类回归决策树算法(ClassificationRegressionTree，CART)，

主要用于预测。机器学习发展历程（续）1980s-1990s从样例中学习：（1）符号主义学习

（2）基于逻辑的学习决策树（decisiontree），覆盖分类和回归两个领域

归纳逻辑程序设计（InductiveLogicProgramming,ILP）具有很强的知识表示能力，但会导致学习过程面临的假设空间太大，复杂度高，因此，问题规模稍大就难以有效地学习。机器学习发展历程（续）1980s-1990s从样例中学习：（1）符号主义学习

（2）基于逻辑的学习决策树（decisiontree），覆盖分类和回归两个领域

归纳逻辑程序设计（InductiveLogicProgramming,ILP）具有很强的知识表示能力，但会导致学习过程面临的假设空间太大，复杂度高，因此，问题规模稍大就难以有效地学习。归纳逻辑程序设计：使用一阶谓词逻辑进行知识表示，通过修改和扩充逻辑表达式完成对数据的归纳。FOIL(FirstOrderInductiveLearner)[Quinlan,1990]D.E.Rumelhart,G.E.Hinton,andR.J.Williams,“Learningrepresentationsbyback-propagatingerrors,”Nature,1986,323(6088):533–536.机器学习发展历程（续）1980s-1990s从样例中学习：基于神经网络的连接主义学习1983年，J.J.Hopfield利用神经网络求解“流动推销员问题”这个NP难题。1986年，D.E.Rumelhart等人重新发明了BP算法。JohnJ.HopfieldRonaldJ.WilliamsDavid.E.RumelhartGeoffreyHinton机器学习发展历程（续）时间段 机器学习理论 代表性成果1990s中期统计学习支持向量机，基于核的学习方法21世纪初----深度学习深度卷积神经网络、循环神经网络、生成对抗网络、Seq2seq、Transformer……统计学习理论（StatisticalLearningTheory），也称VC理论（VapnikChervonenkistheory）机器学习发展历程（续）1990s中期统计学习支持向量机，基于核的学习方法VladimirNaumovichVapnikAlexeyChervonenkis1992年，BernhardE.Boser、IsabelleM.Guyon和Vapnik，核方法的非线性SVM1995年，CorinnaCortes和Vapnik，软边距的非线性SVM，并将其应用于手写字符识别问题机器学习发展历程（续）21世纪初----深度学习深度卷积神经网络、循环神经网络、生成对抗网络、Seq2seq、Transformer……2018年图灵奖序列的概率建模高维词嵌入与注意力机制生成对抗网络反向传播玻尔兹曼机对卷积神经网络的修正提出卷积神经网络改进反向传播算法拓宽神经网络的视角序列的概率建模高维词嵌入与注意力机制生成对抗网络机器学习发展历程（续）21世纪初----深度学习深度卷积神经网络、循环神经网络、生成对抗网络、Seq2seq、Transformer……2018年图灵奖反向传播玻尔兹曼机对卷积神经网络的修正提出卷积神经网络改进反向传播算法拓宽神经网络的视角序列的概率建模高维词嵌入与注意力机制生成对抗网络机器学习发展历程（续）21世纪初----深度学习深度卷积神经网络、循环神经网络、生成对抗网络、Seq2seq、Transformer……2018年图灵奖反向传播玻尔兹曼机对卷积神经网络的修正提出卷积神经网络改进反向传播算法拓宽神经网络的视角序列的概率建模高维词嵌入与注意力机制生成对抗网络机器学习发展历程（续）21世纪初-