1.1机器学习简介

机器学习主讲人：李侃AlphaGo5:0战胜欧洲冠军樊麾2段，法国围棋队总教练2015年10月5日-9日绪论AlphaGo4:1战胜世界冠军李世石9段。李世石被公认为过去10年间韩国最强棋手2016年3月9日-15日韩国首尔绪论AlphaGo3:0战胜围棋等级分当时世界第一的柯洁2017年5月23日-27日乌镇绪论金融商务股票交易投资顾问风险管理和反欺诈客户流失预警服务优化客户沟通绪论智能交通交通监控智能停车智能路灯车路信息管理……绪论能源开发绪论电力传输绪论军事绪论生物制药绪论机器人工业机器人娱乐机器人看护机器人绪论气象预报绪论智能家居绪论游戏绪论机器学习定义Wikipedia机器学习是人工智能的一个分支，即机器基于输入的原始数据生成规则。机器学习是一门系统的学科，它关注设计和开发算法，使得机器的行为随着经验数据的累积而进化，经验数据通常是传感器数据或数据库记录。机器学习（续）TomM.MitchellJasonBrownlee一个机器学习就是从数据中训练出一个模型，该模型有不低于某种评估指标的泛化能力。一个计算机程序能够从经验E中学习（学习任务是T，学习的表现用P衡量），这个程序在任务T与表现衡量P下，可以通过经验E得到改进。机器学习（续）中科院自动化所王珏研究员根据样本集合建立一个模型，并期望这个模型对问题空间中所有样本预测的正确率大于一个给定的常数。模型可以理解为对问题空间的一种统计描述：

①一致性假设

②划分

③泛化能力

发展时期 时间段 主流技术推理期 1956年-1970s初 基于符号知识表示的演绎推理技术知识期 1970s中期-1980s基于符号知识表示，通过获取和利用领域知识来建立专家系统学习期 1980s-至今 符号主义学习、基于神经网络的连接主义学习机器学习发展历程人工智能发展的三个时期机器学习发展历程时间段 机器学习理论 代表性成果1950s初期 人工智能研究处于推理期 A.Newell和H.Simon的“逻辑理论家”（LogicTheorist）程序证明了数学原理，以及“通用问题求解”（GeneralProblemSolving）程序。出现机器学习的相关研究 1952年，阿瑟·萨缪尔（ArthurSamuel）在IBM公司研制了一个西洋跳棋程序，这是人工智能下棋问题的由来。1950s中后期 出现基于神经网络的“连接主义”学习F.Rosenblatt提出感知机（Perceptron），处理线性分类问题，处理不了“异或”逻辑。B.Widrow提出Adaline。机器学习发展历程（续）1950s初期 人工智能研究处于推理期 H.Simon、A.Newell、J.C.Shaw“逻辑理论家”（LogicTheorist）程序证明了《数学原理》52个定理，以及“通用问题求解”（GeneralProblemSolving）程序。MarnivLeeMinskyJohnMcCarthyAllenNewellHerbertA.Simon人工智能之父JohnCliffordShaw机器学习发展历程（续）MarnivLeeMinskyJohnMcCarthy人工智能之父1951年提出思维如何萌发并形成的基本理论1956年达特茅斯会议的发起人之一，并提出“人工智能”的概念1958年在MIT创建世界上第一个AI实验室1969年首位图灵奖获得者1975年首创框架理论1956年达特茅斯会议的发起人之一，并提出“人工智能”的概念1958年与明斯基一起创建世界上第一个人工智能实验室发明α－β剪枝算法1959年开发LISP语言开创逻辑程序研究，用于程序验证和自动程序设计1971年获得图灵奖机器学习发展历程（续）1950s初期 人工智能研究处于推理期 H.Simon、A.Newell、J.C.Shaw“逻辑理论家”（LogicTheorist）程序证明了《数学原理》52个定理，以及“通用问题求解”（GeneralProblemSolving）程序。MarnivLeeMinskyJohnMcCarthyAllenNewellHerbertA.Simon人工智能之父JohnCliffordShaw机器学习发展历程（续）ArthurSamuel机器学习之父不需要确定性编程就可以赋予机器某项技能的研究领域1950s初期 出现机器学习的相关研究 1952年，阿瑟·萨缪尔（ArthurSamuel）在IBM公司研制了一个西洋跳棋程序，这是人工智能下棋问题的由来。机器学习发展历程（续）激活函数用阶跃函数换成了连续型函数，用一个Quantizer函数（量化函数，类似AD采样）进行类别预测F.Rosenblatt1950s后期 出现基于神经网络的“连接主义”学习F.Rosenblatt提出感知机（Perceptron），处理线性分类问题，处理不了“异或”逻辑。B.Widrow提出自适应线性神经元（Adaline）网络。机器学习发展历程（续）时间段 机器学习理论 代表性成果1960s-1970s基于逻辑表示的“符号主义”（Symbolism）学习PatrickH.Winston的结构化概念学习系统，R.S.Michalski的基于逻辑的归纳学习系统，E.B.Hunt的概念学习系统以决策理论为基础的学习技术强化学习技术N.J.Nilson的“学习机器”知识工程专家系统统计学习理论的一些奠基性成果支持向量，VC维，结构风险最小化原则机器学习发展历程（续）1960s-1970s基于逻辑表示的“符号主义”（Symbolism）学习P.H.Winston

的结构化概念学习系统，R.S.Michalski的基于逻辑的归纳学习系统，E.B.Hunt的概念学习系统。RyszardS.MichalskiPatrickH.WinstonEarlB.Hunt机器学习发展历程（续）1960s-1970s决策理论为基础的学习技术强化学习技术知识工程N.J.Nilson的“学习机器”专家系统NilsJ.NilssonEdwardA.Feigenbaum知识工程之父RajReddyA*路径算法斯坦福国际研究院Shakey

项目的领导人，Shakey是首批具有视觉感知和轨迹规划的移动机器人之一。机器学习发展历程（续）1960s-1970s统计学习理论的一些奠基性成果支持向量、VC维、结构风险最小化原则。支持向量机（SVM）源自模式识别中广义肖像算法（generalizedportraitalgorithm）

1963年，前苏联学者VladimirN.Vapnik和AlexanderY.Lerner发表研究1964年，Vapnik和AlexeyY.Chervonenkis，硬边距的线性SVM随着模式识别中最大边距决策边界理论研究，出现基于松弛变量（slackvariable）的规划问题求解技术，和VC维（Vapnik-Ch