8机器学习-概述概要1课件

1机器学习1机器学习2为什么学习学习的一般形式学习的定义设计一个学习系统学习的一般形式机器学习研究的问题OUTLINE2为什么学习OUTLINE3为什么学习

为什么要研究机器学习？现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能不能自动获取和生成知识，系统性能难以改善。学习目的：让计算机随着经验的积累自动提高性能3为什么学习为什么要研究机器学习？4为什么学习学习的例子：计算机能从医疗记录中学习，获取诊断疾病的方法个人软件助理跟踪用户的兴趣，并为其选择最感兴趣的在线早间新闻数字识别、汉字识别、语音识别4为什么学习学习的例子：5为什么学习学习的一般形式学习的定义设计一个学习系统学习的一般形式机器学习研究的问题OUTLINE5为什么学习OUTLINE6学习的一般形式在学习智能体中，对执行元件进行反馈并加以修正的元件是学习元件执行器环境传感器智能体性能标准评论元件学习元件问题产生器执行元件反馈学习的目标知识变化6学习的一般形式在学习智能体中，对执行元件进行反馈并加以修正7学习元件的设计影响学习元件设计的主要因素：执行元件的哪个组成部分进行学习—谁要学习(who)组成部分从学习中得到什么反馈—怎么学习(how)组成部分是如何表示的—学习什么(what)决定智能体学习本质的最重要因素是学习中的反馈类型7学习元件的设计影响学习元件设计的主要因素：8学习的三种类型有监督(有指导)学习—从其输入/输出的实例中学习一个函数无监督(无指导)学习—在未提供明确的输出值情况下，学习输入的模式主要在概率推理系统的上下文中研究无监督学习强化学习—从强化物中学习，而不是根据指导进行学习8学习的三种类型有监督(有指导)学习—从其输入/输出的实例中9学习过程中的知识表示如何表示学到的信息(各种方案—智能体的任何组成部分)逻辑公式(学到的规则)贝叶斯网络(学到的概率描述)线性加权函数(作为学习得到的启发函数)先验知识的可用性—大部分人类学习发生在具有大量背景知识的上下文环境中不同的背景知识会导致对同一事物的不同认识(如物理学家和画家对云室照片的看法)9学习过程中的知识表示如何表示学到的信息(各种方案—智能体的10为什么学习学习的一般形式学习的定义设计一个学习系统学习的一般形式机器学习研究的问题OUTLINE10为什么学习OUTLINE11学习的定义学习定义： 对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序从经验E中学习对于一个学习问题，必须明确：任务的种类T衡量性能提高的标准P经验的来源E11学习的定义学习定义：12学习问题示例手写数字识别学习问题任务T：识别和分类图像中的手写数字性能标准P：分类的正确率训练经验E：已知分类的手写数字数据库国际象棋学习问题任务T：下国际象棋性能标准P：比赛中击败对手的百分比训练经验E：和自己进行对弈12学习问题示例手写数字识别学习问题13学习问题示例机器人驾驶学习问题任务T：通过视觉传感器在四车道高速公路上驾驶性能标准P：平均无差错行驶里程训练经验E：注视人类驾驶时录制的一系列图像和驾驶指令13学习问题示例机器人驾驶学习问题14为什么学习学习的一般形式学习的定义设计一个学习系统机器学习研究的问题OUTLINE14为什么学习OUTLINE15设计一个学习系统基本设计方法和学习途径（以西洋跳棋为例）选择训练经验选择目标函数选择目标函数的表示选择函数逼近算法(选择学习算法)最终设计15设计一个学习系统基本设计方法和学习途径16第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈。E.g.西洋跳棋系统可从直接的训练样例，即各种棋盘状态和相应的正确走子中学习系统可能仅有间接的信息，即很多过去对弈序列和最终结局(较早走子的正确性由结局推断。面临信用分配问题：每一次走子对最终结果的贡献程度)注意：本例中系统提供的是间接训练经验第二个重要属性，训练样例的分布能多好地表示实例分布，最终系统的性能是通过后者来衡量的。选择训练经验16第一个关键属性，训练经验能否为系统的决策提供直接或间接的17西洋跳棋学习问题任务T：下西洋跳棋性能标准P：击败对手的百分比训练经验E：和自己进行训练对弈学习系统需要选择要学习的知识的确切类型对于这个目标知识的表示一种学习机制选择目标函数(1)17西洋跳棋学习问题选择目标函数(1)18学习任务：如何从合法的走子中选择最佳走子。因此，要学习的信息类型是程序或函数目标函数ChooseMoveChooseMove:BM，接受合法棋局集合中的棋盘状态作为输入，并从合法走子集合中选择某个走子作为输出问题转化我们把提高任务T的性能P的问题转化（或简化）为学习像ChooseMove这样某个特定的目标函数选择目标函数(2)18学习任务：如何从合法的走子中选择最佳走子。因此，要学习的19ChooseMove的评价学习问题很直观地转化成这个函数这个函数的学习很困难，因为提供给系统的是间接训练经验选择目标函数(3)19ChooseMove的评价选择目标函数(3)20另一个目标函数V一个评估函数，V:BR，它为任何给定棋局赋予一个数值评分，给好的棋局赋予较高的评分优点，学习简单V的应用根据V能够轻松地找到当前棋局的最佳走法。

选择目标函数(4)20另一个目标函数V选择目标函数(4)21V的设计，对于集合B中的任意棋局b，V(b)定义如下如果b是一最终的胜局，那么V(b)=100如果b是一最终的负局，那么V(b)=-100如果b是一最终的和局，那么V(b)=0如果b不是最终棋局，那么V(b)=V(b’)，其中b’是从b开始双方都采取最优对弈后可达到的终局选择目标函数(5)21V的设计，对于集合B中的任意棋局b，V(b)定义如下选择22上面设计的缺陷递归定义、运算效率低不可操作简评学习任务简化成发现一个理想目标函数V的可操作描述。通常要完美地学习这样一个V的可操作的形式是非常困难的。一般地，我们仅希望学习算法得到近似的目标函数V’，因此学习目标函数的过程常称为函数逼近（functionapproximation）。选择目标函数(6)22上面设计的缺陷选择目标函数(6)23选择一个表示，使学习程序来描述要学习的函数V’函数的表示一张大表，对于每个唯一的棋盘状态，表中有唯一的表项来确定它的状态值规则集合来匹配棋局特征以表示V’用与预定义棋盘特征有关的二次多项式函数人工神经网络选择目标函数的表示23选择一个表示，使学习程序来描述要学习的函数V’选择目标函24重要的权衡过程一方面，我们总希望选取一个非常有表现力的描述，以最大可能地逼近理想的目标函数另一方面，越有表现力的描述需要越多的训练数据，使程序能从它表示的多种假设中选择选择目标函数的表示(2)24重要的权衡过程选择目标函数的表示(2)25一个简单的表示法，对于任何给定的棋盘状态，函数V’可以通过以下棋盘参数的线性组合来计算。x1，黑子的数量x2，红子的数量x3，黑王的数量x4，红王的数量x5，被红子威胁的黑子数量x6，被黑子威胁的红子数量选择目标函数的表示(3)25一个简单的表示法，对于任何给定的棋盘状态，函数V’可以通26目标函数V’(b)=w0+w1x1+w2x2+…+w6x6其中，w1…w6是权值，表示不同棋局特征的相对重要性,w0为一个附加的棋盘状态值常量至此，问题转化为学习目标函数中的系数（即权值）

概括一下目前为止的设计选择： 阐述了学习问题的原型；选择一种类型的训练经验；一个要学习的目标函数及目标函数的一种表示选择目标函数的表示(4)26目标函数选择目标函数的表示(4)27为学习目标函数V’(函数逼近)，需要一系列训练样例每个训练样例表示成二元对<b，Vtrain(b)>b是棋盘状态，Vtrain(b)是训练值比如：<<x1=3,x2=0,x3=1,x4=0,x5=0,x6=0>,100>训练过程从学习器可得到的间接训练经验中导出上面的训练样例调整系数wi，最佳拟合这些训练样例选择函数逼近方法表示红棋没有子了，黑棋胜27为学习目标函数V’(函数逼近)，需要一系列训练样例选择函28训练样例<b，Vtrain(b)>对结束时的棋盘状态评分很容易（由于间接训练经验）估计中间棋盘状态的训练值：对于大量中间棋盘状态，一个简单的估计方法

Vtrain(b)=V’(Successor(b))调整权值最佳拟合训练样例，使得误差（Vtrain(b)-V’(b)

）平方和最小寻找算法，比如最小均方法LMS更新权值选择函数逼近方法(2)b之后再轮到程序走棋时的棋盘状态28训练样例<b，Vtrain(b)>选择函数逼近方法(2)29LMS权值更新法则:随机选择一个训练样例<b,Vtrain(b)>计算error(b):error(b)=Vtrain(b)-V’(b)2.对每一个棋盘状态特征xi,更新其权值wi:wi

wi+•error(b)•xi

是一个小的常数（比如0.1），用来调整权值更新幅度。注意：如果xi=0，其权值不会因为这个误差而改变。LMS调整权值29LMS权值更新法则:LMS调整权值30西洋跳棋学习程序的设计过程决定训练经验类型决定目标函数决定学习到的函数的表示决定学习算法完成的设计梯度下降…线性规划多项式…六个参数的线性函数棋盘走子…棋盘分值与专家对弈…与自己对弈正确走子的表格30西洋跳棋学习程序的设计过程决定训练经验类型决定目标函数决31学习的一般形式学习的定义设计一个学习系统学习的一般形式机器学习研究的问题OUTLINE31学习的一般形式OUTLINE32机器学习的问题存在什么样的算法能从特定的训练数据学习一般的目标函数呢？