人工智能-原理、算法和实践 第六章 机器学习

第六章机器学习一、概述二、记忆学习三、归纳学习四、决策树学习五、类比学习六、解释学习1七、神经学习八、贝叶斯学习九、在线机器学习十、增强学习十一、迁移学习一、概述机器学习是人工智能的重要研究领域之一。本章主要介绍机器学习的基本概念以及常用的几种机器学习方法。机器学习的基本概念要了解什么是机器学习，就要从人类的“学习”说起可以说人们每天都在学习，可是终究什么是学习，至今都没有一个统一的定义。以下是关于学习且比较有影响的定义：

1)西蒙认为，学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。2

2)米哈尔斯基认为，学习是对经历描述的建议和修改。

3)蔡普金认为，学习是一种过程，通过对系统重复输入各种信号，并从外部校正该系统，从而系统对特定的输入具有特定的响应。综合众多观点，可以这样认为，学习是一个有特定目的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。机器学习的定义是基于人的学习的，由于学习没有统一的定义，机器学习也没法给出严格的定义。从学科角度来讲，机器学习是研究如何让计算机来模拟人类学习活动的一门学科。3机器学习的主要研究内容：认知模型的研究主要目的是要通过对人类学习机理的研究和模拟，从根本上解决机器学习方面存在的种种问题。理论学习的研究主要目的是要从理论上探索各种可能的学习方法，并建立起独立于具体应用领域的学习算法。面向任务的研究主要目的是要根据特定任务的要求，建立相应的学习系统。42.机器学习的发展历史机器学习的发展大致可以分为4个时期，即热烈时期、冷静时期、复兴时期以及蓬勃时期。热烈时期20世纪50年代中叶到60年代初期，最具有代表性的工作是罗森勃拉特1957年提出的感知器模型。该时期研究的是“没有知识”的学习，其主要研究目标是各种自组织系统和自适应系统。冷静时期20世纪60年代中期到70年代中期。其主要研究目标是模拟人类的概念学习过程，温斯顿的结构学习系统和海斯、罗斯等人提出的基于逻辑的归纳学习系统是该时期的代表性工作。5复兴时期20世纪70年代中期到80年代中期，人们开始把机器学习与各种实际应用相结合，尤其是专家系统在知识获取方面的需求。蓬勃时期自1986年起，机器学习进入了新阶段。神经网络的研究再度兴起，使得机器学习进入了连接学习的研究阶段，与此同时，传统的符号学习研究也取得了很大的发展。因此，把符号学习和连接学习结合起来的混合型学习系统研究已成为机器学习研究的一个新的热点。进入新阶段的机器学习主要表现如下：1)机器学习已经成为新的边缘学科，并在高校形成

一门课程。2)结合各种学习方法，取长补短的多种形式的集成

学习系统研究正在兴起。63)机器学习与人工智能在各种基础问题上的统一观

点正在形成。4)各种学习方法的应用范围不断扩大，一部分已经

成为商品。归纳学习的知识获取工具已在诊断分

类专家系统中广泛使用。连接学习在声音、图文

识别中占据优势。遗传算法与强化学习在工程控

制中有较好的应用前景。5)知识发现和数据挖掘的研究已形成热潮，并在生

物学、金融管理、商业销售等领域得到成功的应

用，给机器学习注入了新活力。6)与机器学习有关的学术活动空前活跃。国际上除

了每年一次的机器学习研讨会外，还有计算机学

习理论会议以及遗传算法会议。

73.学习系统的基本模型机器学习的实现依赖于学习系统，学习系统能够利用过去与环境作用时得到的信息并提高自身的性能。学习系统的基本模型如下图示。环境是指学习系统进行学习时的信息来源；

学习环节是将外界信息加工成知识的过程；

知识库是以某种形式表示的知识的集合，用来存放学习环节所得的知识；

执行环节是利用知识库中的知识完成某种任务的过程，并把完成任务过程中所获得的一些信息反馈给学习环节。8环境学习环节知识库执行环节4.学习策略

机器学习的学习过程与推理过程是密切相关，按照学习中所使用的推理方法分类，可以将机器学习的学习策略分为：记忆学习、类比学习、传授学习、演绎学习、归纳学习和联络学习等。本章将主要介绍几种常用的学习策略。9二、记忆学习记忆学习(Rotelearning)也叫机械学习，是最简单的机器学习方法。该方法主要凭借记忆，即存储学习过的知识，供需要时检索调用，其特点是不再需要重新计算或推理。在记忆学习系统中，知识的获取是以较稳定和直接的方式进行的，不需要系统进行过多的加工。记忆学习的基本过程是：执行元素每解决一个问题，系统就记住这个问题和它的解，当以后再遇到此类问题时，系统就不必重新进行计算，而可以直接找出原来的解去使用。10

11

存储输入模式执行函数输出模式输入输出模式对三、归纳学习归纳学习是应用归纳推理进行学习的一种方法，即从一系列的示例中归纳出一般性的知识描述的过程。根据学习过程是否有指导教师可分为示例学习以及观察与发现学习。示例学习示例学习又称实例学习，它是通过环境中若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。它给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，并使这个描述适合于所有的正例，排除所有的反例。12示例学习的模型

示例学习的过程是：首先从示例空间中选择合适的训练示例，然后经解释过程得到一般性知识，最后再从示例空间中选择更多的示例对它进行验证，直到得到可实用的知识为止。示例学习的空间模型如下图示。该空间模型是示例学习的基本模型，该模型包括两个主要空间和两个主要过程，它们分别是示例空间、规则空间、解释过程和验证过程。

13示例空间规则空间验证过程解释过程示例空间是我们向系统提供的示教例子的集合；解释过程是从搜索到的示例中抽象出一般性的知识的归纳过程；规则空间是事务所具有的各种规律的集合；验证过程是要从示例空间中选择新的示例，对刚刚归纳出的规则做进一步的验证和修改。

执行过程描述依据双空间模型建立的归纳学习系统，其执行过程大致可以描述为：首先由施教者给实例空间提供一些初始示教例子，由于示教例子在形式上往往和规则形式不同，因此需要对这些例子进行转换，解释为规则空间接受的形式。然后利用解释后的例子搜索规则空间，由于一般情况下不能一次就从规则空间中搜索到要求的规则，因此还要寻找一些新的示教例子，这个过程就是选择例子。

14程序会选择对搜索规则空间最有用的例子，对这些示教例子重复上述循环。如此循环多次，直到找到所要求的例子。1)示例空间在双空间模型中，实例空间所要考虑的主要问题包括两个：一是示教例子的质量，另一个是实例空间的搜索方法。解释例子的目的是从例子中抽取出用于搜索规则空间的信息，也就是把示教例子变换成易于进行符号归纳的形式。选择例子就是确定需要哪些新的例子和怎样得到这些例子。2)规则空间规则空间的目的是指定表示规则的操作符和术语，用以描述和表示规则空间中的规则，与之相关的两个问题是对规则空间的要求和规则空间的搜索方法。15

归纳学习方法可分为以下两大类：

1)单概念学习方法。典型的单概念学习系统包括米切尔(TomMitchell)的基于数据驱动的变形空间法，昆兰(J.R.Quinlan)的ID3方法，狄特利希(T.G.Dietterich)和米哈尔斯基(R.S.Michalski)提出的基于模型驱动的Induce算法。

2)多概念学习方法。典型的多概念学习方法和系统有米哈尔斯基的AQ11、DENDRAL和AM程序等。多概念学习任务可以划分成多个单概念学习任务来完成。

多概念学习与单概念学习的差别在于多概念学习方法必须解决概念之间的冲突问题。

1617

18

观察与发现学习观察与发现学习分为观察学习与发现学习两种。前者用于对事例进行概念聚类，形成概念描述；后者用于发现规律，产生相应的规则。概念聚类概念聚类是一种观察学习，是由米卡尔斯基(R.S.Michalski)在1980年首先提出来的。其基本思想是把实例按一定的方式和准则进行分组，如划分不同类，不同层次等，得到的分组代表着不同的概念，从每个分组中可以诱导出一个概念的语义符号描述。19例如对下列事例：麻雀、乌鸦、喜鹊、鸡、鸭、鹅……可根据它们是否为家禽分为如下两类：鸟=｛麻雀，乌鸦，喜鹊，…｝家禽=｛鸡，鸭，鹅，…｝这里，“鸟”“家禽”就是由聚类得到的新概念，并且根据相应动物的特征还可得知：“鸟有羽毛，有翅膀，会飞，会叫，野生”“家禽有羽毛，有翅膀，会飞，会叫，家养”如果它们的共同特征提取出来了，就能得到“鸟类”的概念。发现学习发现学习是无教师指导的归纳学习，是从系统的初始知识、观察事例或经验数据中归纳出规律或规则。20四、决策树学习决策树又称为判定树，是常用于分类和预测的一种树形结构，是应用最为广泛的推理算法之一，决策树学习算法有很多，常用的有ID3、ID4、C4.5、CART等。

决策树是一种由节点和边构成的用来描述分类过程的层次数据结构。每个节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。在决策树种，从根节点到叶节点的每一条路径都代表一个具体的实例，并且同一路径上的所有属性之间为合取关系，不同路径之间为析取关系。21例6.1图(a)给出了一个决策树的例子，从中可以看出一个客户是否购买计算机，用它预测某个人的购买意向。决策树还可以表示成规则形式，如下所示。22ageincomebuyyesbuynocredit_ratingbuynobuyyes图（a）

决策树youthseniorhighlowfairexcellentbuyyesmiddleagedIFage=youth

ANDincome=high

THEN该客户会购买计算机IFage=youth

ANDincome=low

THEN该客户不会购买计算机IFage=meddleagedTHEN该客户会购买计算机IFage=seniorANDcredit_rating=fairTHEN该客户不会购买计算机IFage=youthANDcredit_rating=excellentTHEN该客户会购买计算机

以下为决策树的经典学习算法——ID3算法。23

24

25ID3算法的学习过程：首先以整个例子集作为决策树的根节点S，并计算S关于每个属性的期望熵（即条件熵）；然后选择能使S的期望熵为最小的一个属性对根节点进行分裂，得到根节点的一层子节点；接着再用同样的方法对这些子节点进行分裂，直至所有叶节点的熵值都下降为0为止。这时，就可得到一棵与训练例子集对应的熵为0的决策树，即ID3算法学习过程所得到的最终决策树。该树中每一条从根节点到叶节点的路径，都代表了一个分类过程，即决策过程。26五、类比学习机械学习是一种单纯依靠记忆学习材料，而避免去理解其复杂内部和主题推论的学习方法。美国心理学家奥苏伯尔提出与机器学习相对的有意义学习概念，指符号所代表的新知识与学习者认知结构中已有的知识建立非实质性的和人为的联系，此理论可被描述为类比学习。运用类比，可迅速地把新旧知识对比、联系，迅速发现同中的异，清晰地理解知识；找出异中的同，构建知识网络。本节主要介绍类比学习的基本过程及几种特殊的类比学习，包括属性类比学习、转换类比学习、派生类比学习和联想类比学习。27类比学习的基本过程（1）搜索匹配（2）选择规则（3）建立对应关系（4）更新知识库

2.属性类比学习属性类比学习是根据两个相似事物的属性实现类比学习。在该学习系统中，采用框架来表示事物，其中已知事物的框架称为源框架，目标事物的框架称为目标框架，使用框架槽来表示事物的属性。该学习过程是把源框架的某些槽值传递到目标框架的相应槽中。该传递过程分为两步：（1）利用源框架产生若干候选槽。（2）利用目标框架中的已有信息来筛选由（1）推荐的相似性。283.转换类比学习转换类比学习方法是基于“中间-结局分析”法发展起来的。其求解问题的基本过程如下：（1）把问题的当前状态与目标状态进行比较，找出它们之间的差异。（2）根据（1）所得到的差异找出一个可减少差异的算符。（3）若该算符可以作用于当前状态，则该算符把当前状态改变为另一个更接近目标的状态；若该算符不能作用于当前状态，则保留当前状态，并生成一个子问题，然后对此子问题用此法。（4）当子问题被求解以后，恢复保留的状态，继续处理原问题。29转换类比学习方法由外部环境获得与类比有关的信息，学习系统找出与新问题相似的旧问题的有关知识，对这些知识进行转换，使之适用于新问题，从而获得新的知识。它主要由回忆过程和转换过程两个过程组成。回忆过程用于寻找新旧问题的差别，转换过程是对旧问题的解进行适当的变换，使之成为求解新问题的求解方法。转换类别过程如图所示：304.派生类比学习遇到新问题，将新问题映射到原问题中，在原有问题的基础上抽象出解决方法；同时，新问题又能重新引导出另一个原先已解决的问题，即派生出另一个问题，而又能从该问题中得出新的解决方法，此时便可以类比两个已解决的问题的解决方法，找出相似之处，得出新问题的解决方法。派生类比的过程如图所示：314.联想类比学习联想类比学习是把已知领域（源系统）的知识联想到未知领域（目标系统）的类比方法，是一种综合的类比推理方法。联想类比条件：同构相似联想同态相似联想接近联想对比联想模糊联想类比学习方法按原理可分为直接类比、拟人类比、象征类比、幻想类比、因果类比、对称类比、仿生类比和综合类比8种。32六、解释学习

1983年，美国伊利诺伊大学的Dejong提出了解释学习，3年后由米切尔等人又提出了基于解释的概括化的统一架构，即通过运用相关的领域知识，对当前的一个实例进行分析，构造解释结构，然后对该解释结构进行概括化，得到相应知识的一般性描述。33解释学习的基本原理这里主要讨论米切尔等人提出的解释泛化学习方法。其框架的一般性描述为：已知：目标概念、训练实例、领域理论、操作性标准。求出：满足操作性标准的关于目标概念的充分条件的概念描述。其中：目标概念是要学习概念的描述；训练实例是为学习系统提供的一个实例；领域理论是相关领域的事实和规则，即为背景知识；操作性标准用于指导学习系统对用来描述目标的概念进行舍取等的控制性知识。

34解释学习的基本过程从以上框架可知，解释学习的一般过程可以分为构造解释结构和获取一般性知识描述两个步骤。第1步，在该步骤中主要是解释提供给系统的训练实例为什么是目标概念的一个实例。当用户输入用例，系统首先进行问题求解，从目标开始反向推理，通过领域知识获得知识匹配，有了解释的结果，便也获得了一个解释结构。例6.3假设要学习的目标是“一个物体x可以安全地放置在另一个物体y的上面”。即目标概念：

Safe-to-Stack(x,y)

35首先对学习的目标概念进行逻辑描述：On(obj1,obj2)物体1在物体2的上面

Isa(obj1,book)物体1是书

Isa(obj2,table)物体2是桌子

Volume(obj1,1)物体1的体积是1Density(obj1,0.1)物体1的密度是0.1

领域知识是把一个物体安全地放置在另一个物体上面的准则：

﹁Fragile(y)→Safe-to-stack(x,y)表示如果y不是易碎的，则x可以安全地放到y的上面；Lighter(x,y)→Safe-to-stack(x,y)表示如果x比y轻，则x可以安全地放到y的上面；

36Volume(p,v)∧Density(p,d)∧Product(v,d,w)→Weight(p,w)表示如果p的体积是v、密度是d、v乘以d的积是w，则p的重量是w；Is-a(p,table)→Weight(p,5)表示如果p是桌子，则p的重量是5；Weight(p1,w1)∧Weight(p2,w2)∧Smaller(w1,w2)→Lighter(p1,p2)表示如果p1的重量是w1、p2的重量是w2、w1比w2小，则p1比p2轻。其证明过程是一个由目标引导的逆向推理，最终得到的解释树就是该例的解释结构如下图(a)示。3738Safe-to-Stack(obj1,obj2)Lighter(obj1,obj2)Weight(obj1,0.1)Weight(obj2,5)Smaller(0.1,5)Is-a(obj2,table)Volume(obj1,1)Density(obj1,0.1)Product(1,0.1,0.1)图(a)Safe-to-Stack(obj1,obj2)解释树第2步，主要是从第1步所得到的解释结构进行一般性知识描述。这样的过程实际上是将特殊问题抽象化的过程。根据以上事例所得到的概括性解释结构下下图(b)示。由此将一般化解释结构的所有叶节点合取作为前件，以顶点的目标概念作为后件，略去解释结构的中间部件，就生成一般性知识：Volume(O1,v1)∧Density(O1,d1)∧Product(v1,d1,w1)∧Is-a(O2,table)∧Smaller(w1,5)→Safe-to-stack(O1,O2)3940图(b)Safe-to-Stack(O1,O2)解释树Safe-to-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,5)Smaller(w1,5)Is-a(O2,table)Volume(O1,v1)Density(O1,d1)Product(v1,d1,w1)七、神经学习神经学习是一种基于人工神经网络的学习方法。神经学习主要是神经网络的训练过程，其主要表现为联结权值的调整。本节主要讨论感知器学习、BP网络学习和Hopfield学习。411.感知器学习感知器模型是由美国学者F.Rossenblatt于1957年提出的一种早期的神经网络模型，其第一次引入了学习的概念，可以用基于符号处理的数学方法来模拟人脑所具备的学习功能。根据网络中所拥有的网络节点的层数，将其分为单层感知器和多层感知器。本节主要讨论单层感知器的学习模型。单层感知器学习算法思想单层感知器学习基于迭代的思想，通常采用误差校正学习规则的学习算法，其主要思想是利用神经网络的期望输出与实际输出之间的偏差作为联结权值和阈值调整的参考。

42

43

44

45设初始联结权值、阈值以及学习速率取值如下：

w1(0)=0.4,w2(0)=0.8,θ(0)=0.6,η=0.4算法的学习过程如下：设两个输入为x1(0)=0和x2(0)=0，其期望输出为d(0)=0，实际输出为：

y(0)=f(w1(0)x1(0)+w2(0)x2(0)-θ(0))=f(0.4*0+0.8*0-0.6)=f(-0.6)=0实际输出与期望输出相同，不需要调节权值。再取下一组输入：x1(0)=0和x2(0)=1，期望输出d(0)=0，实际输出：

y(0)=f(w1(0)x1(0)+w2(0)x2(0)-θ(0))=f(0.4*0+0.8*1-0.6)=f(0.2)=146实际输出与期望输出不同，需要调节权值，其调整如下：

θ(1)=θ(0)+η(d(0)-y(0))*(-1)=0.6+0.4*(0-1)*(-1)=1w1(1)=w1(0)+η(d(0)-y(0))x1(0)=0.4+0.4*(0-1)*0=0.5w2(1)=w2(0)+η(d(0)-y(0))x2(0)=0.8+0.4*(0-1)*1=0.4取下一组输入：x1(1)=1和x2(1)=0，其期望输出为d(1)=0，实际输出为：

y(1)=f(w1(1)x1(1)+w2(1)x2(1)-θ(1))=f(0.5*1+0.4*0-1)=f(-0.5)=0实际输出与期望输出相同，不需要调节权值。再取下一组输入：x1(1)=1和x2(1)=1，其期望输出为d(1)=1，实际输出为：

y(1)=f(w1(1)x1(1)+w2(1)x2(1)-θ(1))=f(0.5*1+0.4*1-1)=f(-0.1)=047实际输出与期望输出不同，需要调节权值，其调整如下：

θ(2)=θ(1)+η(d(1)-y(1))*(-1)=1+0.4*(1-0)*(-1)=0.6w1(2)=w1(1)+η(d(1)-y(1))x1(1)=0.5+0.4*(1-0)*1=0.9w2(2)=w2(1)+η(d(1)-y(1))x2(1)=0.4+0.4*(1-0)*1=0.8

取下一组输入：x1(2)=0和x2(2)=0，其期望输出为d(2)=0,实际输出为：

y(2)=f(0.9*0+0.8*0-0.6)=f(-0.6)=0实际输出与期望输出相同，不需要调节权值.再取下一组输入：x1(2)=0和x2(2)=1，期望输出为d(2)=0，实际输出为：

y(2)=f(0.9*0+0.8*1-0.6)=f(0.2)=148实际输出与期望输出不同，需要调节权值，其调整如下：

θ(3)=θ(2)+η(d(2)-y(2))*(-1)=0.6+0.4*(0-1)*(-1)=1w1(3)=w1(2)+η(d(2)-y(2))x1(2)=0.9+0.4*(0-1)*0=0.9w2(3)=w2(2)+η(d(2)-y(2))x2(2)=0.8+0.4*(0-1)*1=0.4

此时的阈值和连接权值以满足结束条件，算法可以结束。

对此，可检验如下：

对输入：“00”有y=f(0.9*0+0.4*0-1)=f(-1)=0

对输入：“01”有y=f(0.9*0+0.4*0.1-1)=f(-0.7)=0

对输入：“10”有y=f(0.9*1+0.4*0-1)=f(-0.1)=0

对输入：“11”有y=f(0.9*1+0.4*1-1)=f(0.3)=1492.反向传播网络学习反向传播网络(BackPropagationNetwork，简称BP网络)学习算法也称误差反向传播算法，是由Rumelhart和Meclelland于1985年提出的，实现了明斯基的多层网络设想，解决了前馈神经网络的学习问题，即自动调整网络全部权值问题。BP网络是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络。BP网络是一种多层前向神经网络，其神经元的变换函数是S型函数，因此输出量为0到1之间的连续量,它可以实现从输入到输出的任意非线性映射。由于其权值的调整采用反向传播的学习算法，因此称为反向传播网络。50W-H学习规则即Widrow-Hoff学习规则，是纠错学习规则的一种，于1962年由Widrow和Hoff提出，这种学习规则使神经元的期望输出和实际输出之间的平方差最小，因此也称为最小均方差(LMS)学习规则。BP网络主要用于以下方面: (1)函数逼近:用输入矢量和输出矢量训练一个网络逼近一个函数。(2)模式识别:用一个特定的输出矢量将它与输入矢量联系起来。(3)分类:把输入矢量以所定义的合适方式进行分类。(4)数据压缩:减少输出矢量维数以便于传输或存储。51BP网络模型与结构

神经网络模型与结构如下图(a)示。52修改权值阈值输入信号输出结果输入层节点隐含层节点输出层节点教师信号修改权值阈值图(a)三层BP神经网络结构一个具有r个输入和一个隐含层的神经网络模型结构感知器和自适应线性元件的主要差别在激活函数上；前者是二值型的，后者是线性的。BP网络具有一个或多个隐含层，除了在多层网络上与前面介绍过的模型有不同外，其主要差别也体现在激活函数上。BP网络的激活函数必须是可微的，所以它不采用二值型的阈值函数｛0，1｝或符号函数｛-1，+1｝，而是经常使用S形的对数或正切激活函数或线性函数，如下图示。5354BP网络S形激活函数

BP网络的特点如下：(1)输入和输出是并行的模拟量。(2)网络的输入输出关系由各层连接的权因子决定，没有固定的算法。(3)权因子是通过学习信号调节的，因此学习越多，网络越聪明。(4)隐含层越多，网络输出精度越高，且个别权因子的损坏越不容易对网络输出产生大的影响。55BP学习规则BP算法属于δ算法，是一种监督式算法。主要由两部分组成：信号的正向传播与误差的反向传播。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。56信息的正向传播(1)隐含层中第i个神经元的输出为

(2)输出层第k个神经元的输出为

(3)定义误差函数为57利用梯度下降法求权值变化及误差的反向传播(1)输出层的权值变化

对从第i个输入到第k个输出的权值有其中，同理可得，(2)隐含层的权值变化对从第j个输入到第i个输出的权值有其中，同理可得，

58误差反向传播的图形解释

59

6061

Q1Q2v1v2v3w12w13w23Q3解：E=-(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2)+θ1v1+θ2v2+θ3v3=-(w12v1v2+w13v1v3+w23v2v3)+θ1v1+θ2v2+θ3v3=-(1×1×0+(-2)×1×1+3×0×1)+(-1)×1+2×0+1×1=262

63

6465Hopfield算法流程图八、贝叶斯学习66

67

68

69朴素贝叶斯分类算法的工作流程如下图所示，大致分为准备工作、分类器训练、应用3个阶段。具体实例详见课本P163页。

朴素贝叶斯分类算法流程图70确定特征属性对每个类别计算P(yi)获取训练样本对每个特征属性计算所有划分的条件概率以P(x|yi)P(yi)最大的项作为x的所属类别对每个类别计算P(x|yi)P(yi)对每个特征属性计算所有划分的条件概率对每个类别计算P(x|yi)P(yi)朴素贝叶斯分类算法的核心在于假设向量的所有分量之间是独立的。朴素贝叶斯分类算法的优点如下：算法逻辑简单，易于实现。分类过程中时空开销小。算法稳定，对于不同的数据特点其分类性能差别不大，健壮性比较好。71九、在线机器学习

在线机器学习是指每来一个样本，就用迭代方法更新模型变量，使得当前的期望损失最小，因此需要及时处理收集的数据，并给出预测或建议结果，更新模型。现在的在线机器学习常用到逻辑回归(logisticregression)，在线机器学习算法中主要用到在线梯度下降(OGB)和随机梯度下降(SGD)。本节介绍几种提升模型稀疏性的在线最优化求解算法，包括截断梯度法、前向后向切分算法、正则对偶平均算法、FTRL算法。7273

74

75

76截断梯度法的算法逻辑：77

78

79根据FOBOS在L1正则化条件下的特征权重各个纬度更新的方式可以很容易设计出L1-FOBOS的算法逻辑：80

81

82

83FTRL算法逻辑十、增强学习

增强学习（reinforcementlearning,RL）又叫做强化学习，是近年来机器学习和智能控制领域的主要方法之一。相比其他学习方法，增强学习更接近生物学习的本质，因此有望获得更高的智能，这一点在棋类游戏中已经得到体现。增强学习已经取得了很多骄人的成绩，如第一个击败人类围棋世界冠军的人工智能机器人AlphaGo，目前增强学习已经广泛的应用到了各个领域，如：机器人、计算机视觉、计算机系统、管理系统、推荐系统、自动驾驶以及自然语言处理等领域。841.增强学习的定义增强学习又称强化学习，是属于机器学习领域的一类算法。增强学习的学习过程可以归纳为输入到决策的映射，增强学习的目的是通过不断的训练让模型可以获得最大化的收益。增强学习模型在学习的过程中并不会获得先验知识的指导，而是通过尝试学习的方式为了获得最大化收益不断的试错。增强学习关注的是根据环境为了获取最大化收益进行决策的过程，我们把这个从环境到决策的映射过程称之为策略。增强学习主要由参与学习的本体和与本体进行交互的环境两个主要部分组成，增强学习的决策过85

86

图(a)增强学习的过程2.增强学习的特点不同于机器学习的监督学习和无监督学习方法，增强学习自身有两个主要的特点：试错学习增强学习模型在学习的过程中并没有先验知识作为经验对模型的决策过程进行帮助，只能通过不断的对各种决策进行实践获得经验来获取最大收益。当本体根据环境当前的状态做出决策后，它将获87得环境的反馈，在增强学习模型中，我们将之抽象成一个数值，叫做奖励。对于本体来说，它的目标就是尽可能获得最多的奖励，为了实现这个目标，它需要不断的根据环境的状态尝试做出不同的决策，获得反馈，然后利用反馈的结果进行学习。延迟回报对于本体来说，学习是一个时序的过程，当前时刻的决策往往需要下一时刻才能获得奖励反馈，因此增强学习把这个时序问题看作一个整体，站在全局的角度看待整个问题。本体的目标是尽可能在整个过程中获得最多的奖励，所以通常不但需要在当前状态下获得充足的奖励，还需要在未来的长期时间内获得奖励。这一点和监督学习相比也有很大的不同。88

894.增强学习的策略假设现在有这样一个场景。在一个游戏中某一个状态下有四种选择，可以向前后左右四个方向走。求解往哪个方向走收益最大主要有一下三种方法。蒙特卡洛方法简单而言，蒙特卡洛方法就是对这个策略所有可能的结果求平均。向前走了以后，再做一个决策，根据这个式子，直到迭代结束，求出收益的和，就是向前走这个动作的一个采样。再不断地在这个状态采样，然后来求平均。等到采样变得非常非常多的时候，结果的统计值就接近期望值了。90动态规划方法动态规划的方法就是求取当前决策的收益最大的后续决策，然后不断迭代直至结束。要确定向前走的这个动作的收益，那么就需要将它所有的子问题先全都计算完，然后取最大值，就是它的收益了。时间差分（TemporalDifference，TD）时间差分是对蒙特卡洛方法的一种简化，也是在实际中应用最多的一种算法。同样是要计算向前走的这个行为的价值的期望值，那么它就等于向前走了到达的那个状态的回报，加上它再转移到后继状态的期望值。剩下的价值不去真的计算，而是用神经网络来估算，这就是TD算法里面最简单的TD(0)算法。915.用神经网络来对状态进行估算整个系统在运作过程中，通过现有的策略，产生了一些数据，获得的这些数据在计算回报值的时候会有所修正。然后用修正的值和状态，作为神经网络进行输入，再进行训练。最后的结果显示，这样做是可以收敛的。所以在加入了神经网络之后，各个部分之间的关系就变成了：神经网络的运用包括训练和预测两部分，训练的时候输入是状态和这个状态相应的数值，预测的时候输入是状态，输出是这个数值预估的数值。92

93

94十一、迁移学习

在许多机器学习和数据挖掘算法中，一个重要的假设就是目前的训练数据和将来的训练数据，一定要在相同的特征空间并且具有相同的分布。然而，在许多现实的应用案例中，这个假设可能不会成立。比如，我们有时候在某个感兴趣的领域有个分类任务，但是我们只有另一个感兴趣领域的足够训练数据，并且两者的数据处于与不同的特征空间或者遵循不同的数据分布。这时如果我们想要实现本领域的分类任务就需要重新收集数据建立模型，显然这个花费是巨大的，这类情况下，如果知识的迁移做的成功，我们将会通过避免花费大量昂贵

的标记样本数据的代价，使得学习性能取得显著的提升。这也就是迁移学习提出的目的。951.为什么需要迁移学习面临着大数据与少标注之间的矛盾。面临着大数据与弱计算之间的矛盾。面临着个性化需求和普适化模型之间的矛盾。面临着新问题亟待解决的问题。面对以上问题，传统的机器学习显得乏力，此时迁移学习的提出可以用来解决这些问题，例如：面对大数据与少标注的矛盾，我们可以采用数据的迁移标注。面对普适化模型与个性化需求的矛盾我们采用自适应迁移调整。962.迁移学习的定义

迁移学习的核心问题是找到新模型和已存在模型之间的相似性，从而可以“举一反三”、“触类旁通”，人类拥有着迁移学习的能力，例如：我们会打羽毛球，就可以类比着学习打网球。下图(a)展示了传统的学习和迁移学习的学习过程之间的不同。

图(a)

传统学习和迁移学习的学习过程97

9899

3.负迁移对于迁移学习来说，是一个“举一反三”的过程，但在这个过程中产生一种相反的现象，称之为负迁移。负迁移可以理解为“东施效颦”，是一个负面现象。迁移学习的核心是利用数据和领域之间的相似性，把不同域之间的知识进行迁移。如果，两个领域之间不存在相似性或者基本不相似，那么迁移学习的效果就会大打折扣，这样就出现了负迁移。负迁移指的是，在源域上学习到的知识，对于目标域上的学习产生负面作用。产生负迁移的愿意主要有两方面：1.数据问题：源域与目标域无相似关系。

2.方法问题：源域与目标域具有相似关系，但是迁移的方法选择失败，导致没有找到可迁移成分。100

为了避免或减少负迁移现象，提出传递迁移学习概念。传统的迁移学习需要源领域与目标领具有相似性，而传递迁移学习可以利用源领域与目标领域之间若干个领域来完成知识的传递，从而完成源领域到目标领域的迁移，也就是借助中间域进行迁移。如下图(b)。

图(b)借助中间域完成源领域到目标领域的迁移

1014.迁移学习的分类对于迁移学习的分类，根据不同的分类标准，分类的结果也不同，大体上讲，可以从四个准则进行分类：按目标域标签划分、按学习方法划分、按特征划分、按在线和离线划分。按目标域标签划分1.无监督迁移学习：目标领域数据只有特征，没有标签，需要学习训练集中的特征关系，使类内差距最小，类间差距最大。2.半监督迁移学习：目标域部分数据是有特征和标签的，另一部分数据只有特征没有标签。3.监督迁移学习：每个数据都有特征和标签。102按学习方法划分1.基于实例的迁移学习：采用权重重用的方式，对不同的样本赋予不同的权重，从而实现源域和目标域的样例迁移。2.基于特征的迁移学习：将特征不在一个空间的源域和目标域，通过特征变换到一个空间。3.基于模型的迁移学习：通过构建参数共享模型，实现模型的迁移。例如：finetune神将网络。4