机器学习的分类及原理

机器学习的分类及原理

第一节什么是机器学习

机器学习是一门研究用机器掌握现有知识并通过与外界环境的信息数

据交互获取新知识和新技能的学问。简单来说，就是让计算机从大量的

数据中学习到相关的规例口逻辑，然后利用它们来预测未知的事物。它

不仅研究如何使计算机模拟人类的学习行为，而且要让机器自身能够组

织整理已学习到的知识，并在应用中不断完善自身的缺陷。机器学习是

实现计算智能的根本途径，它主要使用归纳综合而不是演绎的方法来认

识世界。

人工智能的研究从以“推理〃为重点到以〃知识”为重点，再到以"学

习”为重点，有一条自然而清晰的脉络。人工智能出身的机器学习研究

者，绝大部分是把机器学习作为实现人工智能的一种手段，但对具体是

采用基于统计的、代数的、还是几何的、分析的方法来解决问题，他们

并不在意。这群人认为仅靠统计学习是不可能完美解决AI中大部分问

题的。他们的理念是许多事情的难处，往往在于我们不知道困难的本质

在哪里，一旦〃问题”清楚了，解决起来可能并不困难。统计学家们则

往往把机器学习看作〃应用统计学〃的一个问题，他们关注的是如何把

统计学中的理演口方法变成可以在计算机上有效实现的算法。尽管不少

数学家甚至拒绝承认统计学是数学，但统计学研究的问题是清楚明确的，

不像人工智能力阱羊，连问题到底在哪里都不知道。

综合考虑各种学习方法出现的历史渊源、知识表示方法、推理策略、结

果评估的相似性以及应用领域等诸多因素，可以将机器学习区分为经验

性归纳学习、分析学习、类比学习、遗传算法、联接学习、强化学习等

六类。机器学习是继专家系统之后人工智能应用的又一重要研究领域。

俗话说，不谋全局者不足以谋一域，在本章下面的各节我们将对机器学

习的各个流派逐一作个简单的介绍。

第二节符号学派的规则集合决策树

机器学习本质上是一种炼金术，在魔法石的辅助下把数据变成知识。符

号学派的主算法是规则集合决策树他们认为所有的信息都可以简化为

逻辑操作，解决问题的主要方法是使用知识结合逻辑来进行推理以得到

结论。他们相信认知和思维的基本单元是符号，知识通过符号依句法形

成符号串表示为命题，认知是按形式逻辑处理符号串的过程，而研究智

能的主要工作就是如何创建更全面完善的知识数据库，怎么最有效地搜

索知识库来求解。

符号主义最大的好处是在于可解读性，原因过程结果都非常清楚。即使

有不确定的东西,也可以建立新的模型，然后用相对确定的方式去推理

验证。但是它的计算复杂度太高了，在解决不确定问题时也缺乏鲁棒性,

特别是建模本身也不容易。一种可行的改进方法是采用逆向演绎，它是

从问题的目标状态出发，按照子目标组成的逻辑顺序逐级向初始状态演

绎递归的解决策略。它可以容易地将知识并入主算法中，主要过程是将

问题解决的目标分解成问题解决的子目标，直至使子目标按逆推途径与

给定已知条件建立直接联系或等同起来。逆向推理控制策略的优点是目

的性强，不必寻找与假设无关的信息和知识。这种策略能够对推理过程

提供较精确的解释，适田于问题空间中有多条途径从初始状态出发，而

只有少数路径通向目标状态的问题，另外它还能清楚地向用户提供求解

过程。

理性主义者认为，感官会欺骗人，因此逻辑推理是通往知识的唯一可靠

的道路。经验主义者则认为所有的推理都是不可靠的，知识必须来源于

观察及实验。符号主义痛长处理抽象的信息，这一学派的主要成果包括

贝叶斯因果网络和知识图。有人说联结主义擅长将外部的信息转化为同

一种格式的知识传递给大脑，而符号主义解决了机器大脑的推理与决策

的问题。

第三节联接学派的可微几何变换

人类认知能够极限泛化，快速适应全新的情况，为未来做出规划。而目

前的机器学习模型只能执行局部泛化，对任何一种新场景都必须与原始

数据场景有非常紧密的联系才能适应。为了解决这些局限性并开始与人

类大脑进行协同竞争，机器还需要从输入到输出的简单映射转向抽象和

推理。

研究表明，深度学习的唯一真正成功之处就是能够在给定大量人工注释

数据的情况下使用连续几何变换将空间X映射到空间Y的知识表达能

力。联结学派的学习模型被定义为可学习的程序，但目前它能学习的程

模型，用M2表示另外一个非线性模型，在同样数据集D的情况下,

我们可以通过上匕较来确定应该选择哪一种模型。

贝叶斯公式很简单,P(A|B)=P(B|A)*P(A)/P(B),但它的应用却超乎想

象的广泛。所谓客观贝叶斯，就是希望能够把先验的影响尽量弱化，所

以会研究一些noninformativepriors,就是你用贝叶斯得出的结果类

似用统计的方法得到结果。而主观贝叶斯更希望利用贝叶斯框架的灵活

性，因为贝叶斯框架给了你一个先验的分布，当你的数据足够多的时候,

可以通过先验引入一些知识来帮助你学习，这个是大家比较喜欢用的方

法。具体的操作上,就是可以相信这个prior，但是尽量弱化prior里

边参数的影响，这种技术叫〃层次的prior"。有一个基本的假设，这

个IT里面的参数叫超参数，它离我这个产生数据的模型越远的话影响就

越弱，实际上利用这种基本假设，就可以构建多层的prior.贝叶斯本

身和深度学习都是一个多层的表示框架，只不过这里边完全用概率的方

式来刻画。如果做一些empiricalprior,通过数据估计出来，好处是计

算相对比较简单，不好的地方是多次用训练数据，会得到一些过拟合的

问题。

在做贝叶斯推理时，我们的输入是一个先验分布和一个似然函数，输出

是一个后验分布。如果输入、输出保持不变，但替换信息处理的准则，

或者对优化解释做一些评价,就可以做得比经典贝叶斯更加普适。跟深

度学习中表示学习的思想一致，在贝叶斯SVM里，我们可以考虑隐含

变量，也可以加很多层的隐含变量，来学这些隐变量的分布。在神经网

络里是学习具体的取值，在概率模型里是学分布。贝叶斯SVM里有

个典型的应用叫主题模型，在文本分析里面用的比较多。

第五节达尔文遗传算法

遗传算法(GeneticAlgorithm)又叫基因进化算法，假定人类在进化

过程中总是会自动选择优良基因，淘汰劣等基因，是模拟达尔文的遗传

选择和自然淘汰生物进化过程的计算模型。它属于〃生存+检测“迭代

过程的搜索算法，是启发式搜索算法的一种，写个100-200行代码就

可以实现，在解决八皇后问题，背包问题，染色问题时特别简单有效。

遗传算法以特定群体中的所有个体为对象，利用随机化技术指导对一个

被编码的参数空间进行高效搜索。其中，选择、交叉和变异构成了遗传

算法的遗传操作；初始群体的设定、参数编码、适应度函数的设计、遗

传操作设计、控制参数设定五个要素组成了遗传算法的核心内容。最关

键的是适应度评估函数，就是对这个繁衍出来的后代进行评估，是优秀、

一般，还是很差的畸形儿。不同的计算方法会影响算法的收敛速度，直

接影响结果和性能。其次是选择运算规则或算子，对应着达尔文理论中

适者生存，意思就是只有优秀的人才有更大的几率存活下来，拥有交配

权。可选择算法目前已有十多种，最常见的是轮盘赌算法。交叉运算规

则又称交配规则，交叉算子。对应遗传学中的精子和卵子产生的受精卵

含有精子的部分基因，也含有卵子的部分基因的这一现象。交叉运算算

法更多，只要达到交叉结果中含有父母的基因就可以，最常见的是k-opt

交换。最后变异运算规则又叫变异算子。在人类遗传进化过程中会发生

一些基因突变，这些突变有好有坏，爰因斯坦的大脑估计就是个好的奇

葩。

作为一种全局优化搜索算法，遗传算法以其简单通用、鲁棒性强、适于

并行处理以及高效、实用等显著特点,在各个领域得到了广泛应用，取

得了良好效果，并逐渐成为重要的智能算法之一。但缺点是其参数需要

根据具体情况不停的在实践中摸索，没有万能的推荐参数。

第六节类推学派的支持向量机

类推学派遵循〃最近邻,原理进行研究，主要是通过对相似性的判断推

理来进行学习、探索发现不同的场景中的相似性。类推学派的主要算法

是支持向量机，主算法需要找出相关记忆的经历，并将这些经历结合起

来，用来做新的预测。比如发现两个病人有相似的症状，那么他们是否

患有相同的疾病呢？我们又如何判断两个事物的相似程度呢？

一个好的机器学习算法不能在遇到每个新问题时都从零开始，而且这也

不是人类的做法。支持向量机其实也是一种回归算法，所谓回归主要是

研究一组随机变量和另一组随机变量之间关系的统计方法，又称回归分

析。SVM通过一个非线性映射p,把样本空间映射到一个高维乃至无

穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性

可分的问题转化为在特征空间中的线性可分的问题。简单地说，就是升

维和线性化。作为分类、回归等问题来说，很可能在低维样本空间无法

线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现

线性划分（或回归）。一般的升维都会带来计算的复杂化，但SVM方

法巧妙地应用核函数的展开定理简化了计算，不需要知道非线性映射的

显式表达式。SVM是在几乎不增加计算复杂性的情况下，在高维特征

空间中建立的线性学习机。支持向量机将一个低维向量映射到一个高维

的空间里，在分开数据的超平面两边建有两个互相平行的超平面，并让

这两个平行的分隔超平面间的距离最大化。

类推学习的关键就是要比较不同场景中的相似性和不同点。在机器学习

和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的

相似性和类别。根据数据特性的不同，除可以使用支持向量机做分类以

外，我们还可以采用如K最近邻（KNN）和K均值（K-Means）等不

同的度量方法来解决相关的聚类问题。

第七节强化学习与行为主义

1954年Minsky首次提出〃强化”和〃强化学习〃的概念和术语，随

后Waltz和傅京孙在控制理论中也明确了通过奖惩的手段，〃试错”是

强化学习的核心机制。另外Bellman在1957年提出了马尔可夫决策过

程的动态规划方法，随后Howard补充了求解的策略迭代方法。

强化学习主要包含状态、动作、转移概率（策略）以及奖惩函数等四个

要素，主耍思路是通过在环境中不断地类试，并根据类试获得的反馈信

息来调整策略，最终生成一个较好的策略。一个策略的优劣取决于长期

执行这一策略后的累积奖赏通常使用T步累积奖赏与r折扣累积奖赏。

有模型学习是指任务中的四个要素都已知，如果它当中的状态和动作空

间均为有限的离散值，我们就不用通过尝试便可以对某个策略进行评估,

把问题转化为一种动态规划问题。强化学习中，不依懒于环境建模的方

法被称为免模型学习。当模型参数未知时，一种直接的方法便是通过采

样来对策略进行评估(估算其值函数),同策略蒙特卡罗强化学习正是

基于采样来估计状态-动作值函数的合适方法，其中的评估和改进都是

用的同一个策略。此外还有从范例中直接模仿人类专家〃状态-动作对"

的模仿学习，又叫〃学徒学习”、〃示例学习〃、〃观察学习"，其灵

感来源于心理学中的行为主义理论。而逆强化学习则是从人类专家提供

的范例数据中反推出奖赏函数。

目前认为大脑的运行机制类似于强化学习，实际上我们的大脑机制并不

完美，但所有人都在使用它。广义地说来，强化学习就是让机器可以理

解这个世界，随后利用刍己所学到的知识完成人类指定的任务，纠正自

主行为。Google的Aut。ML可以使用强化学习为计算机视觉和语言建

模生成最前沿的机器生成的神经网络架构。最后我想引用DavidSilver

的一句话来说明它的重要性，"深度学习(DL)+强化学习(RL)二人工智能

(AI)"。

第八节六大流派学习算法的比较与分析

上面我们简单介绍了机器学习的六大流派，尽管常识告诉我们只有工程

师和机修工才有必要知道汽车发动机如何工作，但每一位司机都必须明

白转动方向盘可以改变汽车的方向，踩刹车会让汽车停下来。尽管目前

每年都会出现上百种新的算法和模型，但它们基本都是基于以上六大流

派的思路。

对于我们来说绝大部分问题都可以通过学习算法来找到答案。对于我们

应该如何学习，应该相信所学的知识吗等等这些问题，机器学习的各个

学派有不同的答案。就喙癌症的治疗，没有那个医生掌握这个领域中的

所有知识，但机器学习可以做到。你可以使用朴素贝叶斯或马尔可夫链

从专家系统中获取发生的可能性来进行概率推理，对疾病做一个基本的

判断。然后运用决策树算法以及符号、规则和逻辑来准确表现知识并进

行精确的推理。在治疗过程中你还可以运用强化学习的状态观测结果、

奖励函数来随时调整治疗的方案，最后运用遗传进化算法来不断总结改

进对癌症的诊断和治疗。虽然当今的机器算法能够以超出人类水平的精

确度来诊断疾病，但治愈癌症却远远超出了其理解范围。鉴于神经科学

中存在的〃灾难性遗忘〃现象，编者以为通用的终极算法是不存在的。

因为要么它没有掌握全部的知识和方法,要么就会因为掌握了太多而使

计算变得不可能。

比较现实的解决方法是尽快建立一个有效率的策略选择比较器用来对

各种算法的方案进行比较，给各种方案一个评分置信度。这样做就可以

在实际工作中积累大量的数据和经验，不断提高算法的体验，并掌握各

种算法适应性的对象。远期来说，我们必须为机器学习这个多体问题建

立起一个可靠的数学语言体系，积极运用包括分型无穷维数学尺度和抽

象代数在内的数学物理方法来创造一个更智能、更透明、更稳健、更友

好的智能机器人。

第九节如何将六种流派和算法化零为整

现在机器学习的一个重要问题在于如何将六大类型的学习方法结合起

来。尽管看上去大不相司，但是它们之间还是存在相通之处的，因为都

由表征、评估、优化三个相同成分构成。接下来我们就简单介绍每一个

成分具体指代什么，怎样来实现六种算法的统一。

表征指学习者如何表示正在学习的数据、知识和模型。学习者将来用于

编写算法的编程语言不会是Java、C++,或类似的彳到可语言。因此我

们的首要任务是统一这些表征方法，我们可以运用一阶逻辑的变体形式,

或者是贝叶斯的图像模型。倘若我们能够将这两种表征方法相结合，就

可以用来表达任何一种事物。事实上，应用最广泛的Markov逻辑网络

就是逻辑网络和Markov网络的结合体。该网络是一种非常简单的模型,

由公式和一阶逻辑开始，然后对每一个规则赋予权重值。接下来建立一

个分数函数，它会判断一个候选模型的性能优劣°例如，该候选模型是

否与数据或者与我的目的一致。事实上，每一种学习问题都在于能否找

到实现评估函数值最大化的编程。一个比较明显的候选方法是贝叶斯使

用的后验概率。因为通常来讲，评估结果应当由用户提供，并用来决定

学习者应当优化的内容。

最后是找到实现函数值最大化的模型，即优化。这里可以将遗传编程与

反向传播算法进行自然结合，去发现我们能够使用的遗传编程公式。在

一阶逻辑中，每一个公式是一个树，我们可以穿越这些树，应用遗传过

程来提出能够更好的公式。如果有一个涉及到许多不同公式的事件，而

且不同的步骤都被赋予一定的权重值，那么就可以运用反向传播算法来

学习这些权重。遗憾的是，即使我们成功地实现这六种范式的统一，在

此过程中仍会出现一些主要思想的丢失，还可能存在我们尚未拥有的想

法，这样我们还是不能拥有真正意义上的Totalsolution的学习机制。