【人工智能导论】监督学习、无监督学习、半监督学习

人工智能导论监督学习

（SupervisedLearning)监督学习（SupervisedLearning)利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。监督学习是从标记的训练数据来推断一个功能的机器学习任务。在监督学习中，给定一组数据，我们知道正确的输出结果应该是什么样子，并且知道在输入和输出之间有着一个特定的关系。监督学习可分为“回归”和“分类”问题监督学习（SupervisedLearning)在回归问题中，我们会预测一个连续值。也就是说我们试图将输入变量和输出用一个连续函数对应起来；例如：通过房地产市场的数据，预测一个给定面积的房屋的价格就是一个回归问题。这里我们可以把价格看成是面积的函数，它是一个连续的输出值。在分类问题中，我们会预测一个离散值，我们试图将输入变量与离散的类别对应起来例如：给定医学数据，通过肿瘤的大小来预测该肿瘤是恶性瘤还是良性瘤(课程中给的是乳腺癌的例子)，这就是一个分类问题，它的输出是0或者1两个离散的值。(0代表良性，1代表恶性)。分类问题的输出可以多于两个，比如在该例子中可以有{0,1,2,3}四种输出，分别对应{良性,第一类肿瘤,第二类肿瘤,第三类肿瘤}。监督学习（SupervisedLearning)监督学习是用正确答案已知的例子来训练学习器（以神经网络为例），也就是用标记过的数据。如果我们想设计一个系统——从相册中找出包含你的父母的照片，基本的步骤如下：第一步：数据的生成和分类首先，我们要浏览你的照片（数据集），确定所有有你父母的照片，并对其进行标注，从而开始此过程。然后我们将把整堆照片分成两堆。我们将使用第一堆来训练网络（训练数据），而通过第二堆来查看模型在选择我们父母照片操作上的准确程度（验证数据）。等到数据集准备就绪后，我们就会将照片提供给模型。在数学上，我们的目标就是在深度网络中找到一个函数，这个函数的输入是一张照片，而当你的父母不在照片中时，其输出为0，否则输出为1。此步骤通常称为分类任务（categorizationtask）。在这种情况下，我们进行的通常是一个结果为yesorno的训练，但事实是，监督学习也可以用于输出一组值，而不仅仅是0或1。例如，我们可以训练一个网络，用它来输出一个人偿还信用卡贷款的概率，那么在这种情况下，输出值就是0到100之间的任意值。这些任务我们称之为回归。监督学习（SupervisedLearning)第二步：训练在进行训练这一步时，每一幅图像都会作为学习器的输入，根据一定的规则（激活函数），决定某个神经元的输出，进而得到某一层的输出。当计算完所有神经元的时候，最后得到了最右边的神经元(输出节点)的输出，是0还是1。上一步中，我们已对照片上是否有你父母做过标记。这样，我们就能知道神经网络所预测的结果是否正确，并把这一信息反馈回神经网络。这里所反馈的，是成本函数的计算结果，即神经网络计算结果与实际情况的偏差。这个函数也叫做目标函数、效用函数或者适应度函数。这一结果用来调整神经元的权重和偏差，这就是BP算法，即反向传播算法。我们会为每个图片都重复一遍此操作，而在每种情况下，算法都在尽量最小化成本函数。监督学习（SupervisedLearning)第三步：验证一旦我们处理了第一个堆栈中的所有照片，我们就应该准备去测试该模型。我们应充分利用好第二堆照片，并使用它们来验证训练有素的模型是否可以准确地挑选出含有你父母在内的照片。第四步：应用完成以上三步，模型就训练好了。接下来，我们可以把模型融合到程序中。模型可以提供一个API（ApplicationProgrammingInterface,应用程序编程接口）。当应用程序调用该API的时候，模型会计算得到结果，并返回给应用程序。监督学习（SupervisedLearning)通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。也就具有了对未知数据分类的能力。监督学习的目标往往是让计算机去学习我们已经创建好的分类系统（模型）。监督学习是训练神经网络和决策树的常见技术。这两种技术高度依赖事先确定的分类系统给出的信息，对于神经网络，分类系统利用信息判断网络的错误，然后不断调整网络参数。对于决策树，分类系统用它来判断哪些属性提供了最多的信息。监督学习常用技术K-近邻算法（k-NearestNeighbors，KNN）K-近邻是一种分类算法其思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。监督学习常用技术K-近邻算法（k-NearestNeighbors，KNN）算法的步骤为：（1）计算测试数据与各个训练数据之间的距离；（2）按照距离的递增关系进行排序；（3）选取距离最小的K个点；（4）确定前K个点所在类别的出现频率；（5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。监督学习常用技术K-近邻算法（k-NearestNeighbors，KNN）如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。。监督学习常用技术决策树（DecisionTrees）决策树是一种常见的分类方法，其思想和“人类逐步分析比较然后作出结论”的过程十分相似。决策树是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。决策树的构造就是进行属性选择度量确定各个特征属性之间的拓扑结构。监督学习常用技术决策树（DecisionTrees）监督学习常用技术朴素贝叶斯（NaiveBayesian）贝叶斯分类是一系列分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。朴素贝叶斯算法是其中应用最为广泛的分类算法之一。朴素贝叶斯分类器基于一个简单的假定：给定目标值时属性之间相互条件独立。朴素贝叶斯的基本思想是对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。无监督学习

（UnsupervisedLearning)无监督学习（UnsupervisedLearning)无监督学习中使用的数据是没有标记过的，即不知道输入数据对应的输出结果是什么。无监督学习只能默默的读取数据，自己寻找数据的模型和规律，比如聚类（把相似数据归为一组）和异常检测（寻找异常）。在无监督学习中给定的数据是和监督学习中给定的数据是不一样的，在无监督学习中给定的数据没有任何标签或者说只有同一种标签。如下图所示：在无监督学习中，我们只是给定了一组数据，我们的目标是发现这组数据中的特殊结构。输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类（聚类，clustering）试图使类内差距最小化，类间差距最大化。通俗点将就是实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计。例如我们使用无监督学习算法会将这组数据分成两个不同的簇,，这样的算法就叫聚类算法。无监督学习（UnsupervisedLearning)无监督学习举例新闻分类：GoogleNews搜集网上的新闻，并且根据新闻的主题将新闻分成许多簇,然后将在同一个簇的新闻放在一起。当打开各个新闻链接的时候，展现的都是关于这一类的新闻。根据给定基因将人群分类：下图是DNA数据，对于一组不同的人我们测量他们DNA中对于一个特定基因的表达程度。然后根据测量结果可以用聚类算法将他们分成不同的类型。这就是一种无监督学习,因为我们只是给定了一些数据，而并不知道哪些是第一种类型的人，哪些是第二种类型的人等等。无监督学习常用技术主成分分析（Principalcomponentsanalysis，PCA）PCA是一种常见的数据降维方法，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减小计算量。PCA是一种较为常用的降维技术，PCA的思想是将n维特征映射到K维上，这维是全新的正交特征。这K维特征称为主元，是重新构造出来的K维特征。在PCA中，数据从原来的坐标系转换到新的坐标系下，新的坐标系的选择与数据本身是密切相关的。其中，第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选取的是与第一个坐标轴正交且具有最大方差的方向，依次类推，我们可以取到这样的K个坐标轴。无监督学习常用技术K均值聚类（K-meansclustering）k-means与kNN虽然都是以k打头，但却是两类算法——kNN为监督学习中的分类算法，而k-means则是非监督学习中的聚类算法；二者相同之处：均利用近邻信息来标注类别。k-means是聚类算法中最为简单、高效的，核心思想：由用户指定k个初始质心（initialcentroids)，以作为聚类的类别（cluster），重复迭代直至算法收敛。输入:聚类个数k，以及包含n个数据对象的数据库。输出:满足方差最小标准的k个聚类。无监督学习常用技术K-means算法优点：（1）是解决聚类问题的一种经典算法，简单、快速（2）对处理大数据集，该算法保持可伸缩性和高效性（3）当簇接近高斯分布时，它的效果较好。K-means算法缺点：(1)在簇的平均值可被定义的情况下才能使用，可能不适用于某些应用；(2)在K-means算法中K是事先给定的，这个K值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适；(3)在K-means算法中，首先需要根据初始聚类中心来确定一个初始划分，然后对初始划分进行优化。这个初始聚类中心的选择对聚类结果有较大的影响，一旦初始值选择的不好，可能无法得到有效的聚类结果；(4)该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时，算法的时间开销是非常大的；(5)若簇中含有异常点，将导致均值偏离严重（即:对噪声和孤立点数据敏感）；(6)不适用于发现非凸形状的簇或者大小差别很大的簇。半监督学习

(Semi-supervisedLearning)背景（半监督学习）隔壁老王品瓜师吃半监督学习(Semi-SupervisedLearning）半监督学习(Semi-SupervisedLearning，SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。主要分为半监督分类，半监督回归，半监督聚类和半监督降维算法。半监督学习(Semi-SupervisedLearning）半监督学习对于减少标注代价，提高学习机器性能具有非常重大的实际意义。在机器学习的实际应用中，如网页分类、文本分类、基因序列对比、蛋白质功能预测、语音识别、自然语言处理、计算机视觉和基因生物学，很容易找到海量的无类标签的样例，但需要使用特殊设备或经过昂贵且用时非常长的实验过程中进行人工标记才能得到有类标签的样本，由此产生了极少量的有类标签的样本和过剩的无类标签的样例。因此，人们尝试将大量的无类标签的样例加入到有限的有类标签的样本中一起训练进行学习，期望能对学习性能起到改进的作用，于是半监督学习产生了，旨在避免数据和资源的浪费，解决监督学习模型泛化能力不强、无监督学习的模型不精确等问题。半监督学习(Semi-SupervisedLearning）半监督学习训练中使用的数据，只有一小部分