统计机器学习概论

统计机器学习导论，田永红，北京大学数字视频编码技术与系统国家工程实验室，2。为什么需要机器学习？美国宇航局JPL实验室的科学家在Science(2001年9月)写道，机器学习在整个科学研究过程中发挥着越来越大的支持作用。该领域将在未来几年实现稳定快速发展。machinelearningformscheckoreofmypresence-dayiaapplicationgaryanthes，Future Watch : AicomeSoftage，2009年1月26日，3。为什么需要在数字媒体技术中使用机器学习？媒体处理、媒体类型、单媒体、复合媒体、应用模式、独立应用模式、网络应用模式等等。主要参考书t. hastie，r. tibshirani，j. friedman， themelementsofstatisticallearning : data mining，impact，and prediction ，2001，springer-verlag .其他参考书V.N .瓦普尼克，“统计的本质和理论”，第2版。Springer，2000年。6，概述，机器学习方法概述贝叶斯决策理论贝叶斯和决策理论常用统计学习方法机器学习的困难和挑战附录：1，参考文献2，代表性机器学习开发包介绍，7，1 .统计学习方法概述，机器学习的发展，机器学习=神经科学和认知科学中的数学计算，詹姆斯(19世纪晚期):神经元互连麦卡洛克，皮茨(20世纪中期):“兴奋”和“抑制”赫布(20世纪中期):学习定律，神经科学， 有限样本统计理论的线性空间表示，塞缪尔：符号机器学习，机器学习的研究过程，王珏，机器学习研究的回顾和趋势，2004年9月，学习系统的一般模型，输入变量：隐藏变量：输出变量：11，机器学习的基本问题和方法。 机器学习可以根据给定的训练样本估计系统输入和输出之间的依赖关系，从而对未知输出做出尽可能准确的预测。机器学习问题的表示基于n个独立的同分布观测样本确定预测函数f(x，w)。在一组函数f(x，w)中，找到一个最佳函数f(x，w0)来估计依赖关系，以便最小化预测的预期风险。西蒙的学习模型，12，学习问题的一般表现，学习目标，吉维奈学习模型-样本1，ZLDAROWNMAFIXEDDISTRIBUTION F(z)for FunctionClass Lossfunctionsq(z)，Withinwewishtominimizetrisk，findinga function * intheecaseofequirisk，itbecomestominizetheierrratio .问：风险函数给定示例风险函数函数(r):给定函数的预期损失函数(x，y)，13，学习问题的一般表示，学习的目的是最小化预期风险。由于可用信息只是样本，因此无法计算预期风险。经验风险最小化归纳原则的核心思想是用样本定义经验风险。定义多维风险(样本/训练误差):定义多维风险最小化器：最小二乘最大似然法，14。企业风险管理标准和统计学习理论的发展，最小的经验风险并不意味着最小的预期风险！例子：神经网络的过度学习。小的训练误差并不总是导致好的预测结果。如果学习能力对于有限的样本来说太强而不能记住每个样本，那么经验风险可以很快收敛到非常小甚至零，但是它不能保证能够对未来的样本给出很好的预测。统计学习理论支持向量机(SVM)，15，为什么学习困难？givenfiiniteamountoftrainingdata，youhavetoderivearelationforninfinitedomainfact，thereasinfinienmemberofsuchrelations.thehiddentestpoints.16，LeaningGasaseARCHPROBLEM，17，三个基本机器学习问题(1)，模式分类问题：输出Y是类标签，y=1，-1在两种情况下，预测函数称为指示函数，损失函数定义参见下面的公式，最小化预期风险就是最小化贝叶斯决策中的错误率。18，三种基本机器学习问题(2)，回归问题：输出y是一个连续变量，它是x的一个函数，损失函数定义在下面的等式：19中，三种基本机器学习问题(3)，概率密度估计问题：根据训练样本确定x的概率分布p(x，w)，那么损失函数可以定义为：20，统计学习的基本方法，监督/非监督学习：分类， 回归无监督：概率密度估计，聚类，降维半监督：EM，协同训练其他学习方法强化学习多任务学习，21，监督学习，校准训练数据训练过程：根据目标输出和实际输出的误差信号调整参数典型方法全局：BN，NN，SVM，决策树局部：KNN，CBR(案例推理)，A11，A12，A1MA21，A22，A2M.AN2 AN1，ANM，实例，属性，输出，-C1-C2-CN，训练， ，22，无监督学习，校准的训练数据学习机在有限的样本下不能根据外部数据的统计规则获得相同的断言是没有关键问题的(例如，内聚性，54，K-NN，最常用的距离测量方法：欧几里德更好的距离测量： normalizeeachvariablebystandardDistribution离散数据：选择汉明斯坦克林克瑞斯瓦变量，区别当数据量很大时，计算成本很大。mustakeapassthroughthedataforeachclassification。thicanpehibitionforlargedataset。索引GTHEDATACANHELPforexampleKDtrees，55，EuclideanDistance，EuclideanDistanceBetweenxandpkis : thedecisionRuleBasedonthismetriccalledtheminimumuclideanDistance(MED)分类器。56，MahalanobisDistance，加权方差倒数，这相当于将决策圈从方差较大的一方移动到方差较小的一方，移动量为： lethedistributionBeapproximatedByammultivariationDegradedEness。thehalanobis distanceefroxtomisgivenby : Whorthisecovaria NCESMATRIXANDISTHEsampleneoftheptotype .57，人工神经元模拟生物神经元的一阶特征。输入：x=(x1，x2，xn)连接重量：w=(w1，w2，wn) t网络输入：net=xiwi向量形式：net=XW激活函数：f网络输出：o=f(net)，4.4神经网络(nn):模拟人脑学习，58，典型网络结构：简单单级网络，59，典型网络结构：单级横向反馈网络，60，典型网络结构：多级网络，61，典型网络结构：循环网络，62，3.5支持向量机，SVM是一种机器学习方法统计学习理论的主要目的是研究小样本下的机器学习规律，并在现有的信息条件下(结构风险最小化)寻求最优结果。实际风险由两部分组成：经验风险(训练误差)风险资本置信度：学习机的风险资本维度与训练样本数相关。可变成本维度反映了功能集的学习能力。风险资本维度越大，学习机器(容量越大)和结构风险最小化(SRM)的基本思想就越复杂。在有限的训练样本下，学习机的风险资本维度越高，置信区间越大，真实风险和经验风险之间的差异越大。这就是学习现象发生的原因。机器学习过程不仅要使经验风险最小化，而且要尽可能减小风险向量维数，以缩小置信区间，从而获得更小的实际风险，即对未来样本更好的泛化能力。64，结构风险最小化图，65，最佳分类面，最佳分类面分类余量。最大分类区间：实际上是对泛化能力的控制，这是SVM的核心思想之一。输入： s=(xi，易)rn -1，1，对应于易，可以表示为两种类型： h1，易=-1 H2，易=1目标：找到一个分类函数(X)=WXB，它可以正确地对训练数据进行分类并正确地推广其他输入。此外，找到超平面H: WXB=0和两个平行且等距的H1:WXB=1H 2:WXB=-1，数学模型，66，最佳分类平面-视觉描述。一个小的差额。最佳分类面是要求分类面正确区分两种类型(训练错误率为0)，并使分类区间最大化。67是支持向量。直观地说，支持向量是两类集合边界上的一个点。所有非支持向量数据都可以从训练数据集中删除，而不会影响问题解决的结果。对于新的数据点x，只需要计算f(x)=符号(wx b)来对其进行分类，其中w和b是对应于支持向量的参数。68，SVM分类问题，SVM分类问题一般有三种：线性可分问题，近似线性可分问题，线性可分问题，线性可分问题，近似线性可分问题，线性可分问题，69，SVM学习，findingthedecisionboundrylet x1，xnbeourdatasetandletyi1，-1 betheclasslabelofxithedecisionboundaryshouldclasifyallpointscorrithedecisionboundarycanbefoundbysolvingthefollowingconstrainedoptimizationproblem，70，TheDualProblem，itiskunnasthedualproblem : ifweknoww，weknowallaiifweknowallai，weknowtheoriginalprobleisknownasprimaryprobletheobjectivefunctionofthedualprobleneedstobemaximized！Thedualproblemistherefore:properties of iwhenweintluseThelangemultiplexes，theresultwhenwedifferentiatetheoriginallagrangianw . r . t . b，71，ExtensiontoNon-linearDecisionBoundary，Sofar，我们只考虑了大-marginclassifierrewithlinedecisionboundaryhownerializetobecome非线性？关键概念： transformxitoaheaddimensionalspace to make life easy inputspace : thepacepointxiareposedfeaturespace : thepaceoff(Xi)transformationwhy transform？linearoperationinthefeaturepasseisequivalenton-linearoperation