统计模式识别问题的基本理论

1、统计形式识别问题的根本理论统计形式识别问题的根本理论1统计形式识别问题简介统计形式识别问题可以看作是一个更广义的问题的特例，就是基于数据的机器学习问题。基于数据的机器学习是现代智能技术中非常重要的一个方面，主要研究如何从一些观测数据出发得出目前尚不能通过原理分析得到的规律，利用这些规律去分析客观对象，对将来数据或无法观测的数据进展预测。现实世界中存在大量我们尚无法准确认识但却可以进展观测的事物，因此这种机器学习在从现代科学、技术到社会、经济等各领域中都有着非常重要的应用。当我们把要研究的规律抽象成分类关系时，这种机器学习问题就是形式识别。统计是我们面对数据而又缺乏理论模型时最根本的分析手段，传

2、统统计学所研究的是渐进理论，即当样本数目趋向于无穷大时的极限特性，统计学中关于估计的一致性、无偏性和估计方差的界等，以及分类错误率诸多结论，都具有这种渐近特性。但实际应用中，这种前提条件却往往得不到满足，当问题处在高维空间时尤其如此，这实际上是包括形式识别和神经网络等在内的现有机器学习理论和方法中的一个根本问题。V.Vapnik等人早在20世纪60年代就开场研究有限样本情况下的机器学习问题。由于当时这些研究尚不非常完善，在解决形式识别问题中往往趋于保守，且数学上比拟晦涩，90年代以前并没有提出可以将其理论付诸实现的较好的方法。加之当时正处在其他学习方法飞速开展的时期，因此这些研究一直没有得到充

3、分的重视。直到90年代中期，有限样本情况下的机器学习理论研究逐渐成熟起来，形成了一个较完善的理论体系统计学习理论StatistialLearningThery，简称SLT。同时，神经网络等较新兴的机器学习方法的研究那么遇到一些重要的困难，比方如何确定网络构造的问题、过学习与欠学习问题、部分极小点问题等等。在这种情况下，试图从更本质上研究机器学习问题的统计学习理论逐步得到重视。为理解决有限样本的机器学习问题，在过去二十多年里，开展了很多新的统计学方法，其中V.Vapnike等开展了专门研究小样本统计估计和预测的统计学习理论以及构造风险最小化原那么StruturalRiskiniizatin，SR

4、。统计学习理论就是研究小样本统计估计和预测的理论，主要内容包括四个方面：1经历风险最小化原那么下统计学习一致性的条件；2在这些条件下关于统计学习方法推广性的界的结论；3在这些界的根底上建立的小样本归纳推理准那么；4实现新的准那么的实际方法算法。其中，最有指导性的理论结果是推广性的界，与此相关的一个核心概念是V维。2V维形式识别方法中VVapnikhervnenkDiensin维的直观定义是：对一个指示函数集，假如存在h个样本可以被函数集中的函数按所有可能的2h种形式分开，那么称函数集可以把h个样本打散；函数集的V维就是它能打散的最大样本数目h。假设对任意数目的样本都有函数能将它们打散，那么函数

5、集的V维是无穷大。有界实函数的V维可以通过用一定的阈值将它转化成指示函数来定义。V维反映了函数集的学习才能，V维越大那么学习机器越复杂容量越大。遗憾的是，目前尚没有通用的关于任意函数集V维计算的理论，只对一些特殊的函数集知道其V维。比方在n维实数空间中线性分类器和线性实函数的V维是n+1，而上一节例子中的V维那么为无穷大。对于一些比拟复杂的学习机器如神经网络，其V维除了与函数集神经网构造有关外，还受学习算法等的影响，其确定更加困难。对于给定的学习函数集，如何用理论或实验的方法计算其V维是当前统计学习理论中有待研究的一个问题。3推广性的界统计学习理论系统地研究了对于各种类型的函数集，经历风险和实

6、际风险之间的关系，即推广性的界。关于两类分类问题，结论是：对指示函数集中的所有函数包括使经历风险最小的函数，经历风险和真实风险之间以致少1-的概率满足如下关系：上式右端第一项反映训练样本的拟合程度；第二项称为Vapnikhervnenkis置信范围又称V置信范围，h是函数集的V维。式1说明，在有限训练样本下，学习机器的V维越高复杂性越高那么置信范围越大，导致真实风险与经历风险之间可能的差异越大。这就是为什么会出现过学习现象的原因。机器学习过程不但要使经历风险最小，还要使V维尽量小以缩小置信范围，才能获得较小的实际风险，即对将来样本有较好的推广性。4构造风险最小化SR原那么在传统方法中，选择学习

7、模型和算法的过程就是调整置信范围的过程，假如模型比拟合适现有的的训练样本相当于n/h值适当，那么可以获得比拟好的效果。但因为缺乏理论指导，这种选择只能依赖先验知识和经历，造成了如神经网络等方法对使用者技巧的过分依赖。当n/h较大时，式1右边的第二部分就较小，真实风险就接近经历风险的取值。假如n/h较小，那么一个小的经历风险值并不能保证小的真实风险值。在这种情况下，要最小化真实风险值，就必须对不等式1右边的两项同时最小化。但是需要注意，不等式1右边的第一项取决于函数集中的一个特定函数，而第二项取决于整个函数集的V维。因此要对风险的界，即式1的右边的两项同时最小化，我们必须使V维成为一个可以控制的变量。统计学习理论提出了一种新的策略，即把函数集构造为一个函数子集序列，使各个子集按照V维的大小亦即的大小排列，在每个子集中寻找最小经历风险，在子集间折衷考虑经历风险和置信范围，获得真实风险的最小，如图1所示。于是有两个本文由论文联盟搜集整理思路：一是在每个子集中求最小经历风险，然后选择使最小经历风险和置信范围之和最小的子集。这种方法比拟费时，当子