应用数学硕士学位论文-基于支持向量机的测井曲线预测储层参数方法.doc

论文题目：基于支持向量机的测井曲线预测储层参数方法 专 业：应用数学 硕 士 生：张彦周 （签名） 指导老师：刘叶玲 （签名） 摘 要 支持向量机由于其诸多的优良特性，近年来引起了广泛的关注，已经成为一个十 分活跃的研究领域。本文较全面地研究了支持向量机的理论及应用方法，讨论了支持 向量机中高斯核函数参数的选择问题，首次将支持向量机用于测井参数属性估计储层 属性中。 本文中，首先对支持向量机的理论基础统计学习理论作了一个概述，主要论 述了学习过程的一致性，如何控制学习过程的推广能力等问题，其次，对简单的线性 可分数据，详细介绍了线性支持向量机的工作原理，即寻找具有最大的分离超平面； 核函数的实质是通过一非线性映射把原空间上非线性可分的数据映射到另一个特征空 间上的线性可分数据，然后利用与线性支持向量机完全一样的方法，在该空间建立一 个超平面，使其在原空间对应着一个非线性超曲面，通过引入一个核函数使所有的计 算在原空间完成。同时针对本文主要讨论的回归问题给以详细地说明，支持向量机的 解最终归结为一个凸二次规划，有全局最优解。简单介绍了支持向量机较常用的训练 算法序贯最小优化算法，自己编程用 MATLAB 实现了该算法,数值试验结果表明 支持向量机具有较强的学习能力。另外本文具体讨论了支持向量机中高斯核函数中参 数对支持向量机学习预测性能的影响，证明了参数趋于零和无穷大情况下支持向 量机的性质，指出高斯核函数具有描述样本相似程度这一性质，通过数值实验和理论 分析给出了一种选择高斯核函数的方法拐点法。进一步指出样本数据标准化对学 习预测的影响，给出了标准化后选择较优高斯核函数参数的一个大致范围。 最后根据石油地质勘探的实际问题，将支持向量机运用测井曲线预测储层参数 孔隙度、参透率，同时与反向传播神经网络函数逼近法预测进行比较，结果表明， 该方法预测精度高，方法稳定有效。支持向量机较好的解决了小样本测井勘探的实际 问题。 关 键 词：支持向量机，回归估计，高斯核函数，测井曲线，储层参数 资助项目：国家科技部项目（04C266110893） 研究类型：应用研究 Subject : Application of SVM in Predicate Reservoir Parameter form Well Log Specialty : Mathematic Application Candidate: Zhang Yanzhou (Signature) Supervisor: Liu Yeling (Signature) ABSTRACT Recently, Support Vector Machines (for short SVM) attract many researchers and become a very active field because of its many good properties. SVM is a new and promising technique for classification and regression and have shown great potential in numerous machine learning and pattern recognition problems. This paper discusses the theory of SVM thoroughly, especially how choose the parameter of the Gauss kernel SVM, at last we discusses the application of SVM in predicting reservoir parameter form well log. In the paper, we start with an overview of Statistical learning Theory which is the theoretical foundation of SVM, including the consistency of the study process, and how to control generalization of SVM. We then describe linear Support Vector Machine for separable data, which is to construct the maximal margin separating hyperplane. We explain how to introduce a nonlinear map which maps the input vectors into a feature space. In this space construct an optimal separating hyperplane using the same method, and in fact we have constructed a nonlinear decision function in the input space. We discuss the regression problem in tail at same time. The solution to SVM is a convex quadratic programmes problem at end, and it has a global optimization solution. We will briefly review some of the most common approaches before describing in detail one particular algorithm, Sequential Minimal Optimisation and then implementation it in Matlab by ourselves. The good results of many experiments show that SVM really has great generalization ability. We then focus on Gauss kernel SVM and discuss how the parameter influences the quality of SVM in tail. We also show that Gauss kernel function can describe the likeness degree of the sample. In addition, we propose a new algorithm for finding a good parameter, we called inflexion method. Whats more, we point out the influence of standardize to predict, and then give mostly scope of the excellent parameter, which in Gauss kernel function after standardized. Finally according to actual problem that in petroleum exploration and production field. We apply SVM in predicate reservoir parameter: Porosity, Permeability, from well log. Comparing this method with BP network shows that this new method can avoid the problem of the local optimal solution of BP network, and achieved the effects with higher precision. It is as an exciting method that using SVM in petroleum exploration from a few wells. Key words: support vector machines regression Gauss kernel well log reservoir parameter Thesis : application research 目 录 I 目 录 1 绪论.1 1.1 研究的目的和意义 .1 1.2 地球物理勘探的应用研究历史及现状 .1 1.2.1 统计模式识别在地质勘探中的应用.1 1.2.2 非线性智能技术在地质勘探中的应用.错误！未定义书签。错误！未定义书签。 1.2.3 基于小样本的非线性智能技术在地质勘探中的应用.3 1.3 本文研究内容和研究方法 .4 2 统计学习理论.6 2.1 学习问题的表示 .6 2.1.1 基于实例学习的一般模型.6 2.1.2 三种主要的学习问题.7 2.1.3 经验风险最小化归纳原理.8 2.2 统计学习理论的核心内容 .9 2.2.1 学习过程的一致性.9 2.2.2 学习过程收敛速度的界.12 2.2.3 控制学习过程推广能力.14 3 支持向量机.17 3.1 支持向量简介 .17 3.1.1 最优分类面.17 3.1.2 广义最优分类超平面.19 3.2 分类支持向量机 .20 3.2.1 高维空间中的推广.20 3.2.2 核函数.21 3.2.3 构造支持向量机.22 3.3 回归支持向量机 .23 3.3.1 线性支持向量回归机.24 3.3.2 非线性支持向量回归机.26 4 支持向量机的训练算法与核函数参数的讨论.29 4.1 支持向量机的训练算法 .29 4.2 支持向量机的预测能力研究 .30 4.2.1 支持向量机的内插性能研究.30 目 录 II 4.2.2 支持向量机的外推性能研究.33 4.2.3 支持向量机的抗噪音性能研究.34 4.3 高斯核函数参数选择讨论 .36 4.3.1 高斯核函数参数的优选：.36 4.3.2 高斯核函数参数 0 (2) 学习过程收敛速度的非渐进性理论,即学习过程收敛速度的问题; (3) 控制学习过程推广能力的理论,即研究如何控制学习过程的推广能力; (4) 构造学习算法理论,即研究如何构造能够控制推广能力的学习机器; 这一节我们简要介绍前三个方面的内容，第四个内容将在下一章详细说明。 2.2.1 学习过程的一致性 设是对给定的独立同分布观测使经验风险泛函(2.8)式最小化的,Q z 12 , l z zz 函数。 西安科技大学硕士学位论文 10 定义 2.2.1 对于函数集，定义其子集如下：,Q z :,cQ zdF zc 如果对于函数集的任意非空子集都有 ,cc , infinf P RRl emp cc 成立，则我们说 ERM 原则对函数集和概率分布是非平凡一致的，,Q z F z 以下简称一致性。 定理 2.2.1 设函数集满足条件：,Q z ,AQ zdF zBARB 即 那么，ERM 原则一致性的充分必要条件是： (2.9) 0,0 sup lim PRREMP l 即是指经验风险在函数集上在(2.9)意义下一致收敛于实际风 emp R,Q z 险。 R 定义 2.2.2(指示函数集合的熵) 设是指示函数集，考虑样本，令,Q z 12 , l z zz ，我们用表示取不同值的个 12 ,qQ zQ z 1,l Nzz q 数，则称 (2.10) 1 ln, l HlENzz 为指示函数集合的 VC 熵，其中表示求期望。它依赖于函数集、E ,Q z 概率测度以及观测数目 ，反映了给定指示函数集在数目 为的样本集上期望的多样性。ll 2 统计学习理论 11 同理，可以定义实函数集的熵，用表示。 1 ;ln;, l HlENzz 在值的基础上我们构造出两个新的概念： 1,l Nzz (1) 退火的 VC 熵： 1 ln, annl HlENzz (2) 生长函数： ln, sup 1 , 1 GlNzzl zzl 我们易知 (2.11) , ann HlHlGllN 在这些概念的基础上建立了学习理论的主要里程碑。 定理 2.2.2(学习理论的第一个里程碑) 极限 (2.12) 0 lim Hl l l 成立，是 ERM 原则一致性的一个充分条件。必要条件对它稍加变形即可。 我们要求所有最小化经验风险的机器都满足它。但并没有表明风险收敛到最 l R 小值的速度问题，有时收敛的速度可能非常慢。 0 R 定理 2.2.3(学习理论的第二个里程碑) 经验风险最小化学习方法快速收敛的充分条 件为 (2.13) 0 lim Hl ann l l 定理中的快速收敛是指，有 0 ll 2 cl l P RRe 其中， 为正常数。c 到目前为止，我们已经考虑了两个问题：一个是 ERM 方法一致性的充分必要条 件；另一个是 ERM 方法收敛速度快的充分条件。两个等式(2.12)、(2.13)都是对一个 给定的概率测度有效的。然而，我们的目标是建立一个学习机，对于很多不同的 F z 概率测度，使它能够解决很多不同的问题。 西安科技大学硕士学位论文 12 定理 1.2.4(学习理论的第三个里程碑) 对任意的概率测度，ERM 具有一致 F z 性的充分必要条件为： (2.14) 0 lim Gl l l 2.2.2 学习过程收敛速度的界 设是一个指示函数集，是对应的 VC 熵，是对应,Q z Hl ann Hl 的退火的 VC 熵，是对应的生长函数，有下面两个关于一致收敛速度的界成立， Gl 它们构成了界的理论中的基本不等式。 定理 2.2.4 下面不等式成立： (2.15) 21 2 ,4exp sup 1 lHl ann PQ zdF zQ zl i lli 定理 2.2.5 如果(2.13)式成立，则有下面不等式成立： (2.16) 上面两个界都依赖于分布函数，同时我们也可证明与分布无关的界。 定理 1.2.6 对任何分布函数，都有不等式(2.15)、(2.16)成立，如果 F z 成立。 0 lim Gl l l 上面给出的界主要是概念性的而不是构造性的，不能直接用来构造算法来计算界。 下面我们将构造出对于给定函数集，计算其退火熵和生长函数,Q z ann Hl 的途径，这引出了统计学习理论中一个核心概念 VC 维。 Gl 定理 2.2.7 任何一个函数集的生长函数，或者与样本数 成正比，即， Gl lln2Gl 1 , 2 2 1 4exp sup 4 , l Q zdF zQ zi Hl ann l i Pl l Q zdF z 2 统计学习理论 13 或者受下面的不等式所约束：， 其中是一个正整数，使得当 ln1 l Glh h h 时，有成立。lh ln2,11 ln2GlhGlh 由上面定理知，生长函数要么是线性的，要么以样本数的某个对数函数为上界。 定义 1.2.3 如果指示函数集的增长函数是线性的，则我们说这个函,Q z 数的 VC 维是无穷大，如果指示函数的增长函数以参数的对数函数为,Q zh 上界，则我们说这个数的 VC 维是有限的且就是。h 易知下面的不等式恒成立： (2.17) ln1 , ann l h HlHlGl h lh llll 故学习机所实现的指示函数集的 VC 维有限就是 ERM 方法一致性,Q z 的一个充分条件，这一条件不依赖于概率测度。且一个有限的 VC 维意味着快 F z 的收敛速度。瓦普尼克(V. Vapnik)于 1974 年得出以下结论: 如果在某个事件集合（指示函数集）上，频率到概率的一致收敛对任何分布函数 成立，那么这个函数集的 VC 维是有限的。 F x 因此，VC 维在统计学习理论中有着重要的地位。下面给出指示函数集 VC 维的 等价定义。 定义 2.2.4 （VC 维） 假如存在一个有 个样本的样本集能够被一个指l 12 , l z zz 示函数集中的函数按照所有可能的种方式分成两类，则称该函数集能够把样本数为2l 的样本集打散。指示函数集的 VC 维 h 就是用这个函数集中l 12 , l z zz,Q z 的函数所能够打散的最大的样本集的样本数目。 由定义可知，如果存在个样本的样本集能够被函数集打散，而不存在个样h1h 本的样本集能被函数集打散，则函数集的 VC 维就是。如果对任意的正整数，总能hn 找到一个样本数为的样本集能够被这个函数集打散，则函数集的 VC 维就是无穷大。n 西安科技大学硕士学位论文 14 函数集的 VC 维实际上是函数集合中的函数的多样性的一种度量，也就是对学h 习机容量的一种度量如果 VC 维很大时，则说明学习及其所执行函数的多样性大，h 因而对给定的训练样本集的正确分类能力高，但推广性能并不一定好；VC 维若很小h 时，学习及其所执行的函数多样性就小，对样本的正确分类能力就低。因而函数集的 VC 维对学习机器的性能分析是一个重要工具，对学习机器的推广能力有着重要的影h 响。 2.2.3 控制学习过程推广能力 统计学习理论系统地研究了各种类型的函数集的经验风险和实际风险之间的关系, 即推广的界。关于推广的界有以下定理2： 定理 2.2.8 对于有有限维的完全有界函数集，经验风险0,Q zB 和实际风险之间以至少的概率满足如下关系： emp R R1 (2.18) 4 11 2 emp emp RBl RR Bl 其中是指示函数集的 VC 维, 是样本数。h,Q zl 2 ln1ln 4 4 l h h l l (2.18)式从理论上说明了学习机的实际风险是由两部分组成的:1、经验风险(训练误 差);2、置信范围,它和学习机的 VC 维及训练样本数有关。(2.18)可以简单地表示为: emp l RR h 由的定义知，它是的单调减函数，所以当样本数目 固定时，它是 VC 维 l h l h l 的单调增函数，而当 VC 维 h 固定时，它是样本数目 的单调减。它表明在有限样本hl 训练下,学习机 VC 维越高,则置信范围越大,导致真实风险与经验风险之间可能的差别越 大。这就是为什么出现过学习现象的原因。 需要指出,推广性的界是对于最坏情况的结论,在很多情况下是较松的,尤其当 VC 维 较高时更是如此(文献46指出当时这个界肯定是松弛的,当 VC 维无穷大时这0.37 l h 2 统计学习理论 15 个界就不再成立文献47).而且,这种界只在对同一类学习函数进行比较时有效,可以指导 我们从函数集中选择最优的函数,在不同函数集之间比较却不一定成立。 我们要最小化实际风险，必须同时最小化经验风险和置信范围两部分，易 emp R 知是的单调减函数，当 固定时，是 VC 维的增函数，我们要得到小的 l h l h l l h h 置信范围，必须最小化 VC 维，但小的使经验风险增大，要得到小的实际hh emp R 风险，必须对他们折衷。这就是我们的结构风险最小化原理： 定理 2.2.9 结构风险最小化原理（SRM 原则） 设函数的集合具有一定的结构，,Q zS 2 , kkk SQ z 1 且 即，设的 VC 维为。且满足： 12k SSS k S k h (1) 12k hhh (2) 结构中的元素或者包含一个完全有界的函数集合0, kk Q zS 或则包含对一定的给定函数集的下列不等式的函数集合： 对给定的样本集，在中求经验风险与，选择使(2.18)右 12 , l z zz k S emp R l h 边最小的，此时，称执行函数集合的学习机为最优的。从定理可看出，SRM 原 k S k S 则定义了在对给定数据逼近的精度和逼近函数复杂性之间的一种折衷。他们的关系如 图 2.2 所示。 1 , ,2 sup , pp QzdF z p k Q zdF z k 西安科技大学硕士学位论文 16 图 2. 2 经验风险，置信区间与 VC 维的关系 emp R l h h 实现 SRM 原则可以有两种思路： 1.保持置信范围固定 (通过选择一个适当构造的机器)，从而有固定的 VC 维 l h ，并最小化经验风险;h emp R 2.保持经验风险固定（比如为零），并最小化置信范围。 emp R l h 第一种方法就是我们常用的神经网络方法，即先确定其拓扑结构，包括神经元的 个数，隐层层数，相互之间的连接关系，然后利用优化方法，最小化目标函数，得到 最优的权值。 支持向量机（SVM）就是第二种思路的实现：设计函数集的某种结构使每个子集 中都能够取得最小的经验风险(如使训练误差为 0),然后选择适当的子集使置信范围最小,则 这个子集中使经验风险最小的函数便是最优函数，其实质是最小化 VC 维。但是实际h 上 VC 维的计算并非易事，有些甚至是无法计算的，因而直接最小化 VC 维本身并hh 不可行，但是统计学习理论中有关 VC 维的一个不等式为我们提供了解决方法。h 定理 2.2.10 设属于一个半径为的球中，超平面为 n xRR0,1xb 间隔分离超平面，指它对按如下方式分类: 1, 1, xb y xb 若 若 则间隔分离超平面集合的 VC 维满足一下不等式：，h 2 2 min,1 R hn 其中表示取整函数。 2 统计学习理论 17 正是基于这一思想，V. Vapnik 提出了支持向量机，他用第二种学习思路，保持经 验风险固定（比如很小或为零），最大化分类间隔，从而最小化 VC 维， emp Rh 我们将在下面一章对支持向量机做一详细的讨论。 西安科技大学硕士学位论文 18 3 支持向量机 统计学习理论的前三个部分的核心内容都是其理论部分，而要使理论发挥实际的 作用，还要其能够实现为具体的算法。在 90 年代初从统计学习理论发展出了一种新 的学习算法支持向量机，比较好的实现了其理论思想。可以说统计学习理论受到 越来越多的重视，很大程度上是因为它发展出了支持向量机这一通用的学习方法。本 章主要介绍支持向量机原理方法，共分三小节，第一节，支持向量机简介；第二节， 简要介绍支持向量机在分类问题中的应用；第三节，详细介绍支持向量机在回归估计 中的应用 3.1 支持向量简介 3.1.1 最优分类面 SVM 方法是从线性可分情况下提出的。考虑如图 3.1 所示的二维两类线性可分情 况，图中实心点和空心点分别表示两类训练样本，H 为把两类数据没有错误地分开的 最优分类线，H1, H2 分别为过两类样本中离分类超平面最近的点且平行于分类线， H1 和 H2 之间的距离叫做间距(margin)。如果该分类线将两类数据没有错误的分开且 最近的点与分类线间的距离最大，则这样的分类线称为最优分类线（在多维空间成为 最优超平面）。我们可以看到最优分类超平面所要求的第一个条件，即将两类数据无 错误的分开，就是保证经验风险最小，第二个条件使分类间距最大就是使推广能力的 界的置信区间最小，从而使真实风险最小。 3 支持向量机 19 图 3. 1 二类线性可分最优超平面示意图 设线性可分的样本集,分类线方程为,1,2,1, 1 n ii x yil xRy 0 xb 我们可以对它进行归一化,且满足 (3.1)1,1,2 ii yxbil 此时分类间隔等于,使间隔最大等价于使最小.满足条件(3.1)且使最 2 2 2 小的分类面就叫做最优分类面,H1、H2 上的训练样本点就称作支持向量(Support Vector). 使分类间隔最大实际上就是对推广能力的控制,这是 SVM 的核心思想之一。由上 一章最后一个定理,在维空间中,设样本分布在一个半径为的超球范围内,则满足条件nR 的正则超平面构成的指示函数集(为符号函数) 2 A, ,sgnf xbxbsgn 的 VC 维满足下面的界.因此使最小就是使 VC 维的上界最小, 22 min,1hR An 2 从而实现 SRM 准则中对函数复杂性的选择。 实际上求最优分类超平面的问题归结为如下的约束优化问题： 21 min 2 . .1,1, ii st yxbil （3.2） 这个优化问题的解由如下的 Lagrange 函数的鞍点给出： 1 1 , ,1 2 i l TT iii i Lbyxb （3.3） 其中为 Lagrange 系数。我们的问题是对和求 Lagrange 函数的极小值。0 i b 我们可以把原问题转化为如下较简单的对偶问题： （3.4） 1,1 1 1 max 2 . .0;0,1, ll T iijijij ii j l iii i Qy y x x styil 西安科技大学硕士学位论文 20 若为最优解，则 i 1 l iii i y x 即最优分类超平面的权向量是训练样本向量的线性组合。可以看出这是一个不等 式约束下二次函数极值问题，存在唯一的最优解。且根据条件，这个优化问题的解满 足 10,1, T iii yxbil （3.5） 可由这个约束条件求出，对于所对应的样本成为支持向量，即若b0 i i x ，则0 i （3.6）10 T ii yxb 解得 。也称为分类阈值，它由一个支持向量得到的，也可通过 T kk byx b 两类中任意一对支持向量取中值。通常为了稳健性，可以根据所有的支持向量的总和 取平均阈值。 3.1.2 广义最优分类超平面 最优分类超平面是在完全线性可分情形下提出的。然而很多情况下,，数据并不是 线性可分的，这种情况就是某些训练样本不能满足(3.1)的要求，因而一般可以在约束 条件中加一个松弛因子来实现，这样(3.1)就变为0 i （3.7）10 iii yxb 对于足够小的，只要使0 （3.8） 1 l i i F 最小就可以使错分样本数最小。对应线性可分情形下使分类间距最大，在线性不 可分情形下引入约束 （3.9） 2 k c 在约束条件(3.7)和(3.9)下对使(3.8)求极小，就得到了线性不可分情形下的最优分类 3 支持向量机 21 面，这种分类面称为广义最优分类超平面。为了方便，通常取。1 为了使计算进一步简化，求最优分类超平面的问题转化为如下的凸二次规划问题： 1 1 min 2 . .10;0,1, n T i i iiii C st yxbil （3.10） 为某个指定的常数，它起控制错分样本惩罚程度的作用，实现在错分样本的比C 例与算法复杂度之间的折衷。同样，式(3.10)转化为其对偶得到的形式和式(3.4)几乎完 全相同，只是的约束条件变为： i 0,1,2, i C il 3.2 分类支持向量机 3.2.1 高维空间中的推广 通过构造分类超平面可以控制经验风险的值，然而许多情况下对很多现实问题分 类超平面集合不足以达到低的经验风险。为了增加函数集合的灵活性，通常采用两种 方法： (1) 使用线性指示函数集合的组合； (2) 通过事先选择地非线性映射将输入向量映射到一个高维特征空间，并在x 此特征空间构造最优分类超平面（见图 3.3）。神经网络采用的是第一种思想，第二种 思想推导出了支持向量机。 我们注意到前面的最优分类超平面和广义分类超平面，其最终的分类判别函数中 只包含分类样本和训练样本中的支持向量的内积运算，而且求解过程中也只涉, ij x x 及训练样本之间的内积运算。所以对于一个特征空间中的最优线性分类问题，, ij x x 我们只需要知道这个空间中的内积运算。这样的技巧在支持向量机中起着重要的作用。 由于以上的事实，支持向量机将一个在其定义的空间中不是线性可分的问题通过 一个非线性映射转换到一个通常来说更高维的新的空间，在这个特征空间中，可以用 线性判别函数将新的数据分开，从而实现原空间中的非线性判别函数。比如对于二次 判别函 西安科技大学硕士学位论文 22 数，是非线性可分的，我们可以用线性判别函数其 2 210 f xa xa xa fyV Y 中来实现线性可分。但是用这种思想面临两个问题： 2 012 ,1, ,Va a aYx x 图 3.3 非线性映射将空间数据映射到特征空间上: X X (1) 如何找到一个推广能力好的分类超平面。当特征空间的维数很高，将训练数据 分开的一个超平面不一定在新的数据上很好的推广，比如 Fisher 判别在只有少量数据 情况时构造二次函数就有很大的问题。 (2) 在计算上怎样处理如此高维的空间，即如何克服这样的维数灾难问题。 根据定理 2.10，值大的间距分类超平面集合的 VC 维是小的，所构造的超平面 将有较高的推广能力。对于最大间距超平面，有如下的定理3.2.1成立： 定理 3.2.1 如果包含 个样本的训练集被最大间距超平面分开，那么测试错误概率l 的数学期望(对训练样本)是以下面 3 个值中最小者的期望为界的，这 3 个值是：比值 ，为支持向量的个数；比值，其中是将数据包含其中的超球的半径， l m m 2 2 R l R 是间隔值；以及，是输入空间的维数，即 2 n l n 2 2 , error R mn EPE lLl （3.11） 其中是测试错误概率。式(3.11)中说明了 error P (1) 数据压缩的期望是大的； (2) 分类间距的期望是大的； 3 支持向量机 23 (3) 输入空间是小的。 传统方法忽略了推广能力的前两个因素而只依赖第三个因素，而在支持向量机中， 忽略维数因素而依赖前两个因素。对于处理维数问题，支持向量机有其特殊的工具 核函数。 3.2.2 核函数 支持向量机在线性可分或几乎线性可分时，直接在原始空间中建立超平面作为分 类面。然而实际应用中的大多数问题都是复杂的、非线性的，这时就必须寻求复杂的 超曲面作为分界面。为了构造具有好的推广能力的分界面，支持向量机通过在另一个 高维空间中运用处理线性问题的方法建立一个分类超平面，从而隐含在原始空间建立 一个超曲面。更重要的是，我们只需知道其内积运算，这样又避免了高维空间的计算 复杂度。 考虑在 Hilbert 空间中内积的一个一般表达 , ii z zK x x 其中是输入空间中的向量在特征空间中的象，这里的称为核函数。根据zx ,K Hilbert-Schmidt 理论，可以是满足下面一般条件的任意对称核函数。关于这一点 ,K 有如下的 定理 3.2.2（Mercer 条件） 要保证下的对称函数能以正的系数展成 2 L,K u v0 k a （3.12） 1 , kkk k K u va zu zv （即描述了在某个特征空间中的一个内积），充分必要条件是，对使得,K u v 2 gu du 的所有，条件成立。0g ,0K u v g u g v dudv 可用于构造支持向量机的 Hilbert 空间中内积的结构好的性质是：对于满足 Mercer 条件的任何核