（信号与信息处理专业论文）加权多宽度高斯核及其支持向量分类和网络核模式.pdf

加权多宽度高斯核及其支持向量分类与网络核模式 摘要 模式分析作为人工智能和机器学习的重要分支，广泛应用于工业专家系统、 生物遗传信息学、宇宙学、天文学和机器人技术。特别是在冯诺伊曼架构的计 算机的计算速度已经不再是主要矛盾，其自身无法学习的缺陷变成制约该架构机 器发展的主要问题，人们开始重新从人工智能和机器学习中发掘可能。支持向量 机作为近来被广泛应用的模式分析算法无论在实际应用和理论研究中都取得了 比传统模式分析算法更好的效果和更强的统计理论支持。核函数作为实现非线性 映射的重要途径是支持向量机得到广泛应用和取得良好效果的关键所在。本论文 的目的就是研究核函数的性质与构造。研究核的意义在于一方面可以扩展提高支 持向量机的应用性，进而扩展模式分析、人工智能和机器学习；另一方面核作为 一门独立的学科，刚刚处于发展的初始阶段，其潜力还远远没有得以完全发掘。 本文的主要工作是： 1 针对支持向量机分类中常用的核函数高斯核的局限性，提出了更为一般性 的加权多宽度高斯核，并证明了新核的合法性； 2 在提出的核函数基础上，提出了针对于新核的借鉴半径间隔误差界和拟 牛顿梯度下降模型来进行参数确定的多参数模型选择算法。在此基础上，进一步 扩展了加权多宽度高斯核的径向基网络结构，提出一类新的核函数的框架，即网 络核模式。该核函数的框架具有径向基网络的特点，其实质是一种多参数的权重 系数相对确定的神经网络。 3 利用加权多宽度高斯核进行支持向量机分类实验取得比普通高斯核更好 的效果；通过对多项式核函数和高斯核函数进行新核函数框架的应用，从支持向 量分类对比实验的划分曲面可以看出相对于原始核函数该核函数框架多参数调 节的优越性。 关键词：模式分析，加权多宽度高斯核，网络核模式，支持向量分类，核方法， 核函数，支持向量机，径向基函数网络 、v b i g h t e dg a u s s i a nk e r n e lw i t hm u i t i p l ew i d t h sa n d i t s s u p p o i tv e c t o rc l a s s i f i c a t i o na n dn e t w o r k k e r n e lp a t t e m a b s t r a c t p a t t e ma n a l y s i s ，豁o n e0 ft h em o s ti n l p o n a n tb r a n c ho fa n i f i c i a li n t e l l i g e n c e a n dm a c h i n ek a n l i n g ，i sw i d e l yu s e di ni n d u s t r i a le x p e ns y s t e m ，b j o l o g i 翻g e n e t i c i i l f b 彻a t i o ns c i e n c e ，c o s m o l o g y 缸仃o n o m ya i l dr o b o tt e c h n o l o g y e s p e c i a l l yw h e n c o m p u t i n gs p e e di sn o tt h em a i nb o t t l en e c ko f 、，0 n n e u m 锄a r c h i t e c t e dc o m p u t e r s ， a b i l i t yo fs e l fl e a m i n gb ym a c h i n e si st h ef j o c u sb yn o w p e o p l eh a v eb e e nt 巧i n gt 0 f i n ds 0 1 u t i o n sb a c ki n t oa n i f i c i a li n t e l l i g e n c ea n dm a c h i i l ek a m i n g p a t t e ma n a l y s i s ， a st h em o s tb a s i c 曲i l i t ys h o u l d b ea d d r e s s e db ya ua n i f i c i a l i i l t e l l i g e n c ea n d m a c h i n ek a m i n gr e l a t e dm a c h i n e sf i 璐t l y o n e0 ft h em o s tw i d e l yu s e da l g o r i t h m s0 f p a t t e ma n a l y s i si ss u p p o r tv e c t o rm a c h i n e s ，w h i c hh 弱b e e np r o v e dw i t hb e t t e re 能c t t h a nt r a d i t i o n a la l g o r i t h m s ，a sw e n 弱s t r o n g e rs t a t i s t i c a lt h e o r i e ss u p p o n k e m e l f u n c t i o n ，a so n eo ft h em o s ti i n p o n 加tw a y so fn o n l i n e a rm a p p i n 岛i st h ee s s e n c co f s u p p o nv e c t o rm a c h i n e sw i t hs u c hw i d ea p p l i c a t i o n a ni n d e p e n d e n td i s c i p l i i l e c a l l e dk e m e lm e t h o d sh a sb e e nf o 皿e de s p e c i a l l yf o rk e m e lf u n c t i o n s 1 1 1 ep u r p o s e 0 ft h i st h e s i si st 0r c s e a r c ht h ep r o p e r t i e s 加dc o n s t l l l c t i o n0 fk e m e lf u n c t i o n s r e s e a r c ho fk e m e lf u n c t i o 粥d o e sn o to i l l yi m p r o v et h eu s a g eo fs u p p o r tv r e c t o r m a c i l i n e s ，b u ta l s 0 酉v e ss u p p o r tt 0a n i f i c i a li n t e l l i g e n c e 如dm a c b j n ek 锄i n g t h e m s e l v e s t h er e l a t i o n s k pb e 咐e e ns u p p o r tv c 娥o rm a c h i n e sa n dk e m e lm e t h o d sh a sb e e n d i s p l a y e di n “st h e s i s a c c o r d i n gt 0t h ed e 触o fg 硼s s i 锄k e m e l ，也a ti su n a b l et 0 d i s t i n g u i s ht h ed i 骶r e n t 蛔p o r t 锄c co ff e a t u r e s ， an e wk e m e lf u n c t i o nc a l l e d w e i g l l t e dg a u s s i 觚k e m e lw i t hm u l t i p l ew i d t h s ( w g k m 哪h a u sb e e np r o p o s e d 粗d p r 0 v e dt ob eal e g a lk e m e lf u n c t i o ni nk e m e lm e t h o d s r e f e r 血gt or a d i u sm a 晒n e d rb o u n da n dq u a s i n e 州o ng r a d i e n td e s c e n tm o d e l ，an e wa 1 9 0 r i t h mh 蕊b e e n i i p r o p o s e dt od e t e 册i n et h ep a r a m e t e r so fw g k m wb a s e do nt h er a d i u sb a s i s f u n c t i o nn e 耐o r k ( r b f 如a r c h i t e c t u r eo fw g k m w an e w 丘锄e w o r kc a l l e d n e t w o r kk e m e lp a t t e m ( n k p ) h a sb e e np r 叩o s e dt oc o n s t m c tan e w d a s so fk e m e l f h n c t i o n s t h ee s s e n c eo fn k pi sar b f nw i t h 五e dr e l a t i v ew e i 曲t s ap r e c i s e c o m p 撕s o n 肋ms u p p o r tv e c t o rc l a s s i f i c a t i o ne x p e r i n l e n t sb e m e e nw g k m w a i l d g a u s s i a nk e m e l ，w g k m ws h o w e db e t t e re 骶c t st h a ng a u s s i a nk e m e l r h r o u g l l d a s s i f i c a t i o nh y p e rp l a n ec o m p a r i s o nf r o ms u p p o nv e c t o rc i a u s s i f i c a t i o ne x p e 曲e n t s b e 咐e e na p p l y i n gn k po np 0 1 ) r i l o m i a lk e m e l 狮dg a u s s i a l lk e m e l 勰do r i g i n a lo n e s ， t h ea d v a n t a g e so fm u l t i p l ep a r 锄e t e r so fn i 0 ，一个超平面的y = ( w x ) + b 的一带是指该超平面沿y 轴依次上 下平移占所扫过的区域。如图2 2 2 3 所示。给定训练集 r = “，m ) ，“，y ，) ( x y ) f ，其中薯x r “，咒y = r ，i = 1 ，f ，并给定 占 0 ，如果超平面y = ( w x ) + b 的一带包含了训练集t 中所有的训练点， 即： 一sy i 一( ( w 工) + 6 ) s ，f = 1 ，2 ，z 则称该超平面为对于训练集t 的硬一带超平面1 5 4 1 。 图2 2 2 3 硬一带超平面 显然，对于有限点的训练集合来说，当占充分大时，其硬s 一带超平面总是 存在的。线性回归的实质就是最优化以下问题来求得最小的能使硬一带超平面 存在的值，m i n ： m i ng w ，毒 s j 一墨y j 一( ( w x ) + 6 ) s ，f - 1 ，2 ，z 对于给定的 0 ，当 血时，硬占一带超平面存在并且不惟一；当s - m i n ， 有且只有一个硬一带超平面；当 占血时，硬一带超平面等价与分离两个集合d + 和d 一的超平面，线性回归问 题转化为线性分类问题。两个集合的定义如下： d + 一 o i ，咒+ ) r ，f 一1 ，z ( 2 2 2 4 ) d ( ，咒一) r ，f 一1 ，z ， ( 2 2 2 5 ) 根据式( 2 2 2 4 ) 和式( 2 2 2 5 ) ，训练集可以表示为下式： ( 僻，咒+ 占) r ；1 ) ，( 研，m + ) r ；1 ) ，( ( ，y ，+ 1 一占) r ；一1 ) ，( 0 三，y 甜一) r ；一1 ) 】 1 4 加权多宽度高斯核及其支持向量分类与网络核模式 ( 2 2 2 6 ) 由于这里的w 比分类问题中的w 多了一个对应与y 的分量，用叩来表示，则此时 超平面的权向量为( 矿，7 7 ) r 。线性回归的硬一带超平面最大间隔法即为最优化 如下问题： 鼎2 2 2 + ，7 2 2 ( 2 2 2 7 ) s j 乞( ( w 五) + 蟹( 咒+ 2 ：) + 6 ) 1 ，f 一1 ，2 z乞= 1 f l ，磊- 一1 ，f z + 1 ，2 z ( 2 2 2 8 ) 得到最优解为( ，蟹，6 。) ，划分超平面为( 桫工) + 蟹) ，+ 6 一0 ，线性回归函数即为 硬一带超平面： ) ，( _ 乓z ) + ( 一与) ，一【一_ 。z ，+ 【一一 ，7，7 仿照式( 2 2 1 5 ) 得到基于推广的最大间隔法的线性回归即为最优化以下 问题： 骢2 2 + ，7 2 2 + c 岛h q 户，；倒 乞( ( w 。五) + ，7 ( 咒+ z j ) + 6 ) + 毒1 ，磊苫0 ，f - 1 ，刃乞= 1 ，f 一1 ，z ： 幺一一1 i z + 1 ，z 得到最优解( 矿，矿，6 ，宇) 后可以得到划分超平面及与式( 2 2 2 9 ) 相仿的线性 回归函数。 2 3 最优化理论 最优化，是应用数学的一个分支，主要研究以下形式的问题： 给定一个函数厂：4 一r ，寻找一个元素x o 彳使得对于所有a 中的x ， ，o o ) 墨厂o ) ( 最小化) ；或者厂o o ) ，( 最大化) 。 典型的，a 一般为欧几 里德空间科中的子集，通常由一个a 必须满足的约束等式或者不等式来规定。a 的元素被称为是可行解。函数f 被称为目标函数，或者费用函数。一个最小化( 或 者最大化) 目标函数的可行解被称为最优解【稻j 酬。一般情况下，会存在若干个 局部的极小值或者极大值。局部极小值x 宰定义为对于一些6 o ，以及所有 加权多宽度高斯核及其支持向量分类与网络核模式 的x 满足0 x z 忙6 公式成立。这就是说，在厂o 。) s 厂o ) 周围的一些闭球上， 所有的函数值都大于或者等于在该点的函数值。一般的，求局部极小值是容易的， 但是要确保其为全域性的最小值，则需要一些附加性的条件，例如，该函数必须 是凸函数。 最优化理论作为理论基础，诞生了众多的分支，其中主要有： 线性规划：当目标函数f 是线性函数而且集合a 是由线性等式函数和线性不等式 函数来确定的，称这一类问题为线性规划 整数规划：当线性规划问题的部分或所有的变量局限于整数值时，称这一类问 题为整数规划问题 二次规划：目标函数是二次函数，而且集合a 必须是由线性等式函数和线性不等 式函数来确定的。 非线性规划：研究的是目标函数或是限制函数中含有非线性函数的问题。 随机规划：研究的是某些变量是随机变量的问题。 动态规划：研究的是最优策略基于将问题分解成若干个较小的子问题的优化问 题。 组合最优化：研究的是可行解是离散或是可转化为离散的问题。 无限维最优化：研究的是可行解的集合是无限维空间的子集的问题，一个无限维 空间的例子是函数空间。 对于无约束的优化问题，如果函数是二次可微的话，可以通过找到目标函 数梯度为o ( 也就是鞍点) 的那些点来解决此优化问题。我们需要用h e s s i a n 矩 阵来确定此点的类型。如果h e s s i a n 矩阵是正定的话，该点是一个局部最小解， 如果是负定的话，该点是个局部最大解，如果h e s s i a n 矩阵是不定的话，该点 是某种鞍点。要找到那些拐点，我们可以通过猜测一个初始点，然后用比如以下 的迭代的方法来找到：梯度下降法、牛顿法、共轭梯度法( c o n j u g a t eg r a d i e n t ) 、 线性查找( 1 i n es e a r c h ) 【5 u 。如果目标函数在我们所关心的区域中是凸函数 的话，那么任何局部最小解也是全局最优解。现在已经有稳定，快速的数值计算 方法来求二次可微地凸函数的最小值。约束问题常常可以通过拉格朗日乘数转化 为非约束问题。其他一些流行的方法有：模拟退火、遗传算法、类免疫算法、演 化策略、差异演化算法、微粒群算法【4 2 4 3 l 。 1 6 加权多宽度高斯核及其支持向量分类与网络核模式 2 3 1 最优化问题 最优化问题都是包含着若干需要选择或调整的量，而调整的目的都是使这些 量的某个函数达到其最大值或最小值。由于一个函数f ( x ) 的最大值完全与函数 一f ( x ) 的最小值相对应，所以最优化问题可以被统一为达到最小值问题。当选择 的量不受限制时，称为无约束问题；当需要选择的量在某个限定的范围内取值时， 称为约束问题1 5 3 j 。 对于无约束问题，若有n 个需要选择或调整的量时，用n 维欧式空间上的向 量z ；( k 1 ，k 1 ) r 来表示，欲求的最小点函数记为f ( x ) ，无约束问题即为： m i n f ( x ) ，工r ” 如果x 对任意工科都有： 厂o ) 厂o ) 则称z 为该无约束问题的整体最优解、目标函数f ( x ) 的整体( 全局) 极小点； 如果x 对任意z 科，x z 都有： 厂 ) 厂o ) 则称x 为该无约束问题的严格整体最优解、目标函数f ( x ) 的严格整体( 全局) 极小点；如果x 对任意x 瞅，存在 0 ，使得当x 与x 的距离小于，即当 忙一x l l o ，使得当x 与x 的距离小于，即当o q l x 一工i i 厂o ) ( 2 3 一卜5 ) 则称x 为该无约束问题的严格局部最优解、目标函数f ( x ) 的严格局部极小点。 更加一般的约束问题既可以包含等式约束，又可以包含不等式约束，其一般 形式可以表达为下式： m i n ，o 力，工- ( 【工】1 ，【x 】。) f r “， ( 2 3 1 6 ) 1 7 加权多宽度高斯核及其支持向量分类与网络核模式 s t c is0 ，f = l ，p ， c ：( x ) 一0 ，f = p + 1 ，p + q 这类问题为一般约束问题，f ( x ) 为目标函数，式( 2 3 一卜7 ) 和( 2 3 一卜8 ) 称为 约束条件，满足约束条件的点称为可行点，并称全体可行点组成的集合为可行域。 一般的约束问题目标函数和约束条件往往为任意的连续函数，所以理论和解法比 较复杂。而针对模式识别的线性分类和回归问题，属于凸最优化问题。支持向量 机的实质就是利用凸优化来做模式分析。 2 3 2 拉格朗日理论与l ( a r u s h k u h n t u c k e r ( 心汀) 条件 拉格朗日理论的初始目的是，当没有不等式的约束条件时，表征一种最优化 问题的原始解决方