对gaussian径向基函数核对应特征空间中保形变换的改进.ppt

1、2020/9/14,1,对gaussian径向基函数核对应特征空间中保形变换的改进,报告人：何玉林,2020/9/14,2,1999 S. Amari,S. Wu. Improving support vector machine classifiers by modifying kernel functions.,本文中首次提出了通过修改核函数来增大训练数据 类间间隔的思想，修改是基于核函数的黎曼几何结构提 出的。主要针对gaussian径向基函数核作出修改。,2020/9/14,3,2002Wu. S, Amari.S. Conformal transformation of kernel

2、 functions: A data-dependent way to improve the performance of support vector machine classifiers.,本文中作者对修改的合理性给出了理论证 明，并将对核函数的修改扩展到多项式函数核。,2020/9/14,4,文中结论：,SVM 是构建于统计学理论基础之上的一种分类方法； SVM不同于传统的基于经验风险最小化的分类方法； 类间间隔越大，分类器的泛化能力越强； 支持向量的数目越少，分类器的泛化能力越强；,2020/9/14,5,映射的选取：,2020/9/14,6,修改核函数的思想：,由于映射 的形式难

3、于确定，SVM的高明之处 在于使用了具体的核函数。当核函数的具体形式被给出 后，相应的映射也就被确定。如果我们对核函数作修改， 即等于对映射作了修改。 我们对核函数进行修改的结果是：修改后的核函数对 应的映射较之原始映射，能够使训练数据拥有更大的类间 间隔。,2020/9/14,7,核函数的修改形式：,2020/9/14,8,保形变换的具体形式：,2020/9/14,9,对原方法的改进：,2020/9/14,10,非线性SVM,2020/9/14,11,修改核函数的目的：,1我们的本意就是能够寻找到一个映射，使之 将训练样例投射到高维空间后，训练样例之间拥 有较大的类间间隔，这样的映射肯定存在

4、，但是 映射的具体形式我们难以确定； 2我们对现有的核函数作修改，使修改后的核 函数对应的映射拥有比原始核函数较大的类间间 隔，即等于寻找到了一个新的映射；,2020/9/14,12,在给定了具体的核函数 后，那么相 应的映射 也就被确定了，如果我们对现 有的核函数作修改，使修改后的核函数对应的 映射 比原映射 拥有较大的类间间 隔那么我们的目的就达到了。,2020/9/14,13,修改的主要思想：,1利用原始的核函数训练SVM，找出支持向 量； 2通过增大支持向量在特征空间（黎曼空间） 中的体积元，减小非支持向量的体积元达 到扩大类间间隔的目的； 3利用修改后的核函数重新训练SVM。,202

5、0/9/14,14,Wu. S, Amari.S认为每个训练样例在特征空间中都 是占有一定的体积的，通过黎曼几何学的知识，可以将 样例体积的表达式计算出来。 2007QING HE , XIU-RONG ZHAO , ZHONG- ZHI SHI , SAMPLING BASED ON MINIMAL CONSISTENT SUBSET FOR HYPER SURFACE CLASSIFICATION.,2020/9/14,15,样例的体积元：,2020/9/14,16,保形变换的定义：,1曲面之间的一个变换，如果使曲面上对应 曲线的交角相等，则这个变换成为保角变换 （保形变换）。微分几何 2

6、解析函数所确定的映射就是保形映射。复 变函数,2020/9/14,17,两个定义的意义：,定义1从空间几何结构的角度给出了保 形变换的定义，使我们能够形象地观察到保形 映射所带来的变化； 定义2保证了对原始核函数作保形变换 后所得到的函数仍满足核函数的条件，仍然是 核函数（核函数要求满足mercer定理 ）。,2020/9/14,18,保形变换图示1：,2020/9/14,19,研究现状：,2003Gang Wu , Edward Y . Chang , Adaptive Feature-Space Conformal Transformationfor Imbalanced-Data Lea

7、rning . 2006 Navneet Panda , Edward Y . Chang , Gang Wu ， Concept Boundary Detection for Speeding up SVMs . 2006 Huilin Xiong , Ya Zhang , and Xue-Wen Chen , Data- dependent Kernel Machines for Microarray Data Classification .,2020/9/14,20,改进的动机：,1是否可以避免提前训练SVM以找出支持向 量这个过程？（支持向量的作用） 2是否可以使用较少的样例训练出一个精度 更高的SVM？,2020/9/14,21,利用边界向量修改核函数：,如何在特征空间中找到边界向量？ 在特征空间中两点之间的距离可以通过下面的表达式计 算：,结论：gaussian径向基函数核不改变两点之间的相对位置。,2020/9/14,22,利用边界向量集合训练SVM,此举动的意义在于：使边界向量的体积元 在不受非边界向量体积影响的情况下尽可能大 地得到增大，从