第四讲核方法

1、第三讲第三讲 核方法核方法 支持向量机中的核方法支持向量机中的核方法 相似性度量与内积相似性度量与内积 核方法的作用与地位核方法的作用与地位 常用的核函数常用的核函数 从不同的角度看核函数从不同的角度看核函数 核函数的构造与选择核函数的构造与选择支持向量机的核方法支持向量机的核方法支持向量机的核方法支持向量机的核方法2, ,11m in | |2. . ( , ( ) 10,1 , ,iliwbiiiiiwcst y w xbil 11111m in( , )2. .0,01 , ,lllij ijijiiiili iiiyykx xstycil对偶模型这里这里k(xi,xj)=(xi),(x

2、j)是样本是样本xi,xj在特征空在特征空间中的内积，称为输入空间间中的内积，称为输入空间x上的核函数（正上的核函数（正定核）。定核）。相似性度量与内积相似性度量与内积 两点的相似问题 三点相似性问题|(,)( , )2( , )( , )( , )( , )cos =| |( , ) ( , )xxxx xxx xx xx xx xx xxxx xx x按距离度量：按角度度量：xxxm| |sgn(, ),()/2xxxxwxmyxm wwxx mxx与成锐角这里结论：常用的相似性度量都可按内积获得结论：常用的相似性度量都可按内积获得核方法的作用与地位核方法的作用与地位 作用 提高样本的线性

3、可分性； 刻画样本的相似性：内积是描述相似性的一个工具，它主要是从角度来刻画样本的相似性。 地位 决定了svm的非线性处理能力，在svm中占据着举足轻重的地位，是svm的热点和难点。 2006年11月27-28日，在比利时的布鲁塞尔召开了“international workshop on current challenges in kernel methods (cckm06)”，国际许多著名学者，如schlkopf, christmann, cristianini等都在此次会上发表了主题演讲，提出了核方法面临的挑战和未来的发展方向 常用的核函数常用的核函数 高斯径向基核： 多项式核： b-

4、样条核： 富里叶核： sigmoid核：22( , )exp( | /)k x xxx( , )( , ) ,0,dk x xx xccd为正整数从不同的角度看核函数从不同的角度看核函数 从核函数本身的机理出发 核函数看成一个特殊的积分算子(mercer核的原始定义） 核函数对应一个再生的hilbert空间(rkhs) 从数据出发：将核函数看成一个矩阵算子核函数看成积分算子再生核hilbert空间(rkhs)核函数看成矩阵算子核函数的构造与选择 构造原则由简单核构造复杂核 一些思路构造原则由简单核构造复杂核1 122121233( , )( , )( , )( , ),0( , )( , )(

5、 , );( )( , )( ) ( )( ,),( ),( , )( (nnk x xk x xk x xkx xk x xk x x kx xf xrk x xf x f xkxrk x xkx mmm(1)是上的核函数,则下面的函数都是核: (2)若是上的实值函数,则是上的核函数;(3)若是rr 上的核函数且是从到r 的映射 则xxxxxxnnnn), ( ),( , )txbnnk x xx bx是rr 上的核.特别地,若 是半正定对称矩阵 则是rr 上的核。一些思路核矩阵的构造 基核矩阵的选择规则？自己最近的一个工作核与属性的重要性相联系，例如核与样本的重要性相联系，例如11|0,(

6、)mmiiiiiiikktracekc1( , )miiiik x xx x022( , )( )( )( , ),( )exp | /iii svk x xd x d x kx xd xxx基核矩阵的秩空间差异性 学习核矩阵学习核矩阵 矩阵的秩空间差异性矩阵的秩空间差异性 选则基核矩阵的规则选则基核矩阵的规则 半导师问题中的半导师问题中的gramgram矩阵学习问题矩阵学习问题 学习核矩阵学习核矩阵矩阵的秩空间差异性矩阵的秩空间差异性(1)矩阵的秩空间差异性矩阵的秩空间差异性(2)矩阵的秩差异性矩阵的秩差异性(3)矩阵的秩空间差异性矩阵的秩空间差异性(4)选则基核矩阵的规则选则基核矩阵的规则(1)选则基核矩阵的规则选则基核矩阵的规则(2)半导师问题中的gram矩阵学习问题 模型 算法 实验 结论半导师问题中的gram矩阵学习模型(1)半导师问题中的gram矩阵学习模型(2)算法(1)算法(2)实验(1)实验(2)实验(3)结论 从tab.1和tab.2可以看到，随着基核矩阵的秩空间差异性的提高，不论对人工数据集，还是标准数据集，特征空间中