本PPT为我近期的研究工作的一个汇报.pdf

Background Main Idea Experiment 本PPT为我近期的研究工作的一个汇报 MI Kernel的提出 使我们可以用核学习器解 决MI学习问题 传统的MI Kernel无法利用未标记数据 目前已有的半监督MI学习框架是概率框架下 的 半监督多示例的核学习方法 在多示例的学习框架中结合半监督核学习 提出 了一种半监督多示例核学习方法 Semi Supervised MI Kernel 利用未标记的样本数 据修改一个MI Kernel 使之能反映出所有数据的分 布规律 Semi Supervised Two View MI Kernel 定义两个 不同的MI Kernel 在它们所生成的联合RKHS中寻 找一个最好的假设 Semi Supervised MI kernel 定义一个MI Kernel 通过修改这个MI Kernel所生成的RKHS的内积 得 到一个新的RKHS 求出这个新的RKHS的Kernel 修改内积的依据是未标记数据 即让新的RKHS的 内积能够反映未标记样本的分布规律 在求得新的MI Kernel的基础上 利用一种核学习 器进行学习 如SVM 此时新的MI Kernel是半监 督的 整个学习框架也成为半监督 Semi Supervised MI kernel 我们给出该idea的形式化描述 简略 Semi Supervised MI kernel 讨论 Sindwani在单示例数据核上进行了类似的半监督 化工作 2005 在新的MI Kernel表达式中 M代表了整个样本集 有标记和未标记 的分布 算法中采用Graph Laplacian的方式求M 但由于所处理的示例是多 示例样本 所以只能定义前人未提出过的方式 本算法中采用类似于顶点核的方式求包间距离 SVM的训练和测试步骤和从前一样 Semi Supervised Two View MI Kernel 可以定义出不同的MI kernel 如node kernel edge kernel miGraph kernel等 我们相信 不同的kernel描述了假设空间的不同 方面 在此MI学习问题中 不同的MI Kernel产生不同的 假设空间RKHS 引入未标记数据 并把两个空间 中对未标数据看法不一致的假设删掉 Semi Supervised Two View MI Kernel 在剩下的假设中 寻找一个联合的假设 在两个 RKHS的联合空间中 在标记数据集上误差最小 并且表达最简单 此idea的优化目标为以上三者的联合 对未标记数据看法一致 在标记数据集上误差最小 表达最简单 通过设置权重参数衡量三者的重要性 Semi Supervised Two View MI Kernel 我们对此idea进行形式化描述 粗糙 定义两MI kernel K1和K2 由K1和K2得到两个 RKHS为H1和H2 则求解以下优化问题 相当于在以下联合空间中通过Representer定理求 解 需要先证明联合空间也是一个RKHS 再求出联合的 Kernel 这里直接给出结果 Semi Supervised Two View MI Kernel讨论 Rosenberg和Sindhwani做了基础性的工作 他 们的工作针对单示例样本 2009 优化问题中不出现Graph Laplacian 全是核函 数运算 十分适合MI问题 两个Kernel之间差异越大越好 MI Kernel的计算量较大 实验 图片数据集和UCI数据集 把每一幅图片变成一个多示例