人工智能安全-4-小样本学习方法

小样本学习问题数据增强基于模型的小样本学习基于算法的小样本学习相关资源提纲在小样本监督分类中，通常将问题表述为N-way-K-shot分类，当k=1，称为one-shotlearning当k=0时，成为zero-shotlearning（ZSL）。ZSL就要求学习的问题具备充足的先验知识，例如wordNet，wordembedding等。K比较小，FSL(fewshotlearning)与其他学习的关系弱监督学习不完全监督、不确切监督、不精确监督2.非平衡学习3.迁移学习如果把目标领域的学习看作是小样本学习，把源领域的知识看成是先验知识，那么迁移学习就是小样本学习。4.元学习各个领域的小样本学习图像方面的小样本分类已经有较多性能优异的算法模型。文本方面的小样本分类仍不尽人意。网络安全方面的小样本也很难于解决。PACPAC(probablyapproximatecorrect)计算学习理论从假设空间H学习一个好的h，好的假设h，满足两个条件：（1）近似正确：存在一个很小的数1>ϵ>0,

使得泛化误差E(h)<=ϵ（2）可能正确：给定一个值0<δ<1，h满足P(h近似正确)≥1−δ。即P(E(h)≤ϵ)≥1−δ0<ϵ,δ<1。这两个常量可以理解为，ε是最大错误率，δ是置信度样本数量和泛化误差ϵ,δ之间的关系只要样本数量m大于或等于M，就能保证模型在当前条件下是PAC可学习的。小样本学习方法体系数据利用先验知识对训练数据进行增强模型如何缩小假设空间大小算法基于先验知识在给定的假设空间中提升搜索效率小样本学习问题数据增强基于模型的小样本学习基于算法的小样本学习相关资源提纲数据增强三种主要的方法

根据数据来源不同，可以进一步分为三种策略，即：对训练数据集进行变换、对相似数据集进行变换、对未标注数据集或弱标注数据集进行变换。小样本数据本身的利用对图像进行旋转、裁剪等操作可以得到新样本.文本类型数据则可以进行同义词替换、随机插入、随机交换、随机删除、通过句法树生成意译的句子等类似数据的变换旅游类型评论文本不足，可以考虑利用酒店类的评论文本。该策略涉及到两个不同的数据集，因此也可以像迁移学习进行跨域学习而实现数据增强。弱监督利用其他的弱监督或无标签数据

弱监督学习中常用的方法包括主动学习、半监督学习、多示例学习方法和噪声学习等，解决了未标注数据的利用、标签的粒度以及存在噪声的问题。未标注数据的利用方法一是基于分类器进行高可信度样本的扩充。使用小样本数据集训练分类器，基于该分类器从无标签数据集中挑选高可信度样本从而完成小样本的扩充。使用半监督学习平滑假设、聚类假设、流形假设根据已知标签分类已知标签+未知标签

小样本学习问题数据增强基于模型的小样本学习基于算法的小样本学习相关资源提纲基于模型三种多任务学习多任务学习参数共享Embeddinglearning任务相关任务无关混合嵌入生成式模型假设少数类样本x来自某个分布p(x;xita)，如果我们可以估计出该分布，那么就可以用它来做小样本分类或样本生成（采样）了。使用先验知识的方法是把p(x;xita)分解为p(x;xita)=sum_z(p(x|z;xita)p(z;gama))，式子中的z是一个隐含在x中的随机变量。p(z;gama)看作是先验分布，从其他数据集进行学习。小样本学习问题数据增强基于模型的小样本学习基于算法的小样本学习相关资源提纲算法层面的方法分为三类1.通过其他任务的先验知识学习初始值xita_0，再使用FSL训练数据进行参数的re