深度学习-深度学习基础知识-图像数据集不均衡问题的处理方法_第1页
深度学习-深度学习基础知识-图像数据集不均衡问题的处理方法_第2页
深度学习-深度学习基础知识-图像数据集不均衡问题的处理方法_第3页
深度学习-深度学习基础知识-图像数据集不均衡问题的处理方法_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、深度学习_深度学习基础知识图像数据集不均衡问题的处理方法数据集不均衡带来的问题首先我们考虑一个二分类问题，比如区分一张图片里的是一只猫还是一只狗。若数据搜集的时候只找到了1000张猫的图片和40000张狗的图片作为训练集。如果直接把这41000张图片放在一起，然后用mini七atch的方法进行训练，就会出现数据不均衡的问题。比如每次迭代的样本数量为100个，那么平均下来每次样本中猫的数量通常只有1、2个。这样的结果是计算损失函数时，狗的图片比重太大，所以相当于是针对狗的图片进行了充分的训练。猫的图片带来的损失的影响很小，所以猫的特征就并不容易被学习到，这会影响分类器的最终性能（可能猫无法被识别

2、）。所以在实际工程中或是实验中，我们必须先对数据集进行分析，如果存在数据集不均衡的现象，那就要进行数据集均衡操作。最直接的想法就是把猫的图片复制39遍，这样猫的样本就和狗的样本一样了。这样做有一定的效果，不过在实际应用中我们更常用的手段是进行dataaugmentation。在机器学习中，数据通常都是来源于一个分布。比如猫的图片，无论图片中的猫是什么颜色，什么姿势，眼睛是瞪着还是眯着，都能看出是只猫。而所有的猫的图片，都可以看作是来自于一个分布。数据增强基础数据增强方法因此，在做数据均衡的时候可以考虑模拟这个分布产生一些和已有数据不完全一样的数据。具体到猫的例子，就是可以考虑把图像旋转一个角度

3、，左右镜像对称，明暗度做一些改变，或者是裁剪等。如下图所示：明暗務額卜F对比度做了这些改变之后，仍能一眼看出这是只猫，可以认为图片仍是来自“猫”这个分布。*数据增广不仅可以用来解决样本数量不均衡的问题，还可以带来其他的好处。*比如想象一下1000张猫的训练数据全是向左看的猫，那么训练出的模型遇到一只向右看的猫就未必能判断的很准。所以数据增广的时候可以随机加入水平翻转，让向右看的猫也出现在训练样本中，增强模型对未见过的数据的潘判断能力，这也是数据增广带来的好处。所以在实际应用中，即使是数量多的一类的图片也可以使用数据增广的手段来获取更多的训练样本，来增强模型对于未见过的数据的分类能力。比如猫和狗的例子中，可以通过数据增广把猫和狗的图片都增加到10万张再进行训练。甚至可以在每次训练迭代之前实时在原始图片基础上随机加上一些变化，相当于拥有了无限的数据增广的样本。其他额外有效的数据增强方法旋转缩放（这个方法要看数据集适不适合使用，如蓝天和大海的照片，都是上天下海）。RGB三通道分别提取成为R,G,B单通道三张图。高斯模糊等加噪声的算法。对少数样本种类做过采样，多样本种类做

人人文库> 全部分类> 办公材料 > 办公文档

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论