大数据采集与预处理技术（微课版）课件 1.6公开数据集表情图像数据采集

大数据采集与预处理技术*

*项目一表情图像数据采集和预处理序号软件配置要求1python3运行计算机内存8G以上2pytorch最新版本3pycharm最新版本一、项目目标：1、完成表情图像数据采集环境安装配置，掌握爬虫必备知识；2、完成表情图像数据爬虫采集程序设计和数据采集；3、完成表情图像数据预处理。二、环境要求：任务二表情图像数据采集一、任务目标1、完成表情图像数据公开数据集采集；2、完成表情图像数据的采集和保存；二、知识储备1、公开数据集分析；2、公开数据集采集数据方法；1、常用的图像公开数据集数据集数据集介绍应用场景链接ImageNetImageNet是一个庞大的图像数据库，包含数千万的标注图像，用于对象识别和图像分类。它为计算机视觉领域的深度学习研究提供了大量的训练和测试数据。该数据集中的图像分为多达20000多个类别，每个类别下有成千上万张图片。ImageNet是许多计算机视觉竞赛的标准数据集，尤其是著名ImageNetLargeScaleVisualRecognitionChallenge(ILSVRC)。/COCOCOCO数据集包含超过330000张图像，其中80多万个对象被标注。数据集包括91类日常生活中的物体，如人、动物、交通工具等。COCO数据集的标注不仅包括物体的分类，还包括物体的分割、多物体检测和关键点检测（如人体关键点）。该数据集常用于对象检测、图像分割、关键点检测和全景分割等任务。/PascalVOCPascalVOC是一个广泛使用的计算机视觉数据库，最初用于对象分类和检测任务。它提供了一系列标注好的图像，包含20种类别的物体。PascalVOC数据集具有精确的图像标注，包括物体检测的边界框和分类。PascalVOC通常用于对象检测、分类、语义分割等任务，曾是视觉领域重要的基准数据集。http://host.robots.ox.ac.uk/pascal/VOC/CIFAR-10/CIFAR-100CIFAR-10和CIFAR-100是较小的图像数据集，分别包含10个类别和100个类别的对象图像，每个类别有6000张图片。图像尺寸为32x32像素，适合快速原型设计和深度学习模型的入门实验。通常用于图像分类任务的研究和实验，特别是在深度学习和神经网络领域。/~kriz/cifar.htmlMNISTMNIST是一个著名的手写数字数据库，包含70000张28x28像素的灰度图像，其中包括60000张训练集和10000张测试集的手写数字图像（0-9）。特点：由于图像简单且标注明确，MNIST数据集经常用于机器学习算法的入门测试。MNIS被广泛用于分类任务的初步测试和模型验证，尤其是深度学习和神经网络的研究。/exdb/mnist/数据集数据集介绍应用场景链接LFWLFW是一个包含13000多张面部图像的数据集，分为5000多个不同的个体。该数据集用于人脸识别和人脸验证任务。图像是在自然环境下拍摄的，面部表情、角度、光照等条件各异，具有很大的挑战性。LFW是人脸识别和身份验证任务中的基准数据集。/lfw/OpenImagesDatasetOpenImagesDataset是一个大型图像数据集，包含约900万张图像，覆盖600多个类别。它提供了丰富的标注，包括图像分类、物体检测和图像分割。OpenImages的图像注释非常详细，包括物体的边界框、多标签分类、图像分割等。该数据集广泛用于对象检测、图像分割、图像分类等计算机视觉任务。/openimages/web/index.htmlCelebACelebA是一个包含超过20万张名人面部图像的数据集，并为每张图像提供了40多种属性的标签。该数据集标注了面部特征（如性别、发型、眼镜等），广泛用于人脸属性分类、关键点检测、面部识别等任务。CelebA数据集常用于面部属性预测、面部识别和生成对抗网络（GAN）研究。.hk/projects/CelebA.htmlKITTIVisionBenchmarkSuite

KITTI是自动驾驶领域常用的图像数据集，包含来自真实驾驶场景的大量图像和传感器数据（如激光雷达、IMU等）。该数据集专注于自动驾驶应用，提供用于对象检测、立体视觉、深度估计、光流等任务的标注数据。广泛用于自动驾驶领域的研究和发展，包括场景理解、3D物体检测和跟踪。/datasets/kitti/Fashion-MNISTFashion-MNIST是由Zalando发布的图像数据集，包含10类时尚商品的70000张灰度图像，类似于MNIST手写数字数据集。图像尺寸为28x28，分为60000张训练图像和10000张测试图像，类别包括T恤、裤子、鞋等。广泛用于自动驾驶领域的研究和发展，包括场景理解、3D物体检测和跟踪。/zalandoresearch/fashion-mnist1、常用的图像公开数据集1、常用的图像公开数据集-下载示例（1）访问ImageNet官网ImageNet地址往往是可以直接打开的，但是下载注册可能需要通过VPN访问，ImageNet官网地址/。（2）注册账户在ImageNet网站上注册一个账户并登录。如果无法注册账号也可以通过pytorch等框架下载数据集，但是不是所有公开数据集都支持pytorch下载，ImageNet通常需要手动下载并设置路径。（3）申请下载权限公开数据集下载通常需要申请者填写一个申请表，说明研究目的和使用数据的方式。可以根据实际进行申请填写并发送指定邮箱，或上传到指定位置，等待审批。（4）下载数据获得下载权限后登录到ImageNet网站，访问下载页面。在下载页面，可以找到不同的子数据集。选择需要的数据集（例如ImageNetLargeScaleVisualRecognitionChallenge(ILSVRC)数据集）并下载相应的压缩包。（5）解压和组织数据下载的文件通常是压缩包，解压后会得到大量的图像和标签文件。根据需要将数据组织成适合的格式进行使用。2、表情图像公开数据集数据集数据集介绍链接KDEFKDEF(KarolinskaDirectedEmotionalFaces)，这个数据集4900张彩色图，尺⼨为562×762像素，主要是20~30岁的35个男性和35个女性的7种表情（愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性），每个表情有5个角度（正面、左右45度和90度）。数据需通过KDEF官方网站或联系数据库提供者请求下载许可。https://www.kdef.se/JAFFE该数据集共有213张图像，10个人每人做出7种表情（愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性），，每组大概20张样图，每张图像都标注了情感类别，同时附带情感强度评分。可以从相关学术网站或通过联系原作者获取数据。/record/3451524GENKIGENKI数据集超过70000张图片，主要用于笑容检测，主要分为两类：笑容和非笑容，图像标注了是否带有笑容以及头部姿态，每张图像拥有不同的尺度大小、姿势、光照变化、头部姿态。这些图像包括背景、光照条件、地理位置、个人身份和种族等信息。需通过联系GENKI项目组获取数据集。RaFDRaFD数据集有8040张图片，是一个高质量的脸部数据库，总共包含67个模特，有男性成年⼈、女性成年人、男孩、女孩，包含8种表情，即愤怒、厌恶、恐惧、快乐、悲伤、惊奇、蔑视和中立。每个表情包含3个不同的注视方向，并且使⽤5个相机从不同的角度同时拍摄。需要联系RaFD官方网站申请使用许可。https://www.socsci.ru.nl:8000/RaFD2/RaFD?pagename=RaFD2、表情图像公开数据集数据集数据集介绍链接Fer2013Fer2013包含共35887张48×48灰度图，图像的分辨率较低，共7种表情：愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性，每张图像标注了相应的情感类别。可以在Kaggle平台下载数据集。/cAffectNetAffectNet数据集具有超过百万张图，标注类型包括表情类型和幅度，其中表情类型包括7种。愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性，以及中性情感和情感强度的连续值标注。标注了情感类别、情感强度评分以及面部关键点。需要填写申请表并联系原作者获取数据。/affectnet/EmotioNetEmotioNet数据集拥有图片超过95万张，由基于面部动作编码系统（FACS）的特征和复杂情感标注，如快乐、愤怒、惊讶等。使用FACS系统对面部的动作单元（AUs）进行标注，涵盖了表情的不同组成部分。使用数据需要申请许可并通过官方网页申请。/EmotionNetChallenge/RAF-DBRAF-DB发布于2017年，包含3万多张图像，其中，7个基本表情和12个复合表情，以及43种细微情感，⽽且每张图还提供了5个精确的⼈脸关键点，包含年龄范围和性别标注等信息。可通过提交申请表在数据库官网获取数据。/RAF/model1.html3、下载表情数据（示例）1）以Fer2013为例简单示例图像下载，打开网站/c。2）在首先导航栏找到并选择“Datasets”功能，跳转到数据集搜索下载页，在搜索框输入“FacialRecognitionDataset”并搜索，会显示多个数据集供选择，选择第一个进行