《人工智能导论》课件-2.4 使用百度EasyDL训练神经网络

2.4使用百度EasyDL训练神经网络

物联网工程学院平台介绍百度EasyDL是基于飞桨开源深度学习平台，面向企业AI应用开发者提供零门槛AI开发平台，实现零算法基础定制高精度AI模型。EasyDL提供一站式的智能标注、模型训练、服务部署等全流程功能，内置丰富的预训练模型，支持公有云、设备端、私有服务器、软硬一体方案等灵活的部署方式，访问地址为/easydl/。平台介绍EasyDL从2017年11月中旬起，在国内率先推出针对AI零算法基础或者追求高效率开发的企业用户的零门槛AI开发平台，提供从数据采集、标注、清洗到模型训练、部署的一站式AI开发能力。对于各行各业有定制AI需求的企业用户来说，无论您是否具备AI基础，EasyDL设计简约，极易理解，最快5分钟即可上手学会，15分钟完成模型训练。将采集到的原始图片、文本、音频、视频、OCR、表格等数据，经过EasyDL加工、学习、部署后，可通过公有云API调用，或部署在本地服务器、小型设备、软硬一体方案的专项适配硬件上，通过离线SDK或私有API进一步集成，流程如下：平台介绍根据企业用户的应用场景及深度学习的技术方向，EasyDL共推出6大通用产品及1个行业产品：EasyDL图像：适用于图片内容检索、安防监控、工业质检等场景EasyDL文本：适用于文本内容审核、文本自动生成、留言分类、电商评价打分等场景EasyDL语音：适用于区分不同声音类别等场景EasyDLOCR：适用于证照电子化审批、财税报销电子化等场景EasyDL视频：适用于视频内容审核、人流/车流统计、养殖场牲畜移动轨迹分析等场景EasyDL结构化数据：挖适用于客户流失预测、欺诈检测、价格预测等场景EasyDL零售行业版：适用于货架巡检、自助结算台、无人零售柜等场景开发流程AI开发流程是一个系统且复杂的过程，它涵盖了从需求分析、数据准备、模型选择与训练、评估与调优，到最终部署和运营的全生命周期。模型选择EasyDL提供了多种可选择的模型，为了创建可以进行汽车类型识别的模型，在EasyDL主页点击“立即使用”按钮，并在弹出的菜单中选择“图像分类”。数据处理模型选择完成后即可进入EasyDL开发平台，该开发平台提供了包括数据处理、模型训练、服务管理、模型部署在内的多个功能模块。数据处理接下来准备训练模型所需的数据，点击左侧菜单中的“数据总览”管理数据集。平台支持统一纳管自训练模型的数据集，并支持自主版本迭代、数据查看、导入导出和删除等操作。点击右侧“创建数据集”按钮进入数据集创建界面，如下图所示，点击“创建并导入”完成创建。数据处理创建完成后接下来导入数据，既可以使用自己的本地数据集，也可以使用平台提供的数据集，这里我们选择使用平台提供的数据。在“导入方式”一栏选择“公开数据集”，并在“选择数据集”一栏选择“汽车类型分类-->V1”，点击“确认并返回”，如图所示。数据标注导入完成后即可在“数据总览”界面看到所创建的数据集。此时的数据集还未进行标注，也就是图像没有对应的标签，暂时无法用于进行监督学习。点击右侧的“查看”按钮可以看到数据集中的图片，以及可选的标签。用户可以对标签进行编辑，例如新增、修改、删除标签，标签应避免使用中文。可以发现此时的数据集中的图片都是“无标签”状态。如图所示。数据标注回到“数据总览”页面，点击右侧的“标注”按钮进行数据标注。判断图中汽车的类型，在右侧的标签列表中选择对应的标签，并点击“保存当前标注”。如下图所示：智能标注当前数据集含有840张汽车图片，这意味着需要进行840次标注。为了提高工作效率，EasyDL平台提供了智能标注功能，只需要为每个标签标注至少10张图片，即可开启智能标注。智能标注流程为启动智能标注、系统筛选难例、用户标注难例、完成标注。智能标注流程智能标注模型训练点击左侧菜单中的“模型训练”按钮进入训练界面，并点击右侧的“创建任务”按钮，创建训练任务。设置模型名称后描述后点击“下一步”，如下图所示：模型训练在数据准备阶段，选择要使用的数据集，此处可以自定义验证集和训练集，配置完成后点击“下一步”，如右图所示：模型训练在训练配置阶段，部署方式选择“公有云部署”、训练方式选择“常规训练”。算法部分有高精度或者高性能等多个选项。高精度训练速度慢，但准确率更高；高性能训练更快但准确率比高精度算法要低3%~5%，为加快训练速度，本次训练我们选择“超高性能”。训练环境选择“GPUP4”，点击“开始训练”，如右图所示：模型训练开始训练后可在模型训练页面查看训练进度，如下图所示：模型评估等待模型训练完成后，点击右侧“完整评估结果”可查看模型评估报告，如图所示：模型评估报告包含Top1~Top5准确率，精确率、召回率、F1值等性能指标。用户可以根据评估报告的内容选择模型优化方案。模型校验在左侧菜单中选择“模型校验”，在右侧选择要校验的模型后点击“启动模型校验服务”，进入校验页面，如下图所示：模型校验点击添加图片，上传一张事先准备好的汽车图片，查看识别结果，这里上传一张吉普车图片，可以观察到模型正确识别出了该汽车类型为“jeep”，如下图所示：拓展项目在实践项目中不仅仅要关注模型的构建，更要对数据集进行深入的分析和评估，同时对训练好的模型进行全面的评价和测试，来更深刻地理解数据集质量和模型性能对最终结果的重要影响。数据集的分析和评估：探索可视化工具，如Matplotlib或Seaborn在数据分析中的应用。模型评价和测试：探索不同的评价指标，选择合适的性能评估指标，并根据