人工智能应用导论（第三版）课件项目2 处理AI燃料-数据

项目2：处理AI燃料—数据知识技能：开放数据集数据：人工智能的“燃料”数据是人工智能技术三大支柱中的核心要义。数据是人工智能项目开展的基本条件。高质精准的数据是智能模型训练的重要角色。通用数据集不能满足小场景和专业应用需求。基于AI实际应用场景的数据服务，已成为人工智能落地的核心地基。开放数据集开放数据集涵盖主题广泛，获取方式便捷，正日益广泛的被采用。ImageNetCTMedicalImagesFlickr-facesObjectnetAnimalFaces-HQnlp-datasets1trillionn-gramslitbankObjectnetGooglebookNgramReviewsStanfordSentimentTreebankLexicoderSentimentDictionaryConversationalDatasetsKaggleFinancedatasetsCFPBCreditCardHistoryStudentLoanDebtRe3DataELVIRABiomedicalDataMerckMolecularHealthActivityChallengeCTCancerMedicalImagesAudiosetTensorFlowSklearnNltkPydatasetStatsmodelSeaborn

自然语言处理情绪分析金融与经济科学研究语音Python库图像网络上的常用数据集存储库常用开放数据集简介：图像类MNIST数据集（/exdb/mnist/）美国国家标准与技术研究所、初级人工智能学习数据集手写数字，28×28灰度图片、6万训练样本+1万个测试样本广泛应用于机器学习和深度学习领域，用于测试算法效果常用开放数据集简介：图像类CIFAR-10，CIFAR-100数据集（/~kriz/cifar.html）CIFAR-10：普适物体识别、10个类别、32×32RGB图片每个类别6000张：5000训练+1000测试CIFAR-100：100个类别、每个类别500训练+100测试常用开放数据集简介：图像类MicrosoftCOCO数据集（/）微软研发维护、应用于目标分割、场景感知、目标识别等研究91类目标、328,000个影像+2,500,000个标签常用开放数据集简介：图像类ImageNet数据集（/）基于WordNet层次结构、约150万张、多个边界框和相应类标签

计算机图像识别最大的数据库之一常用开放数据集简介：图像类ImageNet数据集（/）与CIFAR-10数据集比较图片类别与数量更多图片分辨率更高图片噪声与变化更多识别难度更高常用开放数据集简介：语音类

LibriSpeech数据集（/12/）包含文本和语音的有声读物数据集、可应用于自然语音理解和分析挖掘等60GB1000小时16KHz10s常用开放数据集简介：语音类

VoxCeleb数据集（https://www.robots.ox.ac.uk/~vgg/data/voxceleb/）大型人声识别数据集、16kHz、16bit单声道、PCM-WAV格式VoxCeleb1-发音人数：1251、视频数量：21245、音频数量：145265VoxCeleb2-发音人数量：训练集

5994，测试集

118视频数量：训练集

145569，测试集

4911音频数量：训练集

1092009，测试集

36237包含两个子集，应用于语音识别、情绪识别等常用开放数据集简介：语音类

GoogleAudioSet数据集（/audioset/ontology）覆盖大范围的人类与动物声音、乐器与音乐流派声音、日常的环境声音632类200万10s应用于各种声学事件检测等527个常用开放数据集简介：语音类

AISHELL数据集（/kysjcp）免费学术使用AISHELL-1时长：178小时高保真麦克风（44.1kHz，16-bit）参与人数：国内不同地区、具有不同口音

400人录音设备：3种Android系统手机（16kHz，16-bit）iOS系统手机（16kHz，16-bit）需申请使用AISHELL-2时长：1000小时唤醒词、语音控制词、智能家居、参与人数：1991人录音设备：3种无人驾驶、工业生产等。录音文本涉及12个领域：常用开放数据集视频处理类Youtube-8M理解和识别视频内容AVA人类动作识别Kinetics动作理解和识别UCF101视频分类、动作识别文本处理类Yelp文本、情感分析IMDB文本、情感分析Multi-DomainSentiment文本、情感分析Sentiment140文本、情感分析智能驾驶类KITTI光流、视觉测距等CityScapes城市街景语义理解BDD100K自动驾驶nuScenes无人驾驶环境开源精神开源被明确列入国家发展规划《“十四五”规划》指出：“支持数字技术开源社区等创新联合体发展，完善开源知识产权和法律体系，鼓励企业开放软件源代码、硬件设计和应用服务。”党的“二十大”报告强调：”营造有利于科技型中小微企业成长的良好环境。”新兴产业核心技术构建的基础开源模式提倡开放、平等、协作、共享，能够促进产用协同创新，推动产业生态完善。近年来发展起来的各种新兴信息技术产业，其核心技术无一例外都是基于开源软件构建的。云计算人工智能移动互联网区块链…大数据不仅是商业模式更蕴含一种精神开源是打破垄断、共享共治、开放创新的精神，以最大程度的开放孕育最多彩的创新，释放人们的创造力。开源更是一种鼓励奉献的精神。通过将成果开源，让更多人更容易地站到巨人的肩膀上发挥创造力，推动全人类的技术进步。感谢观看THANKSFORWATCHING（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）项目2：处理AI燃料—数据知识技能：数据采集与清洗（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）汇报人：栾江峰数据采集的定义数据采集(DataAcquisition,DAQ)又称数据获取,是指从各类数据库、机器设备、传感器等自动采集信息的过程。数据的重要特点：数据源多样化，包括数据库、文本、图片、视频、网页等各类结构化、非结构化及半结构化数据。数据仓库技术ETL(Extract-Transform-Load)数据采集的分类大数据的数据采集是在确定用户目标的基础上，以传感器数据、社交网络数据、移动互联网数据等方式，针对该范围内的所有结构化、半结构化和非结构化的数据进行采集。数据采集系统日志采集Chukwa、Flume、Scribe网络数据采集网络爬虫、ApacheNutch、Scrapy数据库采集MySQL、Oracle、Redia、MongoDB数据采集--依法依规《中华人民共和国数据安全法》（2021年9月1日起施行）数据新技术开发的底线？《数据安全法》第二十八条规定，开展数据处理活动以及研究开发数据新技术，应当有利于促进经济社会发展，增进人民福祉，符合社会公德和伦理。什么是数据分类分级保护？《数据安全法》第二十一条明确，根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护。什么是数据？《数据安全法》第三条明确，本法所称的数据，就是指任何以电子或者其他方式对信息的记录。《数据安全法》第三十六条明确，非经中华人民共和国主管机关批准，境内的组织、个人不得向外国司法或者执法机构提供存储于中华人民共和国境内的数据。可以对外提供我国数据吗？数据清洗“脏”数据不完整、不规范、不准确的数据。处理方式包括检查数据一致性、处理无效值和缺失值等，提高数据质量。利用有关技术(如统计、数据挖掘、模式规则等)将其转换，满足数据质量要求。手工清洗方法简单，但效率低下。在数据量较大的情况下,几乎不可能采用。自动清洗能解决特定的问题，但灵活性较低。可使用清洗算法与清洗规则帮助完成：根据数据存在的模式进行清洗。根据数据的规则进行清洗。数据清洗总体流程开始分析原始数据定义数据清洗转换规则分析数据是否需要清洗是否为严重“脏数据”数据清洗过滤去除获得干净回流数据结束是否是否数据清洗规则

大数据清洗规则原始数据源是基础、数据分析是前提、定义数据清洗转换规则是关键。具体的数据清洗规则主要有非空检核、主键重复、非法代码清洗、非法值清洗、数据格式检核和记录数检核等。数据清洗规则

清洗规则详解非空检核：要求字段为非空的情况下，对该字段数据进行校核。如果为空，需要进行相应处理。主键重复：多个业务系统中同类数据经过清洗后，在统一保存时为保证主键唯一性，需要进行检核工作。非法代码与非法值清洗：非法代码问题包括非法代码、代码与数据标准不一致等。非法值问题包括取值错误，格式错误、多余字符、乱码等，需要根据具体情况进行校核与修正。数据清洗规则

清洗规则详解数据格式检核：通过检查表中属性值的格式是否正确衡量其准确性，如时间格式、币种格式、多余字符、乱码等。记录数检核：指各个系统相关数据之间的数据总数检核或数据表中每日数据量的波动检核。数据清洗规则

新的技术应用机器学习：从用户记录中学习制定清洗决策的规律，减轻用户标注数据的负担。众包技术：将数据清洗任务发布至互联网，充分利用外部资源优势，降低清洗代价，提高数据清洗的准确度和效率。感谢观看THANKSFORWATCHING（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）项目2：处理AI燃料—数据知识技能：数据标注（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）汇报人：栾江峰数据标注的定义对未处理的初级数据，包括语音、图片、文本、视频等进行加工处理，并转换为机器可识别信息的过程。数据标注产业主要是根据用户或企业的需求，对图像、声音、文字等对象进行不同方式的标注，从而为人工智能算法提供大量的训练数据以供机器学习使用。数据标注的应用场景标注场景涉及行人识别、车辆识别、红绿灯识别、道路识别等。利用标注数据来训练自动驾驶模型，为智能交通保驾护航。自动驾驶*自动驾驶标注场景(来源：数据堂)数据标注的应用场景标注场景涉及面部识别、人脸探测、视觉搜索、人脸关键信息点提取以及车牌识别等。通过融合各种来源的数据并进行协同分析，提高监控和报警的准确性。智能安防*智能安防标注场景(来源：腾讯网)数据标注的应用场景标注场景涉及手术工具标识、处方识别、医疗影像标注、语音标注等。有助于帮助解决影像识别困难、药物研发成本高、癌症治疗效果不佳等难题。智慧医疗*智慧医疗标注场景(来源：腾讯网)数据标注的应用场景标注场景涉及机械手臂导航、仓储码垛、自动分拣或抓取、自动焊接等。使计算机视觉模型对工业环境内的各类障碍物、机械设备和机器人有更加精确的感知，实现工业智能机器与所处环境中人和物的安全交互。工业4.0*工业4.0标注场景(来源：ScaleAI)数据标注的应用场景标注场景涉及栽培管理、精准水肥和安全监测等。实现对农作物定位及成熟度、生长状态识别，解决农作物智能采摘、农药精准撒播等问题。智慧农业*智慧农业标注场景(来源：可思数据)数据标注的应用场景标注场景涉及超市货架识别、无人超市系统和电子商务智能搜索与推荐等。通过销售数据、用户反馈预测客户需求，实现货物推荐精准化，提高用户个性化体验。新零售*新零售标注场景(来源：数据堂)数据标注的分类按标注对象分类分类方法概念优点缺点图像标注图像标注和视频标注统称为图像标注。使人脸识别和自动驾驶等技术得到发展和完善。相对复杂，耗时。语音标注需要人工将语音内容转录为文本内容,然后通过算法模型识别转录后的文本内容。帮助人工智能领域中的语音识别功能更加完善。算法无法直接理解语音内容，需要进行文本转录。文本标注与音频标注有些相似,都需要通过人工识别转录成文本形式。减少了文本识别行业和领域的人工工作量。人工识别过程繁杂。数据标注的分类按标注的构成形式分类分类方法概念优点缺点结构化标注数据标签必需在规定的标签候选集合内，通过将标注对象与标签候选集合进行匹配实现标注。清晰的标注类别，便于标注者选择；结构化的标签，利于存储与查找。遇到具有二义性标签时往往会影响最终的标注结果。非结构化标注标注者在规定约束内，自由组织关键字对标注对象进行描述。给标注者足够的自由，可以清楚地表达自己的观点。遇到具有二义性标签时往往会影响最终的标注结果。半结构化标注标签值是结构化标注,而标签域是非结构化标注。标注灵活性强，便于统计查找。对标注者的要求高,工作量高，耗时。数据标注的分类按标注者类型分类分类方法概念优点缺点人工标注雇用经过培训的标注员进行标注。标注质量高。标注成本高，时间长，效率低。机器标注标注者通常是智能算法。标注速度快,成本相对较低。算法对涉及高层语义的对象识别和提取效果不好。数据标注的任务分类标注从给定的标签集中选择合适的标签分配给被标注的对象。一个对象可以有很多分类/标签。适用于文本、图像、语音、视频等不同的标注对象。标框标注从图像中选出要检测的对象，仅适用于图像标注。可细分为多边形拉框和四边形拉框两种形式。多边形拉框：将被标注元素的轮廓以多边型方式勾勒，不同的被标注元素有不同的轮廓。四边形拉框：对图像中需要处理的元素进行一个拉框处理。数据标注的任务区域标注仅限于图像标注，边缘可以是柔性的。主要应用场景包括自动驾驶中的道路识别和地图识别等。描点标注将需要标注的元素(比如人脸、肢体)按照需求位置进行点位标识，从而实现特定部位关键点的识别。可应用于人脸识别、骨骼识别、动作识别等。其他标注适用于个性化标注任务。例如自动摘要：从新闻事件或者文章中提取出最关键的信息,然后用更加精炼的语言写成摘要。开源数据标注工具图像类标注工具运行平台：LinuxMacWindowsLabelImg输出格式：XML标注形式：矩形开源数据标注工具图像类标注工具运行平台：LinuxMacWindowsLabelme输出格式：VOC标注形式：矩形多边形线段圆形点···COCO能够标注图像与视频开源数据标注工具图像类标注工具运行平台：LinuxMacWindowsVoTT输出格式：CSV标注形式：矩形多边形点VoTT能够标注图像与视频TFRecord开源数据标注工具文本语音类标注工具运行平台：LinuxBRAT输出格式：ANN标注对象：文本结构化运行平台：LinuxDeepDive输出格式：NLP标注对象：文本非结构化运行平台：LinuxPraat输出格式：JSON标注对象：语音WindowsMac开源数据标注工具国产多功能标注工具运行平台：LinuxMacWindows精灵标注助手输出格式：XML标注形式：矩形多边形曲线标注对象：图像视频文本感谢观看THANKSFORWATCHING（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）项目2：处理AI燃料—数据