项目2-2 知识技能：数据采集与清洗

项目2：处理AI燃料—数据知识技能：数据采集与清洗（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）汇报人：栾江峰数据采集的定义数据采集(DataAcquisition,DAQ)又称数据获取,是指从各类数据库、机器设备、传感器等自动采集信息的过程。数据的重要特点：数据源多样化，包括数据库、文本、图片、视频、网页等各类结构化、非结构化及半结构化数据。数据仓库技术ETL(Extract-Transform-Load)数据采集的分类大数据的数据采集是在确定用户目标的基础上，以传感器数据、社交网络数据、移动互联网数据等方式，针对该范围内的所有结构化、半结构化和非结构化的数据进行采集。数据采集系统日志采集Chukwa、Flume、Scribe网络数据采集网络爬虫、ApacheNutch、Scrapy数据库采集MySQL、Oracle、Redia、MongoDB数据采集--依法依规《中华人民共和国数据安全法》（2021年9月1日起施行）数据新技术开发的底线？《数据安全法》第二十八条规定，开展数据处理活动以及研究开发数据新技术，应当有利于促进经济社会发展，增进人民福祉，符合社会公德和伦理。什么是数据分类分级保护？《数据安全法》第二十一条明确，根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护。什么是数据？《数据安全法》第三条明确，本法所称的数据，就是指任何以电子或者其他方式对信息的记录。《数据安全法》第三十六条明确，非经中华人民共和国主管机关批准，境内的组织、个人不得向外国司法或者执法机构提供存储于中华人民共和国境内的数据。可以对外提供我国数据吗？数据清洗“脏”数据不完整、不规范、不准确的数据。处理方式包括检查数据一致性、处理无效值和缺失值等，提高数据质量。利用有关技术(如统计、数据挖掘、模式规则等)将其转换，满足数据质量要求。手工清洗方法简单，但效率低下。在数据量较大的情况下,几乎不可能采用。自动清洗能解决特定的问题，但灵活性较低。可使用清洗算法与清洗规则帮助完成：根据数据存在的模式进行清洗。根据数据的规则进行清洗。数据清洗总体流程开始分析原始数据定义数据清洗转换规则分析数据是否需要清洗是否为严重“脏数据”数据清洗过滤去除获得干净回流数据结束是否是否数据清洗规则

大数据清洗规则原始数据源是基础、数据分析是前提、定义数据清洗转换规则是关键。具体的数据清洗规则主要有非空检核、主键重复、非法代码清洗、非法值清洗、数据格式检核和记录数检核等。数据清洗规则

清洗规则详解非空检核：要求字段为非空的情况下，对该字段数据进行校核。如果为空，需要进行相应处理。主键重复：多个业务系统中同类数据经过清洗后，在统一保存时为保证主键唯一性，需要进行检核工作。非法代码与非法值清洗：非法代码问题包括非法代码、代码与数据标准不一致等。非法值问题包括取值错误，格式错误、多余字符、乱码等，需要根据具体情况进行校核与修正。数据清洗规则

清洗规则详解数据格式检核：通过检查表中属性值的格式是否正确衡量其准确性，如时间格式、币种格式、多余字符、乱码等。记录数检核：指各个系统相关数据之间的数据总数检核或数据表中每日数据量的波动检核。数据清洗规则

新的技术应用机器学习：从用户记录中学习制定清洗决策的规律，减轻用户标注数据的负担。众包技术：将数据清洗任务发布至互联网，充分利用外部资源优势，