《人工智能应用导论》课件-22数据采集与清洗微课_第1页
《人工智能应用导论》课件-22数据采集与清洗微课_第2页
《人工智能应用导论》课件-22数据采集与清洗微课_第3页
《人工智能应用导论》课件-22数据采集与清洗微课_第4页
《人工智能应用导论》课件-22数据采集与清洗微课_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

项目二：处理AI燃料—数据数据采集与清洗数据采集的定义数据采集(DataAcquisition,DAQ)又称数据获取,是指从各类数据库、机器设备、传感器等自动采集信息的过程。数据的重要特点：数据源多样化，包括数据库、文本、图片、视频、网页等各类结构化、非结构化及半结构化数据。数据仓库技术ETL(Extract-Transform-Load)数据采集的分类大数据的数据采集是在确定用户目标的基础上，以传感器数据、社交网络数据、移动互联网数据等方式，针对该范围内的所有结构化、半结构化和非结构化的数据进行采集。数据采集系统日志采集Chukwa、Flume、Scribe网络数据采集网络爬虫、ApacheNutch、Scrapy数据库采集MySQL、Oracle、Redia、MongoDB数据采集--依法依规《中华人民共和国数据安全法》（2021年9月1日起施行）数据新技术开发的底线？《数据安全法》第二十八条规定，开展数据处理活动以及研究开发数据新技术，应当有利于促进经济社会发展，增进人民福祉，符合社会公德和伦理。什么是数据分类分级保护？《数据安全法》第二十一条明确，根据数据在经济社会发展中的重要程度，以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，对数据实行分类分级保护。什么是数据？《数据安全法》第三条明确，本法所称的数据，就是指任何以电子或者其他方式对信息的记录。《数据安全法》第三十六条明确，非经中华人民共和国主管机关批准，境内的组织、个人不得向外国司法或者执法机构提供存储于中华人民共和国境内的数据。可以对外提供我国数据吗？《数据安全法》你了解多少？视频来源：中华人民共和国公安部网络安全保卫局、青海普法微信公众号数据清洗“脏”数据不完整、不规范、不准确的数据。处理方式包括检查数据一致性、处理无效值和缺失值等，提高数据质量。利用有关技术(如统计、数据挖掘、模式规则等)将其转换，满足数据质量要求。手工清洗方法简单，但效率低下。在数据量较大的情况下,几乎不可能采用。自动清洗能解决特定的问题，但灵活性较低。可使用清洗算法与清洗规则帮助完成：根据数据存在的模式进行清洗。根据数据的规则进行清洗。数据清洗规则

大数据清洗规则原始数据源是基础、数据分析是前提、定义数据清洗转换规则是关键。

新的技术应用机器学习：从用户记录中学习制定清洗决策的规律，减轻用户标注数据的负担。众包技术：将数据清洗任务发布至互联网，充分利用外部资源优势，降低清洗代价，提高数据清洗的准确度和效率。具

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论