大数据基础课件 3大数据基础 数据采集与预处理

大数据基础概论3-

数据采集与预处理本章内容数据类型数据采集数据预处理预处理案例2数据类型结构化数据非结构化：文本、图片、音频和视频等类型的文件数据半结构化数据：如XML文件和JSON文件3XML4…JSON5…数据源传感器系统日志企业业务系统数据互联网数据6传感器一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号，或其它所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。压力传感器、温度传感器、流量传感器、声音传感器、电参数传感器。温度计、麦克风、DV录像、手机拍照等。78…9思考&讨论：手机计步器原理？10企业业务系统数据一些企业会使用传统的关系型数据库MySQL和Oracle

等来存储业务系统数据，除此之外，Redis

和MongoDB这样的NoSQL数据库也常用于数据的存储。企业每时每刻产生的业务数据，以数据库一行记录的形式，被直接写入到数据库中。11日志文件日志文件用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和Web服务器记录的用户访问行为。通过对这些日志信息进行采集和数据分析，可以挖掘得到具有潜在价值的信息，为公司决策和公司后台服务器平台性能评估，提供可靠的数据保证。日志采集系统可以收集日志数据，提供离线和在线的实时分析使用。12互联网数据

互联网数据采集是借助于网络爬虫来完成的。所谓“网络爬虫”，就是一个在网上到处或定向抓取网页数据的程序。爬虫可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集。13网络爬虫按照一定的规则自动浏览、检索网页内容的程序分类使用场景，通用爬虫和聚焦爬虫爬取形式，累积式爬虫和增量式爬虫网页类型，表层爬虫和深层爬虫14…爬行策略大站优先反链爬行深度优先广度优先A→B1→C1→C2→B2→B3→C3A→B1→B2→B3→C1→C2→C31516爬虫案例①发送请求，获取网页②解析网页，提取数据③保存数据17…数据预处理数据清洗数据脱敏数据清洗是指去除原始数据中的无效数据、无关项、偶然数据和“脏”数据。18原始数据含噪声的、不完整的和不一致的。噪声数据是指数据中存在着错误或异常（偏离期望值）的数据不完整数据是指数据的属性值丢失或不确定不一致性是指数据之间出现互相矛盾、不相容19数据清洗20数据清洗检查数据一致性，处理无效值和缺失值一致性检查是根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。21数据清洗缺失值、重复值、异常值缺失值：数据删除，估算填充整例删除、变量删除和成对删除样本均值、中位数或众数进行估算重复值：删除

相似度计算异常值：偏离期望值22…异常值处理

23…24…箱形图法n数据个数Q1的位置1*(n+1)/4=(n+1)/4Q2的位置2*(n+1)/4=(n+1)/2Q3的位置3*(n+1)/4IQR=Q3-Q1InterquartileRange四分位距

上界=上四分位数+1.5*IQR=Q3+1.5*IQR

下界=下四分位数-1.5*IQR=Q1-1.5*IQR25【例3-1】11个数23、23.6、23.8、23.9、26、26.6、26.8、28、28.6、28.8、28.9，则三个四分位数的位置：Q1的位置(n+1)/4=(11+1)/4=3Q2的位置(n+1)/2=(11+1)/2=6Q3的位置3*(n+1)/4=3*(11+1)/4=9即数列中的第三个、第六个、第九个数分别为下四分位数、中位数和上四分位数。即Q1=23.8、Q2=26.6、Q3=28.626【例3-2】10个数23、23.6、23.8、23.9、26、26.6、26.8、28、28.6、28.8，则三个四分位数为：Q1的位置(n+1)/4=(10+1)/4=2.75Q2的位置(n+1)/2=(10+1)/2=5.5Q3的位置3*(n+1)/4=3*(10+1)/4=8.25即数列的第2.75项、第5.5项、第8.25项数值分别为下四分位数、中位数和上四分位数。27【例3-2】使用加权计算四分位数，如下：第2.75项Q1=0.25*第二项+0.75*第三项=0.25*23.6+0.75*23.8=23.75第5.5

项Q2=0.5*第五项+0.5*第六项=0.5*26+0.5*26.6=26.3第8.25

项Q3=0.75*第八项+0.25*第九项=0.75*28+0.25*28.6=28.1528数据脱敏替换无效化置乱均值化随机化29…数据标准化0-1标准化Z-Score标准化30上机实验缺失值、重复值、异常值Excel实现预处理Python实现预处理31Excel-身份证号得到年龄和性别32Ex